特許 7695720 貨物の棚卸し方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-06-11

(45)【発行日】2025-06-19

(54)【発明の名称】貨物の棚卸し方法及び装置

(51)【国際特許分類】

   G06Q 10/087 20230101AFI20250612BHJP

   G06T 7/00 20170101ALI20250612BHJP

   G06V 10/82 20220101ALI20250612BHJP

【ＦＩ】

G06Q10/087

G06T7/00 350C

G06V10/82

【請求項の数】 16

(21)【出願番号】P 2023081268

(22)【出願日】2023-05-17

(65)【公開番号】P2023174567

(43)【公開日】2023-12-07

【審査請求日】2023-05-17

(31)【優先権主張番号】202210580926.7

(32)【優先日】2022-05-26

(33)【優先権主張国・地域又は機関】CN

【前置審査】

(73)【特許権者】

【識別番号】523180997

【氏名又は名称】エフィット ピーティーイー．リミテッド

(74)【代理人】

【識別番号】110000729

【氏名又は名称】弁理士法人ユニアス国際特許事務所

(72)【発明者】

【氏名】チャン，ジーウェイ

(72)【発明者】

【氏名】ヤン，ビンチュアン

【審査官】田付 徳雄

(56)【参考文献】

【文献】中国特許出願公開第１１２１３２５２３（ＣＮ，Ａ）

【文献】中国特許出願公開第１１３５３８８２６（ＣＮ，Ａ）

【文献】中国特許出願公開第１１１６１２３９８（ＣＮ，Ａ）

【文献】特開２０２０－０５５６７２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ １０／８２

(57)【特許請求の範囲】

【請求項1】

コンピュータに適用される貨物の棚卸し方法であって、
貨物を保管するための少なくとも１つのロケーションに対して画像収集を行うことにより得られるロケーション画像を取得することと、
前記ロケーション画像を推定検出することにより検出結果を取得することと、
前記検出結果に基づいて前記ロケーション画像における貨物を強調表示することにより、前記ロケーションにある貨物の棚卸し結果を取得することと、を含み、
前記ロケーション画像を推定検出することは、
推定検出エンジンで前記ロケーション画像を推定検出することを含み、
前記推定検出エンジンは、深層学習でトレーニングされた貨物検出モデルのモデルパラメータをシリアル化しすることにより取得されるものであり、
前記ロケーション画像は、少なくとも１つの画像収集装置が画像収集を行うことにより取得され、
前記ロケーション画像を取得することは、
前記ロケーション画像を取得し且つ前記ロケーション画像を画像バッファに記憶すること、を含み、
前記ロケーション画像を推定検出することにより前記検出結果を取得することは、
貨物推定スレッドをウェイクアップして前記画像バッファから前記ロケーション画像を取得し、且つ前記推定検出エンジンを呼び出して前記ロケーション画像を推定検出することにより、前記検出結果を取得すること、を含む、
ことを特徴とする貨物の棚卸し方法。

【請求項2】

前記推定検出エンジンの推定検出速度は前記貨物検出モデルの推定検出速度より速い、
ことを特徴とする請求項１に記載の貨物の棚卸し方法。

【請求項3】

前記ロケーション画像は、前記少なくとも１つの画像収集装置に向けてオンにされた画像収集スレッドにより取得され、前記貨物の棚卸し方法は、
前記画像バッファに記憶された画像の数が予め設定された閾値に達した場合に、前記少なくとも１つの画像収集装置が予め設定された時間範囲内に画像収集を停止することを前記画像収集スレッドを介して制御すること、をさらに含む、
ことを特徴とする請求項１に記載の貨物の棚卸し方法。

【請求項4】

前記ロケーション画像を推定検出することにより前記検出結果を取得することは、
前記ロケーション画像に対応する前記少なくとも１つのロケーションを検出することにより、目標ロケーションを取得することと、
前記推定検出エンジンで前記目標ロケーションにある貨物を検出することにより、前記検出結果を取得することと、を含む、
ことを特徴とする請求項２に記載の貨物の棚卸し方法。

【請求項5】

前記ロケーション画像に対応する前記少なくとも１つのロケーションを検出することにより、前記目標ロケーションを取得することは、
前記ロケーション画像に対応する画像収集装置を確定することと、
事前構成ファイルを取得し、前記事前構成ファイルから前記画像収集装置に対応するロケーション情報を取得することと、
前記ロケーション情報に基づいて前記ロケーション画像に対応する前記少なくとも１つのロケーションを位置づけることにより、前記目標ロケーションを取得することと、を含み、
前記ロケーション情報は、サンプルロケーション画像をキャリブレートすることにより取得され、前記サンプルロケーション画像は、前記画像収集装置が前記少なくとも１つのロケーションに対して画像収集を行うことにより取得される、
ことを特徴とする請求項４に記載の貨物の棚卸し方法。

【請求項6】

前記貨物の前記棚卸し結果は、前記目標ロケーションにある貨物の数を含み、前記検出結果に基づいて前記ロケーション画像における前記貨物を強調表示することにより、前記ロケーションにある前記貨物の前記棚卸し結果を取得することは、
前記検出結果に基づいて、前記貨物を位置づけるための第１の検出ブロックを前記ロケーション画像に描くことと、
前記目標ロケーションを位置づけるための、前記ロケーション画像における第２の検出ブロックを確定することと、
前記第１の検出ブロックと前記第２の検出ブロックとの重なり度合いに基づいて、前記目標ロケーションにある前記貨物の前記数を確定することと、を含む、
ことを特徴とする請求項４に記載の貨物の棚卸し方法。

【請求項7】

前記ロケーション画像は、前記少なくとも１つのロケーションの画像情報及び他の領域の画像情報を含み、前記他の領域は非ロケーション領域を含む、
ことを特徴とする請求項１～６のいずれか一項に記載の貨物の棚卸し方法。

【請求項8】

前記検出結果は、前記非ロケーション領域に人間又はフォークリフトが存在するか否かを含み、
前記貨物の棚卸し方法は、前記非ロケーション領域に人間又はフォークリフトが存在する場合に警告を生成すること、をさらに含む、
ことを特徴とする請求項７に記載の貨物の棚卸し方法。

【請求項9】

前記強調表示するは、認識された前記貨物へのハイライト、色の塗りつぶしとテキスト注記、及び認識された前記貨物に基づいて前記貨物に対応する領域検出ブロックを描くこと、のうちの少なくとも１つを含む、
ことを特徴とする請求項１～６のいずれか一項に記載の貨物の棚卸し方法。

【請求項10】

前記貨物の棚卸し方法は、前記貨物検出モデルをトレーニングすることをさらに含み、前記トレーニングは、
いずれか１つのロケーションに対応する画像収集装置によって、前記いずれか１つのロケーションにおける貨物運搬中のプロセス画像をキャプチャし、前記プロセス画像に基づいてトレーニング画像セットを形成することと、
前記トレーニング画像セットに基づいてオリジナル検出モデルをトレーニングすることにより、前記貨物検出モデルを取得することと、含む、
ことを特徴とする請求項２に記載の貨物の棚卸し方法。

【請求項11】

前記オリジナル検出モデルは、ｙｏｌｏｖ５モデルである、
ことを特徴とする請求項１０に記載の貨物の棚卸し方法。

【請求項12】

前記貨物推定スレッドは、前記画像収集スレッドから独立しており、前記少なくとも１つの画像収集装置の各々には前記画像収集スレッドが配置されている、
ことを特徴とする請求項３に記載の貨物の棚卸し方法。

【請求項13】

前記少なくとも１つの画像収集装置は、プラットフォームの上方に取り付けられており、前記少なくとも１つの画像収集装置は、前記ロケーションにあるすべての貨物が前記少なくとも１つの画像収集装置の撮影視野内に完全に表示されることができるような高さに取り付けられている、
ことを特徴とする請求項１に記載の貨物の棚卸し方法。

【請求項14】

前記推定検出エンジンは、
トレーニング済みの貨物検出モデルに対応するモデルファイルのフォーマットを前記推定検出エンジンに対応するファイルのフォーマットに転換することと、
エンジンファイルを生成することと、
前記エンジンファイルをシリアル化し保存し、前記エンジンファイルを呼び出して貨物検出モデルの推定を加速することと、により取得されるものである
ことを特徴とする請求項１に記載の貨物の棚卸し方法。

【請求項15】

前記推定検出エンジンは、
トレーニング済みの貨物検出モデルによって生成されたモデルファイルをｔｅｎｓｏｒｒｔエンジンファイルに転換することにより取得されるものである
ことを特徴とする請求項１に記載の貨物の棚卸し方法。

【請求項16】

プロセッサ及びメモリを備える貨物の棚卸し装置であって、
前記メモリにはコンピュータプログラムが記憶されており、前記コンピュータプログラムが前記プロセッサによって実行されるとき、前記プロセッサは請求項１～６、１０～１５のいずれか一項に記載の貨物の棚卸し方法を実行する、
ことを特徴とする貨物の棚卸し装置。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は物流アプリケーション技術分野に関し、特に貨物の棚卸し方法及び装置に関する。

【背景技術】

【0002】

物流産業の発展に伴い、貨物への需要がますます高まっている。多くの貨物処理のシナリオでは、貨物の棚卸しに係るため、貨物の棚卸しの効率化が非常に大事である。

【0003】

現在、貨物の棚卸しは主に手作業で行われているが、このような棚卸しの効率が低い。

【発明の概要】

【0004】

第一様態において、本出願では、貨物の棚卸し方法が提供される。当該方法は以下を含む。貨物を保管するための少なくとも１つのロケーションに対して画像収集を行うことにより得られるロケーション画像を取得する。ロケーション画像を推定検出することにより検出結果を取得する。検出結果に基づいてロケーション画像における貨物を強調表示することにより、ロケーションにある貨物の棚卸し結果を取得する。

【0005】

第二様態において、本出願では、貨物の棚卸し装置がさらに提供される。当該装置は、プロセッサ及びメモリを備える。メモリにはコンピュータプログラムが記憶されており、コンピュータプログラムがプロセッサによって実行されるとき、プロセッサは以下を実行する。貨物を保管するための少なくとも１つのロケーションに対して画像収集を行うことにより得られるロケーション画像を取得する。ロケーション画像を推定検出することにより検出結果を取得する。検出結果に基づいてロケーション画像における貨物を強調表示することにより、ロケーションにある貨物の棚卸し結果を取得する。

【0006】

上記貨物の棚卸し方法及び装置によれば、貨物を保管するための少なくとも１つのロケーションに対して画像収集を行うことにより得られるロケーション画像を取得する。ロケーション画像を推定検出することにより検出結果を取得する。検出結果に基づいてロケーション画像における貨物を強調表示することにより、ロケーションにある貨物の棚卸し結果を取得する。本出願において、ロケーション画像を推定検出することにより、検出結果が自動的に生成されることができる。自動的に生成された検出結果に基づいて、ロケーション画像における貨物が自動的に強調表示され、プログラム自動制御で貨物の自動棚卸しが実現され、貨物の棚卸し効率が高められることができる。

【図面の簡単な説明】

【0007】

【図1】図１は、いくつかの実施形態に係る貨物の棚卸し方法のアプリケーション環境を示す概略図である。

【図2】図２は、いくつかの実施形態に係る貨物の棚卸し方法を示すフローチャートである。

【図3】図３は、別のいくつかの実施形態に係る貨物の棚卸し方法を示すフローチャートである。

【図4】図４は、いくつかの実施形態に係るソフトウェアのデータフローを示すフローチャートである。

【図5】図５は、いくつかの実施形態に係る貨物の棚卸し装置の構造を示すブロック図である。

【図6】図６は、いくつかの実施形態に係るコンピュータ装置の内部構造を示す概略図である。

【発明を実施するための形態】

【0008】

本出願の目的、技術的解決策及び利点をより明確にするために、以下、図面及び実施形態を参照しながら、本出願をさらに詳しく説明する。本明細書に記載の具体的な実施形態は、本出願を説明するのみに用いられるが、本出願を限定するために用いられない。

【0009】

本出願の実施形態に係る貨物の棚卸し方法は、図１に示されるアプリケーション環境に適用されることができる。図１に示されるように、サーバ１０４が画像収集のためのすべての画像収集装置１０２をアクセスできることを確保するように、画像収集装置１０２と反対側にあるサーバ１０４とは同じネットワークに接続されることが必要である。サーバ１０４は、ネットワークを介して画像収集装置１０２と通信する。画像収集装置１０２は、貨物を保管するためのロケーションに対して画像収集を行うことにより、ロケーション画像（保管領域マップとも称される）を取得する。画像収集装置１０２は収集されたロケーション画像をサーバ１０４に送信することができ、それによって、サーバ１０４は貨物の棚卸しを行う。具体的に、サーバ１０４はロケーション画像を取得した後、サーバ１０４上に集積されデプロイされた推定検出エンジでロケーション画像を推定検出することにより、検出結果を取得する。推定検出エンジンは、深層学習でトレーニングされた貨物検出モデルのモデルパラメータをシリアル化することにより取得され、推定検出エンジンの推定検出速度は貨物検出モデルの推定検出速度より速い。最後に、サーバ１０４は検出結果に基づいて、ロケーション画像における貨物を強調表示することにより、ロケーションにある貨物の棚卸し結果を取得する。画像収集装置１０２の台数は１つであってもよく、複数であってもよい。サーバ１０４は、独立したサーバであってもよく、又は複数のサーバからなるサーバクラスタであってもよい。

【0010】

いくつかの実施形態において、貨物の棚卸し方法が提供される。当該方法は、サーバに適用されることができ、サーバと画像収集装置との間のインタラクションを介して実現されることもできる。本出願の実施形態では、それについて具体的に限定されない。図２に示されるように、例として、当該方法は、図１におけるサーバに適用され、以下のステップを含む。

【0011】

ステップ２０２：貨物を保管するための少なくとも１つのロケーションに対して画像収集を行うことにより得られるロケーション画像を取得する。

【0012】

本出願のロケーション画像は、画像収集装置が画像収集を行うことにより取得される。画像収集装置は、撮影機能を備える装置を指し、様々なカメラであってもよく、カメラなどの撮影装置を内蔵したモバイルデバイスであってもよく、これらに限定されない。

【0013】

ロケーションは、貨物を保管するための倉庫内の領域を指し、ロケーションの形状は一般的に矩形である。ロケーション画像は、画像収集装置がある特定のロケーション又は複数のロケーションに対して画像収集を行うことにより取得された画像である。ロケーション画像には１つ又は複数のロケーションが表示されてもよく、各ロケーションにある貨物の状態が表示されてもよい。なお、ロケーション画像は、ロケーションの画像内容を含むだけではなく、セキュリティ領域など他の領域の画像内容をさらに含むことができる。ロケーション画像にロケーションの画像内容があれば、本発明の技術的解決策の要求を満たすことができる。

【0014】

セキュリティ領域は、ロケーション周辺の領域を指し、警告プロンプトのために用いられる。例えば、人間又はフォークリフトがセキュリティ領域範囲内に入ったことが識別された場合に、警告プロンプトが生成される。なお、セキュリティ領域の形状は多角形であってもよく、セキュリティ領域の頂点の数、面積及び位置はいずれも実際のニーズに応じて設定されることが可能である。

【0015】

具体的に、サーバは、画像収集装置によって収集された、貨物を保管するためのロケーションのロケーション画像を取得する。当該ロケーション画像は、後続の推定検出に用いられる。

【0016】

ステップ２０４：ロケーション画像を推定検出することにより、検出結果を取得する。

【0017】

検出結果は、推定検出エンジンでロケーション画像を推定検出することにより取得される。推定検出エンジンは、サーバに集積されデプロイされてもよい。推定検出エンジンは、深層学習でトレーニングされた貨物検出モデルのモデルパラメータをシリアル化することにより取得される。推定検出エンジンの推定検出速度は、貨物検出モデルの推定検出速度より速い。深層学習アルゴリズムで確立された貨物検出モデルは、最も正確な特徴を自動的に見つけることができ、それによって、貨物検出の正確率を高めることができる。深層学習でトレーニングされた貨物検出モデルを推定検出エンジンに転換することによって、推定をさらに最適化し、貨物検出の正確率をさらに高めることができる。

【0018】

深層学習は、サンプルデータの内部ルール及び表現レベルを学習することを指し、当該学習中に、文字、画像、音声などのデータが識別されることができる。

【0019】

貨物検出モデルは、深層学習アルゴリズムでトレーニングされた目標検出アルゴリズムモデルを指し、貨物の検出及び識別に用いられる。なお、貨物検出モデルは、多項分類モデルであってもよく、即ち、貨物検出モデルは、貨物の検出及び識別に用いられるだけではなく、人間及びフォークリフトなどの対象を認識してもよい。

【0020】

推定検出エンジンは、トレーニング済みの貨物検出モデルを最適化する推定最適化ツールを指す。当該推定検出エンジンは推定を最適化することができ、それによって、様々な貨物の識別をより正確にし、デプロイメントの加速を実現することができる。

【0021】

貨物検出モデルを推定検出エンジンに転換するプロセスは、以下である。トレーニング済みの貨物検出モデルに対応するモデルファイルのフォーマットを推定検出エンジンに対応するファイルのフォーマットに転換し、エンジンファイルを生成する。具体的に、貨物検出モデルを推定検出エンジンに導入することにより、エンジンファイルを生成し、エンジンファイルをシリアル化し保存し、それによって、保存されたエンジンファイルを簡単且つ迅速に呼び出して貨物検出モデルの推定を加速することができる。

【0022】

実際の応用において、ｔｅｎｓｏｒｒｔを選択して本出願の推定検出エンジンとし、ｙｏｌｏｖ５モデルを選択して本出願の貨物検出モデルとすることができる。ｔｅｎｓｏｒｒｔは、グラフィックスプロセッシングユニット（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＧＰＵ）を有する様々なハードウェアプラットフォームで動作することができるＣ＋＋における推定フレームワークであってもよい。ｙｏｌｏｖ５モデルは、単段の目標検出アルゴリズムを利用して構築されたニューラルネットワークモデルである。

【0023】

上記に基づいて、貨物検出モデルを推定検出エンジンに転換するプロセスは、以下をさらに含むことができる。トレーニング済みの貨物検出モデルによって生成されたモデルファイルをｔｅｎｓｏｒｒｔエンジンファイルに転換し、即ち、．ｐｔフォーマットを有するモデルファイルを、．ｅｎｇｉｎｅフォーマットを有するｔｅｎｓｏｒｒｔエンジンファイルに転換する。上記のように転換するのは、本出願のソフトウェアシステムは、従来のスキームより速く、且つ占有リソースも相対的に少ないｔｅｎｓｏｒｒｔのデプロイメントスキームを利用するためである。ｔｅｎｓｏｒｒｔの原理は、貨物検出モデルのモデルパラメータをシリアル化して転換することによりｔｅｎｓｏｒｒｔを取得し、後続の入力データをシリアル化済みのｔｅｎｓｏｒｒｔに直接に入れて推定を行うことである。従って、まず、ｔｅｎｓｏｒｒｔ開発者キットを利用してｙｏｌｏｖ５モデルを定義し、具体的に、ｙｏｌｏｖ５モデルはｖ５．０バージョンのネットワーク構造に対応することができ、次に、ソフトウェアの後続使用のために、．ｐｔフォーマットを有するモデルファイルを、．ｅｎｇｉｎｅフォーマットを有するｔｅｎｓｏｒｒｔエンジンファイルに転換する。

【0024】

具体的に、サーバに集積されデプロイされた推定検出エンジンで、画像収集装置によって収集されたロケーション画像における貨物を推定検出することにより、検出結果を取得する。当該検出結果は、識別されたロケーション及び当該ロケーションにある貨物の状態（例えば、貨物の種類及び貨物の数など）を含む。

【0025】

なお、推定検出エンジンは、ロケーションと貨物の識別及び検出を行うことができるだけではなく、セキュリティ領域、人間及びフォークリフトをさらに識別し、且つ対応の検出結果を得ることができる。具体的に、検出結果は、識別されたロケーション及び当該ロケーションにある貨物の状態（例えば、貨物の種類及び貨物の数など）を含む。検出結果は、非ロケーション領域（例えば、セキュリティ領域）内に人間又はフォークリフトが存在するか否かをさらに含む。セキュリティ領域内に人間又はフォークリフトが存在すると検出した場合に、警告を生成し、例えば、警告プロンプトを生成する。

【0026】

ステップ２０６：検出結果に基づいてロケーション画像における貨物を強調表示することにより、ロケーションにある貨物の棚卸し結果を取得する。

【0027】

貨物を強調表示することは、ロケーション画像における貨物の領域位置を強調表示することである。強調表示によって、ユーザーはロケーション画像における貨物の具体的な位置をより明確に認識することができる。強調表示は、貨物へのハイライト、色の塗りつぶしとテキスト注記、及び認識された貨物に基づいて貨物に対応する領域検出ブロックを描くこと、を含むが、これらに限定されない。

【0028】

具体的に、検出結果に基づいて、ロケーション画像における貨物を強調表示することにより、ロケーションにある貨物の棚卸し結果を取得し、即ち、ロケーション画像に対応する各ロケーションにある貨物の種類及び貨物の数などを取得する。なお、サーバは、貨物が強調表示されたロケーション画像を表示装置に表示することができる。

【0029】

上記貨物の棚卸し方法において、ロケーション画像を取得し、ロケーション画像を推定検出することにより検出結果を取得し、検出結果に基づいてロケーション画像における貨物を強調表示することにより、ロケーションにある貨物の棚卸し結果を取得する。本出願において、ロケーション画像を推定検出することにより、検出結果が自動的に生成されることができる。自動的に生成された検出結果に基づいて、ロケーション画像における貨物が自動的に強調表示され、プログラム自動制御で貨物の自動棚卸しが実現され、貨物の棚卸し効率が高められることができる。

【0030】

いくつかの実施形態において、ステップ２０４の前に、上記方法は、貨物検出モデルをトレーニングするというステップをさらに含む。当該ステップは具体的に以下を含む。ロケーションに対応する画像収集装置によってロケーションにおける貨物運搬中のプロセス画像をキャプチャすることにより、トレーニング画像セットを形成する。トレーニング画像セットに基づいてオリジナル検出モデルをトレーニングすることにより、貨物検出モデルを取得する。

【0031】

画像収集装置は適切な位置に取り付けられる必要があり、例えば、画像収集装置がロケーションの対向する両側に取り付けられることにより、ロケーションにある貨物は画像収集装置の撮影視野内に完全に収まることが確保される。なお、貨物に積み上げが必要である場合に、積み上げられたすべての貨物は画像収集装置の撮影視野内にあることが確保される必要がある。また、オリジナル検出モデルは、トレーニングされようとする初期のなニューラルネットワークモデルである。

【0032】

具体的に、サーバがすべての画像収集装置をアクセスできることを確保するように、取り付け済みの画像収集装置とそれに対応するサーバとは同じネットワークに接続される。サーバが画像収集装置の画像収集機能をオンにすることによって、各画像収集装置の視野範囲内のロケーションにおける貨物運搬の全体のプロセス（即ち、プロセス画像）をキャプチャすることにより、トレーニングのためのトレーニング画像セットを取得する。次に、トレーニング画像セットにおける各プロセス画像を注記することにより、注記画像セットを取得する。注記の種類は、人間、フォークリフト及び貨物のうちの少なくとも１つを含む。注記済みの注記画像セットがオリジナル検出モデルに入力されてトレーニングされることにより、最適なモデルパラメータを取得する。最適なモデルパラメータに基づいてオリジナル検出モデルを更新することにより、トレーニング済みの貨物検出モデルを取得する。オリジナル検出モデルとしては、ｙｏｌｏｖ５モデルが選択されることができる。ｙｏｌｏｖ５モデルに基づいてトレーニングを行うことにより取得された貨物検出モデルは、推定速度が速く、占有スペースが小さく、精度がより高い。

【0033】

いくつかの実施形態において、画像収集装置の画像収集機能をオンにした後、サーバが画像収集装置に依存して開発されたソフトウェア開発者キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ、ＳＤＫ）における画像キャプチャ関数を呼び出すことにより、画像を収集することがさらにできる。ＳＤＫは一般的に、一部のソフトウェアエンジニアが特定のソフトウェアパッケージ、ソフトウェアフレームワーク、ハードウェアプラットフォーム、オペレーティングシステムなどのためにアプリケーションソフトウェアを構築する際の開発ツールの集合体である。

【0034】

いくつかの実施形態において、ステップ２０２は具体的に以下を含むが、それに限定されない。画像収集装置によって収集されたロケーション画像を取得し、ロケーション画像を画像バッファに記憶する。

【0035】

画像バッファは、スレッドに対応する画像収集装置によってキャプチャされた画像をキャッシュするために用いられる。

【0036】

具体的に、画像収集装置によって収集された画像データは、ネットワークケーブルを介してサーバに入力されることができる。サーバは、各画像収集装置ごとに１つのスレッドをオンにし、当該スレッドにおいて画像キャプチャ関数を呼び出し、画像収集装置によって収集されたビデオストリーミングにおけるロケーション画像を抽出し、ロケーション画像を復号化して画像バッファに記憶する。

【0037】

なお、復号化された画像は、ＯｐｅｎＣＶ（ｏｐｅｎ ｓｏｕｒｃｅ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ ｌｉｂｒａｒｙ）におけるＭａｔ対象としてメモリにおけるｖｅｃｔｏｒコンテナに記憶されており、処理完了後、自動的にリリースされる。ＯｐｅｎＣＶは、コンピュータビジョン及び機械学習向けのクロスプラットフォームのソフトウェアライブラリである。Ｍａｔ対象は、画像情報を記憶するための、ＯｐｅｎＣＶにおけるメモリ対象であり、すべての強度値を含むピクセルマトリックスであると理解されてもよい。ｖｅｃｔｏｒコンテナは、動的サイズの配列がカプセル化されたシーケンスコンテナである。

【0038】

いくつかの実施形態において、ステップ２０４は具体的に以下を含むが、それに限定されない。貨物推定スレッドをウェイクアップして貨物推定スレッドで画像バッファからロケーション画像を取得し、且つ推定検出エンジンを呼び出してロケーション画像を推定検出することにより、検出結果を取得する。

【0039】

貨物推定スレッドは、画像バッファにあるロケーション画像を推定するために用いられる。

【0040】

具体的に、画像バッファに画像があれば、貨物推定スレッドをウェイクアップし、その後、貨物推定スレッドで画像バッファからロケーション画像を取得し、且つ推定検出エンジンを呼び出してロケーション画像を推定検出することにより、検出結果を取得する。当該検出結果は、識別されたロケーション及び当該ロケーションにある貨物の状態（例えば、貨物の種類及び貨物の数など）を含む。

【0041】

いくつかの実施形態において、ロケーション画像は、画像収集装置に向けてオンにされた画像収集スレッドにより取得される。この場合に、貨物の棚卸し方法は、具体的に以下を含むが、それに限定されない。画像バッファに記憶された画像の数が予め設定された閾値に達した場合に、画像収集装置が予め設定された時間範囲内に画像収集を停止することを画像収集スレッドを介して制御する。例えば、収集を一時停止するという知らせが画像収集スレッドに送信されることができる。

【0042】

具体的に、画像バッファに記憶されている画像の数を取得し、記憶された画像の数とする。記憶された画像の数が予め設定された閾値に達した場合に、即ち、記憶された画像の数がバッファ容量の上限に達し、画像バッファに追加の画像が記憶されることができない場合に、収集を一時停止するという知らせを画像収集スレッドに送信し、予め設定された時間範囲内（例えば、１０ミリ秒内）に画像収集を停止するよう画像収集スレッドを介して画像収集装置に知らせる。記憶された画像の数が予め設定された閾値に達していない場合に、画像収集装置は画像収集を正常に行うことができる。

【0043】

なお、画像バッファを配置するのは、実際のアプリケーションにおいて画像収集装置が画像をキャプチャする速度と貨物推定スレッドが推定を行う速度は一致しないためである。理解を容易にするように、例を挙げながら説明する。画像収集装置が１枚の画像をキャプチャする時間は大体５０ミリ秒であり（具体的なキャプチャ時間は画像収集装置の型番によって異なり）、貨物推定スレッドが１枚の画像を推定する時間は大体１０ミリ秒である（具体的な推定速度はグラフィックカードの型番によって異なる）と仮定する。１０台の画像収集装置が同時に動作していると仮定し、画像収集装置が画像をキャプチャする時間は同期しているため、５０ミリ秒内に１０枚の画像がキャプチャされることになる。しかし、貨物推定スレッドは５０ミリ秒内に５枚の画像しか処理できないため、未処理の画像が残るようになる。画像収集装置が引き続き画像をキャプチャすると、大量の画像がたまってしまう。以上の状況を考慮して、本出願において、画像バッファが配置されており、画像収集装置によってキャプチャされた画像が画像収集スレッドで画像バッファに記憶される。画像バッファに画像があれば、画像バッファは、推定検出を行うよう貨物推定スレッドに絶えずに知らせる。画像バッファに容量がない場合に、画像バッファは、画像のキャプチャを停止するよう画像収集スレッドに知らせる。それによって、画像収集装置が画像をキャプチャする速度と貨物推定スレッドが推定を行う速度とを一致させる。

【0044】

いくつかの実施形態において、貨物推定スレッドは推定検出エンジンを呼び出してロケーション画像を推定検出することにより、検出結果を取得した後、検出結果を推定バッファに保存することができる。当該推定バッファは、貨物推定スレッド及び貨物表示スレッドをキャッシュするために用いられるである。推定バッファに検出結果及び対応のロケーション画像があれば、貨物表示スレッドがウェイクアップされ、貨物表示スレッドが、推定バッファから検出結果及び対応のロケーション画像（即ち原図、推定検出の前の図）をキャプチャした後、検出結果は原図に描かれ且つ表示され、具体的に、ロケーションにある貨物の数が表示されることができる。

【0045】

なお、本出願の実施形態における画像収集スレッド、貨物推定スレッド及び貨物表示スレッドはそれぞれ独立したスレッドであり、また、本出願の実施形態において、各画像収集装置には１つのスレッドが配置されている。それによって、各画像収集装置の画像を同時に取得できることが確保される。

【0046】

いくつかの実施形態において、ステップ２０４は以下を含むが、それに限定されない。ロケーション画像に対応する少なくとも１つのロケーションを検出することにより、目標ロケーションを取得する。推定検出エンジンで目標ロケーションにある貨物を検出することにより、検出結果を取得する。

【0047】

目標ロケーションは、ロケーション画像から識別された、その中に保管された貨物を検出する必要のあるロケーション対象である。推定検出エンジンで目標ロケーションにある貨物を検出することにより、検出結果を取得する。当該検出結果は、識別されたロケーション及び当該ロケーションにある貨物の状態（例えば、貨物の位置、貨物の種類及び貨物の数など）を含む。

【0048】

いくつかの実施形態において、「ロケーション画像に対応する少なくとも１つのロケーションを検出することにより、目標ロケーションを取得する」というステップは、以下を含むが、それに限定されない。ロケーション画像に対応する画像収集装置を確定する（ここで、目標画像収集装置と称されてもよい）。事前構成ファイルを取得し、事前構成ファイルから目標画像収集装置に対応するロケーション情報を取得する。ロケーション情報に基づいてロケーション画像に対応する少なくとも１つのロケーションを位置づけることにより、目標ロケーションを取得する。

【0049】

目標画像収集装置は、ロケーション画像を撮影した画像収集装置を指す。ロケーション情報は、サンプルロケーション画像をキャリブレートすることにより取得され、サンプルロケーション画像は、目標画像収集装置が少なくとも１つのロケーションに対して画像収集を予めに行うことにより取得される。

【0050】

具体的には、取得された画像に対してキャリブレーションを行う。まず、取得された画像を描画ツールで開き、ロケーションの四隅の画素値（Ｘ、Ｙ）に基づいてロケーションの長さ及び幅を算出することにより、ロケーション計画を行う。ロケーション構成プロファイルを開き、計画されたロケーションの画素値、長さ及び幅を構成プロファイルに入力し、可視化プログラムを開き、ロケーションの状態（例えば、貨物がロケーションの境界を越えているか否かなど）を観察し、各ロケーションの貨物状態をリアルタイムに更新することを確保する。

【0051】

ロケーション情報は、ロケーションの空間サイズ（例えば、ロケーションの長さ及び幅）、ロケーションナンバー、ロケーション画像におけるロケーションの具体的な位置を含むが、これらに限定されない。ロケーション画像におけるロケーションの具体的な位置は、ピクセル座標系におけるロケーションの各頂点のピクセル座標などを指す。

【0052】

なお、各台の画像収集装置によって撮影された参照画像セットから、ロケーションをキャリブレートするための参照画像を１枚選択する。参照画像の選択基準は、画像収集装置の視野範囲内に完全に撮影されたロケーションが含まれ且つ特徴が完全で明らかである画像を選択することである。当該参照画像は、警報のためのセキュリティ領域をキャリブレートするために用いられる場合に、画像収集装置の視野範囲内の完全なロケーション及びセキュリティ領域が同時に含まれ且つ特徴が完全で明らかである画像が選択される必要がある。適切な参照画像が選択された後、キャリブレーションの方式は、描画ツール又はキャリブレーションツールを利用して、各ロケーションの頂点及びセキュリティ領域の各頂点を参照画像に描き、描かれた各頂点のピクセル座標を事前構成ファイルに書き込むことである。ロケーションの形状は一般的に長方形であり、対応する頂点の数は４つである。セキュリティ領域の形状は多角形であってもよく、頂点の具体的な数は実際のニーズに応じて調整されることができる。事前構成ファイルのフォーマットについては、貨物棚卸しのソフトウェア内に構成された構成ファイルのフォーマットを参照することができ、例えば、ｘｍｌフォーマットを挙げる。

【0053】

なお、事前構成ファイルは、ロケーションの具体的な位置領域及びセキュリティ領域を設定するために用いられる。上記両者の位置データは、上記ステップによって定義されたものである。現場で画像収集装置が配置された後、倉庫における画像収集装置の位置が固定的であるため、事前構成ファイルは、ロケーション及びセキュリティ領域を、画像収集装置によって撮影されたロケーション画像に描き、ロケーション画像におけるロケーション及びセキュリティ領域の位置を表現するために用いられる。

【0054】

具体的に、ロケーション画像に対応する目標画像収集装置を確定した後、事前構成ファイルを取得し、その後、事前構成ファイルからロケーション画像におけるロケーションの具体的な位置（即ち、事前構成ファイルに記録されたロケーションの各頂点のピクセル座標）を取得する。ロケーション情報における各頂点のピクセル座標をロケーション画像にキャリブレートすることにより、目標ロケーションを取得する。

【0055】

いくつかの実施形態において、貨物の棚卸し結果は、ロケーションにある貨物の数を含む。ステップ２０６は具体的に以下を含むが、それに限定されない。検出結果に基づいて、貨物を位置づけるための第１の検出ブロックをロケーション画像に描く。目標ロケーションを位置づけるための、ロケーション画像における第２の検出ブロックを確定する。第１の検出ブロックと第２の検出ブロックとの重なり度合いに基づいて、目標ロケーションにある貨物の数を確定する。

【0056】

具体的に、検出結果に基づいて、ロケーションにある各貨物のロケーション画像における具体的な位置を確定することができる。また、ロケーション画像における各貨物の具体的な位置に基づいて、貨物を位置づけるための第１の検出ブロックを描き、例えば、各貨物の各頂点のピクセル座標に基づいて、第１の検出ブロックをロケーション画像に描くことができる。目標ロケーションに対応する各頂点のピクセル座標に基づいて、目標ロケーションを位置づけるための第２の検出ブロックをロケーション画像に描くことができる。第１の検出ブロックは頂点座標、長さと幅で表現されることができ、当該第１の検出ブロックとしては、多角形のブロックであることができ、具体的に、矩形のブロックが選択されてもよい。第２の検出ブロックは頂点座標、長さと幅で表現されることもでき、当該第２の検出ブロックとしては、多角形のブロックであることができ、具体的に、矩形のブロックが選択されてもよい。

【0057】

具体的に、第１の検出ブロックと第２の検出ブロックとの重なり度合いを計算する。その重なり度合いが予めに設定された重なり範囲以上である場合に、第１の検出ブロックは第２の検出ブロック内に位置すると確定し、当該第１の検出ブロックに対応する貨物が第２の検出ブロックに対応する目標ロケーションに位置するとさらに確定する。その重なり度合いが予めに設定された重なり範囲より小さい場合に、第１の検出ブロックが第２の検出ブロック内に位置しないと確定し、当該第１の検出ブロックに対応する貨物が第２の検出ブロックに対応する目標ロケーションに位置しないとさらに確定する。目標ロケーションにある貨物の数を確定し、具体的に、第２の検出ブロックとの重なり度合いが予めに設定された重なり範囲以上である第１の検出ブロックの数を確定する。

【0058】

理解を容易にするように、例を挙げながら説明する。予めに設定された重なり範囲は４０％であり、第１の検出ブロックは検出ブロックＡ及び検出ブロックＢを含み、検出ブロックＡは貨物Ａに対応し、検出ブロックＢは貨物Ｂに対応すると仮定する。検出ブロックＡと第２の検出ブロックとの重なり範囲が５０％であり、予めに設定された重なり範囲より大きい場合に、検出ブロックＡが第２の検出ブロック内に位置し、即ち、貨物Ａが目標ロケーションに位置することが説明される。検出ブロックＢと第２の検出ブロックとの重なり範囲が２０％であり、予めに設定された重なり範囲より小さい場合に、検出ブロックＢが第２の検出ブロック内に位置せず、即ち、貨物Ｂが目標ロケーションに位置しないことが説明される。上記によると、目標ロケーションには貨物Ａのみがあり、貨物の数は１であると確定されることができる。

【0059】

いくつかの実施形態において、事前構成ファイルにセキュリティ領域の各頂点のピクセル座標をキャリブレートしたため、セキュリティ領域を位置づけるための、ロケーション画像における第３の検出ブロックを同様に確定することができる。推定検出エンジンで第３の検出ブロック内の人間対象又はフォークリフト対象を識別することができる。

【0060】

いくつかの実施形態において、図３に示されるように、貨物の棚卸しをすることができるソフトウェアを実行する前に、ロケーションにあるすべての貨物が画像収集装置の撮影視野内に完全に表示されることを確保するように、画像収集装置をプラットフォームの適切な高さに取り付ける必要がある。サーバがすべての画像収集装置をアクセスできることを確保するように、画像収集装置と対応のサーバとは同じネットワークに接続される。画像収集装置を取り付けた後、画像を収集する必要がある。具体的に、各画像収集装置の視野内の貨物運搬の全体のプロセスをキャプチャする必要があり、収集された画像を注記することにより、画像セットを取得する。注記済みの画像セットをニューラルネットワークモデルに入れてトレーニングを行うことにより、．ｐｔフォーマットを有するモデルファイルを取得し、．ｐｔファイルを．ｅｎｇｉｎｅファイルに転換し、転換済みの推定検出エンジを取得する。また、各画像収集装置によって撮影された１枚の画像は選択されて、ロケーション及びセキュリティ領域をキャリブレートし、構成ファイルを取得するために用いられる。次に、配置済みの構成ファイル及び転換済みの推定検出エンジンをソフトウェアに入れ、即ち、配置済みの構成ファイル及び転換済みの推定検出エンジンをソフトウェアの所在のフォルダーのディレクトリーに入れ、ソフトウェアアイコンをクリックして当該ソフトウェアを実行することができる。

【0061】

なお、１つのロケーション領域は複数のロケーションを含む。ロケーション領域におけるすべてのロケーションにある貨物が検出されることができるように、画像収集のための画像収集装置が複数台取り付けられることができる。各台の画像収集装置は、１つ又は複数のロケーション、及びロケーションに対応する貨物を同時に撮影することができ、画像収集装置の実際の数は現場のロケーションの数に基づいて定められることができる。複数台の画像収集装置がロケーション領域におけるロケーションを同時に撮影することにより、ロケーション領域全体をカバーすることができる複数枚のロケーション画像を取得することができる。１台の産業用コンピュータで複数枚のロケーション画像における貨物を検出することにより、より全面的な検出結果を取得し、貨物棚卸しの正確率を高めることができる。

【0062】

同じ現場では、構成ファイル及びモデルを構成した後、ファイル構成及びモデルトレーニングのステップを繰り返し実行する必要がない。異なる現場では、ファイルを再び構成し且つモデルを再びトレーニングする必要がある。

【0063】

いくつかの実施形態において、図４に示されるように、上記ソフトウェアを実行すると、画像収集装置によって収集されたデータは、ネットワークケーブルを介してサーバに入力され、サーバは、各画像収集装置ごとに１つのスレッドをオンにし、画像キャプチャ機能をオンにし、キャプチャされた画像を復号化して画像バッファに記憶する。画像バッファに画像があると、貨物推定スレッド（即ち、ｔｅｎｓｏｒｒｔ推定スレッド）はウェイクアップされて、推定検出を行う。貨物推定スレッドで推定検出された各画像は、次の中間コンテナ（即ち、推定バッファ）に保存される。推定バッファに画像がある場合に、表示スレッドがウェイクアップされ、表示スレッドで推定の結果が原図に描かれ且つ表示される。

【0064】

なお、上記各実施形態に係るフローチャートにおける各ステップは、矢印に従って順次に記述されているが、それらのステップは必ずしも矢印に従って順次に実行されるというわけではないことを理解されたい。本明細書で明示しない限り、それらのステップの実行は厳密にその順序に限定されなく、それらのステップは他の順序で実行されてもよい。さらに、上記各実施形態に係るフローチャートにおけるステップの少なくとも一部は、複数のステップ又は段階を含んでいてもよく、それらのステップ又は段階は、必ずしも同時に実行されて完了するというわけではなく、異なるタイミングで実行されてもよい。また、それらのステップ又は段階の実行は必ずしも連続的であるというわけではなく、他のステップや他のステップにおけるステップ又は段階の少なくとも一部と順番に、又は交代で実行されてもよい。

【0065】

同じ発明着想に基づいて、本出願の実施形態では、上記に係る貨物の棚卸し方法を実施するための貨物の棚卸し装置がさらに提供される。当該装置に係る課題の解決策は上記貨物の棚卸し方法に記載の解決策と同様であるため、以下に係る貨物の棚卸し装置の１つ又は複数の実施形態の具体的な制限については、上記貨物の棚卸し方法に対する制限を参照することができ、ここで詳述しない。

【0066】

１つの実施形態において、図５に示されるように、貨物の棚卸し装置が提供される。貨物の棚卸し装置は、画像取得モジュール５０２、推定検出モジュール５０４、及び貨物棚卸しモジュール５０６を備える。

【0067】

画像取得モジュール５０２は、ロケーション画像を取得するように構成されている。ロケーション画像は、貨物を保管するためのロケーションに対して画像収集を行うことにより取得される。本出願のロケーション画像は、画像収集装置が画像収集を行うことにより取得される。画像収集装置は、撮影機能を備える装置を指し、様々なカメラであってもよく、カメラなどの撮影装置を内蔵したモバイルデバイスであってもよく、これらに限定されない。

【0068】

１つの実施形態として、当該画像取得モジュール５０２は、有線又は無線で画像収集装置に接続されてもよく、画像収集装置に集積されてもよく、又は画像収集装置と一体に成形されてもよい。本発明では、それについては限定されない。

【0069】

推定検出モジュール５０４は、ロケーション画像を推定検出することにより検出結果を取得するように構成されている。

【0070】

貨物棚卸しモジュール５０６は、検出結果に基づいてロケーション画像における貨物を強調表示することにより、ロケーションにある貨物の棚卸し結果を取得するように構成されている。

【0071】

本出願において、上記貨物の棚卸し装置によれば、貨物を保管するための少なくとも１つのロケーションに対して画像収集を行うことにより得られるロケーション画像を取得する。ロケーション画像を推定検出することにより検出結果を取得する。検出結果に基づいてロケーション画像における貨物を強調表示することにより、ロケーションにある貨物の棚卸し結果を取得する。ロケーション画像を推定検出することにより、検出結果が自動的に生成されることができる。自動的に生成された検出結果に基づいて、ロケーション画像における貨物が自動的に強調表示されることもできる。本出願において、プログラム自動制御で貨物の自動棚卸しが実現され、貨物の棚卸し効率が高められることができる。

【0072】

いくつかの実施形態において、検出結果は、推定検出エンジンでロケーション画像を推定検出することにより取得される。推定検出エンジンは、深層学習でトレーニングされた貨物検出モデルのモデルパラメータをシリアル化しすることにより取得される。推定検出エンジンの推定検出速度は貨物検出モデルの推定検出速度より速い。

【0073】

いくつかの実施形態において、画像取得モジュール５０２は、画像収集装置によって収集されたロケーション画像を取得し且つロケーション画像を画像バッファに記憶するようにさらに構成されている。推定検出モジュール５０４は、貨物推定スレッドをウェイクアップして画像バッファからロケーション画像を取得し、且つ推定検出エンジンを呼び出してロケーション画像を推定検出することにより、検出結果を取得するようにさらに構成されている。

【0074】

いくつかの実施形態において、貨物の棚卸し装置は、画像バッファモジュールをさらに備える。画像バッファモジュールは、画像バッファに記憶された画像の数が予め設定された閾値に達した場合に、少なくとも１つの画像収集装置が予め設定された時間範囲内に画像収集を停止することを画像収集スレッドを介して制御するように構成されている。

【0075】

いくつかの実施形態において、推定検出モジュール５０４は、ロケーション検出ユニット及び貨物検出ユニットを含む。ロケーション検出ユニットは、ロケーション画像に対応する少なくとも１つのロケーションを検出すること（ロケーション検出と略称）により、目標ロケーションを取得するように構成されている。貨物検出ユニットは、推定検出エンジンで目標ロケーションにある貨物を検出することにより、検出結果を取得するように構成されている。

【0076】

いくつかの実施形態において、推定検出モジュール５０４は、セキュリティ領域識別ユニットをさらに含む。セキュリティ領域識別ユニットは、セキュリティ領域内の対象及び／又は対象の数を識別するように構成されており、例えば、セキュリティ領域内の人間及び人間の数を識別してもよく、又は、セキュリティ領域内のフォークリフト及びフォークリフトの数を識別してもよい。セキュリティ領域識別ユニットは、人間又はフォークリフトがセキュリティ領域に入ったことを識別した場合に、警告を生成し、警告プロンプトの役割を果たす。

【0077】

いくつかの実施形態において、ロケーション検出ユニットは、ロケーション画像に対応する画像収集装置を確定し、事前構成ファイルを取得し、事前構成ファイルから画像収集装置に対応するロケーション情報を取得し、ロケーション情報に基づいてロケーション画像に対応する少なくとも１つのロケーションを位置づけること（ロケーション位置づけと略称）により、目標ロケーションを取得するようにさらに構成されている。ロケーション情報は、サンプルロケーション画像をキャリブレートすることにより取得され、サンプルロケーション画像は、画像収集装置が少なくとも１つのロケーションに対して画像収集を行うことにより取得される。

【0078】

いくつかの実施形態において、貨物棚卸しモジュール５０６は、検出結果に基づいて、貨物を位置づけるための第１の検出ブロックをロケーション画像に描き、目標ロケーションを位置づけるための、ロケーション画像における第２の検出ブロックを確定し、第１の検出ブロックと第２の検出ブロックとの重なり度合いに基づいて、目標ロケーションにある貨物の数を確定するようにさらに構成されている。

【0079】

上記貨物の棚卸し装置における各モジュールの分割は、説明のための一例のみとして使用される。他の実施形態において、上記貨物の棚卸し装置の機能の全部又は一部を実現するように、ニーズに応じて貨物の棚卸し装置を異なるモジュールに分割してもよい。

【0080】

上記貨物の棚卸し装置における各モジュールは、その全部又は一部が、ソフトウェア、ハードウェア及びそれらの組み合わせによって実装されてもよい。上記各モジュールは、ハードウェアの形態でコンピュータ装置内のプロセッサに埋め込まれてもよく、ソフトウェアの形態でコンピュータ装置内のメモリに記憶されてもよく、それによって、プロセッサは上記各モジュールに対応する操作を呼び出して実行することができる。

【0081】

いくつかの実施形態において、コンピュータ装置が提供される。当該コンピュータ装置は、図１におけるサーバであってもよく、その内部構造図は図６に示されている。当該コンピュータ装置は、システムバスを介して互いに接続されたプロセッサ、メモリ及びネットワークインタフェースを含む。当該コンピュータ装置のプロセッサは、計算及び制御機能を提供するように構成されている。当該コンピュータ装置のメモリは、不揮発性記憶媒体及び内部メモリを含む。当該不揮発性記憶媒体は、オペレーティングシステム、コンピュータプログラム及びデータベースを記憶している。当該内部メモリは、不揮発性記憶媒体におけるオペレーティングシステム及びコンピュータプログラムの実行環境を提供する。当該コンピュータ装置のデータベースは、画像情報及びロケーション情報を記憶するために用いられる。当該コンピュータ装置のネットワークインターフェースは、ネットワーク接続を介して外部端末と通信するために用いられる。当該コンピュータプログラムは、貨物の棚卸し方法を実行するように、プロセッサによって実行される。

【0082】

具体的に、図６に示されたメモリにコンピュータプログラムが記憶されており、コンピュータプログラムがプロセッサによって実行されるとき、プロセッサは、上記貨物の棚卸し方法を実行する。具体的に、プロセッサは、貨物を保管するための少なくとも１つのロケーションに対して画像収集を行うことにより得られるロケーション画像を取得し、ロケーション画像を推定検出することにより検出結果を取得し、検出結果に基づいてロケーション画像における貨物を強調表示することにより、ロケーションにある貨物の棚卸し結果を取得する。強調表示するは、認識された貨物へのハイライト、色の塗りつぶしとテキスト注記、及び認識された貨物に基づいて貨物に対応する領域検出ブロックを描くこと、のうちの少なくとも１つを含む。

【0083】

ロケーション画像を推定検出することについて、プロセッサは、推定検出エンジンでロケーション画像を推定検出するように構成されている。推定検出エンジンは、深層学習でトレーニングされた貨物検出モデルのモデルパラメータをシリアル化しすることにより取得され、且つ推定検出エンジンの推定検出速度は貨物検出モデルの推定検出速度より速い。

【0084】

当該貨物検出モデルは以下のトレーニングで取得される。いずれか１つのロケーションに対応する画像収集装置によって、いずれか１つのロケーションにおける貨物運搬中のプロセス画像をキャプチャし、プロセス画像に基づいてトレーニング画像セットを形成する。トレーニング画像セットに基づいてオリジナル検出モデルをトレーニングすることにより、貨物検出モデルを取得する。オリジナル検出モデルの例としては、ｙｏｌｏｖ５モデルが挙げられる。

【0085】

いくつかの実施形態において、ロケーション画像は、少なくとも１つの画像収集装置が画像収集を行うことにより取得される。

【0086】

ロケーション画像を取得することについて、プロセッサは、ロケーション画像を取得し且つロケーション画像を画像バッファに記憶するように構成されている。ロケーション画像を推定検出することにより検出結果を取得することについて、プロセッサは、貨物推定スレッドをウェイクアップして画像バッファからロケーション画像を取得し、且つ推定検出エンジンを呼び出してロケーション画像を推定検出することにより、検出結果を取得するように構成されている。

【0087】

いくつかの実施形態において、ロケーション画像は、少なくとも１つの画像収集装置に向けてオンにされた画像収集スレッドにより取得される。プロセッサは、画像バッファに記憶された画像の数が予め設定された閾値に達した場合に、少なくとも１つの画像収集装置が予め設定された時間範囲内に画像収集を停止することを画像収集スレッドを介して制御するようにさらに構成されている。

【0088】

貨物推定スレッドは、画像収集スレッドから独立しており、少なくとも１つの画像収集装置の各々には画像収集スレッドが配置されている。

【0089】

少なくとも１つの画像収集装置は、プラットフォームの上方に取り付けられており、少なくとも１つの画像収集装置は、ロケーションにあるすべての貨物が少なくとも１つの画像収集装置の撮影視野内に完全に表示されることができるような高さに取り付けられている。

【0090】

いくつかの実施形態において、ロケーション画像を推定検出することにより検出結果を取得することについて、プロセッサは、ロケーション画像に対応する少なくとも１つのロケーションを検出することにより、目標ロケーションを取得し、推定検出エンジンで目標ロケーションにある貨物を検出することにより、検出結果を取得するように構成されている。

【0091】

いくつかの実施形態において、ロケーション画像に対応する少なくとも１つのロケーションを検出することにより、目標ロケーションを取得することについて、プロセッサは、ロケーション画像に対応する画像収集装置を確定し、事前構成ファイルを取得し、事前構成ファイルから画像収集装置に対応するロケーション情報を取得し、ロケーション情報に基づいてロケーション画像に対応する少なくとも１つのロケーションを位置づけることにより、目標ロケーションを取得するように構成されている。ロケーション情報は、サンプルロケーション画像をキャリブレートすることにより取得され、サンプルロケーション画像は、画像収集装置が少なくとも１つのロケーションに対して画像収集を行うことにより取得される。

【0092】

いくつかの実施形態において、貨物の棚卸し結果は、目標ロケーションにある貨物の数を含む。検出結果に基づいてロケーション画像における貨物を強調表示することにより、ロケーションにある貨物の棚卸し結果を取得することについて、プロセッサは、検出結果に基づいて、貨物を位置づけるための第１の検出ブロックをロケーション画像に描き、目標ロケーションを位置づけるための、ロケーション画像における第２の検出ブロックを確定し、第１の検出ブロックと第２の検出ブロックとの重なり度合いに基づいて、目標ロケーションにある貨物の数を確定するように構成されている。

【0093】

いくつかの実施形態において、ロケーション画像は、少なくとも１つのロケーションの画像情報及び他の領域の画像情報を含み、他の領域は非ロケーション領域を含む。上記検出結果は、非ロケーション領域に人間又はフォークリフトが存在するか否かを含む。貨物の棚卸し方法は、非ロケーション領域に人間又はフォークリフトが存在する場合に警告を生成すること、をさらに含む。

【0094】

上記少なくとも１つの画像収集装置は、当該コンピュータ装置の一部であってもよく、コンピュータ装置の外部コンポーネントであってもよい。

【0095】

図６に示された構造は、本出願の解決策に関連する一部の構造のブロック図に過ぎず、本出願の解決策が適用されるコンピュータ装置を制限するものではないことを当業者は理解することができる。コンピュータ装置は、図面より多い又はより少ないコンポーネントを含んでもよく、特定のコンポーネントを組み合わせてもよく、異なるコンポーネントの配置を有してもよい。

【0096】

いくつかの実施形態において、メモリ及びプロセッサを備えるコンピュータ装置がさらに提供される。メモリにはコンピュータプログラムが記憶されており、当該プロセッサがコンピュータプログラムを実行するとき、上記各方法実施形態におけるステップを実現する。

【0097】

いくつかの実施形態において、コンピュータプログラムが記憶された不揮発性コンピュータ可読記憶媒体が提供される。当該コンピュータプログラムがプロセッサによって実行されるとき、上記各方法実施形態におけるステップを実現する。

【0098】

いくつかの実施形態において、コンピュータプログラムを含むコンピュータプログラム製品が提供される。当該コンピュータプログラムがプロセッサによって実行されるとき、上記各方法実施形態におけるステップを実現する。

【0099】

上記実施形態の方法におけるプロセスの全部又は一部は、コンピュータプログラムが関連ハードウェアを指示することによって完成され得るということを、当業者は理解することができる。当該コンピュータプログラムは、不揮発性コンピュータ可読記憶媒体に記憶されることができる。当該コンピュータプログラムは、実行されると、上記各方法実施形態のプロセスを実行するように動作可能である。本出願に係る各実施形態に使用されるメモリ、データベース、又は他の媒体への任意の引用はいずれも、不揮発性メモリ及び発揮性メモリのうちの少なくとも１つを含むことができる。不揮発性メモリは、読み取り専用メモリ（ｒｅａd ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）、磁気テープ、フロッピーディスク、フラッシュメモリ、光メモリ、高密度・組み込み型不発揮性メモリ（ｈｉｇｈ－ｄｅｎｓｉｔｙ ｅｍｂｅｄｄｅｄ ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｍｅｍｏｒｙ）、抵抗変化型メモリ（ｒｅｓｉｓｔｉｖｅ ｍｅｍｏｒｙ、ＲｅＲＡＭ）、磁気抵抗メモリ（ｍａｇｎｅｔｏｒｅｓｉｓｔｉｖｅ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＭＲＡＭ）、強誘電体メモリ（ｆｅｒｒｏｅｌｅｃｔｒｉｃ ＲＡＭ、ＦＲＡＭ）、相変化メモリ（ｐｈａｓｅ ｃｈａｎｇｅ ｍｅｍｏｒｙ、ＰＣＭ）、グラフェンメモリ（ｇｒａｐｈｅｎｅ ｍｅｍｏｒｙ）などを含むことができる。揮発性メモリは、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）、外部キャッシュメモリなどを含むことができる。限定的ではなく例示的な例として、ＲＡＭは、様々な形態を有することができ、例えば、スタティック・ランダム・アクセス・メモリ（ｓｔａｔｉｃ ＲＡＭ、ＳＲＡＭ）、ダイナミック・ランダム・アクセス・メモリ（ｄｙｎａｍｉｃ ＲＡＭ、ＤＲＡＭ）などが挙げられる。本出願の各実施形態に係るデータベースは、リレーショナルデータベース及び非リレーショナルデータベースのうちの少なくとも１つを含むことができる。非リレーショナルデータベースは、ブロックチェーンベースの分散型データベース（ｂｌｏｃｋｃｈａｉｎ－ｂａｓｅｄ ｄｉｓｔｒｉｂｕｔｅｄ ｄａｔａｂａｓｅ）などを含むことができ、それに限定されない。本出願の各実施形態に係るプロセッサは、汎用プロセッサ、中央処理装置、グラフィックプロセッサ、デジタル信号プロセッサ、プログラマブル・ロジック・デバイス、量子計算ベースのデータ処理ロジックデバイス（ｄａｔａ ｐｒｏｃｅｓｓｉｎｇ ｌｏｇｉｃ ｄｅｖｉｃｅ ｂａｓｅｄ ｏｎ ｑｕａｎｔｕｍ ｃｏｍｐｕｔｉｎｇ）などであることができるが、それらに限定されない。

【0100】

上記実施形態の各技術的特徴は、任意に組み合わせられることができる。簡潔さのために、上記実施形態における各技術的特徴のすべての可能な組み合わせが記載されているわけではない。しかし、それらの技術的特徴の組み合わせに矛盾がない限り、それらの組み合わせはすべて本明細書の記載の範囲にあると考えるべきである。

【0101】

上記実施形態は本出願のいくつかの実施形態のみを示し、上記実施形態の説明は具体的且つ詳細であるが、それを本出願の特許範囲への制限と理解されるべきではない。本出願の着想から逸脱しない限り、当業者はいくつかの変更及び改良を行うことができ、それらの変更及び改良はすべて本出願の保護範囲に属すべきである。従って、本出願の保護範囲は、添付の特許請求の範囲に基づくべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】