特許 7592438 入出庫管理システム、入出庫管理装置及び入出庫管理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-22

(45)【発行日】2024-12-02

(54)【発明の名称】入出庫管理システム、入出庫管理装置及び入出庫管理方法

(51)【国際特許分類】

   G08B 25/00 20060101AFI20241125BHJP

   B65G 1/137 20060101ALI20241125BHJP

   H04N 7/18 20060101ALI20241125BHJP

   G06Q 10/08 20240101ALI20241125BHJP

【ＦＩ】

G08B25/00 510M

B65G1/137 A

H04N7/18 D

G06Q10/08

【請求項の数】 12

(21)【出願番号】P 2020156116

(22)【出願日】2020-09-17

(65)【公開番号】P2022049856

(43)【公開日】2022-03-30

【審査請求日】2023-03-16

(73)【特許権者】

【識別番号】000001122

【氏名又は名称】株式会社日立国際電気

(74)【代理人】

【識別番号】110000062

【氏名又は名称】弁理士法人第一国際特許事務所

(72)【発明者】

【氏名】岩永 一成

【審査官】飯島 尚郎

(56)【参考文献】

【文献】特開２０１２－０７８９９５（ＪＰ，Ａ）

【文献】特開２０２０－００８９８１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０２５０７３６（ＵＳ，Ａ１）

【文献】特開２０１８－２０６１５９（ＪＰ，Ａ）

【文献】特開２０２０－０８６４８２（ＪＰ，Ａ）

【文献】特開２０１８－０９７７８１（ＪＰ，Ａ）

【文献】国際公開第２０２０／１１６４８２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｂ ２１／００－３１／００

Ｂ６５Ｇ １／１３７

Ｈ０４Ｎ ７／１８

Ｇ０６Ｑ １０／０８

(57)【特許請求の範囲】

【請求項1】

倉庫における複数の場所に設けられて、映像を取得する撮像部と、
前記倉庫に保管されている物品の入出庫手続きを管理するための入出庫手続き管理部と、
前記映像における物体の行動の目的を判断するための入出庫動作を行うための所要時間を示す所要時間情報を含む行動要素に基づいて、前記物体が前記物品に対して行う入出庫動作を判定する動作判定部と、
を含み、
前記動作判定部は、
前記撮像部によって取得された前記映像を所定の骨格推定手段によって解析することで、前記映像における前記物体の手と腕の位置関係、手でものを持っているか否か、手でものを触っているか否か、立っているか否か、座っているか否か、しゃがんでいるか否か、又は物体の手、足、頭の動きを示す情報である物体姿勢情報を取得し、
前記物体姿勢情報に基づいて、入出庫動作の開始時及び／又は入出庫動作の終了時に、物品を手で持っているか否かによって前記入出庫動作を判定し、
前記所要時間が特定の種類の物品１品あたりの重量に応じた入庫のための平均的時間に該当する場合には、当該物体の入出庫動作は入庫と判定し、
前記所要時間が特定の種類の物品１品あたりの重量に応じた入庫のための平均的時間に該当しない場合には、当該物体の入出庫動作は出庫または検品と判定する
ことを特徴とする入出庫管理システム。

【請求項2】

前記入出庫管理システムは、
前記入出庫手続き管理部を介して行われる前記入出庫手続きの記録を保存するための管理ＤＢと、
前記入出庫動作が正当か否かを判定するためのセキュリティ部を更に含み、
前記入出庫動作が前記動作判定部によって判定された場合、
前記セキュリティ部は、
前記管理ＤＢを参照し、所定の時間以内に作成され、且つ、前記入出庫動作に一致する入出庫手続きの記録が前記管理ＤＢに存在するか否かを判定し、
前記所定の時間以内に作成され、且つ、前記入出庫動作に一致する入出庫手続きの記録が前記管理ＤＢに存在しないと判定された場合、不正の入出庫行為が発生した可能性があることを示す警告を出力する、
ことを特徴とする、請求項１に記載の入出庫管理システム。

【請求項3】

前記動作判定部は、
テンプレートマッチング手法又は差分法のいずれかを用いて、前記映像における前記物体の有無を判定する、
ことを特徴とする、請求項１又は請求項２に記載の入出庫管理システム。

【請求項4】

前記映像において前記物体が存在すると判定された場合には、
前記動作判定部は、
オブジェクト追跡手段を用いて前記物体を追跡することで、前記物体が前記倉庫に配置されている棚に対する所定の距離基準を満たすか否かを判定し、
前記物体が前記棚に対する所定の距離基準を満たす場合、前記物体の行動の目的を判断するための行動要素を導出し、前記行動要素に基づいて、前記物体が前記棚に対して行う入出庫動作を入庫、出庫及び検品のいずれか一方として判定する、
ことを特徴とする、請求項１乃至３のいずれかに記載の入出庫管理システム。

【請求項5】

前記行動要素は、
前記物体の姿勢を示す物体姿勢情報
を含むことを特徴とする、
請求項１乃至４のいずれかに記載の入出庫管理システム。

【請求項6】

前記入出庫手続き管理部は、
前記物体を認証するための認証情報と、
前記入出庫動作が入庫か出庫かを示す入出庫動作種類情報と、
前記入出庫動作で入庫又は出庫される物品を識別する物品情報と、
を受信することで、入出庫手続きを行う、
ことを特徴とする、請求項１乃至５のいずれかに記載の入出庫管理システム。

【請求項7】

前記入出庫管理システムは、
通信ネットワークを介して前記入出庫手続き管理部及び前記動作判定部に接続されているクラウド側解析部を更に含み、
前記入出庫手続き管理部又は前記動作判定部の処理負荷が所定の基準を満たした場合、
前記クラウド側解析部は、
前記入出庫手続き管理部又は前記動作判定部の処理を、前記入出庫手続き管理部又は前記動作判定部の代わりに行う、
ことを特徴とする、請求項１乃至６のいずれかに記載の入出庫管理システム。

【請求項8】

倉庫における複数の場所に設けられている撮像部によって取得された映像を所定の映像解析手段によって解析することで、前記映像に写る物体の行動の目的を判断するための入出庫動作を行うための所要時間を示す所要時間情報を含む行動要素を導出し、前記行動要素に基づいて、前記物体が前記倉庫に保管される物品に対して行う入出庫動作を判定するための映像解析部と、
前記倉庫に保管される前記物品に関する入出庫手続きの記録を保存するための管理ＤＢと、
前記管理ＤＢを参照し、所定の時間以内に作成され、且つ、前記入出庫動作に一致する入出庫手続きの記録が前記管理ＤＢに存在するか否かを判定し、前記所定の時間以内に作成され、且つ、前記入出庫動作に一致する入出庫手続きの記録が前記管理ＤＢに存在しないと判定した場合、不正の入出庫行為が発生した可能性があることを示す警告を出力するセキュリティ部と、
を含み、
前記映像解析部は、
前記撮像部によって取得された前記映像を所定の骨格推定手段によって解析することで、前記映像における前記物体の手と腕の位置関係、手でものを持っているか否か、手でものを触っているか否か、立っているか否か、座っているか否か、しゃがんでいるか否か、又は物体の手、足、頭の動きを示す情報である物体姿勢情報を取得し、
前記物体姿勢情報に基づいて、入出庫動作の開始時及び／又は入出庫動作の終了時に、物品を手で持っているか否かによって前記入出庫動作を判定し、
前記所要時間が特定の種類の物品１品あたりの重量に応じた入庫のための平均的時間に該当する場合には、当該物体の入出庫動作は入庫と判定し、
前記所要時間が特定の種類の物品１品あたりの重量に応じた入庫のための平均的時間に該当しない場合には、当該物体の入出庫動作は出庫または検品と判定する
ことを特徴とする、入出庫管理装置。

【請求項9】

前記行動要素は、
前記物体の姿勢を示す物体姿勢情報
を含むことを特徴とする、
請求項８に記載の入出庫管理装置。

【請求項10】

前記物体を認証するための認証情報と、
前記入出庫動作が入庫か出庫かを示す入出庫動作種類情報と、
前記入出庫動作で入庫又は出庫される物品を識別する物品情報と、
を受信することで、入出庫手続きを行うことを特徴とする、
請求項８又は請求項９に記載の入出庫管理装置。

【請求項11】

倉庫における複数の場所に設けられている撮像部からの映像を取得する工程と、
前記映像を所定の映像解析手段によって解析することで、前記映像に写る物体の有無を判定する工程と、
前記映像に写る物体が存在すると判定された場合には、所定のオブジェクト追跡手段を用いて前記物体を追跡することで、前記物体が前記倉庫に配置されている棚に対する所定の距離基準を満たすか否かを判定する工程と、
前記物体が前記棚に対する所定の距離基準を満たす場合、前記物体の行動の目的を判断するための入出庫動作を行うための所要時間を示す所要時間情報を含む行動要素を所定の映像解析手段によって導出し、前記行動要素に基づいて、前記物体が前記棚に保管される物品に対して行う入出庫動作を入庫、出庫及び検品のいずれか一方として判定する工程と、
前記倉庫に保管される物品に関する入出庫手続きの記録を保存するための管理ＤＢを参照し、所定の時間以内に作成され、且つ、前記入出庫動作に一致する入出庫手続きの記録が前記管理ＤＢに存在するか否かを判定する工程と、
前記所定の時間以内に作成され、且つ、前記入出庫動作に一致する入出庫手続きの記録が前記管理ＤＢに存在しないと判定された場合、不正の入出庫行為が発生した可能性があることを示す警告を生成し、出力する工程と、
を含み、
前記入出庫動作を入庫、出庫及び検品のいずれか一方として判定する工程は、
前記撮像部によって取得された前記映像を所定の骨格推定手段によって解析することで、前記映像における物体の手と腕の位置関係、手でものを持っているか否か、手でものを触っているか否か、立っているか否か、座っているか否か、しゃがんでいるか否か、又は物体の手、足、頭の動きを示す情報である物体姿勢情報を取得する工程と、
前記物体姿勢情報に基づいて、入出庫動作の開始時及び／又は入出庫動作の終了時に、物品を手で持っているか否かによって前記入出庫動作を判定する工程と、
前記所要時間が特定の種類の物品１品あたりの重量に応じた入庫のための平均的時間に該当する場合には、当該物体の入出庫動作は入庫と判定し、
前記所要時間が特定の種類の物品１品あたりの重量に応じた入庫のための平均的時間に該当しない場合には、当該物体の入出庫動作は出庫または検品と判定する工程とを更に含む、
ことを特徴とする、入出庫管理方法。

【請求項12】

前記行動要素は、
前記物体が前記入出庫動作を行うための所要時間を示す所要時間情報、及び
前記物体の姿勢を示す物体姿勢情報、
のいずれか一方を含むことを特徴とする、
請求項１１に記載の入出庫管理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、入出庫管理システム、入出庫管理装置及び入出庫管理方法に関する。

【背景技術】

【0002】

物流業界、工場、備品倉庫などにおいて、保管されている物品を効率よく管理することが重要である。倉庫に保管される物品がいつ、誰によって入庫又は出庫（以下、「入出庫」という）されたかを管理することで、倉庫の在庫を正確に把握し、物品の特定・入手を容易にすると共に、無許可の入出庫行為を防ぐことができる。従って、倉庫に出入りする入退出者と、当該入退出者によって行われる入出庫動作の内容を正確に管理する手段があれば望ましい。

【0003】

倉庫などのような建物の入退出者を監視する手段としては、例えば特開２０１０-９８５９２（特許文献１）がある。
特許文献１には、「複数のモーションディテクト機能付ＩＰカメラそれぞれが撮像した映像から動き検出を行い、動き検出した場合に、当該映像を前記ハブに出力することによって、建物の入退出時の人物の像が連続的にモニタに表示する」技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１０-９８５９２

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１には、高機能のモーションディテクト機能付ＩＰカメラを用いることにより、建物の出入り口を通過する物体を検出し、検出された物体が人間か否かの判別を行うことで、建物の入退室を監視する手段が記載されている。
しかしながら、特許文献１の手段は、建物の入退室を監視することのみに着目しており、倉庫に入室する人物が、倉庫に保管される物品に対して行う動作の判定については考慮していない。物品の入出庫を管理するためには、例えばＲＦＩＤタグやバーコードによる管理が考えらえるが、これらはいずれも、数多くの物品にＲＦＩＤタグやバーコードを張り付ける手間が発生する上、入出庫動作を行った者の行動等を把握することができない。

【0006】

そこで、本開示は、倉庫内に配置されているカメラから取得した映像を映像処理手段で解析し、倉庫の利用者による物品の入庫や出庫の行動を判定することで、倉庫内のセキュリティを向上させると共に、入出庫の手続きを簡素化させ、入出庫の管理に要する時間を低減する手段を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記の課題を解決するために、代表的な本開示の入出庫管理システムの一つは、倉庫における複数の場所に設けられて、映像を取得する撮像部と、前記倉庫に保管されている物品の入出庫手続きを管理するための入出庫手続き管理部と、前記映像における物体の行動の目的を判断するための行動要素に基づいて、前記物体が前記物品に対して行う入出庫動作を判定する動作判定部とを含む。

【発明の効果】

【0008】

本開示によれば、倉庫内に配置されているカメラから取得した映像を映像処理手段で解析し、倉庫の利用者による物品の入庫や出庫の行動を判定することで、倉庫内のセキュリティを向上させると共に、入出庫の手続きを簡素化させ、入出庫の管理に要する時間を低減する手段を提供することができる。
上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

【図面の簡単な説明】

【0009】

【図1】図１は、本開示の実施形態を実施するためのコンピュータシステムを示す図である。

【図2】図２は、本開示の実施形態に係る入出庫管理システムの構成の一例を示す図である。

【図3】図３は、本開示の実施形態に係る入出庫管理システムを適用する物品管理倉庫の一例を示す図である。

【図4】図４は、本開示の実施形態に係る入出庫管理方法の流れの一例を示す図である。

【図5】図５は、本開示の実施形態に係る撮像部によって取得された映像の一例を示す図である。

【図6】図６は、本開示の実施形態に係るテンプレートマッチングの一例を示す図である。

【図7】図７は、本開示の実施形態に係る、行動要素に基づいた入出庫動作の判定の一例を示す図である。

【図8】図８は、本開示の実施形態に係る入出庫手続きの一例を示す図である。

【図9】図９は、本開示の実施形態に係る入出庫手続きの一例を示す図である。

【図10】図１０は、本開示の実施形態に係る不正の入出庫行為検出の一例を示す図である。

【図11】図１１は、本開示の実施形態に係る前景抽出画像を生成する処理の一例を示す図である。

【図12】図１２は、本開示の実施形態に係る映像解析部によるディープラーニングの処理の一例を示す図である。

【図13】図１３は、本開示の実施形態に係るＣＮＮ部における畳み込み層の計算方法の一例を示す図である。

【発明を実施するための形態】

【0010】

以下、図面を参照して、本開示の実施形態について説明する。なお、この実施形態により本開示が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
（ハードウェア構成）

【0011】

まず、図１を参照して、本開示の実施形態を実施するためのコンピュータシステム３００について説明する。本明細書で開示される様々な実施形態の機構及び装置は、任意の適切なコンピューティングシステムに適用されてもよい。コンピュータシステム３００の主要コンポーネントは、１つ以上のプロセッサ３０２、メモリ３０４、端末インターフェース３１２、ストレージインタフェース３１４、Ｉ／Ｏ（入出力）デバイスインタフェース３１６、及びネットワークインターフェース３１８を含む。これらのコンポーネントは、メモリバス３０６、Ｉ／Ｏバス３０８、バスインターフェースユニット３０９、及びＩ／Ｏバスインターフェースユニット３１０を介して、相互的に接続されてもよい。

【0012】

コンピュータシステム３００は、プロセッサ３０２と総称される１つ又は複数の汎用プログラマブル中央処理装置（ＣＰＵ）３０２Ａ及び３０２Ｂを含んでもよい。ある実施形態では、コンピュータシステム３００は複数のプロセッサを備えてもよく、また別の実施形態では、コンピュータシステム３００は単一のＣＰＵシステムであってもよい。各プロセッサ３０２は、メモリ３０４に格納された命令を実行し、オンボードキャッシュを含んでもよい。

【0013】

ある実施形態では、メモリ３０４は、データ及びプログラムを記憶するためのランダムアクセス半導体メモリ、記憶装置、又は記憶媒体（揮発性又は不揮発性のいずれか）を含んでもよい。メモリ３０４は、本明細書で説明する機能を実施するプログラム、モジュール、及びデータ構造のすべて又は一部を格納してもよい。例えば、メモリ３０４は、入出庫管理アプリケーション３５０を格納していてもよい。ある実施形態では、入出庫管理アプリケーション３５０は、後述する機能をプロセッサ３０２上で実行する命令又は記述を含んでもよい。

【0014】

ある実施形態では、入出庫管理アプリケーション３５０は、プロセッサベースのシステムの代わりに、またはプロセッサベースのシステムに加えて、半導体デバイス、チップ、論理ゲート、回路、回路カード、および/または他の物理ハードウェアデバイスを介してハードウェアで実施されてもよい。ある実施形態では、入出庫管理アプリケーション３５０は、命令又は記述以外のデータを含んでもよい。ある実施形態では、カメラ、センサ、または他のデータ入力デバイス（図示せず）が、バスインターフェースユニット３０９、プロセッサ３０２、またはコンピュータシステム３００の他のハードウェアと直接通信するように提供されてもよい。

【0015】

コンピュータシステム３００は、プロセッサ３０２、メモリ３０４、表示システム３２４、及びＩ／Ｏバスインターフェースユニット３１０間の通信を行うバスインターフェースユニット３０９を含んでもよい。Ｉ／Ｏバスインターフェースユニット３１０は、様々なＩ／Ｏユニットとの間でデータを転送するためのＩ／Ｏバス３０８と連結していてもよい。Ｉ／Ｏバスインターフェースユニット３１０は、Ｉ／Ｏバス３０８を介して、Ｉ／Ｏプロセッサ（ＩＯＰ）又はＩ／Ｏアダプタ（ＩＯＡ）としても知られる複数のＩ／Ｏインタフェースユニット３１２、３１４、３１６、及び３１８と通信してもよい。

【0016】

表示システム３２４は、表示コントローラ、表示メモリ、又はその両方を含んでもよい。表示コントローラは、ビデオ、オーディオ、又はその両方のデータを表示装置３２６に提供することができる。また、コンピュータシステム３００は、データを収集し、プロセッサ３０２に当該データを提供するように構成された1つまたは複数のセンサ等のデバイスを含んでもよい。

【0017】

例えば、コンピュータシステム３００は、心拍数データやストレスレベルデータ等を収集するバイオメトリックセンサ、湿度データ、温度データ、圧力データ等を収集する環境センサ、及び加速度データ、運動データ等を収集するモーションセンサ等を含んでもよい。これ以外のタイプのセンサも使用可能である。表示システム３２４は、単独のディスプレイ画面、テレビ、タブレット、又は携帯型デバイスなどの表示装置３２６に接続されてもよい。

【0018】

Ｉ／Ｏインタフェースユニットは、様々なストレージ又はＩ／Ｏデバイスと通信する機能を備える。例えば、端末インタフェースユニット３１２は、ビデオ表示装置、スピーカテレビ等のユーザ出力デバイスや、キーボード、マウス、キーパッド、タッチパッド、トラックボール、ボタン、ライトペン、又は他のポインティングデバイス等のユーザ入力デバイスのようなユーザＩ／Ｏデバイス３２０の取り付けが可能である。ユーザは、ユーザインターフェースを使用して、ユーザ入力デバイスを操作することで、ユーザＩ／Ｏデバイス３２０及びコンピュータシステム３００に対して入力データや指示を入力し、コンピュータシステム３００からの出力データを受け取ってもよい。ユーザインターフェースは例えば、ユーザＩ／Ｏデバイス３２０を介して、表示装置に表示されたり、スピーカによって再生されたり、プリンタを介して印刷されてもよい。

【0019】

ストレージインタフェース３１４は、１つ又は複数のディスクドライブや直接アクセスストレージ装置３２２（通常は磁気ディスクドライブストレージ装置であるが、単一のディスクドライブとして見えるように構成されたディスクドライブのアレイ又は他のストレージ装置であってもよい）の取り付けが可能である。ある実施形態では、ストレージ装置３２２は、任意の二次記憶装置として実装されてもよい。メモリ３０４の内容は、ストレージ装置３２２に記憶され、必要に応じてストレージ装置３２２から読み出されてもよい。Ｉ／Ｏデバイスインタフェース３１６は、プリンタ、ファックスマシン等の他のＩ／Ｏデバイスに対するインターフェースを提供してもよい。ネットワークインターフェース３１８は、コンピュータシステム３００と他のデバイスが相互的に通信できるように、通信経路を提供してもよい。この通信経路は、例えば、ネットワーク３３０であってもよい。

【0020】

ある実施形態では、コンピュータシステム３００は、マルチユーザメインフレームコンピュータシステム、シングルユーザシステム、又はサーバコンピュータ等の、直接的ユーザインターフェースを有しない、他のコンピュータシステム（クライアント）からの要求を受信するデバイスであってもよい。他の実施形態では、コンピュータシステム３００は、デスクトップコンピュータ、携帯型コンピュータ、ノートパソコン、タブレットコンピュータ、ポケットコンピュータ、電話、スマートフォン、又は任意の他の適切な電子機器であってもよい。

【0021】

次に、図２を参照して、本開示の実施形態に係る入出庫管理システムについて説明する。

【0022】

図２は、本開示の実施形態に係る入出庫管理システム２００の構成の一例を示す図である。図２に示すように、入出庫管理システム２００は、動作判定部２１０、入出庫手続き管理部２２０、及びクラウド側解析部２３０を主に含む。また、入出庫管理システム２００は、動作判定部２１０、入出庫手続き管理部２２０、及びクラウド側解析部２３０は、例えばネットワーク２１２を介して相互的に接続される。
ネットワーク２１２は、例えばインターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよい。

【0023】

動作判定部２１０は、対象の映像に写る物体が、倉庫などの建物に配置される棚に対して行う入出庫動作を判定するための機能部である。ここでの入出庫動作とは、倉庫に保管されている物品を入庫したり、出庫したり、検品したりするための動作を意味する。
図２に示すように、動作判定部２１０は、撮像部２０１、２０３と、映像解析部２０２、２０４と、セキュリティ部２１３とを含む。

【0024】

撮像部２０１、２０３は、倉庫における複数の箇所に設置され、映像を取得するように構成されているカメラである。例えば、撮像部２０１、２０３は、倉庫の出入り口や棚などを撮影するように設置されている監視カメラであってもよい。また、撮像部２０１、２０３は、例えば倉庫に出入りする物体の映像や、棚に保管されている物品を入庫したり、出庫したり、検品したりするための入出庫動作を行う物体の映像を取得してもよい。ここでの映像とは、例えば、少なくとも１つの静止画像を含むシーケンスであってもよい。
また、ここでの物体とは、映像に写る任意のオブジェクトを意味し、例えば人間（倉庫の関係者、不審者等）やロボット、搬送用機、動物（猫やアライグマ等）等、任意の物体であってもよい。

【0025】

映像解析部２０２、２０４は、例えば撮像部２０１、２０３によって撮影された映像を解析するための機能部である。映像解析部２０２、２０４は、例えばテンプレートマッチング、差分法、又はその他のオブジェクト検出手段を用いて倉庫に出入りする物体を検出したり、オブジェクト追跡手段を用いてオブジェクトの移動を追跡したり、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）などの手段を用いて検出した物体が行う入出庫動作を判定したりする処理を実施するように構成されてもよい。
ある実施形態では、映像解析部２０２、２０４は、コンピューティング資源を節約するために、物体の検知をテンプレートマッチングや差分法等の処理負荷が比較的に低い手段によって行い、物体が検知された場合にのみ、処理負荷がより高いディープラーニングや機械学習を用いて物体の移動や動作を解析するように構成されてもよい。

【0026】

セキュリティ部２１３は、入出庫動作が動作判定部２１０によって判定された場合、当該入出庫動作に一致する入出庫手続きの記録が管理ＤＢ（例えば、管理ＤＢ２１４、管理ＤＢ２２５等）に保存されているかを確認する。当該入出庫動作に一致する入出庫手続きの記録が管理ＤＢに存在しない場合には、セキュリティ部２１３は、倉庫に保管されている物品に関する不正の入出庫行為が発生した可能性があると判断し、この不正の入出庫行為の情報を知らせる警告を、例えば倉庫の管理者等に送信する。

【0027】

入出庫手続き管理部２２０は、倉庫などの施設に保管されている物品に関する入出庫手続きを管理するための機能部である。ここでの入出庫手続きは、倉庫に保管されている在庫への変更を記録するための手続きである。例えば、この入出庫手続きは、新たな物品の入庫を記録したり、保管されている物品の出庫を記録したりするための手続きを含む。また、入出庫手続き管理部２２０は、入出庫手続きを行う利用者を識別する機能を備えてもよい。
図２に示すように、入出庫手続き管理部２２０は、表示部２０５、撮像部２０６、入力部２０７、映像解析部２１１、管理ＤＢ２１４、及びセキュリティ部２１５とを含む。
なお、入出庫手続き管理部２２０は、倉庫に配置されている固定型の端末であってもよく、タブレットやスマートフォン等の携帯型端末であってもよい。

【0028】

表示部２０５は、入出庫手続きを行うための画面を表示する表示装置であり、例えばディスプレイ、スマートフォン、タブレット、テレビ、又は専用の装置であってもよい。表示部２０５は、例えば物品に関する物品情報（型番など）、利用者を識別するための認証情報（氏名、社員番号など）、及び入出庫動作の種類を示す入出庫動作種類情報（物品を入庫するか出庫するか）などの情報の入力を受け付けるためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示してもよい。

【0029】

撮像部２０６は、入出庫手続き管理部を用いて入出庫手続きを行う利用者や、利用者によって入出庫される物品を撮影するためのカメラである。撮像部２０６は、例えば、表示部２０５に搭載されているカメラであってもよく、独立したカメラであってもよい。後述するように、撮像部２０６によって撮影された映像を解析することにより、入出庫される物品を識別すると同時に、入出庫動作を行う利用者を識別することができる。

【0030】

入力部２０７は、入出庫手続きに関する情報を入力するための機能部である。例えば、入力部２０７は、マウス、キーボード、マイクロフォン、タッチパネルなど、任意の入力装置であってもよい。入力部２０７は、例えば物品に関する情報（型番など）、利用者を識別するための認証情報（氏名、社員番号など）、及び入出庫動作の種類を示す入出庫動作種類情報（物品を入庫するか出庫するか）などの情報の入力を受け付けてもよい。また、ある実施形態では、入力部２０７は、後述する映像解析部２１１によって実施された映像解析で識別された候補の物品の中から、１つの候補を物品として選択したり、誤った映像解析結果を修正したりするために用いられてもよい。

【0031】

映像解析部２１１は、撮像部２０６によって撮影された映像を解析して、当該映像に写る物体（利用者等）や物品を識別するための機能部である。映像解析部２１１は、物品を識別するためには、例えばＶｉｏｌａ－Ｊｏｎｅｓ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ、 Ｓｃａｌｅ－ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ、 Ｈｉｓｔｏｇｒａｍ ｏｆ ｏｒｉｅｎｔｅｄ ｇｒａｄｉｅｎｔｓの機械学習手法や、Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌｓ、 Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ、 Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ、 Ｓｉｎｇｌｅ－ｓｈｏｔ Ｒｅｆｉｎｅｍｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ、 Ｒｅｔｉｎａ－Ｎｅｔ、 Ｄｅｆｏｒｍａｂｌｅ ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓの深層学習手法など、任意の方法を用いてオブジェクトを検出してもよい。ある実施形態では、映像解析部２１１は、対象の倉庫に保管されている物品の画像を学習データとして事前に訓練されたニューラルネットワークであってもよい。
また、映像解析部２１１は、利用者の正体を識別するために、３次元顔認識や皮膚のきめの分析などの顔認識手段を用いてもよい。

【0032】

管理ＤＢ２１４は、入出庫手続き管理部２２０を介して行われる入出庫手続きの記録を保存するためのデータベースである。例えば、管理ＤＢ２１４は、入出庫手続きの種類を示す入出庫動作種類情報（入庫か出庫か）、入出庫される物品を識別する物品情報（型番等）、入出庫手続きを行う利用者を識別する認証情報（氏名、社員番号など）、入出庫手続きが行われた日時等を記録してもよい。セキュリティ部２１３、２１５、２１６は、当該管理ＤＢ２１４（又は後述する管理ＤＢ２２５）の記録を参照することで、ある入出庫動作が正当か不正かを判定することができる。管理ＤＢ２１４は、例えばフラッシュメモリ、ハードディスクドライブ等、任意の記憶媒体であってもよい。
なお、管理ＤＢ２１４及び後述する管理ＤＢ２２５の内容は、ネットワーク２１２を介して定期的に互いに同期化されてもよい。これにより、入出庫動作の妥当性の判定がエッジ側で行われても、クラウド側で行われても、不正の入出庫行為を正確に判定することができる。

【0033】

セキュリティ部２１５は、上述したセキュリティ部２１３と同様に、入出庫動作が動作判定部２１０によって判定された場合、当該入出庫動作に一致する入出庫手続きの記録が管理ＤＢ（例えば、管理ＤＢ２１４、管理ＤＢ２２５等）に保存されているかを確認する。当該入出庫動作に一致する入出庫手続きの記録が管理ＤＢに存在しない場合には、セキュリティ部２１５は、倉庫に保管されている物品に関する不正の入出庫行為が発生した可能性があると判断し、この不正の入出庫行為の情報を知らせる警告を、例えば倉庫の管理者等に送信する。

【0034】

クラウド側解析部２３０は、ネットワーク２１２を介して動作判定部２１０及び／又は入出庫手続き管理部２２０から受信した情報を解析するためのサーバ装置である。ある実施形態では、クラウド側解析部２３０は、撮像部２０１、２０３、２０６によって取得された映像を、映像解析部２０２、２０４、２１１の代わりに解析するために用いられてもよい。例えば、ある実施形態では、動作判定部２１０の映像解析部２０２、２０４、又は入出庫手続き管理部２２０の映像解析部２１１の処理負荷が所定の基準を満たした場合、映像解析部２０２、２０４、２１１の処理をクラウド側解析部２３０の映像解析部２０９によって行うようにしてもよい。
このように、エッジ側の映像解析部２０２、２０４、２１１の代わりにクラウド側解析部２３０によって映像解析を行うことで、クラウドの膨大なコンピューティング資源を活用し、エッジ側より高精度な解析結果を得ることができると共に、エッジ側での処理負荷を減らすことができる。
また、ある実施形態では、クラウド側解析部２３０は、映像解析部２０２、２０４、２１１による映像解析結果を集約し再解析するために用いられてもよい。これにより、映像解析部２０２、２０４、２１１による映像解析結果を修正し、より正確な解析結果を得ることができる。

【0035】

図２に示すように、クラウド側解析部２３０は、映像解析部２０９、セキュリティ部２１６、及び管理ＤＢ２２５を含む。

【0036】

映像解析部２０９は、例えば撮像部２０１、２０３、２０６によって撮影された映像、又は映像解析部２０２、２０４、２１１によって生成された映像解析結果を（再）解析するための機能部である。映像解析部２０９は、上述した映像解析部２０２、２０４、２１１と同様であってもよく、上述したオブジェクト検出手段、顔認識手段、ＣＮＮなど、クラウド側解析部２３０の使用目的に応じて任意の手段を用いるように構成されてもよい。

【0037】

セキュリティ部２１６は、上述したセキュリティ部２１３、２１５と同様に、入出庫動作が動作判定部２１０（又は映像解析部２０９）によって判定された場合、当該入出庫動作に一致する入出庫手続きの記録が管理ＤＢ（例えば、管理ＤＢ２１４、管理ＤＢ２２５等）に保存されているかを確認する。当該入出庫動作に一致する入出庫手続きの記録が管理ＤＢに存在しない場合には、セキュリティ部２１６は、倉庫に保管されている物品に関する不正の入出庫行為が発生した可能性があると判断し、この不正の入出庫行為の情報を知らせる警告を、例えば倉庫の管理者等に送信する。

【0038】

管理ＤＢ２２５は、入出庫手続き管理部２２０を介して行われる入出庫手続きの記録を保存するためのデータベースである。例えば、管理ＤＢ２２５は、入出庫手続きの種類を示す入出庫動作種類情報（入庫か出庫か）、入出庫される物品を識別する物品情報（型番等）、入出庫手続きを行う利用者を識別する認証情報（氏名、社員番号など）、入出庫手続きが行われた日時等を記録してもよい。セキュリティ部２１３、２１５、２１６は、当該管理ＤＢ２２５（又は管理ＤＢ２１４）の記録を参照することで、ある入出庫動作が正当か不正かを判定することができる。管理ＤＢ２２５は、例えばフラッシュメモリ、ハードディスクドライブ等、任意の記憶媒体であってもよい。
なお、管理ＤＢ２２５及び管理ＤＢ２１４の内容は、ネットワーク２１２を介して定期的に互いに同期化されてもよい。これにより、入出庫動作の妥当性の判定がエッジ側で行われても、クラウド側で行われても、不正の入出庫行為を正確に判定することができる。

【0039】

なお、本開示の実施形態に係る入出庫管理システム２００の構成は、上述した構成に限定されず、状況や使用目的に応じて適宜に変更されてもよい。例えば、図２では、三つの撮像部２０１、２０３、２０６を含む構成を説明したが、撮像部の数を適宜に減らしたり、増やしたりすることも可能である。
また、以上では、動作判定部２１０、入出庫手続き管理部２２０、及びクラウド側解析部２３０のそれぞれが映像解析部とセキュリティ部を含む構成を示したが、入出庫管理システム２００がこの構成に限定されず、例えば共通の映像解析部、セキュリティ部、及び／又は管理部で処理を一元的に行う構成も可能である。

【0040】

以上説明した構成により、入出庫管理システム２００は、倉庫に出入りする物体（人物）を識別すると共に、当該物体によって行われる入出庫動作を判定することができる。これにより、倉庫内のセキュリティを向上させると共に、入出庫の手続きを簡素化させ、利用者が入出庫の手続きに要する時間を低減する手段を提供することができる。

【0041】

次に、図３を参照して、本開示の実施形態に係る入出庫管理システム２００を適用する物品管理倉庫（以下、「倉庫」という場合もある）３６０の一例を示す図である。物品管理倉庫３６０は、例えば工場から出荷されたり輸入されたりした物品を小売店に輸送するまでの間一時的に保管しておく施設であってもよく、顧客に貸し出す（リース）物品を保管するための施設であってもよい。
上述した入出庫管理システム２００を物品管理倉庫３６０に適用することで、物品管理倉庫３６０に出入りする物体を検出すると共に、当該物体によって行われる入出庫動作を判定することができる。

【0042】

図３に示すように、物品管理倉庫３６０は、複数の棚３６１、６３２、３６３、３６４、撮像部２０１、２０３、入出庫手続き管理部２２０、及び出入り口３７０を主に含む。
棚３６１、６３２、３６３、３６４は、倉庫に保管される物品を収納するための棚である。棚３６１、６３２、３６３、３６４は、物品管理倉庫３６０において任意の位置で配置されてもよいが、撮像部２０１、２０３によって容易に撮影される位置に配置されることが望ましい。
出入り口３７０は、物品管理倉庫３６０に入退室する物体（人間の利用者など）が通過する出入り口である。

【0043】

上述したように、撮像部２０１、２０３は、倉庫における複数の箇所に設置され、映像を取得するように構成されているカメラである。例えば、撮像部２０１、２０３は、倉庫の出入り口３７０や棚３６１、３６２、３６３、３６４などを撮影するように設置されている監視カメラであってもよい。また、撮像部２０１、２０３は、例えば倉庫に出入りする物体の映像や、棚に保管されている物品を入庫したり、出庫したり、検品したりするための入出庫動作を行う物体の映像を取得してもよい。

【0044】

また、上述したように、入出庫手続き管理部２２０は、物品管理倉庫３６０に保管されている物品に関する入出庫手続きを管理するための機能部であり、表示部２０５、撮像部２０６、入力部２０７、及び映像解析部（図３に例示せず）を含む。図３に示す入出庫手続き管理部２２０に含まれるそれぞれの機能部は、図２を参照して説明したため、ここではその説明を省略する。
なお、図３に示す例では、入出庫手続き管理部２２０は、倉庫に配置されている固定型の端末であるが、本開示の実施形態に係る入出庫手続き管理部２２０は、これに限定されず、例えばタブレットやスマートフォン等の携帯型端末であってもよい。

【0045】

図３を参照して、物品管理倉庫３６０の在庫に対する入出庫動作を行う具体例を説明する。まず、利用者は、出入り口３７０を通過し、物品管理倉庫３６０に入室する。利用者の目的が物品の入庫の場合、当該利用者は、物品を棚に入庫する前に、入出庫手続き管理部２２０を用いて入出庫手続きを行う。ここで、利用者は、入庫の対象となる物品を識別するための物品情報（型番など）、自分を認証するための認証情報、及び入出庫動作の種類を示す入出庫動作種類情報を入力する。この際、利用者は、物品情報及び認証情報を入出庫手続き管理部２２０の入力部２０７を介して入力してもよく、物品及び顔を撮像部２０６の前にかざして、上述した映像解析部によるオブジェクト認識で物品情報及び認証情報を入力してもよい。入出庫手続き管理部２２０による入出庫手続きが完了すると、利用者は、物品を所定の棚に保管し、出入り口３７０から物品管理倉庫３６０を退室する。

【0046】

利用者の目的が物品の出庫の場合、当該利用者は、まず、特定の物品を棚から入手した後、入出庫手続き管理部２２０を用いて入出庫手続きを行う。ここで、上述したように、利用者は、物品情報、認証情報、及び入出庫動作種類情報を入出庫手続き管理部２２０の入力部２０７を介して入力してもよく、物品及び顔を撮像部２０６の前にかざして、上述した映像解析部によるオブジェクト認識で物品情報及び認証情報を入力してもよい。入出庫手続き管理部２２０による入出庫手続きが完了すると、利用者は、物品を持って出入り口３７０から物品管理倉庫３６０を退室する。

【0047】

次に、図４を参照して、本開示の実施形態に係る入出庫管理方法について説明する。

【0048】

図４は、本開示の実施形態に係る入出庫管理方法４００の流れの一例を示す図である。図４に示す入出庫管理方法４００は、例えば図２に示す入出庫管理システムによって実施される処理であり、倉庫に出入りする物体によって行われる入出庫動作を判定すると共に、不正の入出庫を検出するための処理である。

【0049】

まず、ステップＳ４１０では、撮像部（例えば、図２に示す撮像部２０１、２０３）は、
映像解析処理の解析対象となる映像を取得する。この映像は、例えば定期的（１分毎、５分毎等）に撮像部によって取得されてもよく、動きが検知されたことをきっかけに取得されてもよい。一例として、この映像は、倉庫の出入り口が写る映像であってもよい。

【0050】

次に、ステップＳ４２０では、映像解析部（例えば、図２に示す映像解析部２０２、２０４）は、ステップＳ４１０で取得された解析対象の映像において、物体が写っているか否かを判定する。ここでの物体とは、映像に写る任意のオブジェクトを意味し、例えば人間（倉庫の関係者、不審者等）や動物（猫やアライグマ等）等、任意の物体であってもよい。ここでは、映像解析部は、物体の有無を判定するために、上述したテンプレートマッチング、差分法、オブジェクト検出等の手段を用いてもよい。物体が検出された場合には、本処理はステップＳ４３０に進み、物体が検出されない場合には、本処理は終了する。

【0051】

次に、ステップＳ４３０では、映像解析部は、解析対象の映像において、ステップＳ４２０で検出された物体を追跡し、当該物体が倉庫に配置されているいずれかの棚に対して所定の距離基準を満たすか否かを判定する。ここでは、映像解析部は、既存の物体追跡手段を用いてもよい。ここでの距離基準とは、例えばシステム管理者によって予め設定される距離の値（３０センチ以下、１０センチ以下など）であり、当該物体が棚に対して入出庫動作を行う範囲内まで接近しているか否かを判定するために用いられる。ここで、物体が棚に対して所定の距離基準を満たすか否かの判定は、ＯｐｅｎＣＶやＰｙｔｈｏｎなどの手法によって行われてもよい。

【0052】

次に、ステップＳ４４０では、映像解析部は、棚に対する所定の距離基準を満たすと判定された物体が棚に対して行う入出庫動作を判定する。「入出庫動作を判定する」との表現は、物品が入庫されたか、出庫されたか、検品されたかを特定することを意味する。ここで、映像解析部は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉ－ｂｏｘ Ｄｅｔｅｃｔｏｒ）などの映像解析手段を用いて、物体の行動を特徴付ける１つ又は複数の行動要素に基づいて、入出庫動作を判定する。ここでの行動要素とは、物体の行動の目的を判断するための指標であり、例えば、物体が入出庫動作を行うための所要時間を示す所要時間情報や、物体の姿勢を示す物体姿勢情報等を含んでもよい。これらの行動要素は、例えば、ＯｐｅｎＰｏｓｅなどのような骨格推定手段によって取得されてもよい。
なお、映像解析手段を用いて、映像を解析することで、物体の所要時間情報や姿勢情報等の行動要素に基づいて、当該物体の入出庫動作を判定する処理については後述する（図７参照）。

【0053】

次に、ステップＳ４５０では、映像解析部は、ステップＳ４４０で判定した入出庫動作に一致する入出庫手続きに記録が管理ＤＢ（例えば、図２に示す管理ＤＢ２１４又は管理ＤＢ２２５）に存在するか否かを判定する。ステップＳ４４０で判定した入出庫動作に一致する入出庫手続きに記録が存在する場合には、当該入出庫動作が正当であると判定する。一方、ステップＳ４４０で判定した入出庫動作に一致する入出庫手続きの記録が存在しない場合には、セキュリティ部（例えば、図２に示すセキュリティ部２１３、２１５、２１６）は、倉庫の物品に関する不正の入出庫行為が発生した可能性があることを示す警告を生成し、例えば倉庫の管理者等に送信する。
一例として、ステップＳ４４０での映像解析の結果、「出庫」が行われたと判定されたが、物品の出庫に該当し、且つ、所定の時間以内（例えば５分以内、１０分以内など）に作成された入出庫手続きの記録が管理ＤＢに存在しない場合には、セキュリティ部は、物品の窃盗が生じた可能性があると判定し、当該窃盗の可能性を示す警告を倉庫の管理者に送信してもよい。

【0054】

以上説明した入出庫管理方法４００により、倉庫内に配置されているカメラから取得した映像を映像処理手段で解析し、倉庫の利用者による物品の入庫や出庫の行動を検知することで、倉庫内のセキュリティを向上させると共に、入出庫の手続きを簡素化させ、利用者が入出庫の手続きに要する時間を低減することができる。

【0055】

次に、図５を参照して、本開示の実施形態に係る撮像部によって取得された映像の一例について説明する。

【0056】

図５は、本開示の実施形態に係る撮像部によって取得された映像の一例を示す図である。図５に示す映像５１０、５２０は、例えば倉庫に設置されている撮像部（例えば、図２に示す撮像部２０１、２０３）によって取得された映像であり、入出庫動作を判定するために解析される映像である。

【0057】

映像５１０は、例えば倉庫の出入り口付近に設置される撮像部によって撮影され、倉庫の内部の様子を示す映像である。映像５１０に示すように、段ボールに収容されている様々な物品５１５が倉庫の壁際や棚に保管されている。
映像５２０は、例えば棚の上に設置され、下に向くように設置されている撮像部によって撮影され、利用者５２５が入出庫動作を行う様子を示す映像である。映像５２０に示すように、利用者５２５が新たな物品を棚に入庫したり、棚から特定の物品を出庫したり、検品したりする入出庫動作が撮影される。
後述するように、映像５１０、５２０のような映像を解析することで得た、物体の行動の目的を判断するための行動要素に基づいて、入出庫動作を行う利用者の正体を識別すると共に、当該入出庫動作の内容（入庫、出庫、検品など）を判定することができる。

【0058】

次に、図６を参照して、本開示の実施形態に係るテンプレートマッチングについて説明する。

【0059】

図６は、本開示の実施形態に係るテンプレートマッチングの一例を示す図である。上述したように、本開示に係る映像解析部は、倉庫に設置される撮像部によって取得した映像をテンプレートマッチングで解析することで、物体が倉庫に入室したか否かを判定することができる。
以下、テンプレートマッチングを用いてドアの開閉状態を判定する場合を一例として説明する。

【0060】

まず、特定の映像が、解析対象映像の比較対象となるテンプレート６０５として設定される。このテンプレート６０５は、例えば倉庫の管理者等のユーザに設定されてもよい。一例として、図３に示すように、ドアが閉まっている様子を示す映像がテンプレート６０５として設定されてもよい。

【0061】

テンプレート６０５が設定された後、撮像部によって取得された解析対象の映像の、テンプレート６０５に対する類似度が計算される。この解析対象の映像は、例えば定期的（１分毎、５分毎等）に撮像部によって取得された映像であってもよく、動きが検知されたことをきっかけに取得された映像であってもよい。また、ここでの映像の類似度計算は、例えばＯｐｅｎＣＶやＰｙｔｈｏｎなどの手法によって行われてもよい。

【0062】

一例として、ドアが閉まっている様子を示す映像６１０が取得され、テンプレート６０５に比較された結果、「０．９９１２」の類似度が計算されるとする。この類似度が所定の類似度基準（０．８０以上等）を満たす場合、映像６１０がテンプレート６０５に一致する、つまり、ドアが閉まっていると判定される。
一方、ドアが開いている様子を示す映像６１５が取得され、テンプレート６０５に比較された結果、「０．２４３２」の類似度が計算されるとする。この類似度が所定の類似度基準（０．８０以上等）を満たさない場合、映像６１５がテンプレート６０５に一致しない、つまり、ドアが開いていると判定される。

【0063】

以上説明したテンプレートマッチングの手段を用いることにより、利用者などの物体が倉庫に出入りしたか否かを判定することができる。また、後述するように、利用者などの物体が倉庫に出入りしたと判定された場合、当該物体の行動をオブジェクト追跡手段ＣＮＮ、ＳＳＤなどのより高度な映像解析手段によって解析することで、倉庫の物品に関する入出庫動作を判定することができる。

【0064】

次に、図７を参照して、本開示の実施形態に係る、行動要素に基づいた入出庫動作の判定について説明する。

【0065】

図７は、本開示の実施形態に係る、行動要素に基づいた入出庫動作の判定の一例を示す図である。上述したように、本開示の実施形態に係る映像解析部は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）、ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉ－ｂｏｘ Ｄｅｔｅｃｔｏｒ）、Ｏｐｅｎｐｏｓｅなどの映像解析手段を用いて映像を解析することで、当該映像に写る物体の行動を特徴付ける１つ又は複数の行動要素を導出することができる。また、これらの行動要素に基づいて、倉庫の物品に関する入出庫動作を判定することができる。
ここでの行動要素とは、物体の行動の目的を判断するための指標であり、例えば、物体が入出庫動作を行うための所要時間を示す所要時間情報や、物体の姿勢を示す物体姿勢情報等を含んでもよい。ただし、本開示の実施形態に係る行動要素は、これに限定されず、物体の行動の目的を判断するための他の要素や情報を含んでもよい。
以下、これらの行動要素に基づいて入出庫動作を判定することについて説明する。

【0066】

物体が入出庫動作を行うための所要時間は、例えば、撮像部によって撮像された映像に対応付けられているタイムスタンプなどに基づいて判定されてもよい。
原則として、物品の入庫は、物品の出庫より時間がかかる傾向がある。従って、物体が入出庫動作を行うための所要時間が第１の所定の時間基準を満たす場合、当該物体の入出庫動作は、「入庫」と判定されてもよい。より具体的には、ここでの第１の所定の時間基準は、物品の数又は種類に応じて設定されてもよく、特定の種類の物品１品あたり、当該物品を入庫する平均時間の範囲を示す値であってもよい。
例えば、「電球」のような、片手で持つことができる軽量の物品の場合、「１～１０秒」を第１の所定の時間基準として設定し、「１０キログラムの白米」のような重量の物品の場合、「２０秒以上」を第１の所定の時間基準として設定してもよい。従って、物体が入出庫動作を行うための所要時間が測定された後、この測定値が、各物品について事前に用意された第１の所定の時間基準のいずれかに一致する場合、当該入出庫動作が「入庫」と判定されてもよい。一方、物体が入出庫動作を行うための所要時間が各物品について事前に用意された第１の所定の時間基準のいずれも満たさない場合、当該入出庫動作が「出庫」又は「検品」として判定されてもよい。

【0067】

ただし、入出庫動作を行うための所要時間は、人間の体質、精神状態、物品の保管場所（棚の上段か下段）等、様々な要素に左右されるため、入出庫動作の判定は、入出庫動作を行うための所要時間だけでなく、物体の姿勢を示す物体姿勢情報を考慮して行うことが望ましい。

【0068】

物体姿勢情報は、撮像部によって取得された解析対象の映像を、例えばＯｐｅｎｐｏｓｅなどのような骨格推定手段によって推定することで取得することができる。ここでの物体姿勢情報は、例えば、物体の手と腕の位置関係、手でものを持っているか否か、手でものを触っているか否か、立っているか否か、座っているか否か、しゃがんでいるか否か、又は物体の手、足、頭等の動きを示す情報を含んでもよい。

【0069】

ある実施形態では、映像解析部は、物体姿勢情報に基づいて、入出庫動作の開始時（棚に接近した時点）及び／又は入出庫動作の終了時（物体が棚から離れる直前）に、物品を手で持っているか否かによって入出庫動作を判定してもよい。
例えば、物体は、入出庫動作の開始時に手で物品を持っており、入出庫動作の終了時に手で物品を持っていない場合には、当該入出庫動作は「入庫」と判定されてもよい。
また、物体は、入出庫動作の開始時に手で物品を持っておらず、入出庫動作の終了時に手で物品を持っている場合には、当該入出庫動作は「出庫」と判定されてもよい。
また、物体は、入出庫動作の開始時に手で物品を持っておらず、入出庫動作の終了時にも手で物品を持っていない場合には、当該入出庫動作は「検品」と判定されてもよい。
なお、以上では、１つの入出庫動作を判定する場合を一例として説明したが、本発明はこれに限定されず、複数の入出庫動作を連続して判定してもよい。

【0070】

次に、図７に示されている映像７０５及び映像７１０を参照して、入出庫動作を判定する一例について説明する。映像７０５及び映像７１０は、例えば、倉庫に配置されている棚の上に設置され、下に向いて撮影するように構成された撮像部によって取得された映像であり、入出庫動作を行っている物体７０６の様子を示す映像である。

【0071】

映像７０５及び映像７１０が映像解析部によって解析され、物体７０６の姿勢情報が導出された結果、物体７０６は、棚のドアを開けた時点（つまり、入出庫動作の開始時）には、手で物品を持っておらず、棚のドアを閉めた時点（つまり、入出庫動作の終了時）にも、手で物品を持っていないことが判定される。そのため、物体７０６によって行われる入出庫動作は、「検品」と判定される。

【0072】

以上説明したように、ＣＮＮ、ＹＯＬＯ、ＳＳＤ、Ｏｐｅｎｐｏｓｅなどの映像解析手段を用いて、物体の行動を特徴付ける１つ又は複数の行動要素に基づいて、入出庫動作を判定することができる。

【0073】

次に、図８～９を参照して、本開示の実施形態に係る入出庫手続きについて説明する。

【0074】

図８は、本開示の実施形態に係る入出庫手続きの一例を示す図である。上述したように、図８に示す入出庫手続き管理部２２０は、物品管理倉庫３６０に保管されている物品に関する入出庫手続きを管理するための機能部であり、表示部２０５、撮像部２０６、入力部２０７、及び映像解析部（図３に例示せず）を含む。図８に示す入出庫手続き管理部２２０に含まれるそれぞれの機能部は、図２を参照して説明したため、ここではその説明を省略する。
以下、入出庫手続きを行う具体例について説明する。

【0075】

まず、入出庫手続きを行う際、利用者は本人認証を行う。この本人認証は、利用者が
入出庫を行う権限を有するか否かを検証するための処理である。本人認証を行うためには、利用者は、ユーザ名やパスワードなどの認証情報を入力部２０７を介して入力してもよく、撮像部２０６による顔認証を行ってもよい。

【0076】

本人認証の処理が終了した後、利用者は、入庫又は出庫する物品を指定する物品情報を入力してもよい。物品情報を入力するためには、利用者は物品を撮像部２０６の前にかざしてもよい。その後、上述した映像解析部は、撮像部２０６によって取得された物品の映像を解析することで、当該物品を識別してもよい。
なお、ここで、利用者は、物品の型番などの物品情報を入力部２０７を介して入力する方法や、ＱＲコード又はＲＦＩＤタグを用いる方法を使用してもよいが、情報を入力したり、ＱＲコード又はＲＦＩＤタグを物品に張り付けたりする手間を省ける観点から、上述した映像解析部によって物品を識別する手段を用いることが望ましい。

【0077】

その後、図９に示すように、利用者は、表示部２０５に表示される入出庫選択画面９１５を用いて、入出庫動作の種類が入庫か出庫かを、例えばタッチ画面などの入力部２０７を介して選択する。入出庫動作の種類を選択した後、利用者の認証情報及び入出庫される物品の物品情報が確認画面９２０に表示される。ここで、入出庫される物品が他にある場合、入出庫手続きを続けて当該物品を追加してもよく、入出庫される物品が他にない場合、入出庫手続きを終了してもよい。
上述した処理を用いて行われた入出庫手続きの記録は、管理ＤＢ（例えば、図２に示す管理ＤＢ２１４や管理ＤＢ２２５）に保存されてもよい。この入出庫手続きデータベースに保存されている入出庫手続きの記録は、上述したように、不正の入出庫行為を検出するために用いられてもよい。

【0078】

以上説明したように、図８～９に示す入出庫手続き管理部２２０を用いて入出庫手続きを行うことで、物品の入出庫を容易に管理することができると共に、不正の入出庫行為を防ぐことができる。

【0079】

次に、図１０を参照して、本開示の実施形態に係る不正の入出庫行為検出について説明する。

【0080】

図１０は、本開示の実施形態に係る不正の入出庫行為検出の一例を示す図である。上述したように、本開示の一態様では、倉庫に保管される物品に対する不正の入出庫行為を検出することができる。以下では、不正の入出庫行為検出の具体例を説明する。

【0081】

まず、上述したように、倉庫３６０に設置されている撮像部（例えば、図１０に示す撮像部２０６）は、解析対象の映像となる映像１０３０を取得する。この映像１０３０は、例えば定期的（１分毎、５分毎等）に撮像部によって取得されてもよく、動きが検知されたことをきっかけに取得されてもよい。例えば、この映像１０３０は、人間１０１０が撮像部２０６の前を通過する際に撮影されてもよい。

【0082】

映像１０３０を映像解析部（例えば、図２に示す映像解析部２１１）によって解析した結果、映像１０３０に写る人間１０１０は、物品１０２５を持っているため、入出庫動作を「出庫」として判定する。

【0083】

その後、セキュリティ部（例えば、図２に示すセキュリティ部２１３、２１５、２１６）は、出庫に該当し、且つ、所定の時間以内（例えば５分以内、１０分以内など）に作成された入出庫手続きの記録が入出庫手続きデータベースに保存されているか否かを判定する。あるいは、映像解析部の処理により、物品１０２５に関する物品情報（型番、物品種類など）を識別することができた場合、セキュリティ部は、所定の時間以内（例えば５分以内、１０分以内など）に作成され、出庫に該当し、且つ、物品１０２５の物品情報に対応する入出庫手続きの記録が入出庫手続きデータベースに保存されているか否かを判定してもよい。

【0084】

この判定の結果、これらの条件を満たす入出庫手続きの記録が入出庫手続きデータベースに保存されている場合には、当該入出庫動作が正当であると判定する。一方、これらの条件を満たす入出庫手続きの記録が入出庫手続きデータベースに保存されていない場合には、セキュリティ部は、倉庫に保管される物品に対する不正の入出庫行為が発生した可能性があると判断し、当該不正の入出庫行為の情報（いつ発生したか、対象となった物品の情報等）を知らせる警告を倉庫の管理者や警察などに送信してもよい。

【0085】

このように、倉庫に保管される物品に対する不正の入出庫行為を検出し、警告を通知することで、倉庫のセキュリティを向上させることができる。

【0086】

上述したように、本開示の実施形態に係る映像解析部は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等のディープラーニング手段を用いて、撮像部によって取得された映像における物体を検出してもよい。以下、図１１～１３を参照し、本開示の実施形態に係るディープラーニング手段を用いて映像における物体を検出する処理について説明する。
本開示の実施形態に係る物体検出処理は、撮像部によって取得された映像から前景を抽出した前景抽出画像を生成する処理と、当該前景抽出画像に対してディープラーニングを用いた処理を行い、物体を検出する処理とを主に含む。

【0087】

図１１は、本開示の実施形態に係る撮像部によって取得された映像から前景を抽出した前景抽出画像を生成する処理の一例を示す図である。ここでは、本開示の実施形態に係る映像解析部（例えば図２に示す映像解析部２０２、２０４、２０９等）は、撮像部によって取得された映像の背景領域に対応する位置の画素値として背景領域を示す値を設定し、当該映像の前景領域に対応する位置の画素値として映像上の画素値を設定した前景抽出画像を生成する。

【0088】

より具体的には、まず、入力映像である対象画像１１０１と、対象画像１１０１のｔ１フレーム前の映像１１０２とを用いて、これら画像の差分を計算し、差分が閾値Ｔ１以上となる位置の画素値を対象画像１１０１と同じ位置の画素値とし、閾値Ｔ１未満となる位置の画素値を０として、第１の差分画像１１０４を生成する。
同様に、対象画像１１０１と、対象画像１１０１のｔ２フレーム後の画像１１０３とを用いて、これらの画像の差分を計算し、差分が閾値Ｔ２以上となる位置の画素値を対象画像１１０１と同じ位置の画素値とし、閾値Ｔ２未満となる位置の画素値を０として、第２の差分画像１１０５を生成する。

【0089】

その後、第１の差分画像１１０４と第２の差分画像１１０５とを用いて、これらの画像の論理積を計算し、その結果を前景抽出画像１１０６として生成する。
ここで、ｔ１とｔ２は同じ数値でもよく、異なる数値でもよい。また、Ｔ１とＴ２は同じ数値でもよく、異なる数値でもよい。
なお、これらの処理の代わりに、あらかじめ基準画像を用意しておき、基準画像と対象画像１１０１を用いて差分を計算し、差分が閾値以上となる位置の画素値を対象画像１１０１と同じ位置の画素値とし、閾値未満となる位置の画素値を０として、前景抽出画像１１０６を生成してもよい。また、前景抽出画像１１０６を生成する処理は、これらの処理に限定されず、他の処理により前景抽出画像１１０６を生成してもよい。

【0090】

次に、図１２を参照して、本開示の実施形態に係る映像解析部によるディープラーニングの処理内容について説明する。ここでは、図１１を参照して説明した処理によって生成された前景抽出画像１１０６を、映像解析部に含まれるＣＮＮ部１２０５に入力し、ＣＮＮ部１２０５により畳み込みニューラルネットワーク処理を行って、入力画像の前景領域が人間であるか否かを示す処理結果１２１０を取得する。なお、前景抽出画像１１０６から動領域のみを切り出してＣＮＮ部１２０５に入力してもよい。ＣＮＮ部１２０５のネットワーク構造は任意であり、複数であるＮ層の畳み込み層が含まれた構造であればよい。

【0091】

ＣＮＮ部１２０５が有するＮ層の畳み込み層では、それぞれ、入力された画像に基づいてマスク画像を生成する処理と、マスク画像に対して畳み込み演算を行う処理と、畳み込み演算の結果にバイアスを加算する処理とが行われる。また、最初に処理を行う第１の畳み込み層には、前景抽出画像１１０６が入力され、その後に処理を行う第ｎ（ただし、１＜ｎ≦Ｎ）の畳み込み層には、第（ｎ－１）の畳み込み層による処理結果の画像が入力される。そして、第Ｎの畳み込み層による処理結果の画像に基づいて、特定オブジェクトの検出又は識別が行われる。

【0092】

次に、図１３を参照して、ＣＮＮ部１２０５における畳み込み層の計算方法について説明する。

【0093】

畳み込み層の入力を前景抽出画像１１０６としたとき、はじめにマスク画像１３１０を生成する。具体的には、前景抽出画像１１０６の対象画素の周囲ｋに画素値＝０となる画素数が閾値Ｔ３を超えて存在する場合には、対応するマスク画像１３１０上の値を０とする。反対に、前景抽出画像１１０６の対象画素の周囲ｋに画素値＝０となる画素数が閾値Ｔ３以下の場合には、対応するマスク画像１３１０上の値を１とする。ここで、ｋは、対象畳み込み層のフィルタサイズとする。また、マスク画像１３１０は、入力チャネル数毎に生成される。

【0094】

次に、生成したマスク画像１３１０を参照して、フィルタ１３０５を用いて畳み込みの計算を行う。このとき、フィルタ１３０５の中心位置を決定し、ラスタスキャン順に畳み込みを計算するが、この中心位置がマスク画像１３１０上で０であれば、その位置での畳み込み計算を行わず、０を畳み込みの結果として出力する。したがって、畳み込み処理の計算量が減少し、処理の高速化を実現できる。また、通常は最後にバイアスを加算し、次の畳み込み層への入力とするが、上記の位置でのバイアスを０とする（つまり、バイアスを加算しない）ことで、同様な計算量の削減が複数の層で可能となる。

【0095】

この計算量の削減の効果をシミュレーションにより確認する。入力をＲＧＢカラーの１００×１００の画像とし、３チャネルの入力を受け付ける３×３のフィルタを持つ１０個の特徴マップを出力する畳み込み層を有するＣＮＮ部を備え、入力画像１チャンネルからマスク画像を生成した場合に、マスク画像の全体の２０％が０になったと仮定する。このとき、従来であれば約２７０万回の乗算と約２４０万回の加算が必要となるが、図１３のような計算を行うことで、約２１６万回の乗算と約１９２万回の加算で済む。このように、畳み込み処理の計算量を大幅に削減することができる。また、前景のみを対象とすることで、特定オブジェクトの検出・識別の精度の向上にも繋がる。

【0096】

以上説明したように、本開示によれば、倉庫内に配置されているカメラから取得した映像を映像処理手段で解析し、倉庫の利用者による物品の入庫や出庫の行動を判定することができる。また、本開示によれば、例えばＲＦＩＤやＱＲコードを用いる従来の手段に比べて、倉庫に保管される物品の入出庫の手続きを簡素化させることができる。更に、本開示では、入出庫動作は、物体が入出庫動作を行うための所要時間や物体の姿勢などの行動要素に基づいて判定されるため、例えば大量の学習データを要する従来の汎用的アクティビティ検出手段に比べて、入出庫動作を効率よく判定することができる。

【0097】

以上、本開示の実施の形態について説明したが、本開示は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

【符号の説明】

【0098】

２００ 入出庫管理システム
２０１、２０３、２０６ 撮像部
２０２、２０４、２１１ 映像解析部
２０５ 表示部
２０６ 撮像部
２０７ 入力部
２１０ 動作判定部
２１２ ネットワーク
２１３、２１５、２１６ セキュリティ部
２１４、２２５ 管理ＤＢ
２２０ 入出庫手続き管理部
２３０ クラウド側解析部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】