特開 2024-62973 貨物管理システム、貨物管理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024062973

(43)【公開日】2024-05-10

(54)【発明の名称】貨物管理システム、貨物管理方法およびプログラム

(51)【国際特許分類】

   B65G 1/137 20060101AFI20240501BHJP

   G06Q 10/08 20240101ALI20240501BHJP

   G06V 30/14 20220101ALI20240501BHJP

【ＦＩ】

B65G1/137 B

G06Q10/08

G06V30/14 340J

【審査請求】未請求

【請求項の数】10

【出願形態】書面

(21)【出願番号】P 2023191174

(22)【出願日】2023-10-20

(31)【優先権主張番号】P 2022182166

(32)【優先日】2022-10-25

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】521543635

【氏名又は名称】イールック・ソリューションズ株式会社

(72)【発明者】

【氏名】大橋 晃治

【テーマコード（参考）】

3F522

5B029

【Ｆターム（参考）】

3F522AA02

3F522BB01

3F522CC05

3F522FF02

3F522FF37

3F522GG07

3F522GG33

3F522HH01

3F522HH18

3F522HH37

3F522LL42

5B029CC27

5B029EE04

5B029EE05

(57)【要約】

【課題】貨物を管理する管理者の管理負担を軽減することができる貨物管理システム、貨物管理方法およびプログラムを提供する。
【解決手段】貨物管理システムの端末装置３は、撮像部３０７で貨物を撮影して得られる撮影画像に含まれるラベル画像を抽出するラベル画像抽出部３１５と、抽出されたラベル画像に対して射影変化と台形補正との少なくとも一方を実行することによりラベルそれぞれを厚さ方向から見た場合のラベル画像に変換するラベル画像変換部３１６と、変換後のラベル画像の中から、アスペクト比率基準範囲、総ピクセル数基準範囲および白黒面積比率基準範囲のうちの少なくとも１つに基づいて、ラベル画像を選出するラベル画像選出部３１７と、選出したラベル画像に基づいて、ラベルそれぞれに掲載された貨物の属性を示す属性情報を生成する貨物情報管理部３２５と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

貨物に貼付された少なくとも１つのラベルを含む前記貨物を撮影する撮像部と、
前記貨物を撮影して得られる撮影画像に含まれる少なくとも１つのラベル画像を抽出するラベル画像抽出部と、
抽出された少なくとも１つの前記ラベル画像に対して射影変化と台形補正との少なくとも一方を実行することにより少なくとも１つの前記ラベルそれぞれを厚さ方向から見た場合の少なくとも１つの前記ラベル画像に変換するラベル画像変換部と、
変換後の少なくとも１つの前記ラベル画像の中から、予め設定されたアスペクト比率の基準範囲を示すアスペクト比率基準範囲、予め設定された総ピクセル数の基準範囲を示す総ピクセル数基準範囲、および、予め設定された白黒面積比率の基準範囲を示す白黒面積比率基準範囲のうちの少なくとも１つに基づいて、少なくとも１つの前記ラベル画像を選出するラベル画像選出部と、
選出した少なくとも１つの前記ラベル画像に基づいて、少なくとも１つの前記ラベルそれぞれに掲載された前記貨物の属性を示す属性情報を生成する貨物情報管理部と、を備える、
貨物管理システム。

【請求項2】

前記撮影画像には、前記貨物に貼付された複数のラベルそれぞれの前記ラベル画像が含まれる、
請求項１に記載の貨物管理システム。

【請求項3】

前記貨物情報管理部は、前記貨物の前記貨物を保管する倉庫内における前記貨物が配置される領域の位置を示す領域位置情報を含む貨物配置情報を生成し、
表示部と、
前記貨物配置情報に基づいて、前記貨物が配置された領域を利用者が把握できる表示態様である、前記利用者が前記倉庫内における前記貨物の配置を登録するための貨物配置登録用画像を形成して前記表示部に表示させる表示制御部と、を更に備える、
請求項１または２に記載の貨物管理システム。

【請求項4】

前記貨物を保管する倉庫のレイアウトの特徴となる複数の特徴位置で囲まれた領域を、予め設定された大きさおよび形状の単位領域で分割したときの少なくとも１つの前記単位領域それぞれの位置を示す座標を表す少なくとも１つの領域位置情報を含むレイアウト情報を生成するレイアウト情報生成部を更に備え、
前記表示制御部は、前記レイアウト情報に基づいて、前記倉庫のレイアウトを前記利用者が把握できる表示態様の前記貨物配置登録用画像を形成する、
請求項３に記載の貨物管理システム。

【請求項5】

利用者が指定した前記貨物を保管する倉庫から搬出される前記貨物が保管されていた前記倉庫を示す場所情報と、前記貨物が前記倉庫から搬出された日時を示す搬出日時情報と、前記倉庫から搬出される前記貨物を撮影して得られる撮影画像情報と、前記貨物の前記属性情報と、を含む搬出貨物情報を生成する搬出貨物情報生成部を更に備える、
請求項１または２に記載の貨物管理システム。

【請求項6】

ラベル画像情報が示すラベルの画像から、当該ラベルに記載された文字列を認識するためのニューラルネットワークである文字認識モデルを用いて、前記ラベル画像を示すラベル画像情報から、前記ラベル画像に含まれる文字列を認識する文字認識処理を実行する文字認識部と、
前記ラベル画像情報と、利用者により指定された前記ラベル画像情報に対応する文字列を示す文字列情報と、を用いて、前記文字認識モデルを新たに生成するモデル生成部と、を更に備える、
請求項１または２に記載の貨物管理システム。

【請求項7】

前記貨物情報管理部は、前記文字列の中に前記貨物の属性を示す属性表示文字列が複数存在する場合、前記複数の属性表示文字列の中から前記貨物を管理する上で必要な予め設定された前記属性表示文字列を選出する、
請求項６に記載の貨物管理システム。

【請求項8】

入力部と、
前記貨物を保管する倉庫内における前記利用者の位置を測定する測位部を更に備え、
前記貨物情報管理部は、前記利用者が前記入力部に対して前記利用者が存在する位置に前記貨物を配置したことを登録するための貨物配置登録操作を行うと、これに応じて、前記貨物配置登録操作を受け付けた時点において前記測位部により測定された前記利用者の位置を示す位置情報を、前記貨物が配置された位置を示す位置情報として含む貨物配置情報を生成する、
請求項１または２に記載の貨物管理システム。

【請求項9】

貨物管理システムが、貨物に貼付された少なくとも１つのラベルを含む前記貨物の画像を撮像部により撮影するステップと、
前記貨物管理システムが、前記貨物の画像を撮影して得られる撮影画像に含まれる少なくとも１つのラベル画像を抽出するステップと、
前記貨物管理システムが、抽出された少なくとも１つの前記ラベル画像に対して射影変化と台形補正との少なくとも一方を実行することにより少なくとも１つの前記ラベルそれぞれを厚さ方向から見た場合の少なくとも１つの前記ラベル画像に変換するステップと、
前記貨物管理システムが、変換後の少なくとも１つの前記ラベル画像の中から、予め設定されたアスペクト比率の基準範囲を示すアスペクト比率基準範囲、予め設定された総ピクセル数の基準範囲を示す総ピクセル数基準範囲、および、予め設定された白黒面積比率の基準範囲を示す白黒面積比率基準範囲のうちの少なくとも１つに基づいて、少なくとも１つの前記ラベル画像を選出するステップと、
前記貨物管理システムが、選出した少なくとも１つの前記ラベル画像に基づいて、少なくとも１つの前記ラベルそれぞれに掲載された前記貨物の属性を示す属性情報を生成するステップと、を含む、
貨物管理方法。

【請求項10】

コンピュータを、
撮像部により貨物に貼付された少なくとも１つのラベルを含む前記貨物を撮影して得られる撮影画像に含まれる少なくとも１つのラベル画像を抽出するラベル画像抽出部、
抽出された少なくとも１つの前記ラベル画像に対して射影変化と台形補正との少なくとも一方を実行することにより少なくとも１つの前記ラベルそれぞれを厚さ方向から見た場合の少なくとも１つの前記ラベル画像に変換するラベル画像変換部、
変換後の少なくとも１つの前記ラベル画像の中から、予め設定されたアスペクト比率の基準範囲を示すアスペクト比率基準範囲、予め設定された総ピクセル数の基準範囲を示す総ピクセル数基準範囲、および、予め設定された白黒面積比率の基準範囲を示す白黒面積比率基準範囲のうちの少なくとも１つに基づいて、少なくとも１つの前記ラベル画像を選出するラベル画像選出部、
選出した少なくとも１つの前記ラベル画像に基づいて、少なくとも１つの前記ラベルそれぞれに掲載された前記貨物の属性を示す属性情報を生成する貨物情報管理部、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、貨物管理システム、貨物管理方法およびプログラムに関する。

【背景技術】

【0002】

管理対象物リストを記憶するリスト記憶手段と、入力画像から、管理対象物の識別部を検出し、検出された識別部が画像領域内において所定の向きおよび大きさで表された識別画像を生成する識別画像生成手段と、管理対象物の識別部を撮影した第１の画像が入力された場合に、第１の画像から生成された識別画像を、指定された識別単位の識別子と関連づけて管理対象物リストに登録する識別画像登録手段と、管理対象物の識別部を撮影した第２の画像が入力された場合に、第２の画像から生成された識別画像をキー画像として、管理対象物リストに登録されている識別画像の各々と照合する識別画像照合手段とを備える管理システムが提案されている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１５／０６４１０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載された管理システムでは、識別画像そのものをキー画像として管理対象物を管理するため、例えば識別画像が管理対象物に貼付された管理対象物の属性を表すラベルであったとしても、当該管理対象物を当該管理対象物の属性に対応づけて管理するためには管理者がラベルの記載内容を読み取って管理対象物の属性を把握する必要がある。このため管理対象物をその属性に対応づけた形で管理しようとすると管理者の負担が増大する虞がある。

【0005】

本発明は、上記事由に鑑みてなされたもので、貨物を管理する管理者の管理負担を軽減することができる貨物管理システム、貨物管理方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明に係る貨物管理システムは、
貨物に貼付された少なくとも１つのラベルを含む前記貨物を撮影する撮像部と、
前記貨物を撮影して得られる撮影画像に含まれる少なくとも１つのラベル画像を抽出するラベル画像抽出部と、
抽出された少なくとも１つの前記ラベル画像に対して射影変化と台形補正との少なくとも一方を実行することにより少なくとも１つの前記ラベルそれぞれを厚さ方向から見た場合の少なくとも１つの前記ラベル画像に変換するラベル画像変換部と、
変換後の少なくとも１つの前記ラベル画像の中から、予め設定されたアスペクト比率の基準範囲を示すアスペクト比率基準範囲、予め設定された総ピクセル数の基準範囲を示す総ピクセル数基準範囲、および、予め設定された白黒面積比率の基準範囲を示す白黒面積比率基準範囲のうちの少なくとも１つに基づいて、少なくとも１つの前記ラベル画像を選出するラベル画像選出部と、
選出した少なくとも１つの前記ラベル画像に基づいて、少なくとも１つの前記ラベルそれぞれに掲載された前記貨物の属性を示す属性情報を生成する貨物情報管理部と、を備える。

【発明の効果】

【0007】

本発明によれば、ラベル画像選出部が、ラベル画像の中から、予め設定されたアスペクト比率の基準範囲を示すアスペクト比率基準範囲、予め設定された総ピクセル数の基準範囲を示す総ピクセル数基準範囲、および、予め設定された白黒面積比率の基準範囲を示す白黒面積比率基準範囲のうちの少なくとも１つに基づいて、ラベル画像を選出する。そして、貨物情報管理部が、選出したラベル画像に基づいて、ラベルに掲載された貨物の属性を示す属性情報を生成する。これにより、貨物を管理する管理者は、貨物に貼付されたラベルを含む形で貨物を撮影するだけで、貨物の属性情報を得ることができるので、管理者が貨物に貼付されたラベルを視認して属性情報を把握しながら貨物を管理する場合に比べて管理者の貨物の管理負担を軽減することができる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施の形態に係る貨物管理システムの構成の一例を示す図

【図2】実施の形態に係る貨物管理システムのハードウェア構成を示すブロック図

【図3】実施の形態に係る端末装置の機能構成を示すブロック図

【図4】（Ａ）は実施の形態に係るレイアウト記憶部が記憶するレイアウト情報の説明図であり、（Ｂ）は実施の形態に係る貨物配置記憶部が記憶する情報の一例を示す図である。

【図5】実施の形態に係る貨物管理サーバの機能構成を示すブロック図

【図6】実施の形態に係る貨物情報記憶部が記憶する情報の一例を示す図である。

【図7】実施の形態に係る貨物管理システムの動作を説明するためのシーケンス図

【図8】実施の形態に係る貨物管理システムの動作を説明するためのシーケンス図

【図9】（Ａ）は実施の形態に係る端末装置の表示部に表示される貨物配置登録用画像の一例を示す図であり、（Ｂ）は実施の形態に係る端末装置の表示部に表示される貨物配置登録用画像の他の一例を示す図である。

【図10】実施の形態に係る端末装置が実行する貨物管理処理の流れの一例を示すフローチャートである。

【図11】実施の形態に係る端末装置が実行する貨物管理処理の流れの一例を示すフローチャートである。

【図12】実施の形態に係る貨物管理サーバが実行する貨物管理処理の流れの一例を示すフローチャートである。

【図13】（Ａ）は変形例に係る貨物管理システムの使用方法を説明するための図であり、（Ｂ）は変形例に係る貨物配置記憶部が記憶する情報の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、本発明の実施の形態に係る貨物管理システムについて図面を参照しながら説明する。本実施の形態に係る貨物管理システムは、対象物に添付されたラベルを含む対象物の画像を撮像する撮像部と、撮像画像に含まれるラベル画像を抽出する画像抽出部と、抽出されたラベル画像に対して射影変化・台形補正を実行することによりラベルを厚さ方向から見た画像に変換する画像変換部と、変換後のラベル画像の中から、予め設定されたアスペクト比率の基準範囲を示すアスペクト比率基準範囲、予め設定された総ピクセル数の基準範囲を示す総ピクセル数基準範囲、および、予め設定された白黒面積比率の基準範囲を示す白黒面積比率基準範囲のうちの少なくとも１つに基づいて、ラベル画像を選出するラベル画像選出部と、選出したラベル画像に基づいて、ラベルに掲載された対象物の属性を示す属性情報を判別する属性情報判別部と、を備える。

【0010】

本実施の形態に係る貨物管理システムは、図１に示すように、貨物を管理する管理者が所持する端末装置３と、貨物管理サーバ１と、を備える。貨物管理サーバ１は、プロキシサーバ４１とともに局所ネットワークＮＷ２に接続されている。プロキシサーバ４１は、端末装置３から送信される各種情報を取得し、取得した各種情報のヘッダ情報に含まれるＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）情報およびポート番号情報を貨物管理サーバ１のそれに変換して局所ネットワークＮＷ２を介して貨物管理サーバ１へ送信する。局所ネットワークＮＷ２は、ブロードバンドルータ（以下、「ＢＢＲ」と称する。）４２を介して広域ネットワークＮＷ１に接続されている。端末装置３は、アクセスポイント５１を介して管理者の存在する事務所の建物内に構築された局所ネットワークＮＷ３に接続されている。局所ネットワークＮＷ３は、ＢＢＲ５２を介して広域ネットワークＮＷ１に接続されている。これにより、貨物管理サーバ１と端末装置３とは、局所ネットワークＮＷ２、ＮＷ３および広域ネットワークＮＷ１を介して互いに通信可能となっている。局所ネットワークＮＷ２、ＮＷ３は、例えば有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）または無線ＬＡＮであり、広域ネットワークＮＷ１は、例えばインターネットである。

【0011】

端末装置３は、例えばスマートフォンであり、図２に示すように、ＣＰＵ３０１（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１と、主記憶部３０２と、補助記憶部３０３と、表示部３０４と、入力部３０５と、通信部３０６と、撮像部３０７と、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）受信部３０８と、これらを互いに接続するバス３０９と、を備える。主記憶部３０２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような揮発性メモリを有し、ＣＰＵ３０１の作業領域として使用される。また、主記憶部３０２は、表示部３０４に表示させる画像情報を一時的に記憶する画像専用メモリ（図示せず）を有する。補助記憶部３０３は、半導体フラッシュメモリのような不揮発性メモリであり、ＣＰＵ３０１が各種処理を実行するためのプログラムを記憶する。表示部３０４は、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の表示装置である。入力部３０５は、例えば表示部３０４に重ねて配置される透明なタッチパッドである。通信部３０６は、局所ネットワークＮＷ３に接続され、ＣＰＵ３０１から転送される情報を、局所ネットワークＮＷ３および広域ネットワークＮＷ１を介して貨物管理サーバ１へ送信したり、貨物管理サーバ１から広域ネットワークＮＷ１および局所ネットワークＮＷ３を介して取得した各種情報をＣＰＵ３０１へ転送したりする。

【0012】

撮像部３０７は、カメラとＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）コントローラとを有し、起動された後、ＤＭＡコントローラが、カメラで撮像して得られる撮影画像情報を、リアルタイムで画像専用メモリへ転送する。また、撮像部３０７は、ＣＰＵ３０１から撮影指令情報が通知されると、撮影指令情報が通知されたタイミングで撮影して得られる撮影画像情報をＣＰＵ３０１に通知する。ＧＮＳＳ受信部３０８は、測位衛星から到来するＧＮＳＳ電波を受信し、受信したＧＮＳＳ電波に基づいて位相情報、時刻情報等を含むＧＮＳＳ情報を生成してＣＰＵ３０１へ出力する。

【0013】

ＣＰＵ３０１は、補助記憶部３０３が記憶するプログラムを主記憶部３０２に読み出して実行することにより、図３に示すように、受付部３１１、撮像制御部３１２、撮影画像取得部３１３、表示制御部３１４、ラベル画像抽出部３１５、ラベル画像変換部３１６、ラベル画像変換部３１７、文字認識部３１８、モデル修正要求部３１９、モデル取得部３２０、測位部３２２、レイアウト情報要求部３２３、レイアウト情報取得部３２４、貨物情報管理部３２５、貨物配置更新部３２６、搬出貨物情報生成部３２７および搬出貨物情報通知部３２８として機能する。また、図２に示す補助記憶部３０３は、図３に示すように、撮影画像記憶部３３１と、ラベル画像記憶部３３２と、文字認識モデル記憶部３３３と、レイアウト記憶部３３４と、位置記憶部３３５、貨物配置記憶部３３６と、搬出貨物撮影画像記憶部３３７と、を有する。また、図２に示す主記憶部３０２は、貨物に貼付されたラベルに記載された文字列の文字認識処理を行った結果を示す文字認識結果情報を一時的に記憶する文字認識結果記憶部３２１を有する。撮影画像記憶部３３１は、撮像部３０７により貨物を撮影した得られた撮影画像を示す撮影画像情報を、貨物を識別する貨物識別情報に対応づけて記憶する。

【0014】

ラベル画像記憶部３３２は、撮影画像記憶部３３１が記憶する撮影画像に含まれる貨物の属性に関する情報が記載されたラベルの画像を示すラベル画像情報を、対応する貨物の貨物識別情報に対応づけて記憶する。文字認識モデル記憶部３３３は、ラベル画像情報が示すラベルの画像から、当該ラベルに記載された文字列を認識するための文字認識モデルを示す文字認識モデル情報を記憶する。この文字認識モデル情報は、例えば畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）で表される学習済みの文字認識モデルのノード数、各ノードの関数、重み係数等を示す情報を含む。この文字認識モデルは、予め設定された複数種類の撮像画像情報と文字列との組み合わせを教示データとして学習された学習済みの文字認識モデルである。

【0015】

レイアウト記憶部３３４は、管理者が管理する倉庫のレイアウトを示すレイアウト情報を記憶する。ここで、レイアウト情報は、例えば図４（Ａ）に示すように、利用者が予め登録した倉庫のレイアウトの特徴となる特徴位置Ｐｏｓ１、Ｐｏｓ２、・・・、Ｐｏｓ１０で囲まれた領域を、予め設定された矩形状の単位領域で分割したときの各単位領域の位置を示す座標で表される領域位置情報を含む。図３に戻って、位置記憶部３３５は、利用者が指定した倉庫のレイアウトの特徴となる位置を示す位置情報を記憶する。

【0016】

貨物配置記憶部３３６は、例えば図４（Ｂ）に示すように、倉庫内における貨物が配置される領域を示す少なくとも１つの領域位置情報を含む貨物配置情報を、対応する貨物の貨物識別情報および当該貨物の属性情報に対応づけて記憶する。図３に戻って、搬出貨物撮影画像記憶部３３７は、倉庫から搬出された貨物を撮影して得られる撮影画像を示す搬出貨物撮影画像情報を、当該貨物の貨物識別情報に対応づけて記憶する。

【0017】

受付部３１１は、端末装置３の所持する貨物の管理者が入力部３０５に対して行った操作内容を受け付け、受け付けた操作内容に応じた操作情報を生成して撮像制御部３１２、表示制御部３１４、ラベル画像抽出部３１５、モデル修正要求部３１９、測位部３２２、レイアウト情報要求部３２３、貨物情報管理部３２５または貨物配置更新部３２６に通知する。具体的には、受付部３１１は、管理者が入力部３０５に対して倉庫に保管する貨物を登録するための貨物登録操作を行うと、貨物登録操作を受け付けて貨物登録操作に応じた操作情報を生成して撮像制御部３１２およびラベル画像抽出部３１５に通知する。また、受付部３１１は、貨物に貼付されたラベルの画像について文字認識処理を行った結果を示す文字認識結果表示画像が表示部３０４に表示されている状態で、管理者が入力部３０５に対して認識された文字列を修正するための修正操作を行うと、当該修正操作を受け付けて修正操作に応じた操作情報を生成して貨物情報管理部３２５およびモデル修正要求部３１９に通知する。一方、受付部３１１は、前述の文字認識結果表示画像が表示部３０４に表示されている状態で、管理者が入力部３０５に対して認識された文字列で承認するための承認操作を行うと、当該承認操作を受け付けて承認操作に応じた操作情報を生成して貨物情報管理部３２５に通知する。更に、受付部３１１は、管理者が貨物の配置を登録するための後述の貨物配置登録用画像が表示部３０４に表示されている状態で、管理者が入力部３０５に対して倉庫内における貨物の配置を登録するための配置登録操作を行うと、配置登録操作を受け付けて配置登録操作に応じた操作情報を生成して貨物情報管理部３２５および表示制御部３１４に通知する。また、受付部３１１は、倉庫から搬出された貨物を登録するための搬出貨物登録操作を行うと、搬出貨物登録操作を受け付けて搬出貨物登録操作に応じた操作情報を生成して撮像制御部３１２、貨物配置更新部３２６および搬出貨物情報生成部３２７に通知する。更に、受付部３１１は、管理者が入力部３０５に対して倉庫のレイアウトを登録するためのレイアウト登録モード切替操作を行うと、レイアウト登録モード切替操作を受け付けてレイアウト登録モード切替操作に応じた操作情報を生成して測位部３２２およびレイアウト情報要求部３２３に通知する。また、受付部３１１は、レイアウト登録モード切替操作を受け付けた後、管理者が入力部３０５に対して倉庫内のレイアウトの特徴的な位置を登録するためのレイアウト特徴位置登録操作を行うと、レイアウト特徴位置登録操作を受け付けてレイアウト特徴位置登録操作に応じた操作情報を生成して測位部３２２およびレイアウト情報要求部３２３に通知する。更に、受付部３１１は、レイアウト登録モード切替操作を受け付けた後、管理者が入力部３０５に対して倉庫内のレイアウトの特徴的な位置の登録を完了させるためのレイアウト特徴位置登録完了操作を行うと、レイアウト特徴位置登録完了操作を受け付けてレイアウト特徴位置登録完了操作に応じた操作情報を生成して測位部３２２およびレイアウト情報要求部３２３に通知する。

【0018】

撮像制御部３１２は、受付部３１１から前述の貨物登録操作に応じた操作情報が通知されると、これに応じて、撮像部３０７に対して貨物を撮影することを指令する撮影指令情報を生成して撮像部３０７へ転送する。また、撮像制御部３１２は、受付部３１１から前述の搬出貨物登録操作に応じた操作情報が通知されると、これに応じて、撮像部３０７に対して貨物を撮影することを指令する撮影指令情報を生成して撮像部３０７へ転送する。撮影画像取得部３１３は、受付部３１１から前述の貨物登録操作に応じた操作情報が通知された後、撮像部３０７から貨物を撮影して得られる撮影画像情報が転送されてくると、転送されてきた撮影画像情報に、対応する貨物識別情報に対応づけて撮影画像記憶部３３１に記憶させる。また、撮影画像取得部３１３は、受付部３１１から前述の搬出貨物登録操作に応じた操作情報が通知された後、撮像部３０７から貨物を撮影して得られる撮影画像情報が転送されてくると、転送されてきた撮影画像情報に、対応する貨物識別情報に対応づけて搬出貨物撮影画像記憶部３３７に記憶させる。

【0019】

表示制御部３１４は、文字認識結果記憶部３２１が新たに文字認識結果情報を記憶すると、当該文字認識結果情報に基づいて、文字認識結果表示画像を形成して表示部３０４に表示させる。また、表示制御部３１４は、管理者が倉庫内における貨物の配置を登録するための貨物配置登録用画像を形成して表示部３０４に表示させる。ここで、表示制御部３１４は、貨物配置記憶部３３６が記憶する貨物配置情報と、レイアウト記憶部３３４が記憶するレイアウト情報と、に基づいて、倉庫のレイアウトと倉庫内における貨物が配置された領域とを管理者が把握できる表示態様の貨物配置登録用画像を形成して表示部３０４に表示させる。

【0020】

ラベル画像抽出部３１５は、撮影画像記憶部３３１が記憶する貨物の撮影画像に含まれるラベル画像を抽出する。ここで、貨物の撮像画像には、貨物に貼付された複数のラベルそれぞれのラベル画像が含まれていてもよい。ラベル画像変換部３１６は、ラベル画像抽出部３１５により抽出されたラベル画像に対して射影変化・台形補正を実行することによりラベルを厚さ方向から見た画像に変換する。ラベル画像選出部３１７は、変換後のラベル画像の中から、予め設定されたアスペクト比率の基準範囲を示すアスペクト比率基準範囲、予め設定された総ピクセル数の基準範囲を示す総ピクセル数基準範囲、および、予め設定された白黒面積比率の基準範囲を示す白黒面積比率基準範囲のうちの少なくとも１つに基づいて、ラベル画像を選出する。そして、ラベル画像選出部３１７は、選出したラベル画像を示すラベル画像情報を、対応する貨物識別情報に対応づけてラベル画像記憶部３３２に記憶させる。

【0021】

文字認識部３１８は、文字認識モデル記憶部３３３が記憶する文字認識モデル情報が示す文字認識モデルを用いて、ラベル画像記憶部３３２が記憶するラベル画像情報から、当該ラベル画像情報が示すラベル画像に含まれる文字列を認識する文字認識処理を実行する。そして、文字認識部３１８は、文字認識処理により認識された文字列を示す文字列情報を含む文字認識結果情報を文字認識結果記憶部３２１に記憶させる。

【0022】

モデル修正要求部３１９は、受付部３１１から修正操作に応じた操作情報が通知されると、当該操作情報に含まれる文字列を示す文字列情報を含むモデル修正要求情報を生成して貨物管理サーバ１へ送信する。モデル取得部３２０は、貨物管理サーバ１から送信される後述のモデル通知情報を取得すると、取得したモデル通知情報に含まれる文字認識モデル情報を抽出し、文字認識モデル記憶部３３３が既に記憶している文字認識モデル情報を更新する形で、抽出した文字認識モデル情報を文字認識モデル記憶部３３３に記憶させる。

【0023】

測位部３２２は、受付部３１１から前述のレイアウト登録モード切替操作に応じた操作情報が通知されると、前述のレイアウト登録モードに切り替わる。そして、測位部３２２は、レイアウト登録モードに切り替わった後、受付部３１１から前述のレイアウト特徴位置登録操作に応じた操作情報が通知されると、当該操作情報が通知された時点における前述のＧＮＳＳ情報に基づいて、端末装置３の位置を測定し、測定した位置を示す位置情報を生成して位置記憶部３３５に記憶させる。また、測位部３２２は、受付部３１１から前述のレイアウト特徴位置登録完了操作に応じた操作情報が通知されると、通常モードに切り替わる。レイアウト情報要求部３２３は、受付部３１１から前述のレイアウト登録モード切替操作に応じた操作情報が通知されると、前述のレイアウト登録モードに切り替わる。そして、レイアウト情報要求部３２３は、レイアウト登録モードに切り替わった後、受付部３１１から前述のレイアウト特徴位置登録完了操作に応じた操作情報が通知されると、位置記憶部３３５が記憶する位置情報を含むレイアウト情報要求情報を生成して貨物管理サーバ１へ送信する。このとき、レイアウト情報要求部３２３は、通常モードに切り替わる。レイアウト情報取得部３２４は、貨物管理サーバ１から送信されるレイアウト通知情報を取得すると、取得したレイアウト通知情報に含まれるレイアウト情報を抽出し、抽出したレイアウト情報をレイアウト記憶部３３４に記憶させる。

【0024】

貨物情報管理部３２５は、前述の文字認識結果表示画像が表示部３０４に表示されている状態で、受付部３１１から修正操作に応じた操作情報が通知されると、通知された操作情報に含まれる文字列情報に基づいて、貨物の属性を示す属性情報を生成する。そして、貨物情報管理部３２５は、生成した属性情報を、対応する貨物識別情報に対応づけて貨物配置記憶部３３６に記憶させる。ここで、貨物情報管理部３２５は、文字列情報が示す文字列の中に貨物の属性を示す属性表示文字列が複数存在する場合、これらの複数の属性表示文字列の中から貨物を管理する上で必要な属性表示文字列を選出し、選出した属性表示文字列を示す属性情報のみを貨物配置記憶部３３６に記憶させる。具体的には、貨物情報管理部３２５は、例えば文字列の間のスペース等に基づいて、文字列に含まれる複数の属性表示文字列を特定し、特定した属性表示文字列の中から貨物を管理する上で必要な属性表示文字列の特徴（例えば文字列の冒頭の文字の種類が予め設定された文字の種類と一致する等）に基づいて、貨物を管理する上で必要な属性表示文字列を選出する。そして、貨物情報管理部３２５は、選出した属性表示文字列を示す属性情報を貨物配置記憶部３３６に記憶させる。一方、貨物情報管理部３２５は、前述の文字認識結果表示画像が表示部３０４に表示されている状態で、受付部３１１から前述の承認操作に応じた操作情報が通知されると、文字認識結果記憶部３２１が記憶する文字認識結果情報に含まれる文字列情報に基づいて、前述の属性情報を生成し、生成した属性情報を、対応する貨物識別情報に対応づけて貨物配置記憶部３３６に記憶させる。また、貨物情報管理部３２５は、前述の貨物配置登録用画像が表示部３０４に表示されている状態で、受付部３１１から前述の配置登録操作に応じた操作情報が通知されると、通知された操作情報に含まれる領域位置情報を含む貨物配置情報を生成し、生成した貨物配置情報を、対応する貨物識別情報に対応づけて貨物配置記憶部３３６に記憶させる。

【0025】

搬出貨物情報生成部３２７は、受付部３１１から前述の搬出貨物登録操作に応じた操作情報が通知されると、通知された操作情報に含まれる貨物が保管されていた倉庫を示す場所情報と、貨物が搬出された日時を示す搬出日時情報と、を抽出する。また、搬出貨物情報生成部３２７は、受付部３１１から前述の搬出貨物登録操作に応じた操作情報が通知された後、搬出貨物撮影画像記憶部３３７に新たに撮像画像情報が記憶されると、当該撮影画像情報に対応する貨物識別情報を特定する。そして、搬出貨物情報生成部３２７は、貨物配置記憶部３３６が記憶する、特定した貨物識別情報に対応する属性情報と、前述の撮影画像情報と、抽出した場所情報および搬出日時情報と、を含む搬出貨物情報を生成する。

【0026】

貨物配置更新部３２６は、搬出貨物情報生成部３２７が搬出貨物情報を生成した後、貨物配置記憶部３３６が記憶する、特定された貨物識別情報に対応する属性情報および貨物配置情報を、貨物配置記憶部３３６から削除する形で貨物配置情報を更新する。搬出貨物情報通知部３２８は、生成された搬出貨物情報を含む搬出貨物通知情報を生成して貨物管理サーバ１へ送信する。

【0027】

図２に戻って、貨物管理サーバ１は、図２に示すように、ＣＰＵ１０１と、主記憶部１０２と、補助記憶部１０３と、通信部１０６と、これらを相互に接続するバス１０９と、を備える。ＣＰＵ１０１は、例えばマルチコアプロセッサである。主記憶部１０２は、ＲＡＭのような揮発性メモリを有し、ＣＰＵ１０１の作業領域として使用される。補助記憶部１０３は、大容量の不揮発性メモリから構成され、貨物管理サーバ１の各種機能を実現するためのプログラムを記憶する。通信部１０６は、広域ネットワークＮＷ１に接続されている。

【0028】

ＣＰＵ１０１は、補助記憶部１０３が記憶するプログラムを主記憶部１０２に読み出して実行することにより、図５に示すように、モデル修正要求取得部１１１、モデル生成部１１２、モデル通知部１１３、レイアウト情報要求取得部１１４、レイアウト情報生成部１１５、レイアウト情報通知部１１６および搬出貨物情報取得部１１７として機能する。また、図２に示す補助記憶部１０３は、図５に示すように、文字認識モデル記憶部１３１と、位置記憶部１３２と、レイアウト記憶部１３３と、貨物情報記憶部１３４と、を有する。文字認識モデル記憶部１３１は、端末装置３で使用される前述の文字認識モデルを示す文字認識モデル情報を、端末装置３を識別する端末装置識別情報に対応づけて記憶する。ここで、端末装置識別情報は、例えば端末装置３に対応づけられたＩＰアドレス情報を採用することができる。

【0029】

位置記憶部１３２は、端末装置３の位置を示す位置情報を、端末装置識別情報に対応づけて記憶する。レイアウト記憶部１３３は、貨物管理サーバ１で管理される倉庫それぞれのレイアウトを示すレイアウト情報を、端末装置識別情報に対応づけて記憶する。貨物情報記憶部１３４は、例えば図６に示すように、前述の貨物識別情報および属性情報と、前述の場所情報と、前述の搬出日時情報と、を互いに対応づけて記憶する。

【0030】

図５に戻って、モデル修正要求取得部１１１は、端末装置３から送信されるモデル修正要求情報を取得すると、取得したモデル修正要求情報に含まれる、ラベル画像情報と文字列情報とを抽出し、抽出したラベル画像情報と文字列情報とをモデル生成部１１２に通知する。モデル生成部１１２は、モデル修正要求取得部１１１から通知される、ラベル画像情報と文字列情報とを用いて、文字認識モデルを示す文字認識モデル情報を新たに生成する。そして、モデル生成部１１２は、新たに生成した文字認識モデル情報を用いて、文字認識モデル記憶部１３１が記憶する文字認識モデル情報を更新する。ここで、モデル生成部１１２は、文字認識モデル記憶部１３１が既に記憶している文字認識モデル情報が示す文字認識モデルを用いて、通知されたラベル画像情報から予め設定された複数種類の文字それぞれに対応する期待値を要素とする期待値ベクトルを生成する。次に、モデル生成部１１２は、通知された文字列情報が示す文字列を構成する文字に対応する期待値が０よりも大きく且つ他の文字に対応する期待値が０である期待値ベクトルを生成する。また、モデル生成部１１２は、生成した期待ベクトルの誤差を算出し、算出した誤差に基づく誤差逆伝播法（バックプロパゲーション）により文字認識モデルの重み係数を決定する。そして、モデル生成部１１２は、決定した重み係数を示す情報を含む文字認識モデル情報を文字認識モデル記憶部１３１に記憶させる。モデル通知部１１３は、文字認識モデル記憶部１３１が記憶する文字認識モデル情報を含むモデル通知情報を生成して端末装置３へ送信する。

【0031】

レイアウト情報要求取得部１１４は、端末装置３から送信されるレイアウト情報要求情報を取得すると、取得したレイアウト情報要求情報に含まれる、管理者が登録した倉庫の特徴位置Ｐｏｓ１、Ｐｏｓ２、・・・、Ｐｏｓ１０それぞれの位置情報と端末装置識別情報とを抽出する。そして、レイアウト情報要求取得部１１４は、抽出したこれらの情報を互いに対応づけて位置記憶部１３２に記憶させる。レイアウト情報生成部１１５は、位置記憶部１３２が記憶する位置情報が示す倉庫のレイアウトの特徴となる複数の特徴位置Ｐｏｓ１、Ｐｏｓ２、・・・、Ｐｏｓ１０で囲まれた領域を、予め設定された大きさおよび形状の単位領域で分割したときの少なくとも１つの単位領域それぞれの位置を示す座標を表す少なくとも１つの領域位置情報を生成する。そして、レイアウト情報生成部１１５は、生成した少なくとも１つの領域位置情報を含むレイアウト情報を、端末識別情報に対応づけてレイアウト記憶部１３３に記憶させる。レイアウト情報通知部１１６は、レイアウト記憶部１３３が記憶するレイアウト情報と、対応する端末識別情報と、を含むレイアウト通知情報を生成して端末装置３へ送信する。

【0032】

搬出貨物情報取得部１１７は、端末装置３から送信される搬出貨物通知情報を取得すると、取得した搬出貨物通知情報に含まれる、貨物識別情報、属性情報、撮影画像情報、場所情報および搬出日時情報を抽出し、抽出したこれらの情報を互いに対応づけて貨物情報記憶部１３４に記憶させる。

【0033】

次に、本実施の形態に係る貨物管理システムの動作について、図７乃至図９を参照しながら説明する。まず、図７に示すように、端末装置３の所持する貨物の管理者が端末装置３の入力部３０５に対して前述のレイアウト登録モード切替操作を行うと、端末装置３は、レイアウト登録モードに切り替わる（ステップＳ１）。次に、管理者が端末装置３の入力部３０５に対して前述のレイアウト特徴位置登録操作を行うと、端末装置３は、自機の位置を測位し、測位して得られた自機の位置を示す位置情報を位置記憶部３３５に記憶させる（ステップＳ２）。続いて、管理者が端末装置３の入力部３０５に対して前述のレイアウト特徴位置登録完了操作を行うと、端末装置３は、位置記憶部３３５が記憶する位置情報と自機の端末装置識別情報とを含むレイアウト情報要求情報を生成する（ステップＳ３）。このとき、端末装置３は、通常モードに切り替わる。そして、生成されたレイアウト情報要求情報が、端末装置３から貨物管理サーバ１へ送信される（ステップＳ４）。

【0034】

一方、貨物管理サーバ１は、レイアウト情報要求情報を取得すると、取得したレイアウト情報要求情報に含まれる位置情報と端末装置識別情報とを互いに対応づけて位置記憶部１３２に記憶させる（ステップＳ５）。その後、貨物管理サーバ１は、位置記憶部１３２が記憶する位置情報に基づいて、位置情報が示す特徴位置で囲まれた領域を、予め設定された単位領域で分割したときの各単位領域の位置を示す座標を表す領域位置情報を生成する。そして、貨物管理サーバ１は、生成した領域位置情報を含むレイアウト情報を、端末識別情報に対応づけてレイアウト記憶部１３３に記憶させる（ステップＳ６）。次に、貨物管理サーバ１が、レイアウト記憶部１３３が記憶するレイアウト情報と、対応する端末識別情報と、を含むレイアウト通知情報を生成し（ステップＳ７）、生成されたレイアウト通知情報が、貨物管理サーバ１から端末装置３へ送信される（ステップＳ８）。一方、端末装置３は、レイアウト通知情報を取得すると、取得したレイアウト通知情報に含まれるレイアウト情報を抽出し、抽出したレイアウト情報をレイアウト記憶部３３４に記憶させる（ステップＳ９）。

【0035】

また、管理者が端末装置３の入力部３０５に対して前述の貨物登録操作を行ったとする。この場合、端末装置３は、撮像部３０７による貨物の撮影を実行し、撮影で得られた撮影画像情報を対応する貨物識別情報に対応づけて撮影画像記憶部３３１に記憶させる（ステップＳ１０）。続いて、端末装置３は、撮影画像記憶部３３１が記憶する貨物の撮影画像に含まれるラベル画像を抽出する（ステップＳ１１）。その後、端末装置３は、抽出したラベル画像に対して射影変化・台形補正を実行することによりラベルを厚さ方向から見た画像に変換する（ステップＳ１２）。次に、端末装置３は、変換後のラベル画像の中から、予め設定されたアスペクト比率の基準範囲を示すアスペクト比率基準範囲、予め設定された総ピクセル数の基準範囲を示す総ピクセル数基準範囲、および、予め設定された白黒面積比率の基準範囲を示す白黒面積比率基準範囲のうちの少なくとも１つに基づいて、ラベル画像を選出する。そして、端末装置３は、選出したラベル画像を示すラベル画像情報を、対応する貨物識別情報に対応づけてラベル画像記憶部３３２に記憶させる（ステップＳ１３）。

【0036】

続いて、端末装置３は、文字認識モデル記憶部３３３が記憶する文字認識モデル情報が示す文字認識モデルを用いて、ラベル画像記憶部３３２が記憶するラベル画像情報から、当該ラベル画像情報が示すラベル画像に含まれる文字列を認識する文字認識処理を実行する。そして、端末装置３は、文字認識処理により認識された文字列を示す文字列情報を含む文字認識結果情報を文字認識結果記憶部３２１に記憶させる（ステップＳ１４）。その後、端末装置３は、文字認識結果記憶部３２１が新たに記憶した文字認識結果情報に基づいて、文字認識結果表示画像を形成して表示部３０４に表示させる（ステップＳ１５）。

【0037】

ここで、管理者が、前述の文字認識結果表示画像が表示部３０４に表示されている状態で、端末装置３の入力部３０５に対して前述の修正操作を行ったとする。この場合、図８に示すように、端末装置３は、修正操作に応じた操作情報に含まれる文字列情報に基づいて、貨物の属性を示す属性情報を生成し、生成した属性情報を、対応する貨物識別情報に対応づけて貨物配置記憶部３３６に記憶させる（ステップＳ１６）。次に、端末装置３が、当該修正操作に応じた操作情報に含まれる文字列を示す文字列情報を含むモデル修正要求情報を生成し（ステップＳ１７）、生成されたモデル修正要求情報が、端末装置３から貨物管理サーバ１へ送信される（ステップＳ１８）。

【0038】

一方、貨物管理サーバ１は、モデル修正要求情報を取得すると、取得したモデル修正要求情報に含まれる、ラベル画像情報と文字列情報とを抽出する。そして、貨物管理サーバ１は、抽出したラベル画像情報と文字列情報とを用いて、文字認識モデルを示す文字認識モデル情報を新たに生成し、生成した文字認識モデル情報を文字認識モデル記憶部１３１に記憶させる（ステップＳ１９）。続いて、貨物管理サーバ１が、文字認識モデル記憶部１３１が記憶する文字認識モデル情報を含むモデル通知情報を生成し（ステップＳ２０）、生成されたモデル通知情報が、貨物管理サーバ１から端末装置３へ送信される（ステップＳ２１）。一方、端末装置３は、モデル通知情報を取得すると、取得したモデル通知情報に含まれる文字認識モデル情報を抽出し、文字認識モデル記憶部３３３が既に記憶している文字認識モデル情報を更新する形で、抽出した文字認識モデル情報を文字認識モデル記憶部３３３に記憶させる（ステップＳ２２）。

【0039】

また、管理者が、前述の文字認識結果表示画像が表示部３０４に表示されている状態で、端末装置３の入力部３０５に対して前述の承認操作を行ったとする。この場合、端末装置３は、文字認識結果記憶部３２１が新たに記憶した文字認識結果情報に含まれる文字列情報に基づいて、貨物の属性を示す属性情報を生成し、生成した属性情報を、対応する貨物識別情報に対応づけて貨物配置記憶部３３６に記憶させる（ステップＳ２３）。

【0040】

その後、端末装置３は、前述の貨物配置登録用画像を形成して表示部３０４に表示させる（ステップＳ２４）。ここで、端末装置３は、例えば図９（Ａ）に示すような貨物配置登録用画像ＧＡ１を表示部３０４に表示させる。貨物配置用登録画像ＧＡ１は、貨物識別情報を表すメッセージ画像Ｍ１１と、貨物の倉庫への搬入日を表すメッセージ画像Ｍ１２と、倉庫内の複数の領域それぞれを表す複数のアイコン画像ＩＣ１と、貨物の配置の選択を完了する際に選択される釦画像ＢＵ１と、を含む。

【0041】

ここで、管理者が、貨物配置登録用画像が表示部３０４に表示されている状態で、端末装置３の入力部３０５に対して前述の配置登録操作を行ったとする。この配置登録操作は、例えば図９（Ａ）に示すように、タッチパッドである入力部３０５における、貨物が配置された領域に対応するアイコン画像ＩＣ１に対応する部分をタッチする操作である。この配置登録操作を行うと、図９（Ｂ）の貨物配置登録用画像ＧＡ２に示すように、タッチされた部分に対応するアイコン画像ＩＣ１の表示態様が変化する。図８に戻って、この場合、端末装置３は、前述の配置登録操作に応じた操作情報に含まれる領域位置情報を含む貨物配置情報を生成し、生成した貨物配置情報を、対応する貨物識別情報に対応づけて貨物配置記憶部３３６に記憶させる（ステップＳ２５）。図９（Ｂ）の場合、表示態様が変化したアイコン画像ＩＣ１に対応する領域位置情報が操作情報に含まれ、端末装置３は、当該領域位置情報を含む貨物配置情報を生成して貨物配置記憶部３３６に記憶させる。

【0042】

図８に戻って、また、管理者が、端末装置３の入力部３０５に対して、前述の搬出貨物登録操作を行ったとする。この場合、端末装置３は、貨物配置記憶部３３６が記憶する、特定された貨物識別情報に対応する属性情報および貨物配置情報を、貨物配置記憶部３３６から削除する形で貨物配置情報を更新する（ステップＳ２６）。次に、端末装置３は、撮像部３０７により貨物を撮影して得られる撮影画像情報を、対応する貨物識別情報に対応づけて搬出貨物撮影画像記憶部３３７に記憶させる（ステップＳ２７）。続いて、端末装置３は、前述の搬出貨物登録操作に応じた操作情報に含まれる貨物が保管されていた倉庫を示す場所情報と、貨物が搬出された日時を示す搬出日時情報と、を抽出する。また、端末装置３は、搬出貨物撮影画像記憶部３３７に新たに撮像画像情報が記憶されると、当該撮影画像情報に対応する貨物識別情報を特定する。そして、端末装置３は、貨物配置記憶部３３６が記憶する、特定した貨物識別情報に対応する属性情報と、前述の撮影画像情報と、抽出した場所情報および搬出日時情報と、を含む搬出貨物情報を生成する（ステップＳ２８）。その後、端末装置３が、生成した搬出貨物情報を含む搬出貨物通知情報を生成し（ステップＳ２９）、生成された搬出貨物通知情報が、端末装置３から貨物管理サーバ１へ送信される（ステップＳ３０）。一方、貨物管理サーバ１は、搬出貨物通知情報を取得すると、取得した搬出貨物通知情報に含まれる、貨物識別情報、属性情報、撮影画像情報、場所情報および搬出日時情報を抽出し、抽出したこれらの情報を互いに対応づけて貨物情報記憶部１３４に記憶させる（ステップＳ３１）。

【0043】

次に、本実施の形態に係る端末装置３が実行する貨物管理処理について、図１０および図１１を参照しながら説明する。なお、この貨物管理処理は、端末装置３へ電源が投入された後、端末装置３において貨物管理処理を実行するためのプログラムが起動されたことを契機として開始される。まず、図１１に示すように、受付部３１１は、前述のレイアウト登録モード切替操作を受け付けたか否かを判定する（ステップＳ２０１）。ここで、受付部３１１は、レイアウト登録モード切替操作を受け付けていないと判定すると（ステップＳ２０１：Ｎｏ）、後述のステップＳ２０８の処理が実行される。一方、受付部３１１は、レイアウト登録モード切替操作を受け付けたと判定すると（ステップＳ２０１：Ｙｅｓ）、レイアウト登録モード切替操作に応じた操作情報を生成して測位部３２２およびレイアウト情報要求部３２３に通知する。そして、測位部３２２およびレイアウト情報要求部３２３は、それぞれ、前述のレイアウト登録モードへ切り替わる（ステップＳ２０２）。次に、受付部３１１は、前述のレイアウト特徴位置登録操作を受け付けたか否かを判定する（ステップＳ２０３）。ここで、受付部３１１は、レイアウト特徴位置登録操作を受け付けていないと判定すると（ステップＳ２０３：Ｎｏ）、後述のステップＳ２０５の処理が実行される。一方、受付部３１１は、レイアウト特徴位置登録操作を受け付けたと判定すると（ステップＳ２０３：Ｙｅｓ）、レイアウト特徴位置登録操作に応じた操作情報を生成して測位部３２２およびレイアウト情報要求部３２３に通知する。そして、測位部３２２は、当該操作情報が通知された時点における前述のＧＮＳＳ情報に基づいて、端末装置３の位置を測位し、測位して得られた位置を示す位置情報を生成して位置記憶部３３５に記憶させる（ステップＳ２０４）。続いて、受付部３１１は、前述のレイアウト特徴位置登録完了操作を受け付けたか否かを判定する（ステップＳ２０５）。ここで、受付部３１１は、レイアウト特徴位置登録完了操作を受け付けていないと判定すると（ステップＳ２０５：Ｎｏ）、再びステップＳ２０３の処理が実行される。一方、受付部３１１は、レイアウト特徴位置登録完了操作を受け付けたと判定すると（ステップＳ２０５：Ｙｅｓ）、レイアウト特徴位置登録完了操作に応じた操作情報を生成して測位部３２２およびレイアウト情報要求部３２３に通知する。そして、レイアウト情報要求部３２３は、位置記憶部３３５が記憶する位置情報を含むレイアウト情報要求情報を生成して貨物管理サーバ１へ送信する（ステップＳ２０６）。このとき、測位部３２２およびレイアウト情報要求部３２３は、それぞれ通常モードに切り替わる。その後、レイアウト情報取得部３２４は、貨物管理サーバ１から送信されるレイアウト通知情報を取得すると、取得したレイアウト通知情報に含まれるレイアウト情報を抽出し、抽出したレイアウト情報をレイアウト記憶部３３４に記憶させる（ステップＳ２０７）。

【0044】

次に、受付部３１１は、前述の貨物登録操作を受け付けたか否かを判定する（ステップＳ２０８）。ここで、受付部３１１が、貨物登録操作を受け付けていないと判定すると（ステップＳ２０８：Ｎｏ）、後述のステップＳ２２３の処理が実行される。一方、受付部３１１は、貨物登録操作を受け付けたと判定すると（ステップＳ２０８：Ｙｅｓ）、貨物登録操作に応じた操作情報を生成して撮像制御部３１２およびラベル画像抽出部３１５に通知する。そして、撮像制御部３１２は、貨物登録操作に応じた操作情報が通知されると、これに応じて、撮像部３０７に対して貨物を撮影することを指令する撮影指令情報を生成して撮像部３０７へ転送し、撮像部３０７は、撮影指令情報に応じて貨物を撮影し、貨物を撮影して得られる撮影画像情報を撮影画像取得部３１３に転送する。また、撮影画像取得部３１３は、撮像部３０７から撮影画像情報が転送されてくると、転送されてきた撮影画像情報に、対応する貨物識別情報に対応づけて撮影画像記憶部３３１に記憶させる（ステップＳ２０９）。

【0045】

続いて、ラベル画像抽出部３１５は、撮影画像記憶部３３１が記憶する貨物の撮影画像に含まれるラベル画像を抽出する（ステップＳ２１０）。その後、ラベル画像変換部３１６は、ラベル画像抽出部３１５により抽出されたラベル画像に対して射影変化・台形補正を実行することによりラベルを厚さ方向から見た画像に変換する（ステップＳ２１１）。次に、ラベル画像選出部３１７は、変換後のラベル画像の中から、予め設定されたアスペクト比率の基準範囲を示すアスペクト比率基準範囲、予め設定された総ピクセル数の基準範囲を示す総ピクセル数基準範囲、および、予め設定された白黒面積比率の基準範囲を示す白黒面積比率基準範囲のうちの少なくとも１つに基づいて、ラベル画像を選出する。そして、ラベル画像選出部３１７は、選出したラベル画像を示すラベル画像情報を、対応する貨物識別情報に対応づけてラベル画像記憶部３３２に記憶させる（ステップＳ２１２）。

【0046】

続いて、文字認識部３１８は、文字認識モデル記憶部３３３が記憶する文字認識モデル情報が示す文字認識モデルを用いて、ラベル画像記憶部３３２が記憶するラベル画像情報から、当該ラベル画像情報が示すラベル画像に含まれる文字列を認識する文字認識処理を実行する。そして、文字認識部３１８は、文字認識処理により認識された文字列を示す文字列情報を含む文字認識結果情報を文字認識結果記憶部３２１に記憶させる（ステップＳ２１３）。その後、図１１に示すように、表示制御部３１４は、文字認識結果記憶部３２１が新たに文字認識結果情報を記憶すると、当該文字認識結果情報に基づいて、文字認識結果表示画像を形成して表示部３０４に表示させる（ステップＳ２１４）。

【0047】

次に、受付部３１１は、前述の文字認識結果表示画像が表示部３０４に表示されている状態で、前述の修正操作を受け付けたか否かを判定する（ステップＳ２１５）。ここで、受付部３１１は、前述の承認操作を受け付けたと判定すると（ステップＳ２１５：Ｎｏ）、当該承認操作に応じた操作情報を生成して貨物情報管理部３２５に通知する。そして、貨物情報管理部３２５は、文字認識結果記憶部３２１が記憶する文字認識結果情報に含まれる文字列情報に基づいて、前述の属性情報を生成し、生成した属性情報を、対応する貨物識別情報に対応づけて貨物配置記憶部３３６に記憶させる（ステップＳ２１６）。続いて、後述のステップＳ２２０の処理が実行される。一方、受付部３１１は、前述の修正操作を受け付けたと判定すると（ステップＳ２１５：Ｙｅｓ）、当該修正操作に応じた操作情報を生成して貨物情報管理部３２５およびモデル修正要求部３１９に通知する。そして、貨物情報管理部３２５は、通知された操作情報に含まれる文字列情報に基づいて、貨物の属性を示す属性情報を生成し、生成した属性情報を、対応する貨物識別情報に対応づけて貨物配置記憶部３３６に記憶させる（ステップＳ２１７）。

【0048】

その後、モデル修正要求部３１９は、通知された操作情報に含まれる文字列を示す文字列情報を含むモデル修正要求情報を生成して貨物管理サーバ１へ送信する（ステップＳ２１８）。これにより、モデル取得部３２０は、貨物管理サーバ１から送信される前述のモデル通知情報を取得すると、取得したモデル通知情報に含まれる文字認識モデル情報を抽出し、文字認識モデル記憶部３３３が既に記憶している文字認識モデル情報を更新する形で、抽出した文字認識モデル情報を文字認識モデル記憶部３３３に記憶させる（ステップＳ２１９）。次に、表示制御部３１４は、前述の貨物配置登録用画像を形成して表示部３０４に表示させる（ステップＳ２２０）。

【0049】

続いて、受付部３１１は、前述の貨物配置登録用画像が表示部３０４に表示されている状態で、前述の配置登録操作を受け付けたか否かを判定する（ステップＳ２２１）。ここで、受付部３１１が、配置登録操作を受け付けていないと判定すると（ステップＳ２２１：Ｎｏ）、後述のステップＳ２２３の処理が実行される。一方、受付部３１１は、前述の配置登録操作を受け付けたと判定すると（ステップＳ２２１：Ｙｅｓ）、配置登録操作に応じた操作情報を生成して貨物情報管理部３２５および表示制御部３１４に通知する。そして、貨物情報管理部３２５は、通知された操作情報に含まれる領域位置情報を含む貨物配置情報を生成し、生成した貨物配置情報を、対応する貨物識別情報に対応づけて貨物配置記憶部３３６に記憶させる（ステップＳ２２２）。

【0050】

その後、受付部３１１は、前述の搬出貨物登録操作を受け付けたか否かを判定する（ステップＳ２２３）。ここで、受付部３１１が、搬出貨物登録操作を受け付けていないと判定すると（ステップＳ２２３：Ｎｏ）、再びステップＳ２０１の処理が実行される。一方、受付部３１１は、前述の搬出貨物登録操作を受け付けたと判定すると（ステップＳ２２３：Ｙｅｓ）、搬出貨物登録操作に応じた操作情報を生成して撮像制御部３１２、貨物配置更新部３２６および搬出貨物情報生成部３２７に通知する。そして、撮像制御部３１２は、前述の撮影指令情報を生成して撮像部３０７へ転送し、撮像部３０７は、撮影指令情報に応じて貨物を撮影し、貨物を撮影して得られる撮影画像情報を撮影画像取得部３１３に転送する。そして、撮影画像取得部３１３は、撮像部３０７から転送されてきた撮影画像情報に、対応する貨物識別情報に対応づけて搬出貨物撮影画像記憶部３３７に記憶させる（ステップＳ２２４）。次に、搬出貨物情報生成部３２７は、通知された操作情報に含まれる場所情報と搬出日時情報とを抽出する。また、搬出貨物情報生成部３２７は、搬出貨物撮影画像記憶部３３７に新たに記憶された撮像画像情報に対応する貨物識別情報を特定する。そして、搬出貨物情報生成部３２７は、貨物配置記憶部３３６が記憶する、特定した貨物識別情報に対応する属性情報と、前述の撮影画像情報と、抽出した場所情報および搬出日時情報と、を含む搬出貨物情報を生成する（ステップＳ２２５）。続いて、貨物配置更新部３２６は、搬出貨物情報生成部３２７が搬出貨物情報を生成した後、貨物配置記憶部３３６が記憶する、特定された貨物識別情報に対応する属性情報および貨物配置情報を、貨物配置記憶部３３６から削除する形で貨物配置情報を更新する（ステップＳ２２６）。その後、搬出貨物情報通知部３２８は、生成された搬出貨物情報を含む搬出貨物通知情報を生成して貨物管理サーバ１へ送信する（ステップＳ２２７）。次に、再びステップＳ２０１の処理が実行される。

【0051】

次に、本実施の形態に係る貨物管理サーバ１が実行する貨物管理処理について、図１２を参照しながら説明する。なお、この貨物管理処理は、貨物管理サーバ１において貨物管理処理を実行するためのプログラムが起動されたことを契機として開始される。まず、レイアウト情報要求取得部１１４は、端末装置３から送信される前述のレイアウト情報要求情報を取得したか否かを判定する（ステップＳ１０１）。ここで、レイアウト情報要求取得部１１４は、レイアウト情報要求情報を取得していないと判定すると（ステップＳ１０１：Ｎｏ）、後述のステップＳ１０５の処理が実行される。一方、レイアウト情報要求取得部１１４は、レイアウト情報要求情報を取得したと判定すると（ステップＳ１０１：Ｙｅｓ）、取得したレイアウト情報要求情報に含まれる、管理者が登録した倉庫の特徴位置それぞれの位置情報と端末装置識別情報とを抽出する。そして、レイアウト情報要求取得部１１４は、抽出したこれらの情報を互いに対応づけて位置記憶部１３２に記憶させる（ステップＳ１０２）。次に、レイアウト情報生成部１１５は、位置記憶部１３２が記憶する位置情報が示す倉庫のレイアウトの特徴となる特徴位置で囲まれた領域を、予め設定された単位領域で分割したときの各単位領域の位置を示す座標を表す領域位置情報を生成する。そして、レイアウト情報生成部１１５は、生成した領域位置情報を含むレイアウト情報を、端末識別情報に対応づけてレイアウト記憶部１３３に記憶させる（ステップＳ１０３）。続いて、レイアウト情報通知部１１６は、レイアウト記憶部１３３が記憶するレイアウト情報と、対応する端末識別情報と、を含むレイアウト通知情報を生成して端末装置３へ送信する（ステップＳ１０４）。

【0052】

その後、モデル修正要求取得部１１１は、端末装置３から送信される前述のモデル修正要求情報を取得したか否かを判定する（ステップＳ１０５）。ここで、モデル修正要求取得部１１１が、モデル修正要求情報を取得していないと判定すると（ステップＳ１０５：Ｎｏ）、後述のステップＳ１０８の処理が実行される。一方、モデル修正要求取得部１１１は、モデル修正要求情報を取得したと判定すると（ステップＳ１０５：Ｙｅｓ）、取得したモデル修正要求情報に含まれる、ラベル画像情報と文字列情報とを抽出し、抽出したラベル画像情報と文字列情報とをモデル生成部１１２に通知する。そして、モデル生成部１１２は、モデル修正要求取得部１１１から通知される、ラベル画像情報と文字列情報とを用いて、文字認識モデルを示す文字認識モデル情報を新たに生成し、生成した文字認識モデル情報を用いて、文字認識モデル記憶部１３１が記憶する文字認識モデル情報を更新する（ステップＳ１０６）。次に、モデル通知部１１３は、文字認識モデル記憶部１３１が記憶する新たな文字認識モデル情報を含むモデル通知情報を生成して端末装置３へ送信する（ステップＳ１０７）。

【0053】

続いて、搬出貨物情報取得部１１７は、端末装置３から送信される前述の搬出貨物通知情報を取得したか否かを判定する（ステップＳ１０８）。ここで、搬出貨物情報取得部１１７が、搬出貨物通知情報を取得していないと判定すると（ステップＳ１０８：Ｎｏ）、再びステップＳ１０１の処理が実行される。一方、搬出貨物情報取得部１１７は、搬出貨物通知情報を取得したと判定すると（ステップＳ１０８：Ｙｅｓ）、取得した搬出貨物通知情報に含まれる、貨物識別情報、属性情報、撮影画像情報、場所情報および搬出日時情報を抽出し、抽出したこれらの情報を互いに対応づけて貨物情報記憶部１３４に記憶させる（ステップＳ１０９）。その後、再びステップＳ１０１の処理が実行される。

【0054】

以上説明したように、本実施の形態に係る写真撮影管理システムによれば、ラベル画像選出部３１７が、貨物に貼付されたラベルを撮影して得られるラベル画像の中から、予め設定されたアスペクト比率の基準範囲を示すアスペクト比率基準範囲、予め設定された総ピクセル数の基準範囲を示す総ピクセル数基準範囲、および、予め設定された白黒面積比率の基準範囲を示す白黒面積比率基準範囲のうちの少なくとも１つに基づいて、ラベル画像を選出する。そして、貨物情報管理部３２５が、選出したラベル画像に基づいて、ラベルに掲載された貨物の属性を示す属性情報を生成する。これにより、貨物を管理する管理者は、貨物に貼付されたラベルを含む形で貨物を撮影するだけで、貨物の属性情報を得ることができるので、管理者が貨物に貼付されたラベルを視認して属性情報を把握しながら貨物を管理する場合に比べて管理者の貨物の管理負担を軽減することができる。

【0055】

ところで、倉庫内の貨物の管理において、倉庫内における貨物の配置をその貨物の識別情報に対応づけて管理することが要請されている。これに対して、例えば位置情報を管理される管理対象である荷物に位置情報管理用通信装置を備え付けて、管理対象の貨物の位置を把握する位置情報管理システムが提供されている。しかしながら、この位置情報管理システムでは、貨物が搬入、搬出される毎に位置情報管理用通信装置の装着および取り外し作業が必要となるため、貨物の搬入搬出作業を効率的に行えない虞がある。これに対して、本実施の形態に係る貨物管理システムでは、端末装置３の貨物情報管理部３２５が、前述の貨物配置登録用画像が表示部３０４に表示されている状態で、前述の配置登録操作に応じた操作情報に含まれる領域位置情報を含む貨物配置情報を生成し、生成した貨物配置情報を、対応する貨物識別情報に対応づけて貨物配置記憶部３３６に記憶させる。そして、端末装置３の表示制御部３１４は、当該貨物配置情報に対応するアイコン画像ＩＣ１の表示態様が変更された貨物配置登録用画像ＧＡ２を表示部３０４に表示させる。これにより、管理者は、端末装置３の表示部３０４に表示された貨物配置登録用画像ＧＡ２を確認するだけで、管理対象の貨物の位置を把握することができるので、貨物の搬入搬出作業を効率的に行うことができるという利点がある。

【0056】

以上、本発明の実施の形態について説明したが、本発明は前述の実施の形態によって限定されるものではない。例えば、貨物管理サーバ１のモデル生成部１１２が、複数の管理者それぞれが所持する端末装置３と通信可能であり、複数の端末装置３それぞれから送信されるモデル修正要求情報に基づいて、複数の端末装置３それぞれで共通して使用される文字認識モデルを示す文字認識モデル情報を生成して文字認識モデル記憶部１３１に記憶させるものであってもよい。

【0057】

実施の形態において、貨物情報管理部３２５が、利用者が入力部３０５に対して、倉庫内における利用者が存在する位置に貨物を配置したことを登録するための貨物配置登録操作を行うと、これに応じて、貨物配置登録操作を受け付けた時点において測位部３２２により測定された利用者の位置を示す位置情報を、貨物が配置された位置を示す位置情報として含む貨物配置情報を生成するものであってもよい。

【0058】

本変形例では、利用者が、例えば図１３（Ａ）に示すように、倉庫Ａ２０００内において、貨物を配置した地点Ｐ２００１、Ｐ２００２、Ｐ２００３それぞれにおいて、端末装置３の入力部３０５に対して自身が存在する位置に貨物を配置したことを登録するための貨物配置登録操作を行う。そうすると、端末装置３の貨物情報管理部３２５は、貨物配置登録操作が行われる毎に、測位部３２２により測定された利用者の位置を示す位置情報を、貨物が配置された位置を示す位置情報として含む貨物配置情報を生成して貨物配置記憶部３３６に記憶させる。これにより、貨物配置記憶部３３６は、例えば図１３（Ｂ）に示すように、貨物それぞれに対応する座標（Ｘ２［１］、Ｙ２［１］）を表す位置情報からなる貨物配置情報を、貨物識別情報および属性情報に対応づけて記憶することになる。

【0059】

本構成によれば、レイアウト情報を生成する必要が無いため、その分、端末装置３における処理負荷を軽減することができる。

【0060】

実施の形態では、測位部３２２が、ＧＮＳＳ受信部３０８が受信するＧＮＳＳ信号を用いて端末装置３の位置を測定する例について説明したが、測位部３２２の測位方法は、これに限定されるものではない。例えば、測位部３２２が、予め設置位置の位置情報が判明しているアクセスポイントから送信されるビーコンフレーム等の管理フレームを受信したときの信号強度と管理フレームに含まれるアクセスポイントのＳＳＩＤ（Ｓｅｒｖｉｃｅ Ｓｅｔ Ｉｄｅｎｔｉｆｉｅｒ）とに基づいて、端末装置３の位置を特定するものであってもよい。

【0061】

実施の形態において、ラベル画像記憶部３３２が、ラベル画像情報を、対応する貨物の貨物識別情報のみならず、貨物の属性情報に対応づけて記憶するものであってもよい。また、貨物配置記憶部３３６が、貨物配置情報を、対応する貨物の貨物識別情報および当該貨物の属性情報とともに、ラベル画像情報に対応づけて記憶する。

【0062】

実施の形態において、端末装置３の機能の一部が貨物管理サーバ１において実現されていてもよいし、貨物管理サーバ１の機能の一部が端末装置３で実現されていてもよい。

【0063】

また、本発明に係る貨物管理サーバ１および端末装置３の各種機能は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、ネットワークに接続されているコンピュータに、上記動作を実行するためのプログラムを、コンピュータシステムが読み取り可能な非一時的な記録媒体（ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等）に格納して配布し、当該プログラムをコンピュータシステムにインストールすることにより、上述の処理を実行する貨物管理サーバ１および端末装置３を構成してもよい。

【0064】

また、コンピュータにプログラムを提供する方法は任意である。例えば、プログラムは、通信回線の掲示版（ＢＢＳ（Ｂｕｌｌｅｔｉｎ Ｂｏａｒｄ Ｓｙｓｔｅｍ））にアップロードされ、通信回線を介してコンピュータに配信されてもよい。そして、コンピュータは、このプログラムを起動して、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）の制御の下、他のアプリケーションと同様に実行する。これにより、コンピュータは、上述の処理を実行する貨物管理サーバ１および端末装置３して機能する。

【0065】

以上、本発明の各実施の形態および変形例について説明したが、本発明はこれらに限定されるものではない。本発明は、実施の形態および変形例が適宜組み合わされたもの、それに適宜変更が加えられたものを含む。

【産業上の利用可能性】

【0066】

本発明は、倉庫内に保管された貨物の管理を支援する貨物管理システムとして好適である。

【符号の説明】

【0067】

１：貨物管理サーバ、３：端末装置、４１：プロキシサーバ、４２，５２：ＢＢＲ、５１：アクセスポイント、１０１，３０１：ＣＰＵ、１０２，３０２：主記憶部、１０３，３０３：補助記憶部、１０６，３０６：通信部、１０９，３０９：バス、１１１：モデル修正要求取得部、１１２：モデル生成部、１１３：モデル通知部、１１４：レイアウト情報要求取得部、１１５：レイアウト情報生成部、１１６：レイアウト情報通知部、１１７：搬出貨物情報取得部、１３１：文字認識モデル記憶部、１３２，３３５：位置記憶部、１３３：レイアウト記憶部、１３４：貨物情報記憶部、３０４：表示部、３０５：入力部、３０７：撮像部、３０８：ＧＮＳＳ受信部、３１１：受付部、３１２：撮像制御部、３１３：撮影画像取得部、３１４：表示制御部、３１５：ラベル画像抽出部、３１６：ラベル画像変換部、３１７：ラベル画像選出部、３１８：文字認識部、３１９：モデル修正要求部、３２１：文字認識結果記憶部、３２２：測位部、３２３：レイアウト情報要求部、３２４：レイアウト情報取得部、３２５：貨物情報管理部、３２６：貨物配置更新部、３２７：搬出貨物情報生成部、３２８：搬出貨物情報通知部、３３１：撮影画像記憶部、３３２：ラベル画像記憶部、３３３：文字認識モデル記憶部、３３４：レイアウト記憶部、３３６：貨物配置記憶部、３３７：搬出貨物撮影画像記憶部、ＢＵ１：釦画像、ＧＡ１，ＧＡ２：貨物配置登録用画像、ＩＣ１：アイコン画像、Ｍ１１，Ｍ１２：メッセージ情報、ＮＷ１：広域ネットワーク、ＮＷ２，ＮＷ３：局所ネットワーク、Ｐｏｓ１，Ｐｏｓ２，Ｐｏｓ３，Ｐｏｓ４，Ｐｏｓ５，Ｐｏｓ６，Ｐｏｓ７，Ｐｏｓ８，Ｐｏｓ９，Ｐｏｓ１０：特徴位置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】