特開 2022-129421 情報処理装置、情報処理方法、情報処理システムおよびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022129421

(43)【公開日】2022-09-06

(54)【発明の名称】情報処理装置、情報処理方法、情報処理システムおよびプログラム

(51)【国際特許分類】

   B65G 1/137 20060101AFI20220830BHJP

   G09G 5/00 20060101ALI20220830BHJP

   G09G 5/38 20060101ALI20220830BHJP

【ＦＩ】

B65G1/137 E

G09G5/00 550C

G09G5/00 510B

G09G5/38 A

G09G5/38 Z

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021028072

(22)【出願日】2021-02-25

(71)【出願人】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】100129067

【弁理士】

【氏名又は名称】町田 能章

(74)【代理人】

【識別番号】100183162

【弁理士】

【氏名又は名称】大塚 義文

(74)【代理人】

【識別番号】110001807

【氏名又は名称】弁理士法人磯野国際特許商標事務所

(72)【発明者】

【氏名】小森 博樹

【テーマコード（参考）】

3F522

5C182

【Ｆターム（参考）】

3F522BB14

3F522BB22

3F522EE13

3F522FF02

3F522FF03

3F522GG03

3F522GG32

3F522GG33

3F522GG44

3F522HH02

3F522HH16

3F522HH33

3F522HH37

3F522LL57

5C182AA04

5C182AA14

5C182AB35

5C182AC02

5C182AC03

5C182AC39

5C182BA14

5C182BA44

5C182BA68

5C182CB41

5C182CB42

(57)【要約】

【課題】荷物の仕分け作業の効率を向上させる。
【解決手段】本発明の支援システム１００は、処理装置８と、カメラ２と、プロジェクタを備える。処理装置８は、荷物２０が載置される棚１をカメラ２が撮影した画像から荷物２０の格納位置および格納領域を判定する判定部８１と、荷物２０から取得した住所と、格納位置と、格納領域を関連付けた荷物情報に基づいて、荷物２０の住所を２０荷物ごとに表示する領域画像３０を、プロジェクタ６が棚１に投影する投影制御部８３とを備え、荷物２０ごとに、領域画像３０の幅を格納領域の幅に応じた幅とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

荷物が載置される棚を撮影した第１画像から前記荷物の格納位置および格納領域を判定する判定部と、
前記荷物から取得した住所と、前記格納位置と、前記格納領域を関連付けた荷物情報に基づいて、前記荷物の住所を前記荷物ごとに表示する第２画像を前記棚に投影する投影制御部とを備え、
前記荷物ごとに、前記第２画像の幅を前記格納領域の幅に応じた幅とする情報処理装置。

【請求項2】

前記荷物は、第１荷物と第２荷物を含み、
前記第１荷物に前記第２荷物を重ねる場合において、前記第２荷物の載置幅が前記第１荷物の載置幅よりも大きいとき、前記投影制御部は、前記第１荷物に対する前記第２画像の幅を、前記第２荷物に対する前記第２画像の幅に更新する請求項１に記載の情報処理装置。

【請求項3】

前記荷物は、第３荷物と第４荷物を含み、
前記第３荷物と前記第４荷物の間隔が所定値以下であるとき、前記投影制御部は、前記第３荷物に対する前記第２画像と前記第４荷物に対する前記第２画像を統合する請求項１または請求項２に記載の情報処理装置。

【請求項4】

前記棚の空間を区切る一対の仕切り板を用意して部分空間を形成し、
前記判定部は、前記部分空間に載置された前記荷物の格納領域を、前記部分空間に対応する格納領域とする請求項１から請求項３のいずれか１項に記載の情報処理装置。

【請求項5】

前記棚の前面に前記荷物の寸法を測定可能なラベルを用意し、
前記判定部は、前記荷物の格納時に、前記荷物による前記のラベルの隠れ具合を撮影した前記第１画像から前記荷物の前記格納領域を判定する請求項１から請求項４のいずれか１項に記載の情報処理装置。

【請求項6】

前記棚の前面に前記荷物の寸法を測定可能なラベルを用意し、
前記判定部は、作業員が指定した前記荷物の取り出し時に、前記作業員の手による前記のラベルの隠れ具合を撮影した前記第１画像から、前記荷物の取り出し位置の正否を判定する請求項１から請求項５のいずれか１項に記載の情報処理装置。

【請求項7】

前記投影制御部は、前記棚に取り付けたプロジェクタを用いて、前記第２画像を前記棚に投影する請求項１から請求項６のいずれか１項に記載の情報処理装置。

【請求項8】

前記投影制御部は、作業員が身に着けるＡＲグラスのレンズに、前記第２画像を投影する請求項１から請求項６のいずれか１項に記載の情報処理装置。

【請求項9】

情報処理装置が、
荷物が載置される棚を撮影した第１画像から前記荷物の格納位置および格納領域を判定するステップと、
前記荷物から取得した住所と、前記格納位置と、前記格納領域を関連付けた荷物情報に基づいて、前記荷物の住所を前記荷物ごとに表示する第２画像を前記棚に投影するステップを実行し、
前記荷物ごとに、前記第２画像の幅を前記格納領域の幅に応じた幅とする情報処理方法。

【請求項10】

情報処理装置と、カメラと、投影装置を備え、
前記情報処理装置が、
荷物が載置される棚を前記カメラが撮影した第１画像から前記荷物の格納位置および格納領域を判定する判定部と、
前記荷物から取得した住所と、前記格納位置と、前記格納領域を関連付けた荷物情報に基づいて、前記荷物の住所を前記荷物ごとに表示する第２画像を、前記投影装置が前記棚に投影する投影制御部とを備え、
前記荷物ごとに、前記第２画像の幅を前記格納領域の幅に応じた幅とする情報処理システム。

【請求項11】

情報処理装置のコンピュータを、
荷物が載置される棚を撮影した第１画像から前記荷物の格納位置および格納領域を判定する判定部、
前記荷物から取得した住所と、前記格納位置と、前記格納領域を関連付けた荷物情報に基づいて、前記荷物の住所を前記荷物ごとに表示する第２画像を前記棚に投影する投影制御部、として機能させ、
前記荷物ごとに、前記第２画像の幅を前記格納領域の幅に応じた幅とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、情報処理システムおよびプログラムに関する。

【背景技術】

【0002】

近年、郵便物等の荷物の配達を支援する技術開発が進んでいる。郵便配達業務で取り扱う郵便物には様々な種類、大きさの荷物がある。これらの荷物の中には、機械で住所欄が読み取れない荷物や、大きさが規格外の荷物があり、このような荷物は、手動で仕分ける必要がある。また、大きさが規格外の荷物については、仕分け用に用意された棚の枠内には収まらない場合がある。その結果、業務の作業効率の向上には限界があった。

【0003】

特許文献１には、荷物を入れるために用意された箱に付けたマーカーをカメラで読み取ることでマーカーの大きさ、格納位置を判定し、棚に格納された箱の位置を特定することや、箱に対応した住所等の情報をプロジェクターによって棚へ投影する仕組みについて開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－１３２３７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１の構成では予めマーカーを付けた箱をシステムに登録し、箱に格納された荷物を取り出すことを想定している。そのため、事前にマーカーを付けた箱を用意する必要がある。このことから郵便物の仕分け作業のような形や大きさが多種多様な荷物をリアルタイムで棚へ格納することが困難である。また、用意した箱に格納しなければならない場合は箱の大きさによって格納領域が固定されてしまうため、格納する物の大きさに制限があるといった問題点がある。

【0006】

上記事情に鑑みて、本発明は、荷物の仕分け作業の効率を向上させることを課題とする。

【課題を解決するための手段】

【0007】

前記課題を解決するため、本発明は、荷物が載置される棚を撮影した第１画像から前記荷物の格納位置および格納領域を判定する判定部と、前記荷物から取得した住所と、前記格納位置と、前記格納領域を関連付けた荷物情報に基づいて、前記荷物の住所を前記荷物ごとに表示する第２画像を前記棚に投影する投影制御部とを備え、前記荷物ごとに、前記第２画像の幅を前記格納領域の幅に応じた幅とする情報処理装置である。

【0008】

また、本発明は、情報処理装置が、荷物が載置される棚を撮影した第１画像から前記荷物の格納位置および格納領域を判定するステップと、前記荷物から取得した住所と、前記格納位置と、前記格納領域を関連付けた荷物情報に基づいて、前記荷物の住所を前記荷物ごとに表示する第２画像を前記棚に投影するステップを実行し、前記荷物ごとに、前記第２画像の幅を前記格納領域の幅に応じた幅とする情報処理方法である。

【0009】

また、本発明は、情報処理装置と、カメラと、投影装置を備え、前記情報処理装置が、荷物が載置される棚を前記カメラが撮影した第１画像から前記荷物の格納位置および格納領域を判定する判定部と、前記荷物から取得した住所と、前記格納位置と、前記格納領域を関連付けた荷物情報に基づいて、前記荷物の住所を前記荷物ごとに表示する第２画像を、前記投影装置が前記棚に投影する投影制御部とを備え、前記荷物ごとに、前記第２画像の幅を前記格納領域の幅に応じた幅とする情報処理システムである。

【0010】

また、本発明は、情報処理装置のコンピュータを、荷物が載置される棚を撮影した第１画像から前記荷物の格納位置および格納領域を判定する判定部、前記荷物から取得した住所と、前記格納位置と、前記格納領域を関連付けた荷物情報に基づいて、前記荷物の住所を前記荷物ごとに表示する第２画像を前記棚に投影する投影制御部、として機能させ、前記荷物ごとに、前記第２画像の幅を前記格納領域の幅に応じた幅とするプログラムである。

【発明の効果】

【0011】

本発明によれば、荷物の仕分け作業の効率を向上させることができる。

【図面の簡単な説明】

【0012】

【図1】第１実施形態の支援システムの全体構成図である。

【図2】棚の側面図である。

【図3】荷物格納時における処理のフローチャートである。

【図4】格納判定の説明図である。

【図5】（ａ）が領域画像の投影の説明図であり、（ｂ）が格納領域の更新の説明図である。

【図6】格納領域統合の説明図であり、（ａ）が統合前、（ｂ）が統合後である。

【図7】格納領域統合における処理のフローチャートである。

【図8】細長い荷物を格納する場合の説明図である。

【図9】荷物仕分け時における処理のフローチャートである。

【図10】仕分け対象の住所を選択した場合の説明図である。

【図11】格納場所判定処理のフローチャートである。

【図12】手位置判定がＮＧである場合の説明図である。

【図13】手位置判定がＯＫである場合の説明図である。

【図14】第２実施形態の支援システムの全体構成図である。

【図15】ＡＲグラスにより、棚全体の形状を把握する説明図である。

【図16】第２実施形態による領域画像の表示の説明図である。

【発明を実施するための形態】

【0013】

各実施形態の支援システムは、荷物の配達準備に使用する仕分け用の棚に対し情報表示をしたり、荷物の格納場所の管理をしたりする。荷物は、例えば、郵便物であるが、これに限定されない。
なお、支援システムは、特許請求の範囲の「情報処理システム」の具体例である。
各実施形態の説明の際、棚の正面を「前」とし、上下左右後の方向は、図に示すとおりである。

【0014】

［第１実施形態］
＜構成＞
図１に示すように、第１実施形態の支援システム１００は、棚１に対して用意されている。支援システム１００は、２台のカメラ２と、読取装置３と、タブレット端末４と、プロジェクタ６と、処理装置８を備えている。カメラ２と、読取装置３と、タブレット端末４と、プロジェクタ６と、処理装置８は、有線または無線により通信可能に接続されている。

【0015】

棚１は、荷物２０を格納する仕分け用の棚である。図１、図２に示すように、棚１は、荷物２０が載置される複数枚の板１１と、板１１を所定の高さに保持する支柱１２と、カメラ２が取り付けられるアーム１３を備えている。
なお、荷物２０は、包装されており、宛先の住所が記載されている（宛先の住所が記載されたラベルが包装体に付されている）。宛先の住所は、例えば、バーコードで記載してもよいし、テキスト形式で記載してもよい。

【0016】

板１１の前面には、ラベル５が貼設されている。ラベル５は、棚１に格納される荷物２０の寸法および位置を特定する目印である。例えば、ラベル５の模様は、２種類以上の色を１ｃｍ（センチメートル）の間隔で交互に配列した模様とすることができるが、これに限定されない。

【0017】

カメラ２は、アーム１３の前端部に取り付けられており、レンズは棚１の前面に向けられている。よって、カメラ２は、棚１の前面全体を撮像できる。特に、カメラ２は、板１１の前面に貼設されているラベル５を撮影できる。
なお、カメラ２が撮像する画像は、特許請求の範囲の「第１画像」の具体例である。

【0018】

読取装置３は、作業員が使用する装置であり、荷物２０に記載されている宛先の住所を読み取る。読取装置３は、例えば、カメラやバーコードリーダとすることができるが、これらに限定されない。

【0019】

タブレット端末４は、作業員が使用する携帯端末であり、作業員が所定の情報を入力したり、作業員に所定の情報を表示したりする。例えば、作業員はタブレット端末４から住所を入力したり、荷物２０の格納時の操作や、荷物２０の仕分け時の操作をしたりできる。

【0020】

プロジェクタ６は、棚１の前面に所定の画像を投影する。なお、プロジェクタ６は、特許請求の範囲の「投影装置」の具体例である。
ミラー７は、プロジェクタ６の投影場所を調整する光反射体である。
図１、図２に示すように、例えば、プロジェクタ６は、棚１の最上段に、かつ、棚１の前方に配置されている。ミラー７は、プロジェクタ６の略上方に配置されている。プロジェクタ６がミラー７に所定の画像を投影すると、ミラー７の反射によって、所定の画像は、棚１の前面のうち、板１１の前面に投影される。所定の画像は、板１１の前面の領域のうち、板１１の前面に貼設されているラベル５の領域を除いた残りの領域に投影されていてもよい。また、所定の画像は、画像自体の視認性が良好であれば、ラベル５に重複するように投影されていてもよい。
なお、ミラー７を用いることなく、プロジェクタ６が、棚１の前面に所定の画像を直接投影してもよい。

【0021】

処理装置８は、カメラ２やプロジェクタ６を制御するとともに、タブレット端末４の情報表示を制御する。

【0022】

タブレット端末４と、処理装置８は、ＣＰＵ（Central Processing unit）と、メモリと、ハードディスクなどの記憶手段（記億部、記憶装置）と、ネットワークインタフェースとを有するコンピュータとして構成される。このコンピュータは、ＣＰＵが、メモリ上に読み込んだプログラムを実行することにより、各種機能が実現される。

【0023】

処理装置８は、判定部８１と、算出部８２と、投影制御部８３と、通知部８４を備えている。また、処理装置８は、荷物情報ＤＢ８５を記憶している。

【0024】

判定部８１は、カメラ２が撮影した画像に基づいて、作業員が棚１に荷物２０を格納したり、棚１から荷物２０を取り出したりするときの各種判定をする。

【0025】

算出部８２は、カメラ２が撮影した画像にあるラベル５に基づいて、棚１に格納される荷物２０の格納領域を算出する。格納領域は、板１１に載置される荷物の占有領域である。例えば、算出部８２は、格納領域の寸法を荷物２０の幅寸法（載置幅）と同じにできる。また、算出部８２は、複数の荷物２０に対して１つの格納領域を算出できる。また、算出部８２は、棚１に格納済みの荷物２０の格納領域も算出できる。また、ラベル５に用いられる色の間隔をより小さくすることで、算出部８２による、格納された荷物２０に対する格納領域の算出精度を向上できる。

【0026】

投影制御部８３は、プロジェクタ６の投影を制御し、棚１の前面に投影する画像を生成したり、表示したりする。

【0027】

通知部８４は、作業員に対して所定の通知をする。通知部８４は、例えば、作業員による荷物２０の格納や取り出しの誤りを注意喚起する通知をする。また、通知部８４は、例えば、作業領域に配置した報知手段（図示せず）により通知をしたり、タブレット端末４を介して通知をしたりできる。

【0028】

荷物情報ＤＢ８５は、棚１に格納されている荷物２０に関する情報を荷物情報として登録するデータベースである。荷物情報は、例えば、荷物２０に記載された宛先の住所（以下、「荷物住所」と呼ぶ場合がある）、棚１に格納されている荷物２０の格納位置、棚１に格納されている荷物２０の格納領域を含むことができるが、これらに限定されない。格納位置は、例えば、何段目の板１１のどの位置に載置されているかを示すことができる。
また、荷物情報ＤＢ８５は、荷物情報を荷物２０ごとに登録することができる。
投影制御部８３は、棚１の前面に投影する画像に荷物情報の宛先の住所を含めることができる。棚１の前面に投影される住所を「棚住所」と呼ぶ場合がある。

【0029】

＜処理＞
次に、処理装置８の処理について説明する。

【0030】

（荷物格納時）
作業員が荷物２０を棚１に格納する場合について説明する。

【0031】

図３に示すように、処理装置８は、格納しようとする荷物２０の荷物住所を取得する（ステップＡ１）。具体的には、作業員が、読取装置３を用いて、荷物２０に記載の住所を撮影する、または、荷物２０に記載のバーコードを読み取ることで、読取装置３が荷物住所を読み出し、処理装置８に送信する。また、作業員が、住所一覧を表示するタブレット端末４を用いて、所望の住所を選択し、選択した住所を荷物住所としてタブレット端末４が処理装置８に送信する。作業員は、荷物２０を棚１の所望の位置に格納しようとする。所望の位置は、空いている位置でもよいし、（重ね置きのため）すでに他の荷物２０が格納されている位置でもよい。カメラ２は、格納される荷物２０を撮影している。

【0032】

次に、処理装置８は、作業員による荷物格納のリアルタイム画像をカメラ２から取得する（ステップＡ２）。図４に示すように、作業員が荷物２０を格納する際、ラベル５の一部が荷物２０に隠れる。カメラ２は、部分的に隠れたラベル５を撮影できる。処理装置８は、部分的に隠れたラベル５の画像をカメラ２から取得できる。

【0033】

次に、処理装置８の判定部８１は、格納判定処理をする（ステップＡ３）。具体的には、判定部８１は、部分的に隠れたラベル５の画像から、荷物２０の格納位置を特定する。また、算出部８２は、部分的に隠れたラベル５の画像から荷物２０の幅寸法を算出できる。よって、判定部８１は、荷物２０に対して、算出された幅寸法と同じ寸法を持つ格納領域を特定する。

【0034】

次に、判定部８１は、特定した格納位置が登録済みであるか否か判定する（ステップＡ４）。具体的には、判定部８１は、荷物情報ＤＢ８５を参照して、特定した格納位置と同じ位置となる他の荷物２０が存在するか判定する。登録済みでない場合（ステップＡ４でＮｏ）、特定した格納位置は元々空いており、判定部８１は、格納対象の荷物２０に対して新規の格納領域を作成する（ステップＡ５）。このとき、作成された格納領域の寸法は、算出部８２が算出した寸法であり、格納対象の荷物２０の幅寸法と同じとすることができる。

【0035】

次に、判定部８１は、格納対象の荷物２０についての荷物情報を荷物情報ＤＢ８５に登録する（ステップＡ６）。荷物情報には、荷物２０の宛先の住所と、荷物２０の格納位置と、荷物２０の格納領域が含まれる。

【0036】

次に、処理装置８の投影制御部８３は、棚住所を含む領域画像を生成する（ステップＡ７）。具体的には、投影制御部８３は、棚１の前面に投影する領域画像を生成し、ステップＡ６で登録した荷物情報に含まれる宛先の住所を生成した領域画像に含める。
なお、領域画像は、特許請求の範囲の「第２画像」の具体例である。

【0037】

次に、投影制御部８３は、プロジェクタ６による投影表示処理を実行する（ステップＡ８）。具体的には、投影制御部８３はプロジェクタ６を制御し、棚１の前面のうち、格納対象の荷物２０の荷物情報に含まれる格納領域に領域画像を表示する。図５（ａ）に示すように、領域画像３０は、棚１の板１１の前面のうち、荷物２０の格納領域（荷物２０の幅寸法と同じ寸法）に表示される。これにより、図３の処理が終了する。

【0038】

一方、特定した格納位置が登録済みでない場合（ステップＡ４でＹｅｓ）、特定した格納位置に他の荷物２０が載置されており、荷物の重ね置きがなされようとしている。ここで、判定部８１は、格納対象の荷物２０の荷物住所と、載置済みの他の荷物２０の棚住所が一致するか否かを判定する（ステップＡ９）。載置済みの他の荷物２０の棚住所は、荷物情報ＤＢ８５に格納されている当該他の荷物の荷物情報に含まれる住所であり、プロジェクタ６によって載置済みの他の荷物２０の格納領域に表示される住所である。

【0039】

一致しない場合（ステップＡ９でＮｏ）、通知部８４は、エラー処理をする（ステップＡ１０）。具体的には、通知部８４は、ステップＡ４で判定した、特定した格納位置に格納対象の荷物２０の載置を禁止する注意喚起を通知する。その後、作業員が棚１の別の位置に荷物２０を格納すると、ステップＡ２に戻り、図３の処理を継続する。

【0040】

一方、一致する場合（ステップＡ９でＹｅｓ）、判定部８１は、格納対象の荷物２０が、載置済みの他の荷物２０の格納領域より大きいか否か判定する（ステップＡ１１）。載置済みの他の荷物２０の格納領域は、荷物情報ＤＢ８５に登録されている当該他の荷物の荷物情報から取得される。格納対象の荷物２０が大きい場合（ステップＡ１１でＹｅｓ）、判定部８１は、格納対象の荷物２０、および、載置済みの他の荷物２０に対し、格納領域を更新する（ステップＡ１２）。具体的には、載置済みの他の荷物２０の格納領域を拡大し、格納対象の荷物２０の幅寸法と同じにする。

【0041】

図５（ｂ）に示すように、載置済みの荷物２０に対し、より大きな格納対象の荷物２０を重ね置きする場合（下から２段目の板１１と下から３段目の板１１参照）、載置済みの荷物２０の格納領域の寸法を拡大し、格納対象の荷物２０の格納領域と同じにし、拡大した格納領域に対応する領域画像３０が投影される。
なお、重ね置きされる荷物２０はそれぞれ、特許請求の範囲の「第１荷物」、「第２荷物」の具体例である。
その後、ステップＡ６に戻り、判定部８１は、格納対象の荷物２０についての荷物情報を荷物情報ＤＢ８５に登録するとともに、載置済みの他の荷物２０について、拡大した格納領域を含む荷物情報を荷物情報ＤＢ８５に登録する。その後、図３の処理を継続する。

【0042】

一方、格納対象の荷物２０が大きくない場合（ステップＡ１１でＮｏ）、判定部８１は、載置済みの他の荷物２０に対して何も処理せず、ステップＡ６に戻り、格納対象の荷物２０についての荷物情報を荷物情報ＤＢ８５に登録する。その後、図３の処理を継続する。

【0043】

図５（ｂ）に示すように、載置済みの荷物２０に対し、より小さな格納対象の荷物２０を重ね置きする場合（最下段の板１１参照）、載置済みの荷物２０の格納領域の寸法を拡大することなく、元の格納領域に対応する領域画像３０が投影される。
図３の処理は、格納しようとする荷物２０ごとに実行される。

【0044】

（格納領域統合）
処理装置８は、同じ住所を持つ複数の荷物２０の格納領域が隣り合う場合、各々の格納領域を１つに統合できる。
図６（ａ）に示すように、棚１の最下段の板１１に載置されている２つの荷物２０の各々について格納領域が設定されており、当該格納領域に領域画像３０が投影されている。ここで、２つの荷物２０の間隔が十分に小さい場合、処理装置は、２つの格納領域を１つに統合する。その結果、図６（ｂ）に示すように、最下段の２つの荷物２０，２０に対し、１つの格納領域が設定され、当該格納領域に１つの領域画像３０が投影されるようになる。

【0045】

一方、棚１の下から１段目の板１１に載置されている２つの荷物２０については、間隔が十分に大きいため、格納領域の統合はされない。
格納領域統合により、棚１に格納される荷物２０群の荷物情報を簡素化できる。
なお、格納領域統合の対象の荷物２０はそれぞれ、特許請求の範囲の「第３荷物」、「第４荷物」の具体例である。

【0046】

新しい格納対象の荷物２０を棚１に格納するときの格納領域統合の処理について説明する。処理装置８は、格納対象の荷物２０の登録された荷物情報を参照して（図３のステップＡ６参照）、格納対象の荷物２０の格納位置を把握している。

【0047】

図７に示すように、処理装置８の判定部８１は、荷物情報ＤＢ８５を参照し、格納対象の荷物２０の格納領域と隣り合う格納領域を確認する（ステップＢ１）。「隣り合う格納領域」は、格納対象の荷物２０が載置される板１１に載置されている同じ段の荷物２０の格納領域をいう。なお、ステップＢ１の確認は、棚１の段ごとに可能である。

【0048】

次に、処理装置８の判定部８１は、格納対象の荷物２０の住所（荷物住所）と、隣り合う格納領域を持つ他の荷物２０の住所（棚住所）が同じか否か判定する（ステップＢ２）。同じでない場合（ステップＢ２でＮｏ）、格納領域統合はなされず、処理装置８の投影制御部８３は、格納対象の荷物２０について、ステップＡ８（図３）に倣い、新規の領域画像の投影表示処理をする（ステップＢ３）。その後、図７の処理が終了する。

【0049】

一方、住所が同じである場合（ステップＢ２でＹｅｓ）、判定部８１は、格納対象の荷物の格納領域と、隣り合う格納領域との間隔が所定値（十分に小さい値）以下であるか否か判定する（ステップＢ４）。所定値以下でない場合（ステップＢ４でＮｏ）、ステップＢ３に進み、新規の領域画像の投影表示処理がなされる。

【0050】

一方、所定値以下である場合（ステップＢ４でＹｅｓ）、判定部８１は、格納対象の荷物２０の格納領域と、隣り合う格納領域を統合する（ステップＢ５）。なお、統合した格納領域に対して、格納対象の荷物２０の荷物情報と、隣り合う格納領域を持つ他の荷物２０の荷物情報が更新される。

【0051】

次に、投影制御部８３は、統合した格納領域に対し、１つの領域画像３０の投影表示処理をする（ステップＢ６）。その後、図７の処理が終了する。

【0052】

（不安定な荷物を格納する場合）
例えば、荷物２０が細長い形状をしているため、棚１の板１１への載置が不安定である場合、当該荷物２０の格納領域が確定されず、荷物情報の信頼性が損なわれる問題がある。この場合、図８に示すように、棚１に取り付け可能な一対の仕切り板４０，４０を用意するとよい。

【0053】

仕切り板４０，４０は、棚１の１段の空間を部分的に区切ることができる。仕切り板４０，４０の間の部分空間に荷物２０を格納することで、当該荷物２０を仕切り板４０，４０に立て掛けることができ、棚１の板１１への載置が安定する。また、仕切り板４０，４０の前面には、マーク４１，４１が付されている。処理装置８は、カメラ２が撮影した画像においてマーク４１，４１を捉えることで、仕切り板４０，４０の位置を把握できる。図８に示すように、仕切り板４０，４０を棚１に取り付けたときにマーク４１，４１がラベル５に重なるようにすることが好ましい。これにより、マーク４１，４１による荷物２０に対する判定と、ラベル５による荷物２０に対する判定との整合をとり易くできる。

【0054】

処理装置８の判定部８１は、仕切り板４０，４０の位置を把握できるので、仕切り板４０，４０間の格納領域を認識できる。よって、判定部８１は、仕切り板４０，４０間に載置された荷物２０の格納領域を、仕切り板４０，４０間の格納領域とすることができる。当該荷物２０の荷物情報に含まれる格納領域は、仕切り板４０，４０間の格納領域とすることができる。仕切り板４０，４０間の荷物２０が安定に載置されるため、荷物２０の格納領域を確定でき、荷物情報の信頼性を確保できる。

【0055】

なお、仕切り板４０，４０は、移動可能であり、仕切り板４０，４０間の格納領域は、適宜変更できる。
また、図８に示すように、同じ住所の荷物２０であれば複数並べて仕切り板４０，４０間の格納領域に載置することができる。

【0056】

（荷物仕分け時）
作業員が仕分け作業により棚１から荷物２０を取り出す場合について説明する。

【0057】

図９に示すように、処理装置８は、仕分け対象の住所を取得する（ステップＣ１）。具体的には、作業員が、住所一覧を表示するタブレット端末４を用いて、所望の住所を選択し、選択した住所をタブレット端末４が処理装置８に送信する。

【0058】

処理装置８の投影制御部８３は、取得した住所の強調投影表示処理をする（ステップＣ２）。具体的には、投影制御部８３は、棚１に格納済みの荷物２０のうち、棚住所がステップＣ１で取得した住所と同じになる荷物２０の格納領域の棚１の前面に、取得した住所をプロジェクタ６に点灯表示させる。この点灯表示は、作業員に分かりやすくなるように適宜強調表示してもよい。

【0059】

例えば、図１０に示すように、作業員がタブレット端末４から「〇△１丁目」を選択したとする。この場合、プロジェクタ６は、棚住所が「〇△１丁目」である荷物２０の格納領域に「〇△１丁目」という記載をした領域画像３０を点灯表示できる。
また、作業員は、タブレット端末４から複数の住所を選択でき、プロジェクタ６は、棚１の前面に、選択された複数の住所を点灯表示できる。この後、作業員は点灯表示した住所の荷物２０の取り出しをする。

【0060】

次に、処理装置８は、作業員による荷物取り出しのリアルタイム画像をカメラ２から取得する（ステップＣ３）。作業員が点灯表示があった荷物２０を取り出す際、カメラ２は、当該荷物２０の格納領域に入った作業員の手を撮影できる。また、カメラ２は、手によって部分的に隠れたラベル５を撮影できる。

【0061】

次に、処理装置８の判定部８１は、取り出し位置判定処理をする（ステップＣ４）。具体的には、具体的には、判定部８１は、手で部分的に隠れたラベル５の画像から、荷物２０の取り出し位置が合っているか否かを判定する。

【0062】

取り出し位置が合っていない場合（ステップＣ５でＮｏ）、処理装置８の通知部８４は、エラー処理をする（ステップＣ６）。具体的には、通知部８４は、作業員が取り出す荷物２０を間違えている旨の注意喚起を通知する。その後、作業員が棚１に格納されている別の荷物２０を取り出そうとすると、ステップＣ２に戻り、図９の処理を継続する。

【0063】

一方、取り出し位置が合っている場合（ステップＣ５でＹｅｓ）、作業員が適切に該当の荷物２０を取り出したことになる。ここで、処理装置８は、荷物情報ＤＢ８５から、取り出された荷物２０の荷物情報を削除する（ステップＣ７）。カメラ２は、荷物２０取り出し後における棚１の空の状態を撮影できる。処理装置８の判定部８１は、撮影された画像から荷物２０の取り出し完了を判定し、荷物情報を削除する。
取り出し対象の荷物２０が複数ある場合、ステップＣ２～ステップＣ７を繰り返す。

【0064】

該当の荷物２０（住所の点灯表示された荷物２０）のすべてを作業員が取り出した後、処理装置８は、作業員からの仕分け終了操作を取得する（ステップＣ８）。具体的には、作業員がタブレット端末４から仕分け終了のボタンを選択すると、処理装置８が仕分け終了の信号を取得し、図９の処理を終了する。

【0065】

（格納場所判定）
作業員が荷物２０の格納や取り出しをする際、処理装置８は、棚１の特定の空間を格納場所とし、当該格納場所に対する作業員の手の出し入れを判定することができる。

【0066】

図１１に示すように、処理装置８は、例えば作業員によって指定された格納場所を取得する（ステップＤ１）。具体的には、タブレット端末４が表示する棚１の全体画像に対して、表示中の棚１の所望の箇所を作業員がタッチすることで格納場所を指定できる。指定された格納場所は、処理装置８に送信される。この後、作業員は、実際の棚１の所望の格納場所に手を入れる。

【0067】

次に、処理装置８は、作業員による手の差し込みのリアルタイム画像をカメラ２から取得する（ステップＤ２）。カメラ２は、差し込まれた手と、手によって部分的に隠れたラベル５を撮影できる。

【0068】

次に、処理装置８の判定部８１は、手位置判定処理をする（ステップＤ３）。具体的には、具体的には、判定部８１は、手で部分的に隠れたラベル５の画像から、手の差し込み位置が、指定された格納場所と一致するか否かを判定する。

【0069】

指定された格納場所と一致しない場合（ステップＤ４でＮｏ）、処理装置８の通知部８４は、エラー処理をする（ステップＤ５）。具体的には、通知部８４は、作業員が手の差し込み位置を間違えている旨の注意喚起（例えば、「格納場所が間違っています」というアナウンス）を通知する。その後、作業員が棚１の別の箇所に手を差し込もうとすると、ステップＤ２に戻り、図１１の処理を継続する。

【0070】

例えば、図１２に示すように、指定された格納場所にある住所Ａ（領域画像３０で表示されている棚住所）の荷物２０を作業員が取り出す場合、図１２（ａ）のように、住所Ｂ（領域画像３０で表示されている棚住所）の隣の荷物２０に手を近づけたり、図１２（ｂ）のように、指定された格納場所から大きく離れた場所に手を近づけたりする。この場合、指定された格納場所と一致しないとなり、通知部８４はエラー処理をする。

【0071】

一方、指定された格納場所と一致する場合（ステップＤ４でＹｅｓ）、作業員が指定の格納場所に荷物２０を格納したり、指定の格納場所から荷物２０を取り出したりしたことになる。

【0072】

例えば、図１３に示すように、指定された格納場所にある住所Ａ（領域画像３０で表示されている棚住所）の荷物２０を作業員が取り出す場合、図１２（ａ）のように、住所Ａの荷物２０に手を近づけたり、図１２（ｂ）のように、指定された格納場所から僅かに離れた場所に手を近づけたりする。この場合、指定された格納場所と一致したとなる。

【0073】

その後、処理装置８は、対象の荷物２０の荷物情報を荷物情報ＤＢ８５にて更新する（ステップＤ６）。具体的には、荷物２０を格納した場合、対象の荷物２０について、荷物住所と、格納領域と、算出部８２が算出した荷物の幅寸法を関連付けて登録する。また、荷物２０を取り出した場合、対象の荷物２０の荷物情報を荷物情報ＤＢから削除する。以上で、図１１の処理を終了する。

【0074】

第１実施形態によれば、処理装置８が荷物２０の格納位置および住所を関連付けた画像表示を作業員に表示できる。よって、仕分けの際、荷物２０の取り出しを支援でき、荷物の仕分け作業の効率を向上させることができる。
また、荷物２０の大きさによって格納領域を決めるため、荷物２０の大きさや量に依存しない仕分け作業を実現できる。
また、荷物２０の重ね置きに伴い格納領域を更新できるので、同じ住所の荷物２０の管理の効率を向上できる。
また、並んだ荷物２０の格納領域を統合することで、同じ住所の荷物２０の管理の効率を向上できる。
また、仕切り板４０を用意することで、棚1への載置に不安定な形状の荷物２０の格納を確実にでき、荷物２０の管理の効率を向上できる。
また、ラベル５を用いることで、棚１への荷物２０の格納判定を確実にできる。特に、空いている好きな場所に格納できるため、棚１の領域を有効活用でき、省スペース化を実現できる。
また、ラベル５を用いることで、棚１からの荷物２０の取り出し判定を確実にできる。
また、プロジェクタ６などの投影装置を用いることで、荷物２０の格納位置および住所を関連付けた画像表示を作業員に分かりやすく表示できる。

【0075】

［第２実施形態］
第２実施形態の説明の際、第１実施形態との相違点について主に説明し、重複する説明は省略する。
第２実施形態の支援システム２００では、投影装置として、プロジェクタ６およびミラー７に代えてＡＲ（Augmented Reality）グラス９を用いている。また、棚１の前面に複数のコード５１が貼設されている。

【0076】

ＡＲグラス９は、作業員が使用するウェアラブル端末であり、ＡＲグラス９を身に着けた作業員に所定の情報を表示できる。カメラ２と、読取装置３と、タブレット端末４と、処理装置８と、ＡＲグラス９（ＡＲグラス９が備える演算装置（図示せず））は、有線または無線により通信可能に接続されている。ＡＲグラス９は、カメラ９１と、プリズム９２と、レンズ９３を備えている。

【0077】

カメラ９１は、ＡＲグラス９の部分に取り付けられている。カメラ９１は、作業員の視界と同等の前景を撮像できる。
プリズム９２は、レンズ９３に所定の画像を表示するための導光手段である。
レンズ９３は、ＡＲグラス９の演算装置が出力する情報が、プリズム９２を介して投影される表示媒体である。表示する情報は、第１実施形態のプロジェクタ６が投影した画像と同等である。

【0078】

コード５１は、棚１の支柱１２の前面、かつ、ラベル５の各々の左右両隣に貼設されている。コード５１は、例えば、ＱＲコード（登録商標）とすることができるが、これに限定されない。コード５１の各々は、棚１上の貼設位置を記述した情報を含む。
処理装置８は、ＡＲグラス９およびカメラ９１を制御できる。ただし、ＡＲグラス９が十分な演算機能および制御機能を備えていた場合、処理装置８による当該制御を不要としてよい。

【0079】

図１５に示すように、カメラ９１は、コード５１を撮影し、コード５１の情報を読み込むことで、棚１の形状全体を把握できる。よって、ＡＲグラス９は、カメラ９１が撮影した画像を解析することで、棚１の各位置や各領域を把握できる。
また、処理装置８が荷物情報ＤＢ８５に登録されている荷物情報をＡＲグラス９に送信できる。その結果、図１６に示すように、作業員が棚１を見た場合、第１実施形態と同様にして、ＡＲグラス９は、棚１が映し出されているレンズ９３に棚住所および格納領域を示す領域画像３０を、棚１に格納されている荷物２０ごとに投影できる。
プロジェクタ６による投影をＡＲグラス９による投影に置き換えることで、第1実施形態で説明した各種処理は、第２実施形態においても実行可能である。

【0080】

第２実施形態によれば、第１実施形態と同様の効果が得られる。
また、ＡＲグラス９を用いることで、プロジェクタ６が不要となり、棚１にプロジェクタ６およびミラー７を設置する作業が不要となり、支援システム１００の規模を小型化できる。
また、ＡＲグラス９のカメラ９１を用いることで格納領域の把握の精度を向上できる。また、読取装置３による荷物２０の住所の読み取りを、カメラ９１が代わりに行うこともできる。

【0081】

＜変形例＞
（ａ）棚１に格納されている荷物２０ごとの領域画像３０の幅は、荷物２０の格納領域の幅と同じにする必要は無く、格納領域の幅よりも大きくてもよいし小さくてもよい。つまり、領域画像３０の幅は、荷物２０の格納領域の幅に応じた幅でよい。
（ｂ）ラベル５を用いる代わりに、処理装置８に、撮影した画像中の物体の寸法を測定するアプリケーションを導入してもよい。かかるアプリケーションにより、画像中の荷物２０の幅寸法を測定でき、格納領域を特定できる。
（ｃ）ソフトウェアで実現可能な手段をハードウェアで実現することができ、ハードウェアで実現可能な手段をソフトウェアで実現することができる。

【符号の説明】

【0082】

１００，２００ 支援システム
１ 棚
２ カメラ
３ 読取装置
４ タブレット端末４
５ ラベル
５１ コード
６ プロジェクタ
７ ミラー
８ 処理装置
８１ 判定部
８２ 算出部
８３ 投影制御部
８４ 通知部
８５ 荷物情報ＤＢ
９ ＡＲグラス
９１ カメラ
９２ プリズム
９３ レンズ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】