特開 2023-143182 荷物探索システム、荷物探索方法、情報処理装置およびその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023143182

(43)【公開日】2023-10-06

(54)【発明の名称】荷物探索システム、荷物探索方法、情報処理装置およびその制御方法

(51)【国際特許分類】

   G06V 10/22 20220101AFI20230928BHJP

   G01B 11/24 20060101ALI20230928BHJP

【ＦＩ】

G06V10/22

G01B11/24 K

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2022050420

(22)【出願日】2022-03-25

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】守山 隆昭

(72)【発明者】

【氏名】田中 広志

(72)【発明者】

【氏名】出良 隆明

(72)【発明者】

【氏名】山口 俊樹

(72)【発明者】

【氏名】加藤 慶太

【テーマコード（参考）】

2F065

【Ｆターム（参考）】

2F065AA04

2F065AA06

2F065AA09

2F065AA53

2F065BB15

2F065DD06

2F065FF05

2F065JJ03

2F065JJ05

2F065MM03

2F065MM26

2F065PP15

2F065QQ03

2F065QQ21

2F065QQ24

2F065QQ28

2F065QQ31

2F065UU05

(57)【要約】

【課題】荷物仕分けシステムにおいて、荷物の仕分けをより効率的かつ正確に行う。
【解決手段】荷物探索システムは、搬送されている荷物の連続する複数の画像を撮影する撮影部と、前記複数の画像それぞれを用いて荷物を検出する検出部と、を有し、前記検出部は、前記複数の画像のうちの第１の画像を用いて荷物を検出した後、当該第１の画像の後続の第２の画像を用いて荷物を検出する際に、前記第１の画像から検出した荷物の位置に基づいて前記第２の画像における当該荷物の探索範囲を設定し、前記第２の画像のうち、前記探索範囲から、前記荷物の検出を行う。
【選択図】図８

【特許請求の範囲】

【請求項1】

搬送されている荷物の連続する複数の画像を撮影する撮影部と、
前記複数の画像それぞれを用いて荷物を検出する検出部と、
を有し、
前記検出部は、前記複数の画像のうちの第１の画像を用いて荷物を検出した後、当該第１の画像の後続の第２の画像を用いて荷物を検出する際に、前記第１の画像から検出した荷物の位置に基づいて前記第２の画像における当該荷物の探索範囲を設定し、
前記第２の画像のうち、前記探索範囲から、前記荷物の検出を行う、
荷物探索システム。

【請求項2】

前記検出部は、前記第２の画像のうち、前記探索範囲を前記探索範囲の外よりも優先して、前記荷物の検出を行う、請求項１に記載の荷物探索システム。

【請求項3】

前記検出部は、前記第２の画像のうち、前記探索範囲内からのみ、前記荷物の検出を行う、請求項１に記載の荷物探索システム。

【請求項4】

前記荷物は搬送コンベアによって搬送され、
前記検出部は、前記搬送コンベアの搬送速度に基づいて前記第２の画像における荷物の探索範囲を設定する、請求項１に記載の荷物探索システム。

【請求項5】

前記荷物は、搬送コンベアによって搬送され、
前記検出部は、前記第２の画像における荷物の探索範囲を、前記搬送コンベアの搬送方向において最も長くなるように設定する、請求項１に記載の荷物探索システム。

【請求項6】

前記複数の画像は、前記搬送コンベアの搬送速度に応じて規定されるフレームレートに基づいて、前記撮影部にて撮影された画像の中から取得される、請求項４に記載の荷物探索システム。

【請求項7】

前記検出部は、前記第２の画像のうち、上流から前記荷物が搬送される方向に沿って所定の長さの範囲においては、前記範囲の全てを前記荷物の探索範囲として設定する、請求項１に記載の荷物探索システム。

【請求項8】

前記第２の画像における荷物の探索範囲の形状は、前記第１の画像から検出した当該荷物の形状に基づいて設定される、請求項１～７のいずれか一項に記載の荷物探索システム。

【請求項9】

前記第２の画像における荷物の探索範囲の形状は、前記第１の画像から検出した当該荷物の形状に基づいて設定される矩形形状である、請求項８に記載の荷物探索システム。

【請求項10】

前記撮影部は、高速度カメラである、請求項１～９のいずれか一項に記載の荷物探索システム。

【請求項11】

搬送されている荷物の連続する複数の画像を撮影部により撮影する撮影ステップと、
前記複数の画像それぞれを用いて荷物を検出する検出ステップと、
を有し、
前記検出ステップにおいて、前記複数の画像のうちの第１の画像を用いて荷物を検出した後、当該第１の画像の後続の第２の画像を用いて荷物を検出する際に、前記第１の画像から検出した荷物の位置に基づいて前記第２の画像における当該荷物の探索範囲を設定し、
前記第２の画像のうち、前記探索範囲から、前記荷物の検出が行われる、
荷物探索方法。

【請求項12】

プロセッサと、
メモリと、を備え、
前記プロセッサは、前記メモリと協働して、
搬送されている荷物の連続する複数の画像を取得し、
前記複数の画像それぞれを用いて荷物を検出し、
前記検出において、前記複数の画像のうちの第１の画像を用いて荷物を検出した後、当該第１の画像の後続の第２の画像を用いて荷物を検出する際に、前記第１の画像から検出した荷物の位置に基づいて前記第２の画像における当該荷物の探索範囲が設定され、
前記第２の画像のうち、前記探索範囲から、前記荷物の検出が行われる、
情報処理装置。

【請求項13】

プロセッサがメモリと協働して、
搬送されている荷物の連続する複数の画像を取得し、
前記複数の画像それぞれを用いて荷物を検出し、
前記検出において、前記複数の画像のうちの第１の画像を用いて荷物を検出した後、当該第１の画像の後続の第２の画像を用いて荷物を検出する際に、前記第１の画像から検出した荷物の位置に基づいて前記第２の画像における当該荷物の探索範囲が設定され、
前記第２の画像のうち、前記探索範囲から、前記荷物の検出が行われる、
情報処理装置の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、荷物探索システム、荷物探索方法、情報処理装置およびその制御方法に関する。

【背景技術】

【0002】

近年の経済活動の高まりに伴い、荷物の流通量は増大する一方である。荷物の流通工程において、荷物を行先別に仕分ける仕分け作業は時間のかかる工程であり、従前から人手による作業に頼っているが、仕分け作業の少なくとも一部を自動化する技術も提案されている。

【0003】

特許文献１は、搬送経路上を移動する荷物を追跡し、荷物から読み取った荷物に関する情報と当該荷物の位置の情報に基づき、表示する画像を決定し、プロジェクタから画像を荷物に投射して画像を荷物上に表示するシステムを開示している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】米国特許第７０９０１３４号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、昨今の荷物の流通量はますます増大するとともに、荷物の種類も様々なものとなっており、荷物をより効率的かつ正確に仕分ける技術が求められている。

【0006】

本開示は、上述した従来の事情を鑑みて案出され、荷物の仕分けをより効率的かつ正確に行うための技術に関する。特に、荷物探索システム、荷物探索方法、情報処理装置およびその制御方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示は、搬送されている荷物の連続する複数の画像を撮影する撮影部と、前記複数の画像それぞれを用いて荷物を検出する検出部と、を有し、前記検出部は、前記複数の画像のうちの第１の画像を用いて荷物を検出した後、当該第１の画像の後続の第２の画像を用いて荷物を検出する際に、前記第１の画像から検出した荷物の位置に基づいて前記第２の画像における当該荷物の探索範囲を設定し、前記第２の画像のうち、前記探索範囲から、前記荷物の検出を行う荷物探索システムを提供する。

【0008】

また、本開示は、搬送されている荷物の連続する複数の画像を撮影部により撮影する撮影ステップと、前記複数の画像それぞれを用いて荷物を検出する検出ステップと、を有し、前記検出ステップにおいて、前記複数の画像のうちの第１の画像を用いて荷物を検出した後、当該第１の画像の後続の第２の画像を用いて荷物を検出する際に、前記第１の画像から検出した荷物の位置に基づいて前記第２の画像における当該荷物の探索範囲を設定し、前記第２の画像のうち、前記探索範囲から、前記荷物の検出が行われる、荷物探索方法を提供する。

【0009】

また、本開示は、プロセッサと、メモリと、を備え、前記プロセッサは、前記メモリと協働して、搬送されている荷物の連続する複数の画像を取得し、前記複数の画像それぞれを用いて荷物を検出し、前記検出において、前記複数の画像のうちの第１の画像を用いて荷物を検出した後、当該第１の画像の後続の第２の画像を用いて荷物を検出する際に、前記第１の画像から検出した荷物の位置に基づいて前記第２の画像における当該荷物の探索範囲が設定され、前記第２の画像のうち、前記探索範囲から、前記荷物の検出が行われる、情報処理装置を提供する。

【0010】

また、本開示は、プロセッサがメモリと協働して、搬送されている荷物の連続する複数の画像を取得し、前記複数の画像それぞれを用いて荷物を検出し、前記検出において、前記複数の画像のうちの第１の画像を用いて荷物を検出した後、当該第１の画像の後続の第２の画像を用いて荷物を検出する際に、前記第１の画像から検出した荷物の位置に基づいて前記第２の画像における当該荷物の探索範囲が設定され、前記第２の画像のうち、前記探索範囲から、前記荷物の検出が行われる、情報処理装置の制御方法を提供する。

【0011】

なお、以上の構成要素の任意の組み合わせ、本開示の表現を方法、装置、システム、記憶媒体、コンピュータプログラムなどの間で変換したものもまた、本開示の態様として有効である。

【発明の効果】

【0012】

本開示によれば、荷物の仕分けをより効率的かつ正確に行うことが可能となる。

【図面の簡単な説明】

【0013】

【図1】実施の形態１に係る荷物仕分けシステムの構成例を示すブロック図

【図2】実施の形態１に係る情報処理装置の構成例を示すブロック図

【図3】実施の形態１に係る荷物の搬送を説明するための概略図

【図4】実施の形態１に係る荷物の検出及び投影を説明するための概略図

【図5】実施の形態１に係る荷物仕分けシステムの処理シーケンス

【図6】実施の形態１に係る荷物仕分けシステムの処理シーケンス

【図7】実施の形態１に係る搬送中の荷物の認識を説明するための概略図

【図8】実施の形態１に係る搬送中の荷物の検出範囲を説明するための概略図

【図9】実施の形態１に係る荷物情報の対応付けの処理のフローチャート

【発明を実施するための形態】

【0014】

以下、添付図面を適宜参照しながら、本開示に係る荷物探索システム、荷物探索方法、情報処理装置およびその制御方法を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明、あるいは、実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されない。

【0015】

＜実施の形態１＞
［システム構成］
図１は、実施の形態に係る荷物仕分けシステム１００の構成例を示すブロック図である。荷物仕分けシステム１００は、搬送コンベア（図１では不図示）により搬送されてくる複数の荷物を仕分ける作業者の作業を支援するシステムであり、荷物探索システムとしても動作する。荷物仕分けシステム１００は、例えば、小売業者、卸売り業者、インターネット流通業者などが所有する物流センターに設置される。仕分け対象の荷物は、一般的には略直方体の形状を有するものであるが、その外形やサイズは特に限定はされず、荷物の種類も特に限定されない。荷物を搬送する搬送コンベアは、例えば、ベルトコンベアまたはローラコンベアなどであってよい。また、荷物の搬送経路は、複数の搬送コンベアを組み合わせることで、搬送方向が変化したり、搬送経路の一部が分岐したりしていてもよい。

【0016】

荷物仕分けシステム１００は、仕分け管理サーバ１０１、連携サーバ１０２、ラベルリーダ１０３、仕分けクライアント１０４、プロジェクタ１０５、距離センサ１０６、および画像センサ１０７を含んで構成される。仕分けクライアント１０４、プロジェクタ１０５、距離センサ１０６、および画像センサ１０７を１つの組として、荷物を搬送する搬送コンベア上に設けられる複数の仕分け領域それぞれに対応付けて複数のクライアントシステム１１０が設けられる。したがって、仕分けクライアント１０４、プロジェクタ１０５、距離センサ１０６、および画像センサ１０７はそれぞれ、仕分け領域の数に応じて複数設置される。以下の説明において、個別に装置の説明を要する場合には添え字（ａ，ｂ，・・・）を付し、装置をまとめて説明する場合には添え字を省略して示す。

【0017】

仕分け管理サーバ１０１は、本実施の形態に係る荷物仕分けシステム１００の全体の制御を司る情報処理装置である。仕分け管理サーバ１０１は、ラベルリーダ１０３の検出結果を取得したり、連携サーバ１０２から各種荷物情報を取得したりする。また、仕分け管理サーバ１０１は、１または複数の仕分けクライアント１０４それぞれに対して、各種指示を行ったり、各種情報を収集したりする。更に、仕分け管理サーバ１０１は、後述する搬送コンベアの動作制御や、動作情報の収集および管理を行ってよい。

【0018】

連携サーバ１０２は、ラベル情報と、荷物情報とを対応付けて保持、管理している。そして、連携サーバ１０２は、仕分け管理サーバ１０１からの要求に応じて、ラベルリーダ１０３にて読み取ったラベル情報に対応する荷物情報を提供する。なお、図１の例では、仕分け管理サーバ１０１、および連携サーバ１０２はそれぞれ１台ずつ示しているが、機能の冗長化や負荷分散などの観点から複数の装置にて構成されてもよい。また、仕分け管理サーバ１０１側にて、ラベル情報と仕分けのパターンを対応付けて管理しておき、これに基づいて、後述する各荷物の仕分けに係る処理を行ってもよい。このような場合などには、連携サーバ１０２の構成を省略し、仕分け管理サーバ１０１は、取得したラベル情報のパターンに基づいて、後述する各荷物の仕分けに係る処理を行うような構成であってよい。

【0019】

ラベルリーダ１０３は、搬送コンベアにより搬送されている荷物に付されているラベルを読み取るための装置であり、レンズやイメージセンサなどの光学部品を含んで構成される。荷物に付されているラベルを読み取ることで、ラベルにて示される各種情報（以下、「ラベル情報」と称する）を取得する。ラベルの形式や方式は特に限定するものではなく、例えば、バーコードや二次元コード（ＱＲコード（登録商標）など）を利用することができる。本実施の形態では、ラベルとしてバーコードを例に挙げて説明する。また、ラベル情報は、例えば、荷物を一意に識別するための識別情報を含んでよい。この場合、識別情報を構成する文字種や桁数などは特に限定されない。

【0020】

ラベルリーダ１０３は、例えば、一般的な撮像カメラを使用し、撮像した画像からラベルの領域を画像認識によって抽出して各種情報を読み取ったり、ラベルに記載されている文字等をＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ／Ｒｅａｄｅｒ）によって認識したりしてもよい。ラベルリーダ１０３は、ラベルを読み取るための専用の装置であってもよいし、他の装置と一体となった構成であってもよい。また、ラベルリーダ１０３は、ラベルの三次元座標を検出するような構成であってもよい。また、荷物の多様なサイズなどに対応して複数のラベルリーダ１０３が備えられてもよいし、ラベルの様々な貼り付け位置に対応して多方向から荷物を撮影するような構成であってもよい。

【0021】

本実施の形態に係る荷物情報としては、例えば、荷物に個別に付与される荷物特定番号（例えば、荷物を一意に識別するための識別情報）、荷物の発送元の氏名、住所、電話番号、宛先（例えば、受取人）の氏名、住所、電話番号、荷物の種類、などが挙げられる。なお、これらの情報に限定するものではなく、荷物情報に含まれる項目は、必要に応じて増減してよい。本実施の形態において、仕分け管理サーバ１０１がラベルリーダ１０３からラベル情報を取得し、このラベル情報を用いて連携サーバ１０２に問い合わせを行うことで、対応する荷物情報を取得する。上述したように、連携サーバ１０２との連携を省略するような構成の場合には、仕分け管理サーバ１０１側で、ラベル情報と仕分けに関するパターンの情報とを対応付けて保持しておいてよい。

【0022】

仕分けクライアント１０４は、仕分け管理サーバ１０１からの指示に基づいて、搬送されている荷物に対する投影処理等を制御する情報処理装置である。また、仕分けクライアント１０４は、距離センサ１０６および画像センサ１０７による撮影結果を取得し、その撮影結果に基づいて荷物を検出、管理する。また、仕分けクライアント１０４は、検出した荷物の位置情報やサイズ情報、検出した時刻情報などを仕分け管理サーバ１０１に提供する。

【0023】

プロジェクタ１０５は、仕分けクライアント１０４の指示に基づいて、搬送経路上の荷物に対して所定の投影パターンを含む投影画像の照射を行う投影装置である。なお、本実施の形態において、「投影画像」とは、プロジェクタ１０５により仕分け領域全体に重畳して投影させる画像全体を示す。また、「投影パターン」とは、仕分け領域にて検出された荷物それぞれに対応して重畳して表示させる画像を示す。したがって、仕分け領域にて荷物が検出された場合、投影画像には、荷物に応じて１または複数の投影パターンが含まれることとなる。投影パターンの例については後述する。

【0024】

距離センサ１０６は、距離センサ１０６と撮像対象（例えば、荷物の表面）との距離情報を検出するためのセンサであり、検出結果を距離画像として取得する。距離画像は、距離を示す数値を列挙したテーブルなど、人の目で画像として認識できないものを含んでよい。すなわち、距離画像は、撮像した領域内における座標と距離との関係を示す情報であればよく、そのデータ構造を特に限定するものではない。距離センサ１０６としては、例えば、赤外線センサ（ＩＲセンサ）や、複数のカメラにて構成されるステレオカメラなどが用いられてよい。

【0025】

画像センサ１０７は、レンズ、イメージセンサ等の光学部品を含む撮像装置である。画像センサ１０７は、例えば、撮像カメラにて構成される。撮像カメラは、三次元カメラ、複数台の二次元カメラが用いられてよい。画像センサ１０７は、搬送コンベアにより搬送されてくる荷物を含む搬送コンベアを撮像し、色画像を生成する。ここでの色画像とは、撮影対象の表面の色を所定の階調で表現した画像を示す。階調にはＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）の２５６階調の他、グレースケールなどを含んでよい。

【0026】

クライアントシステム１１０の数は、搬送コンベアの長さや各センサの検出範囲などに応じて異なる。なお、仕分けクライアント１０４は１台構成とし、この１台の仕分けクライアント１０４にて、複数の仕分け領域に対応した複数のプロジェクタ１０５、複数の距離センサ１０６、および複数の画像センサ１０７を制御するような構成であってもよい。また、本実施の形態では、センサとして距離センサ１０６と画像センサ１０７を用いる例を示したが、これらが一体となったセンサが用いられてもよいし、いずれか一方のみが用いられるような構成であってもよい。また、他の種類のセンサが用いられてもよい。搬送コンベアの搬送形式は特に限定するものではなく、例えば、１列にて荷物を搬送するような構成であってもよいし、複数列にて荷物を搬送するような構成であってもよい。

【0027】

各装置は、有線／無線により通信可能に接続される。ここでの通信方式や接続方式は特に限定するものではなく、所定のネットワークケーブルを用いて接続されてもよいし、複数の方式を組み合わせて接続されてもよい。

【0028】

（情報処理装置）
図２は、本実施の形態に係る仕分け管理サーバ１０１や連携サーバ１０２、仕分けクライアント１０４として適用可能な情報処理装置のハードウェア構成の例を示す図である。ここでは各装置が同じ構成を有するものとして説明するが、各装置がそれぞれ異なる構成であってもよい。

【0029】

情報処理装置２００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、メモリ２０２、記憶装置２０３、入出力部２０４、通信部２０５、および外部Ｉ／Ｆ２０６を含んで構成される。ＣＰＵ２０１は、メモリ２０２や記憶装置２０３に格納された各種プログラムやデータを読み出して処理を実行することで、各種機能を実現する。なお、ＣＰＵ２０１は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のような他の演算回路であってもよいし、他の演算回路と併用されてもよい。メモリ２０２は、各種情報を記憶、保持するための記憶領域であり、例えば、不揮発性の記憶領域であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）や、揮発性の記憶領域であるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などから構成される。記憶装置２０３は、各種情報を記憶、保持するための記憶領域であり、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などから構成される。

【0030】

入出力部２０４は、例えば、不図示のマウスやキーボードからユーザによる指示を受け付けたり、不図示のディスプレイなどにより各種情報を出力したりする。通信部２０５は、有線／無線などのネットワークを介して外部装置との通信を行い、各種データや信号の送受信を行う。通信部２０５による通信方式は、特に限定するものではなく、複数の通信方式に対応していてよい。例えば、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、電力線通信、近距離無線通信（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標））などが用いられてよい。外部Ｉ／Ｆ２０６は、外部装置とのデータの送受信を行うためのインタフェースである。情報処理装置２００が備える各部位は、不図示の内部バスなどにより通信可能に接続される。

【0031】

［搬送例］
図３は、本実施の形態に係る荷物の搬送を説明するための概略図である。搬送対象の荷物３００にはそれぞれラベル３０１が付される。ラベル３０１は、搬送経路の任意の位置に設置されたラベルリーダ１０３によって、搬送中に読み取られる。なお、図３の例では、ラベル３０１は、荷物３００の上面に付され、上側からラベルリーダ１０３により読み取られる構成としたが、これに限定するものではない。例えば、荷物３００の側面にラベル３０１が付され、これに対応してラベルリーダ１０３が側方から読み取り可能な構成であってもよい。

【0032】

荷物３００は、搬送コンベア３０２により任意の速度にて搬送される。搬送コンベア３０２には、ロータリーエンコーダ３０３が設置され、その搬送距離を適時検出し、仕分け管理サーバ１０１に提供される。ロータリーエンコーダ３０３は、搬送コンベア３０２の搬送に伴って回転する回転機構（不図示）に取り付けられており、その回転機構の回転数を出力する。この回転機構は、搬送コンベア３０２がベルトコンベアの場合は、ベルトに接しているローラまたはベルトを移動させるモータである。また、搬送コンベア３０２がローラコンベアの場合は、搬送コンベア３０２を構成するローラである。ここでは、矢印にて示す方向に沿って、荷物が搬送されているものとする。搬送コンベア３０２は、ユーザからの指定に応じてその搬送速度が変化したり、搬送を停止したりする。必要に応じて、逆方向への搬送が行われてもよい。また、搬送コンベア３０２の搬送速度は、搬送コンベア３０２の各機構の物理的な特性など、ユーザからの指定以外の要因でも変化したりする。しかし、ロータリーエンコーダ３０３は、回転機構の回転数を正確に検知するため、搬送速度の変化等の影響を受けにくい。搬送コンベア３０２による搬送は、例えば、仕分け管理サーバ１０１により制御されてもよいし、別途設けられる制御装置（不図示）にて制御されてもよい。

【0033】

ラベルリーダ１０３よりも搬送方向の下流側には、複数の仕分け領域に対応して、各種センサ（本例では、距離センサ１０６および画像センサ１０７）と、プロジェクタ１０５が複数設置される。図３では、複数の仕分け領域のうちの最上流の仕分け領域Ａを示している。仕分け領域Ａに対応する各種センサは、仕分け領域Ａを撮影することにより各種画像を取得し、これらの画像を用いて、仕分けクライアント１０４ａにより搬送中の荷物が検出される。具体的には、仕分け領域Ａの開始位置３０５ａに荷物３００が到達すると、荷物３００は、各種センサの撮影範囲に進入することとなる。距離センサ１０６ａおよび画像センサ１０７ａの撮影範囲３０４は、少なくとも仕分け領域Ａの範囲を含む。また、仕分け領域Ａの範囲内において、仕分け管理サーバ１０１や仕分けクライアント１０４の指示に基づいて、プロジェクタ１０５ａが所定の投影画像を投影する。プロジェクタ１０５ａによる投影範囲３０６は、少なくとも仕分け領域Ａを含む。なお、ラベルリーダ１０３の読み取り位置から、開始位置３０５ａまでの距離は、後述する処理シーケンスの処理速度や、各種センサの読み取り速度などに応じて規定されてよい。

【0034】

搬送コンベア３０２の周囲には、荷物３００に対する作業を行う作業者Ｍが位置し、必要に応じて、各種作業を実施する。このとき、作業者Ｍは、プロジェクタ１０５により投影された投影画像（投影パターン等）に基づいて作業を実施することが可能である。

【0035】

図４は、複数のクライアントシステム１１０それぞれに対応した複数の仕分け領域を説明するための図である。ここでは、２つの仕分け領域Ａ、Ｂを例に挙げ、それぞれ、クライアントシステム１１０ａ、１１０ｂにより監視されているものとして説明する。仕分け領域の数やその範囲（例えば、搬送方向の長さや幅）はクライアントシステム１１０の機能に応じて規定されてよい。したがって、仕分け領域Ｂよりも更に搬送方向下流において、更に１または複数の仕分け領域が設けられてよい。

【0036】

仕分け領域Ａは、距離センサ１０６ａおよび画像センサ１０７ａにより撮影され、その画像が仕分けクライアント１０４ａに提供される。また、仕分け領域Ａにおいて、プロジェクタ１０５ａにより、任意の投影パターンを含む投影画像が投影される。同様に、仕分け領域Ａの搬送方向下流側に隣接する仕分け領域Ｂは、距離センサ１０６ｂおよび画像センサ１０７ｂにより撮影され、その画像が仕分けクライアント１０４ｂに提供される。また、仕分け領域Ｂにおいて、プロジェクタ１０５ｂにより、任意の投影パターンを含む投影画像が投影される。仕分け領域Ｂでは、仕分け領域Ａから搬送されてきた荷物の監視を引き継ぐ形で監視が行われる。このとき、図４に示すように、クライアントシステム１１０それぞれによる仕分け領域は、一部の領域が重複しており、以下、この領域を「ハンドオーバ領域」とも称する。開始位置３０５ｂは、仕分け領域Ｂの監視の開始位置を示し、仕分け領域Ｂの上流側に隣接する仕分け領域Ａの監視の終了位置（不図示）とは異なる。ハンドオーバ領域の詳細については後述する。

【0037】

［処理シーケンス］
図５、図６を用いて、本実施の形態に係る荷物仕分けシステム１００の処理シーケンスについて説明する。各装置の処理は、各処理の処理主体（ＣＰＵ等）により各種機能に対応したプログラムが実行されることで実現されてよい。図５や図６に示す処理が開始される際に搬送コンベア３０２の動作が開始され、それにより荷物が順次搬送されるものとする。なお、以下に示す処理シーケンスにおける各処理の主体は一例であり、その一部が他の装置によって実行されてもよい。例えば、以下に示す仕分け管理サーバ１０１の処理の一部を、仕分けクライアント１０４が実行するような構成であってもよい。または、図１に示した各サーバや仕分けクライアントを１の装置にて構成し、この１の装置にて以下の処理シーケンスを実行させてもよい。

【0038】

ラベルリーダ１０３は、搬送コンベア３０２にて搬送されている荷物に付与されているラベルを検出し、そのラベル情報を読み取る（ステップＳ５０１）。

【0039】

ラベルリーダ１０３は、Ｓ５０１にて読み取ったラベル情報を仕分け管理サーバ１０１へ送信する（ステップＳ５０２）。この時送信する情報としては、ラベルにて示される情報の他、読み取った時刻やラベルを読み取る際に検出した位置情報（例えば、三次元情報など）が含まれてもよい。

【0040】

仕分け管理サーバ１０１は、ラベルリーダ１０３から送信されてきたラベル情報を取得する（ステップＳ５０３）。このとき、仕分け管理サーバ１０１は、搬送コンベア３０２に備えられたロータリーエンコーダ３０３から、検出値を取得して、対応付けて保持する。ロータリーエンコーダ３０３による検出値は、その回転数に基づく、搬送コンベア３０２の移動距離に相当する。更に、仕分け管理サーバ１０１は、取得したラベル情報を用いて、連携サーバ１０２に対して荷物情報を問い合わせる。

【0041】

連携サーバ１０２は、仕分け管理サーバ１０１からの問い合わせにて示されるラベル情報に対応する荷物情報を所定のＤＢ（データベース）から検索し、特定する（ステップＳ５０４）。ＤＢは、連携サーバ１０２が内部に備えていてもよいし、ネットワークを介して連携サーバ１０２に接続された外部装置（不図示）に構成されていてもよい。

【0042】

連携サーバ１０２は、ステップＳ５０４にて特定した荷物情報を、問い合わせに対する応答として仕分け管理サーバ１０１へ送信する（ステップＳ５０５）。

【0043】

仕分け管理サーバ１０１は、連携サーバ１０２から取得した荷物情報に基づき、投影パターンを決定する（ステップＳ５０６）。本実施の形態に係る投影パターンは、複数のパターンとして予め規定され、保持されている。投影パターンは、例えば、荷物情報にて示される宛先（例えば、送付先住所）に応じて決定されてよいし、仕分け領域に応じて決定されてもよい。

【0044】

仕分け管理サーバ１０１は、ステップＳ５０６にて決定した投影パターンを含む投影指示を仕分けクライアント１０４へ送信する（ステップＳ５０７）。ここでは、図３にて示したように、搬送経路の最上流に位置する仕分け領域Ａに対応するクライアントシステム１１０ａの仕分けクライアント１０４ａに送信するものとして説明する。つまり、各荷物は、まず、仕分け領域Ａに向けて搬送される。なお、投影指示には、投影パターンのほか、ステップＳ５０６にて取得した荷物情報や、ステップＳ５０１にてラベルリーダ１０３にて読み取ったラベル情報およびその読み取った際の時刻の情報などを含んでよい。ここでの投影指示は、仕分けクライアント１０４ａがセンサ類にて荷物を検出したことに起因して、その荷物に関する情報を問い合わせ、それに応じて仕分け管理サーバ１０１から仕分けクライアント１０４ａに送信されてよい。または、仕分け管理サーバ１０１がラベルリーダ１０３からラベル情報を受信したことに起因して、仕分けクライアント１０４ａに送信されてよい。

【0045】

ステップＳ５２０（ステップＳ５０８～ステップＳ５１５）は、仕分け領域（ここでは、仕分け領域Ａ）内を搬送されている各荷物を監視するためにクライアントシステム１１０（ここでは、クライアントシステム１１０ａ）により繰り返し行われる処理である。ここでは、便宜上、距離センサ１０６および画像センサ１０７（ここでは、距離センサ１０６ａおよび画像センサ１０７ａ）をまとめて「センサ類」と記載する。

【0046】

センサ類は、仕分け領域Ａ内を撮影し、その画像を取得する（ステップＳ５０８）。なお、本実施の形態では、仕分けクライアント１０４ａが、センサ類にて撮影された画像を用いて荷物の検出を行うものとして説明するが、その処理の一部をセンサ類側で実施するような構成であってもよい。例えば、センサ類は、荷物に対応する領域の特定（荷物の有無）や、各荷物の三次元座標（位置）やサイズ（縦、横、高さ）などを検出するような構成であってもよい。

【0047】

センサ類は、取得結果を仕分けクライアント１０４ａに送信する（ステップＳ５０９）。このとき、センサ類は、取得した画像に対して所定の処理を行った上で、仕分けクライアント１０４ａに送信してよい。例えば、画像センサ１０７ａの場合、取得した画像情報に対して任意の画像処理（例えば、画像圧縮や補正処理）が行われてよい。

【0048】

仕分けクライアント１０４ａは、ステップＳ５０９にてセンサ類から送信された取得結果に基づいて、荷物の検出処理を行う（ステップＳ５１０）。具体的には、仕分けクライアント１０４ａは、仕分け領域Ａ内において、搬送コンベア３０２により搬送されている１または複数の荷物を、センサ類からの取得結果に基づいて特定する。荷物の検出の際の処理は公知の方法を用いてよく、特に限定するものではない。例えば、機械学習による領域分割にて荷物に対応する領域を検出してもよい。または、予め規定されたパターンを用いて、パターンマッチングにより荷物を検出してもよい。

【0049】

仕分けクライアント１０４ａは、ステップＳ５０７にて仕分け管理サーバ１０１から送信された投影指示と、ステップＳ５１０の検出結果とに基づいて、各情報の対応付けを行う（ステップＳ５１１）。これにより、検出した１または複数の荷物それぞれと、仕分け管理サーバ１０１から送信された投影指示にて示される各種情報（投影パターン等）が対応付けられる。

【0050】

投影パターンは、例えば、荷物の配送先住所に対応した仕分け場所を示す色を有し、円い枠で囲んだ数字の画像である。ここで、数字は、例えば、仕分けられた荷物を運ぶトラックの番号（トラック自体の番号や駐車場番号など）や、当該トラックなどに搬入されるべき棚や箱などの番号等に対応する。また、数字の画像は、直接的に棚や箱などの番号に対応させるのではなく、ピックアップした荷物を他の場所またはトラック等へ移動させるシューター（不図示）の番号等に対応していてもよい。トラック等の駐車位置は交通状況などに応じて頻繁に変わるため、搬送コンベア３０２周辺から見た仕分け先を随時対応させることは難しいことがある。そのため、搬送コンベア３０２と搬送トラック等との間にシューターを挟み、搬送コンベア３０２周辺ではシューターの番号を投影することで、搬送コンベア３０２周辺の構成を随時変えなくとも、シューターの出口の配置換えなどで仕分け先の変化に対応することができる。この場合、状況の変化に応じて、投影パターンの内容が切り替えられてもよい。

【0051】

投影パターンとして、数字を表示する他の例としては、配送先住所に対応した郵便番号や、荷物Ｐをピックアップすべき作業者の番号などであってもよい。また、数字以外の情報を表示する例としては、仕分け方向を示す矢印（搬送コンベア３０２の搬送方向に対して右または左など）または文字（「左」、「右」など）であってもよい。更に、表示の形態も円い枠で囲んだ数字に限られるものではなく、四角い枠で囲んだ数字（“３”、“３５９”、“２４７３５”）など様々な構成であってよい。さらに、投影パターンは、枠によって数字または文字を囲むものに限らず、背景を塗りつぶした白抜きの数字または文字であってもよい。また、表示する情報に応じて、丸、三角、四角など表示する数字または文字の形状を切り替えるなどとしてもよい。他にも、表示する情報ごとに個別に対応付けできるような絵を表示するなどとしてもよい。

【0052】

また、投影パターンは静止画像に限らず、アニメーションであってもよい。アニメーションの例としては、上記の各例を点滅させたり、拡大縮小させたり、色を変化させたりしてもよい。また、仕分け方向を反映したアニメーションを投影してもよい。仕分け方向を反映したアニメーションの例としては、仕分け方向に向かって光線または光点等を移動させたり、仕分け方向に向かって投影パターンの全体または一部を形成したり色を変化させたり、仕分け方向に矢印を動かして表示させたりするなどが挙げられる。投影パターンの一部のみをアニメーションの対象とする場合は、数字や矢印などの作業者による仕分け先の判断への影響が大きい部分は変化させず、枠線などの仕分け先の影響の少ない部分を変化させてもよい。ただし、仕分け先の選択肢が少ない場合など、枠線内に投影される数字等の意味よりも仕分け方向を直感的に伝える方が効率的な状況では、固定された枠線内で数字や矢印などを仕分け方向に動かしてもよい。また、アニメーションは繰り返し投影されてもよいし、一度だけ投影されてもよい。

【0053】

また、投影パターンは、仕分け先を示すものには限られず、荷物仕分けシステム１００で発生しているエラーや、作業者が荷物を見過ごしてしまった場合の通知等であってもよい。

【0054】

また、投影パターンを荷物に直接投影するのではなく、画像を表示可能な眼鏡を介して、擬似的に、荷物に投影パターンが投影されているかのように作業者に認識させてもよい。つまり、作業者が画像を表示可能な特殊な眼鏡を装着している場合、眼鏡を介して視認される荷物の像に、ここでの投影パターンを重ねあわせてもよい。

【0055】

また、投影パターンは、荷物以外の場所に投影してもよい。例えば、搬送コンベア３０２の、荷物が存在していない領域に、作業者への一般的な通知内容を投影してもよい。このような通知の例としては、荷物の到着量の増減の予告や、作業の残り時間、作業者への挨拶等が挙げられる。

【0056】

仕分けクライアント１０４ａは、ステップＳ５１０にて検出した１または複数の荷物に対する三次元空間における処理を行う（ステップＳ５１２）。ここでの三次元空間における処理では、搬送経路上における三次元座標系にて、各荷物を三次元形状にて表現するように処理する。なお、センサ類の数や配置によっては、センサ類の死角に位置する面の情報は得られないことがある。この場合、各荷物の三次元形状を一般的な荷物の形状（例えば、直方体形状等）に合致するよう補完してもよい。また、荷物を構成する面のうち、投影画像が投影されるべき面の三次元形状が認識できていれば、指示を投影することができるため、投影対象となる面のみ、または、投影対象となる面を含む面の集合を荷物の三次元形状として表現してもよい。本実施の形態では、投影対象となる面は荷物の上面であるものとするが、側面等であっても構わない。本実施の形態のセンサ類は、最低限、荷物の上面の情報が得られるよう上方に配置されているが、投影対象の面が側面等の場合は、その面に合わせた位置から荷物を撮影する。

【0057】

搬送経路上の三次元座標系については、クライアントシステム１１０ａ内において原点及び各座標軸が予め規定されているものとする。また、ラベルリーダ１０３、および複数のクライアントシステム１１０それぞれにおける三次元座標系についても、その対応関係が予め対応付けられ、適時調整されているものとする。ここでの複数の三次元座標系は、荷物仕分けシステム１００全体で絶対座標系を共有し、その絶対座標系にて対応付けられてもよい。また、複数の三次元座標系は、相対座標系にて対応付けられてもよい。相対座標系を使用する場合は、例えば、荷物仕分けシステム１００の上流に位置するクライアントシステム１１０を基準とし、他のクライアントシステム１１０が使用する座標系を、基準となるクライアントシステム１１０との相対的な座標系で定義してもよい。なお、相対座標系の基準となる座標系は、荷物仕分けシステム１００内の任意の座標系を使用してよい。例えば、他のクライアントシステムや、センサ群の利用している座標系など、他の座標系であってもよい。なお、本工程の処理は、搬送される荷物の形状やプロジェクタ１０５の構成などにより高さ方向の調整が不要である場合には、二次元空間、すなわち、平面空間での処理が行われてもよい。

【0058】

仕分けクライアント１０４ａは、ステップＳ５１２にて処理された三次元形状の１または複数の荷物それぞれに対応付けられた投影パターンを含む投影画像を描画する（ステップＳ５１３）。具体的には、仕分けクライアント１０４ａは、個別の荷物に対する投影パターンの投影位置などを算出し、仕分け領域Ａ全体に対する投影画像を決定する。この投影画像は、一例として、個別の荷物に対応する領域に各荷物向けの投影パターンが含まれ、荷物が存在しない領域には黒色の画像が含まれるような画像である。このような投影画像を用いることで、プロジェクタの数を抑えつつ、多数の荷物に対する投影を同時に行うことができる。なお、一般的なプロジェクタでは、投影対象となる面とプロジェクタとの間の距離が近いほど画像は小さく、遠いほど画像は大きく投影される。そのため、ステップＳ５１２にて描画される投影画像における各荷物向けの投影パターンの大きさは、各荷物とプロジェクタとの間の距離が近いほど大きくなるよう調整されてもよい。

【0059】

仕分けクライアント１０４ａは、ステップＳ５１３にて決定した投影画像に従って、プロジェクタ１０５ａに投影指示を行う（ステップＳ５１４）。

【0060】

プロジェクタ１０５ａは、ステップＳ５１４の仕分けクライアント１０４ａからの投影指示に基づいて、仕分け領域Ａに対し投影画像の投影を行う（ステップＳ５１５）。各荷物は継続的に搬送コンベア３０２により搬送されているため、搬送が継続される間、ステップＳ５２０に示す処理が継続して実行されてよい。

【0061】

（荷物のハンドオーバ処理）
図５では、ラベルリーダ１０３の読み取り位置よりも搬送方向下流側における最初の（最上流の）仕分け領域Ａに着目して処理を説明した。上述したように、搬送コンベア３０２による搬送経路上においては、複数の仕分け領域が設けられ、その仕分け領域間において各荷物の監視を各クライアントシステム１１０間で引継ぎ（以下、「ハンドオーバ」とも称する）を行う。

【0062】

図６を用いて、ハンドオーバ処理に関する処理シーケンスを説明する。ここでは、搬送経路上において、仕分け領域Ａに対応するクライアントシステム１１０ａと、仕分け領域Ａよりも搬送方向下流側に隣接する仕分け領域Ｂに対応するクライアントシステム１１０ｂとの間のハンドオーバ処理を例に挙げて説明する。搬送経路の長さなどに応じて、仕分け領域の数は変動し得るため、ハンドオーバ処理は隣接する仕分け領域に対応するクライアントシステム１１０間にて適時行われる。なお、クライアントシステム１１０ａについては、図５にて説明した処理シーケンスを同時並行的に行っているものとする。

【0063】

ステップＳ６２０（ステップＳ６０１～ステップＳ６０３）は、仕分け領域Ａ内を搬送されている各荷物を監視するためにクライアントシステム１１０ａにより繰り返し行われる処理である。ここでは、便宜上、距離センサ１０６ａおよび画像センサ１０７ａをまとめてセンサ類Ａと記載する。

【0064】

センサ類Ａは、仕分け領域Ａ内を撮影し、その画像を取得する（ステップＳ６０１）。ここでは、図５にて示したように、仕分けクライアント１０４ａ側で、センサ類Ａにて撮影された各種画像を用いて荷物の検出を行うものとして説明する。仕分け領域Ａに複数の荷物が搬送されている場合には、それぞれの荷物が検出される。クライアントシステム１１０ａの場合、本処理は、図５のステップＳ５０８に対応する。

【0065】

センサ類Ａは、取得結果を仕分けクライアント１０４ａに送信する（ステップＳ６０２）。このとき、センサ類Ａは、取得した画像に対して所定の処理を行った上で、仕分けクライアント１０４ａに送信してよい。クライアントシステム１１０ａの場合、本処理は、図５のステップＳ５０９に対応する。

【0066】

仕分けクライアント１０４ａは、ステップＳ６０２にてセンサ類Ａから送信されてきた取得結果に基づいて、荷物の検出を行う（ステップＳ６０３）。更に、仕分けクライアント１０４ａは、検出した荷物の搬送情報を仕分け管理サーバ１０１へ送信する（ステップＳ６０３）。具体的には、図５の処理シーケンスにてすでに行われている三次元空間内における処理の結果などに応じて、追跡していた荷物のうち、下流側の仕分け領域（ここでは、仕分け領域Ｂ）との境界に近づいている荷物を特定し、その荷物に関する情報を搬送情報として送信してよい。荷物の検出の際の処理は公知の方法を用いてよく、特に限定するものではない。例えば、機械学習による領域分割にて荷物に対応する領域を検出してもよい。または、予め規定されたパターンを用いて、パターンマッチングにより荷物を検出してもよい。

【0067】

ステップＳ６３０（ステップＳ６０４～ステップＳ６０６、ステップＳ６１０～ステップＳ６１４）は、仕分け領域Ｂ内を搬送されている各荷物を監視するためにクライアントシステム１１０ｂにより繰り返し行われる処理である。ここでは、便宜上、距離センサ１０６ｂおよび画像センサ１０７ｂをまとめてセンサ類Ｂと記載する。

【0068】

センサ類Ｂは、仕分け領域Ｂ内を撮影し、その画像を取得する（ステップＳ６０４）。ここでは、仕分け領域Ａと同様、仕分けクライアント１０４ｂ側で、センサ類Ｂにて撮影された各種画像を用いて荷物の検出を行うものとして説明する。仕分け領域Ｂに複数の荷物が搬送されている場合には、それぞれの荷物が検出される。

【0069】

センサ類Ｂは、取得結果を仕分けクライアント１０４ｂに送信する（ステップＳ６０５）。このとき、センサ類Ｂは、取得した情報に対して所定の処理を行った上で、仕分けクライアント１０４ｂに送信してよい。

【0070】

仕分けクライアント１０４ｂは、ステップＳ６０５にてセンサ類Ｂから送信されてきた取得結果に基づいて、荷物の検出を行う（ステップＳ６０６）。更に、仕分けクライアント１０４ｂは、検出した荷物の搬送情報を仕分け管理サーバ１０１へ送信する。例えば、検出した荷物のうち、上流側の仕分け領域（ここでは、仕分け領域Ａ）との境界に位置する荷物（すなわち、新たに搬送されてきた荷物）を特定し、その荷物に関する情報（位置やサイズなど）を搬送情報として送信してよい。

【0071】

仕分け管理サーバ１０１は、ステップＳ６０３にて仕分けクライアント１０４ａから送信されてきた搬送情報と、ステップＳ６０６にて仕分けクライアント１０４ｂから送信されてきた搬送情報とに基づいて、仕分け領域間（ここでは、仕分け領域Ａと仕分け領域Ｂの間）にてハンドオーバがなされる荷物を特定する（ステップＳ６０７）。つまり、ある荷物が搬送されることに伴ってその荷物の監視主体がクライアントシステム１１０ａからクライアントシステム１１０ｂへとハンドオーバするために、各クライアントシステム１１０にて検出した仕分け領域間の境界に位置する荷物を、同一の荷物であるとして対応付ける。例えば、仕分け管理サーバ１０１は、仕分け領域を跨いだ荷物が、管理している荷物情報のうちのいずれに対応するかを特定することで対応付けてよい。

【0072】

仕分け管理サーバ１０１は、ステップＳ６０７の対応付けと、上流側の仕分け領域（ここでは、仕分け領域Ａ）にて用いていた荷物情報とに基づいて、下流の仕分け領域（ここでは、仕分け領域Ｂ）における投影パターンを決定する（ステップＳ６０８）。本実施の形態に係る投影パターンは、複数のパターンとして予め規定され、保持されている。なお、投影パターンは、上流の仕分け領域（ここでは、仕分け領域Ａ）と同じであってもよいし、同じ荷物であっても搬送中の仕分け領域に応じて切り替えるような構成であってもよい。

【0073】

仕分け管理サーバ１０１は、ステップＳ６０８にて決定した投影パターンを含む投影指示を仕分けクライアント１０４へ送信する（ステップＳ６０９）。ここでは、荷物の監視がハンドオーバされるクライアントシステム１１０ｂの仕分けクライアント１０４ｂに投影指示が送信される。なお、投影指示には、投影パターンのほか、対応する荷物の荷物情報などを含んでよい。

【0074】

仕分けクライアント１０４ｂは、ステップＳ６０９にて仕分け管理サーバ１０１から送信された投影指示と、ステップＳ６０６の検出結果とに基づいて、各情報の対応付けを行う（ステップＳ６１０）。具体的には、仕分けクライアント１０４ｂは、仕分け領域Ｂ内において、搬送コンベア３０２により搬送されている１または複数の荷物を、センサ類Ｂの検出結果に基づいて特定する。更に、仕分けクライアント１０４ｂは、特定した１または複数の荷物それぞれに対し、仕分け管理サーバ１０１から送信された投影指示に含まれる各種情報を対応付ける。これにより、仕分けクライアント１０４ｂによって検出された１または複数の荷物それぞれと、仕分け管理サーバ１０１から送信された投影指示にて示される各種情報（投影パターン等）が対応付けられる。

【0075】

仕分けクライアント１０４ｂは、ステップＳ６１０にて特定した１または複数の荷物に対する三次元空間内における処理を行う（ステップＳ６１１）。ここでの三次元空間内における処理では、搬送経路上における三次元座標系にて、各荷物を三次元形状にて表現するように処理する。ここでの処理は、図５のステップＳ５１２の処理と同一であってよい。

【0076】

仕分けクライアント１０４ｂは、ステップＳ６１１にて処理された三次元形状の１または複数の荷物それぞれに対応付けられた投影パターンを含む投影画像を描画する（ステップＳ６１２）。具体的には、仕分けクライアント１０４ｂは、個別の荷物に対する投影パターンの投影位置などを算出し、仕分け領域Ｂ全体の投影画像を決定する。ここでの投影画像は、図５にて説明したステップＳ５１３と同様の構成であってよい。

【0077】

なお、１の仕分け領域に対応付けて複数のプロジェクタを設置してもよい。例えば、１の仕分け領域を更に細分化して複数のプロジェクタそれぞれが担当する範囲を設定してもよい。この場合、仕分けクライアント１０４ｂは、複数のプロジェクタそれぞれに対して、担当範囲に相当する投影画像を生成する。この場合の投影画像の一例としては、担当範囲内に存在する荷物の位置には各荷物向けの投影パターンが含まれ、担当範囲内の荷物の存在しない位置には黒色の画像が含まれる画像が挙げられる。このようにすることで、プロジェクタの性能またはプロジェクタを設置可能な高さの限界などから、一台のプロジェクタでは仕分け領域全体への投影が難しい場合であっても、仕分け領域全体に対する投影を行うことができる。

【0078】

また、各プロジェクタが１つの荷物を担当し、その荷物のみに向けた投影を行うようにしてもよい。この場合、複数のプロジェクタそれぞれは担当する荷物の移動に合わせて照射の角度を変更したり、担当する荷物の位置以外の位置に黒色の画像を投影したりすることで、自身の担当する荷物のみに向けた投影を行う。このようにすることで、複数のプロジェクタそれぞれは、自身の担当する荷物に最適なパラメータを用いた投影を行うことができる。例えば、複数のプロジェクタそれぞれの焦点距離を自動的に調整することができるので、荷物の高さなどにバラつきがある場合であっても、各荷物にピントが合った画像を投影できる。

【0079】

仕分けクライアント１０４ｂは、ステップＳ６１２にて決定した投影画像に従って、プロジェクタ１０５ｂに投影指示を行う（ステップＳ６１３）。

【0080】

プロジェクタ１０５ｂは、ステップＳ６１３の仕分けクライアント１０４ｂからの投影指示に基づいて、仕分け領域Ｂに対し投影画像の投影を行う（ステップＳ６１４）。各荷物は継続的に搬送コンベア３０２により搬送されているため、搬送が継続される間、仕分け領域Ｂ以降の監視を担うクライアントシステム１１０はそれぞれ、ステップＳ６３０に示す処理を継続して実行されてよい。

【0081】

［荷物認識］
図７は、本実施形態に係る仕分け領域における荷物の認識を説明するための図である。ここでは、搬送コンベア３０２の搬送経路上のある仕分け領域７０１と、その搬送方向上流側および下流側に隣接する仕分け領域７０２、仕分け領域７０３を例に挙げて説明する。また、搬送コンベア３０２により、３つの荷物７０６、７０７、７０８が搬送されているものとする。

【0082】

仕分け領域７０１と仕分け領域７０２にはハンドオーバ領域７０４が設けられる。ハンドオーバ領域７０４は、仕分け領域７０１に対応するクライアントシステムと、仕分け領域７０２に対応するクライアントシステムの両方にてセンサ類による検出が行われる領域である。同様に、仕分け領域７０１と仕分け領域７０３にはハンドオーバ領域７０５が設けられる。ハンドオーバ領域７０５は、仕分け領域７０１に対応するクライアントシステム１１０と、仕分け領域７０３に対応するクライアントシステム１１０の両方にてセンサ類による検出が行われる領域である。

【0083】

本実施の形態に係る各仕分け領域では、搬送されている荷物は、その範囲が適時特定される。荷物の範囲を特定することで、荷物のサイズや形状が認識される。ここでの範囲は、荷物の形状と完全に一致する必要はなく、所定のマージンを設けてよい。そして、各荷物の範囲に応じて、各荷物に投影させる投影パターンのサイズや形状、位置が調整される。なお、調整の方法は、特に限定するものではなく、例えば、投影パターンの視認性や作業効率性などを考慮して行われてよい。

【0084】

なお、本実施の形態では、ラベルリーダ１０３と、画像センサ１０７とは、異なるものとして説明したが、ラベルリーダ１０３を画像センサ１０７の代わりに使用してもよい。具体的には、ラベルリーダ１０３によって読み取ったラベルの位置を荷物の位置として取り扱い、ラベルの位置に対して投影画像を投影する。ラベルからは荷物の識別情報を得ることができるため、このような構成を採用することにより、クライアントシステム１１０間で同一の荷物を紐づける処理が不要となる。ただし、ラベルリーダ１０３が認識可能な領域はラベルの領域に限られるため、荷物全体を追跡可能な画像センサ１０７による追跡と比べて、投影画像の大きさや投影画像を照射する位置の自由度は低下する。同様に、画像センサ１０７をラベルリーダ１０３の代わりに使用してもよい。具体的には、画像センサ１０７が取得した画像に含まれるラベルの画像からラベル情報を取得してもよい。以下では、特に断らない限り、画像センサ１０７の撮像画像を用いた荷物の追跡の例を示すが、ラベルリーダ１０３を画像センサ１０７の代わりに用いてもよい。

【0085】

［荷物の追跡］
搬送コンベア３０２にて搬送されている荷物を追跡する際に、連続する複数の画像から同一の荷物を検出（追跡）する場合を考える。本実施の形態に係る画像センサ１０７は、高速（すなわち、高フレームレート）にて撮影可能な高速度カメラである。このような高速度カメラを用いる場合、搬送コンベア３０２による荷物の搬送速度を考慮すると、連続して撮影された画像内における同一の荷物の移動（位置の変化）は、相対的に小さいものとなる。つまり、ある画像（フレーム）にて検出された荷物の位置は、その直後や一定範囲内の画像において、大きく変動することは無いと考えられる。なお、ここでの高速とは、特にその速度を限定するものではなく、搬送コンベア３０２の搬送速度との相対関係により規定されてよい。例えば、本実施の形態に係る高速度カメラとしては、数百ｆｐｓ（Ｆｒａｍｅ Ｐｅｒ Ｓｅｃｏｎｄ）～の性能を有するカメラが用いられてよい。

【0086】

このような状況を鑑みると、荷物を追跡する際に、画像情報全体を探索するよりも、着目する画像の直前の画像や一定範囲の前の画像にて検出された荷物の位置に応じて、探索範囲を絞ったうえで探索した方がより効率的に荷物の追跡を行うことが可能となる。

【0087】

図８は、本実施の形態に係る荷物の探索範囲の減縮を説明するための図である。図８（ａ）は、ある時点において、画像センサ１０７により撮影された搬送コンベア３０２の搬送面の画像の例を示す。本例においては、搬送コンベア３０２により、２つの荷物８０１、８０２が搬送されている。図８（ｂ）は、画像センサ１０７にて撮影された連続する画像のうち、図８（ａ）にて示した画像の次の画像を示す。ここでは、矢印にて示す方向を、搬送コンベア３０２の搬送方向として説明する。図８（ｂ）において、荷物８０１、８０２はそれぞれ、搬送方向に沿って一定の距離の分だけ移動している。破線８１１は、直前の画像（すなわち、図８（ａ）に示す画像）における荷物８０１の位置を示す。また、破線８１２は、直前の画像（すなわち、図８（ａ）に示す画像）における荷物８０２の位置を示す。

【0088】

図８（ｂ）に示すように、ある荷物の位置は、直前の画像にて検出された位置を基準として、一定の範囲内であると予測することができる。図８（ｃ）は、図８（ｂ）に示す画像において、各荷物の探索範囲を示す。探索範囲８２１は、荷物８０１を探索する範囲を示す。同様に、探索範囲８２２は、荷物８０２を探索する範囲を示す。各探索範囲のサイズは、例えば、図８（ａ）にて検出されている荷物のサイズ、搬送コンベア３０２の搬送方向および搬送速度、画像センサ１０７のフレームレートなどに応じて、荷物ごとに設定されてよい。

【0089】

具体的には、フレームレートの逆数として求められる連続する画像間の経過時間と、搬送コンベアの搬送速度とを乗算することで、荷物が移動すると思われる距離を推測する。そして、前の画像で荷物が存在した範囲から荷物を搬送方向にこの距離の分、動かした範囲を探索範囲の基準とする。この探索範囲の基準は、荷物が搬送コンベア３０２の搬送方向に忠実に搬送された場合に移動し得る範囲に相当する。一方、荷物に人が触れたり荷物同士が衝突したりするなどして荷物の位置や向きが変わってしまった場合、実際の荷物は搬送された結果、探索範囲外に出てしまうおそれがある。そこで、本実施の形態では、このような場合も荷物が探索範囲に含まれるよう、探索範囲の基準に対して、搬送コンベア３０２の搬送面に平行な全ての方向に所定のマージンを追加する。マージンの幅は、例えば、荷物が、搬送コンベア３０２の搬送面以外から作用する力を受けた場合に移動し得る範囲を考慮して決定してよい。例えば、人間の手の移動速度の物理的な限界値に、連続する画像間の経過時間を乗算した値を基準としてもよい。このようなマージンを設けることで、人間の手が触れたことによって荷物が移動し得る範囲の全てを探索範囲に含めることができる。また、ロボットアームなどの人間の手よりも高速な物体の干渉によって荷物が移動し得る場合は、そのような物体の移動速度の限界値に基づいてマージンを設定してもよい。また、荷物同士が衝突することによる移動を考慮してマージンを設定してもよい。

【0090】

また、各探索範囲の配置は、例えば、図８（ａ）にて検出されている荷物の位置を基準として設定されてよい。なお、図８の例では、搬送方向が一方向である場合を示したが、搬送コンベア３０２の搬送方向とは異なる方向への搬送が生じた場合には、その方向に応じて探索範囲を設定してよい。例えば、作業者が荷物に触れた場合には、荷物は搬送コンベア３０２の搬送方向と作業者が触れた方向とを合成した方向に搬送される。この場合、搬送方向と異なる方向の搬送速度は、例えば、画像間での荷物の移動速度を用いてもよい。探索範囲にマージンを設けておくことで、搬送コンベア３０２の搬送方向と異なる方向に移動した荷物を探索範囲に含めることができることは上述の通りである。したがって、画像間における荷物の移動量を、画像間の経過時間で除算することで、搬送速度を推定することができる。

【0091】

図９は、本実施の形態に係る荷物の追跡の処理のフローチャートである。本実施の形態では、本処理は、仕分けクライアント１０４のＣＰＵが各機能に対応するプログラムを記憶部から読み出して実行することにより実現される。

【0092】

仕分けクライアント１０４は、画像センサ１０７から画像情報を取得する（ステップＳ９０１）。本実施の形態において、画像センサ１０７から取得する画像情報の間隔は、画像センサ１０７にて撮影可能なフレームレートや搬送コンベア３０２による搬送速度に応じて規定されてよい。例えば、搬送コンベア３０２による搬送速度が遅い場合には、早い場合に比べて画像情報を取得する時間間隔も長く設定してよい。

【0093】

仕分けクライアント１０４は、搬送コンベア３０２の搬送速度の情報を取得する（ステップＳ９０２）。本実施の形態において、ロータリーエンコーダ３０３により検出される移動距離（回転数）が、仕分け管理サーバ１０１から仕分けクライアント１０４それぞれに適時提供される。搬送コンベア３０２による荷物の搬送速度は、その情報を用いて算出できる。本実施の形態では、探索範囲を広めに設定するのであれば、搬送コンベア３０２の速度の正確性は厳格には求められない。そのため、ロータリーエンコーダ３０３を設置せず、搬送コンベア３０２のカタログ上の速度等を搬送速度の情報として用いてもよい。また、このとき、搬送速度の情報には、搬送方向の情報も含めてよい。

【0094】

仕分けクライアント１０４は、直前の画像情報にて検出された１または複数の荷物の情報を取得する（ステップＳ９０３）。上述したように、搬送コンベア３０２は、１または複数の荷物を搬送しており、それらは以前の画像情報から検出され、適時記憶されている。なお、ここでの直前の画像情報とは、ステップＳ９０１にて取得した順番における１つ前の画像情報を指し、画像センサ１０７にて撮影された画像（フレーム）の順序における１つ前の画像に必ずしも一致するものでは無い。

【0095】

仕分けクライアント１０４は、ステップＳ９０３にて取得した１または複数の荷物の情報のうち、未処理の荷物に着目する（ステップＳ９０４）。

【0096】

仕分けクライアント１０４は、着目した荷物の直前の画像情報にて検出された位置情報、ステップＳ９０２にて取得した搬送速度に基づいて、本画像情報における該当荷物の探索範囲を設定する（ステップＳ９０５）。更に、連続する画像情報のフレームレートや、時刻情報などを用いてもよい。本実施の形態では、画像情報にて示される画像全体のうち、該当荷物が検出されると想定される範囲に限定するように、探索範囲を設定する。本実施の形態では、図８（ｃ）にて示したように、矩形にて探索範囲を設定する。

【0097】

仕分けクライアント１０４は、ステップＳ９０６にて設定した探索範囲から該当する荷物を探索する（ステップＳ９０７）。ここでの探索の処理は公知の方法を用いてよく、特に限定するものではない。例えば、機械学習による領域分割にて荷物に対応する領域を検出してもよい。または、予め規定されたパターンを用いて、パターンマッチングにより荷物を検出してもよい。

【0098】

仕分けクライアント１０４は、ステップＳ９０７にて検出された荷物を、直前の画像情報にて検出された荷物と対応付けて記憶する（ステップＳ９０８）。これにより、画像情報内の荷物と、それに関する荷物情報が対応付けられることとなる。

【0099】

仕分けクライアント１０４は、ステップＳ９０３にて取得した１または複数の荷物の情報のうち、未処理の情報があるか否を判定する（ステップＳ９０８）。未処理の荷物の情報がある場合は（ステップＳ９０８；ＹＥＳ）、仕分けクライアント１０４の処理は、ステップＳ９０４へ戻り、未処理の荷物の情報に対して処理を繰り返す。一方、未処理の荷物の情報が無い場合（ステップＳ９０８；ＮＯ）、仕分けクライアント１０４の処理は、ステップＳ９０９へ進む。

【0100】

仕分けクライアント１０４は、追跡処理を終了するか否かを判定する（ステップＳ９０９）。例えば、搬送コンベア３０２の動作が停止した場合、システム全体が停止した場合、各種情報が取得できなかった場合などに、追跡処理を終了すると判定してよい。追跡処理を終了すると判定した場合（ステップＳ９０９；ＹＥＳ）、本処理フローを終了する。一方、追跡処理を継続すると判定した場合（ステップＳ９０９；ＮＯ）、仕分けクライアント１０４は、ステップＳ９０１へ戻り、次の画像情報を取得して処理を継続する。

【0101】

なお、図９の例では、画像内に含まれる１または複数の荷物に対し、繰り返し処理として検出が行われているが、この構成に限定するものではなく、複数の荷物の検出処理を同時並行的に行うような処理であってもよい。いずれにしても、画像全体において、直前の画像情報にて検出された荷物の数だけ、範囲が狭められた探索範囲が設定される。

【0102】

また、荷物仕分けシステム１００は、探索範囲から荷物が検出されなかった場合、探索範囲外からの荷物の検出も行うようにしてもよい。これにより、荷物が急激に移動して探索範囲外に移動してしまったとしても、荷物を検出できる可能性が高まる。また、探索範囲内からのみ荷物の検出を行い、探索範囲内から荷物が発見されなかった場合は、その荷物の探索を中止してもよい。このようにすることで、荷物の検出に要する処理負荷を低減することができる。

【0103】

以上により、実施の形態１に係る荷物仕分けシステム１００は、搬送されている荷物の連続する複数の画像を撮影する画像センサ１０７と、複数の画像それぞれを用いて荷物を検出する仕分けクライアント１０４と、を有し、仕分けクライアント１０４は、複数の画像のうちの第１の画像を用いて荷物を検出した後、当該第１の画像の後続の第２の画像を用いて荷物を検出する際に、第１の画像から検出した荷物の位置に基づいて第２の画像における当該荷物の探索範囲を設定し、第２の画像のうち、探索範囲を、当該探索範囲から、荷物の検出を行う。

【0104】

これにより、荷物の仕分けをより効率的かつ正確に行うことが可能となる。特に、各荷物を追跡する際の処理負荷を低減しつつ、効率的に搬送中の荷物の管理が可能となる。

【0105】

また、第２の画像のうち、探索範囲を当該探索範囲の外よりも優先して、荷物の検出を行う。

【0106】

これにより、物の仕分けをより効率的に行うことが可能となる。

【0107】

また、第２の画像のうち、探索範囲内からのみ、荷物の検出を行う。

【0108】

これにより、物の仕分けをより効率的に行うことが可能となる。

【0109】

また、荷物は搬送コンベア３０２によって搬送され、仕分けクライアント１０４は、搬送コンベア３０２の搬送速度に基づいて第２の画像における荷物の探索範囲を設定する。

【0110】

これにより、各荷物の搬送速度に応じて、探索範囲の設定が可能となり、効率的に荷物の追跡が可能となる。

【0111】

また、荷物は搬送コンベア３０２によって搬送され、仕分けクライアント１０４は、第２の画像における荷物の探索範囲を、搬送コンベア３０２の搬送方向において最も長くなるように設定する。

【0112】

これにより、搬送方向を考慮して、最も荷物が搬送される可能性が高い範囲について、より広く探索範囲を設定することが可能となる。

【0113】

また、荷物の検出に用いられる複数の画像は、搬送コンベア３０２の搬送速度に応じて規定されるフレームレートに基づいて、画像センサ１０７にて撮影された画像の中から取得される。

【0114】

これにより、搬送コンベア３０２の搬送速度に応じて、適切な探索用の画像を設定することができ、探索処理の負荷を低減することができる。

【0115】

また、仕分けクライアント１０４は、第２の画像のうち、上流から荷物が搬送される方向に沿って所定の長さの範囲においては、その範囲の全てを荷物の探索範囲として設定する。

【0116】

これにより、荷物が一定の範囲から出るまでに荷物の全体が認識される可能性を高めることが可能となる。

【0117】

また、荷物の探索範囲の形状は、直前の画像から検出した当該荷物の形状に基づいて設定される。

【0118】

これにより、検出済みの荷物の形状に基づいて、次の画像での当該荷物の探索範囲を設定するため、効率的な探索が可能となる。

【0119】

また、荷物の探索範囲の形状は、前の画像から検出した当該荷物の形状に基づいて設定される矩形形状である。

【0120】

これにより、検出済みの荷物の形状に基づいて、次の画像での当該荷物の探索範囲を矩形形状にて設定するため、効率的な探索が可能となる。

【0121】

画像センサ１０７は、高速度カメラである。

【0122】

これにより、搬送コンベア３０２の搬送速度に対応したフレームレートにて荷物を検出するための複数の画像を利用できる。

【0123】

＜その他の実施形態＞
上記実施の形態において、図８の処理は、複数のクライアントシステム１１０のいずれで行われてもよい。また、上記の実施の形態では、高速度カメラとして、画像センサ１０７を例に挙げて説明したが、これに限定するものではない。例えば、距離センサ１０６が高速度にて距離画像を撮影できる場合には、同様の処理を距離センサにて実現してもよい。

【0124】

また、図７に示したように１つの仕分け領域は、隣接する仕分け領域と一部（ハンドオーバ領域）が重複している。したがって、図９にて示したような処理は、仕分け領域のうち、上流側のハンドオーバ領域以外で行うような構成であってもよい。この場合、上流側のハンドオーバ領域では、新たに荷物が搬送されてくることが想定されるため、全体を探索範囲としてよい。または、投影指示に含まれる情報に基づいて、新たに搬送されてくる荷物の位置やサイズが特定できる場合には、その情報に基づいて、ハンドオーバ領域における探索範囲を設定してもよい。

【0125】

また、最上流の仕分け領域Ａにおいては、開始位置３０５ａから一定の範囲は全て探索し、それ以降は上記のような処理を行うような構成であってもよい。この範囲では、荷物の全体が認識されていない可能性があり、探索範囲を正確に絞り込めないためである。なお、搬送される荷物の最大サイズが規定されているのであれば、一定の範囲は、その最大サイズ以上の範囲に定めてもよい。このようにすることで、荷物が一定の範囲から出るまでに荷物の全体が認識される可能性が高いためである。また、仕分け領域間のハンドオーバができない場合に、下流側の仕分け領域の開始位置から一定の範囲は全て探索し、それ以降は上記のような処理を行うような構成であってもよい。仕分け領域間のハンドオーバができない場合としては、具体的には、搬送コンベア３０２が配置される施設の構造や他の設備の配置との関係から、仕分け領域同士を重複して設定できない場合などが考えられる。

【0126】

また、図８に示す例では、探索範囲を矩形にて示したがこれに限定するものではない。例えば、円にて示される範囲にて探索範囲を設定してもよいし、直前の荷物の位置を基準として、搬送方向側に広がった扇状にて示される範囲にて探索範囲を設定してもよい。また、荷物の形状やサイズは多様であるため、その形状やサイズに応じて探索範囲の形状やサイズを調整してもよい。なお、搬送コンベア３０２を使用している場合は、探索範囲の長さが搬送コンベア３０２の搬送方向において最も長くなるよう調整してもよい。この方向は、他の方向と比べて、荷物が移動する可能性が最も高い方向であるからである。

【0127】

また、探索範囲の中から荷物が発見できなかった場合は、荷物を見失ったと判定してもよいし、探索範囲の外も含めて荷物を追加で探索してもよい。すなわち、探索範囲は、少なくとも荷物の探索が優先的に行われる範囲であればよい。

【0128】

また、上記実施の形態は荷物仕分けシステムを例として説明したが、上記実施の形態の構成を荷物の仕分けを伴わないシステムに適用してもよい。本実施の形態は、少なくとも荷物を探索する機能を備えているシステムに対して適用することができる。

【0129】

また、上述した１以上の実施の形態の機能を実現するためのプログラムおよびアプリケーションを、ネットワークまたは記憶媒体等を用いてシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。

【0130】

また、１以上の機能を実現する回路（例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、またはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ））によって実現してもよい。

【0131】

以上、図面を参照しながら各種の実施形態について説明したが、本開示は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に相当し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施形態における各構成要素を任意に組み合わせてもよい。

【産業上の利用可能性】

【0132】

本開示は、複数の利用者に対して、権利に応じた行動の利便性を向上させることが可能な荷物仕分けシステム、荷物仕分け方法、情報処理装置およびその制御方法として有用である。

【符号の説明】

【0133】

１００…荷物仕分けシステム
１０１…仕分け管理サーバ
１０２…連携サーバ
１０３…ラベルリーダ
１０４…仕分けクライアント
１０５…プロジェクタ
１０６…距離センサ
１０７…画像センサ
１１０…クライアントシステム
３００…荷物
３０１…ラベル
３０２…搬送コンベア
３０３…ロータリーエンコーダ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】