IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニックIPマネジメント株式会社の特許一覧

特開2023-143180荷物仕分けシステム、荷物仕分け方法、情報処理装置およびその制御方法
<>
  • 特開-荷物仕分けシステム、荷物仕分け方法、情報処理装置およびその制御方法 図1
  • 特開-荷物仕分けシステム、荷物仕分け方法、情報処理装置およびその制御方法 図2
  • 特開-荷物仕分けシステム、荷物仕分け方法、情報処理装置およびその制御方法 図3
  • 特開-荷物仕分けシステム、荷物仕分け方法、情報処理装置およびその制御方法 図4
  • 特開-荷物仕分けシステム、荷物仕分け方法、情報処理装置およびその制御方法 図5
  • 特開-荷物仕分けシステム、荷物仕分け方法、情報処理装置およびその制御方法 図6
  • 特開-荷物仕分けシステム、荷物仕分け方法、情報処理装置およびその制御方法 図7
  • 特開-荷物仕分けシステム、荷物仕分け方法、情報処理装置およびその制御方法 図8
  • 特開-荷物仕分けシステム、荷物仕分け方法、情報処理装置およびその制御方法 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023143180
(43)【公開日】2023-10-06
(54)【発明の名称】荷物仕分けシステム、荷物仕分け方法、情報処理装置およびその制御方法
(51)【国際特許分類】
   B65G 1/137 20060101AFI20230928BHJP
【FI】
B65G1/137 Z
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2022050418
(22)【出願日】2022-03-25
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】出良 隆明
(72)【発明者】
【氏名】守山 隆昭
(72)【発明者】
【氏名】田中 広志
(72)【発明者】
【氏名】山口 俊樹
(72)【発明者】
【氏名】加藤 慶太
【テーマコード(参考)】
3F522
【Fターム(参考)】
3F522AA02
3F522BB01
3F522CC03
3F522DD04
3F522DD05
3F522DD28
3F522DD32
3F522EE16
3F522FF02
3F522FF23
3F522FF27
3F522FF37
3F522GG13
3F522GG33
3F522HH02
3F522HH06
3F522HH16
3F522HH32
3F522JJ01
3F522KK06
3F522LL57
3F522LL62
(57)【要約】
【課題】荷物仕分けシステムにおいて、荷物の仕分けをより効率的かつ正確に行う。
【解決手段】搬送経路を構成する複数の仕分け領域それぞれを監視する複数の仕分けクライアントを含んで構成される荷物仕分けシステムであって、前記複数の仕分けクライアントそれぞれに備えられた撮影部にて撮影した前記複数の仕分け領域それぞれの画像を取得する取得部と、前記複数の仕分け領域それぞれの画像を用いて、前記搬送経路の全体画像を生成する生成部と、前記全体画像を用いて、前記搬送経路にて搬送されている荷物の搬送を制御する制御部と、を有する。
【選択図】図8
【特許請求の範囲】
【請求項1】
搬送経路を構成する複数の仕分け領域それぞれを監視する複数の仕分けクライアントを含んで構成される荷物仕分けシステムであって、
前記複数の仕分けクライアントそれぞれに備えられた撮影部にて撮影した前記複数の仕分け領域それぞれの画像を取得する取得部と、
前記複数の仕分け領域それぞれの画像を用いて、前記搬送経路の全体画像を生成する生成部と、
前記全体画像を用いて、前記搬送経路にて搬送されている荷物の搬送を制御する制御部と、
を有する、
荷物仕分けシステム。
【請求項2】
前記複数の仕分けクライアントはそれぞれ、前記仕分け領域内の荷物の仕分けの指示を行う指示装置を備えており、
前記制御部は、前記全体画像に基づいて特定した前記搬送経路の全体における前記荷物の搬送状況に基づいて、少なくとも1つの仕分けクライアントにおける前記仕分けの指示の内容を変更する、
請求項1に記載の荷物仕分けシステム。
【請求項3】
前記荷物の搬送状況は、前記複数の仕分け領域それぞれに存在する荷物の数であり、
前記制御部は、前記搬送経路の下流に位置する仕分け領域に存在する荷物の数に基づいて、前記搬送経路の上流に位置する仕分け領域に存在する荷物への仕分け指示の内容を変更する、
請求項2に記載の荷物仕分けシステム。
【請求項4】
前記荷物の搬送状況は、前記複数の仕分け領域それぞれにおいて前記荷物の仕分けに要した時間であり、
前記制御部は、前記搬送経路の下流に位置する仕分け領域における前記荷物の仕分けに要した時間に基づいて、前記搬送経路の上流に位置する仕分け領域に存在する荷物への仕分け指示の内容を変更する、
請求項2に記載の荷物仕分けシステム。
【請求項5】
前記制御部は、特定した前記搬送経路の全体における前記荷物の搬送状況に基づいて、同一の荷物に対する仕分け指示を、前記荷物が前記搬送経路の上流に位置する場合と、前記荷物が前記搬送経路の下流に位置する場合とで異ならせる、
請求項2に記載の荷物仕分けシステム。
【請求項6】
前記指示装置は、前記仕分け領域内の荷物に対して、前記仕分けの指示を示す画像を投影する投影装置である、
請求項2~5のいずれか一項に記載の荷物仕分けシステム。
【請求項7】
前記生成部は、前記複数の仕分け領域の画像のうち、隣接する2つの仕分け領域の画像に重複して含まれるオブジェクトに基づいて当該2つの仕分け領域の画像間の位置合わせを行う、
請求項1~6のいずれか一項に記載の荷物仕分けシステム。
【請求項8】
前記オブジェクトは、搬送経路上に設けられたマーカである、
請求項7に記載の荷物仕分けシステム。
【請求項9】
前記オブジェクトは、搬送経路にて搬送中の荷物である、
請求項7に記載の荷物仕分けシステム。
【請求項10】
前記制御部は、前記全体画像を用いて、前記搬送経路の座標系を設定する、
請求項1~9のいずれか一項に記載の荷物仕分けシステム。
【請求項11】
搬送経路を構成する複数の仕分け領域それぞれを監視する複数の仕分けクライアントを含んで構成される荷物仕分けシステムにおける荷物仕分け方法であって、
前記複数の仕分けクライアントそれぞれに備えられた撮影部にて撮影した前記複数の仕分け領域それぞれの画像を取得する取得ステップと、
前記複数の仕分け領域それぞれの画像を用いて、前記搬送経路の全体画像を生成する生成ステップと、
前記全体画像を用いて、前記搬送経路にて搬送されている荷物の搬送を制御する制御ステップと、
を有する、
荷物仕分け方法。
【請求項12】
プロセッサと、
メモリと、を備え、
前記プロセッサは、前記メモリと協働して、
搬送経路を構成する複数の仕分け領域それぞれを監視する複数の仕分けクライアントそれぞれに備えられた撮影部にて撮影した前記複数の仕分け領域それぞれの画像を取得し、
前記複数の仕分け領域それぞれの画像を用いて、前記搬送経路の全体画像を生成し、
前記全体画像を用いて、前記搬送経路にて搬送されている荷物の搬送を制御する、
情報処理装置。
【請求項13】
プロセッサがメモリと協働して、
搬送経路を構成する複数の仕分け領域それぞれを監視する仕分けクライアントそれぞれに備えられた撮影部にて撮影した前記複数の仕分け領域それぞれの画像を取得し、
前記複数の仕分け領域それぞれの画像を用いて、前記搬送経路の全体画像を生成し、
前記全体画像を用いて、前記搬送経路にて搬送されている荷物の搬送を制御する、
情報処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、荷物仕分けシステム、荷物仕分け方法、情報処理装置およびその制御方法に関する。
【背景技術】
【0002】
近年の経済活動の高まりに伴い、荷物の流通量は増大する一方である。荷物の流通工程において、荷物を行先別に仕分ける仕分け作業は時間のかかる工程であり、従前から人手による作業に頼っているが、仕分け作業の少なくとも一部を自動化する技術も提案されている。
【0003】
特許文献1は、搬送経路上を移動する荷物を追跡し、荷物から読み取った荷物に関する情報と当該荷物の位置の情報に基づき、表示する画像を決定し、プロジェクタから画像を荷物に投射して画像を荷物上に表示するシステムを開示している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】米国特許第7090134号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、昨今の荷物の流通量はますます増大するとともに、荷物の種類も様々なものとなっており、荷物をより効率的かつ正確に仕分ける技術が求められている。
【0006】
本開示は、上述した従来の事情を鑑みて案出され、荷物の仕分けをより効率的かつ正確に行うための技術に関する。特に、荷物仕分けシステム、荷物仕分け方法、情報処理装置およびその制御方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本開示は、搬送経路を構成する複数の仕分け領域それぞれを監視する複数の仕分けクライアントを含んで構成される荷物仕分けシステムであって、前記複数の仕分けクライアントそれぞれに備えられた撮影部にて撮影した前記複数の仕分け領域それぞれの画像を取得する取得部と、前記複数の仕分け領域それぞれの画像を用いて、前記搬送経路の全体画像を生成する生成部と、前記全体画像を用いて、前記搬送経路にて搬送されている荷物の搬送を制御する制御部と、を有する、荷物仕分けシステムを提供する。
【0008】
また、本開示は、搬送経路を構成する複数の仕分け領域それぞれを監視する複数の仕分けクライアントを含んで構成される荷物仕分けシステムにおける荷物仕分け方法であって、前記複数の仕分けクライアントそれぞれに備えられた撮影部にて撮影した前記複数の仕分け領域それぞれの画像を取得する取得ステップと、前記複数の仕分け領域それぞれの画像を用いて、前記搬送経路の全体画像を生成する生成ステップと、前記全体画像を用いて、前記搬送経路にて搬送されている荷物の搬送を制御する制御ステップと、を有する、荷物仕分け方法を提供する。
【0009】
また、本開示は、プロセッサと、メモリと、を備え、前記プロセッサは、前記メモリと協働して、搬送経路を構成する複数の仕分け領域それぞれを監視する複数の仕分けクライアントそれぞれに備えられた撮影部にて撮影した前記複数の仕分け領域それぞれの画像を取得し、前記複数の仕分け領域それぞれの画像を用いて、前記搬送経路の全体画像を生成し、前記全体画像を用いて、前記搬送経路にて搬送されている荷物の搬送を制御する、情報処理装置を提供する。
【0010】
また、本開示は、プロセッサがメモリと協働して、搬送経路を構成する複数の仕分け領域それぞれを監視する複数の仕分けクライアントそれぞれに備えられた撮影部にて撮影した前記複数の仕分け領域それぞれの画像を取得し、前記複数の仕分け領域それぞれの画像を用いて、前記搬送経路の全体画像を生成し、前記全体画像を用いて、前記搬送経路にて搬送されている荷物の搬送を制御する、情報処理装置の制御方法を提供する。
【0011】
なお、以上の構成要素の任意の組み合わせ、本開示の表現を方法、装置、システム、記憶媒体、コンピュータプログラムなどの間で変換したものもまた、本開示の態様として有効である。
【発明の効果】
【0012】
本開示によれば、荷物の仕分けをより効率的かつ正確に行うことが可能となる。
【図面の簡単な説明】
【0013】
図1】実施の形態1に係る荷物仕分けシステムの構成例を示すブロック図
図2】実施の形態1に係る情報処理装置の構成例を示すブロック図
図3】実施の形態1に係る荷物の搬送を説明するための概略図
図4】実施の形態1に係る荷物の検出及び投影を説明するための概略図
図5】実施の形態1に係る荷物仕分けシステムの処理シーケンス
図6】実施の形態1に係る荷物仕分けシステムの処理シーケンス
図7】実施の形態1に係る搬送中の荷物の認識を説明するための概略図
図8】実施の形態1に係る搬送経路の全体画像を生成する処理シーケンス
図9】実施の形態1に係るスティッチング処理を説明するための概略図
【発明を実施するための形態】
【0014】
以下、添付図面を適宜参照しながら、本開示に係る荷物仕分けシステム、荷物仕分け方法、情報処理装置およびその制御方法を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明、あるいは、実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されない。
【0015】
<実施の形態1>
[システム構成]
図1は、実施の形態に係る荷物仕分けシステム100の構成例を示すブロック図である。荷物仕分けシステム100は、搬送コンベア(図1では不図示)により搬送されてくる複数の荷物を仕分ける作業者の作業を支援するシステムである。荷物仕分けシステム100は、例えば、小売業者、卸売り業者、インターネット流通業者などが所有する物流センターに設置される。仕分け対象の荷物は、一般的には略直方体の形状を有するものであるが、その外形やサイズは特に限定はされず、荷物の種類も特に限定されない。荷物を搬送する搬送コンベアは、例えば、ベルトコンベアまたはローラコンベアなどであってよい。また、荷物の搬送経路は、複数の搬送コンベアを組み合わせることで、搬送方向が変化したり、搬送経路の一部が分岐したりしていてもよい。
【0016】
荷物仕分けシステム100は、仕分け管理サーバ101、連携サーバ102、ラベルリーダ103、仕分けクライアント104、プロジェクタ105、距離センサ106、および画像センサ107を含んで構成される。仕分けクライアント104、プロジェクタ105、距離センサ106、および画像センサ107を1つの組として、荷物を搬送する搬送コンベア上に設けられる複数の仕分け領域それぞれに対応付けて複数のクライアントシステム110が設けられる。したがって、仕分けクライアント104、プロジェクタ105、距離センサ106、および画像センサ107はそれぞれ、仕分け領域の数に応じて複数設置される。以下の説明において、個別に装置の説明を要する場合には添え字(a,b,・・・)を付し、装置をまとめて説明する場合には添え字を省略して示す。
【0017】
仕分け管理サーバ101は、本実施の形態に係る荷物仕分けシステム100の全体の制御を司る情報処理装置である。仕分け管理サーバ101は、ラベルリーダ103の検出結果を取得したり、連携サーバ102から各種荷物情報を取得したりする。また、仕分け管理サーバ101は、1または複数の仕分けクライアント104それぞれに対して、各種指示を行ったり、各種情報を収集したりする。更に、仕分け管理サーバ101は、後述する搬送コンベアの動作制御や、動作情報の収集および管理を行ってよい。
【0018】
連携サーバ102は、ラベル情報と、荷物情報とを対応付けて保持、管理している。そして、連携サーバ102は、仕分け管理サーバ101からの要求に応じて、ラベルリーダ103にて読み取ったラベル情報に対応する荷物情報を提供する。なお、図1の例では、仕分け管理サーバ101、および連携サーバ102はそれぞれ1台ずつ示しているが、機能の冗長化や負荷分散などの観点から複数の装置にて構成されてもよい。また、仕分け管理サーバ101側にて、ラベル情報と仕分けのパターンを対応付けて管理しておき、これに基づいて、後述する各荷物の仕分けに係る処理を行ってもよい。このような場合などには、連携サーバ102の構成を省略し、仕分け管理サーバ101は、取得したラベル情報のパターンに基づいて、後述する各荷物の仕分けに係る処理を行うような構成であってよい。
【0019】
ラベルリーダ103は、搬送コンベアにより搬送されている荷物に付されているラベルを読み取るための装置であり、レンズやイメージセンサなどの光学部品を含んで構成される。荷物に付されているラベルを読み取ることで、ラベルにて示される各種情報(以下、「ラベル情報」と称する)を取得する。ラベルの形式や方式は特に限定するものではなく、例えば、バーコードや二次元コード(QRコード(登録商標)など)を利用することができる。本実施の形態では、ラベルとしてバーコードを例に挙げて説明する。また、ラベル情報は、例えば、荷物を一意に識別するための識別情報を含んでよい。この場合、識別情報を構成する文字種や桁数などは特に限定されない。
【0020】
ラベルリーダ103は、例えば、一般的な撮像カメラを使用し、撮像した画像からラベルの領域を画像認識によって抽出して各種情報を読み取ったり、ラベルに記載されている文字等をOCR(Optical Character Recognition/Reader)によって認識したりしてもよい。ラベルリーダ103は、ラベルを読み取るための専用の装置であってもよいし、他の装置と一体となった構成であってもよい。また、ラベルリーダ103は、ラベルの三次元座標を検出するような構成であってもよい。また、荷物の多様なサイズなどに対応して複数のラベルリーダ103が備えられてもよいし、ラベルの様々な貼り付け位置に対応して多方向から荷物を撮影するような構成であってもよい。
【0021】
本実施の形態に係る荷物情報としては、例えば、荷物に個別に付与される荷物特定番号(例えば、荷物を一意に識別するための識別情報)、荷物の発送元の氏名、住所、電話番号、宛先(例えば、受取人)の氏名、住所、電話番号、荷物の種類、などが挙げられる。なお、これらの情報に限定するものではなく、荷物情報に含まれる項目は、必要に応じて増減してよい。本実施の形態において、仕分け管理サーバ101がラベルリーダ103からラベル情報を取得し、このラベル情報を用いて連携サーバ102に問い合わせを行うことで、対応する荷物情報を取得する。上述したように、連携サーバ102との連携を省略するような構成の場合には、仕分け管理サーバ101側で、ラベル情報と仕分けに関するパターンの情報とを対応付けて保持しておいてよい。
【0022】
仕分けクライアント104は、仕分け管理サーバ101からの指示に基づいて、搬送されている荷物に対する投影処理等を制御する情報処理装置である。また、仕分けクライアント104は、距離センサ106および画像センサ107による撮影結果を取得し、その撮影結果に基づいて荷物を検出、管理する。また、仕分けクライアント104は、検出した荷物の位置情報やサイズ情報、検出した時刻情報などを仕分け管理サーバ101に提供する。なお、仕分けクライアント104側で取得された各種情報は仕分け管理サーバ101に適時提供され、仕分け管理サーバ101側で各種情報に対して処理を行うような構成であってもよい。
【0023】
プロジェクタ105は、仕分けクライアント104の指示に基づいて、搬送経路上の荷物に対して所定の投影パターンを含む投影画像の照射を行う投影装置である。なお、本実施の形態において、「投影画像」とは、プロジェクタ105により仕分け領域全体に重畳して投影させる画像全体を示す。また、「投影パターン」とは、仕分け領域にて検出された荷物それぞれに対応して重畳して表示させる画像を示す。したがって、仕分け領域にて荷物が検出された場合、投影画像には、荷物に応じて1または複数の投影パターンが含まれることとなる。投影パターンの例については後述する。
【0024】
距離センサ106は、距離センサ106と撮像対象(例えば、荷物の表面)との距離情報を検出するためのセンサであり、検出結果を距離画像として取得する。距離画像は、距離を示す数値を列挙したテーブルなど、人の目で画像として認識できないものを含んでよい。すなわち、距離画像は、撮像した領域内における座標と距離との関係を示す情報であればよく、そのデータ構造を特に限定するものではない。距離センサ106としては、例えば、赤外線センサ(IRセンサ)や、複数のカメラにて構成されるステレオカメラなどが用いられてよい。
【0025】
画像センサ107は、レンズ、イメージセンサ等の光学部品を含む撮像装置である。画像センサ107は、例えば、撮像カメラにて構成される。撮像カメラは、三次元カメラ、複数台の二次元カメラが用いられてよい。画像センサ107は、搬送コンベアにより搬送されてくる荷物を含む搬送コンベアを撮像し、色画像を生成する。ここでの色画像とは、撮影対象の表面の色を所定の階調で表現した画像を示す。階調にはRGB(Red,Green,Blue)の256階調の他、グレースケールなどを含んでよい。
【0026】
クライアントシステム110の数は、搬送コンベアの長さや各センサの検出範囲などに応じて異なる。なお、仕分けクライアント104は1台構成とし、この1台の仕分けクライアント104にて、複数の仕分け領域に対応した複数のプロジェクタ105、複数の距離センサ106、および複数の画像センサ107を制御するような構成であってもよい。また、本実施の形態では、センサとして距離センサ106と画像センサ107を用いる例を示したが、これらが一体となったセンサが用いられてもよいし、いずれか一方のみが用いられるような構成であってもよい。また、他の種類のセンサが用いられてもよい。搬送コンベアの搬送形式は特に限定するものではなく、例えば、1列にて荷物を搬送するような構成であってもよいし、複数列にて荷物を搬送するような構成であってもよい。
【0027】
各装置は、有線/無線により通信可能に接続される。ここでの通信方式や接続方式は特に限定するものではなく、所定のネットワークケーブルを用いて接続されてもよいし、複数の方式を組み合わせて接続されてもよい。
【0028】
(情報処理装置)
図2は、本実施の形態に係る仕分け管理サーバ101や連携サーバ102、仕分けクライアント104として適用可能な情報処理装置のハードウェア構成の例を示す図である。ここでは各装置が同じ構成を有するものとして説明するが、各装置がそれぞれ異なる構成であってもよい。
【0029】
情報処理装置200は、CPU(Central Processing Unit)201、メモリ202、記憶装置203、入出力部204、通信部205、および外部I/F206を含んで構成される。CPU201は、メモリ202や記憶装置203に格納された各種プログラムやデータを読み出して処理を実行することで、各種機能を実現する。なお、CPU201は、GPU(Graphics Processing Unit)のような他の演算回路であってもよいし、他の演算回路と併用されてもよい。メモリ202は、各種情報を記憶、保持するための記憶領域であり、例えば、不揮発性の記憶領域であるROM(Read Only Memory)や、揮発性の記憶領域であるRAM(Random Access Memory)などから構成される。記憶装置203は、各種情報を記憶、保持するための記憶領域であり、HDD(Hard Disk Drive)などから構成される。
【0030】
入出力部204は、例えば、不図示のマウスやキーボードからユーザによる指示を受け付けたり、不図示のディスプレイなどにより各種情報を出力したりする。通信部205は、有線/無線などのネットワークを介して外部装置との通信を行い、各種データや信号の送受信を行う。通信部205による通信方式は、特に限定するものではなく、複数の通信方式に対応していてよい。例えば、WAN(Wide Area Network)、LAN(Local Area Network)、電力線通信、近距離無線通信(例えば、Bluetooth(登録商標))などが用いられてよい。外部I/F206は、外部装置とのデータの送受信を行うためのインタフェースである。情報処理装置200が備える各部位は、不図示の内部バスなどにより通信可能に接続される。
【0031】
[搬送例]
図3は、本実施の形態に係る荷物の搬送を説明するための概略図である。搬送対象の荷物300にはそれぞれラベル301が付される。ラベル301は、搬送経路の任意の位置に設置されたラベルリーダ103によって、搬送中に読み取られる。なお、図3の例では、ラベル301は、荷物300の上面に付され、上側からラベルリーダ103により読み取られる構成としたが、これに限定するものではない。例えば、荷物300の側面にラベル301が付され、これに対応してラベルリーダ103が側方から読み取り可能な構成であってもよい。
【0032】
荷物300は、搬送コンベア302により任意の速度にて搬送される。搬送コンベア302には、ロータリーエンコーダ303が設置され、その搬送距離を適時検出し、仕分け管理サーバ101に提供される。ロータリーエンコーダ303は、搬送コンベア302の搬送に伴って回転する回転機構(不図示)に取り付けられており、その回転機構の回転数を出力する。この回転機構は、搬送コンベア302がベルトコンベアの場合は、ベルトに接しているローラまたはベルトを移動させるモータである。また、搬送コンベア302がローラコンベアの場合は、搬送コンベア302を構成するローラである。ここでは、矢印にて示す方向に沿って、荷物が搬送されているものとする。搬送コンベア302は、ユーザからの指示に応じてその搬送速度が変化したり、搬送を停止したりする。必要に応じて、逆方向への搬送が行われてもよい。また、搬送コンベア302の搬送速度は、搬送コンベア302の各機構の物理的な特性など、ユーザからの指定以外の要因でも変化したりする。しかし、ロータリーエンコーダ303は、回転機構の回転数を正確に検知するため、搬送速度の変化等の影響を受けにくい。搬送コンベア302による搬送は、例えば、仕分け管理サーバ101により制御されてもよいし、別途設けられる制御装置(不図示)にて制御されてもよい。
【0033】
ラベルリーダ103よりも搬送方向の下流側には、複数の仕分け領域に対応して、各種センサ(本例では、距離センサ106および画像センサ107)と、プロジェクタ105が複数設置される。図3では、複数の仕分け領域のうちの最上流の仕分け領域Aを示している。仕分け領域Aに対応する各種センサは、仕分け領域Aを撮影することにより各種画像を取得し、これらの画像を用いて、仕分けクライアント104aまたは仕分け管理サーバ101により搬送中の荷物が検出される。具体的には、仕分け領域Aの開始位置305aに荷物300が到達すると、荷物300は、各種センサの撮影範囲に進入することとなる。距離センサ106aおよび画像センサ107aの撮影範囲304は、少なくとも仕分け領域Aの範囲を含む。また、仕分け領域Aの範囲内において、仕分け管理サーバ101や仕分けクライアント104の指示に基づいて、プロジェクタ105aが所定の投影画像を投影する。プロジェクタ105aによる投影範囲306は、少なくとも仕分け領域Aを含む。なお、ラベルリーダ103の読み取り位置から、開始位置305aまでの距離は、後述する処理シーケンスの処理速度や、各種センサの読み取り速度などに応じて規定されてよい。
【0034】
搬送コンベア302の周囲には、荷物300に対する作業を行う作業者Mが位置し、必要に応じて、各種作業を実施する。このとき、作業者Mは、プロジェクタ105により投影された投影画像(投影パターン等)に基づいて作業を実施することが可能である。
【0035】
図4は、複数のクライアントシステム110それぞれに対応した複数の仕分け領域を説明するための図である。ここでは、2つの仕分け領域A、Bを例に挙げ、それぞれ、クライアントシステム110a、110bにより監視されているものとして説明する。仕分け領域の数やその範囲(例えば、搬送方向の長さや幅)はクライアントシステム110の機能に応じて規定されてよい。したがって、仕分け領域Bよりも更に搬送方向下流において、更に1または複数の仕分け領域が設けられてよい。
【0036】
仕分け領域Aは、距離センサ106aおよび画像センサ107aにより撮影され、その画像が仕分けクライアント104aに提供される。また、仕分け領域Aにおいて、プロジェクタ105aにより、任意の投影パターンを含む投影画像が投影される。同様に、仕分け領域Aの搬送方向下流側に隣接する仕分け領域Bは、距離センサ106bおよび画像センサ107bにより撮影され、その画像が仕分けクライアント104bに提供される。また、仕分け領域Bにおいて、プロジェクタ105bにより、任意の投影パターンを含む投影画像が投影される。仕分け領域Bでは、仕分け領域Aから搬送されてきた荷物の監視を引き継ぐ形で監視が行われる。このとき、図4に示すように、クライアントシステム110それぞれによる仕分け領域は、一部の領域が重複しており、以下、この領域を「ハンドオーバ領域」とも称する。開始位置305bは、仕分け領域Bの監視の開始位置を示し、仕分け領域Bの上流側に隣接する仕分け領域Aの監視の終了位置(不図示)とは異なる。ハンドオーバ領域の詳細については後述する。なお、各センサから取得された画像は、仕分けクライアント104から更に仕分け管理サーバ101へ提供されてよい。
【0037】
[処理シーケンス]
図5図6を用いて、本実施の形態に係る荷物仕分けシステム100の処理シーケンスについて説明する。各装置の処理は、各処理の処理主体(CPU等)により各種機能に対応したプログラムが実行されることで実現されてよい。図5図6に示す処理が開始される際に搬送コンベア302の動作が開始され、それにより荷物が順次搬送されるものとする。なお、以下に示す処理シーケンスにおける各処理の主体は一例であり、その一部が他の装置によって実行されてもよい。例えば、以下に示す仕分け管理サーバ101の処理の一部を、仕分けクライアント104が実行するような構成であってもよい。また、その逆であってもよく、以下に示す仕分けクライアント104の処理の一部を仕分け管理サーバ101が実行するような構成であってもよい。このような別構成の例については、変形例として後述する。または、図1に示した各サーバや仕分けクライアントを1の装置にて構成し、この1の装置にて以下の処理シーケンスを実行させてもよい。
【0038】
ラベルリーダ103は、搬送コンベア302にて搬送されている荷物に付与されているラベルを検出し、そのラベル情報を読み取る(ステップS501)。
【0039】
ラベルリーダ103は、S501にて読み取ったラベル情報を仕分け管理サーバ101へ送信する(ステップS502)。この時送信する情報としては、ラベルにて示される情報の他、読み取った時刻やラベルを読み取る際に検出した位置情報(例えば、三次元情報など)が含まれてもよい。
【0040】
仕分け管理サーバ101は、ラベルリーダ103から送信されてきたラベル情報を取得する(ステップS503)。このとき、仕分け管理サーバ101は、搬送コンベア302に備えられたロータリーエンコーダ303から、検出値を取得して、対応付けて保持する。ロータリーエンコーダ303による検出値は、その回転数に基づく、搬送コンベア302の移動距離に相当する。更に、仕分け管理サーバ101は、取得したラベル情報を用いて、連携サーバ102に対して荷物情報を問い合わせる。
【0041】
連携サーバ102は、仕分け管理サーバ101からの問い合わせにて示されるラベル情報に対応する荷物情報を所定のDB(データベース)から検索し、特定する(ステップS504)。DBは、連携サーバ102が内部に備えていてもよいし、ネットワークを介して連携サーバ102に接続された外部装置(不図示)に構成されていてもよい。
【0042】
連携サーバ102は、ステップS504にて特定した荷物情報を、問い合わせに対する応答として仕分け管理サーバ101へ送信する(ステップS505)。
【0043】
仕分け管理サーバ101は、連携サーバ102から取得した荷物情報に基づき、投影パターンを決定する(ステップS506)。本実施の形態に係る投影パターンは、複数のパターンとして予め規定され、保持されている。投影パターンは、例えば、荷物情報にて示される宛先(例えば、送付先住所)に応じて決定されてよいし、仕分け領域に応じて決定されてもよい。
【0044】
仕分け管理サーバ101は、ステップS506にて決定した投影パターンを含む投影指示を仕分けクライアント104へ送信する(ステップS507)。ここでは、図3にて示したように、搬送経路の最上流に位置する仕分け領域Aに対応するクライアントシステム110aの仕分けクライアント104aに送信するものとして説明する。つまり、各荷物は、まず、仕分け領域Aに向けて搬送される。なお、投影指示には、投影パターンのほか、ステップS506にて取得した荷物情報や、ステップS501にてラベルリーダ103にて読み取ったラベル情報およびその読み取った際の時刻の情報などを含んでよい。ここでの投影指示は、仕分けクライアント104aがセンサ類にて荷物を検出したことに起因して、その荷物に関する情報を問い合わせ、それに応じて仕分け管理サーバ101から仕分けクライアント104aに送信されてよい。または、仕分け管理サーバ101がラベルリーダ103からラベル情報を受信したことに起因して、仕分けクライアント104aに送信されてよい。
【0045】
ステップS520(ステップS508~ステップS515)は、仕分け領域(ここでは、仕分け領域A)内を搬送されている各荷物を監視するためにクライアントシステム110(ここでは、クライアントシステム110a)により繰り返し行われる処理である。ここでは、便宜上、距離センサ106および画像センサ107(ここでは、距離センサ106aおよび画像センサ107a)をまとめて「センサ類」と記載する。
【0046】
センサ類は、仕分け領域A内を撮影し、その画像を取得する(ステップS508)。なお、本実施の形態では、仕分けクライアント104aが、センサ類にて撮影された画像を用いて荷物の検出を行うものとして説明するが、その処理の一部をセンサ類側で実施するような構成であってもよい。例えば、センサ類は、荷物に対応する領域の特定(荷物の有無)や、各荷物の三次元座標(位置)やサイズ(縦、横、高さ)などを検出するような構成であってもよい。
【0047】
センサ類は、取得結果を仕分けクライアント104aに送信する(ステップS509)。このとき、センサ類は、取得した画像に対して所定の処理を行った上で、仕分けクライアント104aに送信してよい。例えば、画像センサ107aの場合、取得した画像情報に対して任意の画像処理(例えば、画像圧縮や補正処理)が行われてよい。
【0048】
仕分けクライアント104aは、ステップS509にてセンサ類から送信された取得結果に基づいて、荷物の検出処理を行う(ステップS510)。具体的には、仕分けクライアント104aは、仕分け領域A内において、搬送コンベア302により搬送されている1または複数の荷物を、センサ類からの取得結果に基づいて特定する。荷物の検出の際の処理は公知の方法を用いてよく、特に限定するものではない。例えば、機械学習による領域分割にて荷物に対応する領域を検出してもよい。または、予め規定されたパターンを用いて、パターンマッチングにより荷物を検出してもよい。
【0049】
仕分けクライアント104aは、ステップS507にて仕分け管理サーバ101から送信された投影指示と、ステップS510の検出結果とに基づいて、各情報の対応付けを行う(ステップS511)。これにより、検出した1または複数の荷物それぞれと、仕分け管理サーバ101から送信された投影指示にて示される各種情報(投影パターン等)が対応付けられる。
【0050】
投影パターンは、例えば、荷物の配送先住所に対応した仕分け場所を示す色を有し、円い枠で囲んだ数字の画像である。ここで、数字は、例えば、仕分けられた荷物を運ぶトラックの番号(トラック自体の番号や駐車場番号など)や、当該トラックなどに搬入されるべき棚や箱などの番号等に対応する。また、数字の画像は、直接的に棚や箱などの番号に対応させるのではなく、ピックアップした荷物を他の場所またはトラック等へ移動させるシューター(不図示)の番号等に対応していてもよい。トラック等の駐車位置は交通状況などに応じて頻繁に変わるため、搬送コンベア302周辺から見た仕分け先を随時対応させることは難しいことがある。そのため、搬送コンベア302と搬送トラック等との間にシューターを挟み、搬送コンベア302周辺ではシューターの番号を投影することで、搬送コンベア302周辺の構成を随時変えなくとも、シューターの出口の配置換えなどで仕分け先の変化に対応することができる。この場合、状況の変化に応じて、投影パターンの内容が切り替えられてもよい。
【0051】
投影パターンとして、数字を表示する他の例としては、配送先住所に対応した郵便番号や、荷物Pをピックアップすべき作業者の番号などであってもよい。また、数字以外の情報を表示する例としては、仕分け方向を示す矢印(搬送コンベア302の搬送方向に対して右または左など)または文字(「左」、「右」など)であってもよい。更に、表示の形態も円い枠で囲んだ数字に限られるものではなく、四角い枠で囲んだ数字(“3”、“359”、“24735”)など様々な構成であってよい。さらに、投影パターンは、枠によって数字または文字を囲むものに限らず、背景を塗りつぶした白抜きの数字または文字であってもよい。また、表示する情報に応じて、丸、三角、四角など表示する数字または文字の形状を切り替えるなどとしてもよい。他にも、表示する情報ごとに個別に対応付けできるような絵を表示するなどとしてもよい。
【0052】
また、投影パターンは静止画像に限らず、アニメーションであってもよい。アニメーションの例としては、上記の各例を点滅させたり、拡大縮小させたり、色を変化させたりしてもよい。また、仕分け方向を反映したアニメーションを投影してもよい。仕分け方向を反映したアニメーションの例としては、仕分け方向に向かって光線または光点等を移動させたり、仕分け方向に向かって投影パターンの全体または一部を形成したり色を変化させたり、仕分け方向に矢印を動かして表示させたりするなどが挙げられる。投影パターンの一部のみをアニメーションの対象とする場合は、数字や矢印などの作業者による仕分け先の判断への影響が大きい部分は変化させず、枠線などの仕分け先の影響の少ない部分を変化させてもよい。ただし、仕分け先の選択肢が少ない場合など、枠線内に投影される数字等の意味よりも仕分け方向を直感的に伝える方が効率的な状況では、固定された枠線内で数字や矢印などを仕分け方向に動かしてもよい。また、アニメーションは繰り返し投影されてもよいし、一度だけ投影されてもよい。
【0053】
また、投影パターンは、仕分け先を示すものには限られず、荷物仕分けシステム100で発生しているエラーや、作業者が荷物を見過ごしてしまった場合の通知等であってもよい。
【0054】
また、投影パターンを荷物に直接投影するのではなく、画像を表示可能な眼鏡を介して、擬似的に、荷物に投影パターンが投影されているかのように作業者に認識させてもよい。つまり、作業者が画像を表示可能な特殊な眼鏡を装着している場合、眼鏡を介して視認される荷物の像に、ここでの投影パターンを重ねあわせてもよい。
【0055】
また、投影パターンは、荷物以外の場所に投影してもよい。例えば、搬送コンベア302の、荷物が存在していない領域に、作業者への一般的な通知内容を投影してもよい。このような通知の例としては、荷物の到着量の増減の予告や、作業の残り時間、作業者への挨拶等が挙げられる。
【0056】
仕分けクライアント104aは、ステップS510にて検出した1または複数の荷物に対する三次元空間内における処理を行う(ステップS512)。ここでの三次元空間内における処理では、搬送経路上における三次元座標系にて、各荷物を三次元形状にて表現するように処理する。なお、センサ類の数や配置によっては、センサ類の死角に位置する面の情報は得られないことがある。この場合、各荷物の三次元形状を一般的な荷物の形状(例えば、直方体形状等)に合致するよう補完してもよい。また、荷物を構成する面のうち、投影画像が投影されるべき面の三次元形状が認識できていれば、指示を投影することができるため、投影対象となる面のみ、または、投影対象となる面を含む面の集合を荷物の三次元形状として表現してもよい。本実施の形態では、投影対象となる面は荷物の上面であるものとするが、側面等であっても構わない。本実施の形態のセンサ類は、最低限、荷物の上面の情報が得られるよう上方に配置されているが、投影対象の面が側面等の場合は、その面に合わせた位置から荷物を撮影する。
【0057】
搬送経路上の三次元座標系については、クライアントシステム110a内において原点及び各座標軸が予め規定されているものとする。また、ラベルリーダ103、および複数のクライアントシステム110それぞれにおける三次元座標系についても、その対応関係が予め対応付けられ、適時調整されているものとする。ここでの複数の三次元座標系は、荷物仕分けシステム100全体で絶対座標系を共有し、その絶対座標系にて対応付けられてもよい。また、複数の三次元座標系は、相対座標系にて対応付けられてもよい。相対座標系を使用する場合は、例えば、荷物仕分けシステム100の上流に位置するクライアントシステム110を基準とし、他のクライアントシステム110が使用する座標系を、基準となるクライアントシステム110との相対的な座標系で定義してもよい。なお、相対座標系の基準となる座標系は、荷物仕分けシステム100内の任意の座標系を使用してよい。例えば、他のクライアントシステムや、センサ群の利用している座標系など、他の座標系であってもよい。なお、本工程の処理は、搬送される荷物の形状やプロジェクタ105の構成などにより高さ方向の調整が不要である場合には、二次元空間、すなわち、平面空間での処理が行われてもよい。
【0058】
仕分けクライアント104aは、ステップS512にて処理された三次元形状の1または複数の荷物それぞれに対応付けられた投影パターンを含む投影画像を描画する(ステップS513)。具体的には、仕分けクライアント104aは、個別の荷物に対する投影パターンの投影位置などを算出し、仕分け領域A全体に対する投影画像を決定する。この投影画像は、一例として、個別の荷物に対応する領域に各荷物向けの投影パターンが含まれ、荷物が存在しない領域には黒色の画像が含まれるような画像である。このような投影画像を用いることで、プロジェクタの数を抑えつつ、多数の荷物に対する投影を同時に行うことができる。なお、一般的なプロジェクタでは、投影対象となる面とプロジェクタとの間の距離が近いほど画像は小さく、遠いほど画像は大きく投影される。そのため、このステップ描画される投影画像における各荷物向けの投影パターンの大きさは、各荷物とプロジェクタとの間の距離が近いほど大きくなるよう調整されてもよい。
【0059】
仕分けクライアント104aは、ステップS513にて決定した投影画像に従って、プロジェクタ105aに投影指示を行う(ステップS514)。
【0060】
プロジェクタ105aは、ステップS514の仕分けクライアント104aからの投影指示に基づいて、仕分け領域Aに対し投影画像の投影を行う(ステップS515)。各荷物は継続的に搬送コンベア302により搬送されているため、搬送が継続される間、ステップS520に示す処理が継続して実行されてよい。
【0061】
(荷物のハンドオーバ処理)
図5では、ラベルリーダ103の読み取り位置よりも搬送方向下流側における最初の(最上流の)仕分け領域Aに着目して処理を説明した。上述したように、搬送コンベア302による搬送経路上においては、複数の仕分け領域が設けられ、その仕分け領域間において各荷物の監視を各クライアントシステム110間で引継ぎ(以下、「ハンドオーバ」とも称する)を行う。
【0062】
図6を用いて、ハンドオーバ処理に関する処理シーケンスを説明する。ここでは、搬送経路上において、仕分け領域Aに対応するクライアントシステム110aと、仕分け領域Aよりも搬送方向下流側に隣接する仕分け領域Bに対応するクライアントシステム110bとの間のハンドオーバ処理を例に挙げて説明する。搬送経路の長さなどに応じて、仕分け領域の数は変動し得るため、ハンドオーバ処理は隣接する仕分け領域に対応するクライアントシステム110間にて適時行われる。なお、クライアントシステム110aについては、図5にて説明した処理シーケンスを同時並行的に行っているものとする。
【0063】
ステップS620(ステップS601~ステップS603)は、仕分け領域A内を搬送されている各荷物を監視するためにクライアントシステム110aにより繰り返し行われる処理である。ここでは、便宜上、距離センサ106aおよび画像センサ107aをまとめてセンサ類Aと記載する。
【0064】
センサ類Aは、仕分け領域A内を撮影し、その画像を取得する(ステップS601)。ここでは、図5にて示したように、仕分けクライアント104a側で、センサ類Aにて撮影された各種画像を用いて荷物の検出を行うものとして説明する。仕分け領域Aに複数の荷物が搬送されている場合には、それぞれの荷物が検出される。クライアントシステム110aの場合、本処理は、図5のステップS508に対応する。
【0065】
センサ類Aは、取得結果を仕分けクライアント104aに送信する(ステップS602)。このとき、センサ類Aは、取得した画像に対して所定の処理を行った上で、仕分けクライアント104aに送信してよい。クライアントシステム110aの場合、本処理は、図5のステップS509に対応する。
【0066】
仕分けクライアント104aは、ステップS602にてセンサ類Aから送信されてきた取得結果に基づいて、荷物の検出を行う(ステップS603)。更に、仕分けクライアント104aは、検出した荷物の搬送情報を仕分け管理サーバ101へ送信する(ステップS603)。具体的には、図5の処理シーケンスにてすでに行われている三次元空間内における処理の結果などに応じて、追跡していた荷物のうち、下流側の仕分け領域(ここでは、仕分け領域B)との境界に近づいている荷物を特定し、その荷物に関する情報を搬送情報として送信してよい。荷物の検出の際の処理は公知の方法を用いてよく、特に限定するものではない。例えば、機械学習による領域分割にて荷物に対応する領域を検出してもよい。または、予め規定されたパターンを用いて、パターンマッチングにより荷物を検出してもよい。
【0067】
ステップS630(ステップS604~ステップS606、ステップS610~ステップS614)は、仕分け領域B内を搬送されている各荷物を監視するためにクライアントシステム110bにより繰り返し行われる処理である。ここでは、便宜上、距離センサ106bおよび画像センサ107bをまとめてセンサ類Bと記載する。
【0068】
センサ類Bは、仕分け領域B内を撮影し、その画像を取得する(ステップS604)。ここでは、仕分け領域Aと同様、仕分けクライアント104b側で、センサ類Bにて撮影された各種画像を用いて荷物の検出を行うものとして説明する。仕分け領域Bに複数の荷物が搬送されている場合には、それぞれの荷物が検出される。
【0069】
センサ類Bは、取得結果を仕分けクライアント104bに送信する(ステップS605)。このとき、センサ類Bは、取得した情報に対して所定の処理を行った上で、仕分けクライアント104bに送信してよい。
【0070】
仕分けクライアント104bは、ステップS605にてセンサ類Bから送信されてきた取得結果に基づいて、荷物の検出を行う(ステップS606)。更に、仕分けクライアント104bは、検出した荷物の搬送情報を仕分け管理サーバ101へ送信する。例えば、検出した荷物のうち、上流側の仕分け領域(ここでは、仕分け領域A)との境界に位置する荷物(すなわち、新たに搬送されてきた荷物)を特定し、その荷物に関する情報(位置やサイズなど)を搬送情報として送信してよい。
【0071】
仕分け管理サーバ101は、ステップS603にて仕分けクライアント104aから送信されてきた搬送情報と、ステップS606にて仕分けクライアント104bから送信されてきた搬送情報とに基づいて、仕分け領域間(ここでは、仕分け領域Aと仕分け領域Bの間)にてハンドオーバがなされる荷物を特定する(ステップS607)。つまり、ある荷物が搬送されることに伴ってその荷物の監視主体がクライアントシステム110aからクライアントシステム110bへとハンドオーバするために、各クライアントシステム110にて検出した仕分け領域間の境界に位置する荷物を、同一の荷物であるとして対応付ける。例えば、仕分け管理サーバ101は、仕分け領域を跨いだ荷物が、管理している荷物情報のうちのいずれに対応するかを特定することで対応付けてよい。
【0072】
仕分け管理サーバ101は、ステップS607の対応付けと、上流側の仕分け領域(ここでは、仕分け領域A)にて用いていた荷物情報とに基づいて、下流の仕分け領域(ここでは、仕分け領域B)における投影パターンを決定する(ステップS608)。本実施の形態に係る投影パターンは、複数のパターンとして予め規定され、保持されている。なお、投影パターンは、上流の仕分け領域(ここでは、仕分け領域A)と同じであってもよいし、同じ荷物であっても搬送中の仕分け領域に応じて切り替えるような構成であってもよい。
【0073】
仕分け管理サーバ101は、ステップS608にて決定した投影パターンを含む投影指示を仕分けクライアント104へ送信する(ステップS609)。ここでは、荷物の監視がハンドオーバされるクライアントシステム110bの仕分けクライアント104bに投影指示が送信される。なお、投影指示には、投影パターンのほか、対応する荷物の荷物情報などを含んでよい。
【0074】
仕分けクライアント104bは、ステップS609にて仕分け管理サーバ101から送信された投影指示と、ステップS606の検出結果とに基づいて、各情報の対応付けを行う(ステップS610)。具体的には、仕分けクライアント104bは、仕分け領域B内において、搬送コンベア302により搬送されている1または複数の荷物を、センサ類Bの検出結果に基づいて特定する。更に、仕分けクライアント104bは、特定した1または複数の荷物それぞれに対し、仕分け管理サーバ101から送信された投影指示に含まれる各種情報を対応付ける。これにより、仕分けクライアント104bによって検出された1または複数の荷物それぞれと、仕分け管理サーバ101から送信された投影指示にて示される各種情報(投影パターン等)が対応付けられる。
【0075】
仕分けクライアント104bは、ステップS610にて特定した1または複数の荷物に対する三次元空間内における処理を行う(ステップS611)。ここでの三次元空間内における処理では、搬送経路上における三次元座標系にて、各荷物を三次元形状にて表現するように処理する。ここでの処理は、図5のステップS512の処理と同一であってよい。
【0076】
仕分けクライアント104bは、ステップS611にて処理された三次元形状の1または複数の荷物それぞれに対応付けられた投影パターンを含む投影画像を描画する(ステップS612)。具体的には、仕分けクライアント104bは、個別の荷物に対する投影パターンの投影位置などを算出し、仕分け領域B全体の投影画像を決定する。ここでの投影画像は、図5にて説明したステップS513と同様の構成であってよい。
【0077】
なお、1の仕分け領域に対応付けて複数のプロジェクタを設置してもよい。例えば、1の仕分け領域を更に細分化して複数のプロジェクタそれぞれが担当する範囲を設定してもよい。この場合、仕分けクライアント104bは、複数のプロジェクタそれぞれに対して、担当範囲に相当する投影画像を生成する。この場合の投影画像の一例としては、担当範囲内に存在する荷物の位置には各荷物向けの投影パターンが含まれ、担当範囲内の荷物の存在しない位置には黒色の画像が含まれる画像が挙げられる。このようにすることで、プロジェクタの性能またはプロジェクタを設置可能な高さの限界などから、一台のプロジェクタでは仕分け領域全体への投影が難しい場合であっても、仕分け領域全体に対する投影を行うことができる。
【0078】
また、各プロジェクタが1つの荷物を担当し、その荷物のみに向けた投影を行うようにしてもよい。この場合、複数のプロジェクタそれぞれは担当する荷物の移動に合わせて照射の角度を変更したり、担当する荷物の位置以外の位置に黒色の画像を投影したりすることで、自身の担当する荷物のみに向けた投影を行う。このようにすることで、複数のプロジェクタそれぞれは、自身の担当する荷物に最適なパラメータを用いた投影を行うことができる。例えば、複数のプロジェクタそれぞれの焦点距離を自動的に調整することができるので、荷物の高さなどにバラつきがある場合であっても、各荷物にピントが合った画像を投影できる。
【0079】
仕分けクライアント104bは、ステップS612にて決定した投影画像に従って、プロジェクタ105bに投影指示を行う(ステップS613)。
【0080】
プロジェクタ105bは、ステップS613の仕分けクライアント104bからの投影指示に基づいて、仕分け領域Bに対し投影画像の投影を行う(ステップS614)。各荷物は継続的に搬送コンベア302により搬送されているため、搬送が継続される間、仕分け領域B以降の監視を担うクライアントシステム110はそれぞれ、ステップS630に示す処理を継続して実行されてよい。
【0081】
[荷物認識]
図7は、本実施形態に係る仕分け領域における荷物の認識を説明するための図である。ここでは、搬送コンベア302の搬送経路上のある仕分け領域701と、その搬送方向上流側および下流側に隣接する仕分け領域702、仕分け領域703を例に挙げて説明する。また、搬送コンベア302により、3つの荷物706、707、708が搬送されているものとする。
【0082】
仕分け領域701と仕分け領域702にはハンドオーバ領域704が設けられる。ハンドオーバ領域704は、仕分け領域701に対応するクライアントシステムと、仕分け領域702に対応するクライアントシステムの両方にてセンサ類による検出が行われる領域である。同様に、仕分け領域701と仕分け領域703にはハンドオーバ領域705が設けられる。ハンドオーバ領域705は、仕分け領域701に対応するクライアントシステム110と、仕分け領域703に対応するクライアントシステム110の両方にてセンサ類による検出が行われる領域である。
【0083】
本実施の形態に係る各仕分け領域では、搬送されている荷物は、その範囲が適時特定される。荷物の範囲を特定することで、荷物のサイズや形状が認識される。ここでの範囲は、荷物の形状と完全に一致する必要はなく、所定のマージンを設けてよい。そして、各荷物の範囲に応じて、各荷物に投影させる投影パターンのサイズや形状、位置が調整される。なお、調整の方法は、特に限定するものではなく、例えば、投影パターンの視認性や作業効率性などを考慮して行われてよい。
【0084】
なお、本実施の形態では、ラベルリーダ103と、画像センサ107とは、異なるものとして説明したが、ラベルリーダ103を画像センサ107の代わりに使用してもよい。具体的には、ラベルリーダ103によって読み取ったラベルの位置を荷物の位置として取り扱い、ラベルの位置に対して投影画像を投影する。ラベルからは荷物の識別情報を得ることができるため、このような構成を採用することにより、クライアントシステム110間で同一の荷物を紐づける処理が不要となる。ただし、ラベルリーダ103が認識可能な領域はラベルの領域に限られるため、荷物全体を追跡可能な画像センサ107による追跡と比べて、投影画像の大きさや投影画像を照射する位置の自由度は低下する。同様に、画像センサ107をラベルリーダ103の代わりに使用してもよい。具体的には、画像センサ107が取得した画像に含まれるラベルの画像からラベル情報を取得してもよい。以下では、特に断らない限り、画像センサ107の撮像画像を用いた荷物の追跡の例を示すが、ラベルリーダ103を画像センサ107の代わりに用いてもよい。
【0085】
[搬送経路全体の管理]
図3図4に示したように、荷物の搬送経路は、複数の仕分け領域により構成される。荷物の搬送状態を適切に監視、管理するためには、搬送経路全体を適切に把握しつつ、各仕分け領域における荷物の搬送状態を管理することが求められる。
【0086】
各仕分け領域の画像情報は、対応するセンサ類から適時取得できる。本実施の形態では、これらの画像情報を連結させて搬送経路全体を表現する全体画像を生成し、管理する。そして、荷物仕分けシステム100は、その全体画像に基づいて各荷物の搬送状態を管理、制御する。
【0087】
図8は、複数の仕分け領域からなる搬送経路の全体のスティッチングの処理のフローチャートである。なお、複数のクライアントシステム110それぞれの構成要素は、同様の処理を行うものとし、ここではまとめて記載する。本処理フローは、荷物の搬送の際に、同時並行的に行われてもよいし、システムの設置時に初期のキャリブレーションとして行われてもよい。
【0088】
ステップS801~ステップS803の処理は、複数のクライアントシステム110それぞれにより実行される処理である。ここでは、便宜上、距離センサ106および画像センサ107をまとめてセンサ類と記載する。
【0089】
センサ類は、対象となる仕分け領域内を撮影し、その画像を取得する(ステップS801)。ここで取得される画像は、画像センサ107による撮影画像の他、距離センサ106による距離画像を含んでよい。
【0090】
センサ類は、取得結果を仕分けクライアント104に送信する(ステップS802)。このとき、センサ類は、取得した画像に対して所定の処理を行った上で、仕分けクライアント104に送信してよい。例えば、画像センサ107の場合、取得した撮影画像に対して任意の画像処理(例えば、画像圧縮や補正処理)が行われてよい。
【0091】
仕分けクライアント104は、ステップS802にてセンサ類から送信されてきた取得結果を更に、仕分け管理サーバ101へ送信する。このとき、センサ類から送信されてきた取得結果に対して、任意の画像処理(例えば、画像圧縮や補正処理)が行われてもよい。
【0092】
仕分け管理サーバ101は、すべてのクライアントシステム110から各仕分け領域の画像を取得する(ステップS804)。
【0093】
仕分け管理サーバ101は、ステップS805にて取得した仕分け領域間のスティッチング処理を行う。図9は、本実施の形態に係るスティッチング処理の概要を説明するための図である。図9において、便宜上、x軸を荷物の搬送方向とし、y軸を搬送コンベア302の幅方向として示す。ここでは2つの仕分け領域に対応した画像901、902を例に挙げて説明する。図7等を用いて説明したように、隣接する仕分け領域は、一部がハンドオーバ領域として重複する。そのため、ここでも画像901と画像902においても、一部が重複して撮影されているものとして説明する。また、本実施の形態において、搬送コンベア302の一部にはスティッチング処理のためのマーカが付されているものとする。ここでは、搬送コンベア302の幅方向のエッジ付近に付されたマーカ903、904を例に挙げて説明する。なお、図7に示したハンドオーバ領域と、スティッチング処理の際に用いる重複した領域は、一致していてもよいし、一部が異なっていてもよい。
【0094】
まず、仕分け管理サーバ101は、各画像において、y軸方向の位置合わせを行う。仕分け管理サーバ101、各画像から搬送コンベア302の幅方向の端部を検出する。図9の場合、上側の端部と、下側の端部が検出される。そして、仕分け管理サーバ101は、その端部が一致するように画像の拡大・縮小を行って調整を行う。搬送コンベア302のサイズは予め規定されているため、この情報に基づいて、調整が行われてもよい。次に、仕分け管理サーバ101は、各画像において、x軸方向の位置合わせを行う。仕分け管理サーバ101は、各画像に含まれるマーカ903、904を検出し、その位置が一致するように画像の配置の調整を行う。上記のスティッチング処理を隣接するすべての画像間で行うことにより、搬送経路全体の空間に対応した搬送経路画像が生成される。更に、仕分け管理サーバ101は、生成した搬送経路画像における座標系を設定することで、搬送経路全体の絶対座標系を規定する。なお、座標系の設定は、画像間の相対座標系として設定されてもよい。
【0095】
上記の例では、スティッチング処理におけるx軸方向の調整の際に、予め付されたマーカを用いて実行した。しかしこの構成に限定するものではなく、隣接する画像中に共通的に含まれるオブジェクトを用いてもよい。例えば、本処理フローを荷物の搬送中に行う場合には、画像に含まれる荷物の中から重複して撮影された荷物を検出し、その荷物の領域をマーカとして用いてもよい。例えば、図9に示す例の場合、3つの荷物905、906、907が搬送されている状態である。この場合において、荷物906は画像901と画像902に重複して含まれている。そこで、荷物906の領域の端部を画像901、902からそれぞれ検出し、そのエッジが一致するように位置合わせを行うことで調整を行ってよい。また、マーカは一方向の調整のみに用いられる構成に限定するものではなく、x軸方向とy軸方向の両方の位置合わせが可能なマーカを用いてもよい。
【0096】
仕分け管理サーバ101は、ステップS805にて設定した座標系の情報を複数の仕分けクライアント104にフィードバックする(ステップS806)。複数の仕分けクライアント104はそれぞれ自身が管理する仕分け領域が異なるため、仕分け管理サーバ101は、複数の仕分けクライアント104それぞれの仕分け領域に合わせて、座標系情報をフィードバックする。
【0097】
仕分けクライアント104は、ステップS806にて仕分け管理サーバ101からフィードバックされた座標系情報を用いて、自身が管理している座標系の設定を調整する。ここでの調整では、例えば、仕分け管理サーバ101から指定される座標値と、仕分けクライアント104にて管理している座標系の値とが一致するように調整する。更に、仕分けクライアント104は、プロジェクタ105の座標系も併せて調整するような構成であってもよい。なお、ここでの調整処理は、設定値を変更することに限定するものではなく、仕分け管理サーバ101から送信されている座標値と、仕分けクライアント104にて管理している座標系の値との誤差をキャリブレーション情報として対応付けて保持するような構成であってもよい。この場合、実際の荷物の搬送時においては、上記のキャリブレーション情報を用いて仕分け管理サーバ101からの座標値を修正することで、精度良く各荷物を特定し、追跡するような構成であってよい。そして、本処理フローを終了する。
【0098】
上述したように、図8の処理フローは荷物の搬送動作時に同時並行的に適時行われてもよいし、システムの設置時に初期設定として行われてもよい。上記の処理により得られた搬送コンベア302の搬送経路全体を仕分け管理サーバ101で管理し、その情報を複数の仕分けクライアント104それぞれにフィードバックする。そして、そのフィードバック情報を用いて、図5図6に示した各処理が行われる。
【0099】
これにより、荷物の搬送における装置間のより精度の良い連携が可能となる。特に、図5のステップS511~ステップS513などの工程において、仕分けクライアント104側で検出された荷物と、仕分け管理サーバ101から送信されてくる座標情報の対応付けを要する処理において対応付けの精度を向上させることが可能となる。その結果、荷物の仕分けをより効率的かつ正確に行うことが可能となる。
【0100】
なお、本実施の形態において、搬送経路全体の画像を生成したが、このとき、搬送経路を三次元形状にて再現して管理してもよい。これにより、搬送経路が平坦な場合の他、仕分けエリアに応じて傾斜がある場合や、搬送中の荷物の形状なども適切に認識することが可能となる。
【0101】
また、仕分け管理サーバ101は、搬送経路全体において搬送されている荷物の搬送状態を管理して制御を行う上で、その管理や制御内容は特に限定するものではない。上述したように、仕分け管理サーバ101は、搬送経路全体における搬送状態に応じて、各荷物に対する投影パターンを制御してもよいし、搬送コンベアの動作を機械的に制御してもよい。そのほか、複数のクライアントシステム110それぞれに対応した制御が行われてもよいし、複数のクライアントシステム110全体に共通する制御が行われてもよい。
【0102】
以上により、実施の形態1に係る荷物仕分けシステム100は、センサ類にて撮影した搬送コンベア302の複数の画像を取得する仕分け管理サーバ101と、複数の画像を用いて、搬送コンベア302の全体画像を生成する仕分け管理サーバ101と、全体画像を用いて、搬送コンベア302にて搬送されている荷物の搬送を制御する仕分け管理サーバ101および仕分けクライアント104を有する。
【0103】
これにより、荷物の仕分けをより効率的かつ正確に行うことが可能となる。特に、複数の仕分けクライアント104と仕分け管理サーバ101との座標系の調整の精度を向上させ、より適切な搬送中の荷物の管理が可能となる。
【0104】
また、仕分け管理サーバ101は、複数の画像のうち、隣接する2つの画像に重複して含まれるオブジェクトに基づいて当該2つの画像間の位置合わせを行う。
【0105】
これにより、複数の画像内に重複して含まれる任意のオブジェクトを用いて画像のスティッチングが可能となる。
【0106】
また、オブジェクトは、搬送コンベア302上に設けられたマーカである。
【0107】
これにより、複数の画像内に重複して含まれる、搬送コンベア302に予め設けられたマーカを用いて画像のスティッチングが可能となる。
【0108】
また、オブジェクトは、搬送経路にて搬送中の荷物である。
【0109】
これにより、複数の画像内に重複して含まれる、搬送コンベア302にて搬送中の荷物の位置を用いて画像のスティッチングが可能となる。また、予め搬送コンベア302にオブジェクトの付与が不要となる。
【0110】
また、仕分け管理サーバ101および仕分けクライアント104は、全体画像を用いて、搬送コンベア302の座標系を設定する。
【0111】
これにより、複数の仕分けクライアント104と仕分け管理サーバ101との座標系の調整の精度を向上させ、より適切な搬送中の荷物の管理が可能となる。
【0112】
また、荷物仕分けシステム100は、搬送コンベア302を構成する複数の仕分け領域それぞれを監視する仕分けクライアント104を含んで構成され、
複数の画像は、前記複数の仕分け領域それぞれの画像である。
【0113】
これにより、搬送コンベア302が巨大な場合でも、複数の仕分けクライアント104それぞれに対応した複数の仕分け領域に分けて制御が可能であり、その際の装置間の連携の精度を向上させることが可能となる。
【0114】
[変形例]
上述したように、図5図6にて示した処理シーケンスにおいて、処理主体を切り替えて構成することも可能である。例えば、クライアントシステム110側の処理負荷を低減させ、仕分け管理サーバ101側でより多くの処理を中央集中的に行うように構成してよい。
【0115】
例えば、クライアントシステム110側の処理である図5のステップS520の処理のうち、ステップS510~ステップS513の処理を仕分け管理サーバ101側で行うような構成であってもよい。すなわち、仕分けクライアント104は、センサ類で検出された情報を仕分け管理サーバ101へ転送する処理、および、仕分け管理サーバ101から取得した情報に基づいてプロジェクタ105に投影指示する処理のみを実行するような構成であってもよい。この場合、仕分け管理サーバ101は、各クライアントシステム110に対して、各クライアントシステムのプロジェクタ105が投影すべき画像を生成し、送信してもよい。この構成では、仕分け管理サーバ101は、クライアントシステム110側で取得された情報に基づいて、搬送中の荷物の検出やその荷物情報の特定などをクライアントシステム110に代わって実行する。つまり、図8に示すスティッチング処理にて生成される搬送経路および搬送中の荷物の状態に基づいて、搬送に係る制御が仕分け管理サーバ101側で適時行われる。
【0116】
同様に、下流側のクライアントシステムの処理である図6のステップS630の処理のうち、ステップS606~ステップS612の処理を仕分け管理サーバ101側で行うように構成することができる。
【0117】
上記のような構成の場合、仕分け管理サーバ101側で、搬送経路全体における荷物の搬送状態を管理可能となる。その結果、クライアントシステム110間の荷物のハンドオーバ処理も省略することが可能となる。つまり、仕分け管理サーバ101側で荷物の搬送状態全体を管理することで、クライアントシステム110は、対応する仕分け領域において新たに搬送されてきた荷物の検出や、搬送中の荷物の監視を行う必要が無くなる。ハンドオーバ処理を省略して、仕分け管理サーバ101が包括的に搬送管理を行うことで、例えば、クライアントシステム110間の追跡誤差やハンドオーバ誤差を抑制することができ、搬送中の荷物の追従精度をより向上させるように構成することが可能となる。
【0118】
なお、仕分け管理サーバ101と、クライアントシステム110との処理の分担は上記に限定するものではない。例えば、複数のクライアントシステム110のうち、特定の仕分け領域に対応するクライアントシステム110は、他のクライアントシステムとは異なる分担がなされてもよい。特定の仕分け領域としては、例えば、搬送経路のうち、最上流の仕分け領域や最下流の仕分け領域、または、分岐が含まれる仕分け領域に対応するクライアントシステム110は、仕分け管理サーバ101との処理分担が、他のクライアントシステム110と異なっていてもよい。
【0119】
また、仕分け管理サーバ101とクライアントシステム110との間の処理分担の構成に応じて、フィードバックされる情報が変更されてよい。例えば、搬送経路全体における座標系を仕分け管理サーバ101側で管理する場合には、クライアントシステム110側で都度のキャリブレーションは必要ないため、これに関する情報は省略されてもよい。また、仕分け管理サーバ101とクライアントシステム110それぞれの処理負荷の他、仕分け管理サーバ101とクライアントシステム110の間の通信負荷などを考慮して処理分担を決定してもよい。
【0120】
<その他の実施形態>
上述した実施の形態において、複数の仕分けクライアント104それぞれは、自身の担当する仕分け領域における荷物の搬送状況を仕分け管理サーバ101にフィードバックしてもよい。これにより、仕分け管理サーバ101は、複数の仕分けクライアント104それぞれにおいて荷物に投影される投影画像を柔軟に切り替えることができ、各仕分け領域で荷物の仕分けを行う作業者に対して柔軟な仕分けの指示(仕分け指示)を行うことができる。
【0121】
複数の仕分けクライアント104それぞれがフィードバックする荷物の搬送状況は、例えば、各仕分け領域に現在存在する荷物の数であってもよい。このフィードバックを受けた仕分け管理サーバ101は、例えば、下流に位置する仕分け領域に多数の荷物が存在している場合、その仕分け領域に新規に搬送される荷物を減らすよう、上流の仕分けクライアントにおける仕分け指示を変更してもよい。具体的には、他の仕分けクライアントに繋がる搬送経路を示す投影画像を荷物に投影し、上流の仕分け領域における作業者によって搬送経路間で荷物を移動させてもよい。
【0122】
これにより、搬送経路全体において搬送状態を管理している際に、下流側の荷物の数、すなわち、混雑状況に応じて、上流側の仕分け指示を切り替え、更なる下流側の混雑を抑制することが可能となる。
【0123】
また、複数の仕分けクライアント104それぞれがフィードバックする荷物の搬送状況は、例えば、各仕分け領域で仕分けにかかった時間であってもよい。この時間は、荷物が対応する仕分け領域に入ってきてから、作業者が拾い上げたことによって仕分け領域外に移動するまでの時間を計測することで得ることができる。この場合も、仕分け管理サーバ101は、例えば、仕分けに時間がかかっている仕分け領域へ新規に搬送される荷物を減らすよう、上流の仕分けクライアント104における仕分け指示を変更してもよい。
【0124】
これにより、搬送経路全体において搬送状態を管理している際に、下流側の荷物の作業時間、すなわち、リアルタイムにおける作業の効率性に応じて、上流側の仕分け指示を切り替え、更なる下流側の混雑を抑制することが可能となる。
【0125】
なお、仕分けクライアント104は、荷物へ画像を投影する機能を備えているので、仕分け管理サーバ101へフィードバックされる情報としては、荷物の数の方が、仕分けに要した時間よりも正確である可能性が高い。ただし、荷物の数の情報には、作業者のパフォーマンスが反映されにくいため、例えば、その仕分け領域に大量の荷物を素早く仕分けできる作業者がいた場合に、搬送する荷物を減らすべきか否かの判断を誤ってしまうおそれがある。したがって、荷物の数と、仕分けに要した時間のどちらをフィードバックするかは荷物仕分けシステム100の利用者の選択によって変更可能としてもよい。
【0126】
また、仕分け管理サーバ101は、同一の荷物であっても上流の仕分けクライアントと下流の仕分けクライアントとで仕分け指示の内容を変更してもよい。例えば、下流で同一の仕分け先に仕分け可能な複数の搬送経路が存在するのであれば、上流では余裕のある搬送経路への仕分けを指示し、下流では同一の仕分け先への仕分けを指示してもよい。また、荷物が上流から下流へ搬送されるまでの間に、当初予定していた仕分け先が変わることも考えられる。例えば、下流での仕分け先がトラック等である場合、上流から下流へ荷物が搬送されるまでの間に、トラックの容量を超える荷物が搭載されてしまった場合には、同一の荷物であっても上流の時点での仕分け先(当初のトラック)と下流の時点での仕分け先(変更後のトラック)を変更する必要がある。この場合、仕分け管理サーバ101は、例えば、仕分けクライアント104から、各仕分け先へ仕分けた荷物の数等のフィードバックを受けることによって、下流の仕分けクライアントでの仕分け指示を変更すべきか否かを判断してもよい。
【0127】
これにより、時々刻々と同一の荷物に対する搬送条件が変わる場合でも、作業者に対する仕分け指示を切り替えて通知することが可能となる。
【0128】
また、上述した1以上の実施の形態の機能を実現するためのプログラムおよびアプリケーションを、ネットワークまたは記憶媒体等を用いてシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。
【0129】
また、1以上の機能を実現する回路(例えば、ASIC(Application Specific Integrated Circuit)、またはFPGA(Field Programmable Gate Array))によって実現してもよい。
【0130】
以上、図面を参照しながら各種の実施形態について説明したが、本開示は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に相当し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【0131】
本開示は、複数の利用者に対して、権利に応じた行動の利便性を向上させることが可能な荷物仕分けシステム、荷物仕分け方法、情報処理装置およびその制御方法として有用である。
【符号の説明】
【0132】
100…荷物仕分けシステム
101…仕分け管理サーバ
102…連携サーバ
103…ラベルリーダ
104…仕分けクライアント
105…プロジェクタ
106…距離センサ
107…画像センサ
110…クライアントシステム
300…荷物
301…ラベル
302…搬送コンベア
303…ロータリーエンコーダ
図1
図2
図3
図4
図5
図6
図7
図8
図9