特開 2024-128528 物品管理システム、物品管理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024128528

(43)【公開日】2024-09-24

(54)【発明の名称】物品管理システム、物品管理方法

(51)【国際特許分類】

   B65G 1/137 20060101AFI20240913BHJP

【ＦＩ】

B65G1/137 F

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023037530

(22)【出願日】2023-03-10

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＱＲコード

(71)【出願人】

【識別番号】519372663

【氏名又は名称】ＨＭＳ株式会社

(72)【発明者】

【氏名】コ シンテイ

【テーマコード（参考）】

3F522

【Ｆターム（参考）】

3F522AA02

3F522BB01

3F522CC01

3F522DD02

3F522DD05

3F522DD23

3F522DD33

3F522EE19

3F522FF03

3F522FF12

3F522GG02

3F522GG03

3F522GG22

3F522GG23

3F522GG32

3F522GG44

3F522HH17

3F522LL42

3F522LL57

(57)【要約】      （修正有）

【課題】統一性のない様々なサイズや種類の物品であっても、効率的に管理することができる物品管理システム、物品管理方法を提供する。
【解決手段】保管エリアに設置された基準マーカの位置及び姿勢に関する基準位置情報を記憶する処理と、ユーザ端末の位置を推定する自己位置推定処理と、ユーザ端末のカメラで前記基準マーカを認識させることにより取得した前記基準位置情報と、基準マーカに対する前記ユーザ端末の相対的な位置及び姿勢に関する相対位置情報とに基づいて、自己位置推定処理で推定したユーザ端末の位置を補正する自己位置補正処理と、自己位置補正処理で補正した前記ユーザ端末の位置情報と、前記ユーザ端末のカメラで認識する物品に付されたＡＲマーカの前記ユーザ端末に対する相対的な位置情報とに基づいて、保管エリアにおける前記物品の位置を推定する物品位置推定処理と、を実行する。
【選択図】図１

【特許請求の範囲】

【請求項1】

物品を保管するための保管エリアに設置された基準マーカの位置及び姿勢に関する基準位置情報を記憶する処理と、
前記保管エリアにおいて物品を管理するユーザが使用するユーザ端末の自己位置推定機能により前記ユーザ端末の位置を推定する自己位置推定処理と、
前記ユーザ端末のカメラで前記基準マーカを認識させることにより取得した前記基準位置情報と、前記基準マーカに対する前記ユーザ端末の相対的な位置及び姿勢に関する相対位置情報とに基づいて、前記自己位置推定処理で推定した前記ユーザ端末の位置を補正する自己位置補正処理と、
前記自己位置補正処理で補正した前記ユーザ端末の位置情報と、前記ユーザ端末のカメラで認識する物品に付されたＡＲマーカの前記ユーザ端末に対する相対的な位置情報とに基づいて、前記保管エリアにおける前記物品の位置を推定する物品位置推定処理と、を実行する、物品管理システム。

【請求項2】

前記制御部は、
保管エリアに新たな物品を保管する際に、該物品に付されたＡＲマーカを前記ユーザ端末のカメラに認識させることにより、前記物品位置推定処理を実行し、
推定した前記物品の位置情報を含む物品保管情報を記憶する処理を実行する、請求項１に記載の物品管理システム。

【請求項3】

前記制御部は、
保管エリアに保管される物品をユーザが取り出す際に、
前記ユーザ端末の位置情報と、前記物品保管情報とに基づいて、指定された物品の保管場所に前記ユーザを誘導するための誘導情報を前記ユーザ端末に出力させる処理、を実行する、請求項１又は２に記載の物品管理システム。

【請求項4】

前記基準マーカは、前記保管エリアの通路の交差点に配置されている、請求項１又は２に記載の物品管理システム。

【請求項5】

前記基準マーカは、前記保管エリアに設けられた保管棚に配置されている、請求項１又は２に記載の物品管理システム。

【請求項6】

前記基準マーカの識別情報が、前記保管棚の識別情報に関連付けて記憶されている、請求項１又は２に記載の物品管理システム。

【請求項7】

前記ユーザ端末は、物品の保管または取り出しに関するタスク情報を出力する出力部を有する、請求項１又は２に記載の物品管理システム。

【請求項8】

前記出力部は、タスク情報に含まれる各タスクの実行状況を示す情報を出力する、請求項７に記載の物品管理システム。

【請求項9】

前記出力部は、タスク情報に含まれるタスクが完了した場合に、タスク完了情報を出力する、請求項１又は２に記載の物品管理システム。

【請求項10】

物品を保管するための保管エリアに設置された基準マーカの位置及び姿勢に関する基準位置情報を記憶する処理と、
前記保管エリアにおいて物品を管理するユーザが使用するユーザ端末の自己位置推定機能により前記ユーザ端末の位置を推定する自己位置推定処理と、
前記ユーザ端末のカメラで前記基準マーカを認識させることにより取得した前記基準位置情報と、前記基準マーカに対する前記ユーザ端末の相対的な位置及び姿勢に関する相対位置情報とに基づいて、前記自己位置推定処理で推定した前記ユーザ端末の位置を補正する自己位置補正処理と、
前記自己位置補正処理で補正した前記ユーザ端末の位置情報と、前記ユーザ端末のカメラで認識する物品に付されたＡＲマーカの前記ユーザ端末に対する相対的な位置情報とに基づいて、前記保管エリアにおける前記物品の位置を推定する物品位置推定処理と、を実行する、物品管理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、物品管理システム、物品管理方法に関する。

【背景技術】

【0002】

従来、様々な物品を管理する倉庫などにおいて、物品が置かれる棚に番号を付与して、棚番号と物品を関連付けて記憶することで、多数の物品を保管したり、必要時に取り出したりすることが知られている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかしながら、例えば、形状、大きさが統一されていない物品を保管する場合には、何をどこに配置したかを記憶しておくために、それぞれの物品の種類や位置をコンピュータに作業者が入力して登録（保存）する必要があり、非効率であった。

【0004】

そこで、本開示は上記技術課題に鑑みてなされたものであり、その目的は、統一性のない様々なサイズや種類の物品であっても、効率的に管理することができる物品管理システム、物品管理方法を提供することである。

【課題を解決するための手段】

【0005】

本開示における物品管理システムは、物品を保管するための保管エリアに設置された基準マーカの位置及び姿勢に関する基準位置情報を記憶する処理と、
前記保管エリアにおいて物品を管理するユーザが使用するユーザ端末の自己位置推定機能により前記ユーザ端末の位置を推定する自己位置推定処理と、
前記ユーザ端末のカメラで前記基準マーカを認識させることにより取得した前記基準位置情報と、前記基準マーカに対する前記ユーザ端末の相対的な位置及び姿勢に関する相対位置情報とに基づいて、前記自己位置推定処理で推定した前記ユーザ端末の位置を補正する自己位置補正処理と、
前記自己位置補正処理で補正した前記ユーザ端末の位置情報と、前記ユーザ端末のカメラで認識する物品に付されたＡＲマーカの前記ユーザ端末に対する相対的な位置情報とに基づいて、前記保管エリアにおける前記物品の位置を推定する物品位置推定処理と、を実行することを特徴とする。

【0006】

本開示における物品管理方法は、物品を保管するための保管エリアに設置された基準マーカの位置及び姿勢に関する基準位置情報を記憶する処理と、
前記保管エリアにおいて物品を管理するユーザが使用するユーザ端末の自己位置推定機能により前記ユーザ端末の位置を推定する自己位置推定処理と、
前記ユーザ端末のカメラで前記基準マーカを認識させることにより取得した前記基準位置情報と、前記基準マーカに対する前記ユーザ端末の相対的な位置及び姿勢に関する相対位置情報とに基づいて、前記自己位置推定処理で推定した前記ユーザ端末の位置を補正する自己位置補正処理と、
前記自己位置補正処理で補正した前記ユーザ端末の位置情報と、前記ユーザ端末のカメラで認識する物品に付されたＡＲマーカの前記ユーザ端末に対する相対的な位置情報とに基づいて、前記保管エリアにおける前記物品の位置を推定する物品位置推定処理と、を実行することを特徴とする。

【発明の効果】

【0007】

本開示によれば、統一性のない様々なサイズや種類の物品であっても、効率的に管理することができる物品管理システム、物品管理方法を提供することが可能となる。

【図面の簡単な説明】

【0008】

【図1】本開示の一実施形態に係る物品管理システムの構成例を示す図である。

【図2】本開示の一実施形態に係るユーザ端末の構成例を示すブロック図である。

【図3】本実施形態に係るサーバの構成例を示すブロック図である。

【図4】本実施形態において自己位置を補正する方法の一例を示すフローチャート図である。

【図5】本実施形態において物品を保管する方法の一例を示すフローチャート図である。

【図6】本実施形態に係るユーザ端末で物品のマーカを読み取る様子を示す図である。

【図7】本実施形態において物品を取り出す方法の一例を示すフローチャート図である。

【図8】本実施形態においてユーザ端末に表示される誘導情報の一例を示す図である。

【図9】本実施形態においてユーザ端末に表示される誘導情報の他の例を示す図である。

【図10】本実施形態においてユーザ端末に表示される指定物品確定情報の一例を示す図である。

【図11】本実施形態においてユーザ端末に表示される指定物品否定情報の一例を示す図である。

【図12】本実施形態においてユーザ端末の他の例を示す図である。

【図13】本実施形態においてタスク情報の一覧を示す図である。

【発明を実施するための形態】

【0009】

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0010】

図１は、本発明の一実施形態に係る物品管理システム１は、ユーザが携帯して使用するユーザ端末１０と、サーバ２０と、を備える。ユーザ端末１０と、サーバ２０とは、ネットワーク３０を介して接続され、通信（情報の送受信）が可能である。

【0011】

＜ユーザ端末＞
本例のユーザ端末１０は、眼鏡型の情報処理端末であるＡＲ（拡張現実）グラスである。ユーザ端末１０は、ＡＲグラス、スマートフォン、タブレット端末等のＡＲ（拡張現実）を表示するＡＲデバイスとすることができる。

【0012】

ユーザ端末１０は、例えば、ＡＲグラス等の眼鏡型、ゴーグル型、頭部装着型の情報処理端末、スマートフォン、ＰＣ、タブレット端末等の情報処理装置の何れか１つまたは２以上の組み合わせである。組み合わせの場合、例えば、頭部に装着するＡＲグラスと、手に持って使用するタブレット端末とが連携（通信）して動作するものであってもよいし、他の組み合わせでもよい。ユーザ端末１０を複数の装置で構成する場合、同一の２以上の装置であっても、異なる種類の２以上の装置の組み合わせであってもよい。例えば、ユーザ端末１０としては、図１２に示すように画像を表示させるためのタブレット端末１１０ａと、カメラやセンサ等を備える手持ちのハスキャナ装置１１０ｂ（３Ｄスキャナ）とが通信ケーブル１１０ｃで有線接続（無線接続でもよい）される構成としてもよい。タブレット端末１１０ａは、各種情報を表示させたり、ユーザの入力を受け付けることができ、スキャナ装置１１０ｂは把持部１１１とヘッド部１１２を有し、カメラやセンサで画像情報等を取得したり、測定したりすることができる。その場合、ユーザは、片方の手でスキャナ装置１１０ｂの把持部１１１を持ち、スキャナ装置のヘッド部１１２に設けられたカメラを物品やＡＲマーカに向けて画像情報、点群データ等を取得し、その画像をタブレット端末１１０ａに表示させたり、画像情報から生成、取得した各種の情報を表示させたりすることができる。そして、荷物を保管する際の登録（記憶）処理や、保管している荷物を取り出すピッキング作業時に、スキャナ装置で物品及びＡＲマーカを撮影することで、物品及びＡＲマーカの３次元位置情報、姿勢情報を登録したり、確認したりすることができる。

【0013】

図２は、ユーザ端末１０の構成の概略を説明するブロック図である。図示のように、ユーザ端末１０は、例えば、制御部１１、記憶部１２、出力部１３、通信部１４、撮像部１５、センサ部１６を備え、これらが互いにバス１７を介して接続される。ユーザ端末１０は、図２の構成の一部のみを備えるものであってもよいし、他の構成を備えてもよい。また、上述のようにＡＲグラスとタブレット端末等の複数の装置（ハードウェア）の組み合わせによって、各機能部が構成されていてもよい。

【0014】

ユーザ端末は、撮像部１５で取得した画像データに含まれる基準マーカ、ＡＲマーカを識別する（つまりＡＲマーカを認識する）ことができ、当該基準マーカに関連付けられた情報（位置情報、姿勢情報、保管棚情報等）、ＡＲマーカに関連付けられた物品の情報を記憶部等から取得することができる。また、ユーザ端末は、撮像部１５で取得した画像データに含まれる基準マーカ、ＡＲマーカの位置情報及び姿勢情報（角度情報）を取得することができる。また、ユーザ端末は、撮像部１５で取得した画像データに基づいて、物品の輪郭を取得したり、物品の種類を推定したり、物品の形状（外形）を推定することができる。

【0015】

制御部１１は、各部間のデータの受け渡しを行うとともに、ユーザ端末１０全体の制御を行うものである。例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサによって実現される。制御部１１は、記憶部１２にアクセス可能であり、記憶部１２に情報を格納したり、記憶部１２から情報を読み出したりすることができる。

【0016】

制御部１１は、記憶部１２に記憶されたプログラムを実行することによって、各種データ（情報）の取得、生成、出力等を行う。制御部１１は、撮像部１５、センサ部１６、サーバ２０等の他の装置から取得した情報と記憶部１２の情報等に基づいて、ＡＲグラスの位置（自己位置）及び姿勢（向き）を推定することができる。

【0017】

記憶部１２は、１つ以上のステップを行うためのプログラム、コード等を記憶しており、制御部１１は、当該プログラム等に従って、各部の動作を制御する。記憶部１２は、システムプログラムが記憶された読取専用の記憶領域である不揮発性記憶装置と、制御部１１による演算処理のワーク領域として使用される書き換え可能な記憶領域である揮発性記憶装置とを有している。不揮発性記憶装置は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュメモリ、ハードディスクなどによって実現され、揮発性記憶装置は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などによって実現される。

【0018】

記憶部１２は、たとえば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。記憶部１２は、撮像部１５やセンサ部１６から取得した各データ、制御部で生成したデータ、及びサーバ２０等の外部装置から受信したデータを記憶することができる。例えば、撮像部１５としての各種カメラで撮像した静止画・動画等の画像データが内蔵メモリ又は外部メモリに記憶されるようにしてもよい。記憶部１２は、基準マーカ、ＡＲマーカに関する情報、物品に関する情報、保管エリアに関する情報、ユーザに関する情報、物品の保管履歴に関する情報、ユーザ端末を使用するユーザの移動履歴、物品搬送履歴を含むユーザ端末使用履歴情報等を記憶することができる。

【0019】

出力部１３は、ユーザ端末が取得した情報や生成した情報を出力することができる。出力部１３は、例えば液晶表示装置などの表示装置を備えている。表示装置は、ＡＲグラスのレンズ部分に設けられてもよい。表示装置としては、例えば、ウェイブガイド形式のディスプレイ（Ｗａｖｅ Ｇｕｉｄｅ Ｄｉｓｐｌａｙ）、各種モニター、タッチパネル等とすることができる。表示装置には、制御部１１により制御される画像が表示される。つまり、出力部１３は、制御部１１が生成した画像を表示させることができる。また、表示装置は、一部または全体が透明または半透明に構成された透明部を有し、当該透明部を通して現実空間の風景を視認しつつ、ヴァーチャル画像をその風景に重ねて表示させることができる。出力部１３は、現実空間の通路に、目的地へ向かうための矢印画像や経路を示す情報を重畳表示させることも可能である。また、出力部１３は、例えば、現在位置、目的地、スタート地点等を示すマップ情報、目的地までの経路画像、目的地の方角、目的地までの距離及び／又は推定時間、スタート地点から現在地点までの距離情報、到着予想時刻、等の情報を出力（画像表示、音声出力等）することができる。出力部１３は、音声を出力するスピーカを備えていてもよいし、音声に連動して、又は音声に変えて、振動を出力する振動出力部を備えていてもよい。出力部１３は、指定された物品の保管場所にユーザを誘導するための誘導情報、ユーザ端末のカメラで認識した物品（ＡＲマーカ）が指定された物品であることを示す指定物品確定情報を出力することができる。

【0020】

出力部１３は、現実空間の画像（例えば後述するマーカ等）が撮像（撮影）された際のＡＲグラスの位置（撮像位置）及び姿勢（撮像方向）に応じたヴァーチャル画像（３Ｄ－ＣＡＤモデル、ＣＧモデル等）を、表示装置のレンズを透過して見える現実空間の風景に重ね合わせて表示させる。なお、出力部１３は、撮像部１５によって撮像された画像にヴァーチャル画像を重ね合わせたＡＲ画像を制御部１１等により生成し、当該ＡＲ画像を表示するようにしてもよい。

【0021】

出力部１３は、タスクに関する情報を出力（画像表示、音声出力）することができる。タスクに関する情報とは、これから行うタスク、又は完了したタスク等を含み、物品を所定位置に保管するタスク、物品を所定位置から取り出す（ピッキングする）タスク、などの１又は複数のタスク情報を含む。タスク情報は、対象物品情報、保管位置情報、タスク識別情報（タスクID）、タスク内容（保管、取り出し等）等を含み、ユーザ端末やサーバの記憶部に記憶される。タスク情報は、ユーザ端末やサーバの入力部を介して、ユーザが登録したり、変更（更新）したりすることができる。

【0022】

図１３は、タスクに関する情報の一例であり、複数のタスクが記憶される。タスク情報は、例えば、タスクＩＤ（識別情報）、タスク内容、物品の情報、位置情報（姿勢情報を含んでもよい）等を含むことができる。また、タスクの順番の情報を含んでもよい。図１３の例では、タスクが登録された順番がタスクを実行する順であるが、これに限られない。出力部１３は、実行するタスクの順番通りに、行うべきタスクをユーザ端末の表示部に表示させるようにしてもよい。タスク情報は、タスクが完了しているか否か、あるいは実行中かを示す情報（実行済、未実行、実行中など）を含んでいてもよい。タスク情報の登録（記憶部への記憶）、変更（更新）等の操作は、サーバの入力部を介してユーザが行うようにしてもよいし、ユーザ端末の入力部を介してユーザが実行してもよい。また、実行すべきタスクの選択についても、サーバ又はユーザ端末から選択することができる。例えば、ユーザ端末またはサーバに表示された登録タスクの中から、実行するタスクを選択入力することで、実行タスクとして設定（記憶部に記憶）させることができる。選択されたタスク情報は、ユーザ端末の出力部に出力（例えばＡＲグラスのレンズに表示）される。これにより、実行タスクをユーザ端末に表示させ、保管エリアに新たな物品を保管したり、保管中の物品を取り出したりすることができる。なお、ユーザ端末またはサーバに表示されるタスクの順番の設定や変更も可能である。

【0023】

図１３の例では、指定された位置に指定された各物品を新たに保管したり、指定された位置から指定物品を取り出すピッキング作業を行ったりする情報を含むことができる。また、「Ｔ０００６」のタスクの内容は、任意の位置（ユーザが決めてよい）に指定された物品を配置して保管するものである。ユーザが物品Ｇを任意の位置に置いて、ユーザ端末で当該物品ＧのＡＲマーカを認識させることで、物品Ｇの識別情報、種別情報と保管した位置情報（姿勢情報を含んでもよい）を取得し、記憶部に記憶させることができる。また、

【0024】

出力部１３は、タスク終了を示す情報を出力することができる。例えば、指定物品を指定した位置に配置して保管作業が終了した際に、「作業完了」、「お疲れ様でした」、「完了おめでとう」といったような作業完了を示すテキストデータ、及び、関連するイメージ画像（くす玉が割れる画像、クラッカーの画像等）、音声（歓声、効果音、音楽等）を出力することができる。

【0025】

通信部１４は、ユーザ端末１０を、インターネットを含むネットワーク３０に接続する。この通信部１４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）といった近距離通信インターフェースを具備するものであってもよい。

【0026】

撮像部１５は、１以上の撮像装置（カメラ）を備えている。制御部１１は、撮像装置によって撮像された静止画または動画の画像データを記憶部１２、サーバ２０等に送ることができる。撮像装置は、例えば、RGBカメラ、VSLAM用の左右一対の魚眼カメラ（fisheye Camera）、ＴｏＦカメラ（Time-of-Flight Camera）等を含むことができる。このような撮像装置は、センサ部１６としても機能し得る。例えば、ＴｏＦカメラ（Time-of-Flight Camera）は、光の飛行時間を測定することで対象物との距離することができるものであり、ＴｏＦセンサとも称される。

【0027】

撮像部１５は、ユーザの操作に応じて、あるいは予め設定された指示情報に基づいて、所定時間にわたって連続した画像を撮像することができる。また、撮像部１５は、ユーザの操作、あるいは予め設定された指示情報に基づいて、非連続的な１時点の画像を撮像することもできる。つまり、撮像部１５は、静止画、動画の撮像が可能である。

【0028】

センサ部１６は、例えば、３軸加速度センサ、３軸ジャイロセンサ、方位センサ、ＧＰＳ等とすることができる。各センサは、各センサが検出した位置、姿勢、移動の速度、加速度等の情報（検出信号）を制御部１１に伝達（入力）することができる。３次元点群データを取得するためのセンサを備える。センサの種類は、パッシブ、アクティブ、三角測量、同軸測量等の各種形式のセンサであってもよい。

【0029】

ユーザ端末は、ユーザからの要求（指示）、選択等の入力情報を受け付ける入力部を備えてもよい。入力部は、例えば、タッチパネル、機械的なスイッチ、カメラを介して指等の身体の一部を認識することによる操作情報取得等、とすることができる。なお、入力部は、アイトラッキング技術を用いた視線入力や、マイク等を用いた音声入力を受け付けるものであってもよい。入力部は、スマートフォン、タブレット端末等の別の情報処理装置からの入力情報を、通信部を介して受信して受け付けるようにしてもよい。入力部は、カメラで撮影した指の動作による入力情報を取得するものであってもよい。例えば、ユーザ端末としてのＡＲグラスのレンズにＡＲ表示されたアイコン画像を、ユーザの指で仮想的にタッチしたり、ピンチしたりする操作を実行することにより、当該アイコンを選択する入力情報を所得することができる。これによれば、ＡＲグラスを装着したユーザの指の動きをカメラで認識して、アイコンとして表示されたタスクの選択（複数の選択肢の中から希望タスクを選択する）、実行タスクの変更操作、タスク完了を示す入力（完了ボタンの選択等）、等の操作することができる。

【0030】

ユーザ端末は、RGBカメラを備える。RGBカメラの焦点距離は、測距センサで取得した距離情報に基づいて設定される。例えば、RGBカメラの焦点距離は、対象物までの距離とすることができ、これによれば、対象物の表面に焦点が設定されるため、対象物の鮮明な画像データを取得することができる。その結果、対象物の鮮明な画像が得られるため、例えば標識（基準マーカ、ＡＲマーカー、ＱＲコード）の読み取り精度、対象物を判別する際の精度が高くなる。

【0031】

ユーザ端末は、VSLAMカメラモジュールを備える。VSLAMカメラモジュールは、カメラで取得した画像データ（映像データ）に基づいて、３次元での自己位置及び自己姿勢を推定する。VSLAMカメラモジュールは、自己位置、姿勢の推定に加え、周囲の環境地図作成も同時に実行することができる。VSLAMカメラモジュールは、一対のステレオカメラを備えていてもよい。ステレオカメラは、２つのカメラを用いて対象物を異なる方向から（同時に）撮影し、撮影した画像から得られる視差情報を利用することで、対象物までの距離を算出することができる。

【0032】

＜サーバ＞
サーバ２０は、システム管理者等が各種サービス等を運営・管理する際に利用する情報処理装置であり、例えば、ワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティング技術によって論理的に実現されてもよい。

【0033】

図３に示すように、サーバ２０は、例えば、制御部２１、記憶部２２、出力部２３、通信部２４、入力部２５を備え、これらが互いにバス２６を介して接続される。サーバ２０は、通信部２４を介してＡＲグラスと通信可能である。サーバ２０は、ＡＲグラス等から各種の要求信号を受信すると、制御部２１においてプログラムによる処理を実行し、処理結果（例えば、生成された画像や音声等）を適宜ＡＲグラス等に送信したり、記憶部２２に記憶したりする。なお、上記プログラムの一部は、ＡＲグラスに送信されてＡＲグラス上で実行されてもよい。

【0034】

制御部２１は、各部間のデータの受け渡しを行うとともに、サーバ２０全体の制御を行うものであり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が所定のメモリ（記憶部）に格納されたプログラムを実行することによって実現される。

【0035】

記憶部２２は、システムプログラムが記憶された読取専用の記憶領域である不揮発性記憶装置と、制御部２１による演算処理のワーク領域として使用される書き換え可能な記憶領域である揮発性記憶装置とを有している。不揮発性記憶装置は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュメモリ、ハードディスクなどによって実現され、揮発性記憶装置は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などによって実現される。

【0036】

記憶部２２は、現実空間に対応するヴァーチャル空間（２次元または３次元仮想空間）に関する情報、ヴァーチャル画像に関する情報、マーカに関する情報、各座標系（現実空間座標系（保管エリア座標系）、ユーザ端末座標系、マーカ座標系、仮想空間座標系）関する情報等を記憶することができる。

【0037】

記憶部２２は、ユーザ端末のカメラ等から受信した情報を記憶することができる。また、記憶部２２は、上記カメラの記憶部１２に記憶された情報を記憶するようにしてもよい。

【0038】

記憶部２２は、１以上の物品に関する情報を記憶する。物品に関する情報は、例えば、物品の識別情報（ID情報）、物品の保管位置、保管姿勢（向き）、物品の種類、属性（例えば、建築資材、芸術品、工具、等）、製造者、所有者、製造日、保管開始日、保管終了予定日、大きさ、重量、色、材質、物品に関連付けられたマーカ情報、物品に関する画像等とすることができるが、これに限られない。

【0039】

記憶部２２は、１以上の保管エリアに関する情報を記憶することができる。保管エリアに関する情報は、保管エリアの２次元マップ情報、３次元マップ情報、障害物の位置、障害物の種類、移動可能領域（通路）情報、出入り口の位置情報、移動制限情報、保管エリアの位置情報（緯度、経度、複数の保管エリア同士の位置関係）、保管エリア内での保管可能領域（１以上の保管区画）情報、等であるが、これに限られない。記憶部２２は、保管エリアに設置された基準マーカの各種情報（後述する識別情報、位置情報、姿勢情報、関連する保管棚情報等）を記憶することができる。

【0040】

記憶部２２は、１以上のユーザ端末に関する情報、ユーザに関する情報を記憶する。ユーザ端末に関する情報は、複数のユーザ端末を使用する場合に、それぞれのユーザ端末の識別情報、性能情報、使用履歴、ユーザ端末に関連付けられたユーザ情報等である。ユーザに関する情報は、ユーザの識別情報、氏名、属性（性別、年齢、住所等）、使用履歴（日付、使用期間、移動経路等）、関連付けられた物品に関する情報等とすることができる。記憶部２２の情報は、ユーザ端末の記憶部に記憶されていてもよい。

【0041】

記憶部２２は、保管エリアで保管されるＡＲマーカを付した物品の位置情報を含む物品保管情報、指定された物品の保管場所にユーザを誘導するための誘導情報、指定された物品であることを示す指定物品確定情報を記憶する。物品、マーカ、ユーザ、通路、出入り口等の各種位置情報は、保管エリアの２次元または３次元の座標系（現実空間座標系及び仮想空間座標系）における２次元座標（ｘ、ｙ）、または３次元座標（ｘ、ｙ、ｚ）で表すことができる。

【0042】

出力部２３は、音声を出力するスピーカ、画像を表示するディスプレイ等で構成される。

【0043】

通信部２４は、サーバ２０を、インターネットを含むネットワーク３０に接続する。この通信部２４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）といった近距離通信インターフェースを具備するものであってもよい。

【0044】

入力部２５は、キーボードやマウス、あるいはタッチパネル等とすることができる。

【0045】

＜マーカ＞
マーカ４０は、保管エリア（保管エリア座標系）で位置及び方向の基準となる基準マーカや物品に付されるマーカとして使用される。マーカ４０は、例えば、ＡＲＵｃｏマーカー、ＡｐｒｉｌＴａｇとすることができるが、これに限られず、ＡＲＴａｇ、ＡＲＴｏｏｌｋｉｔ、ＡＲＴｏｏｌｋｉｔＰｌｕｓ、ＲＵＮＥ－Ｔａｇ、ｒｅａｃＴＩＶｉｓｏｎ等の、他のＡＲマーカ（ＡＲタグ）とすることができる。マーカ４０は、例えば、全体として正方形である。マーカ４０は、複数の正方形をした画素が二次元に配列されたマトリクス構造を有するものであり、各画素が白または黒で表示される。マーカ４０の形状、描かれた図形はこれに限定されない。

【0046】

マーカ４０は、固有の２次元画像が印刷された平面状のシール等で構成され、各マーカ４０は、各種情報に関連付けられている。それぞれのマーカ及び当該マーカに関連付けられる情報は、データベース（記憶部１２、２２等）に記憶される。マーカ４０は、例えば、ユーザ端末１０のカメラで撮像することにより、それぞれのマーカ４０固有の識別情報等を取得することができ、また、ユーザ端末１０のカメラに対する相対的な３次元位置、３次元の姿勢（角度）の情報を取得することができる。なお、ユーザ端末１０のカメラで任意のマーカ４０を撮像する際には、マーカ４０を正面から撮像してもよいし、斜めから撮像してもよく、制御部による画像処理によって、各マーカ４０固有の識別情報、位置、姿勢、関連付けられる物品の情報を取得することができる。

【0047】

ユーザ端末４０は、カメラの撮影範囲に含まれる複数のマーカを同時に認識することができる。例えば、複数の物品をそれぞれ保管エリアの所定位置に置いた状態で、それら複数の物品のマーカをユーザ端末のカメラで同時に撮影し、複数のマーカを認識させると、複数のマーカの識別情報を取得することができ、且つ、当該複数のマーカの位置情報及び姿勢情報をそれぞれ関連付けて記憶することができる。

【0048】

具体的には、例えば、ＡＲグラスのカメラでマーカ４０を撮影すると、ＡＲグラスの記憶部またはサーバの記憶部を参照し、そのマーカ４０に対応する情報を、ＡＲグラスに送信する。これにより、ＡＲグラスの制御部１１がそのマーカ４０に対応する物品情報等を取得することができる。また、例えば、現実空間における位置、姿勢等の情報を関連付けて記憶部２２に記憶させておくことができる。これによれば、カメラでマーカ４０を撮像するだけで、マーカ４０のＩＤに加えて、当該マーカの現実空間における位置、姿勢等の情報を正確に把握することができる。

【0049】

このようなマーカ４０に関する情報は、ＡＲグラスの出力部１３に表示させることができる。ユーザは、ＡＲグラスのカメラでマーカ４０を撮像するだけで、そのマーカ４０のＩＤ、位置、姿勢等の情報を出力部１３から確認することができる。なお、カメラで撮像したマーカ４０の画像に基づいて、そのマーカ４０のＩＤを取得する処理は、（サーバ２０と通信せずに）ユーザ端末のみで一連の処理を行うようにしてもよい。その場合、ユーザ端末の記憶部１２に、マーカ４０に関する情報を予め記憶しておく。

【0050】

図４は、ユーザ端末１０を使用するユーザが、保管エリアで物品を保管する方法の一例を示す。予め、物品を保管するための保管エリアに設置された基準マーカの保管エリア座標系での位置（３次元座標）及び姿勢（３次元角度）に関する基準位置情報を記憶する（Ｓ１）。基準マーカの位置を記憶する場合は、測量装置やユーザ端末を用いて、当該基準マーカの位置及び姿勢を測定し、測定結果としての位置情報及び姿勢情報を、基準マーカの識別情報（マーカID、保管棚番号、保管物品情報等）と関連付けて記憶部に記憶させるようにしてもよい。基準マーカは、例えば保管棚、通路の交差点の床面、壁面、天井、などに設置され、目印（ランドマーク）としても機能する。基準マーカを設置した場所（保管棚、通路の交差点の床面、壁面、天井）に関する情報（場所名、保管棚番号、通路識別情報等）を関連付けて記憶部に記憶するようにしてもよい。

【0051】

保管エリアにおいて物品を管理するユーザが使用するユーザ端末の自己位置推定機能により前記ユーザ端末の位置を推定する自己位置推定処理を実行する（Ｓ２）。自己位置推定は、例えばＶＳＬＡＭモジュール、ＧＮＳＳ（ＧＰＳを含む）等の衛星信号を用いた公知の方法を採用することができる。自己位置推定処理は、所定期間ごとに繰返し実行され、自己位置はそのたびに更新される。

【0052】

そして、ユーザ端末のカメラで基準マーカを撮影して認識させる（Ｓ３）ことにより取得した基準位置情報と、基準マーカに対するユーザ端末の相対的な位置及び姿勢に関する相対位置情報とに基づいて、自己位置推定処理で推定したユーザ端末の位置を補正する自己位置補正処理を実行する（Ｓ４）。このように、基準マーカをユーザ端末で認識することにより正確な基準マーカの位置情報を取得して自己位置を補正することで、自己位置認識の精度を高めることができる。

【0053】

上記のように自己位置を補正した状態で、指定位置に物品を配置して物品を保管したり、指定位置から物品を取り出してピッキングしたりすることができる（Ｓ５）。その際、自己位置補正処理で補正したユーザ端末の位置情報と、ユーザ端末のカメラで認識する物品に付されたＡＲマーカの、ユーザ端末に対する相対的な位置情報と、に基づいて、保管エリアにおける物品の位置を推定する物品位置推定処理を実行する。これにより、自己位置の誤差が少ない状態で、物品の保管位置を精度よく記憶したり、ピッキングする際に、指定した物品に辿り着きやすくなったり、間違った物品を取り出してしまうことを抑制することができる。

【0054】

本実施形態にあっては、物品を保管するための保管エリアに設置された基準マーカの位置及び姿勢に関する基準位置情報を記憶する処理と、前記保管エリアにおいて物品を管理するユーザが使用するユーザ端末の自己位置推定機能により前記ユーザ端末の位置を推定する自己位置推定処理と、前記ユーザ端末のカメラで前記基準マーカを認識させることにより取得した前記基準位置情報と、前記基準マーカに対する前記ユーザ端末の相対的な位置及び姿勢に関する相対位置情報とに基づいて、前記自己位置推定処理で推定した前記ユーザ端末の位置を補正する自己位置補正処理と、前記自己位置補正処理で補正した前記ユーザ端末の位置情報と、前記ユーザ端末のカメラで認識する物品に付されたＡＲマーカの前記ユーザ端末に対する相対的な位置情報とに基づいて、前記保管エリアにおける前記物品の位置を推定する物品位置推定処理と、を実行する。このような構成により、統一性のない様々なサイズや種類の物品であっても、効率的に管理することができる。また、自己位置推定の精度を高めることで、自己位置の誤差が少ない状態で、物品の保管位置を精度よく記憶したり、ピッキングする際に、指定した物品に辿り着きやすくなったり、間違った物品を取り出してしまうことを抑制することができる。

【0055】

本実施形態において、前記制御部は、保管エリアに新たな物品を保管する際に、該物品に付されたＡＲマーカを前記ユーザ端末のカメラに認識させることにより、前記物品位置推定処理を実行し、推定した前記物品の位置情報を含む物品保管情報を記憶する処理を実行するようにしてもよい。このような構成により、効率的に物品の位置情報を登録することができる。この時、基準マーカを参照して位置補正を行うことで、物品の保管位置の精度も高めることができる。カメラで、基準マーカと物品のＡＲマーカを同時に撮影する（撮影範囲に基準マーカと物品のＡＲマーカの両方が含まれるようにする）ことで、自己位置の補正と物品の位置認識、登録処理を並行して実行するようにしてもよい。

【0056】

本実施形態にあっては、前記制御部は、保管エリアに保管される物品をユーザが取り出す際に、前記ユーザ端末の位置情報と、前記物品保管情報とに基づいて、指定された物品の保管場所に前記ユーザを誘導するための誘導情報を前記ユーザ端末に出力させる処理、を実行するようにしてもよい。このような構成により、効率的に物品のピッキング作業を行うことができる。また、基準マーカを参照して自己位置情報を補正することで、物品に確実に辿り着きやすくなる。

【0057】

本実施形態において、前記基準マーカは、前記保管エリアの通路の交差点に配置されているようにしてもよい。このように、保管エリアの重要な位置、頻繁に通る位置、あるいは、確認し易い位置に基準マーカを配置することで、自己位置の精度を高めやすくすることができる。基準マーカは、保管エリアのコーナー部（角部）、保管エリアの中心等に配置してもよい。

【0058】

本実施形態において、前記基準マーカは、前記保管エリアに設けられた保管棚に配置されているようにしてもよい。これによれば、物品の保管位置と近い位置に基準マーカがあるので、自己位置の補正をすると同時に、または直後に、物品（ＡＲマーカ）の位置を推定することができ、物品位置の推定精度を高めることができる。また、保管棚ごとに基準マーカを設置して、各保管棚に保管される物品の情報を関連付けて記憶してもよい。

【0059】

本実施形態において、前記基準マーカの識別情報が、前記保管棚の識別情報に関連付けて記憶されているようにしてもよい。これによれば、自己位置の補正と、保管棚情報（棚番号や保管物品の情報）の確認とを同時に行うことができる。保管棚に設置した基準マーカをユーザ端末で認識することにより、ユーザ端末に保管棚情報（棚番号や保管物品の情報）を表示するようにしてもよい。

【0060】

本実施形態において、前記ユーザ端末は、物品の保管または取り出しに関するタスク情報を出力する出力部を有するようにしてもよい。これによれば、ユーザ端末から出力されるタスク情報に基づいて、ユーザが保管作業、ピッキング作業を実行することができる。

【0061】

本実施形態において、前記出力部は、タスク情報に含まれる各タスクの実行状況を示す情報を出力するようにしてもよい。これによれば、ユーザがタスクの進行状況を容易に把握することができる。

【0062】

本実施形態において、前記出力部は、タスク情報に含まれるタスクの全て又は一部が完了した場合に、タスク完了情報を出力するようにしてもよい。これによれば、ユーザが、タスクの完了を容易に把握することができる。

【0063】

図５は、ユーザ端末１０を使用するユーザが、物品を屋外又は屋内の保管エリアに保管する方法を示す。例えば、予め、物品の情報（種類、属性、サイズ、重量等）とＡＲマーカの情報を関連付けて記憶しておく（Ｓ１１）。そして、物品にマーカを取り付けるとともに保管エリアに設置（保管）する（Ｓ１２）。なお、物品の情報（種類、属性、サイズ、重量等）とＡＲマーカの情報を関連付けて記憶するタイミングは、物品とＡＲマーカを設置するタイミングでもよいし、設置した後のタイミングでもよい。また、１つの物品に１つのＡＲマーカを取り付けてもよいし、複数のＡＲマーカを取り付けてもよい。１つの物品に複数のＡＲマーカを用いる場合、ＡＲマーカが１つだけの場合に比べて、大きい容量の情報を当該物品に関連付けて記憶することができる。その点、情報量に応じて使用するＡＲマーカの数を決めることが好ましく、２つで１セットのＡＲマーカでもよいし、３つで１セットのＡＲマーカとしてもよい。また、物品の前面と背面、といったように、物品の複数個所に同一（同一セット）のＡＲマーカを設けてもよい。

【0064】

ユーザは、物品にマーカ４０を貼り付けるなどして固定するとともに、マーカ４０が通路から見える向きで、保管エリアの任意の場所に置く。ユーザ端末１０は、上記のＶＳＬＡＭモジュール、ＧＮＳＳ等の衛星信号を用いた自己位置推定機能により、常に繰り返し自己位置推定を行い、ユーザ端末の自己位置情報及び姿勢情報を取得し、サーバ２０に送信することができる。

【0065】

また、マーカ４０をユーザ端末のカメラで撮影して認識させることで（Ｓ１３）、当該マーカ４０の位置及び向きを推定し、記憶部に記憶（登録）することができる（Ｓ１４）。作業完了に伴い、ユーザが完了操作をするようにしてもよいし、Ｓ１４が実行されると自動的に作業が完了したとシステムが判定するようにしてもよい。図６は、ユーザ端末を用いて物品に付されたＡＲマーカを認識させる様子を示す。例えば、制御部（１１、２１）は、現実空間上でのユーザ端末のカメラの３次元位置及び向きの情報を取得するとともに、ユーザ端末のカメラに対するマーカの相対的な３次元位置及び３次元角度の情報を取得し、現実空間上でのマーカの３次元位置及び姿勢を算出する。

【0066】

制御部（１１、２１）は、撮影されたマーカ４０の画像データに基づいて、ユーザ端末座標系（カメラ座標系）上でのマーカ４０の３次元の位置、姿勢を算出する。その際、正方形のマーカ４０の何れかの角を構成する１点と、当該１点の角で直行する２辺（エッジ）を参照要素（参照点、参照線）として、マーカ４０の位置と姿勢を決定する。制御部（１１、２１）は、ユーザ端末座標系と、マーカ座標系との３次元の相対的な位置関係（座標変換マトリクス（Ｒ、Ｔ））を算出することもできる。

【0067】

また制御部（１１、２１）は、撮影されたマーカ４０の画像データに基づいて算出した現実空間座標系でのマーカ４０の位置、姿勢の情報を記憶部（１２、２２）に記憶する。なお、制御部（１１、２１）は、位置や形状が既知の物体の画像と、それを撮像したカメラの位置及び姿勢を求める、いわゆるＰｎＰ問題（Perspective n-Point）を解くことで、カメラ及びこれを含むユーザ端末の位置座標（撮像位置座標）及び姿勢を推定することもできる。

【0068】

なお、制御部は、物品を保管エリアに保管する前、保管開始時（つまり、物品を保管エリアに置く際）、または保管開始後に、物品の情報とマーカ情報を関連付けて記憶部に記憶してもよい。ユーザ端末のカメラで撮影した画像データに基づいて、物品に対するマーカの位置及び向きの情報も併せて記憶することも可能である。ユーザ端末で取得した情報に基づいて、ユーザ端末の制御部またはサーバの制御部により、物品の３次元形状、輪郭形状、物品に対する相対的なマーカの位置、及び姿勢情報を取得することができる。

【0069】

これにより、物品およびマーカの保管エリアにおける位置情報及び姿勢情報が、記憶部に記憶される。このような物品およびマーカに関する情報の記憶処理のタイミングは、ユーザがユーザ端末に設けられた登録ボタンを押したり、タッチパネル等に表示される登録ボタンを選択したり、音声入力により登録を要求したりするタイミングであってもよい。あるいは、ユーザ端末のカメラで物品に貼り付けられたマーカを所定時間以上、撮影した場合に、自動的に当該マーカの位置情報等を記憶するようにしてもよい。その場合、ユーザ端末の制御部は、撮影画像にマーカを認識してからの経過時間を測定し、当該経過時間が所定の時間を超えたと判定された場合に、記憶部への記憶処理を実行する。当該記憶処理は、ユーザ端末でもサーバでも、両方で行ってもよい。

【0070】

図７は、保管されている物品を取り出す（ピッキングする）際のフローを例示する。まず、ユーザは、取り出したい物品を指定する（Ｓ２２）。例えば、サーバ装置は、保管されている物品の一覧（物品名称、物品画像等の各種情報の一覧）をユーザ端末等に表示させ、その中からユーザは、取り出したい物品を指定する。また、取り出す物品の指定は、予め設定された順に、サーバ側で自動的に行われるようにしてもよい。あるいは、他の情報処理装置等からの指示に基づいて、取り出す物品が決められるようにしてもよい。

【0071】

制御部は、ユーザ端末の現在位置情報と、物品保管情報とに基づいて、指定された物品の保管場所にユーザを誘導するための誘導情報をユーザ端末に出力させる（Ｓ２１）。

【0072】

誘導情報は、画像情報（静止画、動画）、音声情報の少なくとも何れかを含む。音声の場合、誘導情報として、現在位置から指定物品までの距離（「あと〇ｍです」等）、方向（「右前方です」等）、経路（「次の角を右に曲がります」等）を示す情報を説明する音声をユーザ端末のスピーカから出力する。また、画像の場合、例えばＡＲグラスのレンズ、あるいはタブレット端末の画面等で構成される表示部に、現在位置と指定物品の保管場所を示すマップ情報や、進行方向を示す矢印等の画像を表示させる。

【0073】

図８，９は、ユーザ端末に表示される誘導情報の一例を示す。図８の例では、保管エリアにおけるユーザ（ユーザ端末）の現在位置、１以上の指定物品、移動経路、通路、出入口、目印となる参照物、基準マーカ等を示すマップ情報を示している。図８の例では、レンズを通して見える現実の通路や参照物品等に重ねて、それらを説明するための「通路」「目印」というテキスト表示、矢印で示す進行方向情報、指定物品の保管場所を示す示唆情報を表示させる場合の例を示す。なお、図８，９の例に限られず、誘導情報は、任意の情報を含むものであってもよい。ユーザ端末は、保管エリアを移動する過程において、繰り返し自己位置推定を行っている。そして、基準マーカをユーザ端末のカメラで撮影し、認識させることで、推定した自己位置を補正することができる。具体的には、例えば、基準マーカを認識することで、予め記憶された基準マーカの位置情報及び姿勢情報を取得するとともに、ユーザ端末の制御部が、基準マーカに対するユーザ端末の相対的な位置及び姿勢を算出する。そして、基準マーカの位置情報及び姿勢情報と、基準マーカに対するユーザ端末の相対的な位置及び姿勢の情報とに基づいて、ユーザ端末の位置情報を算出し、補正する。

【0074】

誘導情報によって誘導されたユーザは、指定物品と考えられる物品に付されたＡＲマーカをユーザ端末のカメラで撮影し、認識させる（Ｓ２３）。制御部は、ユーザ端末のカメラで撮影したＡＲマーカと、記憶部に記憶された当該物品のＡＲマーカとを照合（比較）して、一致した場合には、指定された物品であることを示す指定物品確定情報をユーザ端末に出力させる（Ｓ２４）。なお、一致しない場合には、指定された物品ではないことを示す指定物品否定情報をユーザ端末に出力させる。指定物品確定情報及び指定物品否定情報は、それぞれ音声であってもよいし、画像であってもよい。

【0075】

図１０は、指定物品確定情報の一例を示す。図１０の例では、ＡＲグラスのレンズを通して見える物品およびＡＲマーカ（もしくはユーザ端末のカメラで撮影している物品およびＡＲマーカ）に重なるように、指定物品確定情報として、肯定を意図する記号と、「指定された物品です！」というテキスト情報が表示されている。

【0076】

図１１は、指定物品否定情報の一例を示す。図１１の例では、ＡＲグラスのレンズを通して見える物品およびＡＲマーカ（もしくはユーザ端末のカメラで撮影している物品およびＡＲマーカ）に重なるように、指定物品否定情報として、否定を意図する記号と、「指定された物品ではありません！」というテキスト情報が表示されている。

【0077】

上記の通り、本実施形態の物品管理システムは、保管エリアにおいて物品を管理するユーザが使用するユーザ端末のカメラで認識可能なＡＲマーカを付した物品の位置情報を含む物品保管情報を記憶する処理と、前記ユーザ端末の位置情報と、前記物品保管情報とに基づいて、指定された物品の保管場所に前記ユーザを誘導するための誘導情報を前記ユーザ端末に出力させる処理と、前記指定された物品に付された前記ＡＲマーカを前記ユーザ端末のカメラで認識した場合に、前記指定された物品であることを示す指定物品確定情報を前記ユーザ端末に出力させる処理と、を実行する制御部を備える。このような構成により、例えば、保管棚に置くことが難しいサイズや重量の大きい物品、あるいは、形状、大きさが統一されていない物品を保管する場合であっても、どこに何を置いたか、といった情報を、ユーザ端末を介して簡単にユーザに提供することができる。したがって、統一性のない様々なサイズや種類の物品であっても、効率的に管理することができる。また、例えば工場内の工具のように、保管位置が決められている物品の管理にも応用可能である。これらの工具のような物品を使用するたびにユーザ端末のカメラで物品に付されたＡＲマーカを認識させて、その位置を記憶させておけば、物品の紛失や散乱を抑制することもできる。

【0078】

また、本実施形態の物品管理システムにおいて、制御部は、前記保管エリアに配置した物品に付された前記ＡＲマーカを前記ユーザ端末のカメラで撮影した画像データに基づいて、前記ユーザ端末のカメラに対する相対的な前記ＡＲマーカの位置情報及び姿勢情報を推定する処理と、前記ユーザ端末のカメラの位置情報及び姿勢情報と、前記ユーザ端末のカメラに対する相対的な前記ＡＲマーカの位置情報及び姿勢情報と、に基づいて、前記保管エリアにおける前記ＡＲマーカの位置情報及び姿勢情報を推定する処理と、を実行するようにしてもよい。この場合、ＡＲマーカの位置だけでなく、その姿勢（向き）まで把握することができ、物品を保管したり、取り出したりする際の効率を高めることができる。

【0079】

また、本実施形態の物品管理システムにおいて、制御部は、前記保管エリアに配置した複数の物品にそれぞれ付された複数の前記ＡＲマーカを前記ユーザ端末のカメラで同時に撮影した画像データに基づいて、前記保管エリアにおける前記複数のＡＲマーカの位置情報及び姿勢情報を推定する処理と、を実行するようにしてもよい。この場合、複数の物品に関する情報をまとめて登録したり、認識したりすることができ、より効率性を高めることができる。

【0080】

また、本実施形態の物品管理システムにおいて、制御部は、一の物品に付された複数のＡＲマーカを同時に前記ユーザ端末のカメラで認識することにより、前記一の物品の情報を取得するようにしてもよい。この場合、１つの物品に多くの情報を関連付けて記憶することができる。

【0081】

また、本実施形態の物品管理システムにおいて、制御部は、一の物品と、該一の物品に付されたＡＲマーカと、を前記ユーザ端末のカメラで撮影した画像データに基づいて、該一の物品と該ＡＲマーカとを関連付けて前記物品保管情報として記憶する処理を実行するようにしてもよい。この場合、ユーザ端末で物品とＡＲマーカを認識させるだけで、容易に物品とマーカを登録することができる。なお、物品の画像データから当該物品の種類、属性等を推定する場合には、ディープラーニング等の機械学習の処理を制御部が実行するようにしてもよい。

【0082】

また、本実施形態の物品管理システムにおいて、制御部は、前記誘導情報としての音声を前記ユーザ端末から出力させる処理を実行するようにしてもよい。この場合、視界に頼らずに指定物品までユーザを誘導することが可能となる。

【0083】

また、本実施形態の物品管理システムにおいて、制御部は、前記誘導情報としての誘導画像を前記ユーザ端末の表示部に表示させる処理を実行するようにしてもよい。この場合、誘導画像を見るだけで、指定物品までユーザを誘導することが可能となる。

【0084】

また、本実施形態の物品管理システムにおいて、誘導情報は、前記指定された物品の保管場所に向けたユーザの推奨進行方向を示す方向情報を含むようにしてもよい。この場合、指定物品に向かう方向を直観的にユーザに理解させることができる。

【0085】

また、本実施形態の物品管理システムにおいて、誘導情報は、前記保管エリアに対応するマップ上における前記指定された物品の保管場所と、前記ユーザ端末の現在位置とを示すマップ画像情報を含むようにしてもよい。この場合、指定物品の位置と自分の現在位置とを、ユーザに直観的に理解させることができる。

【0086】

また、本実施形態の物品管理システムにおいて、誘導情報は、前記ユーザ端末の現在位置から前記指定された物品の保管場所への推奨経路を前記保管エリアに対応するマップ上で示す経路情報を含むようにしてもよい。この場合、指定物品までの経路を、ユーザに直観的に理解させることができる。

【0087】

また、本実施形態の物品管理システムにおいて、ユーザ端末は、ＡＲグラスであるようにしてもよい。この場合、ＡＲグラスのレンズを通して現実の景色を見ながら、誘導情報等を確認することができ、両手がふさがることがないので、作業もし易い。

【0088】

また、本実施形態の物品管理システムにおいて、ユーザ端末でＡＲマーカが識別できない場合に、認識エラーを示す情報を音声や画像でユーザ端末から出力するようにしてもよい。これらの認識エラーに関する情報は、予め記憶部に記憶される。

【0089】

また、本実施形態の物品管理システムにおいて、保管エリアの中で物品を置くのに不適切な場所、適切な場所の少なくとも何れかを予め登録しておいてもよい。その場合、物品を保管する際に、物品（ＡＲマーカ）の位置情報と、記憶部の不適切な場所の情報を照合し、不適切なに物品が置かれている場合には、アラート情報をユーザ端末から出力させることができる。

【0090】

また、本実施形態の物品管理システムにおいて、基準マーカを作業空間（保管エリア）に配置することで、ARグラス等のユーザ端末を用いたピッキング作業等のタスクを行う際に、任意の基準マーカの近傍から作業を開始することができる。すなわち、基準マーカを読み取ることで自己位置推定の精度を高めることができるので、任意の基準マーカを読み取り可能な位置（近い位置）から各種作業を開始することで、ピッキングしたい物品の荷物まで高い精度で誘導し易くなる。また、作業空間内で統一的にスタート地点から作業開始する必要がなくなるため、無駄な移動を減らすことができる。このような観点から、特に、基準マーカを作業空間（保管エリア）の複数個所に設置することが好ましい。それぞれの基準マーカの近くから作業を開始することで、作業を開始できる位置が増えるので、無駄な移動を減らし易くなる。

【0091】

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

【0092】

本明細書において説明した装置は、単独の装置として実現されてもよく、一部または全部がネットワークで接続された複数の装置（例えばクラウドサーバ）等により実現されてもよい。例えば、サーバの制御部および記憶部は、互いにネットワークで接続された異なるサーバにより実現されてもよい。また、上述の装置、サーバ等で行われる情報処理は、例えば一部でディープラーニングなどの所謂機械学習による処理を含んでもよい。

【0093】

本明細書において説明した装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。本実施形態に係るユーザ端末、サーバの各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

【0094】

また、本明細書においてフローチャート図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

【0095】

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

【0096】

なお、以下のような構成も本開示の技術的範囲に属する。
（項目１）
物品を保管するための保管エリアに設置された基準マーカの位置及び姿勢に関する基準位置情報を記憶する処理と、
前記保管エリアにおいて物品を管理するユーザが使用するユーザ端末の自己位置推定機能により前記ユーザ端末の位置を推定する自己位置推定処理と、
前記ユーザ端末のカメラで前記基準マーカを認識させることにより取得した前記基準位置情報と、前記基準マーカに対する前記ユーザ端末の相対的な位置及び姿勢に関する相対位置情報とに基づいて、前記自己位置推定処理で推定した前記ユーザ端末の位置を補正する自己位置補正処理と、
前記自己位置補正処理で補正した前記ユーザ端末の位置情報と、前記ユーザ端末のカメラで認識する物品に付されたＡＲマーカの前記ユーザ端末に対する相対的な位置情報とに基づいて、前記保管エリアにおける前記物品の位置を推定する物品位置推定処理と、を実行する、物品管理システム。
（項目２）
前記制御部は、
保管エリアに新たな物品を保管する際に、該物品に付されたＡＲマーカを前記ユーザ端末のカメラに認識させることにより、前記物品位置推定処理を実行し、
推定した前記物品の位置情報を含む物品保管情報を記憶する処理を実行する、項目１に記載の物品管理システム。
（項目３）
前記制御部は、
保管エリアに保管される物品をユーザが取り出す際に、
前記ユーザ端末の位置情報と、前記物品保管情報とに基づいて、指定された物品の保管場所に前記ユーザを誘導するための誘導情報を前記ユーザ端末に出力させる処理、を実行する、項目１又は２に記載の物品管理システム。
（項目４）
前記基準マーカは、前記保管エリアの通路の交差点に配置されている、項目１又は２に記載の物品管理システム。
（項目５）
前記基準マーカは、前記保管エリアに設けられた保管棚に配置されている、項目１又は２に記載の物品管理システム。
（項目６）
前記基準マーカの識別情報が、前記保管棚の識別情報に関連付けて記憶されている、項目１又は２に記載の物品管理システム。
（項目７）
前記ユーザ端末は、物品の保管または取り出しに関するタスク情報を出力する出力部を有する、項目１又は２に記載の物品管理システム。
（項目８）
前記出力部は、タスク情報に含まれる各タスクの実行状況を示す情報を出力する、項目７に記載の物品管理システム。
（項目９）
前記出力部は、タスク情報に含まれるタスクが完了した場合に、タスク完了情報を出力する、項目１又は２に記載の物品管理システム。
（項目１０）
物品を保管するための保管エリアに設置された基準マーカの位置及び姿勢に関する基準位置情報を記憶する処理と、
前記保管エリアにおいて物品を管理するユーザが使用するユーザ端末の自己位置推定機能により前記ユーザ端末の位置を推定する自己位置推定処理と、
前記ユーザ端末のカメラで前記基準マーカを認識させることにより取得した前記基準位置情報と、前記基準マーカに対する前記ユーザ端末の相対的な位置及び姿勢に関する相対位置情報とに基づいて、前記自己位置推定処理で推定した前記ユーザ端末の位置を補正する自己位置補正処理と、
前記自己位置補正処理で補正した前記ユーザ端末の位置情報と、前記ユーザ端末のカメラで認識する物品に付されたＡＲマーカの前記ユーザ端末に対する相対的な位置情報とに基づいて、前記保管エリアにおける前記物品の位置を推定する物品位置推定処理と、を実行する、物品管理方法。

【符号の説明】

【0097】

１ 物品管理システム
１０ ユーザ端末
２０ サーバ
３０ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】