特開 2024-126158 情報処理装置、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024126158

(43)【公開日】2024-09-20

(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム

(51)【国際特許分類】

   G06F 3/0481 20220101AFI20240912BHJP

   G06Q 10/087 20230101ALI20240912BHJP

   G06F 3/01 20060101ALI20240912BHJP

   G06T 7/70 20170101ALI20240912BHJP

   G06T 19/00 20110101ALI20240912BHJP

【ＦＩ】

G06F3/0481

G06Q10/087

G06F3/01 510

G06T7/70 Z

G06T19/00 600

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023034368

(22)【出願日】2023-03-07

(71)【出願人】

【識別番号】000232254

【氏名又は名称】日本電気通信システム株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】安達 ゆり

(72)【発明者】

【氏名】高岡 真則

(72)【発明者】

【氏名】上野 悟己

(72)【発明者】

【氏名】青木 教之

(72)【発明者】

【氏名】河野 研二

(72)【発明者】

【氏名】長谷川 貴宏

(72)【発明者】

【氏名】塩崎 達也

【テーマコード（参考）】

5B050

5E555

5L010

5L049

5L096

【Ｆターム（参考）】

5B050AA03

5B050BA04

5B050BA06

5B050BA07

5B050BA13

5B050BA18

5B050BA20

5B050CA00

5B050DA01

5B050EA05

5B050EA07

5B050EA19

5B050FA02

5E555AA64

5E555BA02

5E555BA05

5E555BA06

5E555BA38

5E555BB02

5E555BB05

5E555BB06

5E555BB38

5E555BC08

5E555BE17

5E555CA42

5E555CA44

5E555CB48

5E555CB72

5E555CC22

5E555DA08

5E555DA09

5E555DB39

5E555DB41

5E555DB53

5E555DC09

5E555DC13

5E555DC61

5E555DC63

5E555DD07

5E555EA07

5E555EA12

5E555EA14

5E555EA22

5E555FA00

5L010AA16

5L049AA16

5L096AA06

5L096AA09

5L096CA05

5L096DA02

5L096FA69

5L096GA51

(57)【要約】

【課題】物品を適切に管理できるようにすること。
【解決手段】マーカが付与された物品が撮影された画像と、３次元センサにより前記物品が測定された３次元データを取得する取得部と、前記画像に基づいて前記物品の位置を測定し、前記３次元データに基づいて前記物品の３次元上の存在範囲を測定する測定部と、ユーザの位置及び向きに応じた３次元上の範囲に存在する前記物品に関する情報を前記物品に対応付けてユーザへ表示させる制御部と、を有する情報処理装置が提供される。
【選択図】図４

【特許請求の範囲】

【請求項1】

マーカが付与された物品が撮影された画像と、３次元センサにより前記物品が測定された３次元データを取得する取得部と、
前記画像に基づいて前記物品の位置を測定し、前記３次元データに基づいて前記物品の３次元上の存在範囲を測定する測定部と、
ユーザの位置及び向きに応じた３次元上の範囲に存在する前記物品に関する情報を前記物品に対応付けてユーザへ表示させる制御部と、
を有する情報処理装置。

【請求項2】

前記制御部は、前記ユーザへ表示する表示画面において前記物品が閾値以上の割合が他の物体の陰である場合は前記マーカに基づく前記物品の内容を示す情報を第１態様で前記物品に対応付けて表示させ、前記ユーザへ表示する表示画面において前記物品が閾値以上の割合が他の物体の陰でない場合は前記マーカに基づく前記物品の内容を示す情報を第２態様で前記物品に対応付けて表示させる、
請求項１に記載の情報処理装置。

【請求項3】

前記制御部は、前記ユーザへ表示する表示画面において前記物品が閾値以上の割合が他の物体の陰である場合は、前記物品の領域を示す情報を前記表示画面に重畳させて表示させる、
請求項１または２に記載の情報処理装置。

【請求項4】

前記測定部は、
前記マーカが今回の画像から検出できない場合、以前に検出した前記物品の位置及び前記物品の３次元上の存在範囲に基づいて、現在の前記物品の位置及び前記物品の３次元上の存在範囲を推定する、
請求項１に記載の情報処理装置。

【請求項5】

前記マーカは、ＡｒＵｃｏマーカ、２次元コード、バーコード、及びカメレオンコードの少なくとも一つを含む、
請求項１に記載の情報処理装置。

【請求項6】

前記３次元センサは、ＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ＴｏＦカメラ（Time of Flight Camera）、及びステレオカメラの少なくとも一つを有する、
請求項１に記載の情報処理装置。

【請求項7】

前記制御部は、ユーザ端末に表示される現実世界の画像中の前記物品に対応付けて、前記物品に関する情報を表示させる、
請求項１または２に記載の情報処理装置。

【請求項8】

前記制御部は、ユーザ端末に表示される仮想空間中の前記物品に対応付けて、前記物品に関する情報を表示させる、
請求項１または２に記載の情報処理装置。

【請求項9】

マーカが付与された物品が撮影された画像と、３次元センサにより前記物品が測定された３次元データを取得し、
前記画像に基づいて前記物品の位置を測定し、前記３次元データに基づいて前記物品の３次元上の存在範囲を測定し、
ユーザの位置及び向きに応じた３次元上の範囲に存在する前記物品に関する情報を前記物品に対応付けてユーザへ表示させる、
情報処理方法。

【請求項10】

マーカが付与された物品が撮影された画像と、３次元センサにより前記物品が測定された３次元データを取得し、
前記画像に基づいて前記物品の位置を測定し、前記３次元データに基づいて前記物品の３次元上の存在範囲を測定し、
ユーザの位置及び向きに応じた３次元上の範囲に存在する前記物品に関する情報を前記物品に対応付けてユーザへ表示させる、
処理をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、仮設資機材に付帯された個体識別情報をスマートフォンで撮影し、管理サーバにて個体識別情報に基づいて仮設資機材ごとに数を集計する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－００３６４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１記載の技術では、例えば、物品を適切に管理できない場合があるという問題がある。

【0005】

本開示の目的は、上述した課題を鑑み、物品を適切に管理できる技術を提供することにある。

【課題を解決するための手段】

【0006】

本開示に係る第１の態様では、マーカが付与された物品が撮影された画像と、３次元センサにより前記物品が測定された３次元データを取得する取得部と、前記画像に基づいて前記物品の位置を測定し、前記３次元データに基づいて前記物品の３次元上の存在範囲を測定する測定部と、ユーザの位置及び向きに応じた３次元上の範囲に存在する前記物品に関する情報を前記物品に対応付けてユーザへ表示させる制御部と、を有する情報処理装置が提供される。

【0007】

また、本開示に係る第２の態様では、マーカが付与された物品が撮影された画像と、３次元センサにより前記物品が測定された３次元データを取得し、前記画像に基づいて前記物品の位置を測定し、前記３次元データに基づいて前記物品の３次元上の存在範囲を測定し、ユーザの位置及び向きに応じた３次元上の範囲に存在する前記物品に関する情報を前記物品に対応付けてユーザへ表示させる、情報処理方法が提供される。

【0008】

また、本開示に係る第３の態様では、マーカが付与された物品が撮影された画像と、３次元センサにより前記物品が測定された３次元データを取得し、前記画像に基づいて前記物品の位置を測定し、前記３次元データに基づいて前記物品の３次元上の存在範囲を測定し、ユーザの位置及び向きに応じた３次元上の範囲に存在する前記物品に関する情報を前記物品に対応付けてユーザへ表示させる、処理をコンピュータに実行させるプログラムが提供される。

【発明の効果】

【0009】

一側面によれば、物品を適切に管理できる。

【図面の簡単な説明】

【0010】

【図1】実施形態に係る情報処理装置の構成の一例を示す図である。

【図2】実施形態に係る情報処理システムの構成例を示す図である。

【図3】実施形態に係る情報処理装置のハードウェア構成例を示す図である。

【図4】実施形態に係る情報処理装置の物品を管理する処理の一例を示すフローチャートである。

【図5】実施形態に係る物品ＤＢ（データベース）に記憶される情報の一例を示す図である。

【図6】実施形態に係る情報処理装置の物品の情報をユーザへ表示する処理の一例を示すフローチャートである。

【図7】実施形態に係るユーザ端末の表示画面の一例を示す図である。

【発明を実施するための形態】

【0011】

本開示の原理は、いくつかの例示的な実施形態を参照して説明される。これらの実施形態は、例示のみを目的として記載されており、本開示の範囲に関する制限を示唆することなく、当業者が本開示を理解および実施するのを助けることを理解されたい。本明細書で説明される開示は、以下で説明されるもの以外の様々な方法で実装される。
以下の説明および特許請求の範囲において、他に定義されない限り、本明細書で使用されるすべての技術用語および科学用語は、本開示が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。
以下、図面を参照して、本開示の実施形態を説明する。

【0012】

（実施の形態１）
＜構成＞
図１を参照し、実施形態に係る情報処理装置１０の構成について説明する。図１は、実施形態に係る情報処理装置１０の構成の一例を示す図である。情報処理装置１０は、取得部１１、測定部１２、及び制御部１３を有する。これら各部は、情報処理装置１０にインストールされた１以上のプログラムと、情報処理装置１０のプロセッサ１０１、及びメモリ１０２等のハードウェアとの協働により実現されてもよい。

【0013】

取得部１１は、１以上のそれぞれ異なる各マーカがそれぞれ付与された各物品が撮影された画像と、３次元センサにより各物品が測定された３次元データを取得する。

【0014】

測定部１２は、取得部１１により取得された画像に基づいて１以上の各物品の位置を測定し、取得部１１により取得された３次元データに基づいて各物品の３次元上の存在範囲を測定する。制御部１３は、ユーザの位置及びユーザの向きに応じた３次元上の範囲に存在する各物品に関する情報を各物品に対応付けてユーザへ表示させる。

【0015】

（実施の形態２）
次に、図２を参照し、実施形態に係る情報処理システム１の構成について説明する。
＜システム構成＞
図２は、実施形態に係る情報処理システム１の構成例を示す図である。図２の例では、情報処理システム１は、情報処理装置１０を有する。また、情報処理システム１は、センサ端末２０Ａ、及びセンサ端末２０Ｂ（以下で、区別する必要が無い場合は、単に、「センサ端末２０」とも称する。）を有する。また、情報処理システム１は、ユーザ端末３０Ａ、及びユーザ端末３０Ｂ（以下で、区別する必要が無い場合は、単に、「ユーザ端末３０」とも称する。）を有する。また、情報処理システム１は、物品４０Ａ～Ｃ等（以下で、区別する必要が無い場合は、単に、「物品４０」とも称する。）、物品４０Ａ～Ｃ等のそれぞれに付与されたマーカ４０１Ａ～Ｃ等（以下で、区別する必要が無い場合は、単に、「マーカ４０１」とも称する。）を有する。また、情報処理システム１は、基準点マーカ５０Ａ、及び基準点マーカ５０Ｂ以下で、区別する必要が無い場合は、単に、「基準点マーカ５０」とも称する。）を有する。

【0016】

図２の例では、情報処理装置１０、センサ端末２０、及びユーザ端末３０は、ネットワークＮにより通信できるように接続されている。なお、情報処理装置１０、センサ端末２０、ユーザ端末３０、物品４０、及び基準点マーカ５０等の数は図２の例に限定されない。

【0017】

ネットワークＮの例には、例えば、インターネット、移動通信システム、無線ＬＡＮ（Local Area Network）、ＬＡＮ、及びバス等が含まれる。移動通信システムの例には、例えば、第５世代移動通信システム（５Ｇ）、第６世代移動通信システム（６Ｇ、Ｂｅｙｏｎｄ ５Ｇ）、第４世代移動通信システム（４Ｇ）、第３世代移動通信システム（３Ｇ）等が含まれる。

【0018】

情報処理装置１０は、例えば、サーバ、クラウド、またはパーソナルコンピュータ等の装置である。情報処理装置１０は、例えば、センサ端末２０等を用いて各物品４０の情報を管理し、各物品４０の情報をユーザ端末３０へ通知する。

【0019】

センサ端末２０は、画像を撮影するカメラ（例えば、デジタルカメラ、ＲＧＢカメラ）を有する。また、センサ端末２０は、３次元センサを有する。センサ端末２０の３次元センサは、例えば、ＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ＴｏＦカメラ（Time of Flight Camera）、またはステレオカメラ等でもよい。３次元センサにより測定された３次元データは、例えば、３次元座標を持った点の集合である点群データでもよい。

【0020】

なお、センサ端末２０のカメラと３次元センサとは同一の筐体内に設けられてもよいし、別体でもよい。センサ端末２０は、例えば、天井等に固定されて設置されてもよい。また、センサ端末２０は、例えば、物品４０を移動させる移動体（例えば、自動搬送ロボット、フォークリフト）等に搭載されてもよい。

【0021】

ユーザ端末３０は、例えば、ユーザが所持している、ヘッドマウントディスプレイ（スマートグラス）、パーソナルコンピュータ、スマートフォン、タブレット、等の端末でもよい。ユーザ端末３０は、例えば、情報処理装置１０から受信した情報に基づく表示画面を表示させる。

【0022】

物品４０は、例えば、情報処理装置１０が位置等を管理する対象とする物品である。物品４０は、例えば、工場または倉庫内等に存在する、資材、仕掛品、完成品、廃棄物等でもよい。また、物品４０は、例えば、動物、人物、ロボット等でもよい。

【0023】

マーカ４０１は、例えば、ＡｒＵｃｏマーカ、２次元コード（例えば、ＱＲコード（登録商標））、バーコード、及びカメレオンコード等の少なくとも一つを含んでもよい。なお、ＡｒＵｃｏマーカは、カメラの姿勢推定に使用できるバイナリの正方形のマーカ等でもよい。各物品４０には、例えば、紙等に印刷されたマーカ４０１が予め貼り付けられていてもよい。

【0024】

基準点マーカ５０は、例えば、壁面、または柱等に貼付されたマーカである。基準点マーカ５０は、例えば、ＡｒＵｃｏマーカ、または２次元コード等でもよい。

【0025】

＜ハードウェア構成＞
図３は、実施形態に係る情報処理装置１０のハードウェア構成例を示す図である。図３の例では、情報処理装置１０（コンピュータ１００）は、プロセッサ１０１、メモリ１０２、通信インターフェイス１０３を含む。これら各部は、バス等により接続されてもよい。メモリ１０２は、プログラム１０４の少なくとも一部を格納する。通信インターフェイス１０３は、他のネットワーク要素との通信に必要なインターフェイスを含む。

【0026】

プログラム１０４が、プロセッサ１０１及びメモリ１０２等の協働により実行されると、コンピュータ１００により本開示の実施形態の少なくとも一部の処理が行われる。メモリ１０２は、ローカル技術ネットワークに適した任意のタイプのものであってもよい。メモリ１０２は、非限定的な例として、非一時的なコンピュータ可読記憶媒体でもよい。また、メモリ１０２は、半導体ベースのメモリデバイス、磁気メモリデバイスおよびシステム、光学メモリデバイスおよびシステム、固定メモリおよびリムーバブルメモリなどの任意の適切なデータストレージ技術を使用して実装されてもよい。コンピュータ１００には１つのメモリ１０２のみが示されているが、コンピュータ１００にはいくつかの物理的に異なるメモリモジュールが存在してもよい。プロセッサ１０１は、任意のタイプのものであってよい。プロセッサ１０１は、汎用コンピュータ、専用コンピュータ、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、および非限定的な例としてマルチコアプロセッサアーキテクチャに基づくプロセッサの１つ以上を含んでよい。コンピュータ１００は、メインプロセッサを同期させるクロックに時間的に従属する特定用途向け集積回路チップなどの複数のプロセッサを有してもよい。

【0027】

本開示の実施形態は、ハードウェアまたは専用回路、ソフトウェア、ロジックまたはそれらの任意の組み合わせで実装され得る。いくつかの態様はハードウェアで実装されてもよく、一方、他の態様はコントローラ、マイクロプロセッサまたは他のコンピューティングデバイスによって実行され得るファームウェアまたはソフトウェアで実装されてもよい。

【0028】

本開示はまた、非一時的なコンピュータ可読記憶媒体に有形に記憶された少なくとも１つのコンピュータプログラム製品を提供する。コンピュータプログラム製品は、プログラムモジュールに含まれる命令などのコンピュータ実行可能命令を含み、対象の実プロセッサまたは仮想プロセッサ上のデバイスで実行され、本開示のプロセスまたは方法を実行する。プログラムモジュールには、特定のタスクを実行したり、特定の抽象データ型を実装したりするルーチン、プログラム、ライブラリ、オブジェクト、クラス、コンポーネント、データ構造などが含まれる。プログラムモジュールの機能は、様々な実施形態で望まれるようにプログラムモジュール間で結合または分割されてもよい。プログラムモジュールのマシン実行可能命令は、ローカルまたは分散デバイス内で実行できる。分散デバイスでは、プログラムモジュールはローカルとリモートの両方のストレージメディアに配置できる。

【0029】

本開示の方法を実行するためのプログラムコードは、１つ以上のプログラミング言語の任意の組み合わせで書かれてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、またはその他のプログラム可能なデータ処理装置のプロセッサまたはコントローラに提供される。プログラムコードがプロセッサまたはコントローラによって実行されると、フローチャートおよび／または実装するブロック図内の機能／動作が実行される。プログラムコードは、完全にマシン上で実行され、一部はマシン上で、スタンドアロンソフトウェアパッケージとして、一部はマシン上で、一部はリモートマシン上で、または完全にリモートマシンまたはサーバ上で実行される。

【0030】

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例には、磁気記録媒体、光磁気記録媒体、光ディスク媒体、半導体メモリ等が含まれる。磁気記録媒体には、例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ等が含まれる。光磁気記録媒体には、例えば、光磁気ディスク等が含まれる。光ディスク媒体には、例えば、ブルーレイディスク、ＣＤ（Compact Disc）－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ（Recordable）、ＣＤ－ＲＷ（ReWritable）等が含まれる。半導体メモリには、例えば、ソリッドステートドライブ、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory）等が含まれる。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

【0031】

＜処理＞
＜＜物品４０を管理する処理＞＞
次に、図４及び図５を参照し、実施形態に係る情報処理装置１０の物品４０を管理する処理の一例について説明する。図４は、実施形態に係る情報処理装置１０の物品４０を管理する処理の一例を示すフローチャートである。図５は、実施形態に係る物品ＤＢ（データベース）５０１に記憶される情報の一例を示す図である。なお、図４の処理は、例えば、定期的（例えば、１秒毎）等のタイミングで実行されてもよい。

【0032】

ステップＳ１０１において、取得部１１は、各マーカ４０１が付与（例えば、貼付）された各物品４０が撮影された画像と、３次元センサにより測定された３次元データ（点群データ）と、をセンサ端末２０から取得する。

【0033】

続いて、測定部１２は、取得部１１により取得された画像に基づいて、各物品４０の位置を各マーカ４０１で測定する（ステップＳ１０２）。これにより、物品４０が施設のどの位置にあるかを判別できる。また、物品４０が何段目に積まれているか等も判別できる。

【0034】

ここで、測定部１２は、まず、センサ端末２０のカメラの位置及び姿勢を取得してもよい。この場合、測定部１２は、例えば、基準点マーカ５０の画像に基づいて、センサ端末２０のカメラの位置及び姿勢を測定してもよい。なお、この場合、基準点マーカ５０の位置及び姿勢の情報は、オペレータ（管理者）等により情報処理装置１０へ予め設定されていてもよい。

【0035】

また、測定部１２は、例えば、センサ端末２０の姿勢センサ及び位置センサ（例えば、ＧＰＳ（Global Positioning System）センサ）により測定された、センサ端末２０のカメラの位置及び姿勢をセンサ端末２０から取得してもよい。また、測定部１２は、例えば、オペレータ（管理者）等により情報処理装置１０へ予め設定されている、固定設置式のセンサ端末２０のカメラの位置及び姿勢を取得してもよい。

【0036】

そして、測定部１２は、例えば、推定したセンサ端末２０のカメラの位置及び姿勢と、物品４０に貼付されたマーカ４０１の画像とに基づいて、当該物品４０の位置（物品４０に貼付されたマーカ４０１の位置）を算出してもよい。

【0037】

続いて、測定部１２は、取得部１１により取得された３次元データに基づいて、各物品４０の３次元上の存在範囲を測定する（ステップＳ１０３）。これにより、例えば、マーカ４０１による測位だけでは物品４０の大きさや形状を判別できないが、３次元センサにより測定された３次元データを組み合わせることで、物品４０の位置をより適切に把握できる。

【0038】

ここで、測定部１２は、まず、センサ端末２０の３次元センサの位置及び姿勢を取得してもよい。この場合、測定部１２は、ステップＳ１０２の処理で説明したように、センサ端末２０のカメラの位置及び姿勢を取得してもよい。そして、測定部１２は、センサ端末２０のカメラと３次元センサとの相対的な３次元位置及び姿勢の情報に基づいて、センサ端末２０の３次元センサの位置及び姿勢を算出してもよい。なお、センサ端末２０のカメラと３次元センサとの相対的な３次元位置及び姿勢の情報は、例えば、オペレータ等により情報処理装置１０へ予め設定されていてもよい。

【0039】

そして、測定部１２は、例えば、物体の点群データに基づいて、ＡＩ（Artificial Intelligence）等を用いて、物品４０の３次元空間での領域を検出（推論、推定）してもよい。そして、測定部１２は、例えば、センサ端末２０の３次元センサの位置及び姿勢と、検出した物品４０の３次元空間での領域とに基づいて、物品４０の３次元上の存在範囲を算出してもよい。

【0040】

続いて、制御部１３は、各物品４０の位置、各物品４０の３次元上の存在範囲、各物品４０の内容を物品ＤＢ５０１に記録する（ステップＳ１０４）。なお、物品ＤＢ５０１は、情報処理装置１０の内部の記憶装置に記録されてもよいし、情報処理装置１０の外部の記憶装置に記録されてもよい。

【0041】

図５の例では、物品ＤＢ５０１には、物品ＩＤに対応付けて、物品４０の位置、物品４０の３次元上の存在範囲、物品４０の内容、物品４０に対してユーザ（作業員）が行った操作の履歴、及び物品４０に対してユーザが行うべき操作が記録されている。物品ＩＤは、物品４０の識別情報である。物品ＩＤは、例えば、物品４０に貼付されたマーカ４０１から読み取られてもよい。物品４０の位置は、例えば、物品４０に貼付されたマーカ４０１の緯度及び経度でもよい。

【0042】

物品４０の３次元上の存在範囲を示す情報は、例えば、物品４０の表面上の各点の３次元上の位置を示す点群データでもよい。また、物品４０の３次元上の存在範囲を示す情報には、例えば、物品４０の概略形状を表す特定の３次元モデルと、当該３次元モデルの３次元上の向きを示す情報が含まれてもよい。物品４０の内容には、例えば、物品４０の品名、型番等が含まれてもよい。物品４０の内容を示す情報は、例えば、物品４０に貼付されたマーカ４０１に基づいて取得されてもよい。この場合、物品４０の内容を示す情報は、物品４０に貼付されたマーカ４０１に埋め込まれていてもよいし、物品４０に貼付されたマーカ４０１に埋め込まれている物品ＩＤに基づいて取得されてもよい。

【0043】

物品４０に対してユーザが行った操作の履歴には、例えば、各操作の名称、操作が行われた日時、及び操作を行ったユーザの氏名の組み合わせのデータ（レコード）が含まれてもよい。物品４０に対してユーザが行うべき操作には、例えば、物品４０に対してユーザが行うべき操作の名称、操作が行われるべき日時、及び操作を行うべきユーザの氏名の組み合わせのデータ（レコード）が含まれてもよい。なお、各操作には、例えば、設置、検査、出荷、及び廃棄等が含まれてもよい。物品４０に対してユーザが行った操作の履歴、及び物品４０に対してユーザが行うべき操作は、例えば、ユーザ端末３０でのユーザの操作、または情報処理装置１０のオペレータにより設定されてもよい。

【0044】

（物品４０をトラッキング（追跡する例））
測定部１２は、物品４０に貼付されたマーカ４０１が今回の画像から検出（認識）できない場合、以前に検出した物品４０の位置及び物品４０の３次元上の存在範囲に基づいて、現在の物品４０の位置及び物品４０の３次元上の存在範囲を推定してもよい。

【0045】

この場合、測定部１２は、例えば、現在の３次元データから検出された特定の物品４０の３次元空間での領域と、物品ＤＢ５０１に記録されている各物品４０の３次元上の存在範囲との比較に基づいて、当該特定の物品４０の物品ＩＤを特定してもよい。そして、測定部１２は、例えば、現在の３次元データから検出された特定の物品４０の３次元空間での領域に基づいて、物品ＤＢ５０１に記録されている当該特定の物品４０の位置及び３次元上の存在範囲を更新してもよい。これにより、例えば、マーカ４０１が他の物品等により覆われた（マーカ４０１が他の物体の陰に隠れた）状態で特定の物品４０が移動された場合でも、当該特定の物品４０の位置を把握できる。

【0046】

＜＜物品４０の情報をユーザへ表示する処理＞＞
次に、図６及び図７を参照し、実施形態に係る情報処理装置１０の物品４０の情報をユーザへ表示する処理の一例について説明する。図６は、実施形態に係る情報処理装置１０の物品４０の情報をユーザへ表示する処理の一例を示すフローチャートである。図７は、実施形態に係るユーザ端末３０の表示画面の一例を示す図である。なお、図６の処理は、例えば、ユーザ端末３０がユーザから特定の操作を受け付けた場合に、定期的等のタイミングで実行されてもよい。

【0047】

ステップＳ２０１において、取得部１１は、ユーザの位置を示す情報、及び前記ユーザの向きを示す情報をユーザ端末３０から取得する。

【0048】

（ＡＲ（Augmented Reality）またはＭＲ（Mixed Reality）を用いる場合）
ＡＲまたはＭＲを用いて物品４０に関する情報をユーザへ表示する場合、取得部１１は、例えば、ユーザ端末３０のカメラの位置を、ユーザの位置として取得してもよい。また、取得部１１は、例えば、ユーザ端末３０のカメラの姿勢を、ユーザの向きとして取得してもよい。

【0049】

この場合、ユーザ端末３０は、まず、ユーザ端末３０のカメラの位置及び姿勢を取得してもよい。この場合、ユーザ端末３０は、例えば、壁面、または柱等に貼付された基準点マーカ５０の画像に基づいて、ユーザ端末３０のカメラの位置及び姿勢を測定してもよい。なお、この場合、ユーザ端末３０は、基準点マーカ５０の位置及び姿勢の情報を情報処理装置１０から取得しておいてもよい。

【0050】

また、ユーザ端末３０は、例えば、ユーザ端末３０の姿勢センサ及び位置センサ（例えば、ＧＰＳセンサ）により、ユーザ端末３０のカメラの位置及び姿勢を測定してもよい。

【0051】

（メタバースまたはＶＲ（Virtual Reality）を用いる場合）
メタバースまたはＶＲを用いて物品４０に関する情報をユーザへ表示する場合、取得部１１は、例えば、メタバース上の仮想カメラの位置を、ユーザの位置として取得してもよい。また、取得部１１は、例えば、メタバース上の仮想カメラの姿勢を、ユーザの向きとして取得してもよい。

【0052】

続いて、制御部１３は、ユーザの位置及びユーザの向きに応じた３次元上の範囲に存在する物品４０に関する情報をユーザへ表示させる情報をユーザ端末３０へ送信する（ステップＳ２０２）。これにより、例えば、ＡＲ、ＭＲ、メタバース、またはＶＲ等を用いて、ユーザへ物品４０の情報を提供できる。

【0053】

図７の例では、ユーザ端末３０の表示画面７０１において、物品４０Ａ、物品４０Ｂ等の画像が表示されている。また、制御部１３は、物品４０Ａに対応付けて、物品４０Ａに関する情報の表示オブジェクト７２１を表示させている。また、制御部１３は、物品４０Ｂに対応付けて、物品４０Ｂに関する情報の表示オブジェクト７２２を表示させている。なお、物品４０に関する情報は、物品ＤＢ５０１から取得されてもよい。

【0054】

制御部１３は、ユーザ端末３０において、表示オブジェクト７２１または表示オブジェクト７２２に対する操作がユーザにより行われた場合、当該操作に応答して、物品ＤＢ５０１に記録されている情報を更新してもよい。これにより、例えば、物品ＤＢ５０１に記録されている、物品４０に対してユーザ（作業員）が行った操作の履歴等の情報をユーザが更新できる。

【0055】

制御部１３は、ユーザへ表示する表示画面において、特定の物品４０が閾値以上の割合が他の物体の陰（他の物体に遮られて見えない状態）である場合、マーカ４０１に基づく当該特定の物品４０の内容を示す情報を第１態様で当該特定の物品４０に対応付けて表示させてもよい。一方、制御部１３は、ユーザへ表示する表示画面において特定の物品４０が閾値以上の割合が他の物体の陰ではない場合、マーカ４０１に基づく当該特定の物品４０の内容を示す情報を第２態様で当該特定の物品４０に対応付けて表示させてもよい。これにより、例えば、物品４０が比較的容易に見つかる状態であるか、他の物品４０の陰等に隠れている状態であるのかを把握できる。

【0056】

この場合、制御部１３は、例えば、物品ＤＢ５０１に記録されている各物品４０の３次元上の存在範囲と、ユーザの位置及び向きとに基づいて、特定の物品４０が閾値以上の割合が他の物品４０等の陰となっているか否かを判定してもよい。そして、制御部１３は、図７のような各態様で、表示オブジェクトを表示させてもよい。図７の例では、表示画面７０１において、表に露出している物品４０Ａに関する情報の表示オブジェクト７２１は、枠線が実線で表示されている。一方、陰に隠れている物品４０Ｂに関する情報の表示オブジェクト７２２は、枠線が破線で表示されている。

【0057】

また、制御部１３は、ユーザへ表示する表示画面において、特定の物品４０が閾値以上の割合が他の物体の陰（他の物体に遮られて見えない状態）である場合、当該特定の物品４０の領域を示す情報を表示画面に重畳させて表示させてもよい。これにより、例えば、特定の物品４０が他の物品４０の陰等に隠れている状態の場合に、特定の物品４０を操作するために移動させるべき他の物品４０等をユーザへ容易に把握させることができる。

【0058】

この場合、制御部１３は、図７に示すように当該特定の物品４０の領域を示す情報を表示画面に重畳させて表示させてもよい。図７の例では、表示画面７０１において、一部が物品４０Ａの陰に位置する物品４０Ｂの領域を示す情報オブジェクト７３１を画像の最前面に重畳させて表示させている。図７の例では、制御部１３は、物品４０Ｂの概略形状を表す３次元モデルの輪郭の破線を、情報オブジェクト７３１として表示させている。なお、図７に示すように、制御部１３は、情報オブジェクト７３１の表示態様と、物品４０Ｂに関する情報の表示オブジェクト７２２の表示態様とを同一としてもよい。これにより、例えば、ユーザがより直観的に陰等に隠れている物品４０に関する情報であることを把握できる。なお、図７の例では、情報オブジェクト７３１と、物品４０Ｂに関する情報の表示オブジェクト７２２とは、枠線が破線という同一の表示態様となっている。

【0059】

（ユーザ端末３０での情報の操作について）
ユーザ端末３０は、ユーザが情報に操作を加えたい範囲を指定する操作に応答して、当該範囲内の物品４０に関する情報を情報処理装置１０から取得して特定の表示領域に表示してもよい。当該範囲を指定する操作は、例えば、表示画面上での当該範囲をタップ等する操作、リストから選択する操作、または、表示画面上での当該範囲を指で囲う操作等でもよい。

【0060】

＜その他＞
広大な工場や倉庫等の敷地では、資材、仕掛品、完成品、廃棄物等について、どこに何があるか管理するのが困難な場合がある。例えば、ユーザがハンディーターミナルを手に持ち、物品に付与されているバーコード等をスキャンすることで、在庫の把握や製品ごとの作業指示、必要な部品の在庫の有無などを確認する場合について検討する。この場合、物品が積み上げられている等の場合には、ユーザはハンディーターミナルを物品にかざしてバーコード等をスキャンすることが困難な場合がある。また、スキャンを忘れる等の人為的なミスも比較的起こりやすい。一方、本開示によれば、物品を適切に管理できる。

【0061】

＜変形例＞
情報処理装置１０は、一つの筐体に含まれる装置でもよいが、本開示の情報処理装置１０はこれに限定されない。情報処理装置１０の各部は、例えば１以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。また、情報処理装置１０と、センサ端末２０及びユーザ端末３０の少なくとも一方とを同一の筐体内に収容し、一体の情報処理装置として構成してもよい。また、情報処理装置１０の各機能部の少なくとも一部の処理を、センサ端末２０及びユーザ端末３０の少なくとも一方が実行するようにしてもよい。これらのような情報処理装置１０についても、本開示の「情報処理装置」の一例に含まれる。

【0062】

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

【0063】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
マーカが付与された物品が撮影された画像と、３次元センサにより前記物品が測定された３次元データを取得する取得部と、
前記画像に基づいて前記物品の位置を測定し、前記３次元データに基づいて前記物品の３次元上の存在範囲を測定する測定部と、
ユーザの位置及び向きに応じた３次元上の範囲に存在する前記物品に関する情報を前記物品に対応付けてユーザへ表示させる制御部と、
を有する情報処理装置。
（付記２）
前記制御部は、前記ユーザへ表示する表示画面において前記物品が閾値以上の割合が他の物体の陰である場合は前記マーカに基づく前記物品の内容を示す情報を第１態様で前記物品に対応付けて表示させ、前記ユーザへ表示する表示画面において前記物品が閾値以上の割合が他の物体の陰でない場合は前記マーカに基づく前記物品の内容を示す情報を第２態様で前記物品に対応付けて表示させる、
付記１に記載の情報処理装置。
（付記３）
前記制御部は、前記ユーザへ表示する表示画面において前記物品が閾値以上の割合が他の物体の陰である場合は、前記物品の領域を示す情報を前記表示画面に重畳させて表示させる、
付記１または２に記載の情報処理装置。
（付記４）
前記測定部は、
前記マーカが今回の画像から検出できない場合、以前に検出した前記物品の位置及び前記物品の３次元上の存在範囲に基づいて、現在の前記物品の位置及び前記物品の３次元上の存在範囲を推定する、
付記１に記載の情報処理装置。
（付記５）
前記マーカは、ＡｒＵｃｏマーカ、２次元コード、バーコード、及びカメレオンコードの少なくとも一つを含む、
付記１に記載の情報処理装置。
（付記６）
前記３次元センサは、ＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ＴｏＦカメラ（Time of Flight Camera）、及びステレオカメラの少なくとも一つを有する、
付記１に記載の情報処理装置。
（付記７）
前記制御部は、ユーザ端末に表示される現実世界の画像中の前記物品に対応付けて、前記物品に関する情報を表示させる、
付記１または２に記載の情報処理装置。
（付記８）
前記制御部は、ユーザ端末に表示される仮想空間中の前記物品に対応付けて、前記物品に関する情報を表示させる、
付記１または２に記載の情報処理装置。
（付記９）
マーカが付与された物品が撮影された画像と、３次元センサにより前記物品が測定された３次元データを取得し、
前記画像に基づいて前記物品の位置を測定し、前記３次元データに基づいて前記物品の３次元上の存在範囲を測定し、
ユーザの位置及び向きに応じた３次元上の範囲に存在する前記物品に関する情報を前記物品に対応付けてユーザへ表示させる、
情報処理方法。
（付記１０）
マーカが付与された物品が撮影された画像と、３次元センサにより前記物品が測定された３次元データを取得し、
前記画像に基づいて前記物品の位置を測定し、前記３次元データに基づいて前記物品の３次元上の存在範囲を測定し、
ユーザの位置及び向きに応じた３次元上の範囲に存在する前記物品に関する情報を前記物品に対応付けてユーザへ表示させる、
処理をコンピュータに実行させるプログラム。

【符号の説明】

【0064】

１ 情報処理システム
１０ 情報処理装置
１１ 取得部
１２ 測定部
１３ 制御部
２０ センサ端末
３０ ユーザ端末
４０ 物品
４０１ マーカ
５０ 基準点マーカ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】