特開 2024-79370 情報処理装置、情報処理システム、機器管理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024079370

(43)【公開日】2024-06-11

(54)【発明の名称】情報処理装置、情報処理システム、機器管理方法及びプログラム

(51)【国際特許分類】

   G06F 21/32 20130101AFI20240604BHJP

   H04N 1/00 20060101ALI20240604BHJP

   G06F 21/31 20130101ALI20240604BHJP

   G06F 21/41 20130101ALI20240604BHJP

【ＦＩ】

G06F21/32

H04N1/00 127A

G06F21/31

G06F21/41

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022192278

(22)【出願日】2022-11-30

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100107515

【弁理士】

【氏名又は名称】廣田 浩一

(72)【発明者】

【氏名】中村 葵

(72)【発明者】

【氏名】松浦 熱河

【テーマコード（参考）】

5C062

【Ｆターム（参考）】

5C062AA02

5C062AA05

5C062AA07

5C062AA13

5C062AA29

5C062AB23

5C062AB38

5C062AB40

5C062AC05

5C062AC34

5C062AF08

5C062AF12

(57)【要約】

【課題】第１の電子機器で使用された情報を用いて第２の電子機器を動作させる。
【解決手段】情報処理装置が、第１の電子機器を使用している第１のユーザを撮影した第１の画像を受信する第１画像受信部と、第１の電子機器の使用情報と第１の画像とに基づいて、第１のユーザを特定する第１ユーザ特定部と、第１のユーザが第１の電子機器で入力した認証情報を第１の電子機器から受信する入力情報受信部と、第２の電子機器の操作可能位置に存在している第２のユーザを撮影した第２の画像を受信する第２画像受信部と、第２の画像から第２のユーザを特定する第２ユーザ特定部と、第１のユーザ及び第２のユーザの情報と認証情報とに基づいて、所定の条件を満たす場合に、第２の電子機器に、認証情報又は認証情報中の画面設定情報を用いた動作を指示する動作指示部と、を備える。
【選択図】図６

【特許請求の範囲】

【請求項1】

第１の電子機器、第２の電子機器及び撮影装置とネットワークを介して通信可能な情報処理装置であって、
前記撮影装置から前記第１の電子機器を使用している第１のユーザを撮影した第１の画像を受信する第１画像受信部と、
前記第１の電子機器の使用情報と前記第１の画像とに基づいて、前記第１の電子機器を使用した前記第１のユーザを特定する第１ユーザ特定部と、
前記第１ユーザ特定部によって特定された前記第１のユーザが前記第１の電子機器で入力した認証情報を前記第１の電子機器から受信する入力情報受信部と、
前記撮影装置から前記第２の電子機器の操作可能位置に存在している第２のユーザを撮影した第２の画像を受信する第２画像受信部と、
前記第２の画像から前記第２の電子機器の操作可能位置に存在する前記第２のユーザを特定する第２ユーザ特定部と、
前記第１ユーザ特定部によって特定された前記第１のユーザ及び前記第２ユーザ特定部によって特定された前記第２のユーザの情報と前記認証情報とに基づいて、所定の条件を満たす場合に、前記第２の電子機器に、前記認証情報又は前記認証情報中の画面設定情報を用いた動作を指示する動作指示部と、
を備える情報処理装置。

【請求項2】

第１の電子機器、第２の電子機器及び撮影装置とネットワークを介して通信可能な情報処理装置であって、
前記撮影装置から前記第１の電子機器を使用している第１のユーザを撮影した第１の画像を受信する第１画像受信部と、
前記第１の電子機器の使用情報と前記第１の画像とに基づいて、前記第１の電子機器を使用した前記第１のユーザを特定する第１ユーザ特定部と、
前記第１ユーザ特定部によって特定された前記第１のユーザが前記第１の電子機器を使用した使用情報を前記第１の電子機器から受信する入力情報受信部と、
前記撮影装置から前記第２の電子機器の操作可能位置に存在している第２のユーザを撮影した第２の画像を受信する第２画像受信部と、
前記第２の画像から前記第２の電子機器の操作可能位置に存在する前記第２のユーザを特定する第２ユーザ特定部と、
前記第１ユーザ特定部によって特定された前記第１のユーザ及び前記第２ユーザ特定部によって特定された前記第２のユーザの情報と前記使用情報とに基づいて、所定の条件を満たす場合に、前記第２の電子機器に、前記使用情報を用いた動作を指示する動作指示部と、
を備える情報処理装置。

【請求項3】

前記所定の条件が、前記第１のユーザが前記第１の電子機器で、料金が発生する操作を行った機器操作情報が存在し、かつ、前記料金が未払いである場合に、
前記第２の電子機器に対して指示する前記動作が、前記第１のユーザに提示する請求額に、前記第１の電子機器の利用料金を表示または加算する動作である、
請求項２に記載の情報処理装置。

【請求項4】

前記所定の条件が、前記第１のユーザと同じグループＩＤを持つ他のユーザが、前記第１の電子機器で、料金が発生する操作を行った機器操作情報が存在し、かつ、前記料金が未払いである場合に、
前記第２の電子機器に対して指示する前記動作が、前記第１のユーザに提示する請求額に、前記他のユーザに関する前記第１の電子機器の利用料金を加算して表示する動作、または、前記他のユーザに関する前記第１の電子機器の利用料金を、前記第１のユーザではなく前記他のユーザが支払う旨を示す選択肢を表示する動作である、
請求項２に記載の情報処理装置。

【請求項5】

前記所定の条件が、前記第１のユーザが前記第１の電子機器で、料金が発生する操作を行った機器操作情報が存在し、かつ、前記料金が未払いである場合に、
前記第２の電子機器に対して指示する前記動作が、前記第１のユーザに対する請求額を、支払い済み料金を含めずに表示する動作である、
請求項２に記載の情報処理装置。

【請求項6】

前記所定の条件が、前記第１のユーザが前記第１の電子機器でログインする操作を行った機器操作情報が存在し、前記第１のユーザが前記第１の電子機器で入力した前記認証情報が前記第２の電子機器で認証可能であり、かつ、前記第２の電子機器が未ログインである場合に、
前記第２の電子機器に対して指示する前記動作が、前記第１のユーザが前記第１の電子機器で入力した前記認証情報を用いてログインする動作である、
請求項１に記載の情報処理装置。

【請求項7】

前記所定の条件が、前記第１のユーザと同じグループＩＤを持つ他のユーザが、前記第１の電子機器でログインする操作を行った機器操作情報が存在し、前記他のユーザが前記第１の電子機器で入力した前記認証情報が前記第２の電子機器で認証可能であり、かつ、前記第２の電子機器が未ログインである場合に、
前記第２の電子機器に対して指示する前記動作が、前記他のユーザが前記第１の電子機器で入力した前記認証情報を用いてログインする動作である、
請求項１に記載の情報処理装置。

【請求項8】

前記機器操作情報が、前記第１の電子機器に情報を入力する操作を含む場合に、
前記第２の電子機器に対して指示する前記動作が、前記第１の電子機器に入力された前記情報を表示する旨を示す選択肢を表示する動作である、
請求項６または７に記載の情報処理装置。

【請求項9】

第１の電子機器、第２の電子機器、撮影装置及び情報処理装置がネットワークを介して通信可能な情報処理システムであって、
前記情報処理装置は、
前記撮影装置から前記第１の電子機器を使用している第１のユーザを撮影した第１の画像を受信する第１画像受信部と、
前記第１の電子機器の使用情報と前記第１の画像とに基づいて、前記第１の電子機器を使用した前記第１のユーザを特定する第１ユーザ特定部と、
前記第１ユーザ特定部によって特定された前記第１のユーザが前記第１の電子機器で入力した認証情報を前記第１の電子機器から受信する入力情報受信部と、
前記撮影装置から前記第２の電子機器の操作可能位置に存在している第２のユーザを撮影した第２の画像を受信する第２画像受信部と、
前記第２の画像から前記第２の電子機器の操作可能位置に存在する前記第２のユーザを特定する第２ユーザ特定部と、
前記第１ユーザ特定部によって特定された前記第１のユーザ及び前記第２ユーザ特定部によって特定された前記第２のユーザの情報と前記認証情報とに基づいて、所定の条件を満たす場合に、前記第２の電子機器に、前記認証情報又は前記認証情報中の画面設定情報を用いた動作を指示する動作指示部と、
を備える情報処理システム。

【請求項10】

第１の電子機器、第２の電子機器、撮影装置及び情報処理装置がネットワークを介して通信可能な情報処理システムであって、
前記情報処理装置は、
前記撮影装置から前記第１の電子機器を使用している第１のユーザを撮影した第１の画像を受信する第１画像受信部と、
前記第１の電子機器の使用情報と前記第１の画像とに基づいて、前記第１の電子機器を使用した前記第１のユーザを特定する第１ユーザ特定部と、
前記第１ユーザ特定部によって特定された前記第１のユーザが前記第１の電子機器を使用した使用情報を前記第１の電子機器から受信する入力情報受信部と、
前記撮影装置から前記第２の電子機器の操作可能位置に存在している第２のユーザを撮影した第２の画像を受信する第２画像受信部と、
前記第２の画像から前記第２の電子機器の操作可能位置に存在する前記第２のユーザを特定する第２ユーザ特定部と、
前記第１ユーザ特定部によって特定された前記第１のユーザ及び前記第２ユーザ特定部によって特定された前記第２のユーザの情報と前記使用情報とに基づいて、所定の条件を満たす場合に、前記第２の電子機器に、前記使用情報を用いた動作を指示する動作指示部と、
を備える情報処理システム。

【請求項11】

第１の電子機器、第２の電子機器及び撮影装置とネットワークを介して通信可能なコンピュータが、
前記撮影装置から前記第１の電子機器を使用している第１のユーザを撮影した第１の画像を受信する第１画像受信手順と、
前記第１の電子機器の使用情報と前記第１の画像とに基づいて、前記第１の電子機器を使用した前記第１のユーザを特定する第１ユーザ特定手順と、
前記第１ユーザ特定手順によって特定された前記第１のユーザが前記第１の電子機器で入力した認証情報を前記第１の電子機器から受信する入力情報受信手順と、
前記撮影装置から前記第２の電子機器の操作可能位置に存在している第２のユーザを撮影した第２の画像を受信する第２画像受信手順と、
前記第２の画像から前記第２の電子機器の操作可能位置に存在する前記第２のユーザを特定する第２ユーザ特定手順と、
前記第１ユーザ特定手順によって特定された前記第１のユーザ及び前記第２ユーザ特定手順によって特定された前記第２のユーザの情報と前記認証情報とに基づいて、所定の条件を満たす場合に、前記第２の電子機器に、前記認証情報又は前記認証情報中の画面設定情報を用いた動作を指示する動作指示手順と、
を実行する機器管理方法。

【請求項12】

第１の電子機器、第２の電子機器及び撮影装置とネットワークを介して通信可能なコンピュータが、
前記撮影装置から前記第１の電子機器を使用している第１のユーザを撮影した第１の画像を受信する第１画像受信手順と、
前記第１の電子機器の使用情報と前記第１の画像とに基づいて、前記第１の電子機器を使用した前記第１のユーザを特定する第１ユーザ特定手順と、
前記第１ユーザ特定手順によって特定された前記第１のユーザが前記第１の電子機器を使用した使用情報を前記第１の電子機器から受信する入力情報受信手順と、
前記撮影装置から前記第２の電子機器の操作可能位置に存在している第２のユーザを撮影した第２の画像を受信する第２画像受信手順と、
前記第２の画像から前記第２の電子機器の操作可能位置に存在する前記第２のユーザを特定する第２ユーザ特定手順と、
前記第１ユーザ特定手順によって特定された前記第１のユーザ及び前記第２ユーザ特定手順によって特定された前記第２のユーザの情報と前記使用情報とに基づいて、所定の条件を満たす場合に、前記第２の電子機器に、前記使用情報を用いた動作を指示する動作指示手順と、
を実行する機器管理方法。

【請求項13】

第１の電子機器、第２の電子機器及び撮影装置とネットワークを介して通信可能なコンピュータに、
前記撮影装置から前記第１の電子機器を使用している第１のユーザを撮影した第１の画像を受信する第１画像受信手順と、
前記第１の電子機器の使用情報と前記第１の画像とに基づいて、前記第１の電子機器を使用した前記第１のユーザを特定する第１ユーザ特定手順と、
前記第１ユーザ特定手順によって特定された前記第１のユーザが前記第１の電子機器で入力した認証情報を前記第１の電子機器から受信する入力情報受信手順と、
前記撮影装置から前記第２の電子機器の操作可能位置に存在している第２のユーザを撮影した第２の画像を受信する第２画像受信手順と、
前記第２の画像から前記第２の電子機器の操作可能位置に存在する前記第２のユーザを特定する第２ユーザ特定手順と、
前記第１ユーザ特定手順によって特定された前記第１のユーザ及び前記第２ユーザ特定手順によって特定された前記第２のユーザの情報と前記認証情報とに基づいて、所定の条件を満たす場合に、前記第２の電子機器に、前記認証情報又は前記認証情報中の画面設定情報を用いた動作を指示する動作指示手順と、
を実行させるためのプログラム。

【請求項14】

第１の電子機器、第２の電子機器及び撮影装置とネットワークを介して通信可能なコンピュータに、
前記撮影装置から前記第１の電子機器を使用している第１のユーザを撮影した第１の画像を受信する第１画像受信手順と、
前記第１の電子機器の使用情報と前記第１の画像とに基づいて、前記第１の電子機器を使用した前記第１のユーザを特定する第１ユーザ特定手順と、
前記第１ユーザ特定手順によって特定された前記第１のユーザが前記第１の電子機器を使用した使用情報を前記第１の電子機器から受信する入力情報受信手順と、
前記撮影装置から前記第２の電子機器の操作可能位置に存在している第２のユーザを撮影した第２の画像を受信する第２画像受信手順と、
前記第２の画像から前記第２の電子機器の操作可能位置に存在する前記第２のユーザを特定する第２ユーザ特定手順と、
前記第１ユーザ特定手順によって特定された前記第１のユーザ及び前記第２ユーザ特定手順によって特定された前記第２のユーザの情報と前記使用情報とに基づいて、所定の条件を満たす場合に、前記第２の電子機器に、前記使用情報を用いた動作を指示する動作指示手順と、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、情報処理装置、情報処理システム、機器管理方法及びプログラムに関する。

【背景技術】

【0002】

クラウドコンピューティングにおいて、ソフトウェアを連携してシングルサインオンを実現する技術がある。例えば、特許文献１には、複数のサービスで共通の認証基盤を利用することで、あるサービスで認証されたユーザが他のサービスでの認証を省略することができる発明が開示されている。

【0003】

電子機器等のハードウェアによる認証において、各ハードウェアの認証処理を関連付ける技術がある。例えば、特許文献２には、機密情報を扱う領域への入退室を管理するシステムと、当該領域内にある電子機器とを連携することで、入退室管理システムにおいて認証されたユーザでなければ電子機器での認証を許可しない発明が開示されている。

【0004】

ハードウェア間の連携では、ユーザの同一性を判定することが困難である。特許文献２に開示された発明は、電子機器での認証において入退室管理システムの認証状態を利用しているが、ユーザはそれぞれで認証操作を行う必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

この発明の一実施形態は、第１の電子機器で使用された情報を用いて第２の電子機器を動作させることを目的とする。

【課題を解決するための手段】

【0006】

この発明の一実施形態である情報処理装置は、第１の電子機器、第２の電子機器及び撮影装置とネットワークを介して通信可能な情報処理装置であって、前記撮影装置から前記第１の電子機器を使用している第１のユーザを撮影した第１の画像を受信する第１画像受信部と、前記第１の電子機器の使用情報と前記第１の画像とに基づいて、前記第１の電子機器を使用した前記第１のユーザを特定する第１ユーザ特定部と、前記第１ユーザ特定部によって特定された前記第１のユーザが前記第１の電子機器で入力した認証情報を前記第１の電子機器から受信する入力情報受信部と、前記撮影装置から前記第２の電子機器の操作可能位置に存在している第２のユーザを撮影した第２の画像を受信する第２画像受信部と、前記第２の画像から前記第２の電子機器の操作可能位置に存在する前記第２のユーザを特定する第２ユーザ特定部と、前記第１ユーザ特定部によって特定された前記第１のユーザ及び前記第２ユーザ特定部によって特定された前記第２のユーザの情報と前記認証情報とに基づいて、所定の条件を満たす場合に、前記第２の電子機器に、前記認証情報又は前記認証情報中の画面設定情報を用いた動作を指示する動作指示部と、を備える。

【発明の効果】

【0007】

この発明の一実施形態によれば、第１の電子機器で使用された情報を用いて第２の電子機器を動作させることができる。

【図面の簡単な説明】

【0008】

【図1】一実施形態における機器管理システムの全体構成の一例を示す図である。

【図2】一実施形態におけるコンピュータのハードウェア構成の一例を示す図である。

【図3】一実施形態における全天球撮影装置のハードウェア構成の一例を示す図である。

【図4】一実施形態におけるＭＦＰのハードウェア構成の一例を示す図である。

【図5】一実施形態におけるセルフサービスターミナル／電子黒板のハードウェア構成の一例を示す図である。

【図6】一実施形態における機器管理システムの機能構成の一例を示す図である。

【図7】一実施形態における状態管理情報の一例を示す図である。

【図8】一実施形態における第１の基本フローチャートの一例を示す図である。

【図9】一実施形態における第２の基本フローチャートの一例を示す図である。

【図10】一実施形態における機器管理方法の一例を示す図である。

【図11】一実施形態における物体状態更新処理の一例を示す図である。

【図12】一実施形態における検知物体リスト作成処理の一例を示す図である。

【図13】一実施形態における登録物体リスト更新処理の一例を示す図である。

【図14】一実施形態における登録物体リスト更新処理の一例を示す図である。

【図15】一実施形態におけるグループＩＤ付与処理の第１の例を示す図である。

【図16】一実施形態におけるグループＩＤ付与処理の第２の例を示す図である。

【図17】一実施形態における機器状態更新処理の一例を示す図である。

【図18】一実施形態における出力情報決定処理の一例を示す図である。

【図19】一実施形態における出力条件判定処理の一例を示す図である。

【図20】一実施形態における機器出力情報の第１の例を示す図である。

【図21】一実施形態における機器出力情報の第２の例を示す図である。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら、この発明の実施の形態について、詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

【0010】

［実施形態］
本発明の一実施形態は、複数の電子機器を管理する機器管理システムである。本実施形態における機器管理システムは、ある電子機器で入力された情報を用いた動作を他の電子機器に指示することで、電子機器間の連携を実現する。

【0011】

従来、ハードウェア間の連携では、同一のデバイス（例えば、ＩＣ（Integrated Circuit）カード又は携帯情報端末等）を所持していることによりユーザの同一性を判定していた。その結果、ハードウェア間で連携しても、各ハードウェアでの認証操作は必要であった。ソフトウェア連携によるシングルサインオンでは、あるサービスで認証されたユーザが他のサービスにアクセスする場合、同一の装置から操作が行われるため、ユーザの同一性を容易に判定することができる。

【0012】

本実施形態における機器管理システムは、管理装置が、複数の電子機器が設置された空間を撮影した画像に基づいて、電子機器間を移動する人物を追跡する。これにより、管理装置は、ある電子機器を操作したユーザと、他の電子機器の近傍にいるユーザとの同一性を判定することができる。

【0013】

ユーザの同一性を判定できれば、ある電子機器で入力された情報を用いた動作を、他の電子機器に実行させることができる。例えば、ユーザが近傍にいる電子機器で、当該ユーザが他の電子機器で入力した認証情報を用いた認証を行えば、ハードウェア連携によるシングルサインオンを実現することができる。認証を行わない場合でも、撮影した画像に基づいて人物の同一性を確認できれば、同一人物が使用したハードウェア間で機器設定情報やデータを連携できる。

【0014】

＜機器管理システムの全体構成＞
まず、本実施形態における機器管理システムの全体構成について、図１を参照しながら説明する。図１は、本実施形態における機器管理システムの全体構成の一例を示す図である。

【0015】

図１に示されているように、本実施形態における機器管理システム１は、管理装置１０、１台以上の監視装置２０及び複数の電子機器３０（第１の電子機器、第２の電子機器の例）を含む。管理装置１０、監視装置２０及び電子機器３０は、それぞれ通信ネットワークＮ１に接続している。

【0016】

通信ネットワークＮ１は、接続されている各装置が相互に通信可能となるように構成されている。通信ネットワークＮ１は、例えば、インターネット、ＬＡＮ（Local Area Network）、又はＷＡＮ（Wide Area Network）などの有線通信によるネットワークによって構築されている。

【0017】

通信ネットワークＮ１は、有線通信だけでなく、例えば、無線ＬＡＮ、又は近距離無線通信等の無線通信、もしくはＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）、ＬＴＥ（Long Term Evolution）、又は５Ｇ（5th Generation）等の移動体通信によるネットワークが含まれていてもよい。

【0018】

監視装置２０及び電子機器３０は、管理対象空間Ｒ１に設置される。管理対象空間Ｒ１は、建物内の部屋等の１つの空間でもよいし、扉又は廊下等の出入り可能な空間で接続された複数の空間でもよい。

【0019】

管理対象空間Ｒ１の一例は、コンビニエンスストア等の小規模店舗における売り場又はバックヤード等である。管理対象空間Ｒ１の他の一例は、オフィスの会議室又は執務室等である。管理対象空間Ｒ１の他の一例は、ホテルのロビー又は客室等である。管理対象空間Ｒ１の他の一例は、空港、書店又は工場等である。管理対象空間Ｒ１はこれらに限定されず、複数のユーザが操作し得る電子機器が設置される空間であればどのようなものでもよい。

【0020】

管理装置１０は、電子機器３０を管理するＰＣ（Personal Computer）、ワークステーション又はサーバ等の情報処理装置である。管理装置１０は、監視装置２０が取得した画像に基づいて、電子機器３０に動作指示を送信する。管理装置１０の一例は、コンピュータである。

【0021】

監視装置２０は、管理対象空間Ｒ１に設置された電子機器３０の近傍を含む画像を取得する電子機器である。監視装置２０は映像（すなわち、画像の時系列）を取得してもよい。監視装置２０は、複数の電子機器３０すべてを撮影可能な位置に設置される。

【0022】

監視装置２０の一例は、全天球撮影装置である。監視装置２０の他の一例は、複数のネットワークカメラである。監視装置２０が複数のネットワークカメラである場合、各ネットワークカメラは管理対象空間Ｒ１内に死角が生じないように画角を調整して配置される。

【0023】

以降では、監視装置２０が複数ある場合に、各々を区別するときは、「監視装置２０－１」、「監視装置２０－２」等と枝番を用いて記載する。

【0024】

電子機器３０は、ユーザ（第１のユーザ、第２のユーザの例）が使用する各種の電子機器である。電子機器３０は、ＩＣ（Integrated Circuit）カード等のハードウェアを用いた認証が可能なように構成されている。

【0025】

電子機器３０の一例は、画像形成装置（プリンタ、ＦＡＸ装置、ＭＦＰ（Multifunction Peripheral/Product/Printer：デジタル複合機）、スキャナ装置等）である。電子機器３０の他の一例は、料金精算機能を有するセルフサービスターミナル、または、電子黒板（ＩＷＢ（Interactive White Board：相互通信が可能な電子式の黒板機能を有する白板））である。

【0026】

以降では、複数の電子機器３０について、各々を区別するときは、「電子機器３０－１」、「電子機器３０－２」等と枝番を用いて記載する。

【0027】

電子機器３０は、通信機能を備えた装置であれば、画像形成装置、セルフサービスターミナル又は電子黒板に限られない。すなわち、電子機器３０は、例えば、ＰＪ（Projector：プロジェクタ）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、自動車（Connected Car）、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣ又はデスクトップＰＣ等であってもよい。

【0028】

＜機器管理システムのハードウェア構成＞
次に、本実施形態における機器管理システムに含まれる各装置のハードウェア構成について、図２から図５を参照しながら説明する。

【0029】

≪コンピュータのハードウェア構成≫
図２は、管理装置１０がコンピュータで実現される場合のハードウェア構成の一例を示す図である。

【0030】

図２に示されているように、一実施形態におけるコンピュータは、ＣＰＵ(Central Processing Unit)５０１、ＲＯＭ(Read Only Memory)５０２、ＲＡＭ(Random Access Memory)５０３、ＨＤ(Hard Disk)５０４、ＨＤＤ(Hard Disk Drive)コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ／Ｆ(Interface)５０８、ネットワークＩ／Ｆ５０９、バスライン５１０、キーボード５１１、ポインティング機器５１２、ＤＶＤ－ＲＷ(Digital Versatile Disk Rewritable)ドライブ５１４、メディアＩ／Ｆ５１６を備えている。

【0031】

これらのうち、ＣＰＵ５０１は、コンピュータ全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ（Initial Program Loader）等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。

【0032】

ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ／Ｆ５０９は、通信ネットワークＮ１を利用してデータ通信をするためのインターフェースである。バスライン５１０は、図２に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

【0033】

また、キーボード５１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティング機器５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ５１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ５１３に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷに限らず、ＤＶＤ－Ｒ等であってもよい。メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。

【0034】

≪全天球撮影装置のハードウェア構成≫
図３は、監視装置２０が全天球撮影装置で実現される場合のハードウェア構成の一例を示す図である。以下では、全天球撮影装置は、２つの撮像素子を使用した全天球（全方位）撮影装置とするが、撮像素子は２つ以上であればいくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に全天球撮影装置と同じ機能を有するようにしてもよい。

【0035】

図３に示されているように、一実施形態における全天球撮影装置は、撮像ユニット６０１、画像処理ユニット６０４、撮像制御ユニット６０５、マイク６０８、音処理ユニット６０９、ＣＰＵ(Central Processing Unit)６１１、ＲＯＭ(Read Only Memory)６１２、ＳＲＡＭ(Static Random Access Memory)６１３、ＤＲＡＭ(Dynamic Random Access Memory)６１４、操作部６１５、外部機器接続Ｉ／Ｆ６１６、通信部６１７、アンテナ６１７ａ、加速度・方位センサ６１８、ジャイロセンサ６１９、加速度センサ６２０、及びMicro USB用の凹状の端子６２１によって構成されている。

【0036】

このうち、撮像ユニット６０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）６０２ａ，６０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子６０３ａ，６０３ｂを備えている。撮像素子６０３ａ，６０３ｂは、魚眼レンズ６０２ａ，６０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

【0037】

撮像ユニット６０１の撮像素子６０３ａ，６０３ｂは、各々、画像処理ユニット６０４とパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット６０１の撮像素子６０３ａ，６０３ｂは、撮像制御ユニット６０５とは、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット６０４、撮像制御ユニット６０５及び音処理ユニット６０９は、バス６１０を介してＣＰＵ６１１と接続される。さらに、バス６１０には、ＲＯＭ６１２、ＳＲＡＭ６１３、ＤＲＡＭ６１４、操作部６１５、外部機器接続Ｉ／Ｆ(Interface)６１６、通信部６１７、及び加速度・方位センサ６１８なども接続される。

【0038】

画像処理ユニット６０４は、撮像素子６０３ａ，６０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、正距円筒射影画像のデータを作成する。

【0039】

撮像制御ユニット６０５は、一般に撮像制御ユニット６０５をマスタデバイス、撮像素子６０３ａ，６０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子６０３ａ，６０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ６１１から受け取る。また、撮像制御ユニット６０５は、同じくＩ２Ｃバスを利用して、撮像素子６０３ａ，６０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ６１１に送る。

【0040】

また、撮像制御ユニット６０５は、操作部６１５のシャッターボタンが押下されたタイミングで、撮像素子６０３ａ，６０３ｂに画像データの出力を指示する。全天球撮影装置によっては、ディスプレイ（例えば、スマートフォンのディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子６０３ａ，６０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

【0041】

また、撮像制御ユニット６０５は、後述するように、ＣＰＵ６１１と協働して撮像素子６０３ａ，６０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、全天球撮影装置にはディスプレイが設けられていないが、表示部を設けてもよい。

【0042】

マイク６０８は、音を音（信号）データに変換する。音処理ユニット６０９は、マイク６０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

【0043】

ＣＰＵ６１１は、全天球撮影装置の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ６１２は、ＣＰＵ６１１のための種々のプログラムを記憶している。ＳＲＡＭ６１３及びＤＲＡＭ６１４はワークメモリであり、ＣＰＵ６１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ６１４は、画像処理ユニット６０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。

【0044】

操作部６１５は、シャッターボタン６１５ａなどの操作ボタンの総称である。ユーザは操作部６１５を操作することで、種々の撮影モードや撮影条件などを入力する。

【0045】

外部機器接続Ｉ／Ｆ６１６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやＰＣ(Personal Computer)等である。ＤＲＡＭ６１４に記憶された正距円筒射影画像のデータは、この外部機器接続Ｉ／Ｆ６１６を介して外付けのメディアに記録されたり、必要に応じて外部機器接続Ｉ／Ｆ６１６を介してスマートフォン等の外部端末（装置）に送信されたりする。

【0046】

通信部６１７は、全天球撮影装置に設けられたアンテナ６１７ａを介して、Wi-Fi、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信技術によって、スマートフォン等の外部端末（装置）と通信を行う。この通信部６１７によっても、正距円筒射影画像のデータをスマートフォン等の外部端末（装置）に送信することができる。

【0047】

加速度・方位センサ６１８は、地球の磁気から全天球撮影装置の方位を算出し、方位情報を出力する。この方位情報はExifに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。また、加速度・方位センサ６１８は、全天球撮影装置６の移動に伴う角度の変化（Roll角、Pitch角、Yaw角）を検出するセンサである。角度の変化はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。

【0048】

更に、加速度・方位センサ６１８は、３軸方向の加速度を検出するセンサである。全天球撮影装置は、加速度・方位センサ６１８が検出した加速度に基づいて、自装置（全天球撮影装置）の姿勢（重力方向に対する角度）を算出する。全天球撮影装置に、加速度・方位センサ６１８が設けられることによって、画像補正の精度が向上する。

【0049】

≪ＭＦＰのハードウェア構成≫
図４は、電子機器３０がＭＦＰで実現される場合のハードウェア構成の一例を示す図である。

【0050】

図４に示されているように、一実施形態におけるＭＦＰは、コントローラ９１０、近距離通信回路９２０、エンジン制御部９３０、操作パネル９４０、ネットワークＩ／Ｆ(Interface)９５０を備えている。

【0051】

これらのうち、コントローラ９１０は、コンピュータの主要部であるＣＰＵ(Central Processing Unit)９０１、システムメモリ（ＭＥＭ－Ｐ）９０２、ノースブリッジ（ＮＢ）９０３、サウスブリッジ（ＳＢ）９０４、ＡＳＩＣ(Application Specific Integrated Circuit)９０６、記憶部であるローカルメモリ（ＭＥＭ－Ｃ）９０７、ＨＤＤ(Hard Disk Drive)コントローラ９０８、及び、記憶部であるＨＤ(Hard Disk)９０９を有し、ＮＢ９０３とＡＳＩＣ９０６との間をＡＧＰ(Accelerated Graphics Port)バス９２１で接続した構成となっている。

【0052】

これらのうち、ＣＰＵ９０１は、ＭＦＰの全体制御を行う制御部である。ＮＢ９０３は、ＣＰＵ９０１と、ＭＥＭ－Ｐ９０２、ＳＢ９０４、及びＡＧＰバス９２１とを接続するためのブリッジであり、ＭＥＭ－Ｐ９０２に対する読み書きなどを制御するメモリコントローラと、ＰＣＩ(Peripheral Component Interconnect)マスタ及びＡＧＰターゲットとを有する。

【0053】

ＭＥＭ－Ｐ９０２は、コントローラ９１０の各機能を実現させるプログラムやデータの格納用メモリであるＲＯＭ(Read Only Memory)９０２ａ、プログラムやデータの展開、及びメモリ印刷時の描画用メモリなどとして用いるＲＡＭ(Random Access Memory)９０２ｂとからなる。なお、ＲＡＭ９０２ｂに記憶されているプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

【0054】

ＳＢ９０４は、ＮＢ９０３とＰＣＩ機器、周辺機器とを接続するためのブリッジである。ＡＳＩＣ９０６は、画像処理用のハードウェア要素を有する画像処理用途向けのＩＣ(Integrated Circuit)であり、ＡＧＰバス９２１、ＰＣＩバス９２２、ＨＤＤ９０８およびＭＥＭ－Ｃ９０７をそれぞれ接続するブリッジの役割を有する。このＡＳＩＣ９０６は、ＰＣＩターゲットおよびＡＧＰマスタ、ＡＳＩＣ９０６の中核をなすアービタ（ＡＲＢ）、ＭＥＭ－Ｃ９０７を制御するメモリコントローラ、ハードウェアロジックなどにより画像データの回転などを行う複数のＤＭＡＣ(Direct Memory Access Controller)、並びに、スキャナ部９３１及びプリンタ部９３２との間でＰＣＩバス９２２を介したデータ転送を行うＰＣＩユニットとからなる。なお、ＡＳＩＣ９０６には、ＵＳＢ(Universal Serial Bus)のインターフェースや、ＩＥＥＥ１３９４(Institute of Electrical and Electronics Engineers 1394）のインターフェースを接続するようにしてもよい。

【0055】

ＭＥＭ－Ｃ９０７は、コピー用画像バッファ及び符号バッファとして用いるローカルメモリである。ＨＤ９０９は、画像データの蓄積、印刷時に用いるフォントデータの蓄積、フォームの蓄積を行うためのストレージである。ＨＤ９０９は、ＣＰＵ９０１の制御にしたがってＨＤ９０９に対するデータの読出又は書込を制御する。ＡＧＰバス９２１は、グラフィック処理を高速化するために提案されたグラフィックスアクセラレータカード用のバスインタフェースであり、ＭＥＭ－Ｐ９０２に高スループットで直接アクセスすることにより、グラフィックスアクセラレータカードを高速にすることができる。

【0056】

また、近距離通信回路９２０には、近距離通信回路９２０ａが備わっている。近距離通信回路９２０は、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ等の通信回路である。

【0057】

更に、エンジン制御部９３０は、スキャナ部９３１及びプリンタ部９３２によって構成されている。また、操作パネル９４０は、現在の設定値や選択画面等を表示させ、操作者からの入力を受け付けるタッチパネル等のパネル表示部９４０ａ、並びに、濃度の設定条件などの画像形成に関する条件の設定値を受け付けるテンキー及びコピー開始指示を受け付けるスタートキー等からなる操作パネル９４０ｂを備えている。コントローラ９１０は、ＭＦＰ全体の制御を行い、例えば、描画、通信、操作パネル９４０からの入力等を制御する。スキャナ部９３１又はプリンタ部９３２には、誤差拡散やガンマ変換などの画像処理部分が含まれている。

【0058】

なお、ＭＦＰは、操作パネル９４０のアプリケーション切り替えキーにより、ドキュメントボックス機能、コピー機能、プリンタ機能、およびファクシミリ機能を順次に切り替えて選択することが可能となる。ドキュメントボックス機能の選択時にはドキュメントボックスモードとなり、コピー機能の選択時にはコピーモードとなり、プリンタ機能の選択時にはプリンタモードとなり、ファクシミリモードの選択時にはファクシミリモードとなる。

【0059】

また、ネットワークＩ／Ｆ９５０は、通信ネットワークＮ１を利用してデータ通信をするためのインターフェースである。近距離通信回路９２０及びネットワークＩ／Ｆ９５０は、ＰＣＩバス９２２を介して、ＡＳＩＣ９０６に電気的に接続されている。

【0060】

≪セルフサービスターミナル／電子黒板のハードウェア構成≫
図５は、電子機器３０がセルフサービスターミナルまたは電子黒板で実現される場合のハードウェア構成の一例を示す図である。セルフサービスターミナルと電子黒板のハードウェアは、表示機能、ユーザによる入力機能など近接しているため、本例のハードウェア構成で双方をカバーできる。

【0061】

図５に示されているように、一実施形態におけるセルフサービスターミナル/電子黒板は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、ＳＳＤ(Solid State Drive)２０４、ネットワークＩ／Ｆ(Interface)２０５、及び、外部機器接続Ｉ／Ｆ２０６を備えている。

【0062】

これらのうち、ＣＰＵ２０１は、セルフサービスターミナル／電子黒板全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＳＳＤ２０４は、セルフサービスターミナル／電子黒板用のプログラム等の各種データを記憶する。ネットワークコントローラ２０５は、通信ネットワークＮ１との通信を制御する。外部機器接続Ｉ／Ｆ２０６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリ２３０、外付け機器（マイク２４０、スピーカ２５０、カメラ２６０）である。

【0063】

また、セルフサービスターミナル／電子黒板は、キャプチャデバイス２１１、ＧＰＵ２１２、ディスプレイコントローラ２１３、接触センサ２１４、センサコントローラ２１５、電子ペンコントローラ２１６、近距離通信回路２１９、及び近距離通信回路２１９のアンテナ２１９ａ、電源スイッチ２２２及び選択スイッチ類２２３を備えている。

【0064】

これらのうち、キャプチャデバイス２１１は、外付けのＰＣ(Personal Computer)２７０のディスプレイに対して映像情報を静止画または動画として表示させる。ＧＰＵ(Graphics Processing Unit)２１２は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ２１３は、ＧＰＵ２１２からの出力画像をディスプレイ２８０等へ出力するために画面表示の制御及び管理を行う。

【0065】

接触センサ２１４は、ディスプレイ２８０上に電子ペン２９０やユーザの手Ｈ等が接触したことを検知する。センサコントローラ２１５は、接触センサ２１４の処理を制御する。接触センサ２１４は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ２８０の上側両端部に設置された２つ受発光装置が、ディスプレイ２８０に平行して複数の赤外線を放射し、ディスプレイ２８０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ２１４は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤをセンサコントローラ２１５に出力し、センサコントローラ２１５が、物体の接触位置である座標位置を特定する。

【0066】

電子ペンコントローラ２１６は、電子ペン２９０と通信することで、ディスプレイ２８０へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路２１９は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。電源スイッチ２２２は、セルフサービスターミナル／電子黒板の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。選択スイッチ類２２３は、例えば、ディスプレイ２８０の表示の明暗や色合い等を調整するためのスイッチ群である。

【0067】

更に、セルフサービスターミナル／電子黒板は、バスライン２１０を備えている。バスライン２１０は、図５に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

【0068】

なお、接触センサ２１４は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。また、電子ペンコントローラ２１６が、電子ペン２９０のペン先及びペン尻だけでなく、電子ペン２９０のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。

【0069】

＜機器管理システムの機能構成＞
次に、本実施形態における機器管理システムの機能構成の一例について、図６を参照しながら説明する。図６は、本実施形態における機器管理システムに含まれる各装置の機能構成を例示するブロック図である。

【0070】

≪管理装置の機能構成≫
図６に示されているように、本実施形態における管理装置１０は、画像受信部１１、操作情報受信部１２、状態管理部１３、動作指示部１４及び状態記憶部１００を備える。本実施形態における状態管理部１３は、物体状態管理部１３１、機器状態管理部１３２及び出力情報決定部１３３を備える。

【0071】

画像受信部１１、操作情報受信部１２、状態管理部１３及び動作指示部１４は、例えば、図２に示されているＨＤ５０４からＲＡＭ５０３上に展開されたプログラムがＣＰＵ５０１及びＨＤＤコントローラ５０５に実行させる処理によって実現される。

【0072】

状態記憶部１００は、例えば、図２に示されているＨＤ５０４を用いて実現される。ＨＤ５０４が記憶するデータの読み込み又は書き込みは、例えば、ＨＤＤコントローラ５０５を介して行われる。

【0073】

状態記憶部１００は、管理対象空間Ｒ１に存在する機器及び物体の状態を管理する状態管理情報を記憶する。本実施形態における状態管理情報は、登録物体リスト、登録機器リスト及び検出物体リストを含む。

【0074】

登録物体リストは、管理対象空間Ｒ１に存在する物体に関する情報を管理するリストである。本実施形態における物体は、人物である。

【0075】

登録機器リストは、管理対象空間Ｒ１に存在する機器に関する情報を管理するリストである。本実施形態における機器は、電子機器３０である。

【0076】

検知物体リストは、管理対象空間Ｒ１で検知された物体を管理するリストである。検知物体リストは、登録物体リストを更新するために用いられる一時的なリストである。

【0077】

ここで、本実施形態における状態管理情報について、図７を参照しながら説明する。図７（Ａ）は、登録物体リストの一例を示す概念図である。

【0078】

図７（Ａ）に示されているように、本実施形態における登録物体リストは、データ項目として、登録物体ＩＤ、グループＩＤ、存在確認フラグ、属性情報及び機器操作情報を有する。

【0079】

登録物体ＩＤは、登録物体リストに含まれる物体を識別する識別情報である。

【0080】

グループＩＤは、複数の登録物体が属するグループを識別する識別情報である。グループＩＤは、登録物体リストに含まれる登録物体の一部が同じグループに属すると判定された場合に付与される。グループに属すると判定されていない登録物体のグループＩＤは、初期値（例えばゼロ）が設定される。

【0081】

グループとは、例えば同僚、親子又は友人である。グループに属するメンバーは共同で会議又は買い物等のジョブを遂行する。そのため、グループを認識することにより人物の行動をより精度よく把握することが期待できる。例えば、無人店舗に親子が存在する場合、親が精算する際に子供が手に取った商品の精算を同時にできれば利便性が高い。また、ＭＦＰ及び電子黒板が設置された会議室で複数の社員が会議をするとき、ある社員がＭＦＰで認証を行えば他の社員が電子黒板を使用するときに認証を省略できると利便性が高い。

【0082】

存在確認フラグは、当該登録物体が管理対象空間Ｒ１に存在するか否かを示すフラグである。存在確認フラグは、例えば、存在すれば１、存在しなければ０が設定される。

【0083】

属性情報は、登録物体に付随する情報であって、管理に必要な情報である。本実施形態では、登録物体の位置及び当該位置が確認された時刻（以下、「画像取得時刻」とも呼ぶ）である。登録物体の位置は三次元座標（すなわちＸ軸、Ｙ軸、Ｚ軸等の直交座標系における各軸上の数値）で表される。

【0084】

位置情報を取得する方法は監視装置２０の種別によって異なる。例えば、監視装置２０がネットワークカメラであれば、物体までの距離をステレオカメラで取得し、方向と併せて三次元座標にマッピングする等、公知の技術を用いることができる。

【0085】

なお、属性情報は、登録物体の位置に加えて、登録物体の特徴を示す種々の情報を含んでもよい。例えば、登録物体の色又は形状を用いることができる。物体が人物である場合、形状は姿勢によって変化するため、色を用いると好適である。色の種類の数又は各色の面積も姿勢によって変化するため、物体が同一か否かを判定する際には、少なくとも１つの色が連続しているか否かを条件とすると好適である。

【0086】

機器操作情報は、登録物体が行なった機器操作に関する情報である。機器操作情報は、当該機器操作においてユーザが入力した入力情報を含むことがある。機器操作情報は、例えば、ユーザが電子機器で実行した機能、操作時刻、操作の対価としての料金情報、各料金情報と一対一に紐づけられその料金が既に支払い済みであることを示す支払い済みフラグ情報（後述）、使用言語等である。入力情報は、認証操作における認証情報又は機器設定操作における設定情報等である。

【0087】

管理対象空間Ｒ１に存在する物体の数は時々刻々と変化する。そのため、登録物体リストに含まれる登録物体の数は可変である。

【0088】

図７（Ｂ）は、登録機器リストの一例を示す概念図である。図７（Ｂ）に示されているように、本実施形態における登録機器リストは、データ項目として、登録機器ＩＤ、属性情報、機器入力情報及び機器出力情報を有する。

【0089】

登録機器ＩＤは、登録機器リストに含まれる機器を識別する識別情報である。

【0090】

属性情報は、登録機器に付随する情報であって、管理に必要な情報である。本実施形態では、登録機器の位置、電源オン／オフ状況、スリープモード状態か否か、認証要否、オプション搭載状況、メンテナンス中／メンテナンス予定時刻／省エネモード中などの状態情報等である。登録機器の位置は登録物体と同様に三次元座標で表される。

【0091】

機器入力情報（以下、「使用情報」とも呼ぶ）は、登録機器が操作された場合に管理される所定の情報である。機器入力情報は、当該機器操作においてユーザが入力した入力情報を含むことがある。機器入力情報は、例えば、ユーザにより登録機器で実行された機能、操作時刻、操作の対価として請求すべき料金情報等である。機器入力情報は、当該機器操作においてユーザが設定した画面設定情報を含んでもよい。画面設定情報は、例えば、使用言語、使用文字のフォント、使用文字のサイズ等である。

【0092】

機器出力情報は、登録機器に対して予め登録された情報である。機器出力情報は、動作指示を送信する契機となる出力条件、及び当該出力条件が満たされた場合に当該登録機器に送信する動作指示を対応付けるリストである。

【0093】

管理対象空間Ｒ１に設置される機器の数は変化する可能性がある。そのため、登録機器リストに含まれる登録機器の数は可変である。

【0094】

図７（Ｃ）は、検知物体リストの一例を示す概念図である。図７（Ｃ）に示されているように、本実施形態における検知物体リストは、データ項目として、検知物体ＩＤ、グループＩＤ及び属性情報を有する。

【0095】

検知物体ＩＤは、検知物体リストに含まれる物体を識別する識別情報である。

【0096】

グループＩＤは、複数の検知物体が含まれるグループを識別する識別情報である。グループＩＤは、検知物体リストに含まれる検知物体の一部が同じグループに属すると判定された場合に付与される。グループに属すると判定されていない検知物体のグループＩＤは、初期値（例えばゼロ）が設定される。

【0097】

属性情報は、検知物体に付随する情報であって、管理に必要な情報である。本実施形態では、検知物体の位置及び画像取得時刻である。検知物体の位置は登録物体と同様に三次元座標で表される。

【0098】

管理対象空間Ｒ１で検知される物体の数は時々刻々と変化する。そのため、検知物体リストに含まれる検知物体の数は可変である。

【0099】

図６に戻って説明する。画像受信部１１は、監視装置２０から画像を受信する。画像受信部１１は、状態管理部１３の要求に応じて、受信した画像を状態管理部１３に送る。なお画像受信部１１は、第１画像受信部及び、第２画像受信部の１例である。また第１画像受信部、第２画像受信部は１つのソフトウェアモジュール、または複数のソフトウェアモジュールで構成されていてもよい。画像受信部１１は、例えば、第１画像受信部で第１の電子機器を使用している第１のユーザを撮影した第１の画像を受信する。また、画像受信部１１は、例えば、第２画像受信部で撮影装置から第２の電子機器の操作可能位置に存在している第２のユーザを撮影した第２の画像を受信する。

【0100】

操作情報受信部１２は、電子機器３０から機器操作情報を受信する。操作情報受信部１２は、状態管理部１３の要求に応じて、受信した機器操作情報を状態管理部１３に送る。なお操作情報受信部１２は、入力情報受信部の１例である。操作情報受信部１２は、例えば、第１ユーザ特定部によって特定された第１のユーザが第１の電子機器で入力した認証情報を第１の電子機器から受信する。また、操作情報受信部１２は、例えば、第１ユーザ特定部によって特定された第１のユーザが第１の電子機器を使用した使用情報を第１の電子機器から受信する。

【0101】

状態管理部１３は、物体状態管理部１３１及び機器状態管理部１３２を用いて、電子機器３０及び物体の状態を管理する。また、状態管理部１３は、出力情報決定部１３３を用いて、電子機器３０に送信する動作指示の内容を決定する。なお状態管理部１３は、第１ユーザ特定部及び、第２ユーザ特定部の１例である。また第１ユーザ特定部及び、第２ユーザ特定部は１つのソフトウェアモジュール、または複数のソフトウェアモジュールで構成されていてもよい。状態管理部１３は、第１の電子機器の使用情報と第１の画像とに基づいて、第１の電子機器を使用した前記第１のユーザを特定する。また、状態管理部１３は、第２の画像から第２の電子機器の操作可能位置に存在する第２のユーザを特定する。この処理は次の物体状態管理部１３１と機器状態管理部１３２とを用いて実行する。

【0102】

物体状態管理部１３１は、画像受信部１１から受け取った画像に基づいて、状態記憶部１００に記憶されている登録物体リストを更新する。例えば物体状態管理部１３１は、第１の画像に基づいて第１のユーザを特定する。また、例えば物体状態管理部１３１は、第２の画像から第２の電子機器の操作可能位置に存在する第２のユーザを特定する。処理の詳細は後述する。

【0103】

機器状態管理部１３２は、操作情報受信部１２から受け取った機器操作情報に基づいて、状態記憶部１００に記憶されている登録機器リスト及び登録物体リストを更新する。例えば機器状態管理部１３２は、第１の電子機器の使用情報と第１の画像とに基づいて、第１の電子機器を使用した前記第１のユーザを特定する。処理の詳細は後述する。

【0104】

出力情報決定部１３３は、状態記憶部１００に記憶されている状態管理情報に基づいて、電子機器３０に送信する動作指示の内容を決定する。出力情報決定部１３３は、決定した動作指示を動作指示部１４に送る。

【0105】

動作指示部１４は、状態管理部１３から受け取った動作指示を、電子機器３０に送信する。動作指示部１４は、例えば、第１ユーザ特定部によって特定された第１のユーザ及び、第２ユーザ特定部によって特定された第２のユーザの情報と認証情報とに基づいて、所定の条件を満たす場合に、第２の電子機器に、認証情報又は認証情報中の画面設定情報を用いた動作を指示する。また、動作指示部１４は、例えば、第１ユーザ特定部によって特定された第１のユーザ及び、第２ユーザ特定部によって特定された第２のユーザの情報と使用情報とに基づいて、所定の条件を満たす場合に、第２の電子機器に、使用情報を用いた動作を指示する。

【0106】

例えば、所定の条件は、第１のユーザが第１の電子機器で、料金が発生する操作を行った機器操作情報が存在し、かつ、料金が未払いである場合である。このとき、動作指示部１４は、第１のユーザに提示する請求額に、第１の電子機器の利用料金を表示または加算する動作を、第２の電子機器に対して指示する。

【0107】

また、例えば、所定の条件は、第１のユーザと同じグループＩＤを持つ他のユーザが、第１の電子機器で、料金が発生する操作を行った機器操作情報が存在し、かつ、料金が未払いである場合である。このとき、動作指示部１４は、第１のユーザに提示する請求額に、他のユーザに関する第１の電子機器の利用料金を加算して表示する動作、または、他のユーザに関する第１の電子機器の利用料金を、第１のユーザではなく他のユーザが支払う旨を示す選択肢を表示する動作を、第２の電子機器に対して指示する。

【0108】

また、例えば、所定の条件は、第１のユーザが第１の電子機器で、料金が発生する操作を行った機器操作情報が存在し、かつ、料金が未払いである場合である。このとき、動作指示部１４は、第１のユーザに対する請求額を、支払い済み料金を含めずに表示する動作を、第２の電子機器に対して指示する。

【0109】

また、例えば、所定の条件は、第１のユーザが第１の電子機器でログインする操作を行った機器操作情報が存在し、第１のユーザが第１の電子機器で入力した認証情報が第２の電子機器で認証可能であり、かつ、第２の電子機器が未ログインである場合である。このとき、動作指示部１４は、第１のユーザが第１の電子機器で入力した認証情報を用いてログインする動作を、第２の電子機器に対して指示する。

【0110】

また、例えば、所定の条件は、第１のユーザと同じグループＩＤを持つ他のユーザが、第１の電子機器でログインする操作を行った機器操作情報が存在し、他のユーザが第１の電子機器で入力した認証情報が第２の電子機器で認証可能であり、かつ、第２の電子機器が未ログインである場合である。このとき、動作指示部１４は、他のユーザが第１の電子機器で入力した認証情報を用いてログインする動作を、第２の電子機器に対して指示する。

【0111】

さらに、動作指示部１４は、機器操作情報が、第１の電子機器に情報を入力する操作を含む場合に、第１の電子機器に入力された情報を表示する旨を示す選択肢を表示する動作を第２の電子機器に対して指示する。

【0112】

≪監視装置の機能構成≫
図６に示されているように、本実施形態における監視装置２０は、画像取得部２１及び画像送信部２２を備える。

【0113】

画像取得部２１は、管理対象空間Ｒ１に設置された電子機器３０の近傍を含む画像を取得する。画像取得部２１は、例えば、図３に示されているＲＯＭ６１２からＳＲＡＭ６１３上に展開されたプログラムがＣＰＵ６１１及び撮像制御ユニット６０５に実行させる処理によって実現される。

【0114】

画像送信部２２は、画像取得部２１が取得した画像を管理装置１０に送信する。画像送信部２２は、例えば、図３に示されているＲＯＭ６１２からＳＲＡＭ６１３上に展開されたプログラムがＣＰＵ６１１及び外部機器接続Ｉ／Ｆ６１６に実行させる処理によって実現される。

【0115】

≪電子機器の機能構成≫
図６に示されているように、本実施形態における電子機器３０は、操作情報送信部３１及び機器制御部３２を備える。

【0116】

操作情報送信部３１及び機器制御部３２は、例えば、図４に示されているＨＤ９０９からＲＡＭ９０２ｂ上に展開されたプログラムがＣＰＵ９０１及びＨＤＤコントローラ９０８に実行させる処理によって実現される。

【0117】

操作情報送信部３１は、ユーザが行った操作に関する機器操作情報を管理装置１０に送信する。

【0118】

機器制御部３２は、管理装置１０から動作指示を受信する。機器制御部３２は、受信した動作指示に基づいて、当該電子機器３０の動作を制御する。例えば、機器制御部３２は、動作指示に含まれる認証情報を用いて、ユーザを認証する。また、例えば、機器制御部３２は、動作指示に含まれる設定情報を用いて、当該電子機器３０の設定変更を行う。

【0119】

＜機器管理方法の処理手順＞
次に、本実施形態における機器管理システムが実行する機器管理方法について、図８から図２０を参照しながら説明する。

【0120】

≪基本フローチャート≫
本実施形態における機器管理方法では、あるリストに含まれる各データとあるリストに含まれる各データとのすべての組み合わせについて処理を行う２重ループ処理が多く含まれる。そこで、本実施形態では、２重ループ処理の枠組みを示す基本フローチャートを導入し、以降の説明では基本フローチャート中の処理を中心に説明する。なお、基本フローチャート中の各処理は、２つのデータの組み合わせ１つに対して行う処理である。

【0121】

本実施形態における基本フローチャートは、２つの基本フローチャートを含む。第１の基本フローチャートは、異なるリストに含まれる２つのデータを２重ループ処理する場合に使用される。第２の基本フローチャートは、同じリストに含まれる２つのデータを２重ループ処理する場合に使用される。

【0122】

図８は、本実施形態における第１の基本フローチャートの一例を示すフローチャートである。

【0123】

ステップＳ１０１において、リストＡを読み出す。リストＡのデータ数はＮとする。ステップＳ１０２において、リストＢを読み出す。リストＢのデータ数はＭとする。

【0124】

ステップＳ１０３において、変数ｎを１に初期化する。ステップＳ１０４において、変数ｍを１に初期化する。ステップＳ１０５において、処理Ａ１を実行する。

【0125】

ステップＳ１０６において、変数ｍがデータ数Ｍと等しいか否かを判定する。これは、リストＡのｎ番目のデータについてリストＢのすべてのデータとの組み合わせを処理したか否かを意味する。変数ｍがデータ数Ｍと異なる場合（ＮＯ）、ステップＳ１０７に進む。変数ｍがデータ数Ｍと等しい場合（ＹＥＳ）、ステップＳ１０９に進む。

【0126】

ステップＳ１０７において、処理Ａ３を実行する。ステップＳ１０８において変数ｍをインクリメントする。その後、ステップＳ１０６に戻る。

【0127】

ステップＳ１０９において、処理Ａ２を実行する。ステップＳ１１０において、変数ｎがデータ数Ｎと等しいか否かを判定する。これは、リストＡのすべてのデータについてリストＢのすべてのデータとの組み合わせを処理したか否かを意味する。変数ｎがデータ数Ｎと異なる場合（ＮＯ）、ステップＳ１１１に進む。変数ｎがデータ数Ｎと等しい場合（ＹＥＳ）、ステップＳ１１３に進む。

【0128】

ステップＳ１１１において、処理Ａ５を実行する。ステップＳ１１２において変数ｎをインクリメントする。その後、ステップＳ１０４に戻る。

【0129】

ステップＳ１１３において、処理Ａ４を実行する。以上により、リストＡ及びリストＢに含まれるデータ同士のすべての組み合わせに対する処理が完了する。

【0130】

図９は、本実施形態における第２の基本フローチャートの一例を示すフローチャートである。

【0131】

ステップＳ２０１において、リストＡを読み出す。リストＡのデータ数はＮとする。

【0132】

ステップＳ２０２において、変数ｎを１に初期化する。ステップＳ２０３において、変数ｍにｎ＋１を代入する。ステップＳ２０４において、処理Ｂ１を実行する。

【0133】

ステップＳ２０５において、変数ｍがＮと等しいか否かを判定する。これは、リストＡのｎ番目のデータについてリストＡのすべてのデータとの組み合わせを処理したか否かを意味する。変数ｍがＮと異なる場合（ＮＯ）、ステップＳ２０６に進む。変数ｍがＮと等しい場合（ＹＥＳ）、ステップＳ２０８に進む。

【0134】

ステップＳ２０６において、処理Ｂ３を実行する。ステップＳ２０７において変数ｍをインクリメントする。その後、ステップＳ２０４に戻る。

【0135】

ステップＳ２０８において、処理Ｂ２を実行する。ステップＳ２０９において、変数ｎがＮ－１と等しいか否かを判定する。これは、リストＡのすべてのデータについてリストＡの他のすべてのデータとの組み合わせを処理したかを意味する。変数ｎがＮ－１と異なる場合（ＮＯ）、ステップＳ２１０に進む。変数ｎがＮ－１と等しい場合（ＹＥＳ）、ステップＳ２１２に進む。

【0136】

ステップＳ２１０において、処理Ｂ５を実行する。ステップＳ２１１において変数ｎをインクリメントする。その後、ステップＳ２０３に戻る。

【0137】

ステップＳ２１２において、処理Ｂ４を実行する。以上により、リストＡに含まれるデータ同士のすべての組み合わせに対する処理が完了する。

【0138】

≪機器管理方法≫
図１０は、本実施形態における機器管理システムが実行する機器管理方法の一例を示すフローチャートである。

【0139】

機器管理システムは、図１０に示すフローチャートを所定の時間間隔で繰り返し実行する。時間間隔は任意に設定すればよいが、例えば、３秒である。

【0140】

ステップＳ１において、監視装置２０が備える画像取得部２１は、電子機器３０－１の近傍を撮影した第１の画像を取得する。また、画像取得部２１は、電子機器３０－２の近傍を撮影した第２の画像を取得する。監視装置２０は、管理対象空間Ｒ１に設置された電子機器３０－１及び電子機器３０－２の近傍が画角に入るように設置されている。そのため、画像取得部２１が取得する第１の画像には、電子機器３０－１の近傍が撮影されている。また、画像取得部２１が取得する第２の画像には、電子機器３０－２の近傍が撮影されている。

【0141】

電子機器３０－１又は電子機器３０－２の近傍とは、ユーザが当該電子機器３０－１又は電子機器３０－２を操作可能な位置の範囲（以下、「操作可能位置」とも呼ぶ）である。操作可能位置はユーザが電子機器３０－１又は電子機器３０－２に手が届く位置である。操作可能位置は例えば電子機器３０－１又は電子機器３０－２から１メートル以内の位置である。したがって、第１の画像は、電子機器３０－１と当該電子機器３０－１を利用する利用者とを撮影した画像である。また、第２の画像は、電子機器３０－２と当該電子機器３０－２を利用する利用者とを撮影した画像である。

【0142】

電子機器３０－１及び電子機器３０－２それぞれの操作可能位置が、１枚の画像に撮影可能な場合には、１枚の画像に電子機器３０－１及び電子機器３０－２それぞれの操作可能位置を撮影してもよい。この場合、第１の画像と第２の画像とは、同一の画像となる。

【0143】

画像取得部２１が取得する第１の画像及び第２の画像は、静止画に限定されず、動画であってもよい。

【0144】

次に、画像取得部２１は、取得した第１の画像及び第２の画像を画像送信部２２に送る。画像送信部２２は、画像取得部２１から第１の画像及び第２の画像を受け取る。次に、画像送信部２２は、受け取った第１の画像及び第２の画像を管理装置１０に送信する。管理装置１０では、画像受信部１１が、監視装置２０から第１の画像及び第２の画像を受信する。

【0145】

ステップＳ２において、管理装置１０が備える状態管理部１３は、画像受信部１１に第１の画像及び第２の画像を要求する。次に、状態管理部１３は、画像受信部１１から受け取った第１の画像及び第２の画像を物体状態管理部１３１に入力する。

【0146】

続いて、物体状態管理部１３１は、後述する物体状態更新処理を実行し、状態記憶部１００に記憶されている状態管理情報の登録物体リストを更新する。監視装置２０が複数ある場合、物体状態管理部１３１は、複数の監視装置２０それぞれから受信した複数の画像それぞれについて、物体状態更新処理を実行する。

【0147】

≪物体状態更新処理≫
ここで、本実施形態における物体状態更新処理について、図１１から図１６を参照しながら説明する。図１１は、本実施形態における物体状態管理部１３１が実行する物体状態更新処理（図１０のステップＳ２）の一例を示すフローチャートである。

【0148】

ステップＳ２１において、物体状態管理部１３１は、後述の検知物体リスト作成処理を実行し、状態管理部１３から入力された画像に基づいて、検知物体リストを作成する。

【0149】

図１２は、本実施形態における物体状態管理部１３１が実行する検知物体リスト作成処理（図１１のステップＳ２１）の一例を示すフローチャートである。

【0150】

ステップＳ２１－１において、物体状態管理部１３１は、状態記憶部１００に記憶されている検知物体リストをクリアする。すなわち、検知物体リストに含まれるデータをすべて削除する。

【0151】

ステップＳ２１－２において、物体状態管理部１３１は、状態管理部１３から入力された画像を取得する。画像は、１台の監視装置２０から受信した１つの画像でもよく、複数の監視装置２０から受信した複数の画像でもよい。

【0152】

次に、物体状態管理部１３１は、画像を所定のブロックに分割する。続いて、物体状態管理部１３１は、ブロック毎に、画像に撮影されている物体とカメラとの距離を測定する。また、物体状態管理部１３１は、測定した距離から三次元座標を求める。距離から三次元座標に変換する方法は、公知の方法を利用すればよい。

【0153】

ステップＳ２１－３において、物体状態管理部１３１は、取得した画像から画像取得時刻Ｔを取得する。画像から画像取得時刻が取得できない場合は、現在時刻を画像取得時刻Ｔとして取得すればよい。

【0154】

ステップＳ２１－４において、物体状態管理部１３１は、取得した画像を解析し、当該画像に撮影されている物体を検知する。本実施形態では、画像に撮影されている人物を検知する。

【0155】

人物の検知は、公知の手法を用いることができる。例えば、機械学習モデルを用いたパターンマッチングを用いることができる。具体的には、公知の領域ベース畳み込みニューラルネットワーク（Region Based Convolutional Neural Networks: R-CNN）等を用いて、画像の中から人物を切り出すことができる。

【0156】

さらに、切り出した人物の画像を、予め記憶されている比較画像とパターンマッチングすることで検知の精度を向上することができる。なお、これら以外にも、公知の様々な人物検知手法を用いることができる。

【0157】

ステップＳ２１－５において、物体状態管理部１３１は、検知した物体を識別する検知物体ＩＤを付与する。

【0158】

ステップＳ２１－６において、物体状態管理部１３１は、検知物体ＩＤ及び属性情報（検知物体の位置及び画像取得時刻）を検知物体リストに登録する。なお、この段階では、グループＩＤにはグループに属さないことを示す初期値が設定される。

【0159】

図１１に戻って説明する。ステップＳ２２において、物体状態管理部１３１は、後述の登録物体リスト更新処理を実行し、検知物体リストに基づいて、登録物体リストを更新する。

【0160】

図１３及び図１４は、本実施形態における物体状態管理部１３１が実行する登録物体リスト更新処理（図１１のステップＳ２２）の一例を示すフローチャートである。

【0161】

登録物体リスト更新処理は、第１の基本フローチャート（図８参照）の枠組みで行われる。具体的には、検知物体リストをリストＡとし、登録物体リストをリストＢとし、検知物体と登録物体のすべての組み合わせについて、処理Ａ１（図１３）及び処理Ａ４（図１４）を実行する。なお、処理Ａ２、Ａ３及びＡ５に相当する処理はない。

【0162】

図１３は、登録物体リスト更新処理の処理Ａ１の一例を示すフローチャートである。処理Ａ１は、登録物体と検知物体との同一性を判定し、登録物体の位置を更新するための処理である。

【0163】

ここでは、検知物体リストのｎ番目の検知物体と登録物体リストのｍ番目の登録物体との組み合わせに対して処理を実行するものとする。

【0164】

ステップＳ２２－１において、物体状態管理部１３１は、ｍ番目の登録物体の存在確認フラグをクリアする。すなわち、ｍ番目の登録物体の存在確認フラグに０を設定する。これは、当該登録物体が管理対象空間Ｒ１に存在するか否かが不明であることを意味する。

【0165】

ステップＳ２２－２において、物体状態管理部１３１は、ｍ番目の登録物体の三次元座標とｎ番目の検知物体の三次元座標との距離Ｘを計算する。

【0166】

ステップＳ２２－３において、物体状態管理部１３１は、距離Ｘが所定の閾値（例えば、１メートル）以下であるか否かを判定する。距離Ｘが閾値を超えている場合（ＮＯ）、物体状態管理部１３１は、処理Ａ１を終了する。これは、両者の距離が離れているため、同一の人物ではないと判断されたことを意味する。距離Ｘが閾値以下である場合（ＹＥＳ）、物体状態管理部１３１は、ステップＳ２２－４に処理を進める。

【0167】

ステップＳ２２－４において、物体状態管理部１３１は、ｍ番目の登録物体の属性情報に、ｎ番目の検知物体の三次元位置及び映像取得時刻を追加する。これは、両者の距離が近いため、同一の人物であり、ｎ番目の検知物体の位置がｍ番目の登録物体の画像取得時刻Ｔにおける位置であると判断されたことを意味する。

【0168】

登録物体リストの属性情報は、画像から当該登録物体が検知される限り、物体状態更新処理を実行する度に増えていくことになる。逆に言うと、登録物体リストの属性情報は、当該登録物体が管理対象空間内で検知された位置の時系列を表す。したがって、登録物体リストの属性情報により、当該登録物体の移動を追跡することができる。

【0169】

ステップＳ２２－５において、物体状態管理部１３１は、ｍ番目の登録物体の存在確認フラグをセットする。すなわち、ｍ番目の登録物体の存在確認フラグに１を設定する。これは、ステップＳ２２－３で登録物体と一致する物体が検知されたため、当該登録物体が画像取得時刻Ｔにおいても管理対象空間Ｒ１に存在すると判定されたことを意味する。

【0170】

図１４は、登録物体リスト更新処理の処理Ａ４の一例を示すフローチャートである。処理Ａ４は、処理Ａ１において存在が確認できなかった登録物体を登録物体リストから削除する処理である。

【0171】

ステップＳ２２－６において、物体状態管理部１３１は、変数ｍを１に初期化する。

【0172】

ステップＳ２２－７において、物体状態管理部１３１は、ｍ番目の登録物体の存在が確認できたか否かを判定する。具体的には、存在確認フラグが１であるか０であるかを判定する。存在確認フラグが１である場合（ＹＥＳ）、物体状態管理部１３１は、ステップＳ２２－９に処理を進める。存在確認フラグが０である場合（ＮＯ）、物体状態管理部１３１は、ステップＳ２２－８に処理を進める。

【0173】

ステップＳ２２－８において、物体状態管理部１３１は、ｍ番目の登録物体を登録物体リストから削除する。

【0174】

ステップＳ２２－９において、物体状態管理部１３１は、変数ｍがデータ数Ｍと等しいか否かを判定する。変数ｍがデータ数Ｍと異なる場合（ＮＯ）、物体状態管理部１３１は、ステップＳ２２－１０に処理を進める。変数ｍがデータ数Ｍと等しい場合（ＹＥＳ）、物体状態管理部１３１は、処理を終了する。

【0175】

ステップＳ２２－１０において、物体状態管理部１３１は、変数ｍをインクリメントする。その後、物体状態管理部１３１は、ステップＳ２２－７に処理を戻す。

【0176】

図１１に戻って説明する。ステップＳ２３において、物体状態管理部１３１は、後述のグループＩＤ付与処理を実行し、登録物体リストに含まれる登録物体にグループＩＤを付与する。

【0177】

グループＩＤ付与処理は、第２の基本フローチャート（図９参照）の枠組みで行われる。具体的には、登録物体リストをリストＡとし、２つの登録物体のすべての組み合わせについて、処理Ｂ１（図１５又は図１６）を実行する。なお、処理Ｂ２－Ｂ５に相当する処理はない。

【0178】

ある物体と他の物体とが同じグループに含まれるか否かを判定する処理は、様々な手法が考えられる。本実施形態では、位置近接によるグループ判定及びグループ行為によるグループ判定を説明する。ただし、グループ判定の手法はこれらに限定されず、画像から物体のグループ判定が可能な技術であれば、どのようなものを用いてもよい。

【0179】

図１５は、本実施形態における物体状態管理部１３１が実行するグループＩＤ付与処理（図１１のステップＳ２３）の第１の例を示すフローチャートである。グループＩＤ付与処理の第１の例は、位置近接によるグループ判定である。

【0180】

位置近接によるグループ判定は、直近の所定回数連続して近接した位置で検知された２つの物体をグループとして登録する処理である。所定回数は、例えば５回である。機器管理方法を実行する時間間隔を３秒とすれば、１５秒間連続して近接した位置で検知された２つの物体が同じグループとして判定されることになる。

【0181】

ここでは、登録物体リストのｍ番目の登録物体とｎ番目の登録物体との組み合わせに対して処理を実行するものとする。

【0182】

ステップＳ２３Ａ－１において、物体状態管理部１３１は、変数ｋ及び変数ｊを１に初期化する。変数ｋは２つの物体が近接しているか否かを判定した回数を表すカウンタである。変数ｊは２つの物体が近接していると判定された回数を表すカウンタである。

【0183】

ステップＳ２３Ａ－２において、物体状態管理部１３１は、ｍ番目の登録物体のｋ回前の三次元座標とｎ番目の登録物体のｋ回前の三次元座標との距離Ｘを計算する。

【0184】

ステップＳ２３Ａ－３において、物体状態管理部１３１は、距離Ｘが所定の閾値（例えば、１メートル）未満であるか否かを判定する。距離Ｘが閾値未満である場合（ＹＥＳ）、物体状態管理部１３１は、ステップＳ２３Ａ－４に処理を進める。距離Ｘが閾値以上である場合（ＮＯ）、物体状態管理部１３１は、ステップＳ２３Ａ－５に処理を進める。

【0185】

ステップＳ２３Ａ－４において、物体状態管理部１３１は、変数ｊをインクリメントする。

【0186】

ステップＳ２３Ａ－５において、物体状態管理部１３１は、変数ｋをインクリメントする。

【0187】

ステップＳ２３Ａ－６において、物体状態管理部１３１は、変数ｋが所定回数Ｋと等しいか否かを判定する。変数ｋが所定回数Ｋと異なる場合（ＮＯ）、物体状態管理部１３１は、ステップＳ２３Ａ－２に処理を戻す。変数ｋが所定回数Ｋと等しい場合（ＹＥＳ）、物体状態管理部１３１は、ステップＳ２３Ａ－７に処理を進める。

【0188】

ステップＳ２３Ａ－７において、物体状態管理部１３１は、変数ｊが所定回数Ｋと等しいか否かを判定する。変数ｊが所定回数Ｋと異なる場合（ＮＯ）、物体状態管理部１３１は、処理を終了する。変数ｊが所定回数Ｋと等しい場合（ＹＥＳ）、物体状態管理部１３１は、ステップＳ２３Ａ－８に処理を進める。

【0189】

ステップＳ２３Ａ－８において、物体状態管理部１３１は、ｍ番目の登録物体及びｎ番目の登録物体のいずれかにグループＩＤが付与されているか否かを判定する。グループＩＤが付与されている場合（ＹＥＳ）、物体状態管理部１３１は、ステップＳ２３Ａ－９に処理を進める。グループＩＤが付与されていない場合（ＮＯ）、物体状態管理部１３１は、ステップＳ２３Ａ－１０に処理を進める。

【0190】

ステップＳ２３Ａ－９において、物体状態管理部１３１は、ｍ番目の登録物体及びｎ番目の登録物体に付与されているグループＩＤのいずれかを、付与するグループＩＤとして決定する。次に、物体状態管理部１３１は、登録物体リストにおいて、ｍ番目の登録物体及びｎ番目の登録物体のグループＩＤに、決定したグループＩＤを設定する。

【0191】

物体状態管理部１３１は、以下のようにして付与するグループＩＤを決定する。一方の登録物体のみにグループＩＤが付与されている場合、当該グループＩＤを付与するグループＩＤとする。すなわち、グループＩＤが付与されていない登録物体が既存のグループのメンバーに追加される。

【0192】

両方の登録物体にグループＩＤが付与されている場合、まず、ｍ＋１番目以降の登録物体をグループＩＤでソートしてｍ番目の登録物体と同じグループIＤを持つ登録物体を特定する。次に、ｍ番目の登録物体及び特定された全ての登録物体のグループIＤをｎ番目の登録物体のグループＩＤで更新する。これにより、ｍ番目の登録物体が属するグループのメンバーすべてがｎ番目の登録物体と同じグループに属することになる。これにより、３つ以上の登録物体が属するグループも把握できるようになる。

【0193】

ステップＳ２３Ａ－１０において、物体状態管理部１３１は、他のグループＩＤと重複しない新たなグループＩＤを発行する。次に、物体状態管理部１３１は、登録物体リストにおいて、ｍ番目の登録物体及びｎ番目の登録物体のグループＩＤに、発行した新たなグループＩＤを設定する。

【0194】

図１６は、本実施形態における物体状態管理部１３１が実行するグループＩＤ付与処理（図１１のステップＳ２３）の第２の例を示すフローチャートである。グループＩＤ付与処理の第２の例は、グループ行為によるグループ判定である。

【0195】

グループ行為によるグループ判定は、検知物体リストを作成した後に画像解析によってグループ判定を行う処理である。そのため、グループ行為によるグループ判定を行う場合、ステップＳ２３は、ステップＳ２１とステップＳ２２の間で実行される。

【0196】

ここでは、検知物体リストのｍ番目の検知物体とｎ番目の検知物体との組み合わせに対して処理を実行するものとする。

【0197】

ステップＳ２３Ｂ－１において、物体状態管理部１３１は、ｎ番目の検知物体の三次元座標とｍ番目の検知物体の三次元座標との距離Ｘを計算する。

【0198】

ステップＳ２３Ｂ－２において、物体状態管理部１３１は、距離Ｘが所定の閾値（例えば、１メートル）未満であるか否かを判定する。距離Ｘが閾値以上である場合（ＮＯ）、物体状態管理部１３１は、処理を終了する。距離Ｘが閾値未満である場合（ＹＥＳ）、物体状態管理部１３１は、ステップＳ２３Ｂ－３に処理を進める。

【0199】

ステップＳ２３Ｂ－３において、物体状態管理部１３１は、ｎ番目の検知物体の三次元座標とｍ番目の検知物体の三次元座標との中点を計算する。具体的には、物体状態管理部１３１は、２つの検知物体のＸ座標、Ｙ座標及びＺ座標それぞれの和を２で除算する。

【0200】

ステップＳ２３Ｂ－４において、物体状態管理部１３１は、中点を中心とした半径Ｙピクセルの映像Ｐを抽出する。半径Ｙは映像の解像度に応じて、映像Ｐに含まれる範囲が実空間における距離で約１ｍとなるように設定される。

【0201】

ステップＳ２３Ｂ－５において、物体状態管理部１３１は、予め記憶されているグループ行為画像を読み出す。グループ行為画像は、同じグループに属すると判定される行為を表す画像の集合である。例えば、２人の人物が挨拶又は握手等を行っている画像等である。

【0202】

ステップＳ２３Ｂ－６において、物体状態管理部１３１は、映像Ｐとグループ行為画像それぞれとの類似度をパターンマッチング等により計算する。

【0203】

ステップＳ２３Ｂ－７において、物体状態管理部１３１は、計算した類似度の中に所定の閾値を超えるものがあるか否かを判定する。閾値を超える類似度がある場合（ＹＥＳ）、物体状態管理部１３１は、ステップＳ２３Ｂ－８に処理を進める。閾値を超える類似度がない場合（ＮＯ）、物体状態管理部１３１は、処理を終了する。

【0204】

ステップＳ２３Ｂ－８において、物体状態管理部１３１は、他のグループＩＤと重複しない新たなグループＩＤを発行する。次に、物体状態管理部１３１は、検知物体リストにおいて、ｍ番目の検知物体及びｎ番目の検知物体のグループＩＤに、発行した新たなグループＩＤを設定する。

【0205】

その後に実行される登録物体リスト更新処理のステップＳ２２－４（図１３参照）において、物体状態管理部１３１は、登録物体のグループＩＤに、同一の物体と判定された検知物体のグループＩＤを設定する。なお、登録物体に既存のグループＩＤが付与されている場合、グループＩＤ付与処理の第１の例のステップＳ２３Ａ－８からステップＳ２３Ａ－１０（図１５参照）が実行される。

【0206】

図１０に戻って説明する。ステップＳ３において、電子機器３０－１が備える操作情報送信部３１は、ユーザが当該電子機器３０－１で行った操作に応じて、操作内容が管理装置１０に通知すべき情報であるか否かを判定する。この判定は、予め定めた操作内容のいずれかと合致するか否かにより行われる。

【0207】

操作情報送信部３１は、通知すべき操作内容であると判定した場合、機器操作に関する機器操作情報を管理装置１０に送信する。管理装置１０では、操作情報受信部１２が、電子機器３０－１から機器操作情報を受信する。

【0208】

本実施形態における操作内容及び操作情報を、以下に例示する。

【0209】

＜例１＞
操作内容：機器ログイン
操作情報：登録機器ＩＤ、機器認証ＩＤ（認証が要求される場合）、ログイン時刻

【0210】

＜例２＞
操作内容：料金が発生する処理（コピー出力、従量課金型ソフトウェアの使用等）
操作情報：登録機器ＩＤ、機器認証ＩＤ（認証が要求される場合）、料金、入力データ、使用言語

【0211】

＜例３＞
操作内容：無し
操作情報：メンテナンス、省エネモード中などの状態情報

【0212】

登録機器ＩＤとは、管理装置１０の状態記憶部１００に記憶されている登録機器リストに含まれる識別情報である。登録機器ＩＤは、管理対象空間Ｒ１に設置されている電子機器３０それぞれに割り振られている。機器認証ＩＤは、電子機器３０のユーザが当該電子機器３０を使用するための認証に用いる認証情報である。

【0213】

ステップＳ４において、管理装置１０が備える状態管理部１３は、操作情報受信部１２に操作情報を要求する。次に、状態管理部１３は、操作情報受信部１２から受け取った操作情報を機器状態管理部１３２に入力する。

【0214】

続いて、機器状態管理部１３２は、後述する機器状態更新処理を実行し、状態記憶部１００に記憶されている状態管理情報の登録機器リストを更新する。

【0215】

≪機器状態更新処理≫
ここで、本実施形態における機器状態更新処理について、図１７を参照しながら説明する。図１７は、本実施形態における機器状態管理部１３２が実行する機器状態更新処理（図１０のステップＳ４）の一例を示すフローチャートである。

【0216】

ステップＳ４１において、機器状態管理部１３２は、機器操作情報に含まれる登録機器ＩＤにより登録機器リストに含まれる登録機器を特定する。次に、機器状態管理部１３２は、特定された登録機器の機器入力情報に、受け取った機器操作情報を設定する。

【0217】

ステップＳ４２において、機器状態管理部１３２は、変数ｎを１に初期化する。

【0218】

ステップＳ４３において、機器状態管理部１３２は、特定された登録機器の三次元座標とｎ番目の登録物体の最新の三次元座標との距離Ｘを計算する。なお、登録機器の三次元座標は、登録物体の三次元座標と同様の手法により予め設定しておく。登録機器の設置位置が移動される場合もあるため、定期的に登録機器の三次元座標を更新する必要があるが、更新頻度は低くてもよい。

【0219】

ステップＳ４４において、機器状態管理部１３２は、距離Ｘが所定の閾値（例えば、１メートル）未満であるか否かを判定する。距離Ｘが閾値以上である場合（ＮＯ）、機器状態管理部１３２は、ステップＳ４７に処理を進める。距離Ｘが閾値未満である場合（ＹＥＳ）、機器状態管理部１３２は、ステップＳ４５に処理を進める。

【0220】

ステップＳ４５において、機器状態管理部１３２は、ｎ番目の登録物体の機器操作情報に、特定された登録機器の機器入力情報を追加する。登録物体リストの機器操作情報は、所定数の機器入力情報を格納可能に構成されている。

【0221】

ステップＳ４６において、機器状態管理部１３２は、変数ｎがデータ数Ｎと等しいか否かを判定する。変数ｎがデータ数Ｎと異なる場合（ＮＯ）、機器状態管理部１３２は、ステップＳ４７に処理を進める。変数ｎがデータ数Ｎと等しい場合（ＹＥＳ）、機器状態管理部１３２は、処理を終了する。

【0222】

ステップＳ４７において、機器状態管理部１３２は、変数ｎをインクリメントする。その後、機器状態管理部１３２は、ステップＳ４３に処理を戻す。

【0223】

図１０に戻って説明する。ステップＳ５において、管理装置１０が備える出力情報決定部１３３は、後述する出力情報決定処理を実行し、状態記憶部１００に記憶されている状態管理情報に基づいて電子機器３０に送信する動作指示を決定する。

【0224】

≪出力情報決定処理≫
ここで、本実施形態における出力情報決定処理について、図１８及び図１９を参照しながら説明する。図１８は、本実施形態における出力情報決定部１３３が実行する出力情報決定処理（図１０のステップＳ５）の一例を示すフローチャートである。

【0225】

出力情報決定処理は、第１の基本フローチャート（図８参照）の枠組みで行われる。具体的には、登録機器リストをリストＡとし、登録物体リストをリストＢとし、登録機器と登録物体のすべての組み合わせについて、処理Ａ１（図１８）を実行する。なお、処理Ａ２－Ａ５に相当する処理はない。

【0226】

ここでは、登録機器リストのｎ番目の登録機器と登録物体リストのｍ番目の登録物体との組み合わせに対して処理を実行するものとする。

【0227】

ステップＳ５１において、出力情報決定部１３３は、ｎ番目の登録機器の最新の三次元座標とｍ番目の登録物体の最新の三次元座標との距離Ｘを計算する。

【0228】

ステップＳ５２において、出力情報決定部１３３は、距離Ｘが所定の閾値（例えば、１メートル）未満であるか否かを判定する。距離Ｘが閾値以上である場合（ＮＯ）、機器状態管理部１３２は、処理を終了する。距離Ｘが閾値未満である場合（ＹＥＳ）、機器状態管理部１３２は、ステップＳ５３に処理を進める。

【0229】

ステップＳ５３において、出力情報決定部１３３は、状態記憶部１００に記憶されている登録機器リストから、ｎ番目の登録機器の機器出力情報に含まれる出力条件を取得する。

【0230】

ステップＳ５４において、出力情報決定部１３３は、状態記憶部１００に記憶されている登録物体リストから、ｍ番目の登録物体の機器操作情報を取得する。

【0231】

ステップＳ５５において、出力情報決定部１３３は、ステップＳ５４で取得した機器操作情報のいずれかが、ステップＳ５３で取得した出力条件を満たすか否かを判定する。機器操作情報のすべてが出力条件を満たさない場合、（ＮＯ）、機器状態管理部１３２は、処理を終了する。機器操作情報のいずれかが出力条件を満たす場合（ＹＥＳ）、機器状態管理部１３２は、ステップＳ５６に処理を進める。

【0232】

ステップＳ５６において、出力情報決定部１３３は、ｎ番目の登録機器の機器出力情報からステップＳ５３で取得した出力条件に対応する動作指示を取得する。なお、登録機器の動作指示には、登録機器の属性情報に応じて適応的に処理を行なうものが含まれていてもよい。例えば、登録機器が動作できない状態であるときは動作指示を送信しないといった条件を含めてもよい。動作できない状態とは、例えば、電源オフ状態又は休止状態等である。

【0233】

図１９は、本実施形態における出力情報決定部１３３が実行する出力条件判定処理（図１８のステップＳ５５）の変形例を示すフローチャートである。

【0234】

図１８に示した出力情報決定処理では、ステップＳ５５においてｍ番目の登録物体の機器操作情報のみに基づいて出力条件を満たすか否かを判定した。図１９に示した出力情報決定処理では、ｍ番目の登録機器以外の機器操作情報を参照し出力条件を満たすか否かを判定する。

【0235】

ステップＳ５５－１において、出力情報決定部１３３は、ｍ番目の登録物体の機器操作情報のいずれかが、ｎ番目の登録機器の出力条件を満たすか否かを判定する。機器操作情報のいずれかが出力条件を満たす場合（ＹＥＳ）、出力情報決定部１３３は、ステップＳ５５－１０に処理を進める。機器操作情報のすべてが出力条件を満たさない場合（ＮＯ）、出力情報決定部１３３は、ステップＳ５５－２に処理を進める。

【0236】

ステップＳ５５－２において、出力情報決定部１３３は、ｎ番目の登録機器の出力条件に基づいて、他の登録物体の機器操作情報が必要か否かを判定する。他の登録物体の機器操作情報が必要な場合（ＹＥＳ）、出力情報決定部１３３は、ステップＳ５５－３に処理を進める。他の登録物体の機器操作情報が不要な場合（ＮＯ）、出力情報決定部１３３は、ステップＳ５５－９に処理を進める。

【0237】

ステップＳ５５－３において、出力情報決定部１３３は、変数ｋを１に初期化する。

【0238】

ステップＳ５５－４において、出力情報決定部１３３は、変数ｋが変数ｍと等しいか否かを判定する。変数ｋが変数ｍと等しい場合（ＹＥＳ）、出力情報決定部１３３は、ステップＳ５５－５に処理を進める。変数ｋが変数ｍと等しくない場合（ＮＯ）、出力情報決定部１３３は、ステップＳ５５－７に処理を進める。

【0239】

ステップＳ５５－５において、出力情報決定部１３３は、状態記憶部１００に記憶されている登録物体リストから、ｋ番目の登録物体の機器操作情報を取得する。

【0240】

ステップＳ５５－６において、出力情報決定部１３３は、ｋ番目の登録物体の機器操作情報のいずれかが、ｎ番目の登録機器の出力条件を満たすか否かを判定する。機器操作情報のいずれかが出力条件を満たす場合（ＹＥＳ）、出力情報決定部１３３は、ステップＳ５５－１０に処理を進める。機器操作情報のすべてが出力条件を満たさない場合（ＮＯ）、出力情報決定部１３３は、ステップＳ５５－７に処理を進める。

【0241】

ステップＳ５５－７において、出力情報決定部１３３は、変数ｋがデータ数Ｍと等しいか否かを判定する。変数ｋがデータ数Ｍと異なる場合（ＮＯ）、出力情報決定部１３３は、ステップ５５－８に処理を進める。変数ｍがデータ数Ｍと等しい場合（ＹＥＳ）、出力情報決定部１３３は、ステップＳ５５－９に処理を進める。

【0242】

ステップＳ５５－８において、出力情報決定部１３３は、変数ｋをインクリメントする。その後、出力情報決定部１３３は、ステップＳ５５－４に処理を戻す。

【0243】

ステップＳ５５－９において、出力情報決定部１３３は、ステップＳ５４で取得した機器操作情報が、ステップＳ５３で取得した出力条件を満たさないと判定し、処理を終了する。

【0244】

ステップＳ５５－１０において、出力情報決定部１３３は、ステップＳ５４で取得した機器操作情報が、ステップＳ５３で取得した出力条件を満たすと判定し、処理を終了する。

【0245】

図２０は、本実施形態における機器出力情報の第１の例を示す図である。本実施形態における機器出力情報の第１の例は、無人店舗での支払いに関する出力条件を含む。機器出力情報の第１の例には、他の登録物体の機器操作情報が不要な出力条件、および、他の登録物体の機器操作情報が必要な出力条件（グループＩＤ活用）の両方が含まれる。

【0246】

機器出力情報の第１の例は、電子機器３０－１がＭＦＰ、電子機器３０－２が精算装置（セルフサービスターミナル）であって、ＭＦＰ利用料金を精算装置で支払う利用シーンへの適用例である。

【0247】

図２０に示されているように、本実施形態における出力条件１－１は、ｍ番目の登録物体（以下、「人物α」とも呼ぶ）が電子機器３０－１（ここでは、ＭＦＰとする）で料金が発生する操作を行った機器操作情報が存在し、かつ、支払い済みフラグが未払いを表す０（＝ｆａｌｓｅ）であること、である。

【0248】

図２０に示されているように、出力条件１－１を満たすと判定された場合、以下の動作指示のいずれか又は複数が、登録機器（電子機器３０－２）または管理装置１０に送信する動作指示として決定される。第１の動作指示は、人物αに提示する請求額として、ＭＦＰ利用料金を表示、または他の商品等を購入した料金にＭＦＰ利用料金を加算して表示することである。第２の動作指示は、人物αの機器操作情報に支払い済みフラグを、支払い済みを表す１（＝ｔｒｕｅ）に更新するように管理装置１０に指示することである。

【0249】

本実施形態における出力条件１－２は、ｋ番目の登録物体（以下、「人物β」とも呼ぶ）が電子機器３０－１（ここでは、ＭＦＰとする）で料金が発生する操作を行った機器操作情報が存在し、かつ、支払い済みフラグが未払いを表す０（＝ｆａｌｓｅ）であること、である。なお、人物βは、人物αと同じグループＩＤを持つものとする。

【0250】

出力条件１－２を満たすと判定された場合、以下の動作指示のいずれか又は複数が、登録機器（電子機器３０－２）または管理装置１０に送信する動作指示として決定される。第１の動作指示は、人物αに提示する請求額に、人物βに関するＭＦＰ利用料金を加算することである。第２の動作指示は、人物βに関するＭＦＰ利用料金について「人物αではなく人物βが支払う」旨を示す選択肢と「はい」又は「いいえ」の選択ボタンを表示することである。「はい」が選択された場合、人物αに提示する請求額を、人物βに関するＭＦＰ利用料金を加算した請求額とする。「いいえ」が選択された場合、人物αに提示する請求額を、人物βのＭＦＰ利用料金を含まない金額とする。第３の動作指示は、人物αが人物βに関するＭＦＰ利用料金が加算された請求額を支払った場合、人物βの機器操作情報に支払い済みフラグを、支払い済みを表す１（＝ｔｒｕｅ）に更新するように管理装置１０に指示することである。

【0251】

本実施形態における出力条件１－３は、ｍ番目の登録物体（以下、「人物α」とも呼ぶ）が電子機器３０－１（ここでは、ＭＦＰとする）で料金が発生する操作を行った機器操作情報が存在するが、すでに支払い済みフラグが支払い済みを表す１（＝ｔｒｕｅ）であること、である。例えば同じグループに属するｋ番目の登録物体（人物β）がｍ番目の登録物体（人物α）のＭＦＰ利用料金をすでに支払い済み（支払い済みフラグ＝1）の場合、このような状況が発生する。

【0252】

出力条件１－３を満たすと判断された場合、人物αに対する請求額を、支払い済みフラグが１である料金は含めずに算出する。この処理は支払い済みフラグが１でない料金のみを加算するという公知のｉｆ演算で簡単に実行できる。もし、人物αの店舗内の利用がＭＦＰ利用料金のみであれば、「すでに全ての代金は支払い済みです」という趣旨の表示を行なう。出力条件１－３のように、所定条件が満たされた場合のみ動作指示を行う事で、顧客の利便性を向上させることができる。

【0253】

図１０に戻って説明する。ステップＳ６において、管理装置１０が備える出力情報決定部１３３は、動作指示を表す動作指示情報を動作指示部１４に送る。動作指示情報には、決定した動作指示を示す情報が含まれる。

【0254】

動作指示部１４は、出力情報決定部１３３から動作指示情報を受け取る。次に、動作指示部１４は、精算装置（セルフサービスターミナル）である電子機器３０－２に、動作指示情報に含まれる動作指示を送信する。

【0255】

電子機器３０－２（精算装置）では、機器制御部３２が、管理装置１０から動作指示を受信する。次に、機器制御部３２は、受信した動作指示に従って、当該動作指示に含まれる料金情報を用いた動作を実行する。例えば、機器制御部３２は、動作指示に含まれる料金情報を、利用者が購入する商品の代金に加えてディスプレイ５０６に表示する。

【0256】

また、例えば、機器制御部３２は、利用者が属するグループ全員に関する料金情報を受信した場合、利用者が精算する料金を選択可能な形式でディスプレイ５０６に表示する。利用者は、個別精算を希望する場合には、他の利用者による電子機器の操作に基づく料金を除外して精算を行うことができる。

【0257】

更に機器制御部３２は、利用者が属するグループメンバーがすでに支払い済みの料金か否かを支払い済みフラグに基づき判断し、支払い済みフラグが１である料金についてはディスプレイ５０６に表示されないよう、予め除去する。

【0258】

図２１は、本実施形態における機器出力情報の第２の例を示す図である。本実施形態における機器出力情報の第２の例は、オフィスにおける電子機器間の情報連携に関する出力条件を含む。機器出力情報の第２の例には、第１の例と同様に、他の登録物体の機器操作情報が不要な出力条件、および、他の登録物体の機器操作情報が必要な出力条件（グループＩＤ活用）の両方が含まれる。

【0259】

機器出力情報の第２の例は、電子機器３０－１がＭＦＰ、電子機器３０－２が電子黒板であって、ＭＦＰで入力された認証情報を用いて電子黒板にログインする利用シーンへの適用例である。

【0260】

図２１に示されているように、本実施形態における出力条件２－１は、ｍ番目の登録物体（以下、「人物α」とも呼ぶ）が他の電子機器（ここでは、ＭＦＰとする）で入力した認証情報が、ｎ番目の電子機器（ここでは、電子黒板とする）で認証可能な認証情報であること、および、ｎ番目の電子機器が既に他の人物によって使用されていないことである。

【0261】

他の人物によって使用されていないことを確認することにより、他者が使用中の電子黒板の表示が、人物αの接近によって勝手に切り替わることを防止できる。他の人物によって使用されていないことの確認は、電子黒板のＣＰＵが、電子黒板が認証により使用されていること、あるいは、直近１分以内に電子黒板に書き込みがあったことなどの条件に基づいて、公知のプログラミング手法により適宜確認可能である。

【0262】

出力条件２－１のように、所定条件が満たされた場合のみ動作指示を行う事で、顧客の利便性を向上させることができる。

【0263】

図２１に示されているように、出力条件２－１を満たすと判定された場合、以下の動作指示のいずれか又は複数が、登録機器（電子機器３０－２）に送信する動作指示として決定される。第１の動作指示は、人物αを電子黒板に自動認証することである。この場合、送信する動作指示には、人物αがＭＦＰで入力した認証情報が含まれる。第２の動作指示は、電子黒板に「αさん、自動認証を行ないました」と数秒間表示することである。

【0264】

第３の動作指示は、人物αがＭＦＰで情報入力（例えば、スキャン操作）を行っていた場合、「さきほど機器○○（ＭＦＰの名称）で入力された情報を表示しますか？」という文言と「はい」又は「いいえ」の選択ボタンを表示することである。このとき、「はい」が選択された場合、スキャナで入力された情報が電子黒板に表示される。

【0265】

第４の動作指示は、人物αの機器操作情報からＭＦＰで設定された使用言語を特定し、電子黒板の表示に反映することである。

【0266】

なお出力条件２－１の変形例として、電子黒板の属性情報が「省エネモード中」等の休止状態ではないこと、という出力条件を用いても良い。このようにすれば、休止中の電子黒板が人物αの接近によって電源ＯＮとなることがなく、エネルギー使用効率が良い。

【0267】

図２１に示されているように、本実施形態における出力条件２－２は、ｋ番目の登録物体（以下、「人物β」とも呼ぶ）が他の電子機器（ここでは、ＭＦＰとする）で入力した認証情報が、ｎ番目の電子機器（ここでは、電子黒板とする）で認証可能な認証情報であること、である。なお、人物βは、人物αと同じグループＩＤを持つものとする。

【0268】

図２１に示されているように、出力条件２－２を満たすと判定された場合、以下の動作指示のいずれか又は複数が、登録機器（電子機器３０－２）に送信する動作指示として決定される。第１の動作指示は、人物αを電子黒板に自動認証することである。この場合、送信する動作指示には、人物βがＭＦＰで入力した認証情報が含まれる。第２の動作指示は、電子黒板に「βさんの認証情報で自動認証を行ないました」と数秒間表示することである。

【0269】

第３の動作指示は、人物βがＭＦＰで情報入力（例えば、スキャン操作）を行っていた場合、「βさんが機器○○（ＭＦＰの名称）で入力された情報を表示しますか？」という文言と「はい」又は「いいえ」の選択ボタンを表示することである。このとき、「はい」が選択された場合、スキャナで入力された情報が電子黒板に表示される。

【0270】

図１０に戻って説明する。ステップＳ６において、管理装置１０が備える出力情報決定部１３３は、動作指示を表す動作指示情報を動作指示部１４に送る。動作指示情報には、決定した動作指示及び送信先の電子機器３０－２を示す情報が含まれる。

【0271】

動作指示部１４は、出力情報決定部１３３から動作指示情報を受け取る。次に、動作指示部１４は、動作指示情報に含まれる送信先の電子機器３０－２に、動作指示情報に含まれる動作指示を送信する。

【0272】

電子機器３０－２では、機器制御部３２が、管理装置１０から動作指示を受信する。次に、機器制御部３２は、受信した動作指示に従って、当該動作指示に含まれる入力情報を用いた動作を実行する。例えば、機器制御部３２は、動作指示に含まれる認証情報を用いて、ユーザを認証する。また、例えば、機器制御部３２は、動作指示に含まれる設定情報を用いて、当該電子機器３０－２の設定を変更する。

【0273】

＜実施形態の効果＞
本実施形態における機器管理システム１は、電子機器３０の近傍を撮影した画像に基づいて人物の移動を追跡することで、ユーザが第１の電子機器３０－１で入力した情報を用いた動作指示を、当該ユーザが近傍にいることを検知した第２の電子機器３０－２に送信する。したがって、本実施形態における機器管理システム１によれば、第１の電子機器に入力された情報を用いた動作を第２の電子機器に実行させることができる。

【0274】

特に、第１の電子機器３０－１で認証された認証情報を用いた認証指示を第２の電子機器３０－２に送信することで、第１の電子機器３０－１で認証されたユーザが第２の電子機器３０－２の近傍に移動した際に自動的に認証を行うことができる。すなわち、本実施形態における機器管理システムによれば、ハードウェア連携によるシングルサインオンを実現することができる。

【0275】

［応用例］
上記実施形態では、管理対象空間をオフィスの会議室又は執務室等と想定し、電子機器３０をＯＡ（Office Automation）機器として管理する例を中心に説明した。ただし、機器管理システム１を適用可能な利用シーンはこれに限定されず、様々な利用シーンに応用することができる。

【0276】

例えば、機器管理システム１を、ホテルに設置される電子機器を管理するように構成することができる。ホテルには、様々な電子機器が設置されている。例えば、ロビーには自動チェックイン機が設置されていることがある。また、客室にはテレビ放送及びオンデマンド動画を再生可能なセットトップボックスが設置されていることがある。機器管理システム１によりこれらの機器を管理することで、ホテルの宿泊客が自動チェックイン機で設定した使用言語をセットトップボックスの使用言語に自動的に設定することが可能となる。例えば自動チェックイン機が第１の電子機器の１例、セットトップボックスが第２の電子機器の１例である。なお第１の電子機器、第２の電子機器の例は他の機器やこの逆でもよい。

【0277】

また、例えば、機器管理システム１を、空港に設置される電子機器を管理するように構成することができる。空港では航空機に搭乗するまでに、発券、チェックイン、手荷物検査等の手続きを通過する必要があり、各手続きで搭乗券を専用の電子機器で処理している。機器管理システム１によりこれらの機器を管理することで、前の手続きを行う電子機器で設定した使用言語を次の手続きを行う電子機器の使用言語に自動的に設定することが可能となる。例えば発券・チェックイン用の自動チェックイン機が第１の電子機器の１例、発券・チェックイン後に利用する様々なサービス機器（売店、ラウンジ、両替、その他手続き等に利用する機器）が第２の電子機器の１例である。なお第１の電子機器、第２の電子機器の例は他の機器やこの逆でもよい。

【0278】

また、例えば、機器管理システム１を、書店又は図書館に設置される検索端末等の電子機器を管理するように構成することができる。顧客が検索端末で行った検索と、その後に移動した本棚の情報とを連携することで、マーケティングの強化に利用することができる。例えば検索端末が第１の電子機器の１例、精算装置又は貸し出し機（バーコードリーダー付き端末等）が第２の電子機器の１例である。なお第１の電子機器、第２の電子機器の例は他の機器やこの逆でもよい。

【0279】

また、例えば、機器管理システム１を、工場に設置されるＰＣ等の電子機器を管理するように構成することができる。作業員の行動と、作業現場に設置された機器操作内容とを関連付けて検証することで、作業員の作業妥当性を監視することができる。例えば情報処理端末（作業者等に設置されたＰＣ等）が第１の電子機器の１例、作業用機器（生産物の製造装置、検査装置、印刷装置等）が第２の電子機器の１例である。なお第１の電子機器、第２の電子機器の例は他の機器やこの逆でもよい。

【0280】

また、例えば、機器管理システム１を、コンビニエンスストアの無人店舗に設置される電子機器を管理するように構成することができる。コンビニエンスストアには、ＭＦＰやセルフサービスターミナル等の精算装置等の電子機器が設置されている。機器管理システム１によりこれらの機器を管理することで、例えば、顧客がＭＦＰで設定した使用言語を精算装置の使用言語に設定することが可能となる。例えばＭＦＰが第１の電子機器の１例、セルフサービスターミナル等の精算装置が第２の電子機器の１例である。なお第１の電子機器、第２の電子機器の例は他の機器でもよい。また、逆に、第１の電子機器として清算装置を、第２の電子機器としてＭＦＰを設定してもよい。この場合、機器管理システム１は、精算装置で事前に印刷料金を支払った顧客の動きを追跡し、その顧客がＭＦＰに近づいたタイミングで、料金に応じた印刷やファクシミリ送信を顧客に許可させることができる。

【0281】

また、例えば、機器管理システム１が、無人店舗であるコンビニエンスストアに設置されるチケット発券機（第１の電子機器の１例であるセルフサービスターミナル）と、精算装置（第２の電子機器の１例）を管理するように構成することができる。このようにすることで、チケット発券機と清算装置がネットワーク経由で直接の情報連携ができない場合であっても、機器管理システム１が、チケット発券機で入力されたチケット購入情報を取得し、また顧客の動きを追跡して清算装置に近づいたタイミングで料金を表示することにより、顧客に適切な精算を依頼することが可能となる。

【0282】

［補足］
上記各実施形態において、管理装置１０は情報処理装置の一例である。機器管理システム１は情報処理システムの一例である。監視装置２０は撮影装置の一例である。電子機器３０は第１の電子機器及び第２の電子機器の一例である。画像受信部１１は第１画像受信部及び第２画像受信部の一例である。操作情報受信部１２は入力情報受信部の一例である。状態管理部１３は第１ユーザ特定部及び第２ユーザ特定部の一例である。

【0283】

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）や従来の回路モジュール等の機器を含むものとする。

【0284】

実施例に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。ある実施形態では、管理装置１０は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。

【0285】

以上、本発明の実施の形態について詳述したが、本発明はこれらの実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形又は変更が可能である。

【符号の説明】

【0286】

１ 機器管理システム
１０ 管理装置
１１ 画像受信部
１２ 操作情報受信部
１３ 状態管理部
１４ 動作指示部
１００ 状態記憶部
１３１ 物体状態管理部
１３２ 機器状態管理部
１３３ 出力情報決定部
２０ 監視装置
２１ 画像取得部
２２ 画像送信部
３０ 電子機器
３１ 操作情報送信部
３２ 機器制御部

【先行技術文献】

【特許文献】

【0287】

【特許文献1】特許第６０６４６３６号公報

【特許文献2】特許第５２３８４０９号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】