特開 2023-140345 情報処理装置、情報処理システム、料金管理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023140345

(43)【公開日】2023-10-04

(54)【発明の名称】情報処理装置、情報処理システム、料金管理方法及びプログラム

(51)【国際特許分類】

   G06Q 30/06 20230101AFI20230927BHJP

   G07G 1/12 20060101ALI20230927BHJP

【ＦＩ】

G06Q30/06

G07G1/12 361Z

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023073611

(22)【出願日】2023-04-27

(62)【分割の表示】P 2022045722の分割

【原出願日】2022-03-22

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】川又 悠司

(72)【発明者】

【氏名】松浦 熱河

【テーマコード（参考）】

3E142

5L049

【Ｆターム（参考）】

3E142BA01

3E142CA13

3E142EA04

3E142FA42

3E142GA41

3E142JA01

5L049BB72

(57)【要約】

【課題】グループに属する利用者の精算の手間を低減する。
【解決手段】精算装置及び撮影装置とネットワークを介して通信可能な情報処理装置が、撮影装置で撮影した第１の画像を受信する第１画像受信部と、第１の画像に基づいて、第１の画像に撮影されている人物を特定する人物特定部と、人物特定部が特定した人物が属する複数の人物からなるグループを、第１の画像に基づいて特定するグループ特定部と、人物の行動に基づく料金情報を受信する料金情報受信部と、撮影装置で撮影した第２の画像を受信する第２画像受信部と、第２の画像に基づいてグループに属する人物が精算装置の操作可能位置にいることを検知したとき、グループに属する複数の人物に関する料金情報を精算装置に送信する料金情報送信部と、を備える。
【選択図】図５

【特許請求の範囲】

【請求項1】

精算装置及び撮影装置とネットワークを介して通信可能な情報処理装置であって、
前記撮影装置で撮影した第１の画像を受信する第１画像受信部と、
前記第１の画像に基づいて、前記第１の画像に撮影されている人物を特定する人物特定部と、
前記人物特定部が特定した前記人物が属する複数の人物からなるグループを、前記第１の画像に基づいて特定するグループ特定部と、
前記人物の行動に基づく料金情報を受信する料金情報受信部と、
前記撮影装置で撮影した第２の画像を受信する第２画像受信部と、
前記第２の画像に基づいて前記グループに属する前記人物が前記精算装置の操作可能位置にいることを検知したとき、前記グループに属する前記複数の人物に関する前記料金情報を前記精算装置に送信する料金情報送信部と、
を備える情報処理装置。

【請求項2】

請求項１に記載の情報処理装置であって、
前記情報処理装置は、さらに電子機器とネットワークを介して通信可能であり、
前記料金情報受信部は、前記人物が前記電子機器を利用した前記料金情報を受信する、
情報処理装置。

【請求項3】

請求項１に記載の情報処理装置であって、
前記撮影装置は、第１のカメラと第２のカメラとで構成され、
前記第１のカメラは、前記第１の画像を撮影し、
前記第２のカメラは、前記第２の画像を撮影する、
情報処理装置。

【請求項4】

請求項１に記載の情報処理装置であって、
前記第１の画像と前記第２の画像とは、同一の画像である、
情報処理装置。

【請求項5】

請求項１に記載の情報処理装置であって、
前記撮影装置は、前記精算装置を操作するための待機領域を撮影し、
前記グループ特定部は、前記待機領域を撮影した画像に基づいて、前記グループを特定する、
情報処理装置。

【請求項6】

請求項１に記載の情報処理装置であって、
前記人物特定部は、前記撮影装置から受信した前記第１の画像を用いて前記人物の位置情報を時系列に記録する、
情報処理装置。

【請求項7】

請求項６に記載の情報処理装置であって、
前記グループ特定部は、前記位置情報の時系列に基づいて前記人物が属する前記グループを特定する、
情報処理装置。

【請求項8】

請求項７に記載の情報処理装置であって、
前記グループ特定部は、複数の前記人物の間の距離が所定の時間連続して所定の距離より短いことを検知したとき、前記複数の前記人物が同一の前記グループに属すると判定する、
情報処理装置。

【請求項9】

請求項７に記載の情報処理装置であって、
前記グループ特定部は、複数の前記人物が撮影された前記第１の画像を所定のグループ行為が撮影された画像と比較することで前記人物が属する前記グループを特定する、
情報処理装置。

【請求項10】

精算装置、撮影装置及び情報処理装置がネットワークを介して通信可能な情報処理システムであって、
前記情報処理装置は、
前記撮影装置で撮影した第１の画像を受信する第１画像受信部と、
前記第１の画像に基づいて、前記第１の画像に撮影されている人物を特定する人物特定部と、
前記人物特定部が特定した前記人物が属する複数の人物からなるグループを、前記第１の画像に基づいて特定するグループ特定部と、
前記人物の行動に基づく料金情報を受信する料金情報受信部と、
前記撮影装置で撮影した第２の画像を受信する第２画像受信部と、
前記第２の画像に基づいて前記グループに属する前記人物が前記精算装置の操作可能位置にいることを検知したとき、前記グループに属する前記複数の人物に関する前記料金情報を前記精算装置に送信する料金情報送信部と、
を備える情報処理システム。

【請求項11】

精算装置及び撮影装置とネットワークを介して通信可能なコンピュータが、
前記撮影装置で撮影した第１の画像を受信する第１画像受信手順と、
前記第１の画像に基づいて、前記第１の画像に撮影されている人物を特定する人物特定手順と、
前記人物特定手順で特定した前記人物が属する複数の人物からなるグループを、前記第１の画像に基づいて特定するグループ特定手順と、
前記人物の行動に基づく料金情報を受信する料金情報受信手順と、
前記撮影装置で撮影した第２の画像を受信する第２画像受信手順と、
前記第２の画像に基づいて前記グループに属する前記人物が前記精算装置の操作可能位置にいることを検知したとき、前記グループに属する前記複数の人物に関する前記料金情報を前記精算装置に送信する料金情報送信手順と、
を実行する料金管理方法。

【請求項12】

精算装置及び撮影装置とネットワークを介して通信可能なコンピュータに、
前記撮影装置で撮影した第１の画像を受信する第１画像受信手順と、
前記第１の画像に基づいて、前記第１の画像に撮影されている人物を特定する人物特定手順と、
前記人物特定手順で特定した前記人物が属する複数の人物からなるグループを、前記第１の画像に基づいて特定するグループ特定手順と、
前記人物の行動に基づく料金情報を受信する料金情報受信手順と、
前記撮影装置で撮影した第２の画像を受信する第２画像受信手順と、
前記第２の画像に基づいて前記グループに属する前記人物が前記精算装置の操作可能位置にいることを検知したとき、前記グループに属する前記複数の人物に関する前記料金情報を前記精算装置に送信する料金情報送信手順と、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、情報処理装置、情報処理システム、料金管理方法及びプログラムに関する。

【背景技術】

【0002】

例えばコンビニエンスストア又はスーパーマーケット等の小売店舗において、店内に設置したカメラの映像を用いて利用者を追跡することで、無人店舗を実現する技術がある。例えば、特許文献１には、入店時、決済時及び退店時に顔認証を行うことで利用者を特定し、決済時には物体認識により商品の代金を算出する無人店舗システムが開示されている。

【0003】

一方、小売店舗には、例えばデジタル複合機又はマルチメディア端末等の電子機器が設置されていることがある。通常、これらの電子機器の操作は利用料金が発生するため、利用料金を精算する手段が備えられている。例えば、特許文献２には、利用料金を店舗内のＰＯＳ（Point Of Sales）端末で精算できる画像形成装置が開示されている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、複数の利用者に関する料金を一括して精算することは困難である、という課題がある。例えば、特許文献１に開示された技術では顔認識により事前登録した利用者を認識することができるが、利用者が属するグループを認識することはできない。

【0005】

この発明の一実施形態は、上記のような技術的課題に鑑みて、グループに属する利用者の精算の手間を低減することを目的とする。

【課題を解決するための手段】

【0006】

上記の課題を解決するために、この発明の一実施形態である情報処理装置は、精算装置及び撮影装置とネットワークを介して通信可能な情報処理装置であって、撮影装置で撮影した第１の画像を受信する第１画像受信部と、第１の画像に基づいて、第１の画像に撮影されている人物を特定する人物特定部と、人物特定部が特定した人物が属する複数の人物からなるグループを、第１の画像に基づいて特定するグループ特定部と、人物の行動に基づく料金情報を受信する料金情報受信部と、撮影装置で撮影した第２の画像を受信する第２画像受信部と、第２の画像に基づいてグループに属する人物が精算装置の操作可能位置にいることを検知したとき、グループに属する複数の人物に関する料金情報を精算装置に送信する料金情報送信部と、を備える。

【発明の効果】

【0007】

この発明の一実施形態によれば、グループに属する利用者の精算の手間を低減することができる。

【図面の簡単な説明】

【0008】

【図1】一実施形態における料金管理システムの全体構成の一例を示す図である。

【図2】一実施形態におけるコンピュータのハードウェア構成の一例を示す図である。

【図3】一実施形態における全天球撮影装置のハードウェア構成の一例を示す図である。

【図4】一実施形態におけるＭＦＰのハードウェア構成の一例を示す図である。

【図5】一実施形態における料金管理システムの機能構成の一例を示す図である。

【図6】一実施形態における状態管理情報の一例を示す図である。

【図7】一実施形態における第１の基本フローチャートの一例を示す図である。

【図8】一実施形態における第２の基本フローチャートの一例を示す図である。

【図9】一実施形態における料金管理方法の一例を示す図である。

【図10】一実施形態における物体状態更新処理の一例を示す図である。

【図11】一実施形態における検知物体リスト作成処理の一例を示す図である。

【図12】一実施形態における登録物体リスト更新処理の一例を示す図である。

【図13】一実施形態における登録物体リスト更新処理の一例を示す図である。

【図14】一実施形態におけるグループＩＤ付与処理の第１の例を示す図である。

【図15】一実施形態におけるグループＩＤ付与処理の第２の例を示す図である。

【図16】一実施形態における機器状態更新処理の一例を示す図である。

【図17】一実施形態における出力情報決定処理の一例を示す図である。

【図18】一実施形態における出力条件判定処理の一例を示す図である。

【図19】一実施形態における機器出力情報の一例を示す図である。

【図20】一変形例における物体状態更新処理の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら、この発明の実施の形態について、詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

【0010】

［実施形態］
本発明の一実施形態は、グループに属する複数の利用者に関する料金を一括して精算することが可能な料金管理システムである。本実施形態における料金管理システムでは、グループに属する利用者が精算装置の近傍にいるとき、当該グループに属するすべての利用者に関する料金を当該精算装置から提示する。

【0011】

なお、本実施形態における料金管理システムが対象とする料金は、店舗内で利用者が手にした商品の代金、及び店舗内に設置された電子機器の利用料金等、店舗内における利用者の行動に基づいて発生するあらゆる料金を含む。

【0012】

例えば、特許文献１に開示された無人店舗システムでは、入店から退店まで顔認識により利用者を特定しているが、個々の利用者を特定するのみであり、複数の利用者が属するグループを認識することはできない。したがって、特許文献１に開示された無人店舗システムでは、特定された利用者に関する料金のみが精算可能である。

【0013】

本実施形態における料金管理システムは、管理装置が、電子機器及び精算装置が設置された空間を撮影した画像に基づいて、当該空間内を移動する複数の利用者を追跡する。これにより、管理装置は、複数の利用者が属するグループを認識することができる。

【0014】

複数の利用者が属するグループを認識できれば、グループに属するすべての利用者に関する料金を、当該グループに属するいずれかの利用者が近傍にいる精算装置から提示することができる。グループに属するすべての利用者に関する料金を一括して精算することができれば、利用者にとって利便性が高い無人店舗を実現することができる。

【0015】

＜料金管理システムの全体構成＞
まず、本実施形態における料金管理システムの全体構成について、図１を参照しながら説明する。図１は、本実施形態における料金管理システムの全体構成の一例を示す図である。

【0016】

図１に示されているように、本実施形態における料金管理システム１は、管理装置１０、１台以上の監視装置２０、１台以上の電子機器３０及び精算装置４０を含む。管理装置１０、監視装置２０、電子機器３０及び精算装置４０は、それぞれ通信ネットワークＮ１に接続している。

【0017】

通信ネットワークＮ１は、接続されている各装置が相互に通信可能となるように構成されている。通信ネットワークＮ１は、例えば、インターネット、ＬＡＮ（Local Area Network）、又はＷＡＮ（Wide Area Network）などの有線通信によるネットワークによって構築されている。

【0018】

通信ネットワークＮ１は、有線通信だけでなく、例えば、無線ＬＡＮ、又は近距離無線通信等の無線通信、もしくはＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）、ＬＴＥ（Long Term Evolution）、又は５Ｇ（5th Generation）等の移動体通信によるネットワークが含まれていてもよい。

【0019】

監視装置２０、電子機器３０及び精算装置４０は、管理対象空間Ｒ１に設置される。管理対象空間Ｒ１は、建物内の部屋等の１つの空間でもよいし、扉又は廊下等の出入り可能な空間で接続された複数の空間でもよい。

【0020】

管理対象空間Ｒ１の一例は、コンビニエンスストア等の小規模店舗における売り場等である。管理対象空間Ｒ１の他の一例は、ホテルのロビー又は客室等である。管理対象空間Ｒ１はこれらに限定されず、操作により利用料金が発生し得る電子機器が設置される空間であればどのようなものでもよい。

【0021】

管理装置１０は、電子機器３０及び精算装置４０を管理するＰＣ（Personal Computer）、ワークステーション又はサーバ等の情報処理装置である。管理装置１０は、監視装置２０から受信した画像及び電子機器３０から受信した料金情報に基づいて、精算装置４０に動作指示を送信する。管理装置１０の一例は、コンピュータである。

【0022】

監視装置２０は、管理対象空間Ｒ１に設置された電子機器３０及び精算装置４０の近傍を含む画像を取得する電子機器である。監視装置２０は映像（すなわち、画像の時系列）を取得してもよい。監視装置２０は、複数の電子機器３０及び精算装置４０すべてを撮影可能な位置に設置される。

【0023】

監視装置２０の一例は、全天球撮影装置である。監視装置２０の他の一例は、複数のネットワークカメラである。監視装置２０が複数のネットワークカメラである場合、各ネットワークカメラは管理対象空間Ｒ１内に死角が生じないように画角を調整して配置される。

【0024】

以降では、監視装置２０が複数ある場合に、各々を区別するときは、「監視装置２０－１」、「監視装置２０－２」等と枝番を用いて記載する。

【0025】

電子機器３０は、ユーザが使用する各種の電子機器である。電子機器３０の一例は、画像形成装置（プリンタ、ＦＡＸ装置、ＭＦＰ（Multifunction Peripheral/Product/Printer：デジタル複合機）、スキャナ装置等）である。電子機器３０の他の一例は、マルチメディア端末、コーヒーマシン及び商品認識装置等である。

【0026】

なお、本実施形態における商品認識装置は、商品棚又はその近傍に設置される。商品認識装置は、例えば重量センサ、赤外線センサ又は画像センサ等により、利用者が商品棚から取り出した商品又は商品棚に戻した商品を認識する。また、商品認識装置は、商品棚から取り出された商品に関する料金情報を出力する。

【0027】

以降では、複数の電子機器３０について、各々を区別するときは、「電子機器３０－１」、「電子機器３０－２」等と枝番を用いて記載する。

【0028】

精算装置４０は、店舗の利用者が購入する商品の代金及び／又は利用したサービスに関する料金を精算する情報処理装置である。精算装置４０は、利用者に請求する金額をディスプレイ等に提示し、利用者から受け取った金銭により精算処理を行う。精算装置４０は、必要により、バーコードスキャナ、決済端末及び金銭収受器等が外部接続される。精算装置４０の一例は、コンピュータである。精算装置４０の他の一例は、金銭登録機である。

【0029】

なお、電子機器３０は、通信機能を備えた装置であれば、画像形成装置に限られない。すなわち、電子機器３０は、例えば、ＰＪ（Projector：プロジェクタ）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、自動車（Connected Car）、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣ又はデスクトップＰＣ等であってもよい。

【0030】

＜料金管理システムのハードウェア構成＞
次に、本実施形態における料金管理システムに含まれる各装置のハードウェア構成について、図２から図４を参照しながら説明する。

【0031】

≪コンピュータのハードウェア構成≫
図２は、管理装置１０及び精算装置４０がコンピュータで実現される場合のハードウェア構成の一例を示す図である。

【0032】

図２に示されているように、一実施形態におけるコンピュータは、ＣＰＵ(Central Processing Unit)５０１、ＲＯＭ(Read Only Memory)５０２、ＲＡＭ(Random Access Memory)５０３、ＨＤ(Hard Disk)５０４、ＨＤＤ(Hard Disk Drive)コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ／Ｆ(Interface)５０８、ネットワークＩ／Ｆ５０９、バスライン５１０、キーボード５１１、ポインティング機器５１２、ＤＶＤ－ＲＷ(Digital Versatile Disk Rewritable)ドライブ５１４、メディアＩ／Ｆ５１６を備えている。

【0033】

これらのうち、ＣＰＵ５０１は、コンピュータ全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ（Initial Program Loader）等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。

【0034】

ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ／Ｆ５０９は、通信ネットワークＮ１を利用してデータ通信をするためのインターフェースである。バスライン５１０は、図２に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

【0035】

また、キーボード５１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティング機器５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ５１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ５１３に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷに限らず、ＤＶＤ－Ｒ等であってもよい。メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。

【0036】

≪全天球撮影装置のハードウェア構成≫
図３は、監視装置２０が全天球撮影装置で実現される場合のハードウェア構成の一例を示す図である。以下では、全天球撮影装置は、２つの撮像素子を使用した全天球（全方位）撮影装置とするが、撮像素子は２つ以上であればいくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に全天球撮影装置と同じ機能を有するようにしてもよい。

【0037】

図３に示されているように、一実施形態における全天球撮影装置は、撮像ユニット６０１、画像処理ユニット６０４、撮像制御ユニット６０５、マイク６０８、音処理ユニット６０９、ＣＰＵ(Central Processing Unit)６１１、ＲＯＭ(Read Only Memory)６１２、ＳＲＡＭ(Static Random Access Memory)６１３、ＤＲＡＭ(Dynamic Random Access Memory)６１４、操作部６１５、外部機器接続Ｉ／Ｆ６１６、通信部６１７、アンテナ６１７ａ、加速度・方位センサ６１８、ジャイロセンサ６１９、加速度センサ６２０、及びMicro USB用の凹状の端子６２１によって構成されている。

【0038】

このうち、撮像ユニット６０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）６０２ａ，６０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子６０３ａ，６０３ｂを備えている。撮像素子６０３ａ，６０３ｂは、魚眼レンズ６０２ａ，６０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

【0039】

撮像ユニット６０１の撮像素子６０３ａ，６０３ｂは、各々、画像処理ユニット６０４とパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット６０１の撮像素子６０３ａ，６０３ｂは、撮像制御ユニット６０５とは、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット６０４、撮像制御ユニット６０５及び音処理ユニット６０９は、バス６１０を介してＣＰＵ６１１と接続される。さらに、バス６１０には、ＲＯＭ６１２、ＳＲＡＭ６１３、ＤＲＡＭ６１４、操作部６１５、外部機器接続Ｉ／Ｆ(Interface)６１６、通信部６１７、及び加速度・方位センサ６１８なども接続される。

【0040】

画像処理ユニット６０４は、撮像素子６０３ａ，６０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、正距円筒射影画像のデータを作成する。

【0041】

撮像制御ユニット６０５は、一般に撮像制御ユニット６０５をマスタデバイス、撮像素子６０３ａ，６０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子６０３ａ，６０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ６１１から受け取る。また、撮像制御ユニット６０５は、同じくＩ２Ｃバスを利用して、撮像素子６０３ａ，６０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ６１１に送る。

【0042】

また、撮像制御ユニット６０５は、操作部６１５のシャッターボタンが押下されたタイミングで、撮像素子６０３ａ，６０３ｂに画像データの出力を指示する。全天球撮影装置によっては、ディスプレイ（例えば、スマートフォンのディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子６０３ａ，６０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

【0043】

また、撮像制御ユニット６０５は、後述するように、ＣＰＵ６１１と協働して撮像素子６０３ａ，６０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、全天球撮影装置にはディスプレイが設けられていないが、表示部を設けてもよい。

【0044】

マイク６０８は、音を音（信号）データに変換する。音処理ユニット６０９は、マイク６０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

【0045】

ＣＰＵ６１１は、全天球撮影装置の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ６１２は、ＣＰＵ６１１のための種々のプログラムを記憶している。ＳＲＡＭ６１３及びＤＲＡＭ６１４はワークメモリであり、ＣＰＵ６１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ６１４は、画像処理ユニット６０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。

【0046】

操作部６１５は、シャッターボタン６１５ａなどの操作ボタンの総称である。ユーザは操作部６１５を操作することで、種々の撮影モードや撮影条件などを入力する。

【0047】

外部機器接続Ｉ／Ｆ６１６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやＰＣ(Personal Computer)等である。ＤＲＡＭ６１４に記憶された正距円筒射影画像のデータは、この外部機器接続Ｉ／Ｆ６１６を介して外付けのメディアに記録されたり、必要に応じて外部機器接続Ｉ／Ｆ６１６を介してスマートフォン等の外部端末（装置）に送信されたりする。

【0048】

通信部６１７は、全天球撮影装置に設けられたアンテナ６１７ａを介して、Wi-Fi、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信技術によって、スマートフォン等の外部端末（装置）と通信を行う。この通信部６１７によっても、正距円筒射影画像のデータをスマートフォン等の外部端末（装置）に送信することができる。

【0049】

加速度・方位センサ６１８は、地球の磁気から全天球撮影装置の方位を算出し、方位情報を出力する。この方位情報はExifに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。また、加速度・方位センサ６１８は、全天球撮影装置６の移動に伴う角度の変化（Roll角、Pitch角、Yaw角）を検出するセンサである。角度の変化はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。

【0050】

更に、加速度・方位センサ６１８は、３軸方向の加速度を検出するセンサである。全天球撮影装置は、加速度・方位センサ６１８が検出した加速度に基づいて、自装置（全天球撮影装置）の姿勢（重力方向に対する角度）を算出する。全天球撮影装置に、加速度・方位センサ６１８が設けられることによって、画像補正の精度が向上する。

【0051】

≪ＭＦＰのハードウェア構成≫
図４は、電子機器３０がＭＦＰで実現される場合のハードウェア構成の一例を示す図である。

【0052】

図４に示されているように、一実施形態におけるＭＦＰは、コントローラ９１０、近距離通信回路９２０、エンジン制御部９３０、操作パネル９４０、ネットワークＩ／Ｆ(Interface)９５０を備えている。

【0053】

これらのうち、コントローラ９１０は、コンピュータの主要部であるＣＰＵ(Central Processing Unit)９０１、システムメモリ（ＭＥＭ－Ｐ）９０２、ノースブリッジ（ＮＢ）９０３、サウスブリッジ（ＳＢ）９０４、ＡＳＩＣ(Application Specific Integrated Circuit)９０６、記憶部であるローカルメモリ（ＭＥＭ－Ｃ）９０７、ＨＤＤ(Hard Disk Drive)コントローラ９０８、及び、記憶部であるＨＤ(Hard Disk)９０９を有し、ＮＢ９０３とＡＳＩＣ９０６との間をＡＧＰ(Accelerated Graphics Port)バス９２１で接続した構成となっている。

【0054】

これらのうち、ＣＰＵ９０１は、ＭＦＰの全体制御を行う制御部である。ＮＢ９０３は、ＣＰＵ９０１と、ＭＥＭ－Ｐ９０２、ＳＢ９０４、及びＡＧＰバス９２１とを接続するためのブリッジであり、ＭＥＭ－Ｐ９０２に対する読み書きなどを制御するメモリコントローラと、ＰＣＩ(Peripheral Component Interconnect)マスタ及びＡＧＰターゲットとを有する。

【0055】

ＭＥＭ－Ｐ９０２は、コントローラ９１０の各機能を実現させるプログラムやデータの格納用メモリであるＲＯＭ(Read Only Memory)９０２ａ、プログラムやデータの展開、及びメモリ印刷時の描画用メモリなどとして用いるＲＡＭ(Random Access Memory)９０２ｂとからなる。なお、ＲＡＭ９０２ｂに記憶されているプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

【0056】

ＳＢ９０４は、ＮＢ９０３とＰＣＩ機器、周辺機器とを接続するためのブリッジである。ＡＳＩＣ９０６は、画像処理用のハードウェア要素を有する画像処理用途向けのＩＣ(Integrated Circuit)であり、ＡＧＰバス９２１、ＰＣＩバス９２２、ＨＤＤ９０８およびＭＥＭ－Ｃ９０７をそれぞれ接続するブリッジの役割を有する。このＡＳＩＣ９０６は、ＰＣＩターゲットおよびＡＧＰマスタ、ＡＳＩＣ９０６の中核をなすアービタ（ＡＲＢ）、ＭＥＭ－Ｃ９０７を制御するメモリコントローラ、ハードウェアロジックなどにより画像データの回転などを行う複数のＤＭＡＣ(Direct Memory Access Controller)、並びに、スキャナ部９３１及びプリンタ部９３２との間でＰＣＩバス９２２を介したデータ転送を行うＰＣＩユニットとからなる。なお、ＡＳＩＣ９０６には、ＵＳＢ(Universal Serial Bus)のインターフェースや、ＩＥＥＥ１３９４(Institute of Electrical and Electronics Engineers 1394）のインターフェースを接続するようにしてもよい。

【0057】

ＭＥＭ－Ｃ９０７は、コピー用画像バッファ及び符号バッファとして用いるローカルメモリである。ＨＤ９０９は、画像データの蓄積、印刷時に用いるフォントデータの蓄積、フォームの蓄積を行うためのストレージである。ＨＤ９０９は、ＣＰＵ９０１の制御にしたがってＨＤ９０９に対するデータの読出又は書込を制御する。ＡＧＰバス９２１は、グラフィック処理を高速化するために提案されたグラフィックスアクセラレータカード用のバスインタフェースであり、ＭＥＭ－Ｐ９０２に高スループットで直接アクセスすることにより、グラフィックスアクセラレータカードを高速にすることができる。

【0058】

また、近距離通信回路９２０には、近距離通信回路９２０ａが備わっている。近距離通信回路９２０は、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ等の通信回路である。

【0059】

更に、エンジン制御部９３０は、スキャナ部９３１及びプリンタ部９３２によって構成されている。また、操作パネル９４０は、現在の設定値や選択画面等を表示させ、操作者からの入力を受け付けるタッチパネル等のパネル表示部９４０ａ、並びに、濃度の設定条件などの画像形成に関する条件の設定値を受け付けるテンキー及びコピー開始指示を受け付けるスタートキー等からなる操作パネル９４０ｂを備えている。コントローラ９１０は、ＭＦＰ全体の制御を行い、例えば、描画、通信、操作パネル９４０からの入力等を制御する。スキャナ部９３１又はプリンタ部９３２には、誤差拡散やガンマ変換などの画像処理部分が含まれている。

【0060】

なお、ＭＦＰは、操作パネル９４０のアプリケーション切り替えキーにより、ドキュメントボックス機能、コピー機能、プリンタ機能、およびファクシミリ機能を順次に切り替えて選択することが可能となる。ドキュメントボックス機能の選択時にはドキュメントボックスモードとなり、コピー機能の選択時にはコピーモードとなり、プリンタ機能の選択時にはプリンタモードとなり、ファクシミリモードの選択時にはファクシミリモードとなる。

【0061】

また、ネットワークＩ／Ｆ９５０は、通信ネットワークＮ１を利用してデータ通信をするためのインターフェースである。近距離通信回路９２０及びネットワークＩ／Ｆ９５０は、ＰＣＩバス９２２を介して、ＡＳＩＣ９０６に電気的に接続されている。

【0062】

＜料金管理システムの機能構成＞
次に、本実施形態における料金管理システムの機能構成の一例について、図５を参照しながら説明する。図５は、本実施形態における料金管理システムに含まれる各装置の機能構成を例示するブロック図である。

【0063】

≪管理装置の機能構成≫
図５に示されているように、本実施形態における管理装置１０は、画像受信部１１、操作情報受信部１２、状態管理部１３、動作指示部１４及び状態記憶部１００を備える。本実施形態における状態管理部１３は、物体状態管理部１３１、機器状態管理部１３２及び出力情報決定部１３３を備える。

【0064】

画像受信部１１、操作情報受信部１２、状態管理部１３及び動作指示部１４は、例えば、図２に示されているＨＤ５０４からＲＡＭ５０３上に展開されたプログラムがＣＰＵ５０１及びＨＤＤコントローラ５０５に実行させる処理によって実現される。

【0065】

状態記憶部１００は、例えば、図２に示されているＨＤ５０４を用いて実現される。ＨＤ５０４が記憶するデータの読み込み又は書き込みは、例えば、ＨＤＤコントローラ５０５を介して行われる。

【0066】

状態記憶部１００は、管理対象空間Ｒ１に存在する機器及び物体の状態を管理する状態管理情報を記憶する。本実施形態における状態管理情報は、登録物体リスト、登録機器リスト及び検出物体リストを含む。

【0067】

登録物体リストは、管理対象空間Ｒ１に存在する物体に関する情報を管理するリストである。本実施形態における物体は、人物である。

【0068】

登録機器リストは、管理対象空間Ｒ１に存在する機器に関する情報を管理するリストである。本実施形態における機器は、電子機器３０及び精算装置４０である。

【0069】

検知物体リストは、管理対象空間Ｒ１で検知された物体を管理するリストである。検知物体リストは、登録物体リストを更新するために用いられる一時的なリストである。

【0070】

ここで、本実施形態における状態管理情報について、図６を参照しながら説明する。図６（Ａ）は、登録物体リストの一例を示す概念図である。

【0071】

図６（Ａ）に示されているように、本実施形態における登録物体リストは、データ項目として、登録物体ＩＤ、グループＩＤ、存在確認フラグ、属性情報、機器操作情報及び請求情報を有する。

【0072】

登録物体ＩＤは、登録物体リストに含まれる物体を識別する識別情報である。

【0073】

グループＩＤは、複数の登録物体が属するグループを識別する識別情報である。グループＩＤは、登録物体リストに含まれる登録物体の一部が同じグループに属すると判定された場合に付与される。グループに属すると判定されていない登録物体のグループＩＤは、初期値（例えばゼロ）が設定される。

【0074】

グループとは、例えば同僚、親子又は友人である。グループに属するメンバーは共同で買い物等のジョブを遂行する。そのため、グループを認識することにより人物の行動をより精度よく把握することが期待できる。例えば、親子で買い物をしているとき、子供がコピーを行ったＭＦＰの利用料金を親がまとめて会計できると利便性が高い。

【0075】

存在確認フラグは、当該登録物体が管理対象空間Ｒ１に存在するか否かを示すフラグである。存在確認フラグは、例えば、存在すれば１、存在しなければ０が設定される。

【0076】

属性情報は、登録物体に付随する情報であって、管理に必要な情報である。本実施形態では、登録物体の位置及び当該位置が確認された時刻（以下、「画像取得時刻」とも呼ぶ）である。登録物体の位置は三次元座標（すなわちＸ軸、Ｙ軸、Ｚ軸等の直交座標系における各軸上の数値）で表される。

【0077】

位置情報を取得する方法は監視装置２０の種別によって異なる。例えば、監視装置２０がネットワークカメラであれば、物体までの距離をステレオカメラで取得し、方向と併せて三次元座標にマッピングする等、公知の技術を用いることができる。

【0078】

なお、属性情報は、登録物体の位置に加えて、登録物体の特徴を示す種々の情報を含んでもよい。例えば、登録物体の色又は形状を用いることができる。物体が人物である場合、形状は姿勢によって変化するため、色を用いると好適である。色の種類の数又は各色の面積も姿勢によって変化するため、物体が同一か否かを判定する際には、少なくとも１つの色が連続しているか否かを条件とすると好適である。

【0079】

機器操作情報は、登録物体が行なった機器操作に関する情報である。機器操作情報は、当該機器操作において発生した料金を表す料金情報を含むことがある。機器操作情報は、例えば、ユーザが電子機器で実行した機能、操作時刻、操作の対価としての料金情報、使用言語等である。

【0080】

機器操作情報が料金情報を含む場合、各料金情報に支払い済みフラグが追加される。支払い済みフラグは、当該料金情報が支払い済みであるか否かを示す真偽値である。支払い済みフラグの初期値は、未支払いを示す０（＝ｆａｌｓｅ）である。

【0081】

請求情報は、登録物体が行なった行動に対して請求する料金に関する情報である。請求情報は、例えば、ユーザが商品棚から買い物かごに入れた商品の対価としての料金情報等である。

【0082】

請求情報は、機器操作情報と同様に、支払い済みフラグを有する。支払い済みフラグは、当該請求情報が支払い済みであるか否かを示す真偽値である。支払い済みフラグの初期値は、未支払いを示す０（＝ｆａｌｓｅ）である。

【0083】

管理対象空間Ｒ１に存在する物体の数は時々刻々と変化する。そのため、登録物体リストに含まれる登録物体の数は可変である。

【0084】

図６（Ｂ）は、登録機器リストの一例を示す概念図である。図６（Ｂ）に示されているように、本実施形態における登録機器リストは、データ項目として、登録機器ＩＤ、属性情報、機器入力情報及び機器出力情報を有する。

【0085】

登録機器ＩＤは、登録機器リストに含まれる機器を識別する識別情報である。

【0086】

属性情報は、登録機器に付随する情報であって、管理に必要な情報である。本実施形態では、登録機器の位置、電源オン／オフ状況、スリープモード状態か否か、認証要否、オプション搭載状況、メンテナンス中／メンテナンス予定時刻／省エネモード中などの状態情報等である。登録機器の位置は登録物体と同様に三次元座標で表される。

【0087】

機器入力情報は、登録機器が操作された場合に管理される所定の情報である。機器入力情報は、当該機器操作において発生した料金を表す料金情報を含むことがある。機器入力情報は、例えば、ユーザにより登録機器で実行された機能、操作時刻、操作の対価として請求すべき料金情報、使用言語等である。

【0088】

機器出力情報は、登録機器に対して予め登録された情報である。機器出力情報は、動作指示を送信する契機となる出力条件、及び当該出力条件が満たされた場合に当該登録機器に送信する動作指示を対応付けるリストである。

【0089】

管理対象空間Ｒ１に設置される機器の数は変化する可能性がある。そのため、登録機器リストに含まれる登録機器の数は可変である。

【0090】

図６（Ｃ）は、検知物体リストの一例を示す概念図である。図６（Ｃ）に示されているように、本実施形態における検知物体リストは、データ項目として、検知物体ＩＤ、グループＩＤ及び属性情報を有する。

【0091】

検知物体ＩＤは、検知物体リストに含まれる物体を識別する識別情報である。

【0092】

グループＩＤは、複数の検知物体が含まれるグループを識別する識別情報である。グループＩＤは、検知物体リストに含まれる検知物体の一部が同じグループに属すると判定された場合に付与される。グループに属すると判定されていない検知物体のグループＩＤは、初期値（例えばゼロ）が設定される。

【0093】

属性情報は、検知物体に付随する情報であって、管理に必要な情報である。本実施形態では、検知物体の位置及び画像取得時刻である。検知物体の位置は登録物体と同様に三次元座標で表される。

【0094】

管理対象空間Ｒ１で検知される物体の数は時々刻々と変化する。そのため、検知物体リストに含まれる検知物体の数は可変である。

【0095】

図５に戻って説明する。画像受信部１１は、監視装置２０から画像を受信する。画像受信部１１は、状態管理部１３の要求に応じて、受信した画像を状態管理部１３に送る。

【0096】

操作情報受信部１２は、電子機器３０から機器操作情報を受信する。操作情報受信部１２は、状態管理部１３の要求に応じて、受信した機器操作情報を状態管理部１３に送る。本実施形態における機器操作情報は、機器操作に基づく料金情報を含む。

【0097】

状態管理部１３は、物体状態管理部１３１及び機器状態管理部１３２を用いて、電子機器３０及び物体の状態を管理する。また、状態管理部１３は、出力情報決定部１３３を用いて、精算装置４０に送信する動作指示の内容を決定する。

【0098】

物体状態管理部１３１は、画像受信部１１から受け取った画像に基づいて、状態記憶部１００に記憶されている登録物体リストを更新する。

【0099】

機器状態管理部１３２は、操作情報受信部１２から受け取った機器操作情報に基づいて、状態記憶部１００に記憶されている登録機器リスト及び登録物体リストを更新する。

【0100】

出力情報決定部１３３は、状態記憶部１００に記憶されている状態管理情報に基づいて、精算装置４０に送信する動作指示の内容を決定する。出力情報決定部１３３は、決定した動作指示を動作指示部１４に送る。

【0101】

動作指示部１４は、状態管理部１３から受け取った動作指示を、精算装置４０に送信する。本実施形態における動作指示は、機器操作情報に含まれる料金情報を含む。

【0102】

≪監視装置の機能構成≫
図５に示されているように、本実施形態における監視装置２０は、画像取得部２１及び画像送信部２２を備える。

【0103】

画像取得部２１は、管理対象空間Ｒ１に設置された電子機器３０又は精算装置４０の近傍を含む画像を取得する。画像取得部２１は、例えば、図３に示されているＲＯＭ６１２からＳＲＡＭ６１３上に展開されたプログラムがＣＰＵ６１１及び撮像制御ユニット６０５に実行させる処理によって実現される。

【0104】

画像送信部２２は、画像取得部２１が取得した画像を管理装置１０に送信する。画像送信部２２は、例えば、図３に示されているＲＯＭ６１２からＳＲＡＭ６１３上に展開されたプログラムがＣＰＵ６１１及び外部機器接続Ｉ／Ｆ６１６に実行させる処理によって実現される。

【0105】

≪電子機器の機能構成≫
図５に示されているように、本実施形態における電子機器３０は、操作情報送信部３１を備える。

【0106】

操作情報送信部３１は、例えば、図４に示されているＨＤ９０９からＲＡＭ９０２ｂ上に展開されたプログラムがＣＰＵ９０１及びネットワークＩ／Ｆ９５０に実行させる処理によって実現される。

【0107】

操作情報送信部３１は、ユーザが行った操作に関する機器操作情報を管理装置１０に送信する。

【0108】

≪精算装置の機能構成≫
図５に示されているように、本実施形態における精算装置４０は、料金精算部４１を備える。

【0109】

料金精算部４１は、例えば、図２に示されているＨＤ５０４からＲＡＭ５０３上に展開されたプログラムがＣＰＵ５０１、ディスプレイ５０６及びネットワークＩ／Ｆ５０９に実行させる処理によって実現される。

【0110】

料金精算部４１は、管理装置１０から動作指示を受信する。料金精算部４１は、受信した動作指示に基づいて、当該精算装置４０の動作を制御する。例えば、料金精算部４１は、動作指示に含まれる料金情報を利用者に提示する。また、料金精算部４１は、利用者の操作に応じて、提示した料金の精算を行う。

【0111】

＜料金管理方法の処理手順＞
次に、本実施形態における料金管理システムが実行する料金管理方法について、図７から図１９を参照しながら説明する。

【0112】

≪基本フローチャート≫
本実施形態における料金管理方法では、あるリストに含まれる各データとあるリストに含まれる各データとのすべての組み合わせについて処理を行う２重ループ処理が多く含まれる。そこで、本実施形態では、２重ループ処理の枠組みを示す基本フローチャートを導入し、以降の説明では基本フローチャート中の処理を中心に説明する。なお、基本フローチャート中の各処理は、２つのデータの組み合わせ１つに対して行う処理である。

【0113】

本実施形態における基本フローチャートは、２つの基本フローチャートを含む。第１の基本フローチャートは、異なるリストに含まれる２つのデータを２重ループ処理する場合に使用される。第２の基本フローチャートは、同じリストに含まれる２つのデータを２重ループ処理する場合に使用される。

【0114】

図７は、本実施形態における第１の基本フローチャートの一例を示すフローチャートである。

【0115】

ステップＳ１０１において、リストＡを読み出す。リストＡのデータ数はＮとする。ステップＳ１０２において、リストＢを読み出す。リストＢのデータ数はＭとする。

【0116】

ステップＳ１０３において、変数ｎを１に初期化する。ステップＳ１０４において、変数ｍを１に初期化する。ステップＳ１０５において、処理Ａ１を実行する。

【0117】

ステップＳ１０６において、変数ｍがデータ数Ｍと等しいか否かを判定する。これは、リストＡのｎ番目のデータについてリストＢのすべてのデータとの組み合わせを処理したか否かを意味する。変数ｍがデータ数Ｍと異なる場合（ＮＯ）、ステップＳ１０７に進む。変数ｍがデータ数Ｍと等しい場合（ＹＥＳ）、ステップＳ１０９に進む。

【0118】

ステップＳ１０７において、処理Ａ３を実行する。ステップＳ１０８において変数ｍをインクリメントする。その後、ステップＳ１０６に戻る。

【0119】

ステップＳ１０９において、処理Ａ２を実行する。ステップＳ１１０において、変数ｎがデータ数Ｎと等しいか否かを判定する。これは、リストＡのすべてのデータについてリストＢのすべてのデータとの組み合わせを処理したか否かを意味する。変数ｎがデータ数Ｎと異なる場合（ＮＯ）、ステップＳ１１１に進む。変数ｎがデータ数Ｎと等しい場合（ＹＥＳ）、ステップＳ１１３に進む。

【0120】

ステップＳ１１１において、処理Ａ５を実行する。ステップＳ１１２において変数ｎをインクリメントする。その後、ステップＳ１０４に戻る。

【0121】

ステップＳ１１３において、処理Ａ４を実行する。以上により、リストＡ及びリストＢに含まれるデータ同士のすべての組み合わせに対する処理が完了する。

【0122】

図８は、本実施形態における第２の基本フローチャートの一例を示すフローチャートである。

【0123】

ステップＳ２０１において、リストＡを読み出す。リストＡのデータ数はＮとする。

【0124】

ステップＳ２０２において、変数ｎを１に初期化する。ステップＳ２０３において、変数ｍにｎ＋１を代入する。ステップＳ２０４において、処理Ｂ１を実行する。

【0125】

ステップＳ２０５において、変数ｍがＮと等しいか否かを判定する。これは、リストＡのｎ番目のデータについてリストＡのすべてのデータとの組み合わせを処理したか否かを意味する。変数ｍがＮと異なる場合（ＮＯ）、ステップＳ２０６に進む。変数ｍがＮと等しい場合（ＹＥＳ）、ステップＳ２０８に進む。

【0126】

ステップＳ２０６において、処理Ｂ３を実行する。ステップＳ２０７において変数ｍをインクリメントする。その後、ステップＳ２０４に戻る。

【0127】

ステップＳ２０８において、処理Ｂ２を実行する。ステップＳ２０９において、変数ｎがＮ－１と等しいか否かを判定する。これは、リストＡのすべてのデータについてリストＡの他のすべてのデータとの組み合わせを処理したかを意味する。変数ｎがＮ－１と異なる場合（ＮＯ）、ステップＳ２１０に進む。変数ｎがＮ－１と等しい場合（ＹＥＳ）、ステップＳ２１２に進む。

【0128】

ステップＳ２１０において、処理Ｂ５を実行する。ステップＳ２１１において変数ｎをインクリメントする。その後、ステップＳ２０３に戻る。

【0129】

ステップＳ２１２において、処理Ｂ４を実行する。以上により、リストＡに含まれるデータ同士のすべての組み合わせに対する処理が完了する。

【0130】

≪料金管理方法≫
図９は、本実施形態における料金管理システムが実行する料金管理方法の一例を示すフローチャートである。

【0131】

料金管理システムは、図９に示すフローチャートを所定の時間間隔で繰り返し実行する。時間間隔は任意に設定すればよいが、例えば、３秒である。

【0132】

ステップＳ１において、監視装置２０が備える画像取得部２１は、電子機器３０の近傍を撮影した第１の画像を取得する。また、画像取得部２１は、精算装置４０の近傍を撮影した第２の画像を取得する。監視装置２０は、管理対象空間Ｒ１に設置された電子機器３０及び精算装置４０の近傍が画角に入るように設置されている。そのため、画像取得部２１が取得する第１の画像には、電子機器３０の近傍が撮影されている。また、画像取得部２１が取得する第２の画像には、精算装置４０の近傍が撮影されている。

【0133】

電子機器３０又は精算装置４０の近傍とは、ユーザが当該電子機器３０及び精算装置４０を操作可能な位置の範囲（以下、「操作可能位置」とも呼ぶ）である。操作可能位置は電子機器３０又は精算装置４０によって異なる。そのため、電子機器３０又は精算装置４０それぞれに対して、操作可能位置を予め設定しておくとよい。

【0134】

監視装置２０は、２台以上のカメラから構成されてもよい。この場合、第１のカメラで電子機器３０の操作可能位置を撮影した第１の画像を取得し、第２のカメラで精算装置４０の操作可能な位置を撮影した第２の画像を取得してもよい。

【0135】

電子機器３０及び精算装置４０それぞれの操作可能位置が、１台のカメラで撮影可能な場合には、当該カメラで電子機器３０及び精算装置４０それぞれの操作可能位置を撮影してもよい。この場合、第１の画像と第２の画像とは、同一の画像となる。

【0136】

次に、画像取得部２１は、取得した第１の画像及び第２の画像を画像送信部２２に送る。画像送信部２２は、画像取得部２１から第１の画像及び第２の画像を受け取る。次に、画像送信部２２は、受け取った第１の画像及び第２の画像を管理装置１０に送信する。管理装置１０では、画像受信部１１が、監視装置２０から第１の画像及び第２の画像を受信する。

【0137】

ステップＳ２において、管理装置１０が備える状態管理部１３は、画像受信部１１に第１の画像及び第２の画像を要求する。次に、状態管理部１３は、画像受信部１１から受け取った第１の画像及び第２の画像を物体状態管理部１３１に入力する。

【0138】

続いて、物体状態管理部１３１は、後述する物体状態更新処理を実行し、状態記憶部１００に記憶されている状態管理情報の登録物体リストを更新する。監視装置２０が複数ある場合、物体状態管理部１３１は、複数の監視装置２０それぞれから受信した複数の画像それぞれについて、物体状態更新処理を実行する。

【0139】

≪物体状態更新処理≫
ここで、本実施形態における物体状態更新処理について、図１０から図１５を参照しながら説明する。図１０は、本実施形態における物体状態管理部１３１が実行する物体状態更新処理（図９のステップＳ２）の一例を示すフローチャートである。

【0140】

ステップＳ２１において、物体状態管理部１３１は、後述の検知物体リスト作成処理を実行し、状態管理部１３から入力された画像に基づいて、検知物体リストを作成する。

【0141】

図１１は、本実施形態における物体状態管理部１３１が実行する検知物体リスト作成処理（図１０のステップＳ２１）の一例を示すフローチャートである。

【0142】

ステップＳ２１－１において、物体状態管理部１３１は、状態記憶部１００に記憶されている検知物体リストをクリアする。すなわち、検知物体リストに含まれるデータをすべて削除する。

【0143】

ステップＳ２１－２において、物体状態管理部１３１は、状態管理部１３から入力された画像を取得する。画像は、１台の監視装置２０から受信した１つの画像でもよく、複数の監視装置２０から受信した複数の画像でもよい。

【0144】

次に、物体状態管理部１３１は、画像を所定のブロックに分割する。続いて、物体状態管理部１３１は、ブロック毎に、画像に撮影されている物体とカメラとの距離を測定する。また、物体状態管理部１３１は、測定した距離から三次元座標を求める。距離から三次元座標に変換する方法は、公知の方法を利用すればよい。

【0145】

ステップＳ２１－３において、物体状態管理部１３１は、取得した画像から画像取得時刻Ｔを取得する。画像から画像取得時刻が取得できない場合は、現在時刻を画像取得時刻Ｔとして取得すればよい。

【0146】

ステップＳ２１－４において、物体状態管理部１３１は、取得した画像を解析し、当該画像に撮影されている物体を検知する。本実施形態では、画像に撮影されている人物を検知する。

【0147】

人物の検知は、公知の手法を用いることができる。例えば、機械学習モデルを用いたパターンマッチングを用いることができる。具体的には、公知の領域ベース畳み込みニューラルネットワーク（Region Based Convolutional Neural Networks: R-CNN）等を用いて、画像の中から人物を切り出すことができる。

【0148】

さらに、切り出した人物の画像を、予め記憶されている比較画像とパターンマッチングすることで検知の精度を向上することができる。なお、これら以外にも、公知の様々な人物検知手法を用いることができる。

【0149】

ステップＳ２１－５において、物体状態管理部１３１は、検知した物体を識別する検知物体ＩＤを付与する。

【0150】

ステップＳ２１－６において、物体状態管理部１３１は、検知物体ＩＤ及び属性情報（検知物体の位置及び画像取得時刻）を検知物体リストに登録する。なお、この段階では、グループＩＤにはグループに属さないことを示す初期値が設定される。

【0151】

図１０に戻って説明する。ステップＳ２２において、物体状態管理部１３１は、後述の登録物体リスト更新処理を実行し、検知物体リストに基づいて、登録物体リストを更新する。

【0152】

図１２及び図１３は、本実施形態における物体状態管理部１３１が実行する登録物体リスト更新処理（図１０のステップＳ２２）の一例を示すフローチャートである。

【0153】

登録物体リスト更新処理は、第１の基本フローチャート（図７参照）の枠組みで行われる。具体的には、検知物体リストをリストＡとし、登録物体リストをリストＢとし、検知物体と登録物体のすべての組み合わせについて、処理Ａ１（図１２）及び処理Ａ４（図１３）を実行する。なお、処理Ａ２、Ａ３及びＡ５に相当する処理はない。

【0154】

図１２は、登録物体リスト更新処理の処理Ａ１の一例を示すフローチャートである。処理Ａ１は、登録物体と検知物体との同一性を判定し、登録物体の位置を更新するための処理である。

【0155】

ここでは、検知物体リストのｎ番目の検知物体と登録物体リストのｍ番目の登録物体との組み合わせに対して処理を実行するものとする。

【0156】

ステップＳ２２－１において、物体状態管理部１３１は、ｍ番目の登録物体の存在確認フラグをクリアする。すなわち、ｍ番目の登録物体の存在確認フラグに０を設定する。これは、当該登録物体が管理対象空間Ｒ１に存在するか否かが不明であることを意味する。

【0157】

ステップＳ２２－２において、物体状態管理部１３１は、ｍ番目の登録物体の三次元座標とｎ番目の検知物体の三次元座標との距離Ｘを計算する。

【0158】

ステップＳ２２－３において、物体状態管理部１３１は、距離Ｘが所定の閾値（例えば、１メートル）以下であるか否かを判定する。距離Ｘが閾値を超えている場合（ＮＯ）、物体状態管理部１３１は、処理Ａ１を終了する。これは、両者の距離が離れているため、同一の人物ではないと判断されたことを意味する。距離Ｘが閾値以下である場合（ＹＥＳ）、物体状態管理部１３１は、ステップＳ２２－４に処理を進める。

【0159】

ステップＳ２２－４において、物体状態管理部１３１は、ｍ番目の登録物体の属性情報に、ｎ番目の検知物体の三次元位置及び映像取得時刻を追加する。これは、両者の距離が近いため、同一の人物であり、ｎ番目の検知物体の位置がｍ番目の登録物体の画像取得時刻Ｔにおける位置であると判断されたことを意味する。

【0160】

登録物体リストの属性情報は、画像から当該登録物体が検知される限り、物体状態更新処理を実行する度に増えていくことになる。逆に言うと、登録物体リストの属性情報は、当該登録物体が管理対象空間内で検知された位置の時系列を表す。したがって、登録物体リストの属性情報により、当該登録物体の移動を追跡することができる。

【0161】

ステップＳ２２－５において、物体状態管理部１３１は、ｍ番目の登録物体の存在確認フラグをセットする。すなわち、ｍ番目の登録物体の存在確認フラグに１を設定する。これは、ステップＳ２２－３で登録物体と一致する物体が検知されたため、当該登録物体が画像取得時刻Ｔにおいても管理対象空間Ｒ１に存在すると判定されたことを意味する。

【0162】

図１３は、登録物体リスト更新処理の処理Ａ４の一例を示すフローチャートである。処理Ａ４は、処理Ａ１において存在が確認できなかった登録物体を登録物体リストから削除する処理である。

【0163】

ステップＳ２２－６において、物体状態管理部１３１は、変数ｍを１に初期化する。

【0164】

ステップＳ２２－７において、物体状態管理部１３１は、ｍ番目の登録物体の存在が確認できたか否かを判定する。具体的には、存在確認フラグが１であるか０であるかを判定する。存在確認フラグが１である場合（ＹＥＳ）、物体状態管理部１３１は、ステップＳ２２－９に処理を進める。存在確認フラグが０である場合（ＮＯ）、物体状態管理部１３１は、ステップＳ２２－８に処理を進める。

【0165】

ステップＳ２２－８において、物体状態管理部１３１は、ｍ番目の登録物体を登録物体リストから削除する。

【0166】

ステップＳ２２－９において、物体状態管理部１３１は、変数ｍがデータ数Ｍと等しいか否かを判定する。変数ｍがデータ数Ｍと異なる場合（ＮＯ）、物体状態管理部１３１は、ステップＳ２２－１０に処理を進める。変数ｍがデータ数Ｍと等しい場合（ＹＥＳ）、物体状態管理部１３１は、処理を終了する。

【0167】

ステップＳ２２－１０において、物体状態管理部１３１は、変数ｍをインクリメントする。その後、物体状態管理部１３１は、ステップＳ２２－７に処理を戻す。

【0168】

図１０に戻って説明する。ステップＳ２３において、物体状態管理部１３１は、後述のグループＩＤ付与処理を実行し、登録物体リストに含まれる登録物体にグループＩＤを付与する。

【0169】

グループＩＤ付与処理は、第２の基本フローチャート（図８参照）の枠組みで行われる。具体的には、登録物体リストをリストＡとし、２つの登録物体のすべての組み合わせについて、処理Ｂ１（図１４又は図１５）を実行する。なお、処理Ｂ２－Ｂ５に相当する処理はない。

【0170】

ある物体と他の物体とが同じグループに含まれるか否かを判定する処理は、様々な手法が考えられる。本実施形態では、位置近接によるグループ判定及びグループ行為によるグループ判定を説明する。ただし、グループ判定の手法はこれらに限定されず、画像から物体のグループ判定が可能な技術であれば、どのようなものを用いてもよい。

【0171】

図１４は、本実施形態における物体状態管理部１３１が実行するグループＩＤ付与処理（図１０のステップＳ２３）の第１の例を示すフローチャートである。グループＩＤ付与処理の第１の例は、位置近接によるグループ判定である。

【0172】

位置近接によるグループ判定は、直近の所定回数連続して近接した位置で検知された２つの物体をグループとして登録する処理である。所定回数は、例えば５回である。料金管理方法を実行する時間間隔を３秒とすれば、１５秒間連続して近接した位置で検知された２つの物体が同じグループとして判定されることになる。

【0173】

ここでは、登録物体リストのｍ番目の登録物体とｎ番目の登録物体との組み合わせに対して処理を実行するものとする。

【0174】

ステップＳ２３Ａ－１において、物体状態管理部１３１は、変数ｋ及び変数ｊを１に初期化する。変数ｋは２つの物体が近接しているか否かを判定した回数を表すカウンタである。変数ｊは２つの物体が近接していると判定された回数を表すカウンタである。

【0175】

ステップＳ２３Ａ－２において、物体状態管理部１３１は、ｍ番目の登録物体のｋ回前の三次元座標とｎ番目の登録物体のｋ回前の三次元座標との距離Ｘを計算する。

【0176】

ステップＳ２３Ａ－３において、物体状態管理部１３１は、距離Ｘが所定の閾値（例えば、１メートル）未満であるか否かを判定する。距離Ｘが閾値未満である場合（ＹＥＳ）、物体状態管理部１３１は、ステップＳ２３Ａ－４に処理を進める。距離Ｘが閾値以上である場合（ＮＯ）、物体状態管理部１３１は、ステップＳ２３Ａ－５に処理を進める。

【0177】

ステップＳ２３Ａ－４において、物体状態管理部１３１は、変数ｊをインクリメントする。

【0178】

ステップＳ２３Ａ－５において、物体状態管理部１３１は、変数ｋをインクリメントする。

【0179】

ステップＳ２３Ａ－６において、物体状態管理部１３１は、変数ｋが所定回数Ｋと等しいか否かを判定する。変数ｋが所定回数Ｋと異なる場合（ＮＯ）、物体状態管理部１３１は、ステップＳ２３Ａ－２に処理を戻す。変数ｋが所定回数Ｋと等しい場合（ＹＥＳ）、物体状態管理部１３１は、ステップＳ２３Ａ－７に処理を進める。

【0180】

ステップＳ２３Ａ－７において、物体状態管理部１３１は、変数ｊが所定回数Ｋと等しいか否かを判定する。変数ｊが所定回数Ｋと異なる場合（ＮＯ）、物体状態管理部１３１は、処理を終了する。変数ｊが所定回数Ｋと等しい場合（ＹＥＳ）、物体状態管理部１３１は、ステップＳ２３Ａ－８に処理を進める。

【0181】

ステップＳ２３Ａ－８において、物体状態管理部１３１は、ｍ番目の登録物体及びｎ番目の登録物体のいずれかにグループＩＤが付与されているか否かを判定する。グループＩＤが付与されている場合（ＹＥＳ）、物体状態管理部１３１は、ステップＳ２３Ａ－９に処理を進める。グループＩＤが付与されていない場合（ＮＯ）、物体状態管理部１３１は、ステップＳ２３Ａ－１０に処理を進める。

【0182】

ステップＳ２３Ａ－９において、物体状態管理部１３１は、ｍ番目の登録物体及びｎ番目の登録物体に付与されているグループＩＤのいずれかを、付与するグループＩＤとして決定する。次に、物体状態管理部１３１は、登録物体リストにおいて、ｍ番目の登録物体及びｎ番目の登録物体のグループＩＤに、決定したグループＩＤを設定する。

【0183】

物体状態管理部１３１は、以下のようにして付与するグループＩＤを決定する。一方の登録物体のみにグループＩＤが付与されている場合、当該グループＩＤを付与するグループＩＤとする。すなわち、グループＩＤが付与されていない登録物体が既存のグループのメンバーに追加される。

【0184】

両方の登録物体にグループＩＤが付与されている場合、まず、ｍ＋１番目以降の登録物体をグループＩＤでソートしてｍ番目の登録物体と同じグループIＤを持つ登録物体を特定する。次に、ｍ番目の登録物体及び特定された全ての登録物体のグループIＤをｎ番目の登録物体のグループＩＤで更新する。これにより、ｍ番目の登録物体が属するグループのメンバーすべてがｎ番目の登録物体と同じグループに属することになる。これにより、３つ以上の登録物体が属するグループも把握できるようになる。

【0185】

ステップＳ２３Ａ－１０において、物体状態管理部１３１は、他のグループＩＤと重複しない新たなグループＩＤを発行する。次に、物体状態管理部１３１は、登録物体リストにおいて、ｍ番目の登録物体及びｎ番目の登録物体のグループＩＤに、発行した新たなグループＩＤを設定する。

【0186】

図１５は、本実施形態における物体状態管理部１３１が実行するグループＩＤ付与処理（図１０のステップＳ２３）の第２の例を示すフローチャートである。グループＩＤ付与処理の第２の例は、グループ行為によるグループ判定である。

【0187】

グループ行為によるグループ判定は、検知物体リストを作成した後に画像解析によってグループ判定を行う処理である。そのため、グループ行為によるグループ判定を行う場合、ステップＳ２３は、ステップＳ２１とステップＳ２２の間で実行される。

【0188】

ここでは、検知物体リストのｍ番目の検知物体とｎ番目の検知物体との組み合わせに対して処理を実行するものとする。

【0189】

ステップＳ２３Ｂ－１において、物体状態管理部１３１は、ｎ番目の検知物体の三次元座標とｍ番目の検知物体の三次元座標との距離Ｘを計算する。

【0190】

ステップＳ２３Ｂ－２において、物体状態管理部１３１は、距離Ｘが所定の閾値（例えば、１メートル）未満であるか否かを判定する。距離Ｘが閾値以上である場合（ＮＯ）、物体状態管理部１３１は、処理を終了する。距離Ｘが閾値未満である場合（ＹＥＳ）、物体状態管理部１３１は、ステップＳ２３Ｂ－３に処理を進める。

【0191】

ステップＳ２３Ｂ－３において、物体状態管理部１３１は、ｎ番目の検知物体の三次元座標とｍ番目の検知物体の三次元座標との中点を計算する。具体的には、物体状態管理部１３１は、２つの検知物体のＸ座標、Ｙ座標及びＺ座標それぞれの和を２で除算する。

【0192】

ステップＳ２３Ｂ－４において、物体状態管理部１３１は、中点を中心とした半径Ｙピクセルの映像Ｐを抽出する。半径Ｙは映像の解像度に応じて、映像Ｐに含まれる範囲が実空間における距離で約１ｍとなるように設定される。

【0193】

ステップＳ２３Ｂ－５において、物体状態管理部１３１は、予め記憶されているグループ行為画像を読み出す。グループ行為画像は、同じグループに属すると判定される行為を表す画像の集合である。例えば、ある人物が持つ買い物かごに別の人物が商品を入れる画像等である。

【0194】

ステップＳ２３Ｂ－６において、物体状態管理部１３１は、映像Ｐとグループ行為画像それぞれとの類似度をパターンマッチング等により計算する。

【0195】

ステップＳ２３Ｂ－７において、物体状態管理部１３１は、計算した類似度の中に所定の閾値を超えるものがあるか否かを判定する。閾値を超える類似度がある場合（ＹＥＳ）、物体状態管理部１３１は、ステップＳ２３Ｂ－８に処理を進める。閾値を超える類似度がない場合（ＮＯ）、物体状態管理部１３１は、処理を終了する。

【0196】

ステップＳ２３Ｂ－８において、物体状態管理部１３１は、他のグループＩＤと重複しない新たなグループＩＤを発行する。次に、物体状態管理部１３１は、検知物体リストにおいて、ｍ番目の検知物体及びｎ番目の検知物体のグループＩＤに、発行した新たなグループＩＤを設定する。

【0197】

その後に実行される登録物体リスト更新処理のステップＳ２２－４（図１２参照）において、物体状態管理部１３１は、登録物体のグループＩＤに、同一の物体と判定された検知物体のグループＩＤを設定する。なお、登録物体に既存のグループＩＤが付与されている場合、グループＩＤ付与処理の第１の例のステップＳ２３Ａ－８からステップＳ２３Ａ－１０（図１４参照）が実行される。

【0198】

図９に戻って説明する。ステップＳ３において、電子機器３０－１が備える操作情報送信部３１は、ユーザが当該電子機器３０－１で行った操作に応じて、操作内容が管理装置１０に通知すべき情報であるか否かを判定する。この判定は、予め定めた操作内容のいずれかと合致するか否かにより行われる。

【0199】

操作情報送信部３１は、通知すべき操作内容であると判定した場合、機器操作に関する機器操作情報を管理装置１０に送信する。管理装置１０では、操作情報受信部１２が、電子機器３０－１から機器操作情報を受信する。

【0200】

本実施形態における操作内容及び操作情報を、以下に例示する。

【0201】

＜例１＞
操作内容：機器ログイン
操作情報：登録機器ＩＤ、機器認証ＩＤ（認証が要求される場合）、ログイン時刻
＜例２＞
操作内容：料金が発生する処理（コピー出力、従量課金型ソフトウェアの使用等）
操作情報：登録機器ＩＤ、機器認証ＩＤ（認証が要求される場合）、料金、入力データ、使用言語
＜例３＞
操作内容：無し
操作情報：メンテナンス、省エネモード中などの状態情報
＜例４＞
操作内容：商品棚から商品を取り出す行動
操作情報：登録機器ＩＤ、商品の識別情報、商品の価格

【0202】

登録機器ＩＤとは、管理装置１０の状態記憶部１００に記憶されている登録機器リストに含まれる識別情報である。登録機器ＩＤは、管理対象空間Ｒ１に設置されている電子機器３０それぞれに割り振られている。機器認証ＩＤは、電子機器３０のユーザが当該電子機器３０を使用するための認証に用いる認証情報である。

【0203】

ステップＳ４において、管理装置１０が備える状態管理部１３は、操作情報受信部１２に操作情報を要求する。次に、状態管理部１３は、操作情報受信部１２から受け取った操作情報を機器状態管理部１３２に入力する。

【0204】

続いて、機器状態管理部１３２は、後述する機器状態更新処理を実行し、状態記憶部１００に記憶されている状態管理情報の登録機器リストを更新する。

【0205】

≪機器状態更新処理≫
ここで、本実施形態における機器状態更新処理について、図１６を参照しながら説明する。図１６は、本実施形態における機器状態管理部１３２が実行する機器状態更新処理（図９のステップＳ４）の一例を示すフローチャートである。

【0206】

ステップＳ４１において、機器状態管理部１３２は、機器操作情報に含まれる登録機器ＩＤにより登録機器リストに含まれる登録機器を特定する。次に、機器状態管理部１３２は、特定された登録機器の機器入力情報に、受け取った機器操作情報を設定する。

【0207】

ステップＳ４２において、機器状態管理部１３２は、変数ｎを１に初期化する。

【0208】

ステップＳ４３において、機器状態管理部１３２は、特定された登録機器の三次元座標とｎ番目の登録物体の最新の三次元座標との距離Ｘを計算する。なお、登録機器の三次元座標は、登録物体の三次元座標と同様の手法により予め設定しておく。登録機器の設置位置が移動される場合もあるため、定期的に登録機器の三次元座標を更新する必要があるが、更新頻度は低くてもよい。

【0209】

ステップＳ４４において、機器状態管理部１３２は、距離Ｘが所定の閾値（例えば、１メートル）未満であるか否かを判定する。距離Ｘが閾値以上である場合（ＮＯ）、機器状態管理部１３２は、ステップＳ４７に処理を進める。距離Ｘが閾値未満である場合（ＹＥＳ）、機器状態管理部１３２は、ステップＳ４５に処理を進める。

【0210】

ステップＳ４５において、機器状態管理部１３２は、ｎ番目の登録物体の機器操作情報に、特定された登録機器の機器入力情報を追加する。登録物体リストの機器操作情報は、所定数の機器入力情報を格納可能に構成されている。

【0211】

ステップＳ４６において、機器状態管理部１３２は、特定された登録機器の機器入力情報に料金情報が含まれる場合、ｎ番目の登録物体の請求情報に当該料金情報を加算する。このように構成することにより、画像から登録物体が検知される限り、当該登録物体が管理対象空間内で行った行動に基づく料金の総額を管理することができる。

【0212】

ステップＳ４７において、機器状態管理部１３２は、変数ｎがデータ数Ｎと等しいか否かを判定する。変数ｎがデータ数Ｎと異なる場合（ＮＯ）、機器状態管理部１３２は、ステップＳ４８に処理を進める。変数ｎがデータ数Ｎと等しい場合（ＹＥＳ）、機器状態管理部１３２は、処理を終了する。

【0213】

ステップＳ４８において、機器状態管理部１３２は、変数ｎをインクリメントする。その後、機器状態管理部１３２は、ステップＳ４３に処理を戻す。

【0214】

図９に戻って説明する。ステップＳ５において、管理装置１０が備える出力情報決定部１３３は、後述する出力情報決定処理を実行し、状態記憶部１００に記憶されている状態管理情報に基づいて精算装置４０に送信する動作指示を決定する。

【0215】

≪出力情報決定処理≫
ここで、本実施形態における出力情報決定処理について、図１７及び図１８を参照しながら説明する。図１７は、本実施形態における出力情報決定部１３３が実行する出力情報決定処理（図９のステップＳ５）の一例を示すフローチャートである。

【0216】

出力情報決定処理は、第１の基本フローチャート（図７参照）の枠組みで行われる。具体的には、登録機器リストをリストＡとし、登録物体リストをリストＢとし、登録機器と登録物体のすべての組み合わせについて、処理Ａ１（図１７）を実行する。なお、処理Ａ２－Ａ５に相当する処理はない。

【0217】

ここでは、登録機器リストのｎ番目の登録機器と登録物体リストのｍ番目の登録物体との組み合わせに対して処理を実行するものとする。

【0218】

ステップＳ５１において、出力情報決定部１３３は、ｎ番目の登録機器の最新の三次元座標とｍ番目の登録物体の最新の三次元座標との距離Ｘを計算する。

【0219】

ステップＳ５２において、出力情報決定部１３３は、距離Ｘが所定の閾値（例えば、１メートル）未満であるか否かを判定する。距離Ｘが閾値以上である場合（ＮＯ）、機器状態管理部１３２は、処理を終了する。距離Ｘが閾値未満である場合（ＹＥＳ）、機器状態管理部１３２は、ステップＳ５３に処理を進める。

【0220】

ステップＳ５３において、出力情報決定部１３３は、状態記憶部１００に記憶されている登録機器リストから、ｎ番目の登録機器の機器出力情報に含まれる出力条件を取得する。

【0221】

ステップＳ５４において、出力情報決定部１３３は、状態記憶部１００に記憶されている登録物体リストから、ｍ番目の登録物体の機器操作情報を取得する。

【0222】

ステップＳ５５において、出力情報決定部１３３は、ステップＳ５４で取得した機器操作情報のいずれかが、ステップＳ５３で取得した出力条件を満たすか否かを判定する。機器操作情報のすべてが出力条件を満たさない場合、（ＮＯ）、機器状態管理部１３２は、処理を終了する。機器操作情報のいずれかが出力条件を満たす場合（ＹＥＳ）、機器状態管理部１３２は、ステップＳ５６に処理を進める。

【0223】

ステップＳ５６において、出力情報決定部１３３は、ｎ番目の登録機器の機器出力情報からステップＳ５３で取得した出力条件に対応する動作指示を取得する。なお、登録機器の動作指示には、登録機器の属性情報に応じて適応的に処理を行なうものが含まれていてもよい。例えば、登録機器が動作できない状態であるときは動作指示を送信しないといった条件を含めてもよい。動作できない状態とは、例えば、電源オフ状態又は休止状態等である。

【0224】

図１８は、本実施形態における出力情報決定部１３３が実行する出力条件判定処理（図１７のステップＳ５５）の変形例を示すフローチャートである。

【0225】

図１７に示した出力情報決定処理では、ステップＳ５５においてｍ番目の登録物体の機器操作情報のみに基づいて出力条件を満たすか否かを判定した。図１８に示した出力情報決定処理では、ｍ番目の登録機器以外の機器操作情報を参照し出力条件を満たすか否かを判定する。

【0226】

ステップＳ５５－１において、出力情報決定部１３３は、ｍ番目の登録物体の機器操作情報のいずれかが、ｎ番目の登録機器の出力条件を満たすか否かを判定する。機器操作情報のいずれかが出力条件を満たす場合（ＹＥＳ）、出力情報決定部１３３は、ステップＳ５５－１０に処理を進める。機器操作情報のすべてが出力条件を満たさない場合（ＮＯ）、出力情報決定部１３３は、ステップＳ５５－２に処理を進める。

【0227】

ステップＳ５５－２において、出力情報決定部１３３は、ｎ番目の登録機器の出力条件に基づいて、他の登録物体の機器操作情報が必要か否かを判定する。他の登録物体の機器操作情報が必要な場合（ＹＥＳ）、出力情報決定部１３３は、ステップＳ５５－３に処理を進める。他の登録物体の機器操作情報が不要な場合（ＮＯ）、出力情報決定部１３３は、ステップＳ５５－９に処理を進める。

【0228】

ステップＳ５５－３において、出力情報決定部１３３は、変数ｋを１に初期化する。

【0229】

ステップＳ５５－４において、出力情報決定部１３３は、変数ｋが変数ｍと等しいか否かを判定する。変数ｋが変数ｍと等しい場合（ＹＥＳ）、出力情報決定部１３３は、ステップＳ５５－５に処理を進める。変数ｋが変数ｍと等しくない場合（ＮＯ）、出力情報決定部１３３は、ステップＳ５５－７に処理を進める。

【0230】

ステップＳ５５－５において、出力情報決定部１３３は、状態記憶部１００に記憶されている登録物体リストから、ｋ番目の登録物体の機器操作情報を取得する。

【0231】

ステップＳ５５－６において、出力情報決定部１３３は、ｋ番目の登録物体の機器操作情報のいずれかが、ｎ番目の登録機器の出力条件を満たすか否かを判定する。機器操作情報のいずれかが出力条件を満たす場合（ＹＥＳ）、出力情報決定部１３３は、ステップＳ５５－１０に処理を進める。機器操作情報のすべてが出力条件を満たさない場合（ＮＯ）、出力情報決定部１３３は、ステップＳ５５－７に処理を進める。

【0232】

ステップＳ５５－７において、出力情報決定部１３３は、変数ｋがデータ数Ｍと等しいか否かを判定する。変数ｋがデータ数Ｍと異なる場合（ＮＯ）、出力情報決定部１３３は、ステップ５５－８に処理を進める。変数ｍがデータ数Ｍと等しい場合（ＹＥＳ）、出力情報決定部１３３は、ステップＳ５５－９に処理を進める。

【0233】

ステップＳ５５－８において、出力情報決定部１３３は、変数ｋをインクリメントする。その後、出力情報決定部１３３は、ステップＳ５５－４に処理を戻す。

【0234】

ステップＳ５５－９において、出力情報決定部１３３は、ステップＳ５４で取得した機器操作情報が、ステップＳ５３で取得した出力条件を満たさないと判定し、処理を終了する。

【0235】

ステップＳ５５－１０において、出力情報決定部１３３は、ステップＳ５４で取得した機器操作情報が、ステップＳ５３で取得した出力条件を満たすと判定し、処理を終了する。

【0236】

図１９は、本実施形態における機器出力情報の一例を示す図である。本実施形態における機器出力情報の出力条件の第１の例は、他の登録物体の機器操作情報が不要な出力条件である。本実施形態における機器出力情報の出力条件の第２～第４の例は、他の登録物体の機器操作情報が必要な出力条件である。

【0237】

図１９に示されているように、本実施形態における出力条件の第１の例は、ｍ番目の登録物体（以下、「人物α」とも呼ぶ）が電子機器（ここでは、ＭＦＰとする）で料金が発生する操作を行った機器操作情報が存在し、かつ、支払い済みフラグが未払いを表す０（＝ｆａｌｓｅ）であること、である。

【0238】

図１９に示されているように、出力条件の第１の例を満たすと判定された場合、以下の動作指示のいずれか又は複数が、当該登録機器に送信する動作指示として決定される。第１の動作指示は、人物αに提示する請求額に、ＭＦＰ利用料金を加算することである。第２の動作指示は、人物αの機器操作情報の支払い済みフラグを、支払い済みを表す１（＝ｔｒｕｅ）に更新するように管理装置１０に指示することである。

【0239】

なお、人物αに対する請求額は、人物αに関する請求情報及び人物αに関する機器操作情報に含まれる料金情報から計算される。したがって、人物αに対する請求額は、監視装置２０が撮影した第１の画像に基づいて人物αの行動を追跡することで計算される。また、人物αに対する請求額は、監視装置２０が撮影した第２の画像に基づいて人物αが精算装置４０を操作可能な位置に存在することを検知することで確定される。

【0240】

図１９に示されているように、本実施形態における出力条件の第２の例は、ｋ番目の登録物体（以下、「人物β」とも呼ぶ）が電子機器（ここでは、ＭＦＰとする）で料金が発生する操作を行った機器操作情報が存在し、かつ、支払い済みフラグが未払いを表す０（＝ｆａｌｓｅ）であること、である。なお、人物βは、人物αと同じグループＩＤを持つものとする。

【0241】

図１９に示されているように、出力条件の第２の例を満たすと判定された場合、以下の動作指示のいずれか又は複数が、当該登録機器に送信する動作指示として決定される。第１の動作指示は、人物αに提示する請求額に、人物βに関するＭＦＰ利用料金を加算することである。第２の動作指示は、人物βに関するＭＦＰ利用料金について「人物αではなく人物βが支払う」旨を示す選択肢と「はい」又は「いいえ」の選択ボタンを表示することである。このとき、「はい」が選択された場合、人物αに提示した請求額を、人物βのＭＦＰ利用料金を減算した金額に更新する。第３の動作指示は、人物αが人物βに関するＭＦＰ利用料金が加算された請求額を支払った場合、人物βの機器操作情報の支払い済みフラグを、支払い済みを表す１（＝ｔｒｕｅ）に更新するように管理装置１０に指示することである。

【0242】

図１９に示されているように、本実施形態における出力条件の第３の例は、人物βがＭＦＰで料金が発生する操作を行った機器操作情報が存在し、かつ、支払い済みフラグが未払いを表す０（＝ｆａｌｓｅ）であること、である。なお、人物βは、人物αと同じグループＩＤを持つものとする。

【0243】

図１９に示されているように、出力条件の第３の例を満たすと判定された場合、以下の動作指示のいずれか又は複数が、当該登録機器に送信する動作指示として決定される。第１の動作指示は、人物αに提示する請求額に、人物βに関するＭＦＰ利用料金を加算し、人物βの顔写真と共に提示することである。第２の動作指示及び第３の動作指示は、出力条件の第２の例と同様である。

【0244】

図１９に示されているように、本実施形態における出力条件の第４の例は、人物βに対する請求額が存在し、かつ、支払い済みフラグが未払いを表す０（＝ｆａｌｓｅ）であること、である。なお、人物βは、人物αと同じグループＩＤを持つものとする。

【0245】

図１９に示されているように、出力条件の第４の例を満たすと判定された場合、以下の動作指示のいずれか又は複数が、当該登録機器に送信する動作指示として決定される。第１の動作指示は、人物αに提示する請求額に、人物βに対する請求額を加算して提示することである。このとき、人物βの顔写真を共に提示してもよい。第２の動作指示は、人物βに対する請求額について「人物αではなく人物βが支払う」旨を示す選択肢と「はい」又は「いいえ」の選択ボタンを表示することである。このとき、「はい」が選択された場合、人物αに提示した請求額を、人物βに対する請求額を減算した金額に更新する。第３の動作指示は、人物αが人物βに対する請求額が加算された請求額を支払った場合、人物βの請求額に支払い済みフラグを、支払い済みを表す１（＝ｔｒｕｅ）に更新するように管理装置１０に指示することである。

【0246】

図９に戻って説明する。ステップＳ６において、管理装置１０が備える出力情報決定部１３３は、動作指示を表す動作指示情報を動作指示部１４に送る。動作指示情報には、決定した動作指示を示す情報が含まれる。

【0247】

動作指示部１４は、出力情報決定部１３３から動作指示情報を受け取る。次に、動作指示部１４は、精算装置４０に、動作指示情報に含まれる動作指示を送信する。

【0248】

精算装置４０では、料金精算部４１が、管理装置１０から動作指示を受信する。次に、料金精算部４１は、受信した動作指示に従って、当該動作指示に含まれる料金情報を用いた動作を実行する。例えば、料金精算部４１は、動作指示に含まれる料金情報を、利用者が購入する商品の代金に加えてディスプレイ５０６に表示する。

【0249】

また、例えば、料金精算部４１は、利用者が属するグループ全員に関する料金情報を受信した場合、利用者が精算する料金を選択可能な形式でディスプレイ５０６に表示する。利用者は、個別精算を希望する場合には、他の利用者による電子機器の操作に基づく料金を除外して精算を行うことができる。

【0250】

＜実施形態の効果＞
本実施形態における料金管理システム１は、電子機器３０の近傍を撮影した画像に基づいて人物の移動を追跡することで、利用者が電子機器３０を操作したことで発生した料金を表す情報を用いた動作指示を、当該利用者が近傍にいることを検知した精算装置４０に送信する。したがって、本実施形態における料金管理システム１によれば、電子機器を操作した利用者が近傍にいる精算装置に当該操作に基づく料金情報を送信することができる。

【0251】

特に、本実施形態における料金管理システム１は、複数の利用者が属するグループを特定し、グループに属するいずれかの利用者が精算装置４０の近傍にいることを検知すると、当該グループに属するすべての利用者の料金情報を精算装置４０に送信する。これにより、利用者はグループ全員の利用料金をまとめて精算することができる。

【0252】

［変形例］
上記実施形態では、管理対象空間内で撮影された画像すべてに対してグループＩＤ付与処理を行うように構成した。本変形例では、精算装置４０を利用するために待機する領域（以下、「精算待機領域」）において、近接した位置で検知された複数の人物を同じグループに属するものと判定するように構成する。

【0253】

本変形例における画像取得部２１は、予め設定された精算待機領域を撮影した第３の画像を取得する。本変形例における監視装置２０は、精算待機領域を撮影するためのカメラを含んでもよい。精算装置４０の近傍を撮影するカメラが精算待機領域を撮影可能であれば、当該カメラで精算待機領域を撮影してもよい。この場合、第２の画像と第３の画像は、同一の画像となる。

【0254】

ここで、本変形例における物体状態更新処理について、図２０を参照しながら説明する。図２０は、本変形例における物体状態管理部１３１が実行する物体状態更新処理の一例を示すフローチャートである。

【0255】

ステップＳ２４において、物体状態管理部１３１は、状態管理部１３から入力された画像が精算待機領域を撮影した第３の画像であるか否かを判定する。画像が精算待機領域の画像である場合、物体状態管理部１３１は、ステップＳ２３Ａに処理を進める。画像が精算待機領域の画像でない場合、物体状態管理部１３１は、物体状態更新処理を終了する。

【0256】

ステップＳ２３Ａにおいて、物体状態管理部１３１は、図１４に示したグループＩＤ付与処理の第１の例を実行し、登録物体リストに含まれる登録物体にグループＩＤを付与する。グループＩＤ付与処理の内容は、上記実施形態と同様である。

【0257】

＜変形例の効果＞
本変形例における料金管理システム１は、精算待機領域を撮影した画像に基づいて、利用者が属するグループを特定する。精算装置４０の利用を待機する領域では、グループが近接した位置に集まって待機している可能性が高い。したがって、本変形例における料金管理システム１によれば、より精度よくグループの特定を行うことができる。

【0258】

［応用例］
上記実施形態では、管理対象空間をコンビニエンスストア等の小規模店舗と想定し、電子機器３０をＭＦＰとして料金を精算する例を中心に説明した。ただし、料金管理システム１を適用可能な利用シーンはこれに限定されず、様々な利用シーンに応用することができる。

【0259】

例えば、料金管理システム１を、ホテルに設置される電子機器の利用料金を管理するように構成することができる。ホテルには、様々な電子機器が設置されている。例えば、ロビーには地域情報を検索するためのＰＣが設置されていることがある。また、客室にはテレビ放送及びオンデマンド動画を再生可能なセットトップボックスが設置されていることがある。料金管理システム１によりこれらの機器で発生した料金情報を管理することで、ホテルの宿泊客が都度料金を精算することなく、チェックアウトする際にまとめて精算することが可能となる。

【0260】

また、例えば、料金管理システム１を、空港に設置される電子機器の利用料金を管理するように構成することができる。例えば、空港には、有料ラウンジが設置されていることがある。有料ラウンジ内には、ＭＦＰ等が設置されていることがある。料金管理システム１によりこれらの機器で発生した料金情報を管理することで、乗客が都度料金を精算することなく、退室する際にまとめて精算することが可能となる。

【0261】

［補足］
上記各実施形態において、管理装置１０は情報処理装置の一例である。料金管理システム１は情報処理システムの一例である。監視装置２０は撮影装置の一例である。状態管理部１３は人物特定部及びグループ特定部の一例である。操作情報受信部１２は料金情報受信部の一例である。動作指示部１４は料金情報送信部の一例である。

【0262】

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）や従来の回路モジュール等の機器を含むものとする。

【0263】

実施例に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。ある実施形態では、管理装置１０は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。

【0264】

以上、本発明の実施の形態について詳述したが、本発明はこれらの実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形又は変更が可能である。

【符号の説明】

【0265】

１ 料金管理システム
１０ 管理装置
１１ 画像受信部
１２ 操作情報受信部
１３ 状態管理部
１４ 動作指示部
１００ 状態記憶部
１３１ 物体状態管理部
１３２ 機器状態管理部
１３３ 出力情報決定部
２０ 監視装置
２１ 画像取得部
２２ 画像送信部
３０ 電子機器
３１ 操作情報送信部
４０ 精算装置
４１ 料金精算部

【先行技術文献】

【特許文献】

【0266】

【特許文献1】特開２０２０－１６６６３８号公報

【特許文献2】特開２００１－２４２７５４号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】