特開 2023-143744 情報処理システム、情報処理装置、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023143744

(43)【公開日】2023-10-06

(54)【発明の名称】情報処理システム、情報処理装置、情報処理方法、及びプログラム

(51)【国際特許分類】

   G01S 13/52 20060101AFI20230928BHJP

【ＦＩ】

G01S13/52

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023020044

(22)【出願日】2023-02-13

(31)【優先権主張番号】P 2022046513

(32)【優先日】2022-03-23

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100107515

【弁理士】

【氏名又は名称】廣田 浩一

(72)【発明者】

【氏名】松浦 熱河

【テーマコード（参考）】

5J070

【Ｆターム（参考）】

5J070AB10

5J070AB24

5J070AC01

5J070AC15

5J070AD05

5J070AE09

5J070AF01

5J070AK14

5J070BD02

(57)【要約】

【課題】無線センシングで、機器を操作するユーザの所定の行動を検知できるようにする。
【解決手段】情報処理システムは、機器を操作するユーザの行動を、電波を用いてセンシングする情報処理システムであって、前記機器が設置されたエリアの前記電波の状態を取得する電波状態取得部と、前記機器から、所定の事象を検知したことを示す情報を受信する通信部と、前記所定の事象の前の所定の期間に前記電波状態取得部が取得した前記電波の状態と、前記電波状態取得部が取得する前記電波の状態とに基づいて、前記機器で前記所定の事象が発生したことを通知する通知部と、を有する。
【選択図】図４

【特許請求の範囲】

【請求項1】

機器を操作するユーザの行動を、電波を用いてセンシングする情報処理システムであって、
前記機器が設置されたエリアの前記電波の状態を取得する電波状態取得部と、
前記機器から、所定の事象を検知したことを示す情報を受信する通信部と、
前記所定の事象の前の所定の期間に前記電波状態取得部が取得した前記電波の状態と、前記電波状態取得部が取得する前記電波の状態とに基づいて、前記機器で前記所定の事象が発生したことを通知する通知部と、
を有する、情報処理システム。

【請求項2】

前記機器が前記所定の事象を検知したことと、前記所定の事象の前の所定の期間の前記電波の状態と、を教師データとして機械学習した機械学習モデルを記憶する記憶部と、
前記電波状態取得部が取得した前記電波の状態と前記機械学習モデルとに基づいて、前記機器で前記所定の事象が発生したか否かを判断する機械学習部と、
を有する、請求項１に記載の情報処理システム。

【請求項3】

前記機械学習部は、前記機器が前記所定の事象を検知したことを教師データとして、前記所定の期間の前記電波の状態を前記機械学習モデルに学習させる、請求項２に記載の情報処理システム。

【請求項4】

前記通知部は、前記機械学習部が前記機器で前記所定の事象が発生したと判断した場合、前記所定の事象が発生したことを前記機器に通知する、請求項２に記載の情報処理システム。

【請求項5】

前記機器は、前記通知部からの前記通知に応じて、前記所定の事象に対応する処理を実行する、請求項４に記載の情報処理システム。

【請求項6】

前記所定の事象は、前記機器に対する操作の試行錯誤を含む、請求項４又は５に記載の情報処理システム。

【請求項7】

１つ以上の機器と無線通信を行う無線通信部を有し、
前記電波の状態は、前記無線通信で取得するＣＳＩを含む、
請求項２乃至５のいずれか一項に記載の情報処理システム。

【請求項8】

前記無線通信部は、複数の周波数帯で前記無線通信が可能であり、
前記機器は、前記所定の事象を検知する周波数帯の情報を前記機械学習部に通知し、
前記機械学習部は、前記周波数帯の前記無線通信で取得したＣＳＩを前記記憶部に記憶した前記機械学習モデルに入力して、前記ユーザが所定の行動を取ったことを判断する、
請求項７に記載の情報処理システム。

【請求項9】

機器を操作するユーザの行動を、電波を用いてセンシングする情報処理装置であって、
前記機器が設置されたエリアの前記電波の状態を取得する電波状態取得部と、
前記機器から、所定の事象を検知したことを示す情報を受信する通信部と、
前記所定の事象の前の所定の期間に前記電波状態取得部が取得した前記電波の状態と、前記電波状態取得部が取得する前記電波の状態とに基づいて、前記機器で前記所定の事象が発生したことを通知する通知部と、
を有する、情報処理装置。

【請求項10】

機器を操作するユーザの行動を、電波を用いてセンシングする情報処理システムが、
前記機器が設置されたエリアの前記電波の状態を取得する電波状態取得処理と、
前記機器から、所定の事象を検知したことを示す情報を受信する受信処理と、
前記所定の事象の前の所定の期間に前記電波状態取得処理で取得した前記電波の状態と、前記電波状態取得処理で取得する前記電波の状態とに基づいて、前記機器で前記所定の事象が発生したことを通知する通知処理と、
を実行する、情報処理方法。

【請求項11】

機器を操作する人物の行動を、電波を用いてセンシングする情報処理システムにおいて、
前記機器が設置されたエリアの前記電波の状態を取得する電波状態取得処理と、
前記機器から、所定の事象を検知したことを示す情報を受信する受信処理と、
前記所定の事象の前の所定の期間に前記電波状態取得処理で取得した前記電波の状態と、前記電波状態取得処理で取得する前記電波の状態とに基づいて、前記機器で前記所定の事象が発生したことを通知する通知処理と、
をコンピュータに実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理システム、情報処理方法、及びプログラムに関する。

【背景技術】

【0002】

人の接近を検知して、接近した人に所定のサービスを提供する情報処理システムがある。

【0003】

例えば、所定の範囲に存在する人物を追跡して当該人物が接近している場合に、自己の機器の状態を判定し、判定結果に応じて他の画像処理装置に誘導要求を行う画像処理装置が知られている（例えば、特許文献１参照）。

【0004】

また、無線ＬＡＮ（Local Area Network）通信で電波の状態を示すＣＳＩ（Channel State Information）を取得し、ＣＳＩから抽出した特徴量に基づいて物体の移動方向を検知する無線通信システムが知られている（例えば、特許文献２参照）。

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献1、２に示すような従来の技術では、電波を用いて物体の位置、距離、又は移動方向を検知する無線センシングが行われている。しかし、無線センシングに利用する周波数が高くなると、より高精度な無線センシングが可能となる。例えば、６０ＧＨｚ以上の周波数になると、物体の形状、又は人のジェスチャ等も検知対象となる。

【0006】

しかし、例えば、機器の操作を行うユーザの行動を無線センシングする場合、ユーザごとに操作手順、身体的特徴、体を動かす癖等が異なり、また設置場所ごと又は時刻ごとに周囲物体の配置が異なり電波の状態を予め予測できないため、従来の技術では、機器の操作を行うユーザの所定の行動を検知することができないという問題がある。

【0007】

本発明の一実施形態は、上記の問題点に鑑みてなされたものであって、無線センシングで、機器を操作するユーザの所定の行動を検知できるようにする。

【課題を解決するための手段】

【0008】

上記の課題を解決するため、本発明の一実施形態に係る情報処理システムは、機器を操作するユーザの行動を、電波を用いてセンシングする情報処理システムであって、前記機器が設置されたエリアの前記電波の状態を取得する電波状態取得部と、前記機器から、所定の事象を検知したことを示す情報を受信する通信部と、前記所定の事象の前の所定の期間に前記電波状態取得部が取得した前記電波の状態と、前記電波状態取得部が取得する前記電波の状態とに基づいて、前記機器で前記所定の事象が発生したことを通知する通知部と、を有する。

【発明の効果】

【0009】

本発明の一実施形態によれば、無線センシングで、機器を操作するユーザの所定の行動を検知できるようになる。

【図面の簡単な説明】

【0010】

【図1】一実施形態に係る情報処理システムのシステム構成の例を示す図である。

【図2】一実施形態に係るコンピュータのハードウェア構成の例を示す図である。

【図3】一実施形態に係る無線装置、及び機器のハードウェア構成の例を示す図である。

【図4】一実施形態に係る情報処理システムの機能構成の例を示す図である。

【図5】一実施形態に係る情報処理システムが管理する管理情報のイメージを示す図（１）である。

【図6】一実施形態に係る情報処理システムが管理する管理情報のイメージを示す図（２）である。

【図7】一実施形態に係る位置検知処理の例を示すフローチャートである。

【図8】一実施形態に係る初期状態の設定処理の例を示すフローチャートである。

【図9】一実施形態に係る登録オブジェクトの更新処理の例を示すフローチャートである。

【図10】一実施形態に係る登録オブジェクトリストの書換処理の例を示すフローチャート（１）である。

【図11】一実施形態に係る登録オブジェクトリストの書換処理の例を示すフローチャート（２）である。

【図12】第１の実施形態に係る機械学習処理の例を示すフローチャートである。

【図13】第１の実施形態に係る機械学習後の処理の例を示すフローチャートである。

【図14】第２の実施形態に係る機械学習処理の例を示すフローチャートである。

【図15】第２の実施形態に係る対応情報の例を示すフローチャートである。

【図16】第２の実施形態に係る機械学習後の処理の例を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下に、本発明の実施の形態について、添付の図面を参照して説明する。

【0012】

＜システム構成＞
図１は、一実施形態に係る情報処理システムのシステム構成の例を示す図である。情報処理システム１は、例えば、管理対象エリア１００に設置された無線装置１１０、及び1つ以上の機器１２０ａ、１２０ｂ、・・・と、無線装置１１０と通信ネットワーク２を介して通信可能な情報処理装置１０とを含む。なお、以下の説明において、１つ以上の機器１２０ａ、１２０ｂ、・・・のうち、任意の機器を示す場合、「機器１２０」を用いる。

【0013】

無線装置１１０は、複数のアンテナ１１１を有し、ＭＩＭＯ（Multi Input Multi Output）、及び位相制御によるビームフォーミングが可能な無線通信センシングデバイスである。図１の例では、無線装置１１０は、無線ＬＡＮ（Local Area Network）通信のアクセスポイントの機能を有し、無線ＬＡＮ通信で機器１２０と通信可能である。ただし、これに限られず、無線装置１１０は、移動体通信での用いる無線基地局の機能を有していてもよい。

【0014】

管理対象エリア１００は、一例として会議室であり、例えば、画像形成装置、プロジェクタ、又は電子黒板等の機器１２０が設置されている。管理対象エリア１００は、別の一例として、店舗であり、例えば、画像形成装置、又はデジタルサーネージ等の機器１２０が設置されている。なお、管理対象エリア１００は、会議室、及び店舗以外のエリアであってもよい。

【0015】

機器１２０は、例えば、無線ＬＡＮ通信のステーションの機能を有し、無線装置１１０が提供する無線ＬＡＮネットワークに接続し、インターネット、又はＬＡＮ等の通信ネットワーク２を介して、情報処理装置１０と通信可能である。ただし、これに限られず、機器１２０は、無線装置１１０を介さずに、有線ＬＡＮ等によって通信ネットワーク２に接続するものであってもよい。

【0016】

情報処理装置１０は、コンピュータの構成を有する情報処理装置、又は複数のコンピュータを含むシステムである。情報処理装置１０は、所定のプログラムを実行することにより、無線装置１１０が送信する電波の状態に基づいて、管理対象エリア１００内のオブジェクト（例えば、機器１２０を利用する人物２０等）の位置、又は行動をセンシングする処理を実行する。

【0017】

無線装置１１０が情報処理装置１０に送信する電波の状態には、例えば、無線ＬＡＮ通信で取得するＣＳＩ（Channel State Information）が含まれる。ＣＳＩは、無線通信の物理層で抽出される送受信機間の伝搬路の状態を表す情報である。ＣＳＩは、例えば、送信された電波の伝搬損失、反射、又は回折等のマルチパスによる振幅変化、及び位相変化を表わす。

【0018】

具体的には、複数のサブキャリアを使って通信を行い、ｉ番目のサブキャリアで得られるMt次元の送信ベクトルをXi、ｉ番目のサブキャリアで得られるMr次元の受信ベクトルをYi、Mr次元のノイズベクトルをNiとしたとき、
Yi＝Hi Xi＋Ni …（式１）
で表されるMt×Mr次元の行列Hiがi番目のサブキャリアで得られる行列である。Hiの各要素をｈ_ｍｎとすると、ｈ_ｍｎはｍ番目の受信アンテナとｎ番目の受信アンテナ間における伝搬路のＣＳＩの値である。

【0019】

なお、ＣＳＩは、無線装置１１０が情報処理装置１０に送信する電波の状態の一例である。無線装置１１０は、例えば、レーダー機能をさらに有し、ＣＳＩに加えて（又は代えて）、レーダー反射値を電波の状態として、情報処理装置１０に送信してもよい。

【0020】

上記の構成により、情報処理システム１は、無線装置１１０が情報処理装置１０に送信する電波の状態に基づいて、例えば、機器１２０を操作する人物（ユーザ）２０の行動、又は位置等をセンシングする無線センシングを行う。

【0021】

なお、図１に示した情報処理システム１のシステム構成は一例である。例えば、情報処理装置１０は、管理対象エリア１００内に設けられていてもよい。また、情報処理装置１０の機能は、例えば、無線装置１１０、又は機器１２０が有していてもよいし、情報処理装置１０と無線装置１１０と機器１２０とに分散して設けられていてもよい。

【0022】

＜ハードウェア構成＞
続いて、情報処理システム１に含まれる各装置のハードウェア構成の例について説明する。

【0023】

（情報処理装置のハードウェア構成）
情報処理装置１０は、例えば、図２に示すようなコンピュータ２００のハードウェア構成を有している。或いは、情報処理装置１０は、複数のコンピュータ２００によって構成される。

【0024】

図２は、一実施形態に係るコンピュータのハードウェア構成の例を示す図である。コンピュータ２００は、例えば、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３、ＨＤ（Hard Disk）２０４、ＨＤＤ（Hard Disk Drive）コントローラ２０５、ディスプレイ２０６、外部機器接続Ｉ／Ｆ（Interface）２０７、ネットワークＩ／Ｆ２０８、キーボード２０９、ポインティングデバイス２１０、ＤＶＤ－ＲＷ（Digital Versatile Disk Rewritable）ドライブ２１２、メディアＩ／Ｆ２１４、及びバスライン２１５等を備えている。

【0025】

これらのうち、ＣＰＵ２０１は、コンピュータ２００の全体の動作を制御する。ＲＯＭ２０２は、例えば、ＩＰＬ等のＣＰＵ２０１の起動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリア等として使用される。ＨＤ２０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ２０５は、ＣＰＵ２０１の制御に従ってＨＤ２０４に対する各種データの読み出し又は書き込みを制御する。

【0026】

ディスプレイ２０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種の情報を表示する。外部機器接続Ｉ／Ｆ２０７は、各種の外部機器を接続するためのインタフェースである。ネットワークＩ／Ｆ２０８は、通信ネットワーク２を利用してデータ通信をするためのインタフェースである。

【0027】

キーボード２０９は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス２１０は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ２１２は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ２１１に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷ２１１は、ＤＶＤ－ＲＷに限らず、他の記録媒体であっても良い。メディアＩ／Ｆ２１４は、フラッシュメモリ等のメディア２１３に対するデータの読み出し又は書き込み（記憶）を制御する。バスライン２１５は、上記の各構成要素を電気的に接続するためのアドレスバス、データバス及び各種の制御信号等を含む。

【0028】

（無線装置のハードウェア構成）
図３（Ａ）は、一実施形態に係る無線装置のハードウェア構成の例を示している。無線装置１１０は、一例として、ＣＰＵ３０１、メモリ３０２、ストレージデバイス３０３、ネットワークＩ／Ｆ３０４、及び１つ以上の無線通信装置３０５、及びバス３０６を有する。

【0029】

ＣＰＵ３０１は、例えば、ストレージデバイス３０３等に格納されたプログラムやデータをメモリ３０２上に読み出し、処理を実行することで、無線装置１１０の各機能を実現する演算装置（プロセッサ）である。メモリ３０２には、例えば、ＣＰＵ３０１のワークエリア等として用いられるＲＡＭ、及び無線装置１１０の起動用のプログラム等を記憶するＲＯＭ等が含まれる。ストレージデバイス３０３は、ＯＳ（Operating System）、アプリケーション、及び各種のデータ等を記憶する不揮発性の大容量の記憶装置であり、例えば、ＳＳＤ（Solid State Drive）、又はＨＤＤ等によって実現される。

【0030】

ネットワークＩ／Ｆ３０４は、通信ネットワーク２を利用して、情報処理装置１０等と通信するためのインタフェースである。１つ以上の無線通信装置３０５は、例えば、無線ＬＡＮ通信、又は無線ＷＡＮ（Wide Area Network）通信を行い、ＣＳＩを取得する無線回路、アンテナ、及び通信制御デバイス等を含む。バス３０６は、上記の各構成要素に共通に接続され、例えば、アドレス信号、データ信号、及び各種の制御信号等を伝送する。

【0031】

（機器のハードウェア構成）
図３（Ｂ）は、一実施形態に係る機器のハードウェア構成の一例を示している。図３（Ｂ）の例では、機器１２０が、複写機、プリンタ、又は複合機等の画像形成装置である場合のハードウェア構成の例を示している。

【0032】

機器１２０は、一例として、ＣＰＵ３１１、メモリ３１２、ストレージデバイス３１３、ネットワークＩ／Ｆ３１４、１つ以上の無線通信装置３１５、操作パネル３１６、画像形成デバイス３１７、及びバス３１８を有する。なお、ＣＰＵ３１１、メモリ３１２、ストレージデバイス３１３、ネットワークＩ／Ｆ３１４及びバス３１８は、図３（Ａ）で説明したＣＰＵ３０１、メモリ３０２、ストレージデバイス３０３、ネットワークＩ／Ｆ３０４及びバス３０６と同様なので説明を省略する。

【0033】

１つ以上の無線通信装置３１５は、無線装置１１０が備える１つ以上の無線通信装置３０５と同じ無線通信方式の無線回路、アンテナ、及び通信制御デバイス等を含む。操作パネル３１６は、操作画面等を表示するディスプレイと、操作画面等に対する操作を受け付けるタッチパネル、又は操作ボタン等を含む。画像形成デバイス３１７は、例えば、印刷を行うプリンタエンジン、又はスキャンを行うスキャンエンジン等の画像形成用のデバイスを含む。

【0034】

なお、図３（Ｂ）に示した機器１２０のハードウェア構成は一例である。例えば、機器１２０が画像形成装置以外の機器である場合、機器１２０は、画像形成デバイス３１７を有していなくてもよい。

【0035】

＜機能構成＞
続いて、本実施形態に係る情報処理システムの機能構成について説明する。図４は、一実施形態に係る情報処理システムの機能構成の例を示す図である。なお、図４において、機器１２０ｂは、機器１２０ａと同じ機能構成を有しているものとする。

【0036】

（情報処理装置の機能構成）
情報処理装置１０は、例えば、ＣＰＵ２０１が所定のプログラムを実行することにより、通信部４０１、電波状態取得部４０２、機械学習部４０３、通知部４０４、情報管理部４０５、及び記憶部４０６等の機能構成を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであってもよい。

【0037】

通信部４０１は、例えば、ネットワークＩ／Ｆ２０８を用いて、情報処理装置１０を通信ネットワーク２に接続し、無線装置１１０、及び機器１２０等と通信する。例えば、通信部４０１は、機器１２０から所定の事象を検知したことを示す情報を受信する受信処理を実行する。

【0038】

電波状態取得部４０２は、通信部４０１を介して、無線装置１１０から、管理対象エリア１００内の電波の状態を取得する電波状態取得処理を実行する。例えば、電波状態取得部４０２は、無線装置１１０から、無線ＬＡＮ通信等で取得したＣＳＩ（電波の状態の一例）を取得する。なお、電波状態取得部４０２は、無線装置１１０から、ＣＳＩに代えて（又は加えて）、レーダー反射値（電波の状態の別の一例）を取得してもよい。

【0039】

機械学習部４０３は、例えば、機器１２０を操作する人物２０の行動を推定する機械学習モデル４０７を、記憶部４０６等に記憶している。また、機械学習部４０３は、例えば、機器１２０が所定の事象を検知したことを教師データとして、所定の事象の前の所定の期間の電波の状態を、機械学習モデル４０７に学習させる機械学習処理を実行する。

【0040】

また、機械学習部４０３は、電波状態取得部４０２が取得した電波の状態（例えばＣＳＩ）と、学習済の機械学習モデル４０７とに基づいて、機器１２０で所定の事象が発生したか否かを判断する。

【0041】

通知部４０４は、所定の事象の前の所定の期間に電波状態取得部４０２が取得した電波の状態と、電波状態取得部４０２が取得する電波の状態とに基づいて、機器１２０で所定の事象が発生したことを通知する。例えば、通知部４０４は、機械学習部４０３が、機器１２０で所定の事象が発生したと判断した場合、所定の事象が発生したことを、通信部４０１を介して機器１２０に通知する通知処理を実行する。

【0042】

情報管理部４０５は、後述する登録機器リスト５０１、検知オブジェクトリスト５０２、登録オブジェクトリスト５０３、ＣＳＩ初期状態リスト６０１、及びＣＳＩ履歴リスト６０２等の管理情報４０８を、記憶部４０６等に記憶して管理する。なお、情報管理部４０５は、ＣＳＩ初期状態リスト６０１、及びＣＳＩ履歴リスト６０２に加えて（又は代えて）、レーダー反射値初期状態リスト６０３、及びレーダー反射値履歴リスト６０４等を管理してもよい。

【0043】

記憶部４０６は、例えば、ＣＰＵ２０１が実行するプログラム、ＨＤ２０４、ＨＤＤコントローラ２０５、及びＲＡＭ２０３等によって実現される。記憶部４０６は、例えば、機器１２０が所定の事象を検知したことと、検知した所定の事象の前の所定の期間の電波の状態と、を教師データとして機械学習した機械学習モデル４０７を記憶する記憶処理を実行する。また、記憶部４０６は、管理情報４０８を含む様々な情報、データ、及びプログラム等を記憶する。

【0044】

（無線装置の機能構成）
無線装置１１０は、例えば、ＣＰＵ３０１が所定のプログラムを実行することにより、通信部４１１、無線通信部４１２、及び電波状態送信部４１３等の機能構成を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであってもよい。

【0045】

通信部４１１は、例えば、ネットワークＩ／Ｆ３０４を用いて、無線装置１１０を通信ネットワーク２に接続し、情報処理装置１０等と通信する。

【0046】

無線通信部４１２は、無線通信装置３０５を、例えば、無線ＬＡＮ通信のアクセスポイントとして機能させ、情報処理装置１０と機器１２０との間の通信を中継する。

【0047】

電波状態送信部４１３は、例えば、無線通信装置３０５を用いて、管理対象エリア１００内のＣＳＩ（電波の状態の一例）を取得し、取得したＣＳＩを、通信部４１１を介して情報処理装置１０に送信する。また、電波状態送信部４１３は、ＣＳＩに加えて（又は代えて）、レーダー反射値（電波の状態の別の一例）を、通信部４１１を介して情報処理装置１０に送信してもよい。

【0048】

（機器の機能構成）
機器１２０は、例えば、ＣＰＵ３１１が所定のプログラムを実行することにより、無線通信部４２１、機器制御部４２２、及び検知部４２３等の機能構成を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであってもよい。

【0049】

無線通信部４２１は、無線通信装置３１５を、例えば、無線ＬＡＮ通信のステーションとして機能させ、無線装置１１０を介して、情報処理装置１０と通信する。

【0050】

機器制御部４２２は、一例として、操作パネル３１６、及び画像形成デバイス３１７等を制御して、機器１２０を画像形成装置として機能させる。例えば、機器制御部４２２は、操作パネル３１６に、操作画面を表示し、操作画面に対する人物２０の操作に従って、コピー、印刷、又はスキャン等の画像形成処理を実行する。なお、機器制御部４２２は、機器１２０がプロジェクタである場合は、機器１２０をプロジェクタとして機能させ、機器１２０が電子黒板である場合は、機器１２０を電子黒板として機能させる。

【0051】

検知部４２３は、機器１２０における所定の事象を検知し、所定の事象を検知した場合、所定の事象が発生したことを、無線通信部４２１等を介して情報処理装置１０に通知する。具体的な一例として。検知部４２３は、機器１２０の操作に戸惑うユーザ、又はユーザの試行錯誤等を所定の事象として検知する。

【0052】

例えば、機器１２０が、複写機、プリンタ、又は複合機等の画像形成装置である場合、検知部４２３は、ユーザが、給紙トレイ、又は搬送経路のカバー等を所定の回数（例えば３回）開閉した場合に、所定の事象が発生したと検知してもよい。或いは、検知部４２３は、ユーザが、操作パネル３１６の所定の操作画面を所定の回数（例えば５回）表示したときに、所定の事象が発生したと検知してもよい。

【0053】

＜管理情報の例＞
続いて、情報管理部４０５が管理する管理情報４０８の例について説明する。図５、６は、一実施形態に係る情報処理システムが管理する管理情報のイメージを示す図である。

【0054】

（登録機器リスト）
図５（Ａ）は、情報管理部４０５が管理する登録機器リスト５０１のイメージを示している。登録機器リスト５０１は、管理対象エリア１００内にある機器１２０ａ、１２０ｂ、・・・等の情報を管理するリストである。図５（Ａ）の例では、登録機器リスト５０１は、項目として、「機器ＩＤ」、「宛先情報」、及び「属性」等の情報を含む。

【0055】

機器ＩＤは、機器１２０を識別する識別情報である。「宛先情報」は、情報処理装置１０が、機器１２０と通信するための宛先情報（アドレス情報等）である。「属性」は、機器１２０に付随する情報であって、機器１２０の管理に必要な、機器１２０の位置（３次元座標）、及び状態（例えば、電源オンオフ、動作モード、認証要否等）の情報である。

【0056】

（検知オブジェクトリスト）
図５（Ｂ）は、情報管理部４０５が管理する検知オブジェクトリスト５０２のイメージを示している。検知オブジェクトリスト５０２は、管理対象エリア１００内に存在するオブジェクト（人物２０等）を把握し、登録オブジェクトリスト５０３を更新するために用いる一時的なリストである。図５（Ｂ）の例では、検知オブジェクトリスト５０２には、項目として、「検知ＩＤ」、「属性」等の情報が含まれる。「検知ＩＤ」は検知されたオブジェクトを識別する識別情報である。「属性」「は、検知されたオブジェクトに付随する情報であって、オブジェクトの管理に必要な、オブジェクトの位置（３次元座標）、及び検知された時刻等の情報である。

【0057】

（登録オブジェクトリスト）
図５（Ｃ）は、情報管理部４０５が管理する登録オブジェクトリスト５０３のイメージを示している。登録オブジェクトリスト５０３は、管理対象エリア１００内に存在するオブジェクト（人物２０等）の情報を管理するリストである。図５（Ｃ）の例では、登録オブジェクトリスト５０３には、項目として、「登録ＩＤ」、「存在フラグ」、「属性」等の情報が含まれる。「登録ＩＤ」は、オブジェクトを識別する識別情報である。「存在フラグ」は、各オブジェクトが管理対象エリア１００内に存在する（１）か、存在しない（０）か、を示すフラグ情報である。「属性」は、登録されたオブジェクトに付随する情報であって、管理に必要な、オブジェクトの位置（３次元座標）、及び位置が確認された時刻等の情報である。

【0058】

（ＣＳＩ初期状態リスト）
図６（Ａ）は、情報管理部４０５が管理するＣＳＩ初期状態リスト６０１のイメージを示している。ＣＳＩ初期状態リスト６０１は、管理対象エリア１００内において、公知のビームフォーミングを用いた空間的なスキャンにより、スキャン方向ごとに得られる初期状態のＣＳＩを記憶するリストである。

【0059】

（ＣＳＩ履歴リスト）
図６（Ｂ）は、情報管理部４０５が管理するＣＳＩ履歴リスト６０２のイメージを示している。ＣＳＩ履歴リスト６０２は、公知のビームフォーミングを用いた空間的なスキャンにより、無線装置１１０が所定の時間ごとに取得した、スキャン方向ごとのＣＳＩの値の履歴を記憶したリストである。

【0060】

（レーダー反射値初期状態リスト）
図６（Ｃ）は、情報管理部４０５が管理するレーダー反射値初期状態リスト６０３のイメージを示している。無線装置１１０は、ミリ波以上の周波数帯で無線センシングを行う場合、オブジェクトに電波を当てて反射波で物体の位置を識別するレーダー方式のセンシングが可能である。レーダー反射値初期状態リストは、レーダー方式のセンシングでスキャン方向ごとに得られる初期状態のレーダー反射値を記憶したリストである。

【0061】

（レーダー反射値履歴リスト）
図６（Ｄ）は、情報管理部４０５が管理するレーダー反射値履歴リスト６０４のイメージを示している。レーダー反射値履歴リスト６０４は、レーダー方式のセンシングで、無線装置１１０が所定の時間ごとに取得した、スキャン方向ごとのレーダー反射値の履歴を記憶したリストである。

【0062】

＜位置検知処理の流れ＞
続いて、情報処理システム１が、管理対象エリア１００内において、人物２０等のオブジェクトの位置を検知し、追尾する位置検知処理の流れについて説明する。

【0063】

（位置検知処理）
図７は、一実施形態に係る位置検知処理の例を示すフローチャートである。この処理は、情報処理システム１が繰り返し実行する位置検知処理の全体の流れを示している。

【0064】

ステップＳ７０１において、情報管理部４０５は、初期状態の設定処理を実行する初期状態の設定時刻であるか否かを判断する。初期状態の設定処理は、管理対象エリア１００内に来訪者、又は一時的なデバイス等が存在しない初期状態（基準となる状態）を設定する処理である。

【0065】

例えば、管理対象エリア１００が無人店舗であれば、開店前の無人状態で電波の状態を初期状態として設定する。初期状態は、頻繁に変動するものではないと想定されるが、例えば、店舗への新たな機器の導入、又は商品棚の移動等により、初期状態が変動する。また、管理対象エリア１００が工場である場合、例えば、ラインの組み替え等により、初期状態が変動する。従って、定期的（例えば、１日２回等）に初期状態の設定を行うことが望ましい。

【0066】

初期状態の設定時刻である場合、情報管理部４０５は、処理をステップＳ７０２に移行させる。一方、初期状態の設定時刻でない場合、情報管理部４０５は、処理をステップＳ７０２に移行させる。

【0067】

ステップＳ７０２に移行すると、情報管理部４０５は、初期状態の設定処理を実行する。例えば、情報管理部４０５は、図８で後述する初期状態の設定処理を実行する。

【0068】

ステップＳ７０３に移行すると、情報管理部４０５は、例えば、図９～１１で後述する登録オブジェクトの更新処理を実行する。

【0069】

（初期状態の設定処理１）
図８（Ａ）は、一実施形態に係る初期状態の設定処理の一例を示すフローチャートである。この処理は、図７のステップＳ７０２で情報管理部４０５が実行する処理の一例を示している。

【0070】

ステップＳ８０１において、情報管理部４０５は、例えば、図６（Ｂ）に示すようなＣＳＩ履歴リスト６０２から、センシング方向ごとの最頻出のＣＳＩを特定する。

【0071】

ステップＳ８０２において、情報管理部４０５は、センシング方向ごとに、最頻出のＣＳＩを初期状態として設定する。例えば、管理対象エリア１００が店舗である場合、客がいない時間、及び閉店時間等、各センシング方向において、人がいない時間が最も長いと考えられるので、最頻出のＣＳＩを初期状態（基準となる状態）に設定する。

【0072】

ステップＳ８０３において、情報管理部４０５は、例えば、図６（Ａ）に示すようなＣＳＩ初期状態リスト６０１を、センシング方向ごとの最頻出のＣＳＩで更新する。

【0073】

図８（Ａ）の処理により、情報管理部４０５は、図６（Ａ）に示すようなＣＳＩ初期状態リスト６０１を定期的に更新することができる。

【0074】

なお、情報管理部４０５は、図８（Ａ）の処理に加えて（又は代えて）、図８（Ｂ）に示す初期状態の設定処理２を実行してもよい。

【0075】

（初期状態の設定処理２）
図８（Ｂ）は、一実施形態に係る初期状態の設定処理の別の一例を示すフローチャートである。この処理は、図７のステップＳ７０２で情報管理部４０５が実行する処理の別の一例を示している。

【0076】

ステップＳ８１１において、情報管理部４０５は、例えば、図６（Ｄ）に示すようなレーダー反射値履歴リスト６０４から、センシング方向ごとの最頻出のレーダー反射値を特定する。

【0077】

ステップＳ８１２において、情報管理部４０５は、センシング方向ごとに、最頻出のレーダー反射値を初期状態として設定する。

【0078】

ステップＳ８１３において、情報管理部４０５は、例えば、図６（Ｃ）に示すようなレーダー反射値初期状態リスト６０３を、センシング方向ごとの最頻出のレーダー反射値で更新する。

【0079】

図８（Ｂ）の処理により、情報管理部４０５は、図６（Ｃ）に示すようなレーダー反射値初期状態リスト６０３を定期的に更新することができる。

【0080】

なお、例えば、図６（Ａ）に示すような、ＣＳＩ初期状態リスト６０１が得られる場合、図８（Ｂ）の処理は省略してもよい（省略しなくてもよい）。一方、例えば、ミリ波帯でＣＳＩを取得したいが、機器１２０がミリ波帯に対応していないような場合、情報処理システム１は、図６（Ｃ）に示すようなレーダー反射値初期状態リスト６０３を作成して、レーダー反射値による無線センシングを実行してもよい。また、ミリ波帯に対応している機器１２０が少ない場合、情報処理システム１は、図６（Ａ）に示すようなＣＳＩ初期状態リスト６０１と、図６（Ｃ）に示すようなレーダー反射値初期状態リスト６０３とを併用して、無線センシングを実行してもよい。さらに、情報処理システム１は、図６（Ａ）に示すようなＣＳＩ初期状態リスト６０１と、図６（Ｃ）に示すようなレーダー反射値初期状態リスト６０３とを常に併用して、無線センシングを実行してもよい。

【0081】

（登録オブジェクトの更新処理）
図９（Ａ）は、一実施形態に係る登録オブジェクトの更新処理の例を示すフローチャートである。この処理は、例えば、図７のステップＳ７０３において、情報処理システム１が実行する登録オブジェクトの更新処理の全体の流れを示している。

【0082】

ステップＳ９０１において、情報管理部４０５は、検知オブジェクトリストの作成処理を実行する。例えば、情報管理部４０５は、図９（Ｂ）で後述する検知オブジェクトリストの作成処理を実行する。

【0083】

ステップＳ９０２において、情報管理部４０５は、登録オブジェクトリストの書換処理を実行する。例えば、情報管理部４０５は、図１０、１１で後述する登録オブジェクトリストの書換処理を実行する。

【0084】

（検知オブジェクトリストの作成処理）
図９（Ｂ）は、検知オブジェクトリストの作成処理の例を示すフローチャートである。この処理は、例えば、図９（Ａ）のステップＳ９０１において、情報管理部４０５が実行する処理の例を示している。

【0085】

ステップＳ９１１において、情報管理部４０５は、検知オブジェクトリスト５０２をクリアする。例えば、情報管理部４０５は、図５（Ｂ）に示すような検知オブジェクトリスト５０２に含まれるデータを消去する。

【0086】

ステップＳ９１２において、情報管理部４０５は、無線装置１１０に指示を出し、管理対象エリア１００をスキャンする。ここで、スキャンとは、予め定めた方向ごとにＣＳＩ（又はレーダー反射値）を取得することである。予め定めた方向は、例えば、ＣＳＩ初期状態リスト６０１（又はレーダー反射値初期状態リスト６０３）の方向０００１、方向０００２、・・・に対応している。

【0087】

方向ごとにスキャンする方法は公知のビームフォーミングで行なう。ビームフォーミングは、無線装置１１０から電波を送信する際に、複数のアンテナ１１１間で送信波の位相を変化させることにより干渉状態を変化させ、電波の強度（振幅）を角度ごとに制御する技術である。

【0088】

ステップＳ９１３において、情報管理部４０５は、検知時刻ＴにおけるＣＳＩ（又はレーダー反射値）が、初期状態と異なる方向をオブジェクト存在領域として抽出し、検知ＩＤを付与する。例えば、情報管理部４０５は、検知時刻ＴにおけるＣＳＩの振幅値、及び位相値が、ＣＳＩ初期状態リストの最大値と最小値の間に含まれない場合、初期状態と異なると判断してもよい。

【0089】

ステップＳ９１４において、情報管理部４０５は、ステップＳ９１３で付与した検知ＩＤと、オブジェクトの位置を、図５（Ｂ）に示すような検知オブジェクトリスト５０２に登録する。なお、オブジェクトの位置は、３次元座標上の位置である。情報管理部４０５は、例えば、スキャンの方向と、レーダー反射波が無線装置１１０に届くまでの時間等から算出したオブジェクトまでの距離とから、オブジェクトの位置を算出してもよい。或いは、情報管理部４０５は、ＣＳＩを機械学習することにより、オブジェクトまでの距離を推定するもの等であってもよい。

【0090】

ステップＳ９１５において、情報管理部４０５は、検知時刻ＴにおけるＣＳＩ（又はレーダー反射値）を、ＣＳＩ履歴リスト６０２（又はレーダー反射値履歴リスト６０４）に登録する。

【0091】

図９（Ｂ）の処理により、情報処理システム１は、管理対象エリア１００内に存在するオブジェクトを検知し、検知オブジェクトリスト５０２に登録することができる。

【0092】

（登録オブジェクトの書換処理）
図１０、１１は、一実施形態に係る登録オブジェクトリストの書換処理の例を示すフローチャートである。この処理は、例えば、図９（Ａ）のステップＳ９０２において、情報管理部４０５が実行する処理の例を示している。

【0093】

ステップ１００１において、情報管理部４０５は、検知オブジェクトリスト５０２を、ＲＡＭ２０３等のメモリ上に読み出す。ここで、検知オブジェクトリスト５０２に登録されている検知ＩＤの数をＮとする。

【0094】

ステップ１００２において、情報管理部４０５は、登録オブジェクトリスト５０３を、ＲＡＭ２０３等のメモリ上に読み出す。ここで、登録オブジェクトリスト５０３に登録されている登録ＩＤの数をＭとする。

【0095】

ステップＳ１００３において、情報管理部４０５は、変数ｎを「１」に初期化する。また、ステップＳ１００４において、情報管理部４０５は、変数ｍを「１」に初期化する。

【0096】

ステップＳ１００５において、情報管理部４０５は、図１１（Ａ）で後述する書換処理を実行する。

【0097】

ステップＳ１００６において、情報管理部４０５は、ｍ＝Ｍであるか否かを判断する。ｍ＝Ｍでない場合、情報管理部４０５は、ステップＳ１００７において、ｍに１を加算して、処理をステップＳ１００４に戻す。一方、ｍ＝Ｍである場合、情報管理部４０５は、処理をステップＳ１００８に移行させる。

【0098】

ステップＳ１００８に移行すると、情報管理部４０５は、ｎ＝Ｎであるか否かを判断する。ｎ＝Ｎでない場合、情報管理部４０５は、ステップＳ１００９において、ｎに１を加算して、処理をステップＳ１００５に戻す。一方、ｎ＝Ｎである場合、情報管理部４０５は、処理をステップＳ１０１０に移行させる。

【0099】

上記の処理により、検知オブジェクトリスト５０２に含まれる各データと、登録オブジェクトリスト５０３に含まれる各データとに対して、総当たりでステップＳ１００５の書換処理を実行することができる。

【0100】

ステップＳ１０１０に移行すると、情報管理部４０５は、図１１（Ｂ）で後述する消去処理を実行する。

【0101】

（書換処理）
図１１（Ａ）は、書換処理の例を示すフローチャートである。この処理は、例えば、図１０のステップＳ１００５において、情報管理部４０５が実行する処理の例を示している。

【0102】

ステップＳ１１０１おいて、情報管理部４０５は、ｍ番目の登録オブジェクトの存在フラグを「０」にセットする。

【0103】

ステップＳ１１０２において、情報管理部４０５は、ｍ番目の登録オブジェクトと、ｎ番目の検知オブジェクトとの間の距離Ｘを算出する。例えば、情報管理部４０５は、ｍ番目の登録オブジェクトの位置と、ｎ番目の検知オブジェクトの位置とから、距離Ｘを算出する。

【0104】

ステップＳ１１０３において、情報管理部４０５は、距離Ｘが閾値以下であるか否かを判断する。ここで、閾値は、ｍ番目の登録オブジェクトと、ｎ番目の検知オブジェクトが、同じオブジェクトであると判断するための値が、予め設定されているものとする。距離Ｘが閾値以下である場合、情報管理部４０５は、処理をステップＳ１１０４に移行させる。一方、距離Ｘが閾値以下でない場合、情報管理部４０５は、図１１（Ａ）の処理を終了する。

【0105】

ステップＳ１１０４に移行すると、情報管理部４０５は、ｍ番目の登録オブジェクトの属性情報に、ｎ番目の検知オブジェクトの位置と、時刻を追加（上書き）する。

【0106】

ステップＳ１１０５において、情報管理部４０５は、ｍ番目の登録オブジェクトの存在フラグを「１」にセットする。

【0107】

図１１（Ａ）の処理により、情報管理部４０５は、ｍ番目の登録オブジェクトと、ｎ番目の検知オブジェクトとの間の距離Ｘが閾値以下である場合、同じオブジェクトと判断して、ｍ番目の登録オブジェクトの属性を、ｎ番目の検知オブジェクトの属性で更新する。

【0108】

（消去処理）
図１１（Ｂ）は、消去処理の例を示すフローチャートである。この処理は、例えば、図１０のステップＳ１０１０において、情報管理部４０５が実行する処理の例を示している。

【0109】

ステップＳ１１１１において、情報管理部４０５は、変数ｍを「１」に初期化する。

【0110】

ステップＳ１１１２において、情報管理部４０５は、ｍ番目の登録オブジェクトの存在フラグが「０」であるか否かを判断する。ｍ番目の登録オブジェクトの存在フラグが「０」である場合、情報管理部４０５は、処理をステップＳ１１３に移行させる。一方、ｍ番目の登録オブジェクトの存在フラグが「０」でない場合、情報管理部４０５は、処理をステップＳ１１１４に移行させる。

【0111】

ステップＳ１１１３に移行すると、情報管理部４０５は、ｍ番目の登録オブジェクトに関する情報を、登録オブジェクトリスト５０３から削除する。

【0112】

ステップＳ１１１４に移行すると、情報管理部４０５は、ｍ＝Ｍであるかを判断する。ｍ＝Ｍでない場合、情報管理部４０５は、ステップＳ１１１５において、ｍに１を加算して、処理をステップＳ１１１１に戻す。一方、ｍ＝Ｍである場合、情報管理部４０５は、図１１（Ｂ）の処理を終了する。

【0113】

図１１（Ｂ）の処理により、情報管理部４０５は、登録オブジェクトリスト５０３から、存在しないオブジェクトの情報を削除することができる。

【0114】

以上、図７～１１で説明した位置検知処理により、情報処理システム１は、無線装置１１０を用いて、管理対象エリア１００内のオブジェクトの位置を検知し、追尾することができる。

【0115】

＜行動検知処理＞
続いて、情報処理システム１が、管理対象エリア１００内において、機器１２０を操作する人物２０の行動を、電波を用いてセンシングする行動検知処理について説明する。

【0116】

（概要）
電波は、これまでも物体検知や距離測定に用いられてきたが、高い周波数になればなるほど高精度なセンシングが可能となる。例えば、６０ＧＨｚ以上の周波数になると、オブジェクトの形やジェスチャも検知対象に入ってくる。ジェスチャは、作業内容、身体的特徴、体を動かす癖等により多様なバリエーションがあり、これを電波の状態パターンとしてアルゴリズム化することは困難である。そこで行動センシングに関する先行研究の多くが、機械学習との組み合わせを有力視している。

【0117】

しかし、機器１２０を操作する人物２０の行動は、例えば、作業内容、身体的特徴、又は体調等によって様々であり、電波の状態パターンに基づいて、人物の行動をセンシングできるように、機械学習モデルを学習することには困難を伴っていた。

【0118】

そこで、本実施形態では、機器１２０が検知したい人物２０の行動を機器操作と紐づけ、所定の機器操作が行われた事実を正解データとして機器から情報処理装置１０に通知することにより、機械学習を促進する。例えば、情報処理装置１０は、所定の機器操作が行われた直前の電波の状態（例えば、ＣＳＩ）を正解データとして機械学習モデルを学習する。

【0119】

［第１の実施形態］
本実施形態に係る情報処理方法の処理の流れについて説明する。ここでは、一例として、情報処理システム１が、機器１２０の操作に戸惑う人物２０の行動を検知するものとして以下の説明を行う。

【0120】

＜機械学習処理＞
（機器の処理）
図１２（Ａ）は、機械学習時の機器の処理の例を示すフローチャートである。

【0121】

ステップＳ１２０１において、機器１２０の機器制御部４２２が、人物２０による機器１２０に対する操作を受け付けると、機器１２０は、ステップＳ１２０２以降の処理を実行する。

【0122】

ステップＳ１２０２において、機器１２０の検知部４２３は、受け付けた操作が、予め設定された所定の操作パターンと一致するか否かを判断する。

【0123】

例えば、機器１２０の操作に戸惑う人物２０の行動を検知する場合、人物２０による機器１２０の操作の試行錯誤を検知してもよい。この試行錯誤の発生は、機器１２０の操作を通じて検知することができる。例えば、人物２０が、一度操作ボタンを選択した後に、元の画面に戻る操作を行った場合、最初の操作は誤操作であったと判断することができる。同様に、人物２０が、一度実行した操作の設定条件を変えて再操作した場合は、最初の操作で誤設定したと判断することができる。本実施形態では、このような誤操作、又は試行錯誤のパターンを、機器１２０に予め設定しておく。

【0124】

所定の操作パターンと一致する場合、検知部４２３は、処理をステップＳ１２０３に移行させる。一方、所定の操作パターンと一致しない場合、検知部４２３は、図１２（Ａ）の処理を終了する。

【0125】

ステップＳ１２０３に移行すると、機器１２０の検知部４２３は所定の事象（例えば、機器１２０の操作の試行錯誤）を検知したことを、無線通信部４２１を介して、情報処理装置１０に通知する。また、機器１２０の機能のために用いる通信処理（例えばプリントデータの受信やスキャンデータの送信等の画像形成のための通信処理など）において、通信データ量が増大した場合（大容量のデータを送受信する場合）は、機器１２０の機能のために用いる通信処理を、高い周波数帯を用いて実行し、無線センシングは低い周波数帯を用いるように、元々使用していた周波数帯から、変更する処理を行ってもよい。また機器１２０の機能のために用いる通信処理の通信データ量が再び下がった場合には、元々使用していた周波数帯を用いるように戻すための変更処理を行ってもよい。

【0126】

（情報処理装置の処理）
図１２（Ｂ）は、機械学習時の情報処理装置の処理の例を示すフローチャートである。この処理は、図１２（Ａ）で説明した機器１２０の処理に対応する情報処理装置１０の処理の例を示している。

【0127】

ステップＳ１２１１において、情報処理装置１０の情報管理部４０５は、図９（Ｂ）で説明した検知オブジェクトリストの作成処理を実行して、ＣＳＩ履歴リスト６０２を更新する。

【0128】

ステップＳ１２１２において、情報処理装置１０の機械学習部４０３は、機器１２０が所定の事象（例えば、機器１２０の操作の試行錯誤）を検知したか否かを判断する。例えば、情報管理部４０５は、機器１２０から、所定の事象を検知したことを示す通知を受信したか否かを判断する。機器１２０が所定の事象を検知した場合、機械学習部４０３は、処理をステップＳ１２１３に移行させる。一方、機器１２０が所定の事象を検知していない場合、機械学習部４０３は、処理をステップＳ１２１１に戻す。

【0129】

ステップＳ１２１３に移行すると、機械学習部４０３は、機器１２０が所定の事象を検知したことを教師データとして、所定の事象の前の所定の期間のＣＳＩを、機械学習モデル４０７に学習させる。例えば、機械学習部４０３は、ＣＳＩ履歴リスト６０２から、機器１２０が所定の事象を検知した時刻の直前の所定の期間のＣＳＩを取得し、取得したＣＳＩに、所定の事象が発生した時刻等を付加した教師データを用いて、機械学習モデル４０７を機械学習する。

【0130】

ステップＳ１２１４において、機械学習部４０３は、所定の回数、機械学習したか否かを判断する。所定の回数、機械学習していない場合、機械学習部４０３は、処理をステップＳ１２１１に戻す。一方、所定の回数、機械学習した場合、機械学習部４０３は、図１２（Ｂ）の処理を終了する。

【0131】

図１２（Ｂ）の処理により、情報処理装置１０は、学習済の機械学習モデル４０７を得ることができる。

【0132】

＜機械学習後の処理＞
図１３（Ａ）は、機械学習後の情報処理装置の処理の例を示すフローチャートである。なお、図１３（Ａ）の処理の開始時点において、情報処理装置１０は、図１２（Ａ）、図１２（Ｂ）の処理で学習済の機械学習モデル４０７を、記憶部４０６等に記憶しているものとする。

【0133】

ステップＳ１３０１において、情報処理装置１０の情報管理部４０５は、図９（Ｂ）で説明した検知オブジェクトリストの作成処理を実行して、ＣＳＩ履歴リスト６０２を更新する。

【0134】

ステップＳ１３０２において、情報処理装置１０の機械学習部４０３は、更新した所定の期間のＣＳＩを、学習済の機械学習モデル４０７に入力する。これにより、学習済の機械学習モデル４０７は、所定の事象が発生したか否かを示す判定（分類）結果を出力する。

【0135】

ステップＳ１３０３において、情報処理装置１０の通知部４０４は、所定の事象が発生したか否かに応じて処理を分岐させる。所定の事象が発生した場合、通知部４０４は、機器１２０で所定の事象が発生したことを、通信部４０１を介して、機器１２０に通知する。所定の事象が発生していない場合、通知部４０４は、通知を行わずに処理を終了する。

【0136】

情報処理装置１０は、図１３（Ａ）の処理を繰り返し実行することにより、機器１２０で所定の事象が発生したことを検知することができる。

【0137】

（機器の処理）
図１３（Ｂ）は、機械学習後の機器の処理の例を示すフローチャートである。この処理は、図１３（Ａ）で説明した情報処理装置の処理に対応する機器１２０の処理の例を示している。

【0138】

ステップＳ１３１１において、機器１２０は、情報処理装置１０からの通知を受信すると、ステップＳ１３１２以降の処理を実行する。

【0139】

ステップＳ１３１２において、機器１２０の機器制御部４２２は、所定の事象が発生したか否かを判断する。例えば、機器制御部４２２は、情報処理装置１０から受信した通知が、所定の事象が発生したことを示す通知である場合、所定の事象が発生したと判断する。所定の事象が発生した場合、機器制御部４２２は、処理をステップＳ１３１３に移行させる。一方、所定の事象が発生していない場合、機器制御部４２２は、図１３（Ｂ）の処理を終了する。

【0140】

ステップＳ１３１３に移行すると、機器制御部４２２は、所定の事象に対応する処理を実行する。例えば、所定の事象が、機器１２０の操作に戸惑う人物２０の行動である場合、機器制御部４２２は、操作パネル３１６に、操作マニュアルへ誘導する表示要素を表示する。

【0141】

このように、第１の実施形態よれば、電波の状態パターンに基づいて、機器１２０を操作する人物２０の行動をセンシングできるように、機械学習モデルを学習することが容易になる。

【0142】

［第２の実施形態］
第２の実施形態では、無線装置１１０、及び機器１２０が、例えば、６０ＧＨｚ帯、５ＧＨｚ帯、及び２．４ＧＨｚ帯等の複数の周波数帯に対応している場合の処理の例について説明する。

【0143】

例えば、より高い精度で人物２０の行動を無線センシングしたい場合、６０ＧＨｚ帯等のより高い周波数帯で無線センシングを行うことが望ましい。例えば、機器１２０の操作に戸惑う人物２０の行動を検知したい場合、６０ＧＨｚ帯のＣＳＩを利用することにより、操作パネル３１６の前で指が往復する迷い操作、又は操作パネル３１６の前で指が長時間停止する熟考動作に関する電波の状態パターンを利用できる。

【0144】

一方、２．４ＧＨｚ帯で指の動きをセンシングしようとすれば、電波の状態パターンはノイズとなり、機械学習をむしろ阻害する恐れがある。しかし、全ての無線センシングを、６０Ｈｚ帯のＣＳＩだけで行うのは、無線通信の利用効率の観点から望ましくない。

【0145】

そこで、第２の実施形態では、機器１２０が、検知する所定の事象に応じて、無線センシングに利用する周波数帯を、情報処理装置１０に通知する。

【0146】

＜機械学習処理＞
（機器の処理）
図１４（Ａ）は、機械学習時の機器の処理の例を示すフローチャートである。なお、図１４（Ａ）に示す処理のうち、ステップＳ１２０１～Ｓ１２０３の処理は、図１２（Ａ）で説明した第１の実施形態に係る機械学習時の機器の処理と同様なので、ここでは説明を省略する。

【0147】

ステップＳ１４０１において、機器１２０の検知部４２３は、検知対象となる所定の事象に対応する周波数帯を、情報処理装置１０に通知する。例えば、機器１２０は、図１５に示すような対応情報１５００を、ストレージデバイス３１３等に予め記憶しておく。

【0148】

図１５は、第２の実施形態に係る対応情報の例を示す図である。図１５の例では、対応情報１５００は、項目として、「所定の事象」、「利用する周波数帯」、「対応する処理」等の情報を含む。「所定の事象」は、検知対象となる事象を示す情報である。「利用する周波数帯」は、「所定の事象」を検知するときに利用する周波数帯を示す情報である。「対応する処理」は、所定の事象が検知されたときに、実行する処理を示す情報である。

【0149】

図１５の例では、所定の事象が「ユーザの試行錯誤」である場合、６０ＧＨｚ帯のＣＳＩを利用すること、及び「ユーザの試行錯誤」が検知された場合、機器１２０が「操作マニュアルへの誘導」を行うことが示されている。また、図１５の例では、所定の事象が「ユーザの接近」である場合、レーダー反射値、又は５ＧＨｚ帯のＣＳＩを利用すること、及び「ユーザの接近」が検知された場合、「省電力モードの解除」を行うことが示されている。

【0150】

検知部４２３は、対応情報１５００に基づいて、検知対象となる所定の事象に対応する周波数帯を特定し、情報処理装置１０に通知する。

【0151】

（情報処理装置の処理）
図１４（Ｂ）は、機械学習時の情報処理装置の処理の例を示すフローチャートである。この処理は、図１４（Ａ）で説明した機器１２０の処理に対応する情報処理装置１０の処理の例を示している。なお、基本的な処理内容は、図１２（Ｂ）で説明した第１の実施形態に係る機械学習時の情報処理装置の処理と同様なので、ここでは、第１の実施形態と同様の処理に対する詳細な説明は省略する。

【0152】

ステップＳ１４１１において、情報処理装置１０の情報管理部４０５は、機器１２０から通知された周波数帯の一部、又は全部を、無線センシング用の周波数帯に設定する。

【0153】

ステップＳ１４１２において、情報管理部４０５は、無線センシング用の周波数帯で検知オブジェクトリストの作成処理を実行して、設定した周波数帯の履歴リスト（ＣＳＩ履歴リスト６０２、又はレーダー反射値履歴リスト６０４）を更新する。なお、本実施形態において、Ａ、又はＢという表現は、Ａのみ、Ｂのみ、に加えてＡとＢの組合せを含む。

【0154】

ステップＳ１４１３において、情報処理装置１０の機械学習部４０３は、機器１２０が所定の事象を検知したか否かを判断する。機器１２０が所定の事象を検知した場合、機械学習部４０３は、処理をステップＳ１４１４に移行させる。一方、機器１２０が所定の事象を検知していない場合、機械学習部４０３は、処理をステップＳ１４１２に戻す。

【0155】

ステップＳ１４１４に移行すると、機械学習部４０３は、機器１２０が所定の事象を検知したことを教師データとして、所定の事象の前の所定の期間の電波の状態（ＣＳＩ、又はレーダー反射値）を、機械学習モデル４０７に学習させる。

【0156】

ステップＳ１４１５において、機械学習部４０３は、所定の回数、機械学習したか否かを判断する。所定の回数、機械学習していない場合、機械学習部４０３は、処理をステップＳ１４１２に戻す。一方、所定の回数、機械学習した場合、機械学習部４０３は、図１４（Ｂ）の処理を終了する。

【0157】

図１４（Ａ）、図１４（Ｂ）の処理により、情報処理システム１は、検知したい所定の行動に合わせて、設定された周波数帯を利用して、機械学習モデル４０７を機械学習することができる。

【0158】

＜機械学習後の処理＞
（情報処理装置の処理）
図１６（Ａ）は、機械学習後の情報処理装置の処理の例を示すフローチャートである。なお、図１６（Ａ）の処理の開始時点において、情報処理装置１０は、図１４（Ａ）、図１４（Ｂ）の処理で学習済の機械学習モデル４０７を、記憶部４０６等に記憶しているものとする。また、図１６（Ａ）に示す処理のうち、ステップＳ１３０３、Ｓ１３０４の処理は、図１３（Ａ）で説明した第１の実施形態に係る機械学習後の情報処理装置の処理と同様なので、ここでは説明を省略する。

【0159】

ステップＳ１６０１において、情報処理装置１０の情報管理部４０５は、機器１２０から通知された周波数帯を、無線センシング用の周波数帯に設定する。

【0160】

ステップＳ１６０２において、情報管理部４０５は、無線センシング用の周波数帯で検知オブジェクトリストの作成処理を実行して、設定した周波数帯の履歴リスト（ＣＳＩ履歴リスト６０２、又はレーダー反射値履歴リスト６０４）を更新する。

【0161】

ステップＳ１６０３において、情報処理装置１０の機械学習部４０３は、更新した所定の期間の電波の状態（ＣＳＩ、又はレーダー反射値）を、学習済の機械学習モデル４０７に入力する。これにより、学習済の機械学習モデル４０７は、所定の事象が発生したか否かを示す判定（分類）結果を出力する。

【0162】

（機器の処理）
図１６（Ｂ）は、機械学習後の機器の処理の例を示すフローチャートである。この処理は、図１６（Ａ）で説明した情報処理装置の処理に対応する機器１２０の処理の例を示している。

【0163】

ステップＳ１６１１において、機器１２０の検知部４２３は、検知対象となる所定の事象に対応する周波数帯を、情報処理装置１０に通知する。ここで、検知部４２３が情報処理装置１０に通知する周波数帯は、図１４（Ａ）のステップＳ１４０１において、検知部４２３が情報処理装置１０に通知して周波数帯と同じであるものとする。

【0164】

ステップＳ１６１２において、機器１２０は、情報処理装置１０からの通知を受信すると、ステップＳ１６１３以降の処理を実行する。

【0165】

ステップＳ１６１３において、機器１２０の機器制御部４２２は、情報処理装置１０に通知した周波数帯で、所定の事象が発生したか否かを判断する。例えば、機器制御部４２２は、情報処理装置１０から受信した通知が、所定の事象が発生したことを示す通知である場合、通知した周波数帯で所定の事象が発生したと判断する。通知した周波数帯で所定の事象が発生した場合、機器制御部４２２は、処理をステップＳ１６１４に移行させる。一方、通知した周波数帯で所定の事象が発生していない場合、機器制御部４２２は、図１３（Ｂ）の処理を終了する。

【0166】

ステップＳ１６１４に移行すると、機器制御部４２２は、所定の事象に対応する処理を実行する。例えば、機器制御部４２２は、図１５で説明した対応情報１５００を参照して、所定の事象に対応する処理を取得し、実行する。

【0167】

このように、第２の実施形態よれば、機器１２０が、検知する所定の事象に応じて、無線センシングに利用する周波数帯を設定することができる。

【0168】

以上、本発明の各実施形態によれば、機器を操作する人物の行動を、電波を用いてセンシングする情報処理システムにおいて、機器を操作する人物の所定の行動を検知することが容易になる。

【0169】

（利用シーンの例）
本発明の各実施形態は、例えば、無人のコンビニエンスストアに設置されたＭＦＰ（multifunction peripheral/product）、又は空港ラウンジ若しくはホテル等に設置された電子機器等を操作するユーザ等に適用することができる。

【0170】

例えば、情報処理システム１を、ホテルに設置される電子機器を管理するように構成することができる。ホテルには、様々な電子機器が設置されている。例えば、ロビーには自動チェックイン機が設置されていることがある。また、客室にはテレビ放送及びオンデマンド動画を再生可能なセットトップボックスが設置されていることがある。情報処理システム１によりこれらの電子機器を管理することで、当該電子機器を操作する人物の所定の行動を検知することが可能となる。

【0171】

また、例えば、情報処理システム１を、空港に設置される電子機器を管理するように構成することができる。空港では航空機に搭乗するまでに、発券、チェックイン、手荷物検査等の手続きを通過する必要があり、各手続きで搭乗券を専用の電子機器で処理している。情報処理システム１によりこれらの電子機器を管理することで、当該電子機器を操作する人物の所定の行動を検知することが可能となる。

【0172】

また、例えば、情報処理システム１を、書店に設置される検索端末等の電子機器を管理するように構成することができる。情報処理システム１によりこれらの電子機器を管理することで、当該電子機器を操作する人物の所定の行動を検知することが可能となる。また、上記のホテル、空港、書店の他、駅などを含む公共施設、パブリックスペースにおいて同様に用いることができる。例えば困っている利用者の動作の検出とそれに応じた案内画面表示や介助の提供のための係員の端末への通知処理、あるいは、不審者等の動作の検出と監視開始処理や安全確保のための警報や警備員の端末への通知処理等を、情報処理システム１を介して実行することができる。

【0173】

また、例えば、情報処理システム１を、工場に設置されるＰＣ等の電子機器を管理するように構成することができる。情報処理システム１によりこれらの電子機器を管理することで、当該電子機器を操作する人物の所定の行動を検知することが可能となる。

【0174】

また、例えば、情報処理システム１を、コンビニエンスストアの無人店舗に設置される電子機器を管理するように構成することができる。コンビニエンスストアには、ＭＦＰや精算装置等の電子機器が設置されている。情報処理システム１によりこれらの電子機器を管理することで、当該電子機器を操作する人物の所定の行動を検知することが可能となる。また、上記の工場やコンビニの他、無人や人の少ない場所に機器が設置されている場面での機器の操作において同様に用いることができる。例えば困っている利用者の動作の検出とそれに応じた案内表示や操作方法説明のための担当者の端末への通知処理等を、情報処理システム１を介して実行することができる。

【0175】

また、例えば、情報処理システム１を、家にある複数の家電（電子機器）を管理するように構成することができる。情報処理システム１によりこれらの電子機器を管理することで、当該電子機器を操作する人物の所定の行動を検知することが可能となる。また家内や屋内での、子供やお年寄り等の、見守り対象の人物の動作の検出と、それに応じた見守り録画開始・停止処理や、家族の端末へのメッセージ送信処理・録画データ送信開始・停止処理等を、情報処理システム１を介して実行することができる。その場合にはシステムに１以上の家電（電子機器）の１つとしてテレビや冷蔵庫等と撮影手段（カメラ）とを含めてもよい。

【0176】

＜補足＞
上記で説明した各実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（digital signal processor）、ＦＰＧＡ（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

【0177】

また、実施例に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものに過ぎない。ある実施形態では、情報処理装置１０は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。同様に、無線装置１１０は、互いに通信するように構成された複数のコンピューティングデバイスを含むことができる。

【0178】

さらに、情報処理装置１０、無線装置１１０、及び機器１２０は、開示された処理ステップを様々な組合せで共有するように構成できる。例えば、所定のユニットによって実行されるプロセスは、情報処理装置１０、無線装置１１０、又は機器１２０によって実行され得る。また、情報処理装置１０の各構成要素は、１つの装置にまとめられていても良いし、複数の装置に分けられていても良い。

【0179】

以上、本発明の実施形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、及び応用が可能である。

【符号の説明】

【0180】

１ 情報処理システム
１０ 情報処理装置
２０ 人物（ユーザ）
１２０、１２０ａ、１２０ｂ 機器
４０３ 機械学習部
４０４ 通知部
４１２、４２１ 無線通信部
４２３ 検知部

【先行技術文献】

【特許文献】

【0181】

【特許文献1】特開２０１６－０９２６３８号公報

【特許文献2】特開２０２２－０１７５６４号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】