IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社リコーの特許一覧

特開2023-143743無線センシング装置、無線センシングシステム、リソース割当方法、及びプログラム
<>
  • 特開-無線センシング装置、無線センシングシステム、リソース割当方法、及びプログラム 図1
  • 特開-無線センシング装置、無線センシングシステム、リソース割当方法、及びプログラム 図2
  • 特開-無線センシング装置、無線センシングシステム、リソース割当方法、及びプログラム 図3
  • 特開-無線センシング装置、無線センシングシステム、リソース割当方法、及びプログラム 図4
  • 特開-無線センシング装置、無線センシングシステム、リソース割当方法、及びプログラム 図5
  • 特開-無線センシング装置、無線センシングシステム、リソース割当方法、及びプログラム 図6
  • 特開-無線センシング装置、無線センシングシステム、リソース割当方法、及びプログラム 図7
  • 特開-無線センシング装置、無線センシングシステム、リソース割当方法、及びプログラム 図8
  • 特開-無線センシング装置、無線センシングシステム、リソース割当方法、及びプログラム 図9
  • 特開-無線センシング装置、無線センシングシステム、リソース割当方法、及びプログラム 図10
  • 特開-無線センシング装置、無線センシングシステム、リソース割当方法、及びプログラム 図11
  • 特開-無線センシング装置、無線センシングシステム、リソース割当方法、及びプログラム 図12
  • 特開-無線センシング装置、無線センシングシステム、リソース割当方法、及びプログラム 図13
  • 特開-無線センシング装置、無線センシングシステム、リソース割当方法、及びプログラム 図14
  • 特開-無線センシング装置、無線センシングシステム、リソース割当方法、及びプログラム 図15
  • 特開-無線センシング装置、無線センシングシステム、リソース割当方法、及びプログラム 図16
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023143743
(43)【公開日】2023-10-06
(54)【発明の名称】無線センシング装置、無線センシングシステム、リソース割当方法、及びプログラム
(51)【国際特許分類】
   H04W 72/0453 20230101AFI20230928BHJP
   H04W 4/38 20180101ALI20230928BHJP
【FI】
H04W72/0453
H04W4/38
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2023020039
(22)【出願日】2023-02-13
(31)【優先権主張番号】P 2022046998
(32)【優先日】2022-03-23
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100107515
【弁理士】
【氏名又は名称】廣田 浩一
(72)【発明者】
【氏名】松浦 熱河
【テーマコード(参考)】
5K067
【Fターム(参考)】
5K067AA11
5K067BB27
5K067BB32
5K067EE02
5K067EE33
5K067EE34
5K067KK03
(57)【要約】
【課題】無線通信に用いる電波によりオブジェクトをセンシングする無線センシングシステムにおいて、通信環境に応じて、無線センシングに無線リソースを適切に配分できるようにする。
【解決手段】無線センシングシステムは、無線通信に用いる電波によりオブジェクトの存在、位置、又は動作をセンシングし、機器と通信をする無線センシングシステムであって、センシングを実行する前に、前記機器からのデータ通信要求に基づいて、データ通信と前記センシングとに使用する無線リソースを割り当てるリソース割当部を有する。
【選択図】図4
【特許請求の範囲】
【請求項1】
無線通信に用いる電波によりオブジェクトの存在、位置、又は動作をセンシングし、機器と通信をする無線センシングシステムであって、
センシングを実行する前に、前記機器からのデータ通信要求に基づいて、データ通信と前記センシングとに使用する無線リソースを割り当てるリソース割当部を有する、
無線センシングシステム。
【請求項2】
前記リソース割当部は、前記センシングに利用可能な複数の周波数帯域のうち、28GHz以上の周波数帯域において前記データ通信要求がない場合、前記28GHz以上の周波数帯域を前記センシングに割り当てる、請求項1に記載の無線センシングシステム。
【請求項3】
前記リソース割当部は、前記28GHz以上の周波数帯域において、前記データ通信要求がある場合、データ通信より多くの無線リソースを前記センシングに割り当てる、請求項2に記載の無線センシングシステム。
【請求項4】
前記リソース割当部は、
前記センシングに用いる周波数帯域の情報を取得し、
前記センシングと無線リソースが重複するデータ通信要求がない場合、
前記センシングに用いる周波数帯域を前記センシングに割り当てる、
請求項1に記載の無線センシングシステム。
【請求項5】
前記センシングと無線リソースが重複するデータ通信要求があり、前記センシングに用いる周波数帯域が、前記センシングに利用可能な複数の周波数帯域のうち、28GHz以上の周波数帯域である場合、
前記リソース割当部は、前記28GHz以上の周波数帯域の無線リソースを、センシング優先に割り当てる、
請求項4に記載の無線センシングシステム。
【請求項6】
前記リソース割当部は、前記28GHz以上の周波数帯域でデータ通信要求を受け付けた場合、前記28GHz以上の周波数帯域とは異なる周波数帯域を、データ通信に割り当てる、請求項5に記載の無線センシングシステム。
【請求項7】
前記センシングと、無線リソースが重複するデータ通信要求があり、前記センシングに用いる周波数帯域が前記28GHz以上の周波数帯域でない場合、
前記リソース割当部は、前記センシングに用いる周波数帯域とは異なる周波数帯域を、前記センシングに割り当てる、
請求項5又は6のいずれか一項に記載の無線センシングシステム。
【請求項8】
所定の時間間隔で前記センシングを行い、
前記所定の時間内に前記センシングが終了しない場合、次のセンシングの開始時刻を延期する、請求項1乃至6のいずれか一項に記載の無線センシングシステム。
【請求項9】
無線通信に用いる電波によりオブジェクトの存在、位置、又は動作をセンシングし、機器と通信をする無線センシング装置であって、
センシングを実行する前に、前記機器からのデータ通信要求に基づいて、データ通信と前記センシングとに使用する無線リソースを割り当てるリソース割当部を有する、
無線センシング装置。
【請求項10】
無線通信に用いる電波によりオブジェクトの存在、位置、又は動作をセンシングし、機器と通信をする無線センシング装置が、
センシングを実行する前に、前記機器からのデータ通信要求に基づいて、データ通信と前記センシングとに使用する無線リソースを割り当てる、リソース割当方法。
【請求項11】
無線通信に用いる電波によりオブジェクトの存在、位置、又は動作をセンシングし、機器と通信をする無線センシング装置に、
センシングを実行する前に、前記機器からのデータ通信要求に基づいて、データ通信と前記センシングとに使用する無線リソースを割り当てさせる、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、無線センシング装置、無線センシングシステム、リソース割当方法、及びプログラムに関する。
【背景技術】
【0002】
人の接近を検知して、接近した人に所定のサービスを提供する情報処理システムがある。例えば、所定の範囲に存在する人物を追跡して当該人物が接近している場合に、自己の機器の状態を判定し、判定結果に応じて他の画像処理装置に誘導要求を行う画像処理装置が知られている(例えば、特許文献1参照)。
【0003】
また、無線LAN(Local Area Network)通信で電波の状態を示すCSI(Channel State Information)を取得し、CSIから抽出した特徴量に基づいて物体の移動方向を検知する無線通信システムが知られている(例えば、特許文献2参照)。
【発明の概要】
【発明が解決しようとする課題】
【0004】
無線通信では、複数の周波数帯域が使用されている。例えば、無線LAN通信では、2.4GHz帯、5GHz帯、及び60GHz帯等が使用されている。このような複数の周波数帯域を使用して、データ通信と、オブジェクトの存在、位置、又は動作等をセンシングする無線センシングとを行いたいという要求がある。
【0005】
しかし、無線LAN通信等の主な目的はデータ通信であり、データ通信を無線センシングにより阻害することは望ましくない。
【0006】
本発明の一実施形態は、上記の問題点に鑑みてなされたものであって、無線通信に用いる電波によりオブジェクトをセンシングする無線センシングシステムにおいて、通信環境に応じて、無線センシングに無線リソースを適切に配分できるようにする。
【課題を解決するための手段】
【0007】
上記の課題を解決するため、本発明の一実施形態に係る無線センシングシステムは、無線通信に用いる電波によりオブジェクトの存在、位置、又は動作をセンシングし、機器と通信をする無線センシングシステムであって、センシングを実行する前に、前記機器からのデータ通信要求に基づいて、データ通信と前記センシングとに使用する無線リソースを割り当てるリソース割当部を有する。
【発明の効果】
【0008】
本発明の一実施形態によれば、無線通信に用いる電波によりオブジェクトをセンシングする無線センシングシステムにおいて、通信環境に応じて、無線センシングに無線リソースを適切に配分できるようになる。
【図面の簡単な説明】
【0009】
図1】一実施形態に係る無線センシングシステムのシステム構成の例を示す図である。
図2】一実施形態に係るコンピュータのハードウェア構成の例を示す図である。
図3】一実施形態に係る無線装置、及び機器のハードウェア構成の例を示す図である。
図4】一実施形態に係る無線センシングシステムの機能構成の例を示す図である。
図5】一実施形態に係る無線センシングシステムが管理する管理情報のイメージを示す図(1)である。
図6】一実施形態に係る無線センシングシステムが管理する管理情報のイメージを示す図(2)である。
図7】一実施形態に係る位置検知処理の例を示すフローチャートである。
図8】一実施形態に係る初期状態の設定処理の例を示すフローチャートである。
図9】一実施形態に係る登録オブジェクトの更新処理の例を示すフローチャートである。
図10】一実施形態に係る登録オブジェクトリストの書換処理の例を示すフローチャート(1)である。
図11】一実施形態に係る登録オブジェクトリストの書換処理の例を示すフローチャート(2)である。
図12】一実施形態に係る機械学習処理の例を示すフローチャートである。
図13】一実施形態に係る機械学習後の処理の例を示すフローチャートである。
図14】第1の実施形態に係る無線リソースの割当処理の例を示すフローチャートである。
図15】第2の実施形態に係る無線リソースの割当処理の例を示すフローチャートである。
図16】第2の実施形態に係る無線リソース割当のイメージを示す図である。
【発明を実施するための形態】
【0010】
以下に、本発明の実施の形態について、添付の図面を参照して説明する。
【0011】
<システム構成>
図1は、一実施形態に係る無線センシングシステムのシステム構成の例を示す図である。無線センシングシステム1は、例えば、管理対象エリア100に設置された無線装置110、及び1つ以上の機器120a、120b、・・・と、無線装置110と通信ネットワーク2を介して通信可能な情報処理装置10とを含む。なお、以下の説明において、1つ以上の機器120a、120b、・・・のうち、任意の機器を示す場合、「機器120」を用いる。
【0012】
無線装置110は、複数のアンテナ111を有し、MIMO(Multi Input Multi Output)、及び位相制御によるビームフォーミングが可能な無線センシングデバイスである。図1の例では、無線装置110は、無線LAN(Local Area Network)通信のアクセスポイントの機能を有し、無線LAN通信で機器120と通信可能である。ただし、これに限られず、無線装置110は、移動体通信での用いる無線基地局の機能を有していてもよい。
【0013】
管理対象エリア100は、一例として会議室であり、例えば、画像形成装置、プロジェクタ、又は電子黒板等の機器120が設置されている。別の一例として、管理対象エリア100は、店舗であり、例えば、画像形成装置、又はデジタルサーネージ等の機器120が設置されている。なお、管理対象エリア100は、会議室、及び店舗以外のエリアであってもよい。
【0014】
機器120は、例えば、無線LAN通信のステーションの機能を有し、無線装置110が提供する無線LANネットワークに接続し、インターネット、又はLAN等の通信ネットワーク2を介して、情報処理装置10と通信可能である。ただし、これに限られず、機器120は、無線装置110を介さずに、有線LAN等によって通信ネットワーク2に接続する機能を有していてもよい。
【0015】
情報処理装置(無線センシング装置)10は、コンピュータの構成を有する情報処理装置、又は複数のコンピュータを含むシステムである。情報処理装置10は、所定のプログラムを実行することにより、無線装置110が送信する電波の状態に基づいて、管理対象エリア100内のオブジェクト(例えば、機器120を利用する人物20等)の存在、位置、又は動作(行動)などをセンシングする処理を実行する。
【0016】
無線装置110が情報処理装置10に送信する電波の状態には、例えば、無線LAN通信で取得するCSI(Channel State Information)が含まれる。CSIは、無線通信の物理層で抽出される送受信機間の伝搬路の状態を表す情報である。CSIは、例えば、送信された電波の伝搬損失、反射、又は回折等のマルチパスによる振幅変化、及び位相変化を表わす。
【0017】
具体的には、複数のサブキャリアを使って通信を行い、i番目のサブキャリアで得られるMt次元の送信ベクトルをXi、i番目のサブキャリアで得られるMr次元の受信ベクトルをYi、Mr次元のノイズベクトルをNiとしたとき、
Yi=Hi Xi+Ni …(式1)
で表されるMt×Mr次元の行列Hiがi番目のサブキャリアで得られる行列である。Hiの各要素をhmnとすると、hmnはm番目の受信アンテナとn番目の受信アンテナ間における伝搬路のCSIの値である。
【0018】
なお、CSIは、無線装置110が情報処理装置10に送信する電波の状態の一例である。無線装置110は、例えば、レーダー機能をさらに有し、CSIに加えて(又は代えて)、レーダー反射値を電波の状態として、情報処理装置10に送信してもよい。
【0019】
上記の構成により、無線センシングシステム1は、無線装置110が情報処理装置10に送信する電波の状態に基づいて、例えば、機器120を操作する人物20等のオブジェクトの存在、位置、又は動作(行動)等をセンシングする無線センシングを行う。
【0020】
なお、図1に示した無線センシングシステム1のシステム構成は一例である。例えば、情報処理装置10は、管理対象エリア100内に設けられていてもよい。また、情報処理装置10の機能は、例えば、無線装置110、又は機器120が有していてもよいし、情報処理装置10と無線装置110と機器120とに分散して設けられていてもよい。
【0021】
<ハードウェア構成>
続いて、無線センシングシステム1に含まれる各装置のハードウェア構成の例について説明する。
【0022】
(情報処理装置のハードウェア構成)
情報処理装置10は、例えば、図2に示すようなコンピュータ200のハードウェア構成を有している。或いは、情報処理装置10は、複数のコンピュータ200によって構成される。
【0023】
図2は、一実施形態に係るコンピュータのハードウェア構成の例を示す図である。コンピュータ200は、例えば、CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203、HD(Hard Disk)204、HDD(Hard Disk Drive)コントローラ205、ディスプレイ206、外部機器接続I/F(Interface)207、ネットワークI/F208、キーボード209、ポインティングデバイス210、DVD-RW(Digital Versatile Disk Rewritable)ドライブ212、メディアI/F214、及びバスライン215等を備えている。
【0024】
これらのうち、CPU201は、コンピュータ200の全体の動作を制御する。ROM202は、例えば、IPL等のCPU201の起動に用いられるプログラムを記憶する。RAM203は、CPU201のワークエリア等として使用される。HD204は、プログラム等の各種データを記憶する。HDDコントローラ205は、CPU201の制御に従ってHD204に対する各種データの読み出し又は書き込みを制御する。
【0025】
ディスプレイ206は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種の情報を表示する。外部機器接続I/F207は、各種の外部機器を接続するためのインタフェースである。ネットワークI/F208は、通信ネットワーク2を利用してデータ通信をするためのインタフェースである。
【0026】
キーボード209は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス210は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。DVD-RWドライブ212は、着脱可能な記録媒体の一例としてのDVD-RW211に対する各種データの読み出し又は書き込みを制御する。なお、DVD-RW211は、DVD-RWに限らず、他の記録媒体であっても良い。メディアI/F214は、フラッシュメモリ等のメディア213に対するデータの読み出し又は書き込み(記憶)を制御する。バスライン215は、上記の各構成要素を電気的に接続するためのアドレスバス、データバス及び各種の制御信号等を含む。
【0027】
(無線装置のハードウェア構成)
図3(A)は、一実施形態に係る無線装置のハードウェア構成の例を示している。無線装置110は、一例として、CPU301、メモリ302、ストレージデバイス303、ネットワークI/F304、及び1つ以上の無線通信装置305、及びバス306を有する。
【0028】
CPU301は、例えば、ストレージデバイス303等に格納されたプログラムやデータをメモリ302上に読み出し、処理を実行することで、無線装置110の各機能を実現する演算装置(プロセッサ)である。メモリ302には、例えば、CPU301のワークエリア等として用いられるRAM、及び無線装置110の起動用のプログラム等を記憶するROM等が含まれる。ストレージデバイス303は、OS(Operating System)、アプリケーション、及び各種のデータ等を記憶する不揮発性の大容量の記憶装置であり、例えば、SSD(Solid State Drive)、又はHDD等によって実現される。
【0029】
ネットワークI/F304は、通信ネットワーク2を利用して、情報処理装置10等と通信するためのインタフェースである。1つ以上の無線通信装置305は、例えば、無線LAN通信、又は無線WAN(Wide Area Network)通信を行い、CSIを取得する無線回路、アンテナ、及び通信制御デバイス等を含む。バス306は、上記の各構成要素に共通に接続され、例えば、アドレス信号、データ信号、及び各種の制御信号等を伝送する。
【0030】
(機器のハードウェア構成)
図3(B)は、一実施形態に係る機器のハードウェア構成の一例を示している。図3(B)の例では、機器120が、複写機、プリンタ、又は複合機等の画像形成装置である場合のハードウェア構成の例を示している。
【0031】
機器120は、一例として、CPU311、メモリ312、ストレージデバイス313、ネットワークI/F314、1つ以上の無線通信装置315、操作パネル316、画像形成デバイス317、及びバス318を有する。なお、CPU311、メモリ312、ストレージデバイス313、ネットワークI/F314及びバス318は、図3(A)で説明したCPU301、メモリ302、ストレージデバイス303、ネットワークI/F304及びバス306と同様なので説明を省略する。
【0032】
1つ以上の無線通信装置315は、無線装置110が備える1つ以上の無線通信装置305と同じ無線通信方式の無線回路、アンテナ、及び通信制御デバイス等を含む。操作パネル316は、操作画面等を表示するディスプレイと、操作画面等に対する操作を受け付けるタッチパネル、又は操作ボタン等を含む。画像形成デバイス317は、例えば、印刷を行うプリンタエンジン、又はスキャンを行うスキャンエンジン等の画像形成用のデバイスを含む。
【0033】
なお、図3(B)に示した機器120のハードウェア構成は一例である。例えば、機器120が画像形成装置以外の機器である場合、機器120は、画像形成デバイス317を有していなくてもよい。
【0034】
<機能構成>
続いて、本実施形態に係る無線センシングシステムの機能構成について説明する。図4は、一実施形態に係る無線センシングシステムの機能構成の例を示す図である。なお、図4において、機器120bは、機器120aと同じ機能構成を有しているものとする。
【0035】
(情報処理装置の機能構成)
情報処理装置10は、例えば、CPU201が所定のプログラムを実行することにより、通信部401、電波状態取得部402、機械学習部403、通知部404、情報管理部405、記憶部406、及びリソース割当部409等の機能構成を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであってもよい。
【0036】
通信部401は、例えば、ネットワークI/F208を用いて、情報処理装置10を通信ネットワーク2に接続し、無線装置110、及び機器120等と通信する。例えば、通信部401は、機器120から所定の事象を検知したことを示す情報を受信する受信処理を実行する。
【0037】
電波状態取得部402は、通信部401を介して、無線装置110から、管理対象エリア100内の電波の状態を取得する電波状態取得処理を実行する。例えば、電波状態取得部402は、無線装置110から、無線LAN通信等で取得したCSI(電波の状態の一例)を取得する。なお、電波状態取得部402は、無線装置110から、CSIに代えて(又は加えて)、レーダー反射値(電波の状態の別の一例)を取得してもよい。
【0038】
機械学習部403は、例えば、機器120を操作する人物20の行動を推定する機械学習モデル407を、記憶部406等に記憶している。また、機械学習部403は、例えば、機器120の422が所定の事象を検知したことを教師データとして、所定の事象の前の所定の期間の電波の状態を、機械学習モデル407に学習させる機械学習処理を実行する。
【0039】
また、機械学習部403は、電波状態取得部402が取得した電波の状態(例えばCSI)を入力データとして、学習済の機械学習モデル407に入力して、機器120で所定の事象が発生したか否かを判断する。
【0040】
通知部404は、機械学習部403が、機器120で所定の事象が発生したと判断した場合、所定の事象が発生したことを、通信部401を介して機器120に通知する通知処理を実行する。
【0041】
情報管理部405は、後述する登録機器リスト501、検知オブジェクトリスト502、登録オブジェクトリスト503、CSI初期状態リスト601、及びCSI履歴リスト602等の管理情報408を、記憶部406等に記憶して管理する。なお、情報管理部405は、CSI初期状態リスト601、及びCSI履歴リスト602に加えて(又は代えて)、レーダー反射値初期状態リスト603、及びレーダー反射値履歴リスト604等を管理してもよい。
【0042】
記憶部406は、例えば、CPU201が実行するプログラム、HD204、HDDコントローラ205、及びRAM203等によって実現され、機械学習モデル407、及び管理情報408を含む様々な情報、データ、及びプログラム等を記憶する。
【0043】
リソース割当部409は、例えば、機器120からのデータ通信要求に基づいて、データ通信とセンシングとに使用する無線リソースを割り当てるリソース割当処理を実行する。なお、リソース割当処理については後述する。
【0044】
(無線装置の機能構成)
無線装置110は、例えば、CPU301が所定のプログラムを実行することにより、通信部411、無線通信部412、電波状態送信部413、及びリソース割当部414等の機能構成を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであってもよい。
【0045】
通信部411は、例えば、ネットワークI/F304を用いて、無線装置110を通信ネットワーク2に接続し、情報処理装置10等と通信する。
【0046】
無線通信部412は、無線通信装置305を、例えば、無線LAN通信のアクセスポイントとして機能させ、情報処理装置10と機器120との間の通信を中継する。
【0047】
電波状態送信部413は、例えば、無線通信装置305を用いて、管理対象エリア100内のCSI(電波の状態の一例)を取得し、取得したCSIを、通信部411を介して情報処理装置10に送信する。また、電波状態送信部413は、CSIに加えて(又は代えて)、レーダー反射値(電波の状態の別の一例)を、通信部411を介して情報処理装置10に送信してもよい。
【0048】
リソース割当部414は、例えば、機器120からのデータ通信要求に基づいて、データ通信とセンシングとに使用する無線リソースを割り当てるリソース割当処理を実行する。なお、リソース割当処理は、情報処理装置10のリソース割当部409が実行してもよいし、無線装置110のリソース割当部414が実行してもよい。また、リソース割当処理は、リソース割当部409と、リソース割当部414とが協働して実行してもよい。なお、リソース割当処理については後述する。
【0049】
(機器の機能構成)
機器120は、例えば、CPU311が所定のプログラムを実行することにより、無線通信部421、機器制御部422、及び検知部423等の機能構成を実現している。なお、上記の各機能構成のうち、少なくとも一部は、ハードウェアによって実現されるものであってもよい。
【0050】
無線通信部421は、無線通信装置315を、例えば、無線LAN通信のステーションとして機能させ、無線装置110を介して、情報処理装置10と通信する。
【0051】
機器制御部422は、一例として、操作パネル316、及び画像形成デバイス317等を制御して、機器120を画像形成装置として機能させる。例えば、機器制御部422は、操作パネル316に、操作画面を表示し、操作画面に対する人物20の操作に従って、コピー、印刷、又はスキャン等の画像形成処理を実行する。なお、機器制御部422は、機器120がプロジェクタである場合は、機器120をプロジェクタとして機能させ、機器120が電子黒板である場合は、機器120を電子黒板として機能させる。
【0052】
検知部423は、機器120における所定の事象を検知し、所定の事象を検知した場合、所定の事象が発生したことを、無線通信部421等を介して情報処理装置10に通知する。具体的な一例として。検知部423は、機器120の操作に戸惑うユーザ、又はユーザの試行錯誤等を所定の事象として検知する。
【0053】
<管理情報の例>
続いて、情報管理部405が管理する管理情報408の例について説明する。図5、6は、一実施形態に係る無線センシングシステムが管理する管理情報のイメージを示す図である。
【0054】
(登録機器リスト)
図5(A)は、情報管理部405が管理する登録機器リスト501のイメージを示している。登録機器リスト501は、管理対象エリア100内にある機器120a、120b、・・・等の情報を管理するリストである。図5(A)の例では、登録機器リスト501は、項目として、「機器ID」、「宛先情報」、及び「属性」等の情報を含む。
【0055】
機器IDは、機器120を識別する識別情報である。「宛先情報」は、情報処理装置10が、機器120と通信するための宛先情報(アドレス情報等)である。「属性」は、機器120に付随する情報であって、機器120の管理に必要な、機器120の位置(3次元座標)、及び状態(例えば、電源オンオフ、動作モード、認証要否等)の情報である。
【0056】
(検知オブジェクトリスト)
図5(B)は、情報管理部405が管理する検知オブジェクトリスト502のイメージを示している。検知オブジェクトリスト502は、管理対象エリア100内に存在するオブジェクト(人物20等)を把握し、登録オブジェクトリスト503を更新するために用いる一時的なリストである。図5(B)の例では、検知オブジェクトリスト502には、項目として、「検知ID」、「属性」等の情報が含まれる。「検知ID」は検知されたオブジェクトを識別する識別情報である。「属性」「は、検知されたオブジェクトに付随する情報であって、オブジェクトの管理に必要な、オブジェクトの位置(3次元座標)、及び検知された時刻等の情報である。
【0057】
(登録オブジェクトリスト)
図5(C)は、情報管理部405が管理する登録オブジェクトリスト503のイメージを示している。登録オブジェクトリスト503は、管理対象エリア100内に存在するオブジェクト(人物20等)の情報を管理するリストである。図5(C)の例では、登録オブジェクトリスト503には、項目として、「登録ID」、「存在フラグ」、「属性」等の情報が含まれる。「登録ID」は、オブジェクトを識別する識別情報である。「存在フラグ」は、各オブジェクトが管理対象エリア100内に存在する(1)か、存在しない(0)か、を示すフラグ情報である。「属性」は、登録されたオブジェクトに付随する情報であって、管理に必要な、オブジェクトの位置(3次元座標)、及び位置が確認された時刻等の情報である。
【0058】
(CSI初期状態リスト)
図6(A)は、情報管理部405が管理するCSI初期状態リスト601のイメージを示している。CSI初期状態リスト601は、管理対象エリア100内において、公知のビームフォーミングを用いた空間的なスキャンにより、スキャン方向ごとに得られる初期状態のCSIを記憶するリストである。
【0059】
(CSI履歴リスト)
図6(B)は、情報管理部405が管理するCSI履歴リスト602のイメージを示している。CSI履歴リスト602は、公知のビームフォーミングを用いた空間的なスキャンにより、無線装置110が所定の時間ごとに取得した、スキャン方向ごとのCSIの値の履歴を記憶したリストである。
【0060】
(レーダー反射値初期状態リスト)
図6(C)は、情報管理部405が管理するレーダー反射値初期状態リスト603のイメージを示している。無線装置110は、ミリ波以上の周波数帯で無線センシングを行う場合、オブジェクトに電波を当てて反射波で物体の位置を識別するレーダー方式のセンシングが可能である。レーダー反射値初期状態リストは、レーダー方式のセンシングでスキャン方向ごとに得られる初期状態のレーダー反射値を記憶したリストである。
【0061】
(レーダー反射値履歴リスト)
図6(D)は、情報管理部405が管理するレーダー反射値履歴リスト604のイメージを示している。レーダー反射値履歴リスト604は、レーダー方式のセンシングで、無線装置110が所定の時間ごとに取得した、スキャン方向ごとのレーダー反射値の履歴を記憶したリストである。
【0062】
<位置検知処理の流れ>
続いて、無線センシングシステム1が、管理対象エリア100内において、人物20等のオブジェクトの位置を検知し、追尾する位置検知処理の流れについて説明する。
【0063】
(位置検知処理)
図7は、一実施形態に係る位置検知処理の例を示すフローチャートである。この処理は、無線センシングシステム1が繰り返し実行する位置検知処理の全体の流れを示している。
【0064】
ステップS701において、情報管理部405は、初期状態の設定処理を実行する初期状態の設定時刻であるか否かを判断する。初期状態の設定処理は、管理対象エリア100内に来訪者、又は一時的なデバイス等が存在しない初期状態(基準となる状態)を設定する処理である。
【0065】
例えば、管理対象エリア100が無人店舗であれば、開店前の無人状態で電波の状態を初期状態として設定する。初期状態は、頻繁に変動するものではないと想定されるが、例えば、店舗への新たな機器の導入、又は商品棚の移動等により、初期状態が変動する。また、管理対象エリア100が工場である場合、例えば、ラインの組み替え等により、初期状態が変動する。従って、定期的(例えば、1日2回等)に初期状態の設定を行うことが望ましい。
【0066】
初期状態の設定時刻である場合、情報管理部405は、処理をステップS702に移行させる。一方、初期状態の設定時刻でない場合、情報管理部405は、処理をステップS702に移行させる。
【0067】
ステップS702に移行すると、情報管理部405は、初期状態の設定処理を実行する。例えば、情報管理部405は、図8で後述する初期状態の設定処理を実行する。
【0068】
ステップS703に移行すると、情報管理部405は、例えば、図9~11で後述する登録オブジェクトの更新処理を実行する。
【0069】
(初期状態の設定処理1)
図8(A)は、一実施形態に係る初期状態の設定処理の一例を示すフローチャートである。この処理は、図7のステップS702で情報管理部405が実行する処理の一例を示している。
【0070】
ステップS801において、情報管理部405は、例えば、図6(B)に示すようなCSI履歴リスト602から、センシング方向ごとの最頻出のCSIを特定する。
【0071】
ステップS802において、情報管理部405は、センシング方向ごとに、最頻出のCSIを初期状態として設定する。例えば、管理対象エリア100が店舗である場合、客がいない時間、及び閉店時間等、各センシング方向において、人がいない時間が最も長いと考えられるので、最頻出のCSIを初期状態(基準となる状態)に設定する。
【0072】
ステップS803において、情報管理部405は、例えば、図6(A)に示すようなCSI初期状態リスト601を、センシング方向ごとの最頻出のCSIで更新する。
【0073】
図8(A)の処理により、情報管理部405は、図6(A)に示すようなCSI初期状態リスト601を定期的に更新することができる。
【0074】
なお、情報管理部405は、図8(A)の処理に加えて(又は代えて)、図8(B)に示す初期状態の設定処理2を実行してもよい。
【0075】
(初期状態の設定処理2)
図8(B)は、一実施形態に係る初期状態の設定処理の別の一例を示すフローチャートである。この処理は、図7のステップS702で情報管理部405が実行する処理の別の一例を示している。
【0076】
ステップS811において、情報管理部405は、例えば、図6(D)に示すようなレーダー反射値履歴リスト604から、センシング方向ごとの最頻出のレーダー反射値を特定する。
【0077】
ステップS812において、情報管理部405は、センシング方向ごとに、最頻出のレーダー反射値を初期状態として設定する。
【0078】
ステップS813において、情報管理部405は、例えば、図6(C)に示すようなレーダー反射値初期状態リスト603を、センシング方向ごとの最頻出のレーダー反射値で更新する。
【0079】
図8(B)の処理により、情報管理部405は、図6(C)に示すようなレーダー反射値初期状態リスト603を定期的に更新することができる。
【0080】
なお、例えば、図6(A)に示すような、CSI初期状態リスト601が得られる場合、図8(B)の処理は省略してもよい(省略しなくてもよい)。一方、例えば、ミリ波帯でCSIを取得したいが、機器120がミリ波帯に対応していないような場合、無線センシングシステム1は、図6(C)に示すようなレーダー反射値初期状態リスト603を作成して、レーダー反射値による無線センシングを実行してもよい。また、ミリ波帯に対応している機器120が少ない場合、無線センシングシステム1は、図6(A)に示すようなCSI初期状態リスト601と、図6(C)に示すようなレーダー反射値初期状態リスト603とを併用して、無線センシングを実行してもよい。さらに、無線センシングシステム1は、図6(A)に示すようなCSI初期状態リスト601と、図6(C)に示すようなレーダー反射値初期状態リスト603とを常に併用して、無線センシングを実行してもよい。
【0081】
(登録オブジェクトの更新処理)
図9(A)は、一実施形態に係る登録オブジェクトの更新処理の例を示すフローチャートである。この処理は、例えば、図7のステップS703において、無線センシングシステム1が実行する登録オブジェクトの更新処理の全体の流れを示している。
【0082】
ステップS901において、情報管理部405は、検知オブジェクトリストの作成処理を実行する。例えば、情報管理部405は、図9(B)で後述する検知オブジェクトリストの作成処理を実行する。
【0083】
ステップS902において、情報管理部405は、登録オブジェクトリストの書換処理を実行する。例えば、情報管理部405は、図10、11で後述する登録オブジェクトリストの書換処理を実行する。
【0084】
(検知オブジェクトリストの作成処理)
図9(B)は、検知オブジェクトリストの作成処理の例を示すフローチャートである。この処理は、例えば、図9(A)のステップS901において、情報管理部405が実行する処理の例を示している。
【0085】
ステップS911において、情報管理部405は、検知オブジェクトリスト502をクリアする。例えば、情報管理部405は、図5(B)に示すような検知オブジェクトリスト502に含まれるデータを消去する。
【0086】
ステップS912において、情報管理部405は、無線装置110に指示を出し、管理対象エリア100をスキャンする。ここで、スキャンとは、予め定めた方向ごとにCSI(又はレーダー反射値)を取得することである。予め定めた方向は、例えば、CSI初期状態リスト601(又はレーダー反射値初期状態リスト603)の方向0001、方向0002、・・・に対応している。
【0087】
方向ごとにスキャンする方法は公知のビームフォーミングで行なう。ビームフォーミングは、無線装置110から電波を送信する際に、複数のアンテナ111間で送信波の位相を変化させることにより干渉状態を変化させ、電波の強度(振幅)を角度ごとに制御する技術である。
【0088】
ステップS913において、情報管理部405は、検知時刻TにおけるCSI(又はレーダー反射値)が、初期状態と異なる方向をオブジェクト存在領域として抽出し、検知IDを付与する。例えば、情報管理部405は、検知時刻TにおけるCSIの振幅値、及び位相値が、CSI初期状態リストの最大値と最小値の間に含まれない場合、初期状態と異なると判断してもよい。
【0089】
ステップS914において、情報管理部405は、ステップS913で付与した検知IDと、オブジェクトの位置を、図5(B)に示すような検知オブジェクトリスト502に登録する。なお、オブジェクトの位置は、3次元座標上の位置である。情報管理部405は、例えば、スキャンの方向と、レーダー反射波が無線装置110に届くまでの時間等から算出したオブジェクトまでの距離とから、オブジェクトの位置を算出してもよい。或いは、情報管理部405は、CSIを機械学習することにより、オブジェクトまでの距離を推定するもの等であってもよい。
【0090】
ステップS915において、情報管理部405は、検知時刻TにおけるCSI(又はレーダー反射値)を、CSI履歴リスト602(又はレーダー反射値履歴リスト604)に登録する。
【0091】
図9(B)の処理により、無線センシングシステム1は、管理対象エリア100内に存在するオブジェクトを検知し、検知オブジェクトリスト502に登録することができる。
【0092】
(登録オブジェクトの書換処理)
図10、11は、一実施形態に係る登録オブジェクトリストの書換処理の例を示すフローチャートである。この処理は、例えば、図9(A)のステップS902において、情報管理部405が実行する処理の例を示している。
【0093】
ステップS1001において、情報管理部405は、検知オブジェクトリスト502を、RAM203等のメモリ上に読み出す。ここで、検知オブジェクトリスト502に登録されている検知IDの数をNとする。
【0094】
ステップS1002において、情報管理部405は、登録オブジェクトリスト503を、RAM203等のメモリ上に読み出す。ここで、登録オブジェクトリスト503に登録されている登録IDの数をMとする。
【0095】
ステップS1003において、情報管理部405は、変数nを「1」に初期化する。また、ステップS1004において、情報管理部405は、変数mを「1」に初期化する。
【0096】
ステップS1005において、情報管理部405は、図11(A)で後述する書換処理を実行する。
【0097】
ステップS1006において、情報管理部405は、m=Mであるか否かを判断する。m=Mでない場合、情報管理部405は、ステップS1007において、mに1を加算して、処理をステップS1004に戻す。一方、m=Mである場合、情報管理部405は、処理をステップS1008に移行させる。
【0098】
ステップS1008に移行すると、情報管理部405は、n=Nであるか否かを判断する。n=Nでない場合、情報管理部405は、ステップS1009において、nに1を加算して、処理をステップS1005に戻す。一方、n=Nである場合、情報管理部405は、処理をステップS1010に移行させる。
【0099】
上記の処理により、検知オブジェクトリスト502に含まれる各データと、登録オブジェクトリスト503に含まれる各データとに対して、総当たりでステップS1005の書換処理を実行することができる。
【0100】
ステップS1010に移行すると、情報管理部405は、図11(B)で後述する消去処理を実行する。
【0101】
(書換処理)
図11(A)は、書換処理の例を示すフローチャートである。この処理は、例えば、図10のステップS1005において、情報管理部405が実行する処理の例を示している。
【0102】
ステップS1101おいて、情報管理部405は、m番目の登録オブジェクトの存在フラグを「0」にセットする。
【0103】
ステップS1102において、情報管理部405は、m番目の登録オブジェクトと、n番目の検知オブジェクトとの間の距離Xを算出する。例えば、情報管理部405は、m番目の登録オブジェクトの位置と、n番目の検知オブジェクトの位置とから、距離Xを算出する。
【0104】
ステップS1103において、情報管理部405は、距離Xが閾値以下であるか否かを判断する。ここで、閾値は、m番目の登録オブジェクトと、n番目の検知オブジェクトが、同じオブジェクトであると判断するための値が、予め設定されているものとする。距離Xが閾値以下である場合、情報管理部405は、処理をステップS1104に移行させる。一方、距離Xが閾値以下でない場合、情報管理部405は、図11(A)の処理を終了する。
【0105】
ステップS1104に移行すると、情報管理部405は、m番目の登録オブジェクトの属性情報に、n番目の検知オブジェクトの位置と、時刻を追加(上書き)する。
【0106】
ステップS1105において、情報管理部405は、m番目の登録オブジェクトの存在フラグを「1」にセットする。
【0107】
図11(A)の処理により、情報管理部405は、m番目の登録オブジェクトと、n番目の検知オブジェクトとの間の距離Xが閾値以下である場合、同じオブジェクトと判断して、m番目の登録オブジェクトの属性を、n番目の検知オブジェクトの属性で更新する。
【0108】
(消去処理)
図11(B)は、消去処理の例を示すフローチャートである。この処理は、例えば、図10のステップS1010において、情報管理部405が実行する処理の例を示している。
【0109】
ステップS1111において、情報管理部405は、変数mを「1」に初期化する。
【0110】
ステップS1112において、情報管理部405は、m番目の登録オブジェクトの存在フラグが「0」であるか否かを判断する。m番目の登録オブジェクトの存在フラグが「0」である場合、情報管理部405は、処理をステップS113に移行させる。一方、m番目の登録オブジェクトの存在フラグが「0」でない場合、情報管理部405は、処理をステップS1114に移行させる。
【0111】
ステップS1113に移行すると、情報管理部405は、m番目の登録オブジェクトに関する情報を、登録オブジェクトリスト503から削除する。
【0112】
ステップS1114に移行すると、情報管理部405は、m=Mであるかを判断する。m=Mでない場合、情報管理部405は、ステップS1115において、mに1を加算して、処理をステップS1111に戻す。一方、m=Mである場合、情報管理部405は、図11(B)の処理を終了する。
【0113】
図11(B)の処理により、情報管理部405は、登録オブジェクトリスト503から、存在しないオブジェクトの情報を削除することができる。
【0114】
以上、図7~11で説明した位置検知処理により、無線センシングシステム1は、無線装置110を用いて、管理対象エリア100内のオブジェクトの位置を検知し、追尾することができる。
【0115】
<行動検知処理>
続いて、無線センシングシステム1が、管理対象エリア100内において、機器120を操作する人物20の行動を、電波を用いてセンシングする行動検知処理について説明する。
【0116】
(概要)
電波は、これまでも物体検知や距離測定に用いられてきたが、高い周波数になればなるほど高精度なセンシングが可能となる。例えば、60GHz以上の周波数になると、オブジェクトの形やジェスチャも検知対象に入ってくる。ジェスチャは、作業内容、身体的特徴、体を動かす癖等により多様なバリエーションがあり、これを電波の状態パターンとしてアルゴリズム化することは困難である。そこで行動センシングに関する先行研究の多くが、機械学習との組み合わせを有力視している。
【0117】
しかし、機器120を操作する人物20の行動は、例えば、作業内容、身体的特徴、又は体調等によって様々であり、電波の状態パターンに基づいて、人物の行動をセンシングできるように、機械学習モデルを学習することには困難を伴っていた。
【0118】
そこで、本実施形態では、機器120が検知したい人物20の行動を機器操作と紐づけ、所定の機器操作が行われた事実を正解データとして機器から情報処理装置10に通知することにより、機械学習を促進する。例えば、情報処理装置10は、所定の機器操作が行われた直前の電波の状態(例えば、CSI)を正解データとして機械学習モデルを学習する。
【0119】
<処理の流れ>
ここでは、一例として、無線センシングシステム1が、機器120の操作に戸惑う人物20の行動を検知するものとして以下の説明を行う。
【0120】
<機械学習処理>
(機器の処理)
図12(A)は、機械学習時の機器の処理の例を示すフローチャートである。
【0121】
ステップS1201において、機器120の機器制御部422が、人物20による機器120に対する操作を受け付けると、機器120は、ステップS1202以降の処理を実行する。
【0122】
ステップS1202において、機器120の検知部423は、受け付けた操作が、予め設定された所定の操作パターンと一致するか否かを判断する。
【0123】
例えば、機器120の操作に戸惑う人物20の行動を検知する場合、人物20による機器120の操作の試行錯誤を検知してもよい。この試行錯誤の発生は、機器120の操作を通じて検知することができる。例えば、人物20が、一度操作ボタンを選択した後に、元の画面に戻る操作を行った場合、最初の操作は誤操作であったと判断することができる。同様に、人物20が、一度実行した操作の設定条件を変えて再操作した場合は、最初の操作で誤設定したと判断することができる。本実施形態では、このような誤操作、又は試行錯誤のパターンを、機器120に予め設定しておく。
【0124】
所定の操作パターンと一致する場合、検知部423は、処理をステップS1203に移行させる。一方、所定の操作パターンと一致しない場合、検知部423は、図12(A)の処理を終了する。
【0125】
ステップS1203に移行すると、機器120の検知部423は所定の事象(例えば、機器120の操作の試行錯誤)を検知したことを、無線通信部421を介して、情報処理装置10に通知する。
【0126】
(情報処理装置の処理)
図12(B)は、機械学習時の情報処理装置の処理の例を示すフローチャートである。この処理は、図12(A)で説明した機器120の処理に対応する情報処理装置10の処理の例を示している。
【0127】
ステップS1211において、情報処理装置10の情報管理部405は、図9(B)で説明した検知オブジェクトリストの作成処理を実行して、CSI履歴リスト602を更新する。
【0128】
ステップS1212において、情報処理装置10の機械学習部403は、機器120が所定の事象(例えば、機器120の操作の試行錯誤)を検知したか否かを判断する。例えば、情報管理部405は、機器120から、所定の事象を検知したことを示す通知を受信したか否かを判断する。機器120が所定の事象を検知した場合、機械学習部403は、処理をステップS1213に移行させる。一方、機器120が所定の事象を検知していない場合、機械学習部403は、処理をステップS1211に戻す。
【0129】
ステップS1213に移行すると、機械学習部403は、機器120が所定の事象を検知したことを教師データとして、所定の事象の前の所定の期間のCSIを、機械学習モデル407に学習させる。例えば、機械学習部403は、CSI履歴リスト602から、機器120が所定の事象を検知した時刻の直前の所定の期間のCSIを取得し、取得したCSIに、所定の事象が発生した時刻等を付加した教師データを用いて、機械学習モデル407を機械学習する。
【0130】
ステップS1214において、機械学習部403は、所定の回数、機械学習したか否かを判断する。所定の回数、機械学習していない場合、機械学習部403は、処理をステップS1211に戻す。一方、所定の回数、機械学習した場合、機械学習部403は、図12(B)の処理を終了する。
【0131】
図12(B)の処理により、情報処理装置10は、学習済の機械学習モデル407を得ることができる。
【0132】
<機械学習後の処理>
図13(A)は、機械学習後の情報処理装置の処理の例を示すフローチャートである。なお、図13(A)の処理の開始時点において、情報処理装置10は、図12(A)、図12(B)の処理で学習済の機械学習モデル407を、記憶部406等に記憶しているものとする。
【0133】
ステップS1301において、情報処理装置10の情報管理部405は、図9(B)で説明した検知オブジェクトリストの作成処理を実行して、CSI履歴リスト602を更新する。
【0134】
ステップS1302において、情報処理装置10の機械学習部403は、更新した所定の期間のCSIを、学習済の機械学習モデル407に入力する。これにより、学習済の機械学習モデル407は、所定の事象が発生したか否かを示す判定(分類)結果を出力する。
【0135】
ステップS1303において、情報処理装置10の通知部404は、所定の事象が発生したか否かを判断する。例えば、通知部404は、学習済の機械学習モデル407が出力する判定結果により、所定の事象が発生したか否かを判断する。所定の事象が発生した場合、通知部404は、機器120で所定の事象が発生したことを示す通知を、通信部401を介して、機器120に通知する。
【0136】
情報処理装置10は、図13(A)の処理を繰り返し実行することにより、機器120で所定の事象が発生したことを検知することができる。
【0137】
(機器の処理)
図13(B)は、機械学習後の機器の処理の例を示すフローチャートである。この処理は、図13(A)で説明した情報処理装置の処理に対応する機器120の処理の例を示している。
【0138】
ステップS1311において、機器120は、情報処理装置10からの通知を受信すると、ステップS1312以降の処理を実行する。
【0139】
ステップS1312において、機器120の機器制御部422は、所定の事象が発生したか否かを判断する。例えば、機器制御部422は、情報処理装置10から受信した通知が、所定の事象が発生したことを示す通知である場合、所定の事象が発生したと判断する。所定の事象が発生した場合、機器制御部422は、処理をステップS1313に移行させる。一方、所定の事象が発生していない場合、機器制御部422は、図13(B)の処理を終了する。
【0140】
ステップS1313に移行すると、機器制御部422は、所定の事象に対応する処理を実行する。例えば、所定の事象が、機器120の操作に戸惑う人物20の行動である場合、機器制御部422は、操作パネル316に、操作マニュアルへ誘導する表示要素を表示する。また、機器120の機能のために用いる通信処理(例えばプリントデータの受信やスキャンデータの送信等の画像形成のための通信処理など)において、通信データ量が増大した場合(大容量のデータを送受信する場合)は、機器120の機能のために用いる通信処理を、高い周波数帯を用いて実行し、無線センシングは低い周波数帯を用いるように、元々使用していた周波数帯から、変更する処理を行ってもよい。また機器120の機能のために用いる通信処理の通信データ量が再び下がった場合には、元々使用していた周波数帯を用いるように戻すための変更処理を行ってもよい。
【0141】
このように、本実施形態よれば、電波の状態パターンに基づいて、機器120を操作する人物20の行動をセンシングできるように、機械学習モデルを学習することが容易になる。なお、機器120を操作する人物20の行動をセンシングする処理は、オブジェクトの状態をセンシングする処理の一例である。
【0142】
<無線リソースの割当処理>
(概要)
無線通信では、複数の周波数帯域が使用されている。本実施形態では、一例として、無線装置110が、2.4GHz帯、5GHz帯、及び60GHz帯の3つの周波数帯域に対応しているものとする。このような複数の周波数帯域を使用して、データ通信と、オブジェクトの存在、位置、又は動作等をセンシングする無線センシングとを行いたいという要求がある。
【0143】
しかし、無線LAN通信等の主な目的はデータ通信であり、データ通信を無線センシングにより阻害することは望ましくない。
【0144】
ここでは、無線通信に用いる電波によりオブジェクトの存在、位置、又は動作等をセンシングする無線センシングシステム1において、通信環境に応じて、無線センシングに無線リソースを適切に配分するリソース割当方法について説明する。
【0145】
[第1の実施形態]
図14は、第1の実施形態に係る無線リソースの割当処理の例を示すフローチャートである。この処理は、28GHz以上のミリ波又はテラ波でないとセンシングが難しい、人物20のジェスチャ等をセンシングする場合に、センシングに利用可能な複数の周波数帯域のうち、28GHz以上の周波数帯域帯をセンシングに優先的に割り当てる処理の例を示している。
【0146】
なお、この処理は、情報処理装置10のリソース割当部409が実行してもよいし、無線装置110のリソース割当部414が実行してもよい。ここでは、説明を容易にするため、情報処理装置10のリソース割当部409が、図14の処理を実行するものとして以下の説明を行う。
【0147】
ステップS1401において、リソース割当部409は、センシングに用いる周波数帯域の情報を取得する。例えば、リソース割当部409は、管理対象エリア100内にある機器120に、各機器120がセンシングに用いる周波数を問い合わせてもよい。なお、リソース割当部409は、この処理を、例えば、センシングを実行するセンシング予定時刻の所定時間前に開始する。
【0148】
ステップS1402において、リソース割当部409は、センシングと無線リソース(周波数帯、及び通信タイミング)が重複するデータ通信要求(又はデータ通信)があるか否かを判断する。センシングと無線リソースが重複するデータ通信要求がある場合、リソース割当部409は、処理をステップS1403に移行させる。一方、センシングと無線リソースが重複するデータ通信要求がない場合、リソース割当部409は、処理をステップS1407に移行させる。
【0149】
ステップS1403に移行すると、データ通信と無線リソースが重複しているセンシングが、60GHz帯のみを指定しているか否かを判断する。ここで、センシングが60GHz帯のみを指定している場合、当該センシングは、オブジェクトの状態(例えば、人物の20のジェスチャ等)をセンシングするものであると判断することができる。
【0150】
重複しているセンシングが60GHz帯のみを指定している場合、リソース割当部409は、処理をステップS1404に移行させる。一方、重複しているセンシングが60GHz帯のみを指定していない場合、リソース割当部409は、処理をステップS1405に移行させる。
【0151】
ステップS1404に移行すると、リソース割当部409は、60GHz帯の無線リソースをセンシング優先に割り当てる。例えば、リソース割当部409は、60GHz帯において、データ通信より多くの無線リソースを無線センシングに割り当てる。
【0152】
例えば、リソース割当部409は、以下のいずれかの方法で、60GHz帯の無線リソースをセンシング優先に設定する。
【0153】
第1の方法は、リソース割当部409が、データ通信要求を無視する。具体的にはデータ通信を要求した機器120に対して、CTS(Clear To Send)信号等の受諾情報を返信しない。この場合、機器120は通信がビジーと判断し、データ通信を待機するため、60GHz帯の無線リソースを消費しない。
【0154】
第2の方法は、リソース割当部409が、データ通信要求をした機器120との通信に用いる周波数を60GHz帯以外の周波数帯に切り替える。例えば、リソース割当部409は、周波数帯の切替え後にCTS信号等の受諾信号を送り、機器120は、切替え後の60GHz帯以外の周波数帯で、無線装置110にデータを送信する。
【0155】
第3の方法は、リソース割当部409が、60GHz帯でのデータ通信を受諾するが、そのデータ通信に割り当てるリソースの比率を低く設定する方法である。例えば、リソース割当部409は、60GHz帯に含まれる複数のサブバンドのうち、例えば、5%~20%程度、好ましくは10%程度をデータ通信に割り当ててもよい。
【0156】
或いは、リソース割当部409が、60GHz帯での通信時間のうち、例えば、5%~20%程度、好ましくは10%程度をデータ通信に割り当ててもよい。通信時間を分割する時分割方式の場合、ビームフォーミングでのスキャン中にデータ通信に割かれる時間帯が発生するので、無線装置110は、その時間帯ではビームフォーミングによるスキャンを一時停止し、データ通信終了後にスキャンを再開するよう設定する。
【0157】
この場合、データ通信量が多いときは、センシングに割り当てるリソースを少なくせざるを得なくなり、センシングが、センシングを繰り返し実行する所定の時間間隔(例えば3秒)で終了しないこともあり得る。しかしデータ通信量が多いときは、その場にいる人々がウェブ検索や通話等を行なっていてあまり移動していない場合が多いので、センシング時間が3秒以上かかる事を許容する。なお、無線装置110は、所定の時間内にセンシングが完了しない場合、次のセンシングの開始時刻を延期する。
【0158】
ステップS1405において、リソース割当部409は、データ通信と無線リソースが重複しているセンシングに使用する周波数帯域を、データ通信要求がない周波数帯に変更する。例えば、リソース割当部409は、5GHz帯でデータ通信要求があった場合、センシングに使用する周波数帯域を、5GHz帯以外の2.4GHz帯、又は60GHz帯に設定する。
【0159】
ステップS1407に移行すると、情報処理装置10は、予定時刻に、無線装置110を用いてセンシングを実行する。例えば、無線センシングシステム1は、図9(B)に示すような、検知オブジェクトリストの作成処理を実行する。
【0160】
無線センシングシステム1は、図14の処理を所定の時間間隔(例えば、1~5秒間隔、好ましくは2~3秒間隔)で繰り返し実行する。これにより、無線センシングシステム1は、例えば、センシングを実行する度に、データ通信要求に応じて、センシングに無線リソースを割り当てる。
【0161】
以上、第1の実施形態によれば、無線通信に用いる電波によりオブジェクトをセンシングする無線センシングシステム1において、通信環境に応じて、無線センシングに無線リソースを適切に配分できるようになる。
【0162】
[第2の実施形態]
例えば、機器120が要求するセンシングが、機器120の近くに人物20がいるか否かと言うセンシング(人感センサの代替手段)であれば、2.4GHz帯、5GHz帯、又は60GHz帯を用いたCSI解析により、センシングを行うことができる。この場合、60GHz帯を用いたレーダー反射値によるセンシングを行うこともできる。
【0163】
一方、人のジェスチャ等をセンシングしたい場合は、60GHz帯を用いたCSI解析を使わないとセンシングが難しいため、センシングを実施する時間帯においては60GHz帯はセンシング専用、又はセンシング優先とする事が望ましい。
【0164】
図5は、第2の実施形態に係る無線リソースの割当処理の例を示すフローチャートである。この処理は、28GHz以上のミリ波、又はテラ波でないとセンシングが難しい、人物20のジェスチャ等のオブジェクトの状態をセンシングする場合に、60GHz帯をセンシングに優先的に割り当てる処理の例を示している。
【0165】
なお、この処理は、情報処理装置10のリソース割当部409が実行してもよいし、無線装置110のリソース割当部414が実行してもよい。ここでは、説明を容易にするため、情報処理装置10のリソース割当部409が、図14の処理を実行するものとして以下の説明を行う。
【0166】
ステップS1501において、リソース割当部409は、60GHz帯にデータ通信要求(又はデータ通信)があるか否かを判断する。60GHz帯にデータ通信要求がない場合、リソース割当部409は、処理をステップS1502に移行させる。一方、60GHz帯にデータ通信要求がある場合、リソース割当部409は、処理をステップS1503に移行させる。
【0167】
ステップS1502に移行すると、リソース割当部409は、例えば、図16(A)に示すように、60GHz帯をセンシング用に割り当てる。図16(A)の例では、60GHz帯、5GHz帯、2.4GHz帯の3つの周波数帯域のうち、より精度の高いセンシングが可能な28GHz以上の周波数帯である60GHz帯を、センシング用の無線リソース1601に割り当てている。
【0168】
ステップS1503に移行すると、リソース割当部409は、60GHz帯において、データ通信より多くの無線リソースをセンシング用に割り当てる。例えば、リソース割当部409は、60GHz帯に含まれる複数のサブキャリアのうち、センシングに割り当てるサブキャリアの割合を高くしてもよい。或いは、リソース割当部409は、例えば、図16(B)に示すように、60GHz帯の使用時間のうち、センシングに割り当てる時間を高くしてもよい。図16(B)の例では、60GHz帯において、データ通信の使用時間1603より、センシングの使用時間1602の方が長くなるように無線リソースが割り当てられている。
【0169】
ステップS1504において、情報処理装置10は、予定時刻になると、無線装置110を用いてセンシングを実行する。
【0170】
無線センシングシステム1は、図15の処理を所定の時間間隔(例えば、1~5秒間隔、好ましくは2~3秒間隔)で繰り返し実行する。これにより、無線センシングシステム1は、例えば、センシングを実行する度に、データ通信要求に応じて、センシングに無線リソースを割り当てる。
【0171】
なおIEEE802.11の規格において、以前から使われてきた24GHz帯、及び5GHz帯に対応した機器120は普及しているが、比較的新しい60GHz帯に対応した機器120は、現時点では、それほど普及していない。従って、無線装置110が、2.4GHz帯、5GHz帯、60GHz帯の3つの周波数帯に対応していたとしても、管理対象エリア100内にある機器120は、2.4GHz帯、5GHz帯にしか対応していない可能性がある。
【0172】
このような場合、図15の処理により、60GHz帯をセンシング用に割り当てて、60GHz帯を有効に活用することができる。
【0173】
以上、本発明の各実施形態によれば、無線通信に用いる電波によりオブジェクトをセンシングする無線センシングシステム1において、通信環境に応じて、無線センシングに無線リソースを適切に配分できるようになる。
【0174】
(利用シーンの例)
例えば、情報処理システム1を、ホテルに設置される電子機器を管理するように構成することができる。ホテルには、様々な電子機器が設置されている。例えば、ロビーには自動チェックイン機が設置されていることがある。情報処理システム1によりこれらの電子機器を管理することで、ホテルの通信環境に応じて、無線センシングに無線リソースを適切に配分することが可能となる。
【0175】
また、例えば、情報処理システム1を、空港に設置される電子機器を管理するように構成することができる。空港では航空機に搭乗するまでに、発券、チェックイン、手荷物検査等の手続きを通過する必要があり、各手続きで搭乗券を専用の電子機器で処理している。情報処理システム1によりこれらの電子機器を管理することで、空港の通信環境に応じて、無線センシングに無線リソースを適切に配分することが可能となる。
【0176】
また、例えば、情報処理システム1を、書店に設置される検索端末等の電子機器を管理するように構成することができる。情報処理システム1によりこれらの電子機器を管理することで、書店の通信環境に応じて、無線センシングに無線リソースを適切に配分することが可能となる。また、上記のホテル、空港、書店の他、駅などを含む公共施設、パブリックスペースにおいて同様に用いることができる。例えば困っている利用者の動作の検出とそれに応じた案内画面表示や介助の提供のための係員の端末への通知処理、あるいは、不審者等の動作の検出と監視開始処理や安全確保のための警報や警備員の端末への通知処理等を、情報処理システム1を介して実行することができる。
【0177】
また、例えば、情報処理システム1を、工場に設置されるPC等の電子機器を管理するように構成することができる。情報処理システム1によりこれらの電子機器を管理することで、工場の通信環境に応じて、無線センシングに無線リソースを適切に配分することが可能となる。
【0178】
また、例えば、情報処理システム1を、コンビニエンスストアの無人店舗に設置される電子機器を管理するように構成することができる。コンビニエンスストアには、MFPや精算装置等の電子機器が設置されている。情報処理システム1によりこれらの電子機器を管理することで、コンビニエンスストアの通信環境に応じて、無線センシングに無線リソースを適切に配分することが可能となる。また、上記の工場やコンビニの他、無人や人の少ない場所に機器が設置されている場面での機器の操作において同様に用いることができる。例えば困っている利用者の動作の検出とそれに応じた案内表示や操作方法説明のための担当者の端末への通知処理等を、情報処理システム1を介して実行することができる。
【0179】
また、例えば、情報処理システム1を、家にある複数の家電(電子機器)を管理するように構成することができる。情報処理システム1によりこれらの電子機器を管理することで、家内の通信環境に応じて、無線センシングに無線リソースを適切に配分することが可能となる。また家内や屋内での、子供やお年寄り等の、見守り対象の人物の動作の検出と、それに応じた見守り録画開始・停止処理や、家族の端末へのメッセージ送信処理・録画データ送信開始・停止処理等を、情報処理システム1を介して実行することができる。その場合にはシステムに1以上の家電(電子機器)の1つとしてテレビや冷蔵庫等と撮影手段(カメラ)とを含めてもよい。
【0180】
<補足>
上記で説明した各実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP(digital signal processor)、FPGA(field programmable gate array)や従来の回路モジュール等のデバイスを含むものとする。
【0181】
また、実施例に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの1つを示すものに過ぎない。ある実施形態では、情報処理装置10は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。同様に、無線装置110は、互いに通信するように構成された複数のコンピューティングデバイスを含むことができる。
【0182】
さらに、情報処理装置10、及び無線装置110は、開示された処理ステップを様々な組合せで共有するように構成できる。例えば、所定のユニットによって実行されるプロセスは、情報処理装置10、又は無線装置110よって実行され得る。また、情報処理装置10の各構成要素は、1つの装置にまとめられていても良いし、複数の装置に分けられていても良い。
【符号の説明】
【0183】
1 無線センシングシステム
10 情報処理装置(無線センシング装置)
20 人物(オブジェクトの一例)
110 無線装置
120、120a、120b 機器
409、414 リソース割当部
【先行技術文献】
【特許文献】
【0184】
【特許文献1】特開2016-092638号公報
【特許文献2】特開2022-017564号公報
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16