特許 7344570 情報処理装置、情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-06

(45)【発行日】2023-09-14

(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20230907BHJP

   G06T 7/33 20170101ALI20230907BHJP

【ＦＩ】

G06T7/70 A

G06T7/33

【請求項の数】 12

(21)【出願番号】P 2021005596

(22)【出願日】2021-01-18

(65)【公開番号】P2022110291

(43)【公開日】2022-07-29

【審査請求日】2023-02-14

【早期審査対象出願】

(73)【特許権者】

【識別番号】517182918

【氏名又は名称】ピクシーダストテクノロジーズ株式会社

(74)【代理人】

【識別番号】110002815

【氏名又は名称】ＩＰＴｅｃｈ弁理士法人

(72)【発明者】

【氏名】安間 健介

(72)【発明者】

【氏名】西村 想

(72)【発明者】

【氏名】多田 一平

(72)【発明者】

【氏名】望月 優輝

(72)【発明者】

【氏名】片岡 駿之介

【審査官】新井 則和

(56)【参考文献】

【文献】特開２００７－２４９７２２（ＪＰ，Ａ）

【文献】国際公開第２０２０／１７４６３４（ＷＯ，Ａ１）

【文献】特開２０１７－０９１０６３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／７０

Ｇ０６Ｔ ７／３３

(57)【特許請求の範囲】

【請求項1】

対象空間に関する空間画像を取得する手段と、
前記空間画像に含まれるオブジェクト画像を前記空間画像から抽出する手段と、
前記空間画像と前記対象空間に関する空間モデルとの位置合わせを行うことで、前記空間モデルの基準座標系における前記オブジェクト画像に対応する物理オブジェクトの位置を特定する手段と、
前記特定された物理オブジェクトの位置が、前記基準座標系で定義された対象領域に含まれるか否かを判定する手段と
を具備する、情報処理装置。

【請求項2】

前記空間モデルは、３次元モデル、または４次元モデルのいずれかであって、
前記特定する手段は、前記オブジェクト画像に含まれる各情報要素の位置を前記空間モデルの基準座標系における位置へ変換することで、前記空間画像と前記空間モデルとの位置合わせを行う、
請求項１に記載の情報処理装置。

【請求項3】

前記特定された物理オブジェクトの位置が前記対象領域に含まれる場合に、通知を行う手段をさらに具備する、
請求項１または請求項２に記載の情報処理装置。

【請求項4】

前記物理オブジェクトが所定の例外条件を満たす例外オブジェクトに該当するか否かを判定する手段をさらに具備する、
請求項１乃至請求項３のいずれかに記載の情報処理装置。

【請求項5】

前記物理オブジェクトが前記例外オブジェクトに該当せず、かつ前記特定された物理オブジェクトの位置が前記対象領域に含まれる場合に、通知を行う手段をさらに具備する、
請求項４に記載の情報処理装置。

【請求項6】

前記物理オブジェクトの位置を特定する手段は、
前記空間モデルに含まれる空間パーツに対応する空間パーツ画像を前記空間画像から抽出し、
前記空間パーツと前記物理オブジェクトとの位置関係と、前記基準座標系における前記空間パーツの位置とを参照し、前記基準座標系における前記物理オブジェクトの位置を特定する、
請求項１乃至請求項５のいずれかに記載の情報処理装置。

【請求項7】

前記空間パーツは、前記対象空間の鉛直下方向の面の少なくとも一部を構成する、
請求項６に記載の情報処理装置。

【請求項8】

前記物理オブジェクトの位置を特定する手段は、前記オブジェクト画像のうち前記物理オブジェクトの少なくとも一部である対象部位に対応する部分画像の寸法と、前記対象部位の寸法とをさらに参照し、前記基準座標系における前記物理オブジェクトの位置を特定する、
請求項１乃至請求項７のいずれかに記載の情報処理装置。

【請求項9】

前記空間モデルと、前記空間画像の撮影時刻とを参照し、前記撮影時刻に対応する対象領域を特定する手段をさらに具備し、
前記空間モデルは、時系列に沿って変化し、かつ前記対象空間に関するモデルである、
請求項１乃至請求項８のいずれかに記載の情報処理装置。

【請求項10】

ユーザの指示に応じて、前記対象領域を特定する手段
をさらに具備する、請求項１乃至請求項８のいずれかに記載の情報処理装置。

【請求項11】

コンピュータが、
対象空間に関する空間画像を取得することと、
前記空間画像に含まれるオブジェクト画像を前記空間画像から抽出することと、
前記空間画像と前記対象空間に関する空間モデルとの位置合わせを行うことで、前記空間モデルの基準座標系における前記オブジェクト画像に対応する物理オブジェクトの位置を特定することと、
前記特定された物理オブジェクトの位置が、前記基準座標系で定義された対象領域に含まれるか否かを判定することと
を具備する、情報処理方法。

【請求項12】

コンピュータに、請求項１～請求項１０の何れかに記載の各手段を実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。

【背景技術】

【0002】

従来、監視カメラを用いて、立ち入り禁止領域への人の侵入を監視することがある。

【0003】

特許文献１には、時間的な変化をもとにして映像中の変化検出領域を決定し、変化検出領域の幾何学的特徴量が侵入者に対応するかどうかを判断し、侵入者が存在すると判断された場合、侵入者の画像中の位置を特定することが記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開2006-252248号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１によれば、侵入者の画像中の位置が特定される。しかしながら、画像中の位置と実空間における位置との関係は明らかではない。故に、カメラの視野が立ち入り禁止領域に比べて広範囲である場合に、侵入者の画像中の位置を特定したとしても立ち入り禁止領域に侵入者が存在するか否かを直ちに判別することができない。

【0006】

本開示の目的は、監視領域に物理オブジェクトが存在するか否かを判別することである。

【課題を解決するための手段】

【0007】

本開示の一態様に係る情報処理装置は、対象空間に関する空間画像を取得する手段と、空間画像に含まれるオブジェクト画像を空間画像から抽出する手段と、空間画像と対象空間に関する空間モデルとの位置合わせを行うことで、空間モデルの基準座標系におけるオブジェクト画像に対応する物理オブジェクトの位置を特定する手段と、特定された物理オブジェクトの位置が、基準座標系で定義された対象領域に含まれるか否かを判定する手段とを具備する。

【図面の簡単な説明】

【0008】

【図1】本実施形態の情報処理システムの構成を示すブロック図である。

【図2】本実施形態のクライアント装置およびサーバの構成を示すブロック図である。

【図3】本実施形態の概要の説明図である。

【図4】本実施形態の対象領域データベースのデータ構造を示す図である。

【図5】本実施形態の情報処理の全体フローを示す図である。

【図6】本実施形態の情報処理において表示される画面例を示す図である。

【図7】変形例１の対象領域データベースのデータ構造を示す図である。

【図8】変形例１の情報処理の全体フローを示す図である。

【発明を実施するための形態】

【0009】

以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。

【0010】

（１）情報処理システムの構成
本実施形態の情報処理システムの構成について説明する。図１は、本実施形態の情報処理システムの構成を示すブロック図である。

【0011】

図１に示すように、情報処理システム１は、クライアント装置１０と、サーバ３０とを備える。
クライアント装置１０及びサーバ３０は、ネットワーク（例えば、インターネット又はイントラネット）ＮＷを介して接続される。

【0012】

クライアント装置１０は、情報処理装置の一例である。クライアント装置１０は、例えば、スマートフォン、タブレット端末、又は、パーソナルコンピュータである。

【0013】

サーバ３０は、情報処理装置の一例である。サーバ３０は、例えば、ウェブサーバである。サーバ３０は、対象となる空間（「対象空間」と称する）に関する画像（空間画像）と、対象空間に関する空間モデルとを参照し、対象空間において物理オブジェクトが存在するか否かを監視すべき領域（「監視領域」と称する）に物理オブジェクトが存在するか否かを判定する。サーバ３０は、判定結果に応じて、クライアント装置１０を介してユーザに通知を行う。

【0014】

空間画像は、対象空間に設置されたセンサ（図示しない）によって生成される。ここで、画像とは、光学的なセンシング結果を意味する。以降の説明において、画像は、イメージセンサによって生成された２次元画像であることとする。しかしながら、画像は、デプスカメラによって生成された点群（カラー点群を含み得る）であってもよい。

【0015】

センサは、対象空間に設置される。センサは、センシングを行い、画像を生成する。センサは、画像をサーバ３０または図示しない画像サーバに送信する。センサは、任意の種別の光学センサ装置である。センサは、以下のいずれかであってよい。
・カメラ
・デプスカメラ
・ＬＩＤＡＲ（Light Detection And Ranging）
・ＴｏＦ（Time of Flight）カメラ
・レーザスキャナ

【0016】

（１－１）クライアント装置の構成
本実施形態のクライアント装置の構成について説明する。図２は、本実施形態のクライアント装置およびサーバの構成を示すブロック図である。

【0017】

図１に示すように、クライアント装置１０は、記憶装置１１と、プロセッサ１２と、入出力インタフェース１３と、通信インタフェース１４とを備える。

【0018】

記憶装置１１は、プログラム及びデータを記憶するように構成される。記憶装置１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。

【0019】

プログラムは、例えば、以下のプログラムを含む。
・ＯＳ（Operating System）のプログラム
・情報処理を実行するアプリケーション（例えば、ウェブブラウザ）のプログラム

【0020】

データは、例えば、以下のデータを含む。
・情報処理において参照されるデータ及びデータベース
・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果）

【0021】

プロセッサ１２は、記憶装置１１に記憶されたプログラムを起動してデータを処理することによって、クライアント装置１０の機能を実現するように構成される。プロセッサ１２は、コンピュータの一例である。記憶装置１１により記憶されるプログラム及びデータは、ネットワークを介して提供されてもよいし、コンピュータにより読み取り可能な記録媒体に記録して提供されてもよい。なお、クライアント装置１０の機能の少なくとも一部が、１又は複数の専用のハードウェアにより実現されていてもよい。

【0022】

入出力インタフェース１３は、クライアント装置１０に接続される入力デバイスから信号（例えば、ユーザの指示）を取得し、かつ、クライアント装置１０に接続される出力デバイスに信号（例えば、画像信号）を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。

【0023】

通信インタフェース１４は、クライアント装置１０とサーバ３０との間の通信を制御するように構成される。

【0024】

（１－２）サーバの構成
図２を参照して、サーバ３０の構成について説明する。

【0025】

図２に示すように、サーバ３０は、記憶装置３１と、プロセッサ３２と、入出力インタフェース３３と、通信インタフェース３４とを備える。

【0026】

記憶装置３１は、プログラム及びデータを記憶するように構成される。記憶装置３１は、例えば、ＲＯＭ、ＲＡＭ、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。

【0027】

プログラムは、例えば、以下のプログラムを含む。
・ＯＳのプログラム
・情報処理を実行するアプリケーションのプログラム

【0028】

データは、例えば、以下のデータを含む。
・情報処理において参照されるデータ及びデータベース
・情報処理の実行結果

【0029】

プロセッサ３２は、記憶装置３１に記憶されたプログラムを起動することによって、サーバ３０の機能を実現するように構成される。プロセッサ３２は、コンピュータの一例である。記憶装置３１により記憶されるプログラム及びデータは、ネットワークを介して提供されてもよいし、コンピュータにより読み取り可能な記録媒体に記録して提供されてもよい。なお、サーバ３０の機能の少なくとも一部が、１又は複数の専用のハードウェアにより実現されていてもよい。

【0030】

入出力インタフェース３３は、サーバ３０に接続される入力デバイスから信号（例えば、ユーザの指示）を取得し、かつ、サーバ３０に接続される出力デバイスに信号（例えば、画像信号）を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。

【0031】

通信インタフェース３４は、サーバ３０とクライアント装置１０との間の通信を制御するように構成される。

【0032】

（２）実施形態の概要
本実施形態の概要について説明する。図３は、本実施形態の概要の説明図である。

【0033】

図３に示すように、対象空間ＳＰに設置されたセンサ５０は、例えば対象空間ＳＰを撮影し、対象空間ＳＰに関する空間画像ＳＩ１を生成する。空間画像ＳＩ１には、撮影時に対象空間ＳＰに存在した物理オブジェクトＯＢＪ１に対応するオブジェクト画像ＯＢＩ１が含まれる。ここで、物理オブジェクトは、人間、物体、人間以外の生物、またはこれらの組み合わせである。

【0034】

記憶装置３１には、対象空間ＳＰに関する空間モデルＳＭが格納されている。空間モデルは、例えば、以下の少なくとも１つを含む。
・３次元モデル（一例として、ＢＩＭ（Building Information Modeling）データ）
・時系列に沿って変化する３次元モデルに関する４次元モデル（一例として、時間情報が付与されたＢＩＭデータ）

【0035】

サーバ３０は、空間画像ＳＩ１を取得し、空間画像ＳＩ１からオブジェクト画像ＯＢＩ１を抽出する。サーバ３０は、空間画像ＳＩ１と、空間モデルＳＭとの位置合わせを行う。一例として、サーバ３０は、オブジェクト画像ＯＢＩ１に含まれる各情報要素（画素、または点）の位置を基準座標系における位置へ変換する。これにより、サーバ３０は、空間モデルＳＭに対応する座標系（「基準座標系」と称する）における物理オブジェクトの位置を特定する。

【0036】

対象空間ＳＰには、物理オブジェクトが存在するか否かを監視すべき領域（「監視領域」）が存在する。空間モデルＳＭは対象空間ＳＰにおけるいずれかの構成要素と位置合わせすることが可能である（つまり、空間モデルＳＭの基準座標系と対象空間ＳＰの座標系（「グローバル座標系」）とを対応付けることができる）から、対象空間ＳＰにおける任意の領域は、基準座標系で表現された領域に変換可能である。監視領域を基準座標系で表現した領域を「対象領域」と称する。設定者は例えば空間モデルＳＭの３次元ビューを閲覧しながら基準座標系における所望の場所を対象領域として直感的に設定可能である。対象空間を設定することで、対象空間ＳＰにおける対応する場所が監視領域として特定される。また、センサ５０の視野（例えば、センサ５０の位置、姿勢、焦点距離、またはそれらの組み合わせ）が変更される場合であっても、対象領域ＴＲ１および監視領域は不変である。図３の例では、対象領域ＴＲ１が、空間モデルＳＭに設定されている。サーバ３０は、基準座標系における物理オブジェクトＯＢＪ１の位置が対象領域ＴＲ１に含まれるか否かを判定することで、対象空間ＳＰにおいて物理オブジェクトＯＢＪ１が監視領域に存在するか否かを判定できる。

【0037】

サーバ３０は、基準座標系における物理オブジェクトＯＢＪ１の位置が対象領域ＴＲ１に含まれると判定した場合に、ユーザＵＳに対して通知を行う。具体的には、サーバ３０は、物理オブジェクトＯＢＪ１が対象領域ＴＲ１に対応する監視領域に存在することをユーザＵＳに通知するための通知データ（例えば、画像、テキスト、音声、またはこれらの組み合わせ）をクライアント装置１０へ送信する。クライアント装置１０は、サーバ３０から受信した通知データに応じて、ユーザＵＳに通知を行う。一例として、クライアント装置１０は、出力画像ＯＩ１をディスプレイに表示させる。

【0038】

このように、サーバ３０は、対象空間ＳＰにおいて物理オブジェクトが監視領域に存在するか否かを空間画像から判別可能である。つまり、このサーバ３０によれば、例えば、立ち入り禁止の場所、または危険な場所に人間が居ることを検知したり、備品が定位置でない場所に放置されていることを検知したりすることができる。

【0039】

（３）データベース
本実施形態のデータベースについて説明する。以下のデータベースは、記憶装置３１に記憶される。

【0040】

（３－１）対象領域データベース
本実施形態の対象領域データベースについて説明する。図４は、本実施形態の対象領域データベースのデータ構造を示す図である。

【0041】

対象領域データベースには、対象領域情報が格納される。対象領域情報は、対象領域に関する情報である。対象領域情報を参照することで、基準座標系における対象領域の位置を特定することができる。

【0042】

図４に示すように、対象領域データベースは、「領域ＩＤ」フィールドと、「領域定義」フィールドとを含む。各フィールドは、互いに関連付けられている。

【0043】

「領域ＩＤ」フィールドには、領域ＩＤが格納される。領域ＩＤは、対象領域を識別する情報である。

【0044】

「領域定義」フィールドには、領域定義情報が格納される。領域定義情報は、対象領域の定義に関する情報である。一例として、領域定義情報は、領域形状情報と座標情報とを含む。

【0045】

領域形状情報は、対象領域の形状に関する情報である。対象領域は、３次元形状（例えば、対象領域の水平面形状（一例として、幅及び奥行き）、並びに、対象領域の垂直方向の形状（一例として、高さ））であってもよいし、２次元形状（例えば、対象領域の水平面形状）であってもよい。

【0046】

座標情報は、対象領域の所定の点の基準座標系における座標に関する情報である。一例として、座標情報は、対象領域を構成する各頂点の基準座標系における座標に関する情報を含む。

【0047】

（４）情報処理
本実施形態の情報処理について説明する。図５は、本実施形態の情報処理の全体フローを示す図である。図６は、本実施形態の情報処理において表示される画面例を示す図である。

【0048】

図５の処理は、開始条件が成立したことに応じて開始する。開始条件は、例えば以下の少なくとも１つを含むことができる。
・クライアント装置１０に対してユーザにより情報処理の開始指示が入力され、サーバ３０がクライアント装置１０から情報処理の開始リクエストを受信した
・所定の日時が到来した

【0049】

図５に示すように、サーバ３０は、空間画像の取得（Ｓ１１０）を実行する。
具体的には、プロセッサ３２は、図示しないセンサまたは画像サーバから空間画像を取得する。

【0050】

ステップＳ１１０の後に、サーバ３０は、オブジェクト画像の抽出（Ｓ１２０）を実行する。
具体的には、プロセッサ３２は、ステップＳ１１０において取得した空間画像からオブジェクト画像を抽出する。一例として、プロセッサ３２は、空間画像に対して画像認識処理を行うことで、空間画像の撮影時に対象空間に存在した物理オブジェクトに対応するオブジェクト画像を特定する。例えば、物理オブジェクトは、監視対象となる物理オブジェクト（一例として、人物）である。

【0051】

ステップＳ１２０の後に、サーバ３０は、物理オブジェクトの位置の特定（Ｓ１３０）を実行する。
具体的には、プロセッサ３２は、ステップＳ１１０において取得した空間画像と対象空間に関する空間モデルとの位置合わせを行う。一例として、プロセッサ３２は、空間画像に含まれるオブジェクト画像の各情報要素の位置を基準座標系における位置へ変換する。これにより、プロセッサ３２は、空間モデルに対応する基準座標系における物理オブジェクトの位置を特定する。

【0052】

物理オブジェクトの位置の特定（Ｓ１３０）の第１例では、プロセッサ３２は、空間画像の撮影条件および基準座標系を参照して空間画像の撮影方向を基準座標系で再現することで、空間画像と空間モデルとの位置合わせを行う。ここで、撮影条件は、空間画像を撮影したカメラの位置、姿勢、焦点距離、またはそれらの組み合わせである。撮影条件は、空間画像とともにカメラによって送信されてもよいし、既知情報として記憶装置３１に格納されていてもよい。例えば、プロセッサ３２は、空間画像を撮影したカメラの現実空間の位置および姿勢に対応する基準座標系における位置および姿勢を特定する。
プロセッサ３２は、特定した基準座標系における位置および姿勢と、カメラの焦点距離とを参照し、基準座標系に仮想カメラを設定する。
プロセッサ３２は、設定したカメラにより空間モデルを撮影したモデル画像と、空間画像とを比較する。一例として、プロセッサ３２は、モデル画像から抽出した特徴量（例えばエッジ）と、空間画像から抽出した特徴量とを比較することにより、空間画像の任意の画素の基準座標系における位置を決定する。

【0053】

物理オブジェクトの位置の特定（Ｓ１３０）の第２例では、プロセッサ３２は、空間モデルを特定の視点から撮影したモデル画像を空間画像と比較し、空間画像と空間モデルとの位置合わせを行う。例えば、プロセッサ３２は、視点を選択することと、選択した視点から仮想カメラで空間モデルを撮影したモデル画像と空間画像とを比較することとを、視点を変更しながら繰り返す。これにより、プロセッサ３２は、空間画像と最もマッチする（例えば、特徴量が最もマッチする）モデル画像を探索する。
プロセッサ３２は、モデル画像の任意の画素（「対象画素」）の基準座標系における位置を当該対象画素に対応する空間画像の画素の基準座標系における位置として決定する。

【0054】

ステップＳ１３０の後に、サーバ３０は、オブジェクト位置判定（Ｓ１４０）を実行する。
具体的には、プロセッサ３２は、ステップＳ１３０において特定した物理オブジェクトの位置が、基準座標系で定義された対象領域に含まれるか否かを判定する。

【0055】

ステップＳ１４０において物理オブジェクトの位置が対象領域に含まれると判定した場合に、サーバ３０は、物理オブジェクトの存在の通知（Ｓ１５０）を実行する。
具体的には、プロセッサ３２は、物理オブジェクトが監視領域に存在することをユーザに通知する。一例として、プロセッサ３２は、物理オブジェクトが監視領域に存在することをユーザに通知するための通知データ（例えば、画像、テキスト、音声、またはこれらの組み合わせ）をクライアント装置１０へ送信する。

【0056】

ステップＳ１５０の後、クライアント装置１０は、通知（Ｓ１６０）を実行する。
具体的には、プロセッサ１２は、サーバ３０から受信した通知データに応じて、ユーザに通知を行う。一例として、プロセッサ１２は、図６の画面Ｐ１０をディスプレイに表示する。

【0057】

画面Ｐ１０は、通知オブジェクトＮ１０を含む。通知オブジェクトＮ１０は、通知データに対応するメッセージ（例えば、物理オブジェクトが監視領域に存在することを示すメッセージ）に関するオブジェクトである。

【0058】

ステップＳ１４０において物理オブジェクトの位置が対象領域に含まれないと判定した場合に、サーバ３０は空間画像の取得（Ｓ１１０）を実行し、未処理の空間画像を取得する（つまり、物理オブジェクトに対する監視を継続する）。

【0059】

（５）小括
以上説明したように、本実施形態のサーバ３０は、空間画像からオブジェクト画像を抽出し、空間画像と空間モデルとの位置合わせを行うことで基準座標系における物理オブジェクトの位置を特定し、特定した位置が対象領域に含まれるか否かを判定する。故に、このサーバは、対象空間において物理オブジェクトが監視領域に存在するか否かを空間画像から判別可能である。これにより、例えば、立ち入り禁止の場所、または危険な場所に人間が居ること、又は、備品が定位置でない場所に放置されていることを検知することができる。

【0060】

サーバ３０は、物理オブジェクトの位置が対象領域に含まれる場合に、通知を行ってもよい。これにより、ユーザに、監視領域に物理オブジェクトが存在することを認識させることができる。

【0061】

（６）変形例
本実施形態の変形例について説明する。

【0062】

（６－１）変形例１
変形例１について説明する。変形例１は、オブジェクト画像に対応する物理オブジェクトが例外オブジェクトに該当する場合に、当該物理オブジェクトが監視領域内に存在したとしても通知を行わない例である。

【0063】

（６－１－１）データベース
変形例１のデータベースについて説明する。以下のデータベースは、記憶装置３１に記憶される。

【0064】

（６－１－１－１）対象領域データベース
変形例１の対象領域データベースについて説明する。図７は、変形例１の対象領域データベースのデータ構造を示す図である。

【0065】

対象領域データベースには、対象領域情報が格納される。対象領域情報は、対象領域に関する情報である。対象領域情報を参照することで、基準座標系における対象領域の位置と、対象領域に関連付けられる例外オブジェクトを特定することができる。変形例１のサーバ３０は、物理オブジェクトが対象領域内に存在すると判定した場合であっても、当該物理オブジェクトが例外オブジェクトに該当すると判定した場合には、物理オブジェクトが対象領域内に存在することをユーザに通知しない。

【0066】

図７に示すように、対象領域データベースは、「領域ＩＤ」フィールドと、「領域定義」フィールドと、「例外オブジェクトＩＤ」フィールドとを含む。各フィールドは、互いに関連付けられている。

【0067】

「領域ＩＤ」フィールドおよび「領域定義」フィールドは、実施形態において説明したとおりである。

【0068】

「例外オブジェクトＩＤ」フィールドには、例外オブジェクトＩＤが格納される。例外オブジェクトＩＤは、所定の例外条件を満たす物理オブジェクト（以下「例外オブジェクト」という）を識別する情報である。例外条件は、例えば、以下の少なくとも１つを含む。
・対象領域に対応する監視領域に出入りする権限が与えられた物理オブジェクトである。
・対象領域に対応する監視領域への持ち込みが許可されたた物理オブジェクトである。

【0069】

（６－１－２）情報処理
変形例１の情報処理について説明する。図８は、変形例１の情報処理の全体フローを示す図である。

【0070】

図８の処理は、クライアント装置１０に対してユーザにより情報処理の開始指示が入力され、サーバ３０がクライアント装置１０から情報処理の開始リクエストを受信したこと、または他の開始条件が成立したことに応じて開始する。

【0071】

図８に示すように、サーバ３０は図５と同様に、空間画像の取得（Ｓ１１０）、およびオブジェクト画像の抽出（Ｓ１２０）を実行する。

【0072】

ステップＳ１２０の後に、サーバ３０は、例外オブジェクト判定（Ｓ２３０）を実行する。
具体的には、プロセッサ３２は、ステップＳ１２０において抽出したオブジェクト画像に対応する物理オブジェクトが、対象領域に関連付けられる例外オブジェクトに該当するか否かを判定する。ステップＳ１２０において複数のオブジェクト画像を抽出した場合には、プロセッサ３２は、全物理オブジェクトが例外オブジェクトに該当するか否か（つまり、少なくとも１つの物理オブジェクトが例外オブジェクトに該当しないか否か）を判定する。

【0073】

例外オブジェクト判定（Ｓ２３０）の第１例では、プロセッサ３２は、オブジェクト画像に対して画像認識処理を行うことで、物理オブジェクトが例外オブジェクトに該当するか否かを判定する。

【0074】

例外オブジェクト判定（Ｓ２３０）の第２例では、プロセッサ３２は、物理オブジェクトが携行するタグの識別情報を元に、物理オブジェクトが例外オブジェクトに該当するか否かを判定する。プロセッサ３２は、タグから識別情報を取得してもよいし、タグの識別情報を読み取るように構成されたリーダ（不図示）から識別情報を取得してもよい。

【0075】

ステップＳ２３０において物理オブジェクトが例外オブジェクトに該当しない判定した場合に、サーバ３０は図５と同様に、物理オブジェクトの位置の特定（Ｓ１３０）、およびオブジェクト位置判定（Ｓ１４０）を実行する。

【0076】

ステップＳ１４０において物理オブジェクトの位置が対象領域に含まれると判定した場合に、サーバ３０は図５と同様に、物理オブジェクトの存在の通知（Ｓ１５０）を実行する。

【0077】

ステップＳ１５０の後、クライアント装置１０は図５と同様に、通知（Ｓ１６０）を実行する。

【0078】

ステップＳ２３０において物理オブジェクトが例外オブジェクトに該当すると判定した場合に、サーバ３０は空間画像の取得（Ｓ１１０）を実行し、未処理の空間画像を取得する（つまり、物理オブジェクトに対する監視を継続する）。

【0079】

ステップＳ１４０において物理オブジェクトの位置が対象領域に含まれないと判定した場合に、サーバ３０は空間画像の取得（Ｓ１１０）を実行し、未処理の空間画像を取得する（つまり、物理オブジェクトに対する監視を継続する）。

【0080】

（６－１－３）小括
以上説明したように、変形例１のサーバ３０は、空間画像からオブジェクト画像を抽出し、物理オブジェクトが例外オブジェクトに該当するか否かを判定する。サーバ３０は、空間画像と空間モデルとの位置合わせを行うことで基準座標系における物理オブジェクトの位置を特定し、特定した位置が対象領域に含まれるか否かを判定する。故に、このサーバ３０は、対象空間において物理オブジェクトが監視領域に存在するか否か、および当該物理オブジェクトが例外オブジェクトに該当するか否かを空間画像から判別可能である。これにより、例えば、立ち入り禁止の場所、若しくは危険な場所に立ち入りの許可されていない人間が居ること、又は、持ち込みの許可されていない物品が対象領域に持ち込まれたことを検知することができる。

【0081】

サーバ３０は、物理オブジェクトが例外オブジェクトに該当せず、かつ物理オブジェクトの位置が対象領域に含まれる場合に、通知を行ってもよい。これにより、ユーザに、監視領域に例外オブジェクト以外の物理オブジェクトが存在することを認識させることができる。

【0082】

（６－２）変形例２
変形例２について説明する。変形例２は、空間画像から空間パーツに対応する空間パーツ画像を抽出し、空間パーツと物理オブジェクトとの位置関係を元に基準座標系における物理オブジェクトの位置を特定する例である。

【0083】

サーバ３０は、図５または図８の物理オブジェクトの位置の特定（Ｓ１３０）を以下に説明するように実行する。

【0084】

具体的には、プロセッサ３２は、空間モデルに含まれる空間パーツに対応する空間パーツ画像を空間画像から抽出する。空間パーツは、空間の構成要素（例えば、床、または壁）である。
プロセッサ３２は、本実施形態または変形例１において説明したように、空間画像と空間モデルとの位置合わせを行う。これにより、プロセッサ３２は、基準座標系における空間パーツ画像の各情報要素の位置を特定する。
プロセッサ３２は、空間パーツと物理オブジェクトとの位置関係と、基準座標系における空間パーツ画像の各情報要素の位置とを参照し、基準座標系における物理オブジェクトの位置を特定する。

【0085】

一例として、プロセッサ３２は、物理オブジェクトの鉛直下方向の端部（例えば人間の足）が、空間の鉛直下方向の面の少なくとも一部を構成する（つまり、物理オブジェクトの鉛直下方向の端部が接触していると仮定できる）空間パーツ（例えば床）に接しているとの仮定の下で、物理オブジェクトの位置を特定する。この例では、プロセッサ３２は、空間パーツのうち物理オブジェクトの鉛直下方向の端部に接触している部分の基準座標系における位置に基づいて、物理オブジェクトの鉛直下方向の端部の基準座標系における位置を決定する。ここで、空間パーツと物理オブジェクトとの位置関係は、接触に限られない。例えば、プロセッサ３２は、物理オブジェクトの鉛直上方向の端部（例えば人間の頭部）が空間の鉛直下方向の面に位置する空間パーツから鉛直上方向に所定の距離（例えば、物理オブジェクトの身長）離れているとの仮定の下で、物理オブジェクトの位置を特定してもよい。

【0086】

以上説明したように、変形例２のサーバ３０は、空間画像から空間パーツに対応する空間パーツ画像を抽出し、空間パーツと物理オブジェクトとの位置関係を元に基準座標系における物理オブジェクトの位置を特定する。これにより、基準座標系における物理オブジェクトの位置をより高精度に特定することができる。

【0087】

（６－３）変形例３
変形例３について説明する。変形例３は、オブジェクト画像のうち物理オブジェクトの少なくとも一部（「対象部位」）に対応する部分画像の寸法（例えば画素数）と、当該対象部位の寸法（例えば実寸法）とを元に基準座標系における物理オブジェクトの位置を特定する例である。

【0088】

サーバ３０は、図５または図８の物理オブジェクトの位置の特定（Ｓ１３０）を以下に説明するように実行する。

【0089】

具体的には、プロセッサ３２は、空間画像の撮影条件（例えば、センサの基準座標系における位置姿勢、およびセンサの焦点距離）を参照し、センサから、空間画像のうち対象部位（例えば、人間の頭部）に向かうベクトル（「対象ベクトル」）の基準座標系における向きを特定する。プロセッサ３２は、対象ベクトルの向きと、対象部位に対応する部分画像の空間画像における寸法と、対象部位の寸法とを参照し、対象ベクトルの大きさを特定する。プロセッサ３２は、センサの位置と、対象ベクトルの向きおよび大きさとを参照し、基準座標系における対象部位の位置を特定する。

【0090】

以上説明したように、変形例３のサーバ３０は、オブジェクト画像のうち物理オブジェクトの対象部位に対応する部分画像の寸法と、当該対象部位の寸法とを元に基準座標系における物理オブジェクトの位置を特定する。これにより、基準座標系における物理オブジェクトの位置をより高精度に特定することができる。

【0091】

（７）その他の変形例
記憶装置１１は、ネットワークＮＷを介して、クライアント装置１０と接続されてもよい。記憶装置３１は、ネットワークＮＷを介して、サーバ３０と接続されてもよい。

【0092】

上記の情報処理の各ステップは、クライアント装置１０及びサーバ３０の何れでも実行可能である。

【0093】

サーバ３０は、所定のアルゴリズムに従って、対象領域を特定してもよい。
一例として、サーバ３０は、空間モデルと、空間画像の撮影時刻とを参照し、当該撮影時刻に対応する対象領域を特定してもよい。ここで、空間モデルは、時刻に対して可変に対象領域を定義する４次元モデルであってよい。これにより、時刻ベースで対象領域を設定することができる。例えばある空間パーツに対する施工期間中には当該空間パーツの周辺を対象領域に含め、かつ施工期間終了後には当該空間パーツの周辺を対象領域から除外することができる。同様に、例外オブジェクトＩＤが、時刻に関して可変に定義されてもよい。

【0094】

サーバ３０は、ユーザの指示に応じて、対象領域を特定してもよい。第１の例として、ユーザは、クライアント装置１０のディスプレイに表示された空間モデルを確認しながら、基準座標系における領域を対象領域として設定する。第２の例として、第２の例として、ユーザは、クライアント装置１０のディスプレイに表示された点群データを確認しながら、基準座標系における領域を対象領域として設定する。点群データは、例えばデプスカメラによって生成された空間画像（点群）データであってもよいし、複数の空間画像（２次元画像）データに対してＳｆＭ（Structure from Motion）処理を行うことで作成されてもよい。例えば、サーバ３０は、ユーザの指示に応じて対象領域情報を生成し、対象領域データベース（図４または図７）に格納してもよい。これにより、ユーザに課される物理オブジェクトの監視業務の内容に応じて対象領域を柔軟かつ正確に設定することができる。

【0095】

実施形態では、物理オブジェクトの位置が対象領域に含まれると判定した場合に、物理オブジェクトが監視領域に存在することをユーザに通知する例を示した。しかしながら、サーバ３０は、物理オブジェクトの位置が対象領域に含まれないと判定した場合に、物理オブジェクトが監視領域に存在しないことをユーザに通知してもよい。

【0096】

変形例１では、物理オブジェクトが例外オブジェクトに該当せず、かつ物理オブジェクトの位置が対象領域に含まれると判定した場合に、物理オブジェクトが監視領域に存在することをユーザに通知する例を示した。しかしながら、サーバ３０は、物理オブジェクトが例外オブジェクトに該当せず、かつ物理オブジェクトの位置が対象領域に含まれないと判定した場合に、物理オブジェクトが監視領域に存在しないことをユーザに通知してもよい。
或いは、サーバ３０は、物理オブジェクトが例外オブジェクトに該当し、かつ物理オブジェクトの位置が対象領域に含まれないと判定した場合に、物理オブジェクトが監視領域に存在しないことをユーザに通知してもよい。
或いは、サーバ３０は、物理オブジェクトが例外オブジェクトに該当し、かつ物理オブジェクトの位置が対象領域に含まれると判定した場合に、物理オブジェクトが監視領域に存在することをユーザに通知してもよい。

【0097】

実施形態および変形例では、物理オブジェクトの存在を通知した後に、情報処理を終了する例を示した。しかしながら、物理オブジェクトを通知した後に、サーバ３０は空間画像の取得（Ｓ１１０）を実行し、未処理の空間画像を取得してもよい（つまり、物理オブジェクトに対する監視の継続）。

【0098】

以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。

【0099】

（８）付記
実施形態および変形例で説明した事項を、以下に付記する。

【0100】

（付記１）
対象空間に関する空間画像を取得する手段（Ｓ１１０）と、
空間画像に含まれるオブジェクト画像を空間画像から抽出する手段（Ｓ１２０）と、
空間画像と対象空間に関する空間モデルとの位置合わせを行うことで、空間モデルの基準座標系におけるオブジェクト画像に対応する物理オブジェクトの位置を特定する手段（Ｓ１３０）と、
特定された物理オブジェクトの位置が、基準座標系で定義された対象領域に含まれるか否かを判定する手段（Ｓ１４０）と
を具備する、情報処理装置（３０）。

【0101】

（付記２）
特定された物理オブジェクトの位置が対象領域に含まれる場合に、通知を行う手段（Ｓ１５０）をさらに具備する、
付記１に記載の情報処理装置。

【0102】

（付記３）
物理オブジェクトが所定の例外条件を満たす例外オブジェクトに該当するか否かを判定する手段（Ｓ２３０）をさらに具備する、
付記１または付記２に記載の情報処理装置。

【0103】

（付記４）
物理オブジェクトが例外オブジェクトに該当せず、かつ特定された物理オブジェクトの位置が対象領域に含まれる場合に、通知を行う手段（Ｓ１５０）をさらに具備する、
付記３に記載の情報処理装置。

【0104】

（付記５）
物理オブジェクトの位置を特定する手段は、
空間モデルに含まれる空間パーツに対応する空間パーツ画像を空間画像から抽出し、
空間パーツと物理オブジェクトとの位置関係と、基準座標系における空間パーツの位置とを参照し、基準座標系における物理オブジェクトの位置を特定する、
付記１乃至付記４のいずれかに記載の情報処理装置。

【0105】

（付記６）
空間パーツは、対象空間の鉛直下方向の面の少なくとも一部を構成する、
付記５に記載の情報処理装置。

【0106】

（付記７）
物理オブジェクトの位置を特定する手段は、オブジェクト画像のうち物理オブジェクトの少なくとも一部である対象部位に対応する部分画像の寸法と、対象部位の寸法とをさらに参照し、基準座標系における物理オブジェクトの位置を特定する、
付記１乃至付記６のいずれかに記載の情報処理装置。

【0107】

（付記８）
空間モデルと、空間画像の撮影時刻とを参照し、撮影時刻に対応する対象領域を特定する手段をさらに具備し、
空間モデルは、時系列に沿って変化し、かつ対象空間に関するモデルである、
付記１乃至付記７のいずれかに記載の情報処理装置。

【0108】

（付記９）
ユーザの指示に応じて、対象領域を特定する手段
をさらに具備する、付記１乃至付記７のいずれかに記載の情報処理装置。

【0109】

（付記１０）
コンピュータ（３０）が、
対象空間に関する空間画像を取得すること（Ｓ１１０）と、
空間画像に含まれるオブジェクト画像を空間画像から抽出すること（Ｓ１２０）と、
空間画像と対象空間に関する空間モデルとの位置合わせを行うことで、空間モデルの基準座標系におけるオブジェクト画像に対応する物理オブジェクトの位置を特定すること（Ｓ１３０）と、
特定された物理オブジェクトの位置が、基準座標系で定義された対象領域に含まれるか否かを判定すること（Ｓ１４０）と
を具備する、情報処理方法。

【0110】

（付記１１）
コンピュータ（３０）に、付記１～付記９の何れかに記載の各手段を実現させるためのプログラム。

【符号の説明】

【0111】

１ ：情報処理システム
１０ ：クライアント装置
１１ ：記憶装置
１２ ：プロセッサ
１３ ：入出力インタフェース
１４ ：通信インタフェース
３０ ：サーバ
３１ ：記憶装置
３２ ：プロセッサ
３３ ：入出力インタフェース
３４ ：通信インタフェース
５０ ：センサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】