特開 2024-153430 評価装置、評価方法、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024153430

(43)【公開日】2024-10-29

(54)【発明の名称】評価装置、評価方法、及びコンピュータプログラム

(51)【国際特許分類】

   G01D 18/00 20060101AFI20241022BHJP

   G01C 3/06 20060101ALI20241022BHJP

【ＦＩ】

G01D18/00

G01C3/06 140

【審査請求】有

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023067320

(22)【出願日】2023-04-17

(71)【出願人】

【識別番号】000002853

【氏名又は名称】ダイキン工業株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】金山 寛明

(72)【発明者】

【氏名】佐藤 大輔

(72)【発明者】

【氏名】左部 俊介

【テーマコード（参考）】

2F076

2F112

【Ｆターム（参考）】

2F076AA01

2F112AD10

2F112BA06

2F112CA12

2F112GA01

(57)【要約】

【課題】評価装置、評価方法、及びコンピュータプログラムの提供。
【解決手段】対象空間を計測する第１計測器より第１計測値を取得し、第１計測器の挙動を示す第２計測値を取得し、取得した前記第２計測値に基づき、前記挙動が第１計測値の取得へ与える影響を評価する処理部を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

対象空間を計測する第１計測器より第１計測値を取得し、
前記第１計測器の挙動を示す第２計測値を取得し、
取得した前記第２計測値に基づき、前記挙動が前記第１計測値の取得へ与える影響を評価する
処理部
を備える評価装置。

【請求項2】

前記処理部は、
前記第１計測器の挙動を計測する第２計測器より前記第２計測値を取得する
請求項１に記載の評価装置。

【請求項3】

前記処理部は、
前記第２計測値を設定値と比較し、
比較結果に応じて、警報を出力する
請求項１に記載の評価装置。

【請求項4】

前記第１計測器は複数種のセンサを含み、
前記処理部は、
前記センサ毎に設定される設定値の１つと、前記第２計測値との比較結果に応じて、警報を出力する
請求項３に記載の評価装置。

【請求項5】

前記警報は、
音、振動、光、文字及び記号の少なくとも１つにより構成される
請求項３に記載の評価装置。

【請求項6】

前記第２計測値に基づく情報を表示する表示部
を備える請求項１に記載の評価装置。

【請求項7】

前記設定値の入力を受付ける受付部を備え、
前記処理部は、
前記第２計測値を、前記受付部より受付けた前記設定値と比較することにより、前記挙動が前記第１計測値の取得へ与える影響を評価する
請求項３に記載の評価装置。

【請求項8】

前記処理部は、
前記第２計測値を設定値と比較し、
比較結果に応じて、前記第１計測器による計測を停止させる
請求項１に記載の評価装置。

【請求項9】

前記処理部は、
前記第１計測器による計測を停止させた後、再計測を案内する
請求項８に記載の評価装置。

【請求項10】

前記処理部は、
前記第１計測器による計測を停止させた後、設定距離だけ遡った地点からの計測再開を案内する
請求項８に記載の評価装置。

【請求項11】

前記第２計測値は、前記第１計測器の速度、加速度、及び角速度の少なくとも１つを含む
請求項１に記載の評価装置。

【請求項12】

対象空間を計測する第１計測器より第１計測値を取得し、
前記第１計測器の挙動を示す第２計測値を取得し、
取得した前記第２計測値に基づき、前記挙動が前記第１計測値の取得へ与える影響を評価する
処理をコンピュータにより実行する評価方法。

【請求項13】

対象空間を計測する第１計測器より第１計測値を取得し、
前記第１計測器の挙動を示す第２計測値を取得し、
取得した前記第２計測値に基づき、前記挙動が前記第１計測値の取得へ与える影響を評価する
処理をコンピュータに実行させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、評価装置、評価方法、及びコンピュータプログラムに関する。

【背景技術】

【0002】

特許文献１には、３次元点群データにより計測対象が表示される３次元マップを生成し、３次元マップの品質の評価結果に基づき、次に取得すべき計測対象領域の情報を含む計測計画を生成する構成が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０２０／１２１４０６号

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１では、得られた３次元マップの品質評価に、処理した３次元計測データを用いる。この場合、３次元点群データを処理しないと３次元マップを構築するために適切なデータを取得できているか確認できない。

【0005】

本開示の目的は、３次元マップを生成する前のタイミングであるデータ取得中に、３次元マップを構築するために適切なデータを取得できているかを評価する評価装置、評価方法、及びコンピュータプログラムを提供することである。

【課題を解決するための手段】

【0006】

本開示の第１側面に係る評価装置は、対象空間を計測する第１計測器より第１計測値を取得し、前記第１計測器の挙動を示す第２計測値を取得し、取得した前記第２計測値に基づき、前記挙動が前記第１計測値の取得へ与える影響を評価する処理部を備える。

【0007】

本開示の第２側面に係る評価装置は、第１側面に係る評価装置において、前記処理部は、前記第１計測器の挙動を計測する第２計測器より前記第２計測値を取得する。

【0008】

本開示の第３側面に係る評価装置は、第１側面又は第２側面に係る評価装置において、前記処理部は、前記第２計測値を設定値と比較し、比較結果に応じて、警報を出力する。

【0009】

本開示の第４側面に係る評価装置は、第３側面に係る評価装置において、前記第１計測器は複数種のセンサを含み、前記処理部は、前記センサ毎に設定される設定値の１つと、前記第２計測値との比較結果に応じて、警報を出力する。

【0010】

本開示の第５側面に係る評価装置は、第３側面又は第４側面に係る評価装置において、前記警報は、音、振動、光、文字及び記号の少なくとも１つにより構成される。

【0011】

本開示の第６側面に係る評価装置は、第１側面から第５側面の何れか１つに係る評価装置において、前記第２計測値に基づく情報を表示する表示部を備える。

【0012】

本開示の第７側面に係る評価装置は、第１側面から第６側面の何れか１つに係る評価装置において、前記設定値の入力を受付ける受付部を備え、前記処理部は、前記第２計測値を、前記受付部より受付けた前記設定値と比較することにより、前記挙動が前記第１計測値の取得へ与える影響を評価する。

【0013】

本開示の第８側面に係る評価装置は、第１側面から第７側面の何れか１つに係る評価装置において、前記処理部は、前記第２計測値を設定値と比較し、比較結果に応じて、前記第１計測器による計測を停止させる。

【0014】

本開示の第９側面に係る評価装置は、第８側面に係る評価装置において、前記処理部は、前記第１計測器による計測を停止させた後、再計測を案内する。

【0015】

本開示の第１０側面に係る評価装置は、第８側面に係る評価装置において、前記処理部は、前記第１計測器による計測を停止させた後、設定距離だけ遡った地点からの計測再開を案内する。

【0016】

本開示の第１１側面に係る評価装置は、第１側面から第１０側面の何れか１つに係る評価装置において、前記第２計測値は、前記第１計測器の速度、加速度、及び角速度の少なくとも１つを含む。

【0017】

本開示の第１２側面に係る評価方法は、対象空間を計測する第１計測器より第１計測値を取得し、前記第１計測器の挙動を示す第２計測値を取得し、取得した前記第２計測値に基づき、前記挙動が前記第１計測値の取得へ与える影響を評価する処理をコンピュータにより実行する。

【0018】

本開示の第１３側面に係るコンピュータプログラムは、対象空間を計測する第１計測器より第１計測値を取得し、前記第１計測器の挙動を示す第２計測値を取得し、取得した前記第２計測値に基づき、前記挙動が前記第１計測値の取得へ与える影響を評価する処理をコンピュータに実行させる。

【発明の効果】

【0019】

本開示によれば、３次元マップを生成する前のタイミングであるデータ取得中に、３次元マップを構築するために適切なデータを取得できているかを評価できる。

【図面の簡単な説明】

【0020】

【図1】実施の形態に係る情報処理システムの構成例を示すブロック図である。

【図2】測定装置の模式的斜視図である。

【図3】端末装置が提供するインタフェース画面の一例を示す模式図である。

【図4】警報出力時の画面例を示す模式図である。

【図5】実施の形態１における端末装置が実行する処理の手順を示すフローチャートである。

【図6】実施の形態２における端末装置が実行する処理の手順を示すフローチャートである。

【図7】計測再開時の案内画面を示す模式図である。

【図8】実施の形態３における端末装置が実行する処理の手順を示すフローチャートである。

【図9】実施の形態３における再計測の案内画面を示す模式図である。

【図10】３次元空間モデルの作成手順を示すフローチャートである。

【図11】学習モデルの構成例を示す模式図である。

【発明を実施するための形態】

【0021】

本開示の本実施形態に係る空調関連機器及び空調システムを、以下に図面を参照しつつ説明する。本実施形態の概要は以下の通りである。
顧客の物件へ訪問し、空調関連の営業活動を行う際、実際の物件の条件における気流解析を行うことにより、実際に顧客物件で発生していると考えられる温度ムラや淀みなどの空気環境の問題を明らかにしたうえで機器の提案が可能となる。しかし、実際に気流解析を行うための流体計算用モデルを作成する場合、室内形状や什器の採寸及びモデル化、熱源などの条件の設定に多くの時間がかかっている。
上記課題を解決する手段として、流体計算用モデル自動作成手法を提案する。システム例としては、手持ちのデプスカメラ、カメラ、サーモグラフィ、スマートフォン一体型モジュールを用いて空間内を歩行しながら撮影し、空間内のデプス画像、画像、サーモグラフィ画像をスマートフォンに保存する。スマートフォンに保存したデータを情報処理装置１へ転送し、３次元再構成用のソフトを用いて３次元点群データを作成する。３次元点群データから床、壁、天井を検出し、面の空間モデルである流体計算用モデルを作成する。ここで、撮影画像に対して事前に機械学習により学習した画像認識を行うことによってオブジェクトの種類（空調機、什器等）と位置を特定し、３次元空間モデルに反映する。人が手持ちで撮影する代わりにお掃除ロボットやドローンなどを用いて撮影しても良い。

【0022】

（実施の形態１）
図１は実施の形態に係る情報処理システムの構成例を示すブロック図であり、図２は測定装置の模式的斜視図である。本実施形態に係る情報処理システムは、情報処理装置１、測定装置２、及び端末装置３を備える。情報処理システムは、少なくとも一部に面を有する空間を計測し、得られたデータに基づいて当該空間の環境を予測するための３次元空間モデルを半自動的に作成するものである。以下、モデル化対象の空間を対象空間ともいう。

【0023】

測定装置２は、ＲＧＢセンサ２１、深度センサ２２、ＩＲ投射器２３、赤外線カメラ２４、把持部２５、及び端末保持部２６を備える。本実施の形態において、測定装置２が備えるＲＧＢセンサ２１、深度センサ２２、ＩＲ投射器２３、赤外線カメラ２４は対象空間を計測する計測器の一例である。以下では、対象空間を計測する計測器を第１計測器ともいう。また、第１計測器の出力を第１計測値ともいう。

【0024】

ＲＧＢセンサ２１は、例えばＣＭＯＳセンサ、ＣＣＤセンサ等の撮像素子を有し、対象空間のカラー撮影するカメラである。ＲＧＢセンサ２１は動画を撮影することができる。ＲＧＢセンサ２１は、対象空間を撮像して得た時系列の画像データ（ＲＧＢデータ）を出力する。動画を構成する時系列の画像データには、撮像日時を示す時間データが含まれているものとする。

【0025】

深度センサ２２は、測定装置２から対象空間の壁面、対象空間に含まれる各種オブジェクトまでの距離（深度）を測定する。深度センサ２２は、測距して得られた深度を表す深度データを出力する。ＩＲ投射器２３は、より正確な深度データを得るために、赤外線を対象空間及びオブジェクトに投射するための素子である。

【0026】

赤外線カメラ２４は、赤外線撮像素子を有し、対象空間を赤外線にて撮影するカメラである。赤外線カメラ２４は、対象空間を撮像して得たサーモグラフィ画像データを出力する。

【0027】

把持部２５は、測定装置２の使用者（以下、単にユーザとも記載する）によって把持される棒状の部材である。端末保持部２６は、端末装置３を保持するための部材である。

【0028】

このように構成された測定装置２は、画像データ、深度データ及びサーモグラフィ画像データを端末装置３へ出力する。測定装置２は、画像データ、深度データ及びサーモグラフィ画像データを外部の可搬型の記憶装置に記憶させるようにしてもよい。測定装置２は、画像データ、深度データ及びサーモグラフィ画像データを直接的に情報処理装置１へ送信してもよい。

【0029】

端末装置３は、例えば、スマートフォン、タブレット端末等の可搬型の情報処理端末（コンピュータ）であり、処理部３１、記憶部３２、取得部３３、表示部３４、操作部３５、及び警報部３６を備える。

【0030】

処理部３１は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備える。処理部３１のＣＰＵは、ＲＯＭや記憶部３２に予め記憶された各種プログラムをＲＡＭに読み込んで実行することにより、上述した各種ハードウェアの動作を制御し、装置全体を本開示における評価装置として機能させる。

【0031】

処理部３１は、上記の構成に限定されるものではなく、例えば、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、量子プロセッサ、揮発性又は不揮発性のメモリ等を備える任意の処理回路であればよい。処理部３１は、日時情報を出力するクロック、計測開始指示を与えてから計測終了指示を与えるまでの経過時間を計測するタイマ、数をカウントするカウンタ等の機能を備えていてもよい。

【0032】

記憶部３２は、フラッシュメモリ、ハードディスクなどの記憶装置を備える。記憶部３２には、処理部３１によって実行される各種コンピュータプログラム、及びコンピュータプログラムの実行に必要なデータ等が記憶される。記憶部３２に記憶されるコンピュータプログラムには、第１計測器の挙動が第１計測値の取得へ与える影響を評価するための評価プログラムＰＧ等が含まれる。

【0033】

なお、記憶部３２に記憶されるプログラムは、例えば、当該プログラムを読み取り可能に記録した非一時的な記録媒体ＲＭにより提供される。記録媒体ＲＭは、ＣＤ－ＲＯＭ、ＵＳＢメモリ、ＳＤ（Secure Digital）カード、マイクロＳＤカード、コンパクトフラッシュ（登録商標）などの可搬型メモリである。処理部３１は、不図示の読取装置を用いて記録媒体ＲＭから各種プログラムを読み取り、読み取った各種プログラムを記憶部３２にインストールする。また、記憶部３２に記憶されるプログラムは、通信により提供されてもよい。この場合、処理部３１は、通信により各種プログラムを取得し、取得した各種プログラムを記憶部３２にインストールすればよい。

【0034】

取得部３３は、外部装置から各種のデータを取得するためのインタフェースを備える。取得部３３は、外部装置との間でデータを有線又は無線で送受信するための通信インタフェースを備えてもよく、可搬型の記憶装置からデータを読み出す読出回路を備えてもよい。取得部３３は、測定装置２から出力される画像データ、深度データ、及びサーモグラフィ画像データを取得することができる。

【0035】

表示部３４は、液晶ディスプレイ装置などを備えており、ユーザに対して報知すべき情報を表示する。操作部３５は、タッチパネルなどの入力インタフェースを備えており、ユーザによる操作を受付ける。

【0036】

警報部３６は、警報を出力する警報器を備える。警報部３６が備える警報器は、音による警報を出力するブザーであってもよく、振動による警報を出力するバイブレータであってもよく、光による警報を出力する発光素子であってもよい。代替的に、警報部３６は、文字や記号を表示部３４に表示させることによって、警報を出力する構成であってもよい。警報部３６は、処理部３１からの指示により警報を出力する。

【0037】

端末装置３は、更に、方位センサＳ１、速度センサＳ２、加速度センサＳ３、及び角速度センサＳ４を備える。方位センサＳ１は、例えば電子コンパス等の方位計であり、測定装置２の方位を示す方位データを出力する。速度センサＳ２は、例えばドップラー効果や空間フィルタ等を利用したセンサであり、互いに直交する３つの軸方向の測定装置２の速度を計測し、計測値のデータを出力する。加速度センサＳ３は、圧電型、ピエゾ抵抗型、静電容量型等のセンサであり、互いに直交する３軸方向の測定装置２の加速度を計測し、計測値のデータを出力する。角速度センサＳ４は、振動型、静電容量型等のセンサであり、互いに直交する３軸方向の測定装置２の角速度を計測し、計測値のデータを出力する。

【0038】

本実施の形態において、速度センサＳ２、加速度センサＳ３、及び角速度センサＳ４は、第１計測器の挙動を計測する計測器の一例である。以下では、第１計測器の挙動を計測する計測器を第２計測器ともいう。また、第２計測器の出力を第２計測値ともいう。

【0039】

第２計測器として角速度センサＳ４が好適に使用される。代替的に、第２計測器として速度センサＳ２が使用されてもよく、加速度センサＳ３が使用されてもよい。また、第２計測器として、速度センサＳ２、加速度センサＳ３、及び角速度センサＳ４の３つのセンサが使用されてもよく、何れか２つのセンサが使用されてもよい。このため、端末装置３には角度センサＳ４のみが搭載されてもよい。代替的に、端末装置３には速度センサＳ２のみが搭載されてもよく、加速度センサＳ３のみが搭載されてもよい。また、端末装置３には、速度センサＳ２、加速度センサＳ３、及び角速度センサＳ４の３つのセンサが搭載されてもよく、何れか２つのセンサが搭載されてもよい。これらのセンサは、端末装置３に外付けされてもよく、測定装置２に搭載されてもよい。

【0040】

端末装置３は、取得した画像データに基づき、測定装置２が撮像した画像を表示装置に表示させると共に、取得した第２計測値に基づき、第１計測器の挙動が第１計測値の取得へ与える影響を評価する。端末装置３は、第１計測値の取得へ与える影響が大きいと評価した場合、警報部３６より警報を出力し、ユーザに対して再計測を促す。端末装置３は、第１計測値の取得へ与える影響が小さいと評価した場合、取得した画像データ、深度データ、及びサーモグラフィ画像と、方位センサＳ１にて得られた方位データとを記憶し、適宜のタイミングで情報処理装置１へ送信する。端末装置３は、取得した画像データ、深度データ、及びサーモグラフィ画像と、方位センサＳ１にて得られた方位データとを可搬型の記憶装置に記憶させるように構成してもよい。

【0041】

このように構成された測定装置２によれば、ユーザは、測定装置２を把持し、対象空間内を移動し、また測定装置２を様々な方向へ向けることにより、対象空間の壁面、床面、天井面及びオブジェクトを複数の位置及び方向から撮像及び測距することができる。測定装置２は、対象空間内を複数の位置から測定して得られる対象空間データ、サーモグラフィ画像データ及び方位データを情報処理装置１へ提供する。

【0042】

情報処理装置１は、処理部１１、記憶部１２、取得部１３、表示部１４、及び操作部１５を備える。

【0043】

処理部１１は、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備えるプロセッサである。処理部１１は、物体検出及び画像認識に係る画像処理に特化したＧＰＵ、ＴＰＵ（Tensor Processing Unit）又はＡＩチップ（ＡＩ用半導体）などの１又は複数の演算回路を備えてもよい。処理部１１は、記憶部１２に記憶されたコンピュータプログラムを読み出して実行することにより、対象空間の３次元空間モデルを作成する。３次元空間モデルの作成に係る各機能部は、ソフトウェア的に実現してもよいし、一部又は全部をハードウェア的に実現してもよい。

【0044】

記憶部１２は、例えば、ハードディスク、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、フラッシュメモリなどのストレージである。記憶部１２は、処理部１１が実行する各種のプログラム、処理部１１の処理に必要な各種のデータを記憶する。本実施形態において記憶部１２は、少なくとも処理部１１が実行するコンピュータプログラムを記憶する。

【0045】

コンピュータプログラムは、情報処理装置１の製造段階において記憶部１２に書き込まれる態様でもよいし、他の情報処理装置１などからネットワークを介して配信される態様でもよい。情報処理装置１は通信にてコンピュータプログラムを取得して記憶部１２に書き込む。コンピュータプログラムは、フラッシュメモリなどの半導体メモリ、光ディスク、光磁気ディスク、磁気ディスクなどの記録媒体に読み出し可能に記録された態様でもよい。情報処理装置１は、図に示していない読取装置を用いて記録媒体からコンピュータプログラムを読み出し、読み出したコンピュータプログラムを記憶部１２に記憶させる。

【0046】

取得部１３は、外部装置との間でデータを有線又は無線で送受信する通信回路、又は可搬型の記憶装置からデータを読み出す読出回路である。情報処理装置１は、取得部１３を介して測定装置２から画像データ、深度データ、サーモグラフィ画像データ、方位データ等を取得する。

【0047】

情報処理装置１は、取得部１３を介して、対象空間における換気装置の吸込口又は吹出口に関連するダクト系統を表したダクト系統図データを外部装置から取得してもよい。ダクト系統図データは、ダクト系統の方向を表す方向情報と、ダクト系統の外形を示す外形情報とを含む。外形情報には、空調機又は換気装置の吸込口又は吹出口の位置を示す情報が含まれている。

【0048】

情報処理装置１は、取得部１３を介して、対象空間の配管系統図を表した配管系統図データを外部装置から取得してもよい。配管系統図データは、配管系統の方向を表す方向情報と、配管系統の外形を示す外形情報とを含む。配管系統図データは、室内機の位置、空調機の熱境界条件に係る情報等を含む。

【0049】

情報処理装置１は、取得部１３を介して、対象空間の外気温時系列データ、対象空間における日照量時系列データを外部装置から取得してもよい。

【0050】

表示部１４は、例えば液晶表示パネル、有機ＥＬ表示パネルなどの表示装置である。処理部１１は、３次元空間モデルに係る画像を表示部１４に表示する。

【0051】

操作部１５は、情報処理装置１のユーザの操作を受け付けるマウス、キーボード、タッチパネルなどの入力装置である。処理部１１は、操作部１５を介してユーザによる３次元空間モデルの編集等を受け付ける。

【0052】

なお、情報処理装置１は、ネットワークに接続されたサーバ装置であっても良い。情報処理装置１は、クライアント装置と、サーバ装置とで構成してもよい。情報処理装置１は、複数台のコンピュータで構成し分散処理する構成でもよいし、１台のサーバ内に設けられた複数の仮想マシンによって実現されていてもよいし、クラウドサーバを用いて実現されていてもよい。また、情報処理装置１は端末装置３であってもよい。つまり、端末装置３が情報処理装置１として機能するように構成してもよい。

【0053】

図３は端末装置３が提供するインタフェース画面３４０の一例を示す模式図である。端末装置３の処理部３１は、測定装置２によって対象空間を計測する際、図３に示すようなインタフェース画面３４０を表示部３４に表示させる。インタフェース画面３４０は、例えば、画像表示欄３４１、録画開始ボタン３４２、表示切替ボタン３４４、録画一覧表示ボタン３４６、録画時間表示欄３４８、及びインジケータ３５０を備える。

【0054】

画像表示欄３４１は、測定装置２のＲＧＢセンサ２１より得られる画像（ＲＧＢ３色のカラー画像）若しくは深度センサ２２より得られる画像（デプス画像）を表示する。

【0055】

録画開始ボタン３４２は、ユーザによる録画開始指示を受付けるソフトウェアボタンである。録画開始ボタン３４２が押下操作されると、処理部３１は、取得部３３より取得した第１計測値（ＲＧＢセンサ２１から出力される画像データ、深度センサ２２から出力される深度データ、赤外線カメラ２４から出力されるサーモグラフィ画像データ）を記憶部３２に記憶させる。

【0056】

表示切替ボタン３４４は、ユーザによる表示切替指示を受付けるソフトウェアボタンである。表示切替ボタン３４４が押下操作される都度、処理部３１は、画像表示欄３４１における画像表示を、ＲＧＢ３色のカラー画像と、デプス画像との間で切り替える。

【0057】

録画一覧表示ボタン３４６は、録画済みのファイルを一覧で表示させるためのソフトウェアボタンである。録画一覧表示ボタン３４６が押下操作されると、処理部３１は、画像表示に代えて、録画済みのファイルの一覧を表示部３４に表示させる。一覧から録画済みのファイルが選択されると、処理部３１は、選択されたファイルを読み出し、画像表示欄３４１に画像（ＲＧＢ３色のカラー画像若しくはデプス画像）を表示させる。

【0058】

録画時間表示欄３４８は、録画開始ボタン３４２が押下操作されてからの経過時間（録画時間）を表示する。録画時間表示欄３４８は、ｆｐｓ（frames per Second）等の値を表示してもよい。ｆｐｓの値は固定値であってもよく、リアルタイムで変化する値であってもよい。

【0059】

インジケータ３５０は、第２計測値を表示する。図３では、加速度センサＳ３により計測される加速度の大きさをインジケータ３５０で表示した例を示している。この例では、インジケータ３５０に示されるバー３５１の長さが加速度の大きさを表している。加速度の大きさ（数値）そのものをインジケータ３５０に表示してもよい。

【0060】

代替的に、加速度センサＳ３により計測される３軸方向の加速度の値（３つの値）をインジケータ３５０で表示してもよい。また、速度センサＳ２により計測される速度の大きさ若しくは各軸方向の速度の値をインジケータ３５０で表示してもよく、角速度センサＳ４により計測される角速度の大きさ若しくは各軸方向の角速度の値をインジケータ３５０で表示してもよい。

【0061】

端末装置３の処理部３１は、第２計測値を常時監視し、第２計測値が設定値を超えたか否かを判断する。第２計測値が設定値を超えた場合、処理部３１は、警報を出力する。図４は警報出力時の画面例を示す模式図である。図４は録画が開始された後のインタフェース画面３４０を示している。図４の画面例では、録画開始ボタン３４２に代えて録画停止ボタン３４３が表示され、録画一覧表示ボタン３４６に代えて終了確認ボタン３４７が表示されている。

【0062】

録画停止ボタン３４３は、ユーザによる録画停止指示を受付けるソフトウェアボタンである。録画停止ボタン３４３が押下操作されると、処理部３１は、取得部３３より取得した第１計測値（ＲＧＢセンサ２１から出力される画像データ、深度センサ２２から出力される深度データ、赤外線カメラ２４から出力されるサーモグラフィ画像データ）の記録を一時的に停止させる。

【0063】

終了確認ボタン３４７は、ユーザによる録画終了指示を受付けるソフトウェアボタンである。終了確認ボタン３４７が押下操作されると、処理部３１は、録画を終了しても良いか否かをユーザに確認する画面を表示部３４に表示させ、ユーザにより録画終了が確認された場合、録画を終了する。録画を終了した場合、処理部３１は、ＲＧＢセンサ２１から出力される画像データ、深度センサ２２から出力される深度データ、及び赤外線カメラ２４から出力されるサーモグラフィ画像データをファイルとして記憶部３２に記憶させる。

【0064】

上述したように、端末装置３の処理部３１は、第２計測値を常時監視しており、第２計測値が設定値を超えた場合、警報を出力する。図４の画面例は、第２計測値が設定値を超えており、メッセージ欄３５２に計測が失敗する可能性がある旨、及び測定装置２をゆっくり動かすべき旨のメッセージを表示した例を示している。図４の例では、文字のみによるメッセージを示しているが、記号を含んだメッセージを表示してもよい。また、処理部３１は、インジケータ３５０におけるバー３５１の色を目立つ色に変更（例えば、緑色から黄色又は赤色に変更）して、第２計測値が設定値を超えたことをユーザに提示してもよい。更に、処理部３１は、警報部３６から警報を出力してもよい。

【0065】

図５は実施の形態１における端末装置３が実行する処理の手順を示すフローチャートである。端末装置３の処理部３１は、取得部３３を通じて第１計測値を取得する（ステップＳ１０１）。すなわち、処理部３１は、ＲＧＢセンサ２１から出力される画像データ、深度センサ２２から出力される深度データ、及び赤外線カメラ２４から出力されるサーモグラフィ画像データを取得する。処理部３１は、インタフェース画面３４０が表示部３４に表示されたことを契機に第１計測値を取得してもよく、ユーザによる取得指示が与えられたことを契機に第１計測値を取得してもよい。処理部３１は、インタフェース画面３４０を表示部３４に表示させ、取得した第１計測値に基づく画像を画像表示欄３４１に表示させる（ステップＳ１０２）。

【0066】

処理部３１は、第２計測値を取得する（ステップＳ１０３）。すなわち、処理部３１は、速度センサＳ２より出力される速度のデータ、加速度センサＳ３より出力される加速度のデータ、及び角速度センサＳ４より出力される角速度のデータの少なくとも１つを取得すればよい。本フローチャートでは、第１計測値を取得した後に、第２計測値を取得する手順としたが、これらの手順は前後してもよく、同時並行的に実施してもよい。

【0067】

処理部３１は、取得した第２計測値と設定値とを比較し（ステップＳ１０４）、比較結果に応じて警報を出力する（ステップＳ１０５）。実施の形態において、第２計測値に対する設定値は記憶部３２に記憶されているものとする。代替的に、処理部３１は、操作部３５を通じて設定値を受付け、受付けた設定値を記憶部３２に記憶させてもよい。また、取得部１３を介して、過去の計測の評価結果に基づいて算出された設定値を受け付けてもよい。過去の計測の評価結果に基づいて算出された設定値とは、例えば、撮影時に第２計測値を時系列に記憶部３２へと記憶しておき、３次元空間モデル作成時に得られた３次元点群の密度やモデル可否情報と各時刻の第２計測値とから、第２計測値が３次元空間モデルに影響を与えないよう算出される値を表す。設定値は、速度、加速度、角速度のそれぞれについて設定されてもよい。ステップＳ１０５において、処理部３１は、第２計測値が設定値よりも大きいと判断した場合に警報を出力する。例えば、処理部３１は、図４に示すようなメッセージを表示することによって警報を出力してもよく、警報部３６を作動させることによって警報を出力してもよい。また、設定値は第１計測値（ＲＧＢセンサ２１から出力される画像データ、深度センサ２２から出力される深度データ、赤外線カメラ２４から出力されるサーモグラフィ画像データ）の取得項目ごとにフレームレートが異なることなどによって、項目ごとに設定値が異なることがある。この場合、取得項目ごとに設定値が設定されてもよく、各設定値の大きさを比較し、一番値が低い条件を基に警報を出力してもよい。

【0068】

処理部３１は、第２計測値に基づき、第１計測器の挙動が第１計測値へ与える影響を評価する（ステップＳ１０６）。処理部３１は、ステップＳ１０４で第２計測値と設定値とを比較した結果、第２計測値が設定値以下と判断した場合、第１計測値へ与える影響が小さいと評価し、第２計測値が設定値より大きいと判断した場合、第１計測値へ与える影響が大きいと評価する。

【0069】

第１計測値へ与える影響が小さいと評価した場合（Ｓ１０７：ＹＥＳ）、処理部３１は、計測終了か否かを判断する（ステップＳ１０８）。インタフェース画面３４０で終了確認ボタン３４７が押下操作され、ユーザにより終了が確認された場合、処理部３１は、計測終了と判断する。計測が終了していないと判断した場合（Ｓ１０８：ＮＯ）、処理部３１は、処理をステップＳ１０１へ戻し、計測を継続する。

【0070】

計測終了と判断した場合（Ｓ１０８：ＹＥＳ）、処理部３１は、ステップＳ１０１で取得した第１計測値（ＲＧＢセンサ２１から出力される画像データ、深度センサ２２から出力される深度データ、及び赤外線カメラ２４から出力されるサーモグラフィ画像データ）や方位センサＳ１より得られる方位データを、情報処理装置１へ送信する（ステップＳ１０９）。

【0071】

ステップＳ１０７で第１計測値へ与える影響が大きいと評価した場合（Ｓ１０７：ＮＯ）、処理部３１は、ステップＳ１０１で取得した第１計測値や方位センサＳ１より得られる方位データを情報処理装置１へ送信したりすることなく、本フローチャートによる処理を終了する。

【0072】

上述したように、第１計測値の取得へ与える影響が小さいと評価した場合、第１計測値（ＲＧＢセンサ２１から出力される画像データ、深度センサ２２から出力される深度データ、及び赤外線カメラ２４から出力されるサーモグラフィ画像データ）や方位センサＳ１より得られる方位データは情報処理装置１へ送信される。情報処理装置１は、端末装置３より取得したデータに基づき、対象空間の環境を予測するための３次元空間モデルを半自動的に作成する。３次元空間モデルの作成には既存の手法が用いられる。

【0073】

以上のように、実施の形態１では、第１計測器の挙動を示す第２計測値に基づき、第１計測器の挙動が第１計測値の取得へ与える影響を評価するので、情報処理装置１で３次元空間モデルを作成することなく、計測に不備がある旨をユーザに通知できる。

【0074】

（実施の形態２）
実施の形態２では、第１計測器の挙動が第１計測値の取得へ与える影響が大きい場合、計測を停止させ、その後、再計測を案内する構成について説明する。
情報処理システムの構成や端末装置３などの構成は、実施の形態１と同様であるため、その説明を省略する。

【0075】

図６は実施の形態２における端末装置３が実行する処理の手順を示すフローチャートである。端末装置３の処理部３１は、実施の形態１と同様の手順にて第１計測値及び第２計測値を取得し、第２計測値と設定値とを比較する（ステップＳ２０１～Ｓ２０４）。処理部３１は、第２計測値と設定値との比較結果に応じて、第１計測器による計測を停止させる（ステップＳ２０５）。端末装置３は、測定装置２に対して計測停止指示を与えることにより、測定装置２による計測を停止させる。計測を停止させない場合、処理部３１はステップＳ２０８以降の処理を実行する。

【0076】

第１計測器による計測を停止させた後、処理部３１は、計測を再開させるか否かを判断する（ステップＳ２０６）。処理部３１は、第１計測器による計測を停止させた後も第２計測値を随時取得し、第２計測値が設定値未満となったか否かを判断することにより、計測を再開させるか否かを判断する。第２計測値が設定値より大きい場合（Ｓ２０６：ＮＯ）、処理部３１は、計測を再開させることなく待機する。

【0077】

第２計測値が設定値未満となった場合、計測を再開させると判断し（Ｓ２０６：ＹＥＳ）、処理部３１は、再計測を案内して計測を再開させる（ステップＳ２０７）。図７は計測再開時の案内画面を示す模式図である。図７は、計測を再開する旨のメッセージをインタフェース画面３４０に重畳して表示した例を示している。代替的に、処理部３１は、音声を出力することによって計測再開を案内してもよい。計測が再開された場合、処理部３１は、ステップＳ２０１～Ｓ２０４の処理を再度実行する。

【0078】

次いで、処理部３１は、計測を終了するか否かを判断する（ステップＳ２０８）。インタフェース画面３４０で終了確認ボタン３４７が押下操作され、ユーザにより終了が確認された場合、処理部３１は、計測終了と判断する。計測が終了していないと判断した場合（Ｓ２０８：ＮＯ）、処理部３１は、処理をステップＳ２０１へ戻し、計測を継続する。

【0079】

計測終了と判断した場合（Ｓ２０８：ＹＥＳ）、処理部３１は、ステップＳ２０１で取得した第１計測値（ＲＧＢセンサ２１から出力される画像データ、深度センサ２２から出力される深度データ、及び赤外線カメラ２４から出力されるサーモグラフィ画像データ）や方位センサＳ１より得られる方位データを、情報処理装置１へ送信する（ステップＳ２０９）。

【0080】

情報処理装置１は、端末装置３より取得したデータに基づき、対象空間の環境を予測するための３次元空間モデルを半自動的に作成する。３次元空間モデルの作成には既存の手法が用いられる。

【0081】

以上のように、実施の形態２では、第１計測器の挙動が第１計測値の取得へ与える影響が大きい場合、一時的に計測を停止させ、その後、計測が成功するタイミングで計測再開を案内できる。

【0082】

実施の形態１では、第２計測値と設定値との比較結果に応じて警報を出力する構成とし、実施の形態２では、第２計測値と設定値との比較結果に応じて一時的に計測を停止させる構成とした。代替的に、２つの設定値（以下、第１設定値及び第２設定値とし、第１設定値＜第２設定値とする）を用意しておき、第２計測値＞第１設定値、かつ、第２計測値≦第２設定値の場合、警報を出力し、第２計測値＞第２設定値の場合、一時的に計測を停止させ、その後、計測が成功するタイミング（例えば第２計測値＜第１設定値となったタイミング）で計測を再開させる構成としてもよい。

【0083】

（実施の形態３）
実施の形態３では、第１計測器の挙動が第１計測値の取得へ与える影響が大きい場合、計測を停止させ、その後、設定距離だけ遡った地点からの再計測を案内する構成について説明する。
情報処理システムの構成や端末装置３などの構成は、実施の形態１と同様であるため、その説明を省略する。

【0084】

図８は実施の形態３における端末装置３が実行する処理の手順を示すフローチャートである。端末装置３の処理部３１は、実施の形態１と同様の手順にて第１計測値及び第２計測値を取得し、第２計測値と設定値とを比較する（ステップＳ３０１～Ｓ３０４）。処理部３１は、第２計測値と設定値との比較結果に応じて、第１計測器による計測を停止させる（ステップＳ３０５）。端末装置３は、測定装置２に対して計測停止指示を与えることにより、測定装置２による計測を停止させる。計測を停止させない場合、処理部３１はステップＳ３０９以降の処理を実行する。

【0085】

第１計測器による計測を停止させた後、処理部３１は、設定距離だけ遡った地点からの再計測を案内する（ステップＳ３０６）。図９は実施の形態３における再計測の案内画面を示す模式図である。図９は、１メートル遡った地点からの再計測を促すメッセージをインタフェース画面３４０に重畳して表示した例を示している。代替的に、処理部３１は、音声を出力することによって再計測を案内してもよい。なお、ユーザが遡る距離は任意であり、事前に設定されて記憶部３２に記憶されているものとする。代替的に、処理部３１は、第２計測値が悪化し始めてからの経過時間と、速度センサＳ２により計測される速度とに基づき、遡る距離を計算により求めてもよい。

【0086】

処理部３１は、計測を再開させるか否かを判断する（ステップＳ３０７）。ユーザが設定距離だけ遡り、第２計測値が設定値未満となった場合、処理部３１は、計測を再開させると判断する。ユーザが設定距離だけ遡ったか否かはユーザの自己申告で判断すればよい。例えば図９に示す案内画面にて準備完了ボタン３５３が押下操作された場合、ユーザが設定距離だけ遡ったと判断すればよい。計測を再開させないと判断した場合（Ｓ３０７：ＮＯ）、処理部３１は、再開可能となるまで待機する。

【0087】

計測を再開させると判断した場合（Ｓ３０７：ＹＥＳ）、処理部３１は、計測を再開させる（ステップＳ３０８）。計測を再開させた場合、処理部３１は、ステップＳ３０１～Ｓ３０４の処理を再度実行する。

【0088】

次いで、処理部３１は、計測を終了するか否かを判断する（ステップＳ３０９）。インタフェース画面３４０で終了確認ボタン３４７が押下操作され、ユーザにより終了が確認された場合、処理部３１は、計測終了と判断する。計測が終了していないと判断した場合（Ｓ３０９：ＮＯ）、処理部３１は、処理をステップＳ３０１へ戻し、計測を継続する。

【0089】

計測終了と判断した場合（Ｓ３０９：ＹＥＳ）、処理部３１は、ステップＳ３０１で取得した第１計測値（ＲＧＢセンサ２１から出力される画像データ、深度センサ２２から出力される深度データ、及び赤外線カメラ２４から出力されるサーモグラフィ画像データ）や方位センサＳ１より得られる方位データを、情報処理装置１へ送信する（ステップＳ３１０）。

【0090】

情報処理装置１は、端末装置３より取得したデータに基づき、対象空間の環境を予測するための３次元空間モデルを半自動的に作成する。３次元空間モデルの作成には既存の手法が用いられる。

【0091】

以上のように、実施の形態３では、第１計測器の挙動が第１計測値の取得へ与える影響が大きい場合、一時的に計測を停止させ、設定距離だけ遡った位置から計測を再開させるので、３次元空間モデルを作成するのに適したデータを収集できる。

【0092】

実施の形態３では、第１計測器の挙動が第１計測値の取得へ与える影響が大きい場合、一時的に計測を停止させて設定距離だけ遡るように案内する構成としたが、計測を停止させずに、計測を行ったまま設定距離だけ遡るように案内してもよい。

【0093】

実施の形態１では、第２計測値と設定値との比較結果に応じて警報を出力する構成とし、実施の形態３では、第２計測値と設定値との比較結果に応じて設定距離だけ遡った地点からの再計測を案内する構成とした。代替的に、２つの設定値（以下、第１設定値及び第２設定値とし、第１設定値＜第２設定値とする）を用意しておき、第２計測値＞第１設定値、かつ、第２計測値≦第２設定値の場合、警報を出力し、第２計測値＞第２設定値の場合、一時的に計測を停止させ（若しくは計測を停止させずに）、設定距離だけ遡った地点からの再計測を案内する構成としてもよい。

【0094】

（実施の形態４）
実施の形態４では、端末装置３にて３次元空間モデルを作成する構成について説明する。
情報処理システムの構成や端末装置３などの構成は、実施の形態１と同様であるため、その説明を省略する。

【0095】

図１０は３次元空間モデルの作成手順を示すフローチャートである。端末装置３の処理部３１は、測定装置２より取得した画像データ及び深度データに基づき、対象空間の３次元点群を復元する（ステップＳ４０１）。処理部３１は、例えば、入力画像から疎な点群を幾何学的に推定するＳｆＭ（Structure from Motion）と、ＳｆＭ点群に基づき高密度点群を生成するＭＶＳ（Multi-View Stereo）とを用いて、３次元点群を復元することができる。３次元点群の復元手法は、ＳｆＭ及びＭＶＳに限らず、既存の手法が用いられる。

【0096】

処理部３１は、生成した３次元点群データに基づいて、流体計算用の３次元空間モデルを生成する（ステップＳ４０２）。処理部１１は、例えば、自己位置推定技術及び視線方向推定技術を用いて、対象空間の壁面、床面、天井面に相当する平面、各種機器、什器等のオブジェクトの外面に相当する平面、各平面の位置を特定することができ、複数の面で構成される３次元空間モデルを生成する。

【0097】

処理部３１は、対象空間に含まれるオブジェクトの位置及びクラスを認識する（ステップＳ４０３）。本実施の形態において、認識すべきオブジェクトは、対象空間の環境に影響を及ぼす物であり、例えば、什器、建具、人、産業機械、植物、空調機、換気装置等を含む。什器は、コンピュータ、モニタ、照明器具、ヒータ、及び椅子の少なくとも一つを含む。建具は、窓、ブラインド、間仕切り、ドアの少なくとも一つを含む。処理部３１は、例えば、機械学習の学習モデルＭＤ（図１１を参照）を用いて、対象空間に含まれるオブジェクトの位置及びクラス（属性）を認識する。

【0098】

図１１は学習モデルＭＤの構成例を示す模式図である。学習モデルＭＤは、例えば深層学習による学習済みの畳み込みニューラルネットワーク（ＣＮＮ：Convolutional neural network）を含む。学習モデルＭＤは、対象空間の画像データが入力される入力層Ｌ１と、画像データの特徴量を抽出する中間層Ｌ２と、検出されたオブジェクトに係る推論結果を出力する出力層Ｌ３とを有する。学習モデルＭＤは、例えばＹＯＬＯによるモデルである。

【0099】

学習モデルＭＤの入力層Ｌ１は、画像データ、つまり、対象空間及びオブジェクトの表面の画像を構成する各画素の画素値の入力を受け付ける複数のノードを有し、入力された画素値を中間層Ｌ２に受け渡す。

【0100】

中間層Ｌ２は、複数組みの畳み込み層（ＣＯＮＶ層）及びプーリング層と、全結合層とを有する。畳み込み層は、前層のノードから出力された値に対してフィルタ処理を実行し、特徴マップを抽出する。プーリング層は、畳み込み層から出力された特徴マップを縮小して新たな特徴マップを得る。

【0101】

出力層Ｌ３は、画像データから検出されたオブジェクトに係る最終的な推論結果を出力するノードを有する。推論結果は、オブジェクトを囲むバウンディングボックスの中心座標位置及び縦横サイズ、バウンディングボックスで囲まれた画像がオブジェクトの画像であることの確からしさを示す物体検出スコアと、オブジェクトが特定のクラスに属する確からしさを示すクラススコアなどを含む。

【0102】

このような学習モデルＭＤは、既存の手法を用いて学習され、学習済みの学習モデルＭＤが端末装置３の記憶部３２に記憶されているものとする。処理部１１は、取得した画像データを学習済みの学習モデルＭＤに入力し、学習モデルＭＤによる演算を実行することによって、画像データに含まれるオブジェクトの位置及びクラス（属性）を認識する。

【0103】

本実施の形態では、端末装置３が学習モデルＭＤを備え、端末装置３の処理部３１において学習モデルＭＤによる演算を実行する構成としたが、情報処理装置１若しくは外部サーバが学習モデルＭＤを備え、端末装置３からの指示によって情報処理装置１若しくは外部サーバに学習モデルＭＤによる演算を実行させる構成としてもよい。この場合、端末装置３は、測定装置２から取得した画像データを情報処理装置１若しくは外部サーバへ送信し、学習モデルＭＤによる演算結果を情報処理装置１若しくは外部サーバから取得すればよい。

【0104】

処理部１１は、ステップＳ４０３でオブジェクトを認識した後、温度分布データを３次元空間モデルに反映させる（ステップＳ４０４）。処理部１１は、認識したオブジェクト毎に温度分布を特定し、認識したオブジェクトと特定した温度分布と対応付けることによって、温度分布データを３次元空間モデルに反映させる。また、処理部１１は、取得した方位データに基づく情報を３次元空間モデルに付与する（ステップＳ４０５）。温度分布及び方位情報が付与された３次元空間モデルは、記憶部１２に記憶される。

【0105】

本実施の形態では、３次元点群の復元、３次元空間モデルの生成、オブジェクトの認識を端末装置３の内部で実行する構成としたが、情報処理装置１若しくは外部サーバにこれらの処理を実行させる構成としてもよい。この場合、演算用のプログラムや学習モデルＭＤは情報処理装置１若しくは外部サーバに記憶される。端末装置３は測定装置２から取得した画像データや深度データを情報処理装置１若しくは外部サーバへ送信し、情報処理装置１若しくは外部サーバに演算を実行させることによって、３次元空間モデルやオブジェクトの認識結果を取得すればよい。

【0106】

以上のように、実施の形態４では、認識したオブジェクトの属性及び位置を反映した３次元空間モデルを作成することができる。

【0107】

今回開示された実施形態は、全ての点において例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。

【符号の説明】

【0108】

２ 測定装置
３ 端末装置
２１ ＲＧＢセンサ
２２ 深度センサ
２３ ＩＲ投射器
２４ 赤外線カメラ
３１ 処理部
３２ 記憶部
３３ 取得部
３４ 表示部
３５ 操作部
Ｓ１ 方位センサ
Ｓ２ 速度センサ
Ｓ３ 加速度センサ
Ｓ４ 角速度センサ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】