特開 2024-529 情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024000529

(43)【公開日】2024-01-05

(54)【発明の名称】情報処理装置

(51)【国際特許分類】

   G06T 7/20 20170101AFI20231225BHJP

   G06T 7/215 20170101ALI20231225BHJP

【ＦＩ】

G06T7/20 100

G06T7/215

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023098803

(22)【出願日】2023-06-15

(31)【優先権主張番号】P 2022098709

(32)【優先日】2022-06-20

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】520305432

【氏名又は名称】株式会社ＳｏｆｔＲｏｉｄ

(74)【代理人】

【識別番号】110002789

【氏名又は名称】弁理士法人ＩＰＸ

(72)【発明者】

【氏名】野▲埼▼ 大幹

(72)【発明者】

【氏名】吉田 岳人

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA04

5L096FA19

5L096FA69

5L096HA03

5L096HA05

5L096MA01

(57)【要約】      （修正有）

【課題】自己位置推定の精度を向上させる情報処理装置を提供する。
【解決手段】情報処理装置における取得ステップＳ１１では、物体から届く電磁波を測定するセンサを有する測定装置が移動しながら移動経路の各位置において測定した測定データを取得する。推定ステップＳ１５では、取得した測定データに基づいて測定装置の移動経路の推定を行い、取得した測定データから推定のノイズを特定し、特定されたノイズを除いて移動経路を推定する。
【選択図】図１１

【特許請求の範囲】

【請求項1】

情報処理装置であって、
取得ステップでは、物体から届く電磁波を測定するセンサを有する測定装置が移動しながら移動経路の各位置において測定した測定データを取得し、
推定ステップでは、取得された前記測定データに基づいて前記測定装置の前記移動経路の推定を行い、
特定ステップでは、取得された前記測定データから前記推定のノイズを特定し、
前記推定ステップでは、特定された前記ノイズを除いて前記移動経路を推定する、もの。

【請求項2】

請求項１に記載の情報処理装置において、
前記ノイズは、動いている物体が測定されている領域である、もの。

【請求項3】

請求項２に記載の情報処理装置において、
前記特定ステップでは、特定の形状の物体を前記動いている物体とみなす、もの。

【請求項4】

請求項１～請求項３の何れか１つに記載の情報処理装置において、
前記ノイズは、扉が測定されている領域である、もの。

【請求項5】

請求項１～請求項４の何れか１つに記載の情報処理装置において、
前記測定装置は、撮像装置であり、
前記測定データは、複数のフレームを有する動画データであり、
前記特定ステップでは、取得された前記測定データに含まれるフレームのうち、当該フレームに映る画像の品質が所定の基準未満のフレームを前記ノイズとして特定する、もの。

【請求項6】

請求項１～請求項５の何れか１つに記載の情報処理装置において、
前記測定装置は、撮像装置であり、
前記測定データは、時系列に並べられた複数の測定結果を示すデータであり、前記複数の測定結果の各々は、２次元座標系の所定の範囲に配置される測定結果の集合によって表され、
前記特定ステップでは、前記複数の測定結果の各々において特定の特徴を有する領域を前記ノイズとして特定し、前記ノイズが特定された２つの測定結果に挟まれた測定結果において前記ノイズが特定されなかった場合、当該挟まれた測定結果において前記領域に相当する領域を前記ノイズとして特定する、もの。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置に関する。

【背景技術】

【0002】

特許文献１には、クエリ画像の撮像所件及び特徴量と参照画像の撮像条件及び特徴量に基づいて、クエリ画像に参照画像を対応付け、クエリ画像に対応付けられた参照画像を撮像した第２の撮像装置の位置及び姿勢を利用して、クエリ画像を撮像した第１の撮像装置の位置及び姿勢の少なくとも一方を示す自己位置を算出する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１４０３１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の技術のように、測定装置による測定結果に基づいて自己位置を推定する技術においては、推定の精度を低下させる様々な要因がある。例えば、撮影者が撮像装置で撮影しながら移動して、撮影された画像から自己位置を推定する場合、撮影者と撮像装置との相対位置は大きくは変わらないため、撮影者が画像に映っていると、自己位置推定の精度を低下させる要因となる。

【0005】

本発明では上記事情に鑑み、自己位置推定の精度を向上させることとした。

【課題を解決するための手段】

【0006】

本発明の一態様によれば、情報処理装置が提供される。この情報処理装置における取得ステップでは、物体から届く電磁波を測定するセンサを有する測定装置が移動しながら移動経路の各位置において測定した測定データを取得する。推定ステップでは、取得された測定データに基づいて測定装置の移動経路の推定を行う。特定ステップでは、取得された測定データから推定のノイズを特定する。推定ステップでは、特定されたノイズを除いて移動経路を推定する。

【0007】

このような態様によれば、自己位置推定の精度を向上させることができる。

【図面の簡単な説明】

【0008】

【図1】工事支援システム１の全体構成を示す図である。

【図2】サーバ装置１０のハードウェア構成を示す図である。

【図3】現場端末２０のハードウェア構成を示す図である。

【図4】撮像装置３０のハードウェア構成を示す図である。

【図5】遠隔端末４０のハードウェア構成を示す図である。

【図6】各装置の制御部の機能構成を示す図である。

【図7】測定データの一例を示す図である。

【図8】特定されたノイズの一例を示す図である。

【図9】ノイズを除いて抽出された特徴点の一例を示す図である。

【図10】取得処理の一例を示すアクティビティ図である。

【図11】解析処理の一例を示すフロー図である。

【図12】ノイズ管理データの一例を示す図である。

【図13】特定されたノイズの一例を示す図である。

【図14】補間されたノイズの一例を示す図である。

【図15】更新されたノイズ管理データの一例を示す図である。

【図16】更新されたノイズ管理データの別の一例を示す図である。

【発明を実施するための形態】

【0009】

以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。

【0010】

ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体（Ｎｏｎ－Ｔｒａｎｓｉｔｏｒｙ Ｃｏｍｐｕｔｅｒ－Ｒｅａｄａｂｌｅ Ｍｅｄｉｕｍ）として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。

【0011】

また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０又は１で構成される２進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。

【0012】

また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。

【0013】

１．ハードウェア構成
本節では、本実施形態に係る工事支援システムのハードウェア構成について説明する。

【0014】

図１は、工事支援システム１の全体構成を示す図である。図１においては、工事支援システム１が備える各装置と、それらの装置を使用するユーザとの概要が示されている。各概要については、他の図も参照しながら随時説明する。

【0015】

工事支援システム１は、建築等の工事を支援するための処理を実行する情報処理システムである。工事支援システム１は、通信回線２と、自撮り棒３と、外付けバッテリー４と、外部電源５と、ブレーカ６と、サーバ装置１０と、現場端末２０と、撮像装置３０と、遠隔端末４０とを備える。

【0016】

通信回線２は、インターネット等を含み、自回線に接続する装置同士のデータのやり取りを仲介する。通信回線２には、サーバ装置１０が有線で接続され、現場端末２０及び遠隔端末４０が無線で接続されている。本実施形態では、現場端末２０は、移動体通信で通信回線２と通信を行う。また、現場端末２０は、撮像装置３０と２通りの通信方法を用いて無線通信を行う。２通りの通信方法は、本実施形態では、Ｗｉ－Ｆｉ通信及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）通信である。

【0017】

現場端末２０及び撮像装置３０は、工事現場に設置され、例えば、現場作業員Ｗ１によって利用される。遠隔端末４０は、例えば、工事現場を担当する工事監督Ｗ２によって利用され、工事現場から離れた場所でも利用されることが想定される端末である。

【0018】

現場端末２０は、ケーブルによって、外付けバッテリー４を介して外部電源５と接続されている。撮像装置３０は、ケーブル及びコネクタ７によって、外付けバッテリー４を介して外部電源５と着脱可能に接続されている。言い換えると、外部電源５は、着脱可能に接続される撮像装置３０にも電力を供給する。外付けバッテリー４は、充電しながら給電を行うことが可能ないわゆるパススルー機能を有しており、ブレーカ６がオンになった状態では外部電源５から供給される電力で充電されながら現場端末２０及び撮像装置３０への給電を行う。

【0019】

撮像装置３０は、イメージセンサを備えるデジタルカメラであり、イメージセンサにより測定された光が示す画像を撮影する。撮像装置３０は、本実施形態では、上下左右前後の全方位を撮影可能な３６０度カメラである。撮像装置３０は、センサを備える測定装置の一例である。撮像装置３０は、自撮り棒３に取り付けられており、その自撮り棒３は、工事現場に設置されたスタンド８に差し込んで固定することができるようになっている。

【0020】

現場作業員Ｗ１がコネクタ７を外してスタンド８から抜き取った自撮り棒３を持って工事現場を歩き回ることで、工事現場を３６０度カメラで撮影した画像を示す画像データが生成される。工事支援システム１においては、撮像装置３０が撮影する画像は、本実施形態では動画像であるが、工事現場の各所の画像を得ることができるのであれば、連続して撮影される静止画像であってもよい。撮像装置３０は、生成した画像データを現場端末２０に送信する。

【0021】

現場端末２０は、現場作業員Ｗ１への主なユーザインターフェースとなる端末であり、例えば、スマートフォンである。現場端末２０は、例えば、上記の２通りの通信方法のうちの一方（本実施形態ではＢＬＥ通信）を用いて、撮像装置３０の動作を制御する。また、現場端末２０は、上記の２通りの通信方法のうちの一方（本実施形態ではＷｉ－Ｆｉ通信）により撮像装置３０から送信されてきた画像データを、さらに別の無線通信（本実施形態では移動体通信）を用いてサーバ装置１０に転送する。

【0022】

サーバ装置１０は、現場端末２０から送信されてきた画像データが示す工事現場の画像を用いた画像処理を行い、工事現場を立体的に示す立体画像データを生成する。遠隔端末４０は、生成された立体画像データを参照し、立体的に表された工事現場の画像を表示する。工事監督Ｗ２は、表示された工事現場の画像から現場の様子を把握し、必要に応じて現場の現場作業員Ｗ１に対して作業の指示を行う。

【0023】

工事現場によっては、作業の終了後に節電等の理由でブレーカ６がオフにされる場合がある。その場合、ブレーカ６をオフにしたあとは外部電源５から電力が供給されなくなる。このように、外部電源５は、電力供給の有無が切り替えられる。現場端末２０及び撮像装置３０にも内蔵バッテリーがあるのですぐに停止する訳ではないが、画像データの送信など時間がかかる処理もある。そこで、本実施形態では、外付けバッテリー４を設けることで、ブレーカ６がオフにされたあとの現場端末２０及び撮像装置３０の稼働時間を増やすようにしている。

【0024】

図２は、サーバ装置１０のハードウェア構成を示す図である。サーバ装置１０は、制御部１１と、記憶部１２と、通信部１３と、バス１４とを備える。バス１４は、サーバ装置１０が備える各部を電気的に接続する。

【0025】

（制御部１１）
制御部１１は、例えば不図示の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）である。制御部１１は、記憶部１２に記憶された所定のプログラムを読み出すことによって、工事支援システム１に係る種々の機能を実現するコンピュータである。すなわち、記憶部１２に記憶されているソフトウェアによる情報処理が、ハードウェアの一例である制御部１１によって具体的に実現されることで、制御部１１に含まれる各機能部として実行されうる。これらについては、次節においてさらに詳述する。なお、制御部１１は単一であることに限定されず、機能ごとに複数の制御部１１を有するように実施してもよい。またそれらの組合せであってもよい。

【0026】

（記憶部１２）
記憶部１２は、前述の記載により定義される様々な情報を記憶する。これは、例えば、制御部１１によって実行される工事支援システム１に係る種々のプログラム等を記憶するソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。記憶部１２は、制御部１１によって実行される工事支援システム１に係る種々のプログラムや変数等を記憶している。

【0027】

（通信部１３）
通信部１３は、サーバ装置１０から種々の電気信号を外部の構成要素に送信可能に構成される。また、通信部１３は、外部の構成要素からサーバ装置１０への種々の電気信号を受信可能に構成される。さらに好ましくは、通信部１３がネットワーク通信機能を有し、これにより通信回線２を介して、サーバ装置１０と外部機器との間で種々の情報を通信可能に実施してもよい。

【0028】

図３は、現場端末２０のハードウェア構成を示す図である。現場端末２０は、制御部２１と、記憶部２２と、通信部２３と、入力部２４と、出力部２５と、内部電源部２６と、バス２７とを備える。バス２７は、現場端末２０が備える各部を電気的に接続する。制御部２１及び記憶部２２は、図２に示す制御部１１及び記憶部１２と性能の違いはあるが同様のハードウェアである。

【0029】

（通信部２３）
通信部２３は、第１通信部２３１と、第２通信部２３２と、第３通信部２３３とを備え、３通りの無線通信を行う無線通信部の一例である。第１通信部２３１は、第１無線通信として、本実施形態ではＷｉ－Ｆｉ通信による無線通信を行う。第２通信部２３２は、第１無線通信よりも通信速度が遅く且つ消費電力が小さい第２無線通信として、本実施形態ではＢＬＥによる無線通信を行う。第３通信部２３３は、第１無線通信及び第２無線通信よりも通信可能なエリアが広い第３無線通信として、本実施形態では移動体通信による無線通信を行う。

【0030】

（入力部２４）
入力部２４は、キー、ボタン、タッチスクリーン及びマウス等を有し、ユーザによる入力を受け付ける。
（出力部２５）
出力部２５は、ディスプレイ（タッチスクリーン含む）及びスピーカ等を有し、表示面に画面、画像、アイコン、テキスト等といった、ユーザが視認可能な態様で生成された視覚情報を表示し、音声を含む音を出力する。

【0031】

（内部電源部２６）
内部電源部２６は、自装置に内蔵されているバッテリー、すなわち、繰り返し充電可能な電池であり、蓄積した電力を自装置の各部に供給する。内部電源部２６は、自装置とともに持ち運びが可能な可搬電池の一例である。内部電源部２６は、外部電源５から供給される電力により充電される。内部電源部２６は、外付けバッテリー４と同様にパススルー機能を有しており、ブレーカ６がオンになった状態では外部電源５から供給される電力で充電されながら各部に給電を行う。

【0032】

図４は、撮像装置３０のハードウェア構成を示す図である。撮像装置３０は、制御部３１と、記憶部３２と、通信部３３と、入力部３４と、出力部３５と、内部電源部３６と、撮像部３７と、バス３８とを備える。バス３８は、撮像装置３０が備える各部を電気的に接続する。制御部３１から内部電源部３６までの各部は、図３に示す制御部２１から内部電源部２６までの各部と性能の違いはあるが同様のハードウェアである。

【0033】

ただし、通信部３３は、第１通信部３３１及び第２通信部３３２のみを備える。第１通信部３３１は、通信部２３の第１通信部２３１と同様に、第１無線通信として、本実施形態ではＷｉ－Ｆｉ通信による無線通信を行う。第２通信部３３２は、通信部２３の第２通信部２３２と同様に、第１無線通信よりも通信速度が遅く且つ消費電力が小さい第２無線通信として、本実施形態ではＢＬＥによる無線通信を行う。また、出力部３５は、ディスプレイ等に加えてライトを有し、撮影に必要な光量を確保するための光を照射する。入力部３４は、そのライトを点灯させるためのスイッチを有する。

【0034】

（撮像部３７）
撮像部３７は、レンズを含む光学系及びイメージセンサ等を有し、レンズから入射する光を測定して画像データを生成するセンサである。撮像部３７は、本実施形態では、前述したように、超広角レンズ及び複数のイメージセンサを使用して、上下、左右及び前後の全方位を撮影した画像データを生成する。

【0035】

図５は、遠隔端末４０のハードウェア構成を示す図である。遠隔端末４０は、制御部４１と、記憶部４２と、通信部４３と、入力部４４と、出力部４５と、バス４６とを備える。バス４６は、遠隔端末４０が備える各部を電気的に接続する。制御部４１から出力部４５までの各部は、図４に示す制御部３１から出力部３５までの各部と性能の違いはあるが同様のハードウェアである。

【0036】

２．機能構成
本節では、本実施形態の機能構成について説明する。前述の通り、各装置の記憶部に記憶されているソフトウェアによる情報処理がハードウェアの一例である制御部によって具体的に実現されることで、制御部に含まれる各機能部が実行されうる。

【0037】

図６は、各装置の制御部の機能構成を示す図である。サーバ装置１０の制御部１１は、情報記憶部１１１と、画像処理部１１２と、データ生成部１１３と、データ出力部１１４と、測定取得部１１５と、経路推定部１１６と、ノイズ特定部１１７とを備える。現場端末２０の制御部２１は、表示制御部２１１と、操作受付部２１２と、稼働制御部２１３と、送信制御部２１４とを備える。撮像装置３０の制御部３１は、表示制御部３１１と、操作受付部３１２と、撮影制御部３１３と、送信制御部３１４とを備える。遠隔端末４０の制御部４１は、表示制御部４１１と、操作受付部４１２とを備える。

【0038】

サーバ装置１０の情報記憶部１１１は、撮像装置３０により撮影された工事現場の画像を示す画像データや上述した立体画像データを記憶する。画像処理部１１２は、工事現場の画像に基づいて、自己位置の推定及び環境地図の作成を同時に行ういわゆるＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）と呼ばれる技術に関する処理を行う。データ生成部１１３は、画像処理部１１２が行った処理に基づいて上述した立体画像データを生成する。データ出力部１１４は、生成された立体画像データを出力する。

【0039】

測定取得部１１５は、物体から届く電磁波を測定するセンサを有する測定装置が測定した測定データを取得する取得部として機能する。測定装置は、本実施形態では、撮像装置３０である。撮像装置３０は、上記センサとして、可視光を測定するイメージセンサを有する。構造物の内部又は外部とは、例えば、工事現場である。経路推定部１１６は、測定取得部１１５により取得された測定データに基づいて、撮像装置３０の移動経路の推定を行う推定部として機能する。

【0040】

ノイズ特定部１１７は、測定取得部１１５により取得された測定データから、撮像装置３０の移動経路の推定のノイズを特定する特定部として機能する。推定のノイズは、例えば、撮像された画像のうち、動いている物体が測定されている領域である。動いている物体は、例えば、自撮り棒３を持って撮像装置３０を持ち運ぶ現場作業員Ｗ１である。経路推定部１１６は、ノイズ特定部１１７により特定されたノイズを除いて移動経路を推定する。

【0041】

遠隔端末４０の表示制御部４１１は、自装置の表示手段への表示処理を制御する。表示制御部４１１は、例えば、サーバ装置１０から出力されてきた立体画像データが示す工事現場の画像を表示させる。操作受付部４１２は、ユーザ（例えば工事監督Ｗ２）の操作を受け付ける。工事監督Ｗ２は、工事現場のうちの表示される場所を移動させる操作を行って現場の現状を確認し、現場の現場作業員Ｗ１等に対して工事の手順等を指示する。

【0042】

現場端末２０の表示制御部２１１は、自装置の表示手段への表示処理を制御する。操作受付部２１２は、ユーザ（例えば現場作業員Ｗ１）の操作を受け付ける。稼働制御部２１３は、撮像装置３０の稼働を制御する。送信制御部２１４は、自装置及び撮像装置３０による画像データの送信処理を制御する。

【0043】

撮像装置３０の表示制御部３１１は、自装置の表示手段への表示処理を制御する。操作受付部３１２は、ユーザ（例えば現場作業員Ｗ１）の操作を受け付ける。撮影制御部３１３は、撮像部３７による撮影処理を制御する。送信制御部３１４は、自装置による画像データの送信処理を制御する。

【0044】

３．情報処理
本節では、本実施形態において、プログラムがコンピュータに実行させる情報処理について説明する。

【0045】

工事支援システム１における測定取得部１１５は、物体から届く電磁波を測定するセンサを有する撮像装置３０が構造物の内部又は外部を移動しながら移動経路の各位置において測定した測定データを取得する。測定データは、例えば、移動経路の各位置での測定結果の集合を示すデータである。測定データは、本実施形態では、複数のフレームを有する動画データである。経路推定部１１６は、測定取得部１１５により取得された測定データに基づいて撮像装置３０の移動経路の推定を行う。

【0046】

経路推定部１１６は、ＶＳＬＡＭの技術を用いて移動経路を推定する。ＶＳＬＡＭの技術には、例えば、次の２通りの方法がある。１つ目は、間接に位置を推定する方法（間接法）であり、複数の画像間において特徴点の対応付けを行うことで、特徴点の位置とカメラの位置とを推定する方法である。間接法を用いる場合、経路推定部１１６は、取得された複数の測定データがそれぞれ示す物体の特徴点の対応付けに基づいて撮像装置３０の移動経路の推定を行う。

【0047】

２つ目は、直接的に位置を推定する方法（直接法）であり、複数の画像間において対応するピクセルの輝度値の誤差を最小にすることで、各ピクセルの深度と撮像装置３０の位置とを推定する方法である。直接法を用いる場合、経路推定部１１６は、取得された複数の測定データがそれぞれ示す、互いに対応する画素の値の誤差に基づいて撮像装置３０の移動経路の推定を行う。

【0048】

ノイズ特定部１１７は、測定取得部１１５により取得された測定データから推定のノイズを特定する。ノイズは、上述したように、動いている物体が測定されている領域である。ノイズ特定部１１７は、特定の形状の物体を動いている物体とみなす。特定の形状は、例えば、現場作業員Ｗ１のような人間の形状である。その場合、ノイズ特定部１１７は、例えば、人間の姿を示すパターンデータを記憶しておき、画像認識技術により認識した形状とパターンデータとが類似する場合に、その形状を含む領域をノイズとして特定する。ノイズの特定について図７以降を参照して説明する。

【0049】

図７は、測定データの一例を示す図である。図７では、撮像装置３０の一例である３６０度カメラにより工事現場を撮影した画像Ｃ１が測定データの一例として表されている。画像Ｃ１には、工事現場である建物の壁、床、天井及び階段等の他、撮像装置を持ち歩いている人物Ｅ１が映っている。ノイズ特定部１１７は、画像Ｃ１が測定データとして取得された場合、人物Ｅ１を画像認識技術により認識し、認識した人物Ｅ１を含む領域をノイズとして特定する。

【0050】

図８は、特定されたノイズの一例を示す図である。図８では、画像Ｃ１の左上の角を原点とするＸＹ座標系を示している。図８の例では、ノイズ特定部１１７は、人物Ｅ１のＸ軸方向の端の座標及びＹ軸方向の端の座標にそれぞれ所定のマージンを加えた座標ｘ１、ｘ２、ｙ１、ｙ２により表される矩形領域Ｆ１（直線ｘ＝ｘ１、ｘ＝ｘ２、ｙ＝ｙ１、ｙ＝ｙ２によって囲まれる矩形）をノイズとして特定している。

【0051】

経路推定部１１６は、ノイズ特定部１１７により特定されたノイズを除いて撮像装置３０の移動経路を推定する。経路推定部１１６は、例えば、撮像装置３０により撮像された画像から、ノイズとして特定された領域（例えば現場作業員Ｗ１が映っている領域）を除いた他の領域から特徴点を抽出する処理を行ってから、移動経路の推定処理を実行する。なお、経路推定部１１６は、画像の全領域から特徴点を抽出したあとにノイズとして特定された領域の特徴点を除外して移動経路の推定処理を実行してもよい。要するに、特定されたノイズが結果的に除かれた状態で推定処理が実行されればよい。

【0052】

図９は、ノイズを除いて抽出された特徴点の一例を示す図である。図７においては、画像Ｃ１に重ねて、画像処理により認識された特徴点Ｄ１０１及びＤ１０２等が示されており、人物Ｅ１にも、特徴点Ｄ１９１及びＤ１９２等が重ねて示されている。一方、図９においては、図８に示す矩形領域Ｆ１には特徴点が１つも示されておらず、矩形領域Ｆ１を除く領域Ｆ２には特徴点Ｄ１０１及びＤ１０２等が示されている。経路推定部１１６は、このようにノイズとして特定された矩形領域Ｆ１を除いた領域Ｆ２の特徴量に基づいて撮像装置３０の移動経路を推定する。

【0053】

例えば、撮影者が撮像画像に映り込んでいると、撮影者と撮像装置３０との相対位置はほとんど変化しないので、撮像装置３０が全く移動していないかのような特徴点が測定されてしまい、撮影者が映り込まない場合に比べて、推定される移動経路の精度が低下する。そこで、上記のとおり、推定の精度を低下させるノイズを除いてから移動経路の推定が行われることで、ノイズの除去が行われない場合に比べて、移動経路の推定の精度を高めることができる。

【0054】

<その他の実施形態>
推定の精度を低下させるノイズは、上記のものに限らない。例えば、ノイズは、扉が測定されている領域であってもよい。その場合、ノイズ特定部１１７は、例えば、扉の形状を示すパターンデータを記憶しておき、画像認識技術により認識した形状とパターンデータとが類似する場合に、その形状を含む領域をノイズとして特定する。

【0055】

撮影された画像に扉が映っている場合、扉が開いている状態と閉まっている状態とでは、例えば撮像装置３０の位置が変わっていなくても撮像装置３０との相対位置が変化するので、移動したように推定されてしまうことが起きうる。そこで、扉が測定されている領域をノイズとして除いてから移動経路の推定が行われることで、ノイズの除去が行われない場合に比べて、移動経路の推定の精度を高めることができる。

【0056】

ノイズ特定部１１７は、測定取得部１１５により取得された測定データに含まれるフレームのうち、そのフレームに映る画像の品質が所定の基準未満のフレームをノイズとして特定してもよい。画像の品質は、例えば、ピントの適合度、遮蔽物の映り込みの有無又は画像の明るさ等によって評価される。例えば、ピントがずれるほど、遮蔽物が映り込む領域が大きいほど、明るすぎるほど又は暗すぎるほど、画像の品質が低下する。

【0057】

ノイズ特定部１１７は、ピントの適合度、画像全体に対して遮蔽物が映り込んだ領域の面積の割合又は輝度の平均値等を画像の品質の評価値として算出し、例えば、算出した評価値が所定の範囲に収まらないフレームを、ノイズとして特定する。このような態様によれば、経路推定部１１６による経路の推定において画像の品質に関係なくフレームを用いる場合に比べて、低画質フレームによる推定精度低下を抑制することができる。

【0058】

測定データは、例えば動画データのように、時系列に並べられた複数の測定結果（フレーム）を示すデータである場合がある。また、動画データでは、複数の測定結果の各々（各フレーム）は、２次元座標系の所定の範囲に配置される測定結果（画素値）の集合によって表される。その場合に、ノイズ特定部１１７は、複数の測定結果の各々において特定の特徴を有する領域（以下「ノイズ領域」と言う）をノイズとして特定し、ノイズが特定された２つの測定結果に挟まれた測定結果においてノイズが特定されなかった場合、その挟まれた測定結果においてノイズ領域に相当する領域をノイズとして特定してもよい。

【0059】

上記の処理は、連続するフレームに存在するノイズ領域の欠落を補間するいわゆる補間処理である。上記のような態様によれば、ノイズ領域の補完処理が実行されない場合に比べて、瞬間的にノイズが特定できなくなっても推定精度低下を抑制することができる。

【0060】

工事支援システム１は、まず、構造物の内部（例えば建築中の建物の内部）を測定装置（例えば撮像装置３０）が測定した測定結果を示す測定データを取得する取得処理を実行する。

【0061】

図１０は、取得処理の一例を示すアクティビティ図である。図１０に示すアクティビティは、現場作業員Ｗ１が現場端末２０に対して撮像装置３０による測定を開始させる測定開始操作を行うことを契機に開始される。なお、撮像装置３０による撮影は、イメージセンサを用いた光の強さの測定である。まず、現場端末２０は、操作受付部２１２により、現場作業員Ｗ１による測定開始操作を受け付ける（Ａ１１）。

【0062】

操作受付部２１２は、測定開始操作を受け付けると、測定（図９の例では撮影）の開始を指示する指示データを撮像装置３０に送信する。撮像装置３０は、送信されてきた指示データを受信すると、撮影制御部３１３により、測定、すなわち撮影、を開始する（Ａ１２）。撮像装置３０は、撮影制御部３１３により、現場作業員Ｗ１によって工事現場を移動しながら周囲を撮影し、撮影した画像を測定結果として示す測定データを自装置の内部の記憶部３２に記憶させる（Ａ１３）。

【0063】

次に、現場作業員Ｗ１が、工事現場の測定が終わって現場端末２０に対して測定を終了させる測定終了操作を行うと、現場端末２０は、操作受付部２１２により、その測定終了操作を受け付ける（Ａ１４）。操作受付部２１２は、測定終了操作を受け付けると、測定の終了を指示する指示データを撮像装置３０に送信する。撮像装置３０は、送信されてきた指示データを受信すると、撮影制御部３１３により、測定を終了する（Ａ１５）。Ａ１１からＡ１５までの処理が行われることで、作業現場の測定データが撮像装置３０に記憶される。

【0064】

次に、現場端末２０は、送信制御部２１４により、測定データを自装置に送信する指示を示す指示データを所定のタイミングで撮像装置３０に送信する（Ａ２１）。所定のタイミングは、例えば、予め定められた時刻になったタイミング、測定が終了してから所定時間が経過したタイミング、又は、現場作業員Ｗ１によって送信の操作が行われたタイミング等である。撮像装置３０は、指示データを受信すると、撮影制御部３１３により、記憶部３２に記憶させてある測定データを読み出し、現場端末２０に送信する（Ａ２２）。

【0065】

現場端末２０は、送信制御部２１４により、送信されてきた測定データを受信して自装置の記憶部３２に記憶させる（Ａ２３）。次に、現場端末２０は、送信制御部２１４により、記憶部３２から所定のタイミングで測定データを読み出し、サーバ装置１０に送信する（Ａ３１）。所定のタイミングは、例えば、予め定められた時刻になったタイミング等である。サーバ装置１０は、測定取得部１１５により、送信されてきた測定データを取得する（Ａ３２）。サーバ装置１０は、取得した測定データに基づいて、撮像装置３０の軌跡を解析する解析処理を実行する。

【0066】

図１１は、解析処理の一例を示すフロー図である。解析処理は、測定取得部１１５が測定データを取得することから始まる（Ｓ１１＝Ａ３２）。図１１の例では、サーバ装置１０は、まず、ノイズ特定部１１７により、取得された測定データに基づき、撮像装置３０の移動経路の推定におけるノイズを特定するノイズ特定処理を実行する（Ｓ１２）。ノイズ特定部１１７は、例えば、測定データ（本実施形態では撮像された画像）のうち、動いている物体が測定されている領域をノイズとし００て特定する。

【0067】

ノイズ特定部１１７は、例えば、動いている物体が測定されている領域をノイズとして特定する。具体的には、ノイズ特定部１１７は、例えば、人間の姿を示すパターンデータと類似する形状を含む領域（図７の例では人物Ｅ１を含む領域）を、動いている物体が測定されている領域、すなわち、ノイズとして特定する。ノイズ特定部１１７は、特定したノイズと測定データとを示すノイズ管理データを生成する。

【0068】

図１２は、ノイズ管理データの一例を示す図である。図１２に示すノイズ管理データＤ１は、測定時刻と、各画素（画素Ｃ１０１、Ｃ１０２、Ｃ１０３、・・・）の座標と、画素値と、ノイズフラグと、特徴量と、特徴点とを対応付けたデータである。各画素の座標及び画素値は、測定データが示す画像（フレーム）のうち或る測定時刻に測定された画像の各画素の情報である。特徴量及び特徴点は、後述する経路の推定処理の際に反映される。

【0069】

図１２の例では、ノイズ特定部１１７は、画素Ｃ１００１、Ｃ１００２、・・・、Ｃ１１１０に対してノイズフラグを対応付けている（説明を簡単にするため連続する画素にノイズフラグを対応付けている）。

【0070】

なお、ノイズ特定部１１７は、上述したように、扉が測定されている領域をノイズとして特定してもよい。また、ノイズ特定部１１７は、上述したように、画像の品質が所定の基準未満のフレームをノイズとして特定してもよい。その場合、フレーム全体がノイズとして扱われるので、フレーム単位でノイズフラグが対応付けられてもよい。

【0071】

次に、サーバ装置１０は、ノイズ特定部１１７により、ノイズが特定された２つの測定結果にノイズが特定されなかった測定結果が挟まれている場合にノイズを補間するノイズ補間処理を実行する（Ｓ１３）。ノイズ特定部１１７は、具体的には、ノイズが特定された２つの測定結果に挟まれた測定結果においてノイズ領域に相当する領域をノイズとして特定する。ノイズ補間処理について図１３、図１４を参照して説明する。

【0072】

図１３は、特定されたノイズの一例を示す図である。図１３の例では、連続して撮影された画像Ｃ１１、Ｃ１２及びＣ１３（動画データに含まれるフレーム）が示されている。画像Ｃ１１においては、矩形領域Ｆ１１がノイズとして特定され、画像Ｃ１３においては、矩形領域Ｆ１３がノイズとして特定されているが、画像Ｃ１２においては、ノイズが特定されていない。このような事象は、例えば、矩形領域Ｆ１１に写っていた人物が画像Ｃ１２においては光の加減等により輪郭が不明瞭になり認識されなかった場合などに生じることがある。ノイズ特定部１１７は、この場合、画像Ｃ１１及びＣ１３に基づいて、画像Ｃ１２のノイズを補間する。

【0073】

図１４は、補間されたノイズの一例を示す図である。図１４の例では、図１３に示す画像Ｃ１２に、補間されたノイズを示す矩形領域Ｆ１２が示されている。ノイズ特定部１１７は、例えば、矩形領域Ｆ１１及び矩形領域Ｆ１３を重ねた場合に重畳される部分の割合（以下「重畳率」と言う）が最大になるときのその重畳率を算出し、重畳率が閾値以上である場合に、同じノイズであると判断する。

【0074】

ノイズ特定部１１７は、矩形領域Ｆ１１及び矩形領域Ｆ１３が同じノイズであると判断した場合、矩形領域Ｆ１１及び矩形領域Ｆ１３の中間の位置に、両領域との重畳率が閾値以上になる形状及び大きさの領域を、補間されたノイズを示す矩形領域Ｆ１２として特定する。

【0075】

次に、サーバ装置１０は、経路推定部１１６により、上記のとおり特定されたノイズを除去するノイズ除去処理を実行し（Ｓ１４）、その後に、撮像装置３０の移動経路を推定する（Ｓ１５）。経路推定部１１６は、例えば、撮影画像から特徴点を算出する。経路推定部１１６は、特徴量及び特徴点の情報に基づいて図１２に示すノイズ管理データＤ１を更新する。

【0076】

図１５は、更新されたノイズ管理データの一例を示す図である。図１５に示すノイズ管理データＤ１は、各画素に基づく特徴量と、特徴点（図１５の例では特徴点Ｐ１～Ｐ１５２等）とが更新されている。特徴量は、１つの画素だけに基づいて算出されてもよいし、周囲の画素にも基づいて算出されてもよい。特徴点は、特徴量が所定の条件を満たす画素である。それらの特徴点のうち、特徴点Ｐ１０２、Ｐ１０３、Ｐ１０４は、ノイズフラグが対応付けられている画素Ｃ１００１、Ｃ１００２、・・・、Ｃ１１１０を用いて求められた特徴点である。

【0077】

経路推定部１１６は、これらのノイズフラグが対応付けられている特徴点Ｐ１０２、Ｐ１０３、Ｐ１０４を除いた特徴点を用いて、経路を推定する。なお、経路推定部１１６は、ノイズとして特定された領域については特徴点を算出せず、それ以外の領域から算出された特徴点に基づいて、移動経路の推定処理を実行してもよい。その場合のノイズ管理データを、図１６を参照して説明する。

【0078】

図１６は、更新されたノイズ管理データの別の一例を示す図である。図１６に示すノイズ管理データＤ２においては、経路推定部１１６は、ノイズフラグが対応付けられていない画素については、それらの画素に対応付けて特徴量及び特徴点を算出している。一方、経路推定部１１６は、ノイズフラグが対応付けられている画素については、特徴量及び特徴点を算出していない（図１６の例では「－」で示されている）。このような態様によれば、ノイズと特定された領域についても特徴量及び特徴点が算出される場合に比べて、解析処理によるプロセッサ等への負荷を小さくすることができる。

【0079】

次に、サーバ装置１０は、経路推定部１１６により、上記のとおり実行した推定処理により推定した撮像装置３０の軌跡を示す軌跡データを生成して出力する（Ｓ１６）。経路推定部１１６は、例えば、自装置の記憶部１２又は遠隔端末４０等に対して軌跡データを出力する。サーバ装置１０は、基本的には、１回の測定で取得された測定データに基づいて図１１に示す解析処理を実行し、軌跡データを出力することで解析処理を終了する。

【0080】

<その他の実施形態>
工事支援システム１は、上記の実施形態では、建物という構造物の内部における工事現場を測定したが、これに限らず、例えば、同じ建物でもテラス及び屋上等の構造物の外部における工事現場を測定してもよい。また、測定される構造物は、建物に限らず、船体、航空機の機体及びダム等の作業が行われる構造物であってもよい。また、ノイズ特定部１１７は、上記の実施形態では、動いている物体を示す特定の形状として人間の形状を用いたが、これに限らず、例えば、構造物の内部を移動する小型の車両（荷物の運搬車両等）又は建設用リフト等の形状が用いられてもよい。

【0081】

<構成のバリエーション>
また、工事支援システム１は、撮像装置３０とは異なる測定装置を備えていてもよい。測定装置は、例えば、対象物までの距離を測定する距離画像センサを備え、測定結果を示す点群データを測定データとして出力するものであってもよい。また、測定装置は、対象物の温度を測定する赤外線センサ又は対象物までの距離や対象物の速度を測定するミリ波センサを備えるものであってもよい。また、測定装置は、より高解像度な撮影が可能な広角カメラ等であってもよい。

【0082】

また、工事支援システム１は、ブレーカ６がオフにされない工事現場であれば、現場端末２０及び撮像装置３０が外付けバッテリー４を介さずに外部電源５と接続されていてもよい。また、現場端末２０は、実施形態では、ブレーカ６がオフされた場合でも移動体通信でサーバ装置１０に測定データを送信していたが、ブレーカ６がオフされない場合は、Ｗｉ－Ｆｉルータを工事現場に設置することで、Ｗｉ－Ｆｉ通信によりサーバ装置１０に測定データを送信してもよい。

【0083】

また、例えば、サーバ装置１０は、２台以上の装置に分散されてもよいし、クラウドコンピューティングシステムに代替されてもよい。また、現場端末２０及び撮像装置３０が統合されてもよい。また、図４に示す機能構成も一例であり、これに限られない。例えば、サーバ装置１０、現場端末２０及び撮像装置３０の機能がそれぞれ２台以上の装置に分散して実現されてもよい。

【0084】

また、１つの機能が行う動作を２以上の機能が分散して行ってもよいし、２以上の機能が１つの機能に統合されてもよい。要するに、工事支援システム１の全体で図６に示す各機能が実現されていれば、それらの機能を実現する装置はどのような構成であってもよい。

【0085】

上述した実施形態の態様は、サーバ装置１０のような情報処理装置や、サーバ装置１０を備える工事支援システム１のような情報処理システムであったが、情報処理方法であってもよい。その情報処理方法は、その情報処理システムが実行する各処理のステップを備える。また、上述した実施形態の態様は、プログラムであってもよい。そのプログラムは、コンピュータに、同様の情報処理システムが実行する各処理を実行させる。

【0086】

<付記>
さらに、次に記載の各態様で提供されてもよい。

【0087】

（１）情報処理装置であって、取得ステップでは、物体から届く電磁波を測定するセンサを有する測定装置が移動しながら移動経路の各位置において測定した測定データを取得し、推定ステップでは、取得された前記測定データに基づいて前記測定装置の前記移動経路の推定を行い、特定ステップでは、取得された前記測定データから前記推定のノイズを特定し、前記推定ステップでは、特定された前記ノイズを除いて前記移動経路を推定する、もの。

【0088】

（２）上記（１）に記載の情報処理装置において、前記ノイズは、動いている物体が測定されている領域である、もの。

【0089】

（３）上記（２）に記載の情報処理装置において、前記特定ステップでは、特定の形状の物体を前記動いている物体とみなす、もの。

【0090】

（４）上記（１）～（３）の何れか１つに記載の情報処理装置において、前記ノイズは、扉が測定されている領域である、もの。

【0091】

（５）上記（１）～（４）の何れか１つに記載の情報処理装置において、前記測定装置は、撮像装置であり、前記測定データは、複数のフレームを有する動画データであり、前記特定ステップでは、取得された前記測定データに含まれるフレームのうち、当該フレームに映る画像の品質が所定の基準未満のフレームを前記ノイズとして特定する、もの。

【0092】

（６）上記（１）～（５）の何れか１つに記載の情報処理装置において、前記測定装置は、撮像装置であり、前記測定データは、時系列に並べられた複数の測定結果を示すデータであり、前記複数の測定結果の各々は、２次元座標系の所定の範囲に配置される測定結果の集合によって表され、前記特定ステップでは、前記複数の測定結果の各々において特定の特徴を有する領域を前記ノイズとして特定し、前記ノイズが特定された２つの測定結果に挟まれた測定結果において前記ノイズが特定されなかった場合、当該挟まれた測定結果において前記領域に相当する領域を前記ノイズとして特定する、もの。
もちろん、この限りではない。
また、上述した実施形態及び変形例を任意に組み合わせて実施するようにしてもよい。

【0093】

最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0094】

１ ：工事支援システム
１０ ：サーバ装置
１１ ：制御部
２０ ：現場端末
２１ ：制御部
３０ ：撮像装置
３１ ：制御部
４０ ：遠隔端末
４１ ：制御部
１１１ ：情報記憶部
１１２ ：画像処理部
１１３ ：データ生成部
１１４ ：データ出力部
１１５ ：測定取得部
１１６ ：経路推定部
１１７ ：ノイズ特定部
２１１ ：表示制御部
２１２ ：操作受付部
２１３ ：稼働制御部
２１４ ：送信制御部
３１１ ：表示制御部
３１２ ：操作受付部
３１３ ：撮影制御部
３１４ ：送信制御部
４１１ ：表示制御部
４１２ ：操作受付部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】