特開 2024-159135 撮影装置、撮影作業支援方法、及び撮影作業支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024159135

(43)【公開日】2024-11-08

(54)【発明の名称】撮影装置、撮影作業支援方法、及び撮影作業支援プログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241031BHJP

   H04N 23/63 20230101ALI20241031BHJP

【ＦＩ】

H04N23/60 100

H04N23/63 100

【審査請求】有

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023074928

(22)【出願日】2023-04-28

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110001379

【氏名又は名称】弁理士法人大島特許事務所

(72)【発明者】

【氏名】山本 正行

(72)【発明者】

【氏名】古田 暁広

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122DA13

5C122EA41

5C122EA48

5C122FH11

5C122FH13

5C122FK12

5C122FK28

5C122FK37

5C122FK41

5C122FL08

(57)【要約】

【課題】ユーザの撮影作業が良好であるものの改善の余地がある場合に、撮影作業中のユーザに対して、ユーザの撮影作業で改善できる点を分かりやすく案内して、ユーザの習熟度合いなどに関係なく、ユーザが適切な方法で撮影作業を実施できるようにする。
【解決手段】計測対象場所の撮影画像に基づいて３次元空間情報を生成する３次元計測処理を行うために、計測対象場所を撮影する撮影装置において、ユーザが計測対象場所を移動しながら計測対象場所を撮影する撮影作業に関する作業支援情報をディスプレイに表示し、特に、撮影画像におけるブラーの発生状況や、３次元計測処理での点群の生成状況や、３次元計測処理での特徴点の抽出状況に基づいて、ユーザの撮影作業の状態を向上させるための作業支援の要否を判定し、作業支援が必要な場合には、作業支援情報として、ユーザの撮影作業の状態を向上させるための動作を促すお知らせメッセージを表示する。
【選択図】図２

【特許請求の範囲】

【請求項1】

計測対象場所の撮影画像に基づいて計測対象場所の３次元空間情報を生成する３次元計測処理を行うために、計測対象場所を撮影する撮影装置であって、
ユーザが保持する装置本体と、
その装置本体に設けられて計測対象場所を撮影する撮影部と、
ユーザが計測対象場所を移動しながら計測対象場所を前記撮影部に撮影させる撮影作業に関する作業支援情報を表示する表示部と、
前記撮影部および前記表示部を制御するプロセッサと、を備え、
前記プロセッサは、
ユーザの撮影作業の状態を向上させるための作業支援の要否を判定し、
作業支援が必要な場合には、前記作業支援情報として、ユーザの撮影作業の状態を向上させるための動作を促す情報を前記表示部に表示することを特徴とする撮影装置。

【請求項2】

前記プロセッサは、
ユーザの撮影作業における非効率な状態を改善するための作業支援の要否を判定し、
作業支援が必要な場合には、前記作業支援情報として、ユーザの撮影作業を効率化するための動作を促す情報を表示することを特徴とする請求項１に記載の撮影装置。

【請求項3】

前記プロセッサは、
前記撮影画像におけるブラーの発生状況に基づいて、作業支援の要否を判定することを特徴とする請求項１に記載の撮影装置。

【請求項4】

前記プロセッサは、
前記撮影画像に対する画像解析の結果に基づいて、作業支援の要否を判定することを特徴とする請求項３に記載の撮影装置。

【請求項5】

更に、自装置の運動状態を検出する検出部を備え、
前記プロセッサは、
前記撮影部の露光時間および前記検出部の検出結果に基づいて、作業支援の要否を判定することを特徴とする請求項３に記載の撮影装置。

【請求項6】

前記プロセッサは、
前記３次元計測処理において計測結果として生成される点群の生成状況に基づいて、作業支援の要否を判定することを特徴とする請求項１に記載の撮影装置。

【請求項7】

前記プロセッサは、
前記３次元計測処理において前記撮影画像から抽出される特徴点の抽出状況に基づいて、作業支援の要否を判定することを特徴とする請求項１に記載の撮影装置。

【請求項8】

前記プロセッサは、
ユーザが自装置を動かす動作の状態に基づいて、作業支援の要否を判定することを特徴とする請求項１に記載の撮影装置。

【請求項9】

前記プロセッサは、
複数の項目ごとの判定条件が登録されたテーブルを参照して、複数の項目ごとに作業支援の要否を判定することを特徴とする請求項１に記載の撮影装置。

【請求項10】

計測対象場所の撮影画像に基づいて計測対象場所の３次元空間情報を生成する３次元計測処理を行うために、撮影装置を保持して計測対象場所内を移動しながら計測対象場所を前記撮影装置に撮影させるユーザの撮影作業を支援する処理をプロセッサにより行う撮影作業支援方法であって、
ユーザの撮影作業の状態を向上させるための作業支援の要否を判定し、
作業支援が必要な場合には、作業支援情報として、ユーザの撮影作業の状態を向上させるための動作を促す情報を表示部に表示することを特徴とする撮影作業支援方法。

【請求項11】

計測対象場所の撮影画像に基づいて計測対象場所の３次元空間情報を生成する３次元計測処理を行うために、撮影装置を保持して計測対象場所内を移動しながら計測対象場所を前記撮影装置に撮影させるユーザの撮影作業を支援する処理をプロセッサに実行させる撮影作業支援プログラムであって、
ユーザの撮影作業の状態を向上させるための作業支援の要否を判定し、
作業支援が必要な場合には、作業支援情報として、ユーザの撮影作業の状態を向上させるための動作を促す情報を表示部に表示することを特徴とする撮影作業支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、計測対象場所の各地点の撮影画像に基づいて計測対象場所の３次元空間情報を生成する３次元計測処理を行うために、計測対象場所の各地点を撮影する撮影装置、ならびにその撮影装置を用いたユーザの撮影作業を支援する撮影作業支援方法および撮影作業支援プログラムに関するものである。

【背景技術】

【0002】

計測対象場所を撮影した撮影画像に基づいて、計測対象場所に関する３次元空間情報（マップデータ）を生成する３次元計測の技術が知られている。この３次元計測では、近年、ＳＬＡＭ（Simultaneous Localization And Mapping）法が注目されている。ＳＬＡＭ法では、移動体に撮影装置を保持させて計測対象場所の各地点を撮影した撮影画像に基づいて、計測結果としての３次元空間情報と自機の位置情報とを生成することができる。特に、ユーザ（作業者）が、手で持ち運び可能な撮影装置を用いて、計測対象場所内を移動しながら撮影する撮影作業を行うことで、計測対象場所の各地点を撮影した撮影画像を取得すると、３次元計測を簡便に行うことができる。

【0003】

一方、ユーザが計測対象場所を歩きながら手に保持した撮影装置で計測対象場所を撮影する場合、精度が高く安定した３次元計測が行われるように、撮影作業中のユーザに対して、適切な撮影作業を行うようにユーザを促す作業支援が実施されることが望まれる。このような観点から、従来、ユーザが保持した撮影装置（センサ）の移動方向や移動速度を表す矢印などの複数のマークが表示されることで、ユーザに撮影作業の進め方が案内される技術が知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第６４８９５６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来の技術では、ユーザが具体的にどのように撮影を行えばよいかを直感的に把握できないことから、具体的な撮影作業の進め方は、過去の経験をもとに撮影者の主観に従って判断される。このため、３次元計測の撮影作業に関してユーザが十分に習熟していない場合には、適切でない方法で撮影作業が実施されてしまうという問題があった。特に、ユーザの撮影作業が良好であるものの改善の余地がある場合には、ユーザの撮影作業で改善できる点をユーザに分かりやすく案内することが望まれる。

【0006】

そこで、本発明は、ユーザの撮影作業が良好であるものの改善の余地がある場合に、撮影作業中のユーザに対して、ユーザの撮影作業で改善できる点を分かりやすく案内して、ユーザの習熟度合いなどに関係なく、ユーザが適切な方法で撮影作業を実施することができる撮影装置、撮影作業支援方法、及び撮影作業支援プログラムを提供することを主な目的とする。

【課題を解決するための手段】

【0007】

本発明の撮影装置は、計測対象場所の撮影画像に基づいて計測対象場所の３次元空間情報を生成する３次元計測処理を行うために、計測対象場所を撮影する撮影装置であって、ユーザが保持する装置本体と、その装置本体に設けられて計測対象場所を撮影する撮影部と、ユーザが計測対象場所を移動しながら計測対象場所を前記撮影部に撮影させる撮影作業に関する作業支援情報を表示する表示部と、前記撮影部および前記表示部を制御するプロセッサと、を備え、前記プロセッサは、ユーザの撮影作業の状態を向上させるための作業支援の要否を判定し、作業支援が必要な場合には、前記作業支援情報として、ユーザの撮影作業の状態を向上させるための動作を促す情報を前記表示部に表示する構成とする。

【0008】

また、本発明の撮影作業支援方法は、計測対象場所の撮影画像に基づいて計測対象場所の３次元空間情報を生成する３次元計測処理を行うために、撮影装置を保持して計測対象場所内を移動しながら計測対象場所を前記撮影装置に撮影させるユーザの撮影作業を支援する処理をプロセッサにより行う撮影作業支援方法であって、ユーザの撮影作業の状態を向上させるための作業支援の要否を判定し、作業支援が必要な場合には、作業支援情報として、ユーザの撮影作業の状態を向上させるための動作を促す情報を表示部に表示する構成とする。

【0009】

また、本発明の撮影作業支援プログラムは、計測対象場所の撮影画像に基づいて計測対象場所の３次元空間情報を生成する３次元計測処理を行うために、撮影装置を保持して計測対象場所内を移動しながら計測対象場所を前記撮影装置に撮影させるユーザの撮影作業を支援する処理をプロセッサに実行させる撮影作業支援プログラムであって、ユーザの撮影作業の状態を向上させるための作業支援の要否を判定し、作業支援が必要な場合には、作業支援情報として、ユーザの撮影作業の状態を向上させるための動作を促す情報を表示部に表示する構成とする。

【発明の効果】

【0010】

本発明によれば、ユーザの撮影作業が良好であるものの改善の余地がある場合に、撮影作業中のユーザに対して、ユーザの撮影作業で改善できる点を分かりやすく案内することができるため、ユーザの習熟度合いなどに関係なく、ユーザが適切な方法で撮影作業を実施することができる。

【図面の簡単な説明】

【0011】

【図1】本実施形態に係る撮影装置を用いた撮影作業の状況を示す説明図

【図2】プロセッサの処理に用いられる支援条件テーブルを示す説明図

【図3】撮影装置の概略構成を示すブロック図

【図4】プロセッサで行われる処理の概要を示すブロック図

【図5】点群密度評価処理および特徴点評価処理で用いられる重複領域を示す説明図

【図6】プロセッサで行われる処理の手順を示すフロー図

【図7】プロセッサで行われるブラーに関する支援条件判定処理の手順を示すフロー図

【図8】プロセッサで行われる点群密度に関する支援条件判定処理の手順を示すフロー図

【図9】プロセッサで行われる特徴点に関する支援条件判定処理の手順を示すフロー図

【図10】プロセッサで行われる急動作に関する支援条件判定処理の手順を示すフロー図

【図11】プロセッサで行われる経過時間に関する支援条件判定処理の手順を示すフロー図

【図12】ディスプレイに表示される撮影モードの画面を示す説明図

【図13】撮影モードの画面における警告メッセージの表示状況を示す説明図

【図14】撮影モードの画面におけるお知らせメッセージの表示状況を示す説明図

【図15】ディスプレイに表示される設定モードの画面を示す説明図

【図16】設定モードの画面において項目ごとの優先度を変更する操作の状況を示す説明図

【発明を実施するための形態】

【0012】

前記課題を解決するためになされた第１の発明は、計測対象場所の撮影画像に基づいて計測対象場所の３次元空間情報を生成する３次元計測処理を行うために、計測対象場所を撮影する撮影装置であって、ユーザが保持する装置本体と、その装置本体に設けられて計測対象場所を撮影する撮影部と、ユーザが計測対象場所を移動しながら計測対象場所を前記撮影部に撮影させる撮影作業に関する作業支援情報を表示する表示部と、前記撮影部および前記表示部を制御するプロセッサと、を備え、前記プロセッサは、ユーザの撮影作業の状態を向上させるための作業支援の要否を判定し、作業支援が必要な場合には、前記作業支援情報として、ユーザの撮影作業の状態を向上させるための動作を促す情報を前記表示部に表示する構成とする。

【0013】

これによると、ユーザの撮影作業が良好であるものの改善の余地がある場合に、撮影作業中のユーザに対して、ユーザの撮影作業で改善できる点を分かりやすく案内することができるため、ユーザの習熟度合いなどに関係なく、ユーザが適切な方法で撮影作業を実施することができる。

【0014】

また、第２の発明は、前記プロセッサは、ユーザの撮影作業における非効率な状態を改善するための作業支援の要否を判定し、作業支援が必要な場合には、前記作業支援情報として、ユーザの撮影作業を効率化するための動作を促す情報を表示する構成とする。

【0015】

これによると、ユーザの撮影作業が良好であるものの非効率である場合に、ユーザの撮影作業を効率化するための方法をユーザに分かりやすく案内することができるため、撮影作業の効率を向上させることができる。

【0016】

また、第３の発明は、前記プロセッサは、前記撮影画像におけるブラーの発生状況に基づいて、作業支援の要否を判定する構成とする。

【0017】

これによると、ユーザが撮影装置を動かす速度に影響されるブラーの発生状況に基づいて、作業支援の要否を適切に判定することができる。これにより、ユーザが撮影装置を動かす速度が遅すぎるために撮影作業の効率が低下している状態を速やかに改善して、ユーザの撮影作業を効率化することができる。

【0018】

また、第４の発明は、前記プロセッサは、前記撮影画像に対する画像解析の結果に基づいて、作業支援の要否を判定する構成とする。

【0019】

これによると、ブラーの発生状況を精度よく評価して、作業支援の要否及び内容を適切に判定することができる。

【0020】

また、第５の発明は、更に、自装置の運動状態を検出する検出部を備え、前記プロセッサは、前記撮影部の露光時間および前記検出部の検出結果に基づいて、作業支援の要否を判定する構成とする。

【0021】

これによると、ブラーの発生状況を精度よく評価して、作業支援の要否を適切に判定することができる。また、処理負荷が大きい画像解析によらずにブラーを検出（推定）することができる。この場合、検出部は、例えばＩＭＵ（慣性計測装置：Inertial Measurement Unit）である。なお、撮影部の露光時間および検出部の検出結果のいずれか一方に基づいて判定が行われてもよい。

【0022】

また、第６の発明は、前記プロセッサは、前記３次元計測処理において計測結果として生成される点群の生成状況に基づいて、作業支援の要否を判定する構成とする。

【0023】

これによると、ユーザが撮影装置を動かす速度に影響される点群の生成状況に基づいて、作業支援の要否を適切に判定することができる。これにより、ユーザが撮影装置を動かす速度が遅すぎるために撮影作業の効率が低下している状態を速やかに改善して、ユーザの撮影作業を効率化することができる。

【0024】

また、第７の発明は、前記プロセッサは、前記３次元計測処理において前記撮影画像から抽出される特徴点の抽出状況に基づいて、作業支援の要否を判定する構成とする。

【0025】

これによると、ユーザが撮影装置を動かす速度に影響される特徴点の抽出状況に基づいて、作業支援の要否を適切に判定することができる。これにより、ユーザが撮影装置を動かす速度が遅すぎるために撮影作業の効率が低下している状態を速やかに改善して、ユーザの撮影作業を効率化することができる。

【0026】

また、第８の発明は、前記プロセッサは、ユーザが自装置を動かす動作の状態に基づいて、作業支援の要否を判定する構成とする。

【0027】

これによると、ユーザが自装置を動かす動作の状態に基づいて、作業支援の要否を適切に判定することができる。これにより、撮影中にユーザが撮影装置を動かす速度が遅すぎるために撮影作業の効率が低下している状態を速やかに改善して、ユーザの撮影作業を効率化することができる。

【0028】

また、第９の発明は、前記プロセッサは、複数の項目ごとの判定条件が登録されたテーブルを参照して、複数の項目ごとに作業支援の要否を判定する構成とする。

【0029】

これによると、複数の項目ごとに作業支援の要否を適切に判定することができる。

【0030】

また、第１０の発明は、計測対象場所の撮影画像に基づいて計測対象場所の３次元空間情報を生成する３次元計測処理を行うために、撮影装置を保持して計測対象場所内を移動しながら計測対象場所を前記撮影装置に撮影させるユーザの撮影作業を支援する処理をプロセッサにより行う撮影作業支援方法であって、ユーザの撮影作業の状態を向上させるための作業支援の要否を判定し、作業支援が必要な場合には、作業支援情報として、ユーザの撮影作業の状態を向上させるための動作を促す情報を表示部に表示する構成とする。

【0031】

これによると、第１の発明と同様に、ユーザの撮影作業が良好であるものの改善の余地がある場合に、撮影作業中のユーザに対して、ユーザの撮影作業で改善できる点を分かりやすく案内することができるため、ユーザの習熟度合いなどに関係なく、ユーザが適切な方法で撮影作業を実施することができる。

【0032】

また、第１１の発明は、計測対象場所の撮影画像に基づいて計測対象場所の３次元空間情報を生成する３次元計測処理を行うために、撮影装置を保持して計測対象場所内を移動しながら計測対象場所を前記撮影装置に撮影させるユーザの撮影作業を支援する処理をプロセッサに実行させる撮影作業支援プログラムであって、ユーザの撮影作業の状態を向上させるための作業支援の要否を判定し、作業支援が必要な場合には、作業支援情報として、ユーザの撮影作業の状態を向上させるための動作を促す情報を表示部に表示する構成とする。

【0033】

これによると、第１の発明と同様に、ユーザの撮影作業が良好であるものの改善の余地がある場合に、撮影作業中のユーザに対して、ユーザの撮影作業で改善できる点を分かりやすく案内することができるため、ユーザの習熟度合いなどに関係なく、ユーザが適切な方法で撮影作業を実施することができる。

【0034】

以下、本発明の実施の形態を、図面を参照しながら説明する。

【0035】

図１は、本実施形態に係る撮影装置１を用いてユーザが行う撮影作業の状況を示す説明図である。

【0036】

撮影装置１は、装置本体１１と、センサ部１２とを備えている。センサ部１２は、可視カメラ２１（撮影部）を備えている。可視カメラ２１は、可視光を検出して被写体を撮影する単眼カメラであり、撮影画像、例えばＲＧＢ方式のカラー画像を出力する。なお、撮影装置１は、タブレット端末や、ノートＰＣで構成することができる。

【0037】

ユーザ（作業者）は、撮影装置１の装置本体１１を保持した状態で計測対象場所を歩く。このとき、撮影装置１では、可視カメラ２１により計測対象場所が撮影され、計測対象場所における各地点の撮影画像が順次取得される。

【0038】

また、本実施形態では、撮影装置１が３次元計測装置となる。すなわち、撮影装置１では、可視カメラ２１により順次取得した各地点の撮影画像に基づいて３次元計測処理が行われ、計測対象場所に関する３次元空間情報が生成される。３次元計測処理では、ＳＬＡＭ法を用いて、計測対象場所に関する３次元空間情報としての点群データ（環境地図）が生成される。

【0039】

なお、図１では、装置本体１１を保持したユーザが計測対象場所を歩くことで計測対象場所の撮影が行われる例を示したが、その他に、撮影装置１を搭載した自走式のロボット等を用いて計測対象場所の撮影が行われてもよい。また、本実施形態では、ユーザに対する作業支援が行われるが、ユーザ自身が装置本体１１を保持して撮影作業を行う場合には、そのユーザに対して作業支援が行われる。一方、自走式のロボットが撮影を行う場合には、そのロボットを操縦するユーザに対して作業支援が行われる。

【0040】

なお、本実施形態では、可視カメラ２１などのセンサ部１２を備えた撮影装置１が３次元計測処理を行うが、センサ部１２が、３次元計測処理を行うＰＣ（情報処理装置）と独立した撮影装置１として構成されてもよい。

【0041】

また、ユーザは、計測対象場所を歩きながら手に保持した撮影装置１で計測対象場所を撮影する。したがって、撮影作業には、撮影装置１を保持して歩行（移動）する動作や、適宜な方向に撮影装置１を向ける動作などが含まれる。

【0042】

次に、プロセッサ１６で行われる処理の概要について説明する。図２は、プロセッサ１６の処理に用いられる支援条件テーブルを示す説明図である。

【0043】

本実施形態では、作業支援として、撮影装置１の画面にメッセージ（作業支援情報）が表示される。また、メッセージには、警告メッセージと注意喚起メッセージとお知らせメッセージとがある。警告メッセージは、早急に改善する必要がある撮影作業の状態を改善するための動作を促すものである。注意喚起メッセージは、所定の事項に関してユーザに注意を促すものである。お知らせメッセージは、早急に改善する必要はないが改善の余地がある撮影作業の状態を改善するための動作、例えば撮影作業を効率化するための動作を促すものである。

【0044】

また、本実施形態では、支援条件テーブルが参照されて、項目（ブラー、点群密度、特徴点、急動作、経過時間など）ごとの評価値に基づいて、項目ごとの作業支援の要否及び内容が判定される（支援条件判定処理）。支援条件テーブルには、項目ごとに判定条件としての閾値が登録されており、各項目の評価値が各項目の閾値と比較されて、項目ごとの作業支援の要否及び内容が判定される。

【0045】

図２（Ａ）に示すように、支援条件テーブルでは、警告メッセージに関して、項目（ブラー、点群密度、特徴点、急動作など）ごとに、警告メッセージによる作業支援の要否を判定する際の判定条件、および画面に表示するメッセージの内容が設定されている。

【0046】

ここで、撮影中にユーザが撮影装置１を動かす速度が速すぎると、可視カメラ２１による撮影画像にブラー（ボケ）が発生して、点群データの精度が低下する。そこで、本実施形態では、撮影画像におけるブラーの発生状況を表す評価値（ブラー評価値）が求められ、そのブラー評価値に基づいて、ユーザが撮影装置１を動かす速度が速すぎる状態が検知される。この場合、作業支援として、撮影装置１を動かす速度を遅くするように促す警告メッセージが画面に表示される。

【0047】

具体的には、ブラー評価値が、数値が小さいほどブラーが強くなるように定義される。また、ブラー評価値に関して閾値Ｂ１が設定され、ブラー評価値が閾値Ｂ１未満となる場合に（ブラー評価値＜閾値Ｂ１）、ユーザが撮影装置１を動かす速度が速すぎると判定される。この場合、撮影装置１を動かす速度を遅くするように促す警告メッセージ、例えば「ブラー発生中（低速で移動して下さい）」との警告メッセージが画面に表示される。

【0048】

また、撮影中にユーザが撮影装置１を動かす速度が速すぎると、点群が十分な密度で生成されないため、点群データの精度が低下する。そこで、本実施形態では、点群の生成状況を表す評価値（点群密度評価値）が求められ、その点群密度評価値に基づいて、ユーザが撮影装置１を動かす速度が速すぎる状態が検知される。この場合、作業支援として、撮影装置１を動かす速度を遅くするようにユーザを促す警告メッセージが画面に表示される。

【0049】

具体的には、点群密度評価値が、数値が小さいほど点群密度が低くなるように定義される。また、点群密度評価値に関して閾値Ｄ１が設定され、点群密度評価値が閾値Ｄ１未満となる場合に（点群密度評価値＜閾値Ｄ１）、ユーザが撮影装置１を動かす速度が速すぎると判定される。この場合、撮影装置１を動かす速度を遅くするように促す警告メッセージとして、例えば「点群密度低下（低速で移動して下さい）」との警告メッセージが画面に表示される。なお、点群密度については、同一箇所を繰り返し撮影することで密度が向上する場合も考えられる。このため、点群密度評価値は、新規に生成される点群のみから求められても良いし、新規に生成される点群だけではなく過去に生成された点群をも含めて求められても良い。

【0050】

また、壁や床や天井のように特徴的な模様や物体が余りない箇所を多く含む範囲が撮影されると、特徴点の抽出が失敗して、抽出される特徴点が少なくなるため、点群データの精度が低下する。そこで、本実施形態では、特徴点の抽出状況を表す評価値（特徴点個数）が求められ、その特徴点個数に基づいて、ユーザが撮影装置１を向ける方向が適切でない状態が検知される。この場合、作業支援として、適切な方向に撮影装置１を向けるようにユーザを促す警告メッセージが画面に表示される。

【0051】

具体的には、特徴点個数に関して閾値Ｑ１が設定され、特徴点個数が閾値Ｑ１未満となる場合に（特徴点個数＜閾値Ｑ１）、ユーザが撮影装置１を向ける方向が適切でないと判定される。この場合、適切な方向に撮影装置１を向けるようにユーザを促す警告メッセージとして、例えば「特徴点が減少（特徴的な模様や物体を含む画角にして下さい）」との警告メッセージが画面に表示される。また、例えば「特徴点が減少（壁や床以外を含む画角にして下さい）」との警告メッセージが画面に表示されてもよい。

【0052】

また、ＩＭＵ２３（図３参照）が正常に動作する範囲内であれば、ＩＭＵ２３の検出データに基づく位置姿勢情報の補正により、位置姿勢の追跡（トラッキング）が失敗しにくくなる。このため、壁や床や天井のように特徴が余りない箇所を多く含む範囲が撮影される場合でも、少ない誤差で位置姿勢の追跡が継続できる場合がある。一方、撮影中にユーザが撮影装置１を動かす速度が速すぎて、ＩＭＵ２３が正常に動作する範囲を外れた動きが撮影装置１に発生すると、位置姿勢の追跡が失敗しやすくなる。

【0053】

そこで、特徴点個数が閾値Ｑ１未満となる場合に、ユーザが撮影装置１を動かす速度が速すぎると位置姿勢の追跡に失敗しやすい状況であると判定されて、撮影装置１を動かす速度を遅くするように促す警告メッセージ、例えば「特徴点が減少（低速で移動して下さい）」との警告メッセージが画面に表示されてもよい。これにより、ユーザが撮影装置１を動かす速度を遅くして、ＩＭＵ２３が正常に動作する範囲で撮影装置１が動かされることで、点群生成が安定化される。

【0054】

また、撮影中にユーザが撮影装置１を動かす速度が速すぎると、点群データの精度が低下するが、前記のようにブラーや点群密度や特徴点の他に、ユーザが撮影装置１を動かす動作により撮影装置１自体に発生する加速度や角速度に基づいて、ユーザが撮影装置１を動かす速度が速すぎる状態を検知することができる。

【0055】

そこで、本実施形態では、撮影装置１に発生した加速度が所定範囲から外れる急加減速状態、または、撮影装置１に発生した角速度が所定範囲から外れる急回転状態が、ユーザの急動作として検知されて、ユーザが急動作を行った場合には、作業支援として、撮影装置１を動かす速度を遅くするように促す警告メッセージが画面に表示される。

【0056】

具体的には、急動作評価値（ＩＭＵ２３の検出データに基づく指標）が、数値が大きいほど動きが急になるように定義される。また、急動作評価値に関して閾値Ｓが設定され、急動作評価値が閾値Ｓより大となる場合に（急動作評価値＞閾値Ｓ）、ユーザが撮影装置１を動かす速度が速すぎると判定される。この場合、撮影装置１を動かす速度を遅くするように促す警告メッセージとして、例えば「急加減速・急回転発生（低速で移動して下さい）」との警告メッセージが画面に表示される。

【0057】

また、図２（Ｂ）に示すように、支援条件テーブルでは、注意喚起メッセージに関して、項目（経過時間など）ごとに、注意喚起メッセージによる作業支援の要否を判定する際の判定条件、および画面に表示するメッセージの内容が設定されている。

【0058】

撮影時間が長くなると、処理の負荷が大きくなり、また、計測誤差が蓄積（累積）されて、点群データの精度が低下する。そこで、本実施形態では、撮影に上限時間が設定され、撮影開始からの経過時間が上限時間に近づくと、作業支援として、ユーザに注意を促す注意喚起メッセージが画面に表示される。

【0059】

具体的には、経過時間に関して閾値Ｔが設定され、経過時間が閾値Ｔより大となる場合に（経過時間＞閾値Ｔ）、注意喚起メッセージとして、例えば「撮影上限時間が近づいています」とのメッセージが画面に表示される。なお、閾値Ｔは、上限時間に所定の比率（例えば９０％）を乗じることで算出されてもよい。

【0060】

また、図２（Ｃ）に示すように、支援条件テーブルでは、お知らせメッセージに関して、項目（ブラー、点群密度、特徴点など）ごとに、お知らせメッセージによる作業支援の要否を判定する際の判定条件、および画面に表示するメッセージの内容が設定されている。

【0061】

撮影中にユーザが撮影装置１を動かす速度が遅すぎると、撮影作業の効率が低下する。そこで、本実施形態では、ブラー評価値、点群密度評価値、および特徴点個数に基づいて、ユーザが撮影装置１を動かす速度が遅すぎる状態、あるいは動かす速度を遅くする必要がない状態が検知される。ユーザが撮影装置１を動かす速度が遅すぎる場合、あるいは動かす速度を遅くする必要がない場合には、作業支援として、撮影装置１を動かす速度を速くするように促すお知らせメッセージが画面に表示される。

【0062】

具体的には、ブラー評価値に関して閾値Ｂ２が設定され、ブラー評価値が閾値Ｂ２より大となる場合に（ブラー評価値＞閾値Ｂ２）、ユーザが撮影装置１を動かす速度が遅すぎると判定される。また、点群密度評価値に関して閾値Ｄ２が設定され、点群密度評価値が閾値Ｄ２より大となる場合に（点群密度評価値＞閾値Ｄ２）、ユーザが撮影装置１を動かす速度が遅すぎると判定される。また、特徴点個数に関して閾値Ｑ２が設定され、特徴点個数が閾値Ｑ２より大となる場合に（特徴点個数＞閾値Ｑ２）、ユーザが撮影装置１を動かす速度を遅くする必要がないと判定される。このようにユーザが撮影装置１を動かす速度が遅すぎる、あるいは動かす速度を遅くする必要がないと判定されると、撮影装置１を動かす速度を速くするように促すお知らせメッセージ、例えば「撮影良好（移動のスピードアップが可能です）」とのメッセージが画面に表示される。

【0063】

また、本実施形態では、支援条件テーブルが参照されて、各項目の優先度（優先順位）に基づいて、作業支援が必要と判定された項目の中から、作業支援を実施する項目を選択して、実施される作業支援の内容、すなわち、画像表示するメッセージ（警告メッセージ、注意喚起メッセージ、お知らせメッセージ）が決定される（支援内容決定処理）。

【0064】

図２（Ａ），（Ｂ），（Ｃ）に示すように、支援条件テーブルでは、メッセージを表示する際の優先度が設定されている。複数の項目で作業支援が必要と判定された場合、優先度の高い項目のみを対象にして作業支援が実施される。このとき、最も優先度が高い項目が１つだけ選択されてもよく、また、優先度が高い方から所定数の項目が選択されてもよい。優先度は緊急性の高さなどに基づいて設定される。

【0065】

なお、優先度が設定されずに、複数の項目で作業支援が必要と判定された場合、その項目の全てを対象にして、作業支援（メッセージの表示）が行われてもよい。また、複数の項目で作業支援が必要と判定された場合、その項目の全てを対象にして作業支援が行われるが、画面において優先度に基づいて上から順番にメッセージが並べて表示されてもよい。

【0066】

また、支援条件テーブルでは、警告メッセージ、注意喚起メッセージおよびお知らせメッセージの各々に関して、項目ごとに、画面におけるメッセージの表示位置が設定されている。

【0067】

警告メッセージは、画面の中央に表示される（図１３参照）。本例では、ブラー、点群密度、特徴点、および急動作の項目に関する警告メッセージが画面の中央に表示される。一方、お知らせメッセージおよび注意喚起メッセージは、画面の下部に表示される（図１４参照）。本例では、ブラー、点群密度、および特徴点に関するお知らせメッセージと、経過時間に関する注意喚起メッセージが画面の下部に表示される。

【0068】

なお、支援条件テーブルに登録された閾値および優先度は、固定値でもよいが、本実施形態では、設定モードの画面（図１５参照）においてユーザが指定することができる。

【0069】

次に、撮影装置１の概略構成について説明する。図３は、撮影装置１の概略構成を示すブロック図である。図４は、プロセッサ１６で行われる処理の概要を示すブロック図である。図５は、点群密度評価処理および特徴点評価処理で用いられる重複領域を示す説明図である。

【0070】

図３に示すように、撮影装置１は、センサ部１２の他に、ディスプレイ１３（表示部）と、入力デバイス１４と、メモリ１５（記憶部）と、プロセッサ１６（ＣＰＵ）と、を備えている。

【0071】

センサ部１２は、可視カメラ２１の他に、デプスカメラ２２と、ＩＭＵ２３（慣性計測装置：Inertial Measurement Unit）とを備えている。

【0072】

デプスカメラ２２は、赤外光を検出して被写体を撮像するステレオカメラであり、検出結果として深度情報（距離画像）を出力する。デプスカメラ２２の検出結果に基づいて、被写体までの距離を計測することができる。なお、デプスカメラ２２はステレオカメラ以外にＬｉＤＡＲなど他の方式の深度情報が取得可能なセンサを用いてもよい。

【0073】

ＩＭＵ２３（検出部）は、自装置の運動状態、具体的には、３次元の角速度および加速度を検出する。ＩＭＵ２３の検出結果に基づいて、撮影装置１の移動量および回転量を計測することができる。

【0074】

なお、可視カメラ２１、デプスカメラ２２、およびＩＭＵ２３は、センサユニットとして一体化されていない構成でもよい。また、デプスカメラ２２およびＩＭＵ２３が省略され、可視カメラ２１のみが設けられた構成でもよい。また、デプスカメラ２２またはＩＭＵ２３のどちらか一方と可視カメラ２１の構成でもよい。

【0075】

ディスプレイ１３は、撮影作業に関する各種の情報をユーザに提示するものであり、撮影モードの画面１０１（図１２参照）や設定モードの画面２０１（図１５参照）などを表示する。

【0076】

入力デバイス１４は、ユーザが入力操作を行うものである。入力デバイス１４は、キーボード、マウス、タッチパッド、タッチパネルなどであってもよい。なお、撮影装置１がタブレット端末で構成される場合には、入力デバイス１４としてのタッチパネルとディスプレイ１３としての表示パネルとが一体化されたタッチパネルディスプレイが設けられる。

【0077】

メモリ１５は、プロセッサ１６で実行されるプログラムなどを記憶する。また、メモリ１５は、可視カメラ２１の撮影画像、デプスカメラ２２の距離情報、およびＩＭＵ２３の検出データを記憶する。また、メモリ１５は、プロセッサ１６で生成された計測結果（点群データ）を記憶する。

【0078】

プロセッサ１６は、メモリ１５に記憶されたプログラムを実行することで各種の処理を行う。本実施形態では、プロセッサ１６が、３次元計測処理Ｐ１、作業支援処理Ｐ２、表示情報生成処理Ｐ３、および表示処理Ｐ４などを行う。

【0079】

３次元計測処理Ｐ１には、特徴抽出処理Ｐ１１、トラッキング処理Ｐ１２、位置姿勢補正処理Ｐ１３、および点群生成処理Ｐ１４が含まれる。

【0080】

作業支援処理Ｐ２には、ブラー評価処理Ｐ２１、点群密度評価処理Ｐ２２、特徴点評価処理Ｐ２３、急動作評価処理Ｐ２４、時間経過評価処理Ｐ２５、支援条件判定処理Ｐ２６、および支援内容決定処理Ｐ２７が含まれる。

【0081】

なお、本実施形態では、撮影装置１が、３次元計測処理Ｐ１、作業支援処理Ｐ２、および表示情報生成処理Ｐ３を行うが、これらの処理の全部あるいは一部が、撮影装置１と通信可能なサーバ装置（図示せず）で行われてもよい。

【0082】

図４に示すように、特徴抽出処理Ｐ１１では、プロセッサ１６が、可視カメラ２１の撮影画像（フレーム）から特徴情報（特徴点など）を抽出する。

【0083】

トラッキング処理Ｐ１２では、プロセッサ１６が、今回抽出された特徴点と以前抽出された特徴点とを比較して、撮影装置１の位置姿勢に関する遷移量を推定し、その遷移量に基づいて、位置姿勢軌跡データを更新する。なお、位置姿勢軌跡データは、撮影装置１の位置姿勢を追跡したものであり、各撮影画像（フレーム）の撮影時の位置姿勢の追跡結果、すなわち、撮影の各時刻における撮影装置１の位置姿勢に関する情報を含む。

【0084】

位置姿勢補正処理Ｐ１３では、プロセッサ１６が、ＩＭＵ２３の検出データに基づいて、トラッキング処理Ｐ１２で取得した位置姿勢軌跡データを補正する。ここでは、例えば壁や天井のように特徴が少ない箇所の計測結果を補うように位置姿勢軌跡データが補正される。

【0085】

点群生成処理Ｐ１４では、プロセッサ１６が、デプスカメラ２２の距離情報と、トラッキング処理Ｐ１２および位置姿勢補正処理Ｐ１３で取得した位置姿勢軌跡データとに基づいて、点群データを生成する。

【0086】

ブラー評価処理Ｐ２１では、プロセッサ１６が、撮影画像に対する画像解析により、撮影画像におけるブラーの発生状況を表す評価値（ブラー評価値）を取得する。ブラー評価値は、撮影画像でのブラーの発生状況を評価するものであり、数値が小さいほどブラーが強くなる。なお、ブラー評価処理Ｐ２１で行われる画像解析は、公知の種々の技術を採用することができ、例えば撮影画像に含まれるエッジに基づいてブラーの発生状況を評価するものである。

【0087】

また、ブラー評価処理Ｐ２１の別パターンでは、プロセッサ１６が、可視カメラ２１の露光時間と、ＩＭＵ２３の検出データ（加速度、角速度）とに基づいて、撮影画像におけるブラーの発生状況を表す評価値（ブラー評価値）を取得する。ここで、露光時間が長いとブラーが強く発生している可能性が高く、また、撮影装置１に発生する加速度や角速度が大きいとブラーが強く発生している可能性が高いことから、可視カメラ２１の露光時間と、ＩＭＵ２３の検出データ（加速度、角速度）とに基づいて、ブラーの発生状況を推定することができる。

【0088】

なお、可視カメラ２１の露光時間およびＩＭＵ２３の検出データのいずれか一方のみに基づいてブラー評価処理Ｐ２１が行われてもよい。また、可視カメラ２１の露光時間自体はユーザの撮影作業とあまり関係ないが、撮影装置１の運動状態がブラーの発生に及ぼす影響が露光時間の長さに応じて変化する。例えば、露光時間が長いと、撮影装置１の加速度や角速度が十分に小さくなければ顕著なブラーが発生し、逆に露光時間が短いと、撮影装置１の加速度や角速度が多少大きくても顕著なブラーは発生しない。

【0089】

点群密度評価処理Ｐ２２では、プロセッサ１６が、点群生成処理Ｐ１４で生成した点群データに基づいて、対象範囲内の点群を計数して、点群の生成状況を表す評価値（点群密度評価値）を取得する。点群密度評価値は、リアルタイムの点群生成が適切に行われているか否かを表すものである。点群密度評価値の数値が小さいほど点群密度が低くなる。

【0090】

点群密度評価値は、次式のように、所定の単位時間（例えば１秒間）における点群生成数（単位時間に生成した点の総数）と、可視カメラ２１の撮影範囲の大きさとから算出されてもよい。この場合、可視カメラ２１の撮影範囲の全体で生成される点群が少ないと、点群密度評価値が小さくなる。
点群密度評価値＝（所定の単位時間での点群生成数）／（撮影範囲）

【0091】

また、点群密度評価値は、今回の撮影時点ｔの撮影範囲と前回の撮影時点ｔ－１の撮影範囲との重複領域（図５参照）における点群生成数（重複領域に含まれる点の総数）としてもよい。この場合も、点群密度評価値の数値が小さいほど点群密度が低くなる。また、可視カメラ２１の撮影範囲で生成される点群が少ない以外に、今回の撮影時点ｔの撮影範囲と前回の撮影時点ｔ－１の撮影範囲との重複領域が狭いと、点群密度評価値が小さくなる。なお、点群密度については、同一箇所を繰り返し撮影することで密度が向上する場合も考えられる。このため、点群密度評価値は、新規に生成される点群のみから求められても良いし、新規に生成される点群だけではなく過去に生成された点群をも含めて求められても良い。この場合の点群生成数は、今回の撮影時点ｔに生成される点群だけではなく、重複領域に含まれる全ての点群の総数となる。

【0092】

特徴点評価処理Ｐ２３では、プロセッサ１６が、特徴抽出処理Ｐ１１の抽出結果に基づいて、対象範囲内の特徴点を計数して、特徴点の抽出状況を表す評価値（特徴点個数）を取得する。

【0093】

特徴点個数は、１枚の撮影画像（１フレーム）内で抽出された特徴点の個数としてもよい。また、特徴点個数は、今回の撮影時点ｔの撮影範囲と前回の撮影時点ｔ－１の撮影範囲との重複領域（図５参照）において抽出された特徴点の個数としてもよい。

【0094】

急動作評価処理Ｐ２４では、プロセッサ１６が、ＩＭＵ２３の検出データ（加速度、角速度）に基づいて、ユーザが撮影装置１を動かす動作の急激さの程度を表す評価値（急動作評価値）を取得する。なお、動作の急激さの程度とは、自装置の位置姿勢が変化する急激さの程度を表し、具体的には、撮影装置１に発生した加速度（減速度を含む）の程度、または、撮影装置１に発生した角速度の程度を表す。

【0095】

また、急動作評価処理Ｐ２４の別パターンでは、プロセッサ１６が、トラッキング処理Ｐ１２で取得した撮影装置１の位置姿勢に関する遷移量に基づいて、急動作評価値を取得する。ここで、遷移量は、自装置の位置姿勢の変化状況を表し、遷移量の大きさから動作の急激さを評価することができる。

【0096】

時間経過評価処理Ｐ２５では、プロセッサ１６が、撮影開始からの経過時間を計測して、撮影時間の経過状況を表す評価値（経過時間）を取得する。具体的には、撮影が開始されるとタイマによる計時が開始され、計測時点におけるタイマによる計測時間が経過時間として取得される。

【0097】

支援条件判定処理Ｐ２６では、プロセッサ１６が、支援条件テーブル（図２参照）を参照して、各項目（ブラー、点群密度、特徴点、急動作、および経過時間）に関する評価値に基づいて、項目ごとの作業支援の要否及び内容を判定する。支援条件テーブルには、項目ごとに判定条件としての閾値が登録されており、各項目の評価値が各項目の閾値と比較される。

【0098】

支援内容決定処理Ｐ２７では、プロセッサ１６が、支援条件テーブル（図２参照）を参照して、各項目の優先度に基づいて、作業支援が必要と判定された項目の中から、作業支援を実施する項目を選択して、作業支援の内容、すなわち、画像表示するメッセージ（警告メッセージ、注意喚起メッセージ、お知らせメッセージ）を決定する。

【0099】

表示情報生成処理Ｐ３では、プロセッサ１６が、可視カメラ２１の撮影画像、点群生成処理Ｐ１４で生成された点群データ、および時間経過評価処理Ｐ２５で取得した経過時間に基づいて、ディスプレイ１３に表示する画面の表示情報を生成する。また、表示情報生成処理Ｐ３では、プロセッサ１６が、作業支援が必要な場合に、支援内容決定処理Ｐ２７で決定された作業支援の内容（警告メッセージ、注意喚起メッセージ、お知らせメッセージ）を含む画面の表示情報を生成する。

【0100】

表示処理Ｐ４では、プロセッサ１６が、表示情報生成処理Ｐ３で生成された表示情報に基づいて、画面（図１２～図１５参照）をディスプレイ１３に表示する。

【0101】

なお、本実施形態では、作業支援の要否を判定するための評価値を取得する処理として、ブラー評価処理Ｐ２１、点群密度評価処理Ｐ２２、特徴点評価処理Ｐ２３、急動作評価処理Ｐ２４、および時間経過評価処理Ｐ２５が行われるが、これらの処理の一部だけが実施されてもよい。

【0102】

次に、プロセッサ１６で行われる処理の手順について説明する。図６は、プロセッサ１６で行われる処理の手順を示すフロー図である。

【0103】

まず、プロセッサ１６が、センサ部１２から可視カメラ２１の撮影画像、デプスカメラ２２の距離情報、およびＩＭＵ２３の検出データを取得する（ＳＴ１０１）。

【0104】

次に、プロセッサ１６が、可視カメラ２１の撮影画像から特徴点を抽出する（特徴抽出処理）（ＳＴ１０２）。

【0105】

次に、プロセッサ１６が、今回抽出された特徴点と以前抽出された特徴点とを比較して、撮影装置１の位置姿勢に関する遷移量を推定し、その遷移量に基づいて、位置姿勢軌跡データを更新する（トラッキング処理）（ＳＴ１０３）。

【0106】

次に、プロセッサ１６が、ＩＭＵ２３の検出データに基づいて、トラッキング処理で取得した位置姿勢軌跡データを補正する（位置姿勢補正処理）（ＳＴ１０４）。

【0107】

次に、プロセッサ１６が、デプスカメラ２２の距離情報と、トラッキング処理および位置姿勢補正処理で取得した位置姿勢軌跡データとに基づいて、点群データを生成する（点群生成処理）（ＳＴ１０５）。

【0108】

次に、プロセッサ１６が、撮影画像におけるブラーの発生状況を表す評価値（ブラー評価値）を取得する（ブラー評価処理）（ＳＴ１０６）。このとき、撮影画像に対する画像解析によりブラー評価値が求められる。また、可視カメラ２１の露光時間とＩＭＵ２３の検出データとに基づいてブラー評価値が求められる。

【0109】

次に、プロセッサ１６が、点群生成処理で生成した点群データに基づいて、対象範囲内の点群を計数して、点群の生成状況を表す評価値（点群密度評価値）を取得する（点群密度評価処理）（ＳＴ１０７）。

【0110】

次に、プロセッサ１６が、特徴抽出処理の抽出結果に基づいて、対象範囲内の特徴点を計数して、特徴点の抽出状況を表す評価値（特徴点個数）を取得する（特徴点評価処理）（ＳＴ１０８）。

【0111】

次に、プロセッサ１６が、ユーザが撮影装置１を動かす動作の急激さを表す評価値（急動作評価値）を取得する（急動作評価処理）（ＳＴ１０９）。このとき、ＩＭＵ２３の検出データに基づいて急動作評価値が求められる。また、トラッキング処理で取得した撮影装置１の位置姿勢に関する遷移量に基づいて急動作評価値が求められる。

【0112】

次に、プロセッサ１６が、撮影時間の経過状況を表す評価値（経過時間）を取得する（時間経過評価処理）（ＳＴ１１０）。このとき、タイマを用いて撮影開始からの経過時間が計測される。

【0113】

なお、ＳＴ１０６～ＳＴ１１０の各処理は図示する順番に限定されない。

【0114】

次に、プロセッサ１６が、支援条件テーブル（図２参照）を参照して、各項目（ブラー、点群密度、特徴点、急動作、および経過時間）に関する評価値に基づいて、項目ごとの作業支援の要否及び内容を判定する（支援条件判定処理）（ＳＴ１１１）。なお、各項目に関する支援条件判定処理は図７～図１１に示す。

【0115】

次に、プロセッサ１６が、１個または複数の項目で作業支援が必要と判定された否かを判定する（ＳＴ１１２）。

【0116】

ここで、１個または複数の項目で作業支援が必要と判定された場合には（ＳＴ１１２でＹｅｓ）、次に、プロセッサ１６が、支援条件テーブル（図２参照）を参照して、各項目の優先度に基づいて、作業支援が必要と判定された項目の中から、作業支援を実施する項目を選択して、作業支援の内容、すなわち、画像表示するメッセージ（警告メッセージ、注意喚起メッセージ、お知らせメッセージ）を決定する（支援内容決定処理）（ＳＴ１１３）。

【0117】

ここで、複数の項目で作業支援が必要と判定された場合に、その全ての項目を対象にして作業支援（メッセージの表示）が実施されてもよい。また、作業支援が必要と判定された複数の項目のうち、優先度が最も高い項目を１つだけ選択して作業支援が実施されてもよい。また、作業支援が必要と判定された複数の項目のうち、優先度の高い方から所定数の項目を選択して作業支援が実施されてもよい。

【0118】

次に、プロセッサ１６が、決定された作業支援の内容に基づいて、画面の表示情報を生成し（表示情報生成処理）、その表示情報に基づいて、画面をディスプレイ１３に表示する（表示処理）（ＳＴ１１４）。

【0119】

次に、プロセッサ１６で行われるブラーに関する支援条件判定処理について説明する。図７は、ブラーに関する支援条件判定処理の手順を示すフロー図である。

【0120】

プロセッサ１６は、支援条件テーブル（図２参照）を参照して、ブラーに関する作業支援の要否及び内容を判定する。支援条件テーブルには、ブラーに関する警告メッセージおよびお知らせメッセージの各々に関する判定条件となる閾値Ｂ１および閾値Ｂ２が登録されている。

【0121】

具体的には、まず、プロセッサ１６が、ブラー評価値が閾値Ｂ１未満であるか否かを判定する（ＳＴ２０１）。ここで、ブラー評価値が閾値Ｂ１未満である場合には（ＳＴ２０１でＹｅｓ）、プロセッサ１６が、ブラーに関する作業支援が必要で、その内容が警告メッセージと判定する（ＳＴ２０２）。

【0122】

一方、ブラー評価値が閾値Ｂ１以上である場合には（ＳＴ２０１でＮｏ）、次に、プロセッサ１６が、ブラー評価値が閾値Ｂ２より大であるか否かを判定する（ＳＴ２０３）。ここで、ブラー評価値が閾値Ｂ２より大である場合には（ＳＴ２０３でＹｅｓ）、プロセッサ１６が、ブラーに関する作業支援が必要で、その内容がお知らせメッセージと判定する（ＳＴ２０４）。

【0123】

一方、ブラー評価値が閾値Ｂ２以下である場合には（ＳＴ２０３でＮｏ）、プロセッサ１６が、ブラーに関する作業支援が不要と判定する（ＳＴ２０５）。

【0124】

次に、プロセッサ１６で行われる点群密度に関する支援条件判定処理について説明する。図８は、点群密度に関する支援条件判定処理の手順を示すフロー図である。

【0125】

プロセッサ１６は、支援条件テーブル（図２参照）を参照して、点群密度に関する作業支援の要否及び内容を判定する。支援条件テーブルには、点群密度に関する警告メッセージおよびお知らせメッセージの各々に関する判定条件となる閾値Ｄ１および閾値Ｄ２が登録されている。

【0126】

具体的には、まず、プロセッサ１６が、点群密度評価値が閾値Ｄ１未満であるか否かを判定する（ＳＴ３０１）。ここで、点群密度評価値が閾値Ｄ１未満である場合には（ＳＴ３０１でＹｅｓ）、プロセッサ１６が、点群密度に関する作業支援が必要で、その内容が警告メッセージと判定する（ＳＴ３０２）。

【0127】

一方、点群密度評価値が閾値Ｄ１以上である場合には（ＳＴ３０１でＮｏ）、次に、プロセッサ１６が、点群密度評価値が閾値Ｄ２より大であるか否かを判定する（ＳＴ３０３）。ここで、点群密度評価値が閾値Ｄ２より大である場合には（ＳＴ３０３でＹｅｓ）、プロセッサ１６が、点群密度に関する作業支援が必要で、その内容がお知らせメッセージと判定する（ＳＴ３０４）。

【0128】

一方、点群密度評価値が閾値Ｄ２以下である場合には（ＳＴ３０３でＮｏ）、プロセッサ１６が、点群密度に関する作業支援が不要と判定する（ＳＴ３０５）。

【0129】

次に、プロセッサ１６で行われる特徴点に関する支援条件判定処理について説明する。図９は、特徴点に関する支援条件判定処理の手順を示すフロー図である。

【0130】

プロセッサ１６は、支援条件テーブル（図２参照）を参照して、特徴点に関する作業支援の要否及び内容を判定する。支援条件テーブルには、特徴点に関する警告メッセージお知らせメッセージの各々に関する判定条件となる閾値Ｑ１および閾値Ｑ２が登録されている。

【0131】

具体的には、まず、プロセッサ１６が、特徴点個数が閾値Ｑ１未満であるか否かを判定する（ＳＴ４０１）。ここで、特徴点個数が閾値Ｑ１未満である場合には（ＳＴ４０１でＹｅｓ）、プロセッサ１６が、特徴点に関する作業支援が必要で、その内容が警告メッセージと判定する（ＳＴ４０２）。

【0132】

一方、特徴点個数が閾値Ｑ１以上である場合には（ＳＴ４０１でＮｏ）、次に、プロセッサ１６が、特徴点個数が閾値Ｑ２より大であるか否かを判定する（ＳＴ４０３）。ここで、特徴点個数が閾値Ｑ２より大である場合には（ＳＴ４０３でＹｅｓ）、プロセッサ１６が、特徴点に関する作業支援が必要で、その内容がお知らせメッセージと判定する（ＳＴ４０４）。

【0133】

一方、特徴点個数が閾値Ｑ２以下である場合には（ＳＴ４０３でＮｏ）、プロセッサ１６が、特徴点に関する作業支援が不要と判定する（ＳＴ４０５）。

【0134】

次に、プロセッサ１６で行われる急動作に関する支援条件判定処理について説明する。図１０は、急動作に関する支援条件判定処理の手順を示すフロー図である。

【0135】

プロセッサ１６は、支援条件テーブル（図２参照）を参照して、急動作に関する作業支援の要否及び内容を判定する。支援条件テーブルには、急動作に関する警告メッセージの判定条件となる閾値Ｓが登録されている。

【0136】

具体的には、まず、プロセッサ１６が、急動作評価値が閾値Ｓより大であるか否かを判定する（ＳＴ５０１）。ここで、急動作評価値が閾値Ｓより大である場合には（ＳＴ５０１でＹｅｓ）、プロセッサ１６が、急動作に関する作業支援が必要で、その内容が警告メッセージと判定する（ＳＴ５０２）。

【0137】

一方、急動作評価値が閾値Ｓ以下である場合には（ＳＴ５０１でＮｏ）、プロセッサ１６が、急動作に関する作業支援が不要と判定する（ＳＴ５０３）。

【0138】

なお、本実施形態では、撮影中にユーザが撮影装置１を動かす速度が速すぎる場合に、作業支援として、撮影装置１を動かす速度を遅くするように促す警告メッセージが表示されるが、急動作評価値に基づいてユーザの動作が遅すぎる場合に、作業効率を高めるための作業支援として、撮影装置１を動かす速度を速くするように促すお知らせメッセージが表示されてもよい。

【0139】

この場合、警告メッセージおよびお知らせメッセージの各々に関する判定条件となる閾値Ｓ１および閾値Ｓ２が設定され、急動作評価値が閾値Ｓ１より大である場合に、作業支援の内容が警告メッセージと判定され、急動作評価値が閾値Ｓ２未満である場合に、作業支援の内容がお知らせメッセージと判定されてもよい。

【0140】

次に、プロセッサ１６で行われる経過時間に関する支援条件判定処理について説明する。図１１は、経過時間に関する支援条件判定処理の手順を示すフロー図である。

【0141】

プロセッサ１６は、支援条件テーブル（図２参照）を参照して、経過時間に関する作業支援の要否及び内容を判定する。支援条件テーブルには、経過時間に関する注意喚起メッセージの判定条件となる閾値Ｔが登録されている。

【0142】

具体的には、まず、プロセッサ１６が、経過時間が閾値Ｔより大であるか否かを判定する（ＳＴ６０１）。ここで、経過時間が閾値Ｔより大である場合には（ＳＴ６０１でＹｅｓ）、プロセッサ１６が、経過時間に関する作業支援が必要で、その内容が注意喚起メッセージと判定する（ＳＴ６０２）。

【0143】

一方、経過時間が閾値Ｔ以下である場合には（ＳＴ６０１でＮｏ）、プロセッサ１６が、経過時間に関する作業支援が不要と判定する（ＳＴ６０３）。

【0144】

次に、ディスプレイ１３に表示される撮影モードの画面１０１について説明する。図１２は、撮影モードの画面１０１を示す説明図である。

【0145】

撮影モードの画面１０１には、メインウィンドウ１０２と、サブウィンドウ１０３とが設けられている。メインウィンドウ１０２とサブウィンドウ１０３とで表示倍率が異なり、メインウィンドウ１０２では画像が拡大して表示され、サブウィンドウ１０３では画像が縮小して表示される。

【0146】

また、メインウィンドウ１０２およびサブウィンドウ１０３には、撮影画像１２１およびマップ画像１２２の各々が表示される。撮影画像１２１は、現在の撮影画像、すなわち、可視カメラ２１から出力されるリアルタイムで撮影された画像である。マップ画像１２２は、俯瞰点群画像、すなわち、点群データの各点を上空の視点から見た状態で画像化（レンダリング）したものである。

【0147】

また、撮影モードの画面１０１には、「撮影開始」のボタン１０５と、「撮影終了」のボタン１０６とが設けられている。ユーザが「撮影開始」のボタン１０５を操作すると、可視カメラ２１による撮影が開始され、撮影画像がメモリ１５に蓄積される。ユーザが「撮影終了」のボタン１０６を操作すると、可視カメラ２１による撮影が終了する。なお、デプスカメラ２２やＩＭＵ２３が存在する場合は、可視カメラ２１による撮影と同様にデプスカメラ２２による距離情報やＩＭＵ２３による検出データの取得が行われる。

【0148】

また、撮影モードの画面１０１には、「画面切替」のボタン１０７と、サブウィンドウ１０３の表示に関するチェックボックス１０８とが設けられている。ユーザが、「画面切替」のボタン１０７を操作すると、メインウィンドウ１０２に撮影画像１２１が拡大して表示されると共に、サブウィンドウ１０３にマップ画像１２２が縮小して表示される状態（図１２に示す状態）と、メインウィンドウ１０２にマップ画像１２２が拡大して表示されると共に、サブウィンドウ１０３に撮影画像１２１が縮小して表示される状態とが切り替えられる。ユーザが、チェックボックス１０８を操作すると、サブウィンドウ１０３の表示状態と非表示状態とを切り替えることができる。

【0149】

また、撮影モードの画面１０１には、時間経過状況表示部１１１と、時間経過状況表示部１１１の表示に関するチェックボックス１１２とが設けられている。時間経過状況表示部１１１には、撮影開始からの経過時間が表示される。ユーザが、チェックボックス１１２を操作すると、時間経過状況表示部１１１の表示状態と非表示状態とを切り替えることができる。

【0150】

なお、本例では、時間経過状況表示部１１１に撮影開始からの経過時間が表示されているが、経過時間の代わりにまたは経過時間と共に、上限時間までの残り時間が表示されてもよい。また、時間経過状況として、上限時間に対する経過時間および残り時間の割合が表示されてもよい。この場合、時間経過状況を表す画像、例えば、時間の経過に伴って表示が変化するレベルインジケータなどが表示されてもよい。

【0151】

また、撮影モードの画面１０１には、「撮影」のタブ１３１と、「設定」のタブ１３２とが設けられている。ユーザは、タブ１３１，１３２を操作することで、撮影モードと設定モードとを切り替えることができる。図１２に示す撮影モードの画面１０１は、ユーザが「撮影」のタブ１３１を操作した場合である。ユーザが「設定」のタブ１３２を操作すると、設定モードの画面２０１（図１５参照）に遷移する。

【0152】

なお、本実施形態では、タブ１３１，１３２の操作で撮影モードと設定モードとが切り替えられるが、ボタンなどの他の形態の操作入力部により撮影モードと設定モードとが切り替えられてもよい。

【0153】

次に、警告メッセージ、注意喚起メッセージおよびお知らせメッセージの表示状況について説明する。図１３は、撮影モードの画面１０１における警告メッセージの表示状況を示す説明図である。図１４は、撮影モードの画面１０１におけるお知らせメッセージの表示状況を示す説明図である。

【0154】

図１３に示すように、作業支援が必要と判定され、かつ、その作業支援の内容が警告メッセージである場合、撮影モードの画面１０１の中央に、警告メッセージを含む第１のメッセージ表示ウィンドウ１４１が重畳表示される。図１３に示す例は、作業支援の内容がブラーの項目に関する警告メッセージの場合であり、「ブラー発生中(低速で移動して下さい)」との警告メッセージが表示される。

【0155】

なお、作業支援の内容が点群密度の項目に関する警告メッセージの場合には、「点群密度低下(低速で移動して下さい)」との警告メッセージを含む第１のメッセージ表示ウィンドウ１４１が画面の中央に表示される。また、作業支援の内容が特徴点の項目に関する警告メッセージの場合には、「特徴点が減少(特徴的な模様や物体を含む画角にして下さい)」との警告メッセージを含む第１のメッセージ表示ウィンドウ１４１が画面の中央に表示される。また、作業支援の内容が急動作の項目に関する警告メッセージの場合には、「急動作発生(低速で移動して下さい)」との警告メッセージを含む第１のメッセージ表示ウィンドウ１４１が画面の中央に表示される。

【0156】

第１のメッセージ表示ウィンドウ１４１は、ユーザの撮影作業の状態が改善されなければ継続して表示され、ユーザの撮影作業の状態が改善されると消失する。

【0157】

図１４に示すように、作業支援が必要と判定され、かつ、その作業支援の内容がお知らせメッセージである場合、撮影モードの画面１０１の下部に、お知らせメッセージを含む第２のメッセージ表示ウィンドウ１４２が重畳表示される。図１４に示す例は、作業支援の内容がブラー、点群密度、特徴点、および急動作のいずれか項目に関するお知らせメッセージの場合であり、「撮影良好(移動のスピードアップが可能です)」とのお知らせメッセージが表示される。

【0158】

また、作業支援の内容が経過時間の項目に関する注意喚起メッセージの場合には、「撮影上限時間が近づいています」との注意喚起メッセージを含む第２のメッセージ表示ウィンドウ１４２が画面の下部に表示される。

【0159】

第２のメッセージ表示ウィンドウ１４２は、ユーザの撮影作業の状態が向上しなければ継続して表示され、ユーザの撮影作業の状態が向上すると消失する。なお、第２のメッセージ表示ウィンドウ１４２には、作業支援としてのお知らせメッセージの他に、ユーザの撮影作業の参考となる情報や注意を喚起する情報などが表示されてもよい。

【0160】

このように本実施形態では、ブラー、点群密度、特徴点、および急動作の各項目に関する警告メッセージが、画面１０１の中央に表示される（図１３参照）。これにより、撮影作業中のユーザに対して、ユーザの撮影作業に関して早急に改善すべき点を分かりやすく案内することができる。特に、警告メッセージでは、項目ごとに改善すべき点がその状態や原因と共に文字で案内されるため、ユーザは、撮影作業の改善すべき点を即座に認識することができる。

【0161】

一方、ブラー、点群密度、および特徴点の各項目に関するお知らせメッセージは、画面１０１の下部に表示される（図１４参照）。これにより、撮影作業中のユーザに対して、ユーザの撮影作業が良好であるものの改善の余地がある場合に、ユーザに望ましい撮影方法を分かりやすく案内することができる。特に、お知らせメッセージでは、警告メッセージと同様に、改善すべき点がその状態や原因と共に文字で案内されるため、ユーザは、撮影作業の改善すべき点を即座に認識することができる。

【0162】

また、経過時間の項目に関する注意喚起メッセージは、画面１０１の下部に表示される（図１４参照）。これにより、撮影作業中のユーザに対して、撮影作業を進める上で注意すべき事項である経過時間に関してユーザに注意を促すことができる。

【0163】

なお、本実施形態では、作業支援として警告メッセージや注意喚起メッセージやお知らせメッセージが画面１０１に表示されるが、作業支援は、画面１０１に表示されるメッセージに限定されない。例えば、警告メッセージや注意喚起メッセージやお知らせメッセージと同様の作業支援内容を表す画像（アイコン、マーク、配色の変化、アニメーションなど）が画面１０１に表示されてもよい。また、撮影装置１に設けられたランプの点灯色の変化や点滅により、警告メッセージや注意喚起メッセージやお知らせメッセージと同様の作業支援内容が表現されてもよい。また、撮影装置１に設けられたスピーカーから出力される音や音声メッセージにより、警告メッセージや注意喚起メッセージやお知らせメッセージと同様の作業支援内容が表現されてもよい。

【0164】

次に、ディスプレイ１３に表示される設定モードの画面２０１（カスタマイズ画面）について説明する。図１５は、設定モードの画面２０１を示す説明図である。

【0165】

設定モードの画面２０１では、警告メッセージに関する第１の設定事項入力部２１１と、注意喚起メッセージに関する第２の設定事項入力部２１２と、お知らせメッセージに関する第３の設定事項入力部２１３とが表示される。

【0166】

第１の設定事項入力部２１１には、警告メッセージに関するチェックボックス２３１が設けられている。ユーザは、チェックボックス２３１を操作することで、警告メッセージに関する全ての項目の処理の有効と無効とをまとめて切り替えることができる。また、第１の設定事項入力部２１１には、項目（ブラー、点群密度、特徴点、急動作）ごとにチェックボックス２３２が設けられている。ユーザは、チェックボックス２３２を操作することで、各項目の処理の有効と無効とを個別に切り替えることができる。また、第１の設定事項入力部２１１には、項目ごとに閾値の入力欄２３３が設けられている。ユーザは、項目ごとに閾値を表す数字を入力欄２３３に入力することができる。

【0167】

第２の設定事項入力部２１２には、注意喚起メッセージに関するチェックボックス２４１が設けられている。ユーザは、チェックボックス２４１を操作することで、注意喚起メッセージに関する全ての項目の処理の有効と無効とをまとめて切り替えることができる。また、第２の設定事項入力部２１２には、項目（経過時間）ごとにチェックボックス２４２が設けられている。ユーザは、チェックボックス２４２を操作することで、各項目の処理の有効と無効とを個別に切り替えることができる。また、第２の設定事項入力部２１２には、項目ごとに閾値の入力欄２４３が設けられている。ユーザは、項目ごとに閾値を表す数字を入力欄２４３に入力することができる。なお、図１５に示す例では、注意喚起メッセージに関して１つの項目（経過時間）だけ設定できるが、複数の項目が設定できるようにしてもよい。

【0168】

第３の設定事項入力部２１３には、お知らせメッセージに関するチェックボックス２５１が設けられている。ユーザは、チェックボックス２５１を操作することで、お知らせメッセージに関する全ての項目の処理の有効と無効とをまとめて切り替えることができる。また、第３の設定事項入力部２１３には、項目（ブラー、点群密度、特徴点）ごとにチェックボックス２５２が設けられている。ユーザは、チェックボックス２５２を操作することで、各項目の処理の有効と無効とを個別に切り替えることができる。また、第３の設定事項入力部２１３には、項目ごとに閾値の入力欄２５３が設けられている。ユーザは、項目ごとに閾値を表す数字を入力欄２５３に入力することができる。

【0169】

なお、本例では、判定条件の操作入力部としての入力欄２３３，２４３，２５３に閾値を表す数字が入力されるが、スライドバーやボタンなどの操作入力部によりユーザが判定基準のレベルを調整するものであってもよい。

【0170】

また、設定モードの画面２０１には、「設定保存」のボタン２６１と「設定読込」のボタン２６２とが設けられている。ユーザが「設定保存」のボタン２６１を操作すると、今回の入力内容で設定情報が保存される。ユーザが「設定読込」のボタン２６２を操作すると、以前の設定情報が読み込まれて、設定事項入力部２１１，２１２，２１３に表示される。

【0171】

このように本実施形態では、項目ごとに作業支援の要否を判定する際の判定条件（閾値）をユーザが指定することができる。このため、ユーザが、計測対象場所の特徴などに応じて適切な閾値に設定することができる。例えば、計測対象場所が広い空間で、点群を生成できる距離以内に被写体があまり存在しない場合、点群が生成されにくいため、点群密度評価値が閾値以下となることで警告メッセージが頻発される可能性がある。この場合、ユーザが、警告メッセージを煩わしく感じると、閾値を小さく設定し直すことで、警告メッセージの頻発を避けることができる。

【0172】

また、各項目に関する処理の有効無効や、各項目の判定条件（閾値）は、計測対象場所に応じて異なる。そこで、計測対象場所の種類ごとに設定情報が予め登録され、撮影作業を開始する際に計測対象場所に適した設定情報が読み込まれるようにしてもよい。これにより、撮影作業を開始する際の設定作業を省力化することができる。また、撮影の終了時に、計測対象場所に関する情報に対応させてユーザがカスタマイズした設定情報を保存しておくことで、次回、同じユーザがその計測対象場所を撮影する場合に、その設定情報を読み込んで、速やかに撮影を開始することができる。

【0173】

次に、設定モードの画面２０１において項目ごとの優先度を変更する操作について説明する。図１６は、項目ごとの優先度を変更する操作の状況を示す説明図である。

【0174】

第１の設定事項入力部２１１では、複数の項目（ブラー、点群密度、特徴点、および急動作）が上から優先度の高い順に並べて表示される。また、第３の設定事項入力部２１３でも、複数の項目（ブラー、点群密度、および特徴点）が上から優先度の高い順に並べて表示される。なお、図１５に示す例では、第２の設定事項入力部２１２に、項目（経過時間）が１つだけ表示されているが、複数の項目が表示されてもよく、その場合、複数の項目が上から優先度の高い順に並べて表示される。

【0175】

設定事項入力部２１１，２１２，２１３（操作入力部）では、ユーザが所定の操作を行うことで、項目ごとの優先度を変更することができる。例えば、ユーザが、設定事項入力部２１１，２１２，２１３の各項目の表示部分に対してドラッグ＆ドロップ操作を行うことで、項目ごとの順番を入れ替えると、入れ替え後の順番に優先度が変更される。

【0176】

なお、優先度に基づく処理は、チェックボックス２３１，２４１，２５１の操作により複数の項目が有効に設定された場合に行われ、有効に設定された複数の項目を対象にして、優先度に基づいて、作業支援の内容、すなわち、画像表示する警告メッセージ、注意喚起メッセージおよびお知らせメッセージが決定される。

【0177】

また、設定事項入力部２１１，２１２，２１３に、優先度の入力欄が設けられて、ユーザが数字で優先度を入力してもよい。

【0178】

ところで、警告メッセージとお知らせメッセージとが同時に表示されることは想定しにくいが、警告メッセージと注意喚起メッセージとが同時に表示されることが想定され、また、お知らせメッセージと注意喚起メッセージとが同時に表示されることが想定される。この場合、同時に表示される各メッセージの表示位置が異なる（例えば、中央と下部）場合は、そのまま同時に表示させてよいが、表示位置が同じ（例えば、共に下部）場合は、どちらか一方のメッセージを優先して表示するか、または、交互に各メッセージを表示するとよい。

【0179】

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

【産業上の利用可能性】

【0180】

本発明に係る撮影装置、撮影作業支援方法、及び撮影作業支援プログラムは、ユーザの撮影作業が良好であるものの改善の余地がある場合に、撮影作業中のユーザに対して、ユーザの撮影作業で改善できる点を分かりやすく案内して、ユーザの習熟度合いなどに関係なく、ユーザが適切な方法で撮影作業を実施することができる効果を有し、計測対象場所の各地点の撮影画像に基づいて計測対象場所の３次元空間情報を生成する３次元計測処理を行うために、計測対象場所の各地点を撮影する撮影装置、ならびにその撮影装置を用いたユーザの撮影作業を支援する撮影作業支援方法および撮影作業支援プログラムなどとして有用である。

【符号の説明】

【0181】

１：撮影装置
１１：装置本体
１２：センサ部
１３：ディスプレイ
１４：入力デバイス
１５：メモリ
１６：プロセッサ
２１：可視カメラ
２２：デプスカメラ
２３：ＩＭＵ
１０１：撮影モードの画面
１１１：時間経過状況表示部
１２１：撮影画像
１２２：マップ画像
１４１：第１のメッセージ表示ウィンドウ
１４２：第２のメッセージ表示ウィンドウ
２０１：設定モードの画面
２１１：第１の設定事項入力部
２１２：第２の設定事項入力部
２１３：第３の設定事項入力部
Ｐ１：３次元計測処理
Ｐ２：作業支援処理
Ｐ３：表示情報生成処理
Ｐ４：表示処理
Ｐ１１：特徴抽出処理
Ｐ１２：トラッキング処理
Ｐ１３：位置姿勢補正処理
Ｐ１４：点群生成処理
Ｐ２１：ブラー評価処理
Ｐ２２：点群密度評価処理
Ｐ２３：特徴点評価処理
Ｐ２４：急動作評価処理
Ｐ２５：時間経過評価処理
Ｐ２６：支援条件判定処理
Ｐ２７：支援内容決定処理

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】