特開 2024-169179 情報処理装置、情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024169179

(43)【公開日】2024-12-05

(54)【発明の名称】情報処理装置、情報処理方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241128BHJP

   H04N 5/222 20060101ALI20241128BHJP

   H04N 23/695 20230101ALI20241128BHJP

   G03B 37/00 20210101ALI20241128BHJP

   G03B 15/00 20210101ALI20241128BHJP

【ＦＩ】

H04N23/60 500

H04N5/222 100

H04N23/695

G03B37/00

G03B15/00 T

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023086428

(22)【出願日】2023-05-25

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】杉本 喬

【テーマコード（参考）】

2H059

5C122

【Ｆターム（参考）】

2H059BA11

5C122EA42

5C122FH11

5C122FH15

5C122FH18

5C122FK23

5C122FK35

5C122FK41

5C122GD04

5C122HA13

5C122HA35

5C122HB01

5C122HB05

(57)【要約】

【課題】 被写体の撮像計画を従来よりも少ない手間で作成するための技術を提供すること。
【解決手段】 被写体の深度マップを取得し、該被写体の撮像範囲を取得し、該被写体の各区画を撮像するための撮像計画を該深度マップと該撮像範囲とに基づいて取得する。
【選択図】 図１

【特許請求の範囲】

【請求項1】

被写体の深度マップを取得する第１取得手段と、
前記被写体の撮像範囲を取得する第２取得手段と、
前記被写体の各区画を撮像するための撮像計画を、前記深度マップと前記撮像範囲とに基づいて取得する第３取得手段と
を備えることを特徴とする情報処理装置。

【請求項2】

前記第１取得手段は、頭部装着型表示装置が有する第１撮像装置により撮像された被写体の撮像画像に基づいて前記深度マップを生成することを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記第２取得手段は、前記頭部装着型表示装置を頭部に装着したユーザにより指定された撮像範囲を取得することを特徴とする請求項２に記載の情報処理装置。

【請求項4】

前記第３取得手段は、前記頭部装着型表示装置が有する第１撮像装置とは異なる第２撮像装置が前記被写体の各区画を撮像するための撮像計画を、前記深度マップと前記撮像範囲とに基づいて取得することを特徴とする請求項２に記載の情報処理装置。

【請求項5】

前記第２撮像装置は、該第２撮像装置のパン角、チルト角、ズーム位置のうち１つ以上を制御可能な雲台装置に取り付けられていることを特徴とする請求項４に記載の情報処理装置。

【請求項6】

さらに、
前記第１撮像装置により撮像された撮像画像に、前記撮像範囲を表す情報を合成した合成画像を生成し、該生成した合成画像を前記頭部装着型表示装置に対して出力する生成手段を備えることを特徴とする請求項２に記載の情報処理装置。

【請求項7】

前記生成手段は、前記深度マップに基づいて、前記撮像範囲が撮像位置から適切なあおり角度に収まっているかどうかを判定し、収まっていない場合には警告を含む合成画像を前記頭部装着型表示装置に対して出力することを特徴とする請求項６に記載の情報処理装置。

【請求項8】

さらに、
前記被写体の画像と、前記撮像計画に基づく区画の撮像の進捗を示す情報と、を合成した合成画像を生成し、該生成した合成画像を前記頭部装着型表示装置に対して出力する手段を備えることを特徴とする請求項２に記載の情報処理装置。

【請求項9】

情報処理装置が行う情報処理方法であって、
前記情報処理装置の第１取得手段が、被写体の深度マップを取得する第１取得工程と、
前記情報処理装置の第２取得手段が、前記被写体の撮像範囲を取得する第２取得工程と、
前記情報処理装置の第３取得手段が、前記被写体の各区画を撮像するための撮像計画を、前記深度マップと前記撮像範囲とに基づいて取得する第３取得工程と
を備えることを特徴とする情報処理方法。

【請求項10】

コンピュータを、請求項１ないし８のいずれか１項に記載の情報処理装置の各手段として機能させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像技術に関する。

【背景技術】

【0002】

構造物の点検行為の一環として、ひびや錆などの変状の有無や過去からの推移を把握するため、高精細に撮像した画像を用いた分析が行われている。この時、壁面に対して、ミリ単位の微細な変状の有無を検出する必要性から、壁面を細かい区画に分割して撮像が行われる。また、分割された全ての区画について抜けが無く、且つ、壁面全体を網羅する複数回の撮像を行うため、パン及びチルトの駆動を自動で行う雲台装置と撮像装置を組み合わせた撮像システムが用いられている。加えて、壁面全体を適切な画質で漏れなく撮像できていることを担保するために、焦点距離およびパンまたはチルト駆動量などを規定する適切な撮像計画の立案および実行が必要とされる。特許文献１には、図面情報と撮像画像の画質情報に基づいて撮像計画情報を生成し、実撮像位置を図面上に合成して表示する、ことが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１７／１３０７００号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、適切な撮像計画の立案および実行には手間がかかってしまうという問題がある。例えば、検査対象である壁面全体に対して正対して撮像するために、撮像位置から壁面全体へのあおり角を一定角度以内に収めるようにあおり角を計測しながら撮像計画を立案しなければならない。さらに、検査に必要な撮像画像の解像度（単位面積あたりの画素数）を担保するために、撮像位置から壁面全体までの距離を計測し、最適な焦点距離での撮像計画を立案しなければならない。さらに、壁面全体を最低限の撮像回数で網羅することが可能な撮像間のパンまたはチルト駆動量を、焦点距離およびスティッチ処理に必要な撮像画像間の重なり度合い及び壁面全体までの距離に基づいて決定し、雲台装置にパンまたはチルト駆動計画を設定して撮像計画を実行する必要がある。特許文献１に開示の技術では、撮像計画を立案するために事前に図面情報を用意しなければならない。さらに、撮像計画に従って撮像を行う際には手動での撮像が必要であり、焦点距離の設定や撮像位置の移動は手動で行わなければならない。本発明は、被写体の撮像計画を従来よりも少ない手間で作成するための技術を提供する。

【課題を解決するための手段】

【0005】

本発明の一様態は、被写体の深度マップを取得する第１取得手段と、前記被写体の撮像範囲を取得する第２取得手段と、前記被写体の各区画を撮像するための撮像計画を、前記深度マップと前記撮像範囲とに基づいて取得する第３取得手段とを備えることを特徴とする。

【発明の効果】

【0006】

本発明の構成によれば、被写体の撮像計画を従来よりも少ない手間で作成することができる。

【図面の簡単な説明】

【0007】

【図1】システムの構成例を示す図。

【図2】撮像装置１０１、雲台装置１０２、演算装置１０３、ＨＭＤ１１０のそれぞれの機能構成例を示すブロック図。

【図3A】撮像装置１０１のハードウェア構成例を示すブロック図。

【図3B】雲台装置１０２のハードウェア構成例を示すブロック図。

【図3C】演算装置１０３のハードウェア構成例を示すブロック図。

【図3D】ＨＭＤ１１０のハードウェア構成例を示すブロック図。

【図4A】撮像装置１０１が最初の区画を撮像する様子を簡略化して示した俯瞰図。

【図4B】撮像装置１０１が撮像計画にしたがったパン駆動によりパン角を変更しながらそれぞれの区画を撮像する様子を簡略化して示した俯瞰図。

【図5】隣り合う区画の撮像画像の一例を示す図。

【図6】システムの動作のフローチャート。

【図7】ステップＳ６０３における処理の詳細を示すフローチャート。

【図8】ステップＳ６０６における処理の詳細を示すフローチャート。

【図9】ステップＳ８０５における処理の詳細を示すフローチャート。

【図10】（ａ）はステップＳ７０３を説明する図、（ｂ）は合成画像の一例を示す図。

【図11】撮像進捗合成画像の一例を示す図。

【発明を実施するための形態】

【0008】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0009】

［第１の実施形態］
先ず、本実施形態に係るシステムの構成例について、図１を用いて説明する。動画像を撮像する／静止画像を定期的若しくは不定期的に撮像する撮像装置１０１は雲台装置１０２に組み込まれる。雲台装置１０２は三脚１０４上に固定されており、撮像装置１０１のパン方向の角度（パン角）、チルト方向の角度（チルト角）、ズーム位置を制御（ＰＴＺ制御）するための駆動ユニットである駆動ユニット１０５，１０６，１０７の動作制御を行う。駆動ユニット１０５は、撮像装置１０１をパン方向に回転させることで該撮像装置１０１のパン角を制御する。駆動ユニット１０６は、撮像装置１０１をチルト方向に回転させることで該撮像装置１０１のチルト角を制御する。駆動ユニット１０７は、撮像装置１０１が有するレンズのズーム位置を制御する。

【0010】

撮像装置１０１により撮像された撮像画像は通信ケーブル１０８を介して雲台装置１０２に対して出力される。撮像装置１０１が動画像を撮像する場合には、該撮像装置１０１は該動画像における各フレームの画像を撮像画像として出力する。一方、撮像装置１０１が定期的若しくは不定期的に静止画像を撮像する場合には、該静止画像を撮像画像として出力する。雲台装置１０２は、通信ケーブル１０８を介して撮像装置１０１から入力された撮像画像を通信ケーブル１０９を介して演算装置１０３に対して出力する。

【0011】

ヘッドマウントディスプレイ（ＨＭＤ）１１０は、ビデオシースルー方式の頭部装着型表示装置である。ＨＭＤ１１０は、該ＨＭＤ１１０を頭部に装着するユーザの眼に近い位置から、該ユーザの視線方向と略同一の方向を撮像する撮像部と、演算装置１０３から通信ケーブル１１１を介して取得した画像（必要に応じて文字も含む）を表示する表示部と、を有する。

【0012】

なお、図１に示したシステムの構成は一例に過ぎない。たとえば、通信ケーブル１０８を用いず、撮像装置１０１と演算装置１０３とを直接接続するようにしても良い。また、装置間のデータ通信は有線での通信に限らず、無線通信であっても良い。また、撮像装置１０１のＰＴＺ制御のための構成は図１に示した構成に限らない。

【0013】

次に、上記の撮像装置１０１、雲台装置１０２、演算装置１０３、ＨＭＤ１１０のそれぞれの機能構成例について、図２のブロック図を用いて説明する。先ず、撮像装置１０１について説明する。撮像ユニット２０２は、画像の撮像を行う。画像記録ユニット２０４は、撮像ユニット２０２により撮像された撮像画像をメモリなどの記憶装置に記録（格納）する。フォーカス駆動ユニット２０５は、撮像装置１０１が有する光学レンズのフォーカスを制御する。測距ユニット２０６は、オートフォーカス機能のための被写体までの距離を測定する。通信ユニット２０７は、外部との間のデータ通信を行う。撮像制御ユニット２０３は、撮像装置１０１全体の動作制御を行う。

【0014】

次に、雲台装置１０２について説明する。パン駆動ユニット２１０は、上記の駆動ユニット１０５の駆動制御を行う。チルト駆動ユニット２１１は、上記の駆動ユニット１０６の駆動制御を行う。ズーム駆動ユニット２１９は、上記の駆動ユニット１０７の駆動制御を行う。通信ユニット２１２は、外部との間のデータ通信を行う。雲台制御ユニット２０９は、雲台装置１０２全体の動作制御を行う。

【0015】

次に、演算装置１０３について説明する。雲台制御ユニット２１４は、撮像装置１０１の現在のパン角、チルト角、ズーム位置を、設定されたパン角、チルト角、ズーム位置に変更するべく、上記のパン駆動ユニット２１０、チルト駆動ユニット２１１、ズーム駆動ユニット２１９の動作制御を行う。雲台制御ユニット２１４は、雲台装置１０２から現在の撮像装置１０１のパン角、チルト角、ズーム位置を取得する。画像保持ユニット２１５は、撮像装置１０１やＨＭＤ１１０から取得した情報（画像や該画像に係る情報）を保持する。画像処理ユニット２１６は、画像保持ユニット２１５が保持する画像に対して画像処理を施してスティッチ画像や合成画像などを生成する。撮像制御ユニット２１７は、撮像装置１０１による撮像を制御する。通信ユニット２１８は、外部との間のデータ通信を行う。

【0016】

次に、ＨＭＤ１１０について説明する。撮像ユニット２２１は、撮像を行う。通信ユニット２２０は、外部との間のデータ通信を行う。入力ユニット２２３は、ＨＭＤ１１０への各種の情報を入力する。表示ユニット２２２は、撮像ユニット２２１が撮像した撮像画像や通信ユニット２２０が外部から受信した画像や文字を表示する。

【0017】

次に、撮像装置１０１のハードウェア構成例について、図３Ａのブロック図を用いて説明する。ＣＰＵ３０１は、ＲＡＭ３０３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行することで、撮像装置１０１全体の動作制御を行うと共に、撮像装置１０１が行う処理として説明する各種の処理を実行もしくは制御する。

【0018】

ＲＯＭ３０２には、ＯＳ（オペレーティングシステム）、撮像装置１０１の設定データ、撮像装置１０１の起動に係るコンピュータプログラムやデータ、撮像装置１０１の基本動作に係るコンピュータプログラムやデータ、などが格納されている。

【0019】

ＲＡＭ３０３は、ＲＯＭ３０２からロードされたコンピュータプログラムやデータを格納するためのエリア、撮像モジュール３０４から出力される撮像画像を格納するためのエリア、を有する。さらにＲＡＭ３０３は、通信モジュール３１０により外部から受信したデータを格納するためのエリア、記録デバイス３１１により記憶媒体からロードされたコンピュータプログラムやデータを格納するためのエリア、を有する。さらにＲＡＭ３０３は、ＣＰＵ３０１が各種の処理を実行する際に用いるワークエリア、を有する。このように、ＲＡＭ３０３は各種のエリアを適宜提供することができる。

【0020】

撮像モジュール３０４は、光学レンズ、該光学レンズを駆動制御するための駆動制御部、該光学レンズを介して受光した光を光電変換して画像信号を出力する撮像素子を含む撮像センサ、該画像信号をＡ／Ｄ変換するＡ／Ｄ変換部、Ａ／Ｄ変換部によりＡ／Ｄ変換された画像信号に対して各種の画像処理を施して撮像画像を生成する画像処理部、などを有する。撮像モジュール３０４により生成された撮像画像は、ＣＰＵ３０１による制御に従ってＲＡＭ３０３に格納されても良いし、記録デバイス３１１によってメモリカードなどの記憶媒体に格納されても良い。

【0021】

ＡＦ測距モジュール３０５は、被写体までの距離を測距してフォーカス位置を決定する。被写体までの距離を測距する技術については様々な技術があり、本実施形態ではどのような技術を用いても構わない。

【0022】

レンズ制御モジュール３０６は、フォーカス駆動モジュール３０７およびアイリス駆動モジュール３０８の動作制御を行う。フォーカス駆動モジュール３０７は、レンズ制御モジュール３０６による制御に従ってフォーカスを制御する。アイリス駆動モジュール３０８は、レンズ制御モジュール３０６による制御に従ってアイリスを制御する。

【0023】

入出力Ｉ／Ｆモジュール３０９は、タッチパネル画面やボタンなどのユーザインターフェースであり、ユーザが操作することで各種の指示や情報（例えば撮像のための設定情報）を撮像装置１０１に対して入力することができる。

【0024】

通信モジュール３１０は、外部との間のデータ通信を行う。記録デバイス３１１は、撮像モジュール３０４により撮像された撮像画像や該撮像画像に係る情報（例えばメタデータ）を、撮像装置１０１に装着／挿入されたメモリカードなどの記憶媒体に格納する。

【0025】

ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、撮像モジュール３０４、ＡＦ測距モジュール３０５、レンズ制御モジュール３０６、入出力Ｉ／Ｆモジュール３０９、通信モジュール３１０、記録デバイス３１１、はいずれも入出力バス（アドレスバス、データバス、制御バス）３１２に接続されている。

【0026】

次に、雲台装置１０２のハードウェア構成例について、図３Ｂのブロック図を用いて説明する。ＣＰＵ３１３は、ＲＡＭ３１５に格納されているコンピュータプログラムやデータを用いて各種の処理を実行することで、雲台装置１０２全体の動作制御を行うと共に、雲台装置１０２が行う処理として説明する各種の処理を実行もしくは制御する。

【0027】

ＲＯＭ３１４には、ＯＳ（オペレーティングシステム）、雲台装置１０２の設定データ、雲台装置１０２の起動に係るコンピュータプログラムやデータ、雲台装置１０２の基本動作に係るコンピュータプログラムやデータ、などが格納されている。

【0028】

ＲＡＭ３１５は、ＲＯＭ３１４からロードされたコンピュータプログラムやデータを格納するためのエリア、通信モジュール３１６や通信モジュール３２０により外部から受信したデータを格納するためのエリア、を有する。さらにＲＡＭ３１５は、ＣＰＵ３１３が各種の処理を実行する際に用いるワークエリアを有する。このように、ＲＡＭ３１５は、各種のエリアを適宜提供することができる。通信モジュール３１６は、撮像装置１０１との間のデータ通信を行う。

【0029】

パン駆動モジュール３１７は、上記の駆動ユニット１０５に対応しており、チルト駆動モジュール３１８は、上記の駆動モジュール１０６に対応している。入出力Ｉ／Ｆモジュール３１９は、タッチパネル画面やボタンなどのユーザインターフェースであり、ユーザが操作することで各種の指示や情報（例えばＰＴＺ制御のための設定情報）を雲台装置１０２に対して入力することができる。

【0030】

通信モジュール３２０は、演算装置１０３との間のデータ通信を行う。ズーム駆動モジュール３２２は、上記の駆動ユニット１０７に対応している。ＣＰＵ３１３、ＲＯＭ３１４、ＲＡＭ３１５、通信モジュール３１６、パン駆動モジュール３１７、チルト駆動モジュール３１８、入出力Ｉ／Ｆモジュール３１９、通信モジュール３２０、ズーム駆動モジュール３２２、はいずれも入出力バス（アドレスバス、データバス、制御バス）３２１に接続されている。

【0031】

次に、演算装置１０３のハードウェア構成例について、図３Ｃのブロック図を用いて説明する。演算装置１０３は、ＰＣ（パーソナルコンピュータ）、スマートフォン、タブレット端末装置、などのコンピュータ装置として機能する情報処理装置である。

【0032】

ＣＰＵ３２２は、ＲＡＭ３２４に格納されているコンピュータプログラムやデータを用いて各種の処理を実行することで、演算装置１０３全体の動作制御を行うと共に、演算装置１０３が行う処理として説明する各種の処理を実行もしくは制御する。

【0033】

ＲＯＭ３２３には、演算装置１０３の設定データ、演算装置１０３の起動に係るコンピュータプログラムやデータ、演算装置１０３の基本動作に係るコンピュータプログラムやデータ、などが格納されている。

【0034】

ＲＡＭ３２４は、ＲＯＭ３２３や記憶装置３２８からロードされたコンピュータプログラムやデータを格納するためのエリア、通信モジュール３３０や通信モジュール３２７により外部から受信したデータを格納するためのエリア、を有する。さらにＲＡＭ３２４は、ＣＰＵ３２２が各種の処理を実行する際に用いるワークエリアを有する。このように、ＲＡＭ３２４は各種のエリアを適宜提供することができる。

【0035】

通信モジュール３３０は、ＨＭＤ１１０との間のデータ通信を行う。ディスプレイ装置３２５は、液晶画面やタッチパネル画面を有し、ＣＰＵ３２２による処理結果を画像や文字などでもって表示することができる。なお、ディスプレイ装置３２５は、画像や文字を投影するプロジェクタなどの投影装置であっても良い。

【0036】

入力装置３２６は、キーボード、マウス、タッチパネルなどのユーザインターフェースであり、ユーザが操作することで各種の指示をＣＰＵ３２２に対して入力することができる。

【0037】

通信モジュール３２７は、雲台装置１０２との間のデータ通信を行う。記憶装置３２８は、ハードディスクドライブ装置などの情報記憶装置である。記憶装置３２８には、ＯＳ，演算装置１０３が行う処理として説明する各種の処理をＣＰＵ３２２に実行もしくは制御させるためのコンピュータプログラムやデータ、などが保存されている。記憶装置３２８に保存されているコンピュータプログラムやデータはＣＰＵ３２２による制御に従って適宜ＲＡＭ３２４にロードされ、ＣＰＵ３２２による処理対象となる。

【0038】

ＣＰＵ３２２、ＲＯＭ３２３、ＲＡＭ３２４、通信モジュール３２０、ディスプレイ装置３２５、入力装置３２６、通信モジュール３２７、記憶装置３２８、はいずれも入出力バス（アドレスバス、データバス、制御バス）３２９に接続されている。

【0039】

次に、ＨＭＤ１１０のハードウェア構成例について、図３Ｄのブロック図を用いて説明する。ＣＰＵ３３１は、ＲＡＭ３３３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行することで、ＨＭＤ１１０全体の動作制御を行うと共に、ＨＭＤ１１０が行う処理として説明する各種の処理を実行もしくは制御する。

【0040】

ＲＯＭ３３２には、ＨＭＤ１１０の設定データ、ＨＭＤ１１０の起動に係るコンピュータプログラムやデータ、ＨＭＤ１１０の基本動作に係るコンピュータプログラムやデータ、などが格納されている。

【0041】

ＲＡＭ３３３は、ＲＯＭ３３２や記憶装置３３８からロードされたコンピュータプログラムやデータを格納するためのエリア、通信モジュール３３７により外部から受信したデータを格納するためのエリア、を有する。さらにＲＡＭ３３３は、撮像モジュール３３４から出力された撮像画像を格納するためのエリア、ＣＰＵ３３１が各種の処理を実行する際に用いるワークエリアを有する。このように、ＲＡＭ３３３は各種のエリアを適宜提供することができる。

【0042】

撮像モジュール３３４は、光学レンズ、該光学レンズを駆動制御するための駆動制御部、該光学レンズを介して受光した光を光電変換して画像信号を出力する撮像素子を含む撮像センサ、該画像信号をＡ／Ｄ変換するＡ／Ｄ変換部、Ａ／Ｄ変換部によりＡ／Ｄ変換された画像信号に対して各種の画像処理を施して撮像画像を生成する画像処理部、などを有する。撮像モジュール３３４は、ＨＭＤ１１０を頭部に装着したユーザ（ＨＭＤ装着ユーザ）の眼に近い位置から、該ＨＭＤ装着ユーザの視線方向と略同一の方向を撮像するようにＨＭＤ１１０に取り付けられている。

【0043】

ディスプレイ装置３３５は、ＨＭＤ装着ユーザの眼前に位置するように該ＨＭＤ１１０に設けられており、演算装置１０３から送信された画像や文字を表示する。入力装置３３６は、タッチパネル画面やボタンなどのユーザインターフェースであり、ユーザが操作することで各種の情報や指示をＨＭＤ１１０に対して入力することができる。

【0044】

通信モジュール３３７は、外部との間のデータ通信を行う。

【0045】

記憶装置３３８は、不揮発性のメモリであり、ＯＳ，ＨＭＤ１１０の起動に係るコンピュータプログラムやデータ、ＨＭＤ１１０の基本動作に係るコンピュータプログラムやデータ、などが保存されている。記憶装置３３８に保存されているコンピュータプログラムやデータは、ＣＰＵ３３１による制御に従って適宜ＲＡＭ３３３にロードされ、ＣＰＵ３３１の処理対象となる。

【0046】

ＣＰＵ３３１、ＲＯＭ３３２、ＲＡＭ３３３、撮像モジュール３３４、ディスプレイ装置３３５、入力装置３３６、通信モジュール３３７、記憶装置３３８、はいずれも入出力バス（アドレスバス、データバス、制御バス）３３９に接続されている。

【0047】

次に、本実施形態に係るシステムによる被写体の撮像動作について、図４Ａ、４Ｂを用いて説明する。本実施形態では、被写体として、点検対象である建物の壁面を例に取り説明する。しかし、以下の説明は被写体が建物の壁面であることに限るものではない。

【0048】

本実施形態では、建物の壁面を複数の区画に分け、演算装置１０３によって作成される撮像計画にしたがったパン駆動、チルト駆動、ズーム駆動によりパン角やチルト角やズーム位置を変更しながらそれぞれの区画を撮像する。図４Ａは、雲台装置１０２に搭載された撮像装置１０１が最初の区画を撮像する様子を簡略化して示した俯瞰図である。

【0049】

雲台装置１０２に搭載された撮像装置１０１は、建物４０２の壁面４０３における最初の区画を撮像するべく設置位置４０１に設置されている。この時、設置位置４０１は、本来は壁面４０３の中央の垂線（中心線）上に置かれるべきであるが、実際の撮像現場では他の建築物が存在するなど障害物の影響により中心線上からずれる場合が少なくない。

【0050】

また、参照番号４０４は、雲台装置１０２のパン駆動によって撮像装置１０１が最初の区画の撮像を行う方向の中心方向を示し、参照番号４１９は、中心方向４０４を撮像方向とする撮像における画角を示している。また、参照番号４１０は、最初の区画の中心方向４０４と壁面４０３との交点を示しており、撮像装置１０１が中心方向４０４を撮像方向とする撮像を行う際には、画角４１９の中央となる交点４１０の位置の壁面に対してＡＦを適応してフォーカスを合わせる。この時、交点４１０でフォーカスを合わせた場合に撮像装置１０１の撮像センサの表面上に被写体の映像が最小の円に集束し得る合焦面は平面４１６となる。しかし実際には、合焦面４１６までの距離から外れており、被写体の映像が集束する際の円のサイズが最小では無い場合でも、該円のサイズが撮像センサの画素サイズ以下に収まる場合にはフォーカスのずれが識別できない。この様なフォーカスのずれが識別できない距離の範囲は被写界深度と呼ばれ、撮像センサの画素サイズ、光学レンズ装置の焦点距離と絞り値、被写体までの距離から演算することが可能である。ここで、図４Ａにおいては、合焦面４１６よりも前方の被写界深度（前方被写界深度）は平面４１７、合焦面４１６よりも後方の被写界深度（後方被写界深度）は平面４１８、となり、これらの距離の範囲にある壁面４０３も合焦していると見なして構わない。したがって、図４Ａに示す壁面４０３を撮像する際には、該被写界深度を考慮して設置位置４０１と、撮像装置１０１のパラメータ（焦点距離及び絞り値）と、については事前に適切に設定する必要がある。

【0051】

図４Ｂは、雲台装置１０２に搭載された撮像装置１０１が、演算装置１０３によって作成される撮像計画にしたがったパン駆動によりパン角を変更しながらそれぞれの区画を撮像する様子を簡略化して示した俯瞰図である。

【0052】

中心方向４０５は、雲台装置１０２のパン駆動によって撮像装置１０１が２つ目の区画の撮像を行う方向の中心方向を示しており、画角４２０は、中心方向４０５を撮像方向とする撮像における画角を示している。

【0053】

中心方向４０６は、雲台装置１０２のパン駆動によって撮像装置１０１が３つ目の区画の撮像を行う方向の中心方向を示しており、画角４２１は、中心方向４０６を撮像方向とする撮像における画角を示している。

【0054】

中心方向４０７は、雲台装置１０２のパン駆動によって撮像装置１０１が４つ目の区画の撮像を行う方向の中心方向を示しており、画角４２２は、中心方向４０７を撮像方向とする撮像における画角を示している。

【0055】

中心方向４０８は、雲台装置１０２のパン駆動によって撮像装置１０１が５つ目の区画の撮像を行う方向の中心方向を示しており、画角４２３は、中心方向４０８を撮像方向とする撮像における画角を示している。

【0056】

中心方向４０９は、雲台装置１０２のパン駆動によって撮像装置１０１が６つ目の区画の撮像を行う方向の中心方向を示しており、画角４２４は、中心方向４０９を撮像方向とする撮像における画角を示している。

【0057】

ここで、壁面４０３が正面向かって右側にさらに続いている場合には、壁面４０３に対する中心方向の角度がさらに鋭角となり、該角度が鋭角となるような中心方向から撮像した壁面４０３の撮像画像は、「点検に適した高精細な撮像画像」とはならない。よって、中心方向が「該角度が鋭角となるような中心方向」となる前に、撮像装置１０１を右側に移動させ、そして上記と同様に複数の撮像方向について壁面４０３の撮像を行う。ここでは簡略化した説明の為に、建物４０２の高さ方向、即ち雲台装置１０２によるチルト方向の駆動はせず、パン方向の駆動のみで壁面４０３を６回に分けて撮像するものとする。

【0058】

また、交点４１１は中心方向４０５と壁面４０３との交点を示しており、交点４１２は中心方向４０６と壁面４０３との交点を示している。また、交点４１３は中心方向４０７と壁面４０３との交点を示しており、交点４１４は中心方向４０８と壁面４０３との交点を示している。また、交点４１５は中心方向４０９と壁面４０３との交点を示している。図４Ｂでは、図４Ａと同様に、交点４１１～４１５においてオートフォーカスを実施した際の合焦面、前方被写界深度の範囲、後方被写界深度の範囲、をそれぞれ太い実線、細かい点線、粗い点線で示している。この時、被写界深度の範囲は、前方被写界深度より後方被写界深度の範囲の方が広くなる事が知られている。また、図４Ｂに示す如く、被写体との距離が遠くなることでで、被写界深度の範囲が広くなることが知られている。さらに、壁面４０３におけるそれぞれの区画については、画角４１９～４２４の如く、隣り合う区画の撮像画像同士で一部が重複するように撮像される。これは、壁面を確実に網羅するためであり、且つ撮像画像の中央部分を利用することで、より高品位な点検の為の撮像画像を得るためである。なお、図４Ｂにおいては、前回の撮像における画角の端を今回の撮像における中心方向としたが、重複の割合はこれと異なる割合にしても構わない。

【0059】

次に、上記の如く隣り合う区画の撮像画像を取得した場合に、該撮像画像を用いて行う処理について、図５を用いて説明する。図５（ａ）において撮像画像５０１～５０６は、雲台装置１０２によるパン駆動により撮像装置１０１により撮像されたそれぞれの区画に対応する撮像画像である。ここで、図５（ａ）では、分かり易さの為に撮像画像５０１～５０６が上下方向にずれて配置された図となっているが、本来は上下方向のずれはない。

【0060】

図５（ｂ）は、雲台装置１０２によるパン駆動およびチルト駆動により撮像装置１０１により撮像されたそれぞれの区画に対応する撮像画像を示しており、それぞれの撮像画像は、隣り合う区画の撮像画像が互いに重複するように撮像されている。図５（ｂ）では、図５（ａ）の撮像画像５０１～５０６を最上の行における撮像画像としている。撮像画像５０７は、雲台装置１０２によるパン駆動およびチルト駆動により撮像装置１０１により撮像された左下隅の区画の撮像画像である。撮像画像５０８は、雲台装置１０２によるパン駆動およびチルト駆動により撮像装置１０１により撮像された右下隅の区画の撮像画像である。

【0061】

撮像した全ての撮像画像は、該撮像画像の中央部分を利用して一枚の画像に統合され、あたかも点検対象である壁面を高精細に撮像した画像となる。インフラ施設の点検においては、この統合された画像を用いて、検査者が壁面の微細な変状の有無を確認することとなるが、該検査については本実施形態とは直接関係が無いために、ここでは説明を省略する。

【0062】

次に、本実施形態に係るシステムの動作について、図６のフローチャートに従って説明する。ステップＳ６０１では、演算装置１０３は、撮像画像に求められる解像度を設定する。たとえば、ユーザは入力装置３２６を操作して解像度を入力し、ＣＰＵ３２２は、該入力された解像度を、撮像画像に求められる解像度として設定する。

【0063】

ステップＳ６０２では、演算装置１０３は、隣り合う区画の撮像画像同士のオーバーラップ率を設定する。オーバーラップ率とは、撮像画像の面積（画素数）に対する、隣り合う区画の撮像画像同士が重なり合う部分の面積（画素数）の割合である。オーバーラップ率を設定する理由は、上記の如く、点検対象である壁面を確実に網羅するため、および撮像画像の中央部分を利用することでより高品位な点検の為の画像を得るため、である。たとえば、ユーザは入力装置３２６を操作してオーバーラップ率を入力し、ＣＰＵ３２２は該入力されたオーバーラップ率を以降の処理で使用するオーバーラップ率として設定する。

【0064】

ステップＳ６０３では、壁面の撮像範囲の取得、壁面の深度マップ（距離マップ）の生成、を行う。ステップＳ６０３における処理の詳細については後述する。ステップＳ６０４では演算装置１０３は、ステップＳ６０１で設定した解像度、ステップＳ６０３で生成した深度マップ、予め記憶装置３２８に保存されている「撮像装置１０１の撮像センサの画素サイズ」、に基づいてパラメータを求める。

【0065】

たとえば、演算装置１０３は、壁面の深度マップの各画素の画素値（距離）のうち最も遠い距離においてもステップＳ６０１で設定した解像度が得られるような焦点距離を算出する。また演算装置１０３は、深度マップの各画素の画素値（距離）のうち最も距離が異なる２画素間の距離が被写界深度となるように、撮像装置１０１の撮像センサの画素サイズ、焦点距離、被写体までの距離に基づいて絞りを算出する。

【0066】

ステップＳ６０５では、演算装置１０３は、ステップＳ６０２で設定したオーバーラップ率で撮像画像を重複させながら壁面（ステップＳ６０３にて取得した撮像範囲）をカバーする撮像を実行できるように、ステップＳ６０３で生成した深度マップと、ステップＳ６０３で取得した撮像範囲と、ステップＳ６０４で算出した焦点距離や絞りと、に基づいて、それぞれの撮像画像を良好な画質で撮像するために雲台装置１０２に指示するパン角、チルト角、ズーム位置を「撮像計画」として決定（作成）する。つまり演算装置１０３は、壁面における各区画を良好な画質で撮像するために雲台装置１０２に指示するパン角、チルト角、ズーム位置を「撮像計画」として決定（作成）する。

【0067】

たとえば、演算装置１０３は、壁面の撮像範囲をカバーするような区画群を設定する。そして演算装置１０３は、区画ごとに、深度マップにおいて該区画に属する画素値（距離）と、ステップＳ６０４で算出した焦点距離や絞りと、を用いて該区画を良好な画質で撮像するためのパン角、チルト角、ズーム位置を求める。

【0068】

ステップＳ６０６では、演算装置１０３は、ステップＳ６０５で作成した撮像計画に基づく各区画の撮像の進捗を取得してＨＭＤ１１０に表示させるための処理を行う。ステップＳ６０６における処理の詳細については後述する。

【0069】

ステップＳ６０７では、演算装置１０３は、撮像装置１０１により撮像された撮像画像群（各区画の撮像画像）に対してパノラマスティッチ処理を実行することで合成された画像をパノラマ画像として取得する。たとえば、演算装置１０３は、撮像装置１０１により撮像された撮像画像群を、それぞれの撮像画像に紐づいて保持されている位置情報（該撮像画像に対応するパン角、チルト角、ズーム位置）に基づいて並べる。そして演算装置１０３は、撮像画像間のつなぎ目を画像処理にて合成することでパノラマ画像を生成する。

【0070】

そして演算装置１０３は、生成したパノラマ画像を出力する。パノラマ画像の出力先は特定の出力先に限らない。たとえば、演算装置１０３は、パノラマ画像をディスプレイ装置３２５に表示させても良いし、パノラマ画像を記憶装置３２８に保存しても良いし、パノラマ画像を通信モジュール３３０を介して外部装置に対して送信しても良い。外部装置は、図１に示した装置であってもよし、該装置以外の装置であっても良い。

【0071】

次に、上記のステップＳ６０３における処理の詳細について、図７のフローチャートに従って説明する。ステップＳ７０１では、ＣＰＵ３２２は、撮像範囲を指定するための処理（撮像範囲指定処理）をＨＭＤ１１０に実行させるための指示である撮像範囲指定指示を、通信モジュール３３０を介してＨＭＤ１１０に対して送信する。

【0072】

ステップＳ７０２では、ＣＰＵ３３１は、演算装置１０３から送信された撮像範囲指定指示を通信モジュール３３７を介して受信する。ステップＳ７０３では、ＣＰＵ３３１は撮像モジュール３３４に撮像を指示し、撮像モジュール３３４は該指示に従って撮像を行うことで撮像画像を取得する。この撮像では、図１０（ａ）に示す如く、ＨＭＤ１１０の撮像モジュール３３４の画角１００１内に建物４０２の壁面４０３が収まるように該壁面４０３の撮像を行って、該壁面４０３の全体を含む撮像画像を取得する。なお、本実施形態では、撮像モジュール３３４はステレオカメラを有しており、視差を検出可能な形式で壁面の撮像を行う。これにより、撮像モジュール３３４は、右眼に対応する撮像画像と左眼に対応する撮像画像とを取得する。

【0073】

ステップＳ７０４では、ＣＰＵ３３１は、ステップＳ７０３における撮像で取得した撮像画像と、前回のステップＳ７１１で入力された撮像範囲と、を通信モジュール３３７を介して演算装置１０３に対して送信する。

【0074】

なお、本実施形態では、撮像モジュール３３４がステレオカメラを有しているものとし、ＨＭＤ１１０は、ステレオカメラにより撮像された撮像画像を演算装置１０３に対して送信するものとした。しかし撮像モジュール３３４が単眼カメラを有している場合、ＨＭＤ１１０は該単眼カメラにより撮像された壁面の撮像画像、ＴｏＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサなどの測距センサで得られた空間情報、を演算装置１０３に送信しても良い。

【0075】

ステップＳ７０５では、ＣＰＵ３２２は、ＨＭＤ１１０から送信された撮像画像と撮像範囲とを通信モジュール３３０を介して受信する。ステップＳ７０６では、ＣＰＵ３２２は、ステップＳ７０５で受信した撮像画像の視差に基づいて深度マップを生成する。深度マップの各画素の画素値は、撮像画像において該画素に対応する被写体までの距離を表す。なお、本実施形態では、ステレオカメラにより撮像された撮像画像の視差に基づいて深度マップを生成しているが、ＴｏＦセンサなどの距離センサで得られた空間情報に基づいて深度マップを生成しても良く、深度マップの生成方法は特定の生成方法に限らない。

【0076】

また、ＣＰＵ３２２は、ステップＳ７０５で受信した撮像画像を用いてＶｉｓｕａｌ ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）により、自己位置の推定と、環境地図の作成を行う。ここで、自己位置とは、ＨＭＤ１１０の三次元位置であり、環境地図とは、ＨＭＤ１１０の周辺の空間（環境）の３次元形状を表す地図である。

【0077】

ステップＳ７０７では、ＣＰＵ３２２は、ステップＳ７０５で受信した撮像画像に、ステップＳ７０５で受信した撮像範囲を、ステップＳ７０６で推定した自己位置とステップＳ７０６で作成した環境地図とに基づいて合成した合成画像を生成する。詳しくは後述するが、ＨＭＤ装着ユーザは現実空間（３次元空間）内で撮像範囲（撮像範囲が矩形である場合、該矩形の四隅のそれぞれの位置は３次元位置である）を指定する。よって、ステップＳ７０７では、ＣＰＵ３２２は、ＨＭＤ装着ユーザによって現実空間内で指定された撮像範囲を、環境地図で規定される空間における自己位置から見た場合の撮像範囲を求める。そしてＣＰＵ３２２は、該求めた撮像範囲を撮像画像上に投影した撮像範囲（二次元撮像範囲）を求め、撮像画像上に該二次元撮像範囲を合成した合成画像を生成する。

【0078】

合成画像の一例を図１０（ｂ）に示す。合成画像１００４は、ＨＭＤ装着ユーザが壁面４０３を含む範囲を撮像範囲として指定し、ＨＭＤ１１０により撮像された壁面４０３の撮像画像に、該撮像範囲に対応する二次元撮像範囲１００３を合成することで生成される。本実施形態では、右眼に対応する合成画像と左眼に対応する合成画像とを生成する。つまり、本実施形態では、右眼に対応する撮像画像Ｒに、撮像画像Ｒについて求めた二次元撮像範囲を合成した合成画像Ｒと、左眼に対応する撮像画像Ｌに、撮像画像Ｌについて求めた二次元撮像範囲を合成した合成画像Ｌと、を生成する。図１０（ｂ）の壁面４０３には、変状検知対象の一例であるひび割れ１００２が発生している。

【0079】

なお、ＣＰＵ３２２は、深度マップに基づいて、撮像範囲が撮像位置から適切なあおり角度に収まっているかどうかを判定し、収まっていない場合には警告を合成画像に含めるようにしても良い。

【0080】

ステップＳ７０８では、ＣＰＵ３２２は、ステップＳ７０７で生成した合成画像を通信モジュール３３０を介してＨＭＤ１１０に対して送信する。ステップＳ７０９では、ＣＰＵ３３１は、演算装置１０３から送信された合成画像を通信モジュール３３７を介して受信する。

【0081】

ステップＳ７１０では、ＣＰＵ３３１は、ステップＳ７０９で受信した合成画像をディスプレイ装置３３５に表示させる。より詳しくは、ＣＰＵ３３１は、左眼に対応する合成画像を、ディスプレイ装置３３５が有する左眼用の表示画面に表示させ、右眼に対応する合成画像を、ディスプレイ装置３３５が有する右眼用の表示画面に表示させる。

【0082】

ステップＳ７１１では、ＣＰＵ３３１は、ＨＭＤ装着ユーザが指定した撮像範囲を取得する。ＨＭＤ装着ユーザによる撮像範囲の指定方法は特定の指定方法に限らない。たとえば、ＨＭＤ装着ユーザは指先で撮像範囲を指定しても良いし、スライラスなどの指示具を用いて撮像範囲を指定しても良い。この場合、ＣＰＵ３３１は、ＨＭＤ１１０による撮像画像からＨＭＤ装着ユーザの指先の位置や指示具の位置を追跡し、該追跡した位置の軌跡で規定される領域を撮像範囲として取得するようにしても良い。また、ＨＭＤ装着ユーザの指先や指示具にモーションセンサを付加しておき、ＣＰＵ３３１は、該モーションセンサにより検出されたモーションで指定された領域を撮像範囲として取得するようにしても良い。

【0083】

また、たとえば、ＨＭＤ１１０がＨＭＤ装着ユーザの視線を検出するセンサを有している場合、該ＨＭＤ装着ユーザは視線を動かして、撮像範囲としたい領域の枠を指定することができる。この場合、ＣＰＵ３３１は、センサにより検出された「ＨＭＤ装着ユーザの視線」により指定された領域を撮像範囲として取得するようにしても良い。

【0084】

ステップＳ７１２では、ＣＰＵ３２２は、撮像範囲の入力を完了するための完了条件が満たされたか否かを判断する。完了条件は特定の条件に限らない。完了条件には、たとえば、「ユーザが入力装置３２６を操作して撮像範囲の入力を完了する旨の指示を入力したことをＣＰＵ３２２が検知した」がある。また、完了条件には、「ＨＭＤ装着ユーザが入力装置３３６を操作して撮像範囲の入力を完了する旨の指示を入力したことを、ＨＭＤ１１０からの通知によりＣＰＵ３２２が検知した」がある。また、完了条件には、「ＨＭＤ装着ユーザが撮像範囲の入力を完了する旨の指示に対応する動きを指先や指示具で実施し、ＣＰＵ３２２が撮像画像やモーションセンサから該動きを検知した」がある。また、完了条件には、「ＨＭＤ装着ユーザの指先や指示具の現在位置が、撮像範囲の指定を開始した位置と同じ位置になった（つまり指先や指示具が撮像範囲の枠を一巡した）ことをＣＰＵ３２２が検知した」がある。

【0085】

このような判断の結果、完了条件が満たされた場合には、処理はステップＳ６０４に進む。一方、このような判断の結果、完了条件が満たされていない場合には、処理はステップＳ７０５に進む。

【0086】

次に、上記のステップＳ６０６における処理の詳細について、図８のフローチャートに従って説明する。ステップＳ８０１では、ＣＰＵ３２２は、撮像の進捗の表示を開始させるための指示（撮像進捗表示指示）を、通信モジュール３３０を介してＨＭＤ１１０に対して送信する。ステップＳ８０２では、ＣＰＵ３３１は、演算装置１０３から送信された撮像進捗表示指示を、通信モジュール３３７を介して受信する。

【0087】

ステップＳ８０３では、ＣＰＵ３３１は撮像モジュール３３４に撮像を指示し、撮像モジュール３３４は該指示に従って撮像を行うことで撮像画像を取得する。この撮像では、ＨＭＤ１１０の撮像モジュール３３４の画角内に建物の壁面が収まるように該壁面の撮像を行って、該壁面の全体を含む撮像画像を取得する。上記の如く、本実施形態では、撮像モジュール３３４はステレオカメラを有しているため、視差を検出可能な形式で壁面の撮像を行う。これにより、撮像モジュール３３４は、右眼に対応する撮像画像と左眼に対応する撮像画像とを取得する。

【0088】

ステップＳ８０４では、ＣＰＵ３３１は、ステップＳ８０３で取得した撮像画像を通信モジュール３３７を介して演算装置１０３に対して送信する。ステップＳ８０４においても上記のステップＳ７０４と同様、撮像モジュール３３４が単眼カメラを有している場合、ＨＭＤ１１０は、該単眼カメラにより撮像された壁面の撮像画像と、ＴｏＦセンサなどの測距センサで得られた空間情報と、を演算装置１０３に対して送信するようにしても良い。

【0089】

ステップＳ８０５では、演算装置１０３は、ステップＳ６０５で作成した撮像計画を参照して次の区画を撮像するためのパン角、チルト角、ズーム位置を「移動先のパン角、チルト角、ズーム位置」として特定する。そして演算装置１０３は、該特定した移動先のパン角、チルト角、ズーム位置を雲台装置１０２に対して送信して該雲台装置１０２に撮像装置１０１の現在のパン角、チルト角、ズーム位置を該移動先のパン角、チルト角、ズーム位置に移動させる。そして演算装置１０３は、移動後のパン角、チルト角、ズーム位置と、移動後のパン角、チルト角、ズーム位置における撮像装置１０１により撮像された撮像画像と、を取得する。ステップＳ８０５における処理の詳細については後述する。

【0090】

ステップＳ８０６では、ＣＰＵ３２２は、ステップＳ８０４においてＨＭＤ１１０から送信された撮像画像を、通信モジュール３３０を介して受信する。ステップＳ８０７では、ＣＰＵ３２２は、ステップＳ８０６で受信した撮像画像を用いて、上記のステップＳ７０６と同様の処理を行って深度マップを生成する。なお、本ステップにおいても、ＴｏＦセンサなどの距離センサで得られた空間情報に基づいて深度マップを生成しても良く、深度マップの生成方法は特定の生成方法に限らない。また、ＣＰＵ３２２は、ステップＳ８０６で受信した撮像画像を用いてＶｉｓｕａｌ ＳＬＡＭにより、自己位置（ＨＭＤ１１０の三次元位置）の推定と、環境地図（ＨＭＤ１１０の周辺の空間（環境）の３次元形状を表す地図）の作成を行う。

【0091】

ステップＳ８０８では、ＣＰＵ３２２は、ステップＳ６０５で作成した撮像計画に基いて、撮像の進捗を示す撮像進捗情報を生成する。そしてＣＰＵ３２２は、該生成した撮像進捗情報を、ステップＳ８０６で受信した撮像画像に合成した合成画像（撮像進捗合成画像）を生成する。

【0092】

撮像進捗合成画像の一例を図１１に示す。撮像進捗合成画像１１０１は、上記のステップＳ７０７と同様の処理で生成される二次元撮像範囲１００３と、撮像進捗情報１１０２と、を壁面４０３の撮像画像に合成することで生成される。撮像進捗情報１１０２は矩形の集合であり、１つの矩形は、１回のステップＳ８０５の処理で得られる撮像画像に対応する区画を表している。つまり、ＣＰＵ３２２は、撮像計画に含まれている区画ごとのパン角、チルト角、ズーム位置のうち雲台装置１０２に送信済みのパン角、チルト角、ズーム位置に対応する区画（つまり撮像済みの区画）に対応する矩形を撮像進捗情報１１０２として生成する。より詳しくは、ＣＰＵ３２２は、自己位置と、環境地図と、撮像済みの区画のパン角、チルト角、ズーム位置と、を用いて、壁面において自己位置から撮像されている範囲を求め、該範囲を撮像画像に投影した投影範囲を表す矩形を該撮像画像に合成する。本実施形態では、右眼に対応する撮像進捗合成画像と左眼に対応する撮像進捗合成画像とを生成する。

【0093】

なお、ＣＰＵ３２２は、ステップＳ８０６でＨＭＤ１１０から受信した撮像画像のうち「ステップＳ８０５でＨＭＤ１１０から受信した撮像画像」と最も類似する画像領域を撮像画像間のパターンマッチングにより特定し、該画像領域の枠を上記の矩形として合成しても良い。

【0094】

ステップＳ８０９では、ＣＰＵ３２２は、ステップＳ８０８で生成した撮像進捗合成画像を通信モジュール３３０を介してＨＭＤ１１０に対して送信する。ステップＳ８１０では、ＣＰＵ３３１は、演算装置１０３から送信された撮像進捗合成画像を、通信モジュール３３７を介して受信する。

【0095】

ステップＳ８１１では、ＣＰＵ３３１は、ステップＳ８１０で受信した撮像進捗合成画像をディスプレイ装置３３５に表示させる。より詳しくは、ＣＰＵ３３１は、左眼に対応する撮像進捗合成画像を、ディスプレイ装置３３５が有する左眼用の表示画面に表示させ、右眼に対応する撮像進捗合成画像を、ディスプレイ装置３３５が有する右眼用の表示画面に表示させる。

【0096】

二次元撮像範囲と撮像進捗情報とを合成した撮像進捗合成画像をディスプレイ装置３３５に表示することで、ＨＭＤ装着ユーザは眼前に該撮像進捗合成画像を見ることができる。よって、ＨＭＤ装着ユーザは、どれだけの区画の撮像が完了しているのかを表す撮像進捗を確認することができる。

【0097】

ステップＳ８１２では、ＣＰＵ３２２は、全ての区画について撮像が完了したか否かを判断する。つまりＣＰＵ３２２は、撮像計画に登録されている全ての区画のパン角、チルト角、ズーム位置について、該ＨＭＤ１１０が該パン角、チルト角、ズーム位置に基づく撮像を完了したか否かを判断する。

【0098】

このような判断の結果、全ての区画について撮像が完了した場合には、処理はステップＳ６０７に進む。一方、撮像が完了していない区画が未だ残っている場合には、処理はステップＳ８０５に進む。

【0099】

次に、上記のステップＳ８０５における処理の詳細について、図９のフローチャートに従って説明する。ステップＳ９０１では、ＣＰＵ３２２は、ステップＳ６０５で作成した撮像計画を参照して次の区画を撮像するためのパン角、チルト角、ズーム位置を「移動先のパン角、チルト角、ズーム位置」（制御目標値）として特定する。そしてＣＰＵ３２２は、該特定した制御目標値を、通信モジュール３２７を介して雲台装置１０２に対して送信する。ステップＳ９０２では、ＣＰＵ３１３は、演算装置１０３から送信された制御目標値を通信モジュール３２０を介して受信する。

【0100】

ステップＳ９０３では、ＣＰＵ３１３は、パン駆動モジュール３１７を制御して、撮像装置１０１の現在のパン角を、ステップＳ９０２で受信したパン角の制御目標値に移動させる。またＣＰＵ３１３は、チルト駆動モジュール３１８を制御して、撮像装置１０１の現在のチルト角を、ステップＳ９０２で受信したチルト角の制御目標値に移動させる。また、ＣＰＵ３１３は、ズーム駆動モジュール３２２を制御して、撮像装置１０１の現在のズーム位置を、ステップＳ９０２で受信したズーム位置の制御目標値に移動させる。

【0101】

ステップＳ９０４では、ＣＰＵ３１３は、ステップＳ９０３における移動後のパン角、チルト角、ズーム位置をＰＴＺ位置として、通信モジュール３２０を介して演算装置１０３に対して送信する。

【0102】

ステップＳ９０５では、ＣＰＵ３２２は、雲台装置１０２から送信されたＰＴＺ位置を通信モジュール３２７を介して受信する。ステップＳ９０６では、ＣＰＵ３２２は、雲台装置１０２に対して撮像指示を通信モジュール３２７を介して送信する。撮像指示は雲台装置１０２を介して撮像装置１０１に送信されるが、演算装置１０３と撮像装置１０１とが直接接続されている場合には、撮像指示は雲台装置１０２を介さずに演算装置１０３から直接撮像装置１０１に対して送信されても良い。

【0103】

ステップＳ９０７では、ＣＰＵ３０１は、演算装置１０３から送信された撮像指示を通信モジュール３１０を介して受信する。ステップＳ９０８では、ＣＰＵ３０１は、ＡＦ測距モジュール３０５、レンズ制御モジュール３０６、撮像モジュール３０４を制御して撮像動作を行わせて、撮像画像を取得する。そしてＣＰＵ３０１は、取得した撮像画像をＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの規格に従ったフォーマットの画像ファイル（ＪＰＥＧ画像）として、ＲＡＭ３０３に格納する。なお、撮像画像は記録デバイス３１１により記憶媒体に格納されても良い。

【0104】

ステップＳ９０９では、ＣＰＵ３０１は、ステップＳ９０８においてＲＡＭ３０３などに格納された撮像画像を、通信モジュール３１０を介して演算装置１０３に対して送信する。

【0105】

ステップＳ９１０では、ＣＰＵ３２２は、撮像装置１０１から送信された撮像画像を、通信モジュール３２７を介して受信する。ステップＳ９１１でＣＰＵ３２２はステップＳ９１０で受信した撮像画像（ＪＰＥＧ画像）中に「ステップＳ９０５で受信したＰＴＺ位置」をＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）規格に従ってメタデータとして格納する。

【0106】

なお、「ステップＳ９０５で受信したＰＴＺ位置」の格納先はＪＰＥＧ画像中に限らない。例えば「ステップＳ９０５で受信したＰＴＺ位置」は記憶装置３２８に撮像画像のファイル名と関連付けてＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）やＣＳＶ（Ｃｏｍｍａ Ｓｅｐａｒａｔｅｄ Ｖａｌｕｅ）等の規格で保存してもよい。また、「ステップＳ９０５で受信したＰＴＺ位置」は、撮像画像のファイル名として保存してもよい。また、撮像画像中に格納される情報や、撮像画像と関連付けて格納される情報は、ＰＴＺ位置のみに限らず、ＰＴＺ位置に加えて、撮像日時、撮像画像のデータサイズなどのパラメータを含んでも良い。

【0107】

このように、本実施形態では、壁面検査のための高精細な画像の撮像を目的として、壁面を分割し且つ壁面全体を網羅する連続撮像を行う。その際、必要とされる解像度とオーバーラップ率を設定し、壁面を画角内に収めた撮像画像中の壁面の領域を撮像範囲として指定する。これにより、雲台装置などの移動体を用いたパノラマ撮像を自動で実行可能である。また、指定された撮像範囲において撮像済みの区画と未撮像の区画とを視認可能に表示させながらパノラマ撮像が実行でき、撮像の進捗の把握が容易となる。

【0108】

［第２の実施形態］
図１に示したシステムの構成は一例であり、第１の実施形態に係るシステムの機能が実現可能であれば、システムの構成として図１に示した構成以外の構成を採用しても良い。例えば、図１に示した幾つかの装置を１つの装置に統合させても良い。その場合、該１つの装置は該いくかの装置のそれぞれの機能を実現可能な装置である。また、１つの装置の機能を複数台の装置で実施しても良い。また、第１の実施形態で説明した各処理の主体は一例であり、上記に限らない。

【0109】

また、第１の実施形態においては、雲台装置１０２及び演算装置１０３において、ズーム位置の値を任意に取得し、また設定を可能としたが、相対的な数値によるズーム駆動の指示のみが可能なシステムの場合は以下の様な構成にしても良い。

【0110】

即ち、雲台装置１０２あるいは演算装置１０３において、ズーム位置を変更する為の全ての駆動情報を取得して管理することで、現在のズーム位置を把握する構成とする。この様な構成とすることで、ズーム位置に関して、相対的な数値によるズーム駆動の指示のみが可能なシステムにも対応することが可能となる。さらには、撮像装置１０１に後付けのズーム駆動装置を付加することで、ズーム駆動を実現するシステムにも対応することが可能となる。

【0111】

また、第１の実施形態では、撮像進捗情報として撮像済みの区画に矩形を表示する構成としたが、撮像進捗情報の表示方法には様々な表示方法がある。たとえば、撮像済みの区画を第１色で塗りつぶし、未だ撮像していない区画を第２色で塗りつぶすようにしても良い。

【0112】

また、第１の実施形態では、雲台装置１０２は撮像装置１０１のパン角、チルト角、ズーム位置の全てを制御可能な装置としていたが、これに限らず、パン角、チルト角、ズーム位置のうち１つ以上を制御可能な装置であっても良い。

【0113】

また、第１の実施形態に係るシステムではＨＭＤ１１０を用いているが、これに限らず、ＨＭＤ１１０以外の表示装置、たとえば、ハンドヘルドタイプの表示装置を用いても良い。

【0114】

上記の各実施形態で使用した数値、処理タイミング、処理順、処理の主体、データ（情報）の取得方法／送信先／送信元／格納場所などは、具体的な説明を行うために一例として挙げたもので、このような一例に限定することを意図したものではない。

【0115】

また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。

【0116】

（その他の実施形態）
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0117】

本明細書の発明は、以下の情報処理装置、情報処理方法、コンピュータプログラムを含む。
（項目１）
被写体の深度マップを取得する第１取得手段と、
前記被写体の撮像範囲を取得する第２取得手段と、
前記被写体の各区画を撮像するための撮像計画を、前記深度マップと前記撮像範囲とに基づいて取得する第３取得手段と
を備えることを特徴とする情報処理装置。
（項目２）
前記第１取得手段は、頭部装着型表示装置が有する第１撮像装置により撮像された被写体の撮像画像に基づいて前記深度マップを生成することを特徴とする項目１に記載の情報処理装置。
（項目３）
前記第２取得手段は、前記頭部装着型表示装置を頭部に装着したユーザにより指定された撮像範囲を取得することを特徴とする項目２に記載の情報処理装置。
（項目４）
前記第３取得手段は、前記頭部装着型表示装置が有する第１撮像装置とは異なる第２撮像装置が前記被写体の各区画を撮像するための撮像計画を、前記深度マップと前記撮像範囲とに基づいて取得することを特徴とする項目２または３に記載の情報処理装置。
（項目５）
前記第２撮像装置は、該第２撮像装置のパン角、チルト角、ズーム位置のうち１つ以上を制御可能な雲台装置に取り付けられていることを特徴とする項目４に記載の情報処理装置。
（項目６）
さらに、
前記第１撮像装置により撮像された撮像画像に、前記撮像範囲を表す情報を合成した合成画像を生成し、該生成した合成画像を前記頭部装着型表示装置に対して出力する生成手段を備えることを特徴とする項目２に記載の情報処理装置。
（項目７）
前記生成手段は、前記深度マップに基づいて、前記撮像範囲が撮像位置から適切なあおり角度に収まっているかどうかを判定し、収まっていない場合には警告を含む合成画像を前記頭部装着型表示装置に対して出力することを特徴とする項目６に記載の情報処理装置。
（項目８）
さらに、
前記被写体の画像と、前記撮像計画に基づく区画の撮像の進捗を示す情報と、を合成した合成画像を生成し、該生成した合成画像を前記頭部装着型表示装置に対して出力する手段を備えることを特徴とする項目２に記載の情報処理装置。
（項目９）
情報処理装置が行う情報処理方法であって、
前記情報処理装置の第１取得手段が、被写体の深度マップを取得する第１取得工程と、
前記情報処理装置の第２取得手段が、前記被写体の撮像範囲を取得する第２取得工程と、
前記情報処理装置の第３取得手段が、前記被写体の各区画を撮像するための撮像計画を、前記深度マップと前記撮像範囲とに基づいて取得する第３取得工程と
を備えることを特徴とする情報処理方法。
（項目１０）
コンピュータを、項目１ないし８のいずれか１項目に記載の情報処理装置の各手段として機能させるためのコンピュータプログラム。

【0118】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0119】

１０１：撮像装置 １０２：雲台装置 １０３：演算装置 １０４：三脚 １０５：駆動ユニット １０６：駆動ユニット １０７：駆動ユニット １０８：通信ケーブル １０９：通信ケーブル １１０：ＨＭＤ １１１：通信ケーブル

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】