特開 2023-136352 情報処理装置、３次元計測装置、および情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023136352

(43)【公開日】2023-09-29

(54)【発明の名称】情報処理装置、３次元計測装置、および情報処理システム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20230922BHJP

   H04N 23/698 20230101ALI20230922BHJP

   G01B 11/25 20060101ALI20230922BHJP

   G03B 7/00 20210101ALI20230922BHJP

   G03B 35/08 20210101ALI20230922BHJP

   G03B 15/00 20210101ALI20230922BHJP

   G03B 37/00 20210101ALI20230922BHJP

【ＦＩ】

H04N5/232 290

H04N5/232 380

G01B11/25 H

G03B7/00

G03B35/08

G03B15/00 W

G03B37/00 A

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022041931

(22)【出願日】2022-03-16

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】植田 正裕

(72)【発明者】

【氏名】齊所 賢一郎

【テーマコード（参考）】

2F065

2H002

2H059

5C122

【Ｆターム（参考）】

2F065AA04

2F065AA06

2F065AA53

2F065BB05

2F065CC14

2F065DD02

2F065FF05

2F065FF11

2F065FF67

2F065GG04

2F065HH04

2F065JJ01

2F065JJ03

2F065JJ05

2F065MM06

2F065MM16

2F065QQ03

2F065QQ17

2F065QQ21

2F065QQ24

2F065QQ28

2F065QQ31

2F065UU05

2H002GA35

2H002GA66

2H059AA07

2H059AA18

2H059BA02

5C122EA42

5C122EA61

5C122FA02

5C122FB06

5C122FH09

5C122GA34

5C122HA76

5C122HA88

5C122HB01

(57)【要約】

【課題】３次元情報に含まれる削除対象領域を適切に削除する。
【解決手段】情報処理装置２０は、３次元情報取得部２８Ａと、姿勢情報取得部２８Ｂと、決定部２８Ｄと、削除部２８Ｅと、を備える。３次元情報取得部２８Ａは、撮影部１４による撮影領域の撮影によって得られた３次元情報を取得する。姿勢情報取得部２８Ｂは、３次元情報の撮影時の撮影部１４の姿勢情報を取得する。決定部２８Ｄは、姿勢情報に基づいて、３次元情報に含まれる削除対象領域を決定する。削除部２８Ｅは、３次元情報に含まれる削除対象領域を削除する。
【選択図】図２

【特許請求の範囲】

【請求項1】

撮影部による撮影領域の撮影によって得られた３次元情報を取得する３次元情報取得部と、
前記３次元情報の撮影時の前記撮影部の姿勢情報を取得する姿勢情報取得部と、
前記姿勢情報に基づいて、前記３次元情報に含まれる削除対象領域を決定する決定部と、
前記３次元情報に含まれる前記削除対象領域を削除する削除部と、
を備える情報処理装置。

【請求項2】

前記決定部は、
前記撮影領域に含まれる基準削除領域と前記撮影部の基準姿勢情報とを対応付けた基準設定情報と、前記姿勢情報と、に基づいて、前記３次元情報に含まれる前記削除対象領域を決定する、
請求項１に記載の情報処理装置。

【請求項3】

前記決定部は、
前記基準姿勢情報と前記姿勢情報との差に応じて前記基準削除領域を補正した前記削除対象領域を決定する、
請求項２に記載の情報処理装置。

【請求項4】

ユーザによる操作指示を受付ける受付部を備え、
前記決定部は、
前記姿勢情報と、前記受付部で受付けた前記基準削除領域を含む前記基準設定情報と、に基づいて、前記３次元情報に含まれる前記削除対象領域を決定する、
請求項２または請求項３に記載の情報処理装置。

【請求項5】

前記３次元情報の撮影者と前記撮影部との位置関係に基づいて前記基準設定情報を設定する設定部を備え、
前記決定部は、
設定された前記基準設定情報と、前記姿勢情報と、に基づいて、前記３次元情報に含まれる前記削除対象領域を決定する、
請求項２～請求項４の何れか１項に記載の情報処理装置。

【請求項6】

前記撮影部から前記撮影領域の撮影画像を取得する撮影画像取得部を備え、
前記設定部は、
前記３次元情報および前記撮影画像の少なくとも一方を用いて特定された前記位置関係に基づいて、前記基準設定情報を設定する、
請求項５に記載の情報処理装置。

【請求項7】

前記３次元情報に関わる情報を含む画像を表示部に表示する表示制御部、
を備える請求項１～請求項６の何れか１項に記載の情報処理装置。

【請求項8】

前記表示制御部は、
前記３次元情報によって表される前記撮影領域の撮影画像と、
決定された前記削除対象領域に関わる情報と、
前記削除対象領域を削除された前記３次元情報に関わる情報と、
の少なくとも１つを含む前記画像を表示する、
請求項７に記載の情報処理装置。

【請求項9】

前記削除対象領域を削除された前記３次元情報に関わる情報を記憶部に記憶する記憶制御部、
を備える請求項１～請求項８の何れか１項に記載の情報処理装置。

【請求項10】

請求項１～請求項９の何れか１項に記載の情報処理装置と、
前記撮影部と、
前記撮影部の姿勢を検知する姿勢検知部と、
を備える３次元計測装置。

【請求項11】

請求項１～請求項９の何れか１項に記載の情報処理装置と、
前記撮影部、前記撮影部による撮影によって得られた前記３次元情報を前記情報処理装置へ出力する３次元情報出力部、前記撮影部の姿勢を検知する姿勢検知部、および前記姿勢検知部によって検知された前記姿勢を表す前記姿勢情報を前記情報処理装置へ出力する姿勢情報出力部、を有する撮影装置と、
を備える情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、３次元計測装置、および情報処理システムに関する。

【背景技術】

【0002】

近年、レーザースキャナやＬｉＤＡＲ等により実空間である３次元空間の３次元情報を取得することが行われている。このような３次元情報は、建設、設備保守、および不動産等の業界において、設備の寸法の計測や改修計画の立案等に利用されている。３次元情報の取得には、例えば、１回のシャッター操作で上下左右全方位の３６０°の撮影領域を撮影する撮影装置等が用いられている。しかし、従来技術では、３６０°等の広範囲を一度に撮影できるため、取得した三次元情報に撮影者等の不要物が写り込む場合があった。

【0003】

そこで、写り込んだ不要物が除去された３次元情報を得るために、三脚に固定された撮影装置を用いた複数回の撮影によって撮影範囲の異なる複数の撮影画像を取得し、特定の被写体が含まれないように複数の撮影画像を合成することで、３６０°の撮影範囲の合成画像を生成する技術が開示されている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、１つの３次元情報得るために、三脚に固定された撮影装置を用いて複数回の撮影を行う必要があり、撮影環境によっては、３次元情報に含まれる不要物を含む削除対象領域を適切に削除することが困難となる場合があった。

【0005】

本発明は、上記に鑑みてなされたものであって、３次元情報に含まれる削除対象領域を適切に削除することができる、情報処理装置、３次元計測装置、および情報処理システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、情報処理装置は、撮影部による撮影領域の撮影によって得られた３次元情報を取得する３次元情報取得部と、前記３次元情報の撮影時の前記撮影部の姿勢情報を取得する姿勢情報取得部と、前記姿勢情報に基づいて、前記３次元情報に含まれる削除対象領域を決定する決定部と、前記３次元情報に含まれる前記削除対象領域を削除する削除部と、を備える。

【発明の効果】

【0007】

本発明によれば、３次元情報に含まれる削除対象領域を適切に削除することができる、という効果を奏する。

【図面の簡単な説明】

【0008】

【図1】図１は、情報処理システムの一例の模式図である。

【図2】図２は、情報処理システムの機能的構成を表すブロック図である。

【図3A】図３Ａは、撮影装置の使用状況の一例の説明図である。

【図3B】図３Ｂは、図３Ａに示す使用状況で撮影された３次元情報の一例を示す模式図である。

【図4A】図４Ａは、撮影装置の使用状況の一例の説明図である。

【図4B】図４Ｂは、図４Ａに示す使用状況で撮影された３次元情報の一例を示す模式図である。

【図5A】図５Ａは、削除対象領域の決定の一例の説明図である。

【図5B】図５Ｂは、削除対象領域の決定の一例の説明図である。

【図6A】図６Ａは、削除対象領域の決定の一例の説明図である。

【図6B】図６Ｂは、削除対象領域の決定の一例の説明図である。

【図7】図７は、情報処理の流れの一例を示すフローチャートである。

【図8】図８は、情報処理システムの機能的構成を表すブロック図である。

【図9】図９は、情報処理の流れの一例を示すフローチャートである。

【図10】図１０は、情報処理システムの機能的構成を表すブロック図。

【図11】図１１は、情報処理の流れの一例を示すフローチャートである。

【図12】図１２は、ハードウェア構成図である。

【発明を実施するための形態】

【0009】

以下に添付図面を参照して、情報処理装置、３次元計測装置、および情報処理システムの実施形態を詳細に説明する。

【0010】

（第１の実施形態）
図１は、本実施形態に係る情報処理システム１の一例の模式図である。

【0011】

情報処理システム１は、撮影装置１０と、情報処理装置２０と、を備える。撮影装置１０と情報処理装置２０とは通信可能に接続されている。

【0012】

撮影装置１０は、３次元空間である撮影領域Ｓの３次元情報を得るための装置である。撮影装置１０は、撮影によって３次元情報を得る。撮影とは、撮影装置１０が撮影領域Ｓの３次元情報を得ることを意味する。撮影装置１０は、ユーザによって操作されることで撮影を行い、３次元情報を得る。撮影装置１０を操作するユーザを、撮影者と称して説明する。

【0013】

撮影装置１０は、例えば、ＴｏＦ（Ｔｉｍｅ－ｏｆ－Ｆｌｉｇｈｔ）方式のカメラ、ステレオカメラ、などである。ＴｏＦ方式は、赤外線を計測対象物に照射し、その反射光が戻ってくるまでの時間から距離を求める方式である。ステレオカメラは、２台のカメラの間隔と、２台のカメラの各々で得られた画像の視差情報と、を用いて、奥行情報を距離情報として得るカメラである。

【0014】

撮影装置１０は、３次元情報を得る装置であればよく、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）、フォトグラメトリを利用したシステム、等であってもよい。また、撮影装置１０は、レーザースキャナやＬｉＤＡＲ等を搭載したスマートフォンであってもよい。

【0015】

３次元情報は、撮影領域Ｓである３次元空間を表す情報である。３次元情報のファイル形式は限定されない。３次元情報は、例えば、撮影領域Ｓに含まれる３次元オブジェクトの３次元形状を表す形状データ等によって表される。３次元情報は、例えば、３次元空間を離散的な点で表現した点群形式のファイル、３次元空間を頂点と面により表現したポリゴンメッシュ形式のファイル等である。点群形式のファイルは、デプスマップ、距離画像、等と称される場合がある。

【0016】

点群形式のファイルには、例えば、「．ｘｙｚ」、「．ｅ５７」、「．ｐｌｙ」などの拡張子で表されるファイル等が挙げられる。ポリゴンメッシュ形式のファイルには、例えば、「．ｏｂｊ」、「．ｆｂｘ」、「．ｓｔｌ」などの拡張子で表されるファイル等が挙げられる。

【0017】

図１には、ＴｏＦ方式のカメラを搭載した撮影装置１０を一例として示す。撮影装置１０は、撮影部１４と、姿勢検知部１５と、操作部１６と、制御部１７と、表示部１８と、１を備える。

【0018】

撮影部１４は、撮影によって３次元情報等を得る機構である。例えば、撮影部１４は、画像撮影部１１と、距離情報取得部１３と、投射部１２と、を有する。画像撮影部１１、距離情報取得部１３、および投射部１２は、同期して動作する。

【0019】

画像撮影部１１は、撮影によって３６０°の撮影領域Ｓの撮影画像データを得る機構である。撮影画像データを、以下では、撮影画像と称して説明する。例えば、画像撮影部１１は、魚眼レンズ１１Ｂと、魚眼レンズ１１ｂと、魚眼レンズ１１Ｂで集光した光を受光する撮像素子１１Ａと、魚眼レンズ１１ｂで集光した光を受光する撮像素子１１ａと、を有する。なお、画像撮影部１１で得られる撮影画像は、モノクロの撮影画像、ＲＧＢのカラーの撮影画像、の何れであってもよい。本実施形態では、撮影画像が、ＲＧＢのカラーの撮影画像である場合を一例として説明する。

【0020】

投射部１２および距離情報取得部１３は、撮影領域Ｓの３次元情報を得る機構である。例えば、投射部１２は、距離の計測に用いるレーザ光を出射する光源部１２Ａおよび光源部１２ａと、光源部１２Ａおよび光源部１２ａの各々から出射されたレーザ光を撮影領域Ｓへ向かって出射するための広角レンズ１２Ｂおよび広角レンズ１２ｂと、を備える。

【0021】

距離情報取得部１３は、広角レンズ１３Ｂおよび広角レンズ１３ｂと、距離センサ１３Ａおよび距離センサ１３ａと、を有する。距離センサ１３Ａおよび距離センサ１３ａは、例えば、ＴｏＦセンサである。距離センサ１３Ａは、投射部１２から出射したレーザ光の反射光を、広角レンズ１３Ｂを介して受光する。距離センサ１３ａは、投射部１２から出射したレーザ光の反射光を、広角レンズ１３ｂを介して受光する。

【0022】

操作部１６は、撮影者による操作指示を受付けるためのスイッチである。例えば、操作部１６は、撮影者による撮影指示信号の入力に用いられる。制御部１７は、撮影装置１０を制御する。撮影者によって操作部１６が操作され撮影指示信号が入力されると、制御部１７は、画像撮影部１１、距離情報取得部１３、および投射部１２を同期駆動させ撮影を実行するように制御する。このため、１回の撮影指示信号の入力によって、一回の撮影が実行され、撮影領域Ｓの撮影画像および３次元情報が得られる。表示部１８は、各種の情報を表示するディスプレイである。

【0023】

撮影装置１０は、撮影者によって携帯可能に構成されている。このため、撮影者が撮影装置１０を手等によって把持して操作部１６を１回操作することで、撮影装置１０は、撮影によって撮影画像および３次元情報を取得する。

【0024】

姿勢検知部１５は、撮影部１４の姿勢の姿勢情報を検知するセンサである。姿勢検知部１５は、基準となる互いに直交する方向であるｘ軸、ｙ軸、およびｚ軸の各々に対する回転角度の少なくとも一つを、姿勢情報として検知する。ｙ軸方向は、例えば、鉛直方向に沿った方向である。ｘ軸方向およびｚ軸方向は、例えば、鉛直方向に対して直交する水平面に沿った互いに直交する方向である。すなわち、姿勢情報は、水平面を形成するｘ軸およびｚ軸方向、並びに鉛直方向であるｙ軸方向の各々に対する、撮影部１４の回転角度によって表される。

【0025】

なお、姿勢情報は、ｘ軸方向、ｙ軸方向、ｚ軸方向の全ての軸に対する回転角度の情報を含む必要はない。例えば、ｘ軸方向を回転軸とする回転角度、ｚ軸方向を回転軸とするの回転角度の情報であっても良い。また、回転角は撮影装置１０の基準姿勢（例えば水平な面に撮影装置を置いた状態）からの、ｘ軸方向およびｚ軸方向を回転角とする相対的な回転角であっても良い。この場合、姿勢情報はｙ軸方向を回転軸とする回転角の情報を含まないが、撮影者は撮影装置１０を保持して撮像する場合に、ｙ軸方向（鉛直方向）を回転軸とする回転角を固定しやすい。一方、撮影者は、ｘ軸方向およびｚ軸方向を回転軸とする回転角を安定させることが難しく、ｘ軸方向およびｚ軸方向を回転軸とする回転角が安定しなくなる。従って、姿勢情報は、ｘ軸方向およびｚ軸方向を回転軸とする回転角に関わる情報を含んでいればよい。

【0026】

また、姿勢情報の他の例としては、姿勢情報が広角レンズ１３Ｂまたは１３ｂの光軸方向と、鉛直方向の相対的な回転角であっても良い。

【0027】

姿勢検知部１５としては、例えば、ＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）などの加速度センサ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、ジャイロセンサ、地磁気センサ等を用いればよい。

【0028】

ここで、姿勢検知部１５としてＩＭＵを用いた場合、姿勢検知部１５は鉛直方向（重力方向）に対する撮影装置の姿勢を検知することができるので、前述のｘ軸方向およびｚ軸方向を回転軸とする回転角に対応する姿勢情報を得ることができる。なお、姿勢検知部１５が、ＩＭＵに加えてジャイロセンサ、ＧＰＳ、地磁気センサ等を含む場合、姿勢検知部はｙ軸方向を回転軸とする回転角を検知することができるので、より正確な姿勢情報を得ることができる。

【0029】

なお、撮影部１４は撮影装置１０に搭載されている。このため、以下では、撮影部１４の姿勢情報を、撮影装置１０の姿勢情報と称して説明する場合がある。すなわち、撮影部１４の姿勢情報と撮影装置１０の姿勢情報とは、同じ意味である。

【0030】

撮影装置１０の制御部１７は、撮影によって得られた３次元情報、撮影画像、および３次元情報の撮影時の撮影部１４の姿勢情報を、情報処理装置２０へ送信する。

【0031】

情報処理装置２０は、撮影部１４によって得られた３次元情報に含まれる削除対象領域を削除する処理等を行う情報処理装置である。削除対象領域の詳細は後述する。情報処理装置２０は、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ、等である。

【0032】

図２は、本実施形態の情報処理システム１の機能的構成を表すブロック図である。

【0033】

撮影装置１０は、撮影部１４と、姿勢検知部１５と、操作部１６と、表示部１８と、通信部１９と、制御部１７と、を有する。撮影部１４、姿勢検知部１５、操作部１６、表示部１８、および通信部１９と、制御部１７とは、バス等を介して通信可能に接続されている。通信部１９は、情報処理装置２０とネットワークＮＷなどを介して通信する。

【0034】

制御部１７は、３次元情報出力部１７Ａと、撮影画像出力部１７Ｂと、姿勢情報出力部１７Ｃと、出力制御部１７Ｄと、を有する。３次元情報出力部１７Ａ、撮影画像出力部１７Ｂ、姿勢情報出力部１７Ｃ、および出力制御部１７Ｄは、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。

【0035】

３次元情報出力部１７Ａは、撮影部１４による撮影領域Ｓの撮影によって得られた３次元情報を情報処理装置２０へ出力する。撮影画像出力部１７Ｂは、撮影部１４による撮影領域Ｓの撮影によって得られた撮影画像を情報処理装置２０へ出力する。姿勢情報出力部１７Ｃは、姿勢検知部１５によって検知された撮影部１４の姿勢情報を情報処理装置２０へ出力する。詳細には、３次元情報出力部１７Ａ、撮影画像出力部１７Ｂ、および姿勢情報出力部１７Ｃは、１回の撮影ごとに、撮影によって得られた３次元情報および撮影画像と、該撮影時の撮影部１４の姿勢情報と、撮影タイミングを表す撮影時刻情報と、を含む撮影情報を情報処理装置２０へ出力する。すなわち、制御部１７は、１回撮影が行われるごとに、通信部１９を介して情報処理装置２０へ撮影情報を送信する。

【0036】

情報処理装置２０は、通信部２２と、ＵＩ（ユーザ・インタフェース）部２４と、記憶部２６と、制御部２８と、を備える。通信部２２と、ＵＩ部２４、および記憶部２６と、制御部２８とは通信可能に接続されている。

【0037】

通信部２２は、ネットワークＮＷなどを介して外部の情報処理装置と通信する。本実施形態では、通信部２２は、撮影装置１０と通信する。ＵＩ部２４は、表示部２４Ａと、操作部２４Ｂと、を含む。表示部２４Ａは、各種の情報を表示するディスプレイである。操作部２４Ｂは、ユーザによる操作指示を受付ける。操作部２４Ｂは、例えば、キーボード、ポインティングデバイス、マウス、などである。表示部２４Ａおよび操作部２４Ｂは、一体的に構成されたタッチパネルであってもよい。記憶部２６は、各種の情報を記憶する。

【0038】

制御部２８は、３次元情報取得部２８Ａと、姿勢情報取得部２８Ｂと、撮影画像取得部２８Ｃと、決定部２８Ｄと、削除部２８Ｅと、記憶制御部２８Ｆと、表示制御部２８Ｇと、を備える。３次元情報取得部２８Ａ、姿勢情報取得部２８Ｂ、撮影画像取得部２８Ｃ、決定部２８Ｄ、削除部２８Ｅ、記憶制御部２８Ｆ、および表示制御部２８Ｇは、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵなどのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣなどのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。

【0039】

情報処理装置２０に含まれる各部の少なくも１つを、ネットワークＮＷを介して接続された外部の情報処理装置であるサーバ装置等に搭載した構成としてもよい。

【0040】

３次元情報取得部２８Ａは、撮影部１４による撮影領域Ｓの撮影によって得られた３次元情報を取得する。３次元情報取得部２８Ａは、撮影装置１０から通信部２２を介して受信した撮影情報に含まれる３次元情報を読取ることで、３次元情報を取得する。

【0041】

姿勢情報取得部２８Ｂは、３次元情報取得部２８Ａで取得した３次元情報の撮影時の撮影部１４の姿勢情報を取得する。姿勢情報取得部２８Ｂは、撮影装置１０から通信部２２を介して受信した撮影情報に含まれる姿勢情報を読取ることで、姿勢情報を取得する。

【0042】

撮影画像取得部２８Ｃは、撮影領域Ｓの撮影画像を取得する。撮影画像取得部２８Ｃは、撮影装置１０から通信部２２を介して受信した撮影情報に含まれる撮影画像を読取ることで、撮影画像を取得する。

【0043】

決定部２８Ｄは、姿勢情報取得部２８Ｂで取得した姿勢情報に基づいて、３次元情報取得部２８Ａで取得した３次元情報に含まれる削除対象領域を決定する。削除部２８Ｅは、３次元情報に含まれる、決定部２８Ｄで決定した削除対象領域を削除する。

【0044】

削除対象領域とは、撮影領域Ｓに含まれる撮影対象以外の不要物を表す領域を示す情報である。不要物は、例えば、撮影装置１０を操作する撮影者などである。本実施形態では、不要物が、撮影者である形態を一例として説明する。

【0045】

削除対象領域は、撮影領域Ｓに含まれる不要物を表す領域を示す情報であれば任意の情報であってよい。例えば、削除対象領域は、撮影部１４を基準とした方向の範囲、撮影部１４の画角の範囲、または、撮影部１４からのｘ軸ｙ軸およびｚ軸に対する回転角に対応する方向、などによって表される情報である。また、例えば、削除対象領域は、３次元情報３０が距離画像である場合、距離画像に含まれる１または複数の画素の各々の座標によって表される情報であってもよい。

【0046】

ここで、撮影装置１０の撮影者による使用状況を説明する。

【0047】

上述したように、撮影装置１０は、撮影者によって携帯可能に構成されている。このため、撮影者は撮影装置１０を手等によって把持して操作部１６を操作することで、撮影指示信号を入力する。また、撮影装置１０に棒状部材を取り付け、撮影者が棒状部材を把持することで、棒状部材によって支持された撮影装置１０を所望の位置に調整した状態で撮影指示信号を入力することなども行われている。棒状部材は、自撮り棒と称される場合がある。撮影指示信号の入力を受付けることで、撮影装置１０は、３次元情報および撮影画像を撮影する。

【0048】

撮影装置１０が撮影者によって直接または棒状部材などを介して把持された状態で撮影が実行されると、３次元画像に撮影者などの不要物が写り込む場合がある。

【0049】

図３Ａは、撮影装置１０の使用状況の一例の説明図である。図３Ａには、撮影対象ＯＢが存在する撮影領域Ｓを撮影する場面を一例として示す。また、図３Ａには、撮影対象ＯＢとして、撮影対象ＯＢ１および撮影対象ＯＢ２を示す。図３Ｂは、図３Ａに示す使用状況で撮影された３次元情報３０の一例を示す模式図である。

【0050】

例えば、撮影者Ｂは、棒状部材９を撮影装置１０に取り付け、撮影を行う。撮影者Ｂは棒状部材９を把持することで、棒状部材９によって支持された撮影装置１０を所望の位置に調整し、棒状部材９等を介して又は直接操作部１６を操作することで撮影領域Ｓの撮影指示信号を入力する。撮影指示信号の入力によって、撮影装置１０は撮影領域Ｓを撮影し、３次元情報３０および撮影画像を得る。

【0051】

図３Ａに示すように、撮影領域Ｓにおける撮影装置１０の死角ＢＳに存在する物体は、図３Ｂに示すように３次元情報３０には含まれない。図３Ａおよび図３Ｂに示す例では、撮影者Ｂの腕部の一部Ｂａが死角ＢＳ内に位置されている場合を一例として示す。この場合、図３Ｂに示すように、３次元情報３０には、撮影者Ｂの腕部の一部Ｂａを表す３次元情報が含まれないものとなる。

【0052】

しかしながら、撮影時に撮影装置１０の死角ＢＳ外に存在する物体は、３次元情報３０に写り込む。図３Ａに示す例では、撮影者Ｂの腕部の一部Ｂａ以外の領域は死角ＢＳ外に存在する。このため、図３Ｂに示すように３次元情報３０には、撮影者Ｂの腕部の一部Ｂａ以外を表す３次元情報が含まれる。この場合、３次元情報３０には、撮影対象ＯＢに加えて、撮影対象外の物体すなわち不要物である撮影者Ｂの一部を表す３次元情報が含まれるものとなる。

【0053】

３次元情報３０に写り込んだ不要物である撮影者Ｂを除去する方法として、３次元情報３０に含まれる撮影者Ｂを検出し、検出した撮影者Ｂの領域を除去する方法が考えられる。撮影者Ｂの検出は、撮影者Ｂに対応する３次元情報と所定のモデルをマッチング処理する方法や、３次元情報から作成した２次元画像を画像認識することで検出する方法などがある。しかしながら、３次元情報３０に含まれる撮影者Ｂの写り込む領域が少なくなるほど、３次元情報３０に含まれる撮影者Ｂの情報が少なくなるため、撮影者Ｂの検出が困難となる場合がある。

【0054】

図４Ａは、撮影装置１０の使用状況の他の例の説明図である。図４Ｂは、図４Ａに示す使用状況で撮影された３次元情報３０の一例を示す模式図である。

【0055】

図４Ａに示す例では、図３Ａに示す例に比べて、撮影者Ｂの身体のより多くの領域が撮影装置１０の死角ＢＳ内に存在する。この場合、図４Ｂに示すように、３次元情報３０には、図３Ｂに示す３次元情報３０に比べて撮影者Ｂの写り込みが少なくなる。３次元情報３０に含まれる撮影者Ｂの写り込みが少ないほど、３次元情報３０に含まれる不要物である撮影者Ｂの領域の判別が困難となる。このため、撮影者Ｂの領域の検出が困難となり、３次元情報３０から撮影者Ｂを除去することが困難となる。

【0056】

図２に戻り説明を続ける。

【0057】

そこで、本実施形態の決定部２８Ｄは、３次元情報３０の撮影時の撮影部１４の姿勢情報に基づいて、３次元情報３０に含まれる削除対象領域を決定する。

【0058】

本実施形態では、決定部２８Ｄは、基準設定情報に含まれる基準削除領域を姿勢情報に基づいて補正した領域を、削除対象領域として決定する。

【0059】

基準設定情報とは、撮影部１４の基準姿勢情報と、撮影領域Ｓに含まれる基準削除領域と、を対応付けた情報である。本実施形態では、記憶部２６は、基準設定情報を予め記憶する。

【0060】

基準姿勢情報とは、撮影部１４の基準となる姿勢を表す情報である。基準姿勢情報は、姿勢情報と同様に、上記ｘ軸、ｙ軸、およびｚ軸の各々に対する回転角度によって表される。

【0061】

基準削除領域とは、基準姿勢情報によって表される姿勢の撮影部１４で撮影された３次元情報３０に含まれる、削除対象領域を表す情報である。基準削除領域は、削除対象とする不要物の種類などによって予め定められる。例えば、不要物が撮影者Ｂである場合を想定する。この場合、撮影部１４の使用形態などに応じて、撮影部１４が基準姿勢情報によって表される姿勢で撮影領域Ｓを撮影したときに撮影者Ｂが写り込む推定範囲の領域が、基準削除領域として予め定められる。

【0062】

決定部２８Ｄは、記憶部２６に記憶されている基準設定情報を読取り、削除対象領域の決定処理に用いる。

【0063】

なお、本実施形態では、記憶部２６には、１つの基準設定情報が予め記憶されている形態を一例として説明する。しかし、記憶部２６には、複数の基準設定情報が予め記憶されていてもよい。この場合、例えば、表示制御部２８Ｇは、記憶部２６に記憶された複数の基準設定情報を選択可能に表示部２４Ａへ表示する。そして、ユーザによる操作部２４Ｂの操作指示によって１つの基準設定情報が選択されると、決定部２８Ｄは、選択された基準設定情報を削除対象領域の決定処理に用いればよい。

【0064】

制御部２８は、ユーザによって予め設定された基準設定情報を予め記憶部２６に記憶してもよい。また、制御部２８は、撮影部１４の使用状況や撮影条件等を撮影装置１０から取得し、取得したこれらの情報を用いて基準設定情報を予め作成し、記憶部２６へ予め記憶してもよい。

【0065】

決定部２８Ｄは、記憶部２６から読み取った基準設定情報に含まれる基準姿勢情報と、姿勢情報取得部２８Ｂで取得した姿勢情報と、が一致する場合、基準姿勢情報に対応付けられた基準削除領域を、削除対象領域として決定する。

【0066】

上述したように、基本姿勢情報および姿勢情報は、それぞれ、ｘ軸、ｙ軸、およびｚ軸の各々に対する回転角度の少なくとも一つによって表される。このため、基本姿勢情報と姿勢情報とが一致する場合とは、基本姿勢情報および姿勢情報の各々によって表される各々の回転角度が一致する状態を意味する。言い換えると、基本姿勢情報と姿勢情報とが一致する場合とは、基本姿勢情報によって表される撮影装置１０の姿勢と、姿勢情報によって表される撮影装置１０の姿勢と、が同じ姿勢であることを意味する。

【0067】

ここで、基本姿勢情報および姿勢情報がｘ軸、ｙ軸およびｚ軸の各々を回転軸にする回転角を含むことが精度の上で好ましい。図３Ａに示すような撮影者Ｂが撮影装置１０を把持する場合、基準姿勢情報および姿勢情報はｘ軸方向およびｚ軸方向を回転軸にする回転角の情報を含めば良い。

【0068】

図５Ａおよび図５Ｂは、削除対象領域Ｅ２の決定の一例の説明図である。図５Ａには、撮影装置１０の使用状況の一例を示す。また、図５Ａには、基準姿勢情報と、撮影時の撮影装置１０の姿勢情報と、が一致する場合を一例として示す。図５Ｂは、図５Ａに示す使用状況で撮影された３次元情報３０から削除対象領域Ｅ２を除去した３次元情報３０の一例を示す模式図である。

【0069】

図５Ａに示すように、基準姿勢情報と、姿勢情報取得部２８Ｂで取得した姿勢情報とが一致する場合、決定部２８Ｄは、基準削除領域Ｅ１を削除対象領域Ｅ２として決定する。そして、削除部２８Ｅは、３次元情報３０に含まれる削除対象領域Ｅ２を削除する。このため、図５Ｂに示すように、削除部２８Ｅによって削除処理された後の３次元情報３０は、撮影領域Ｓに含まれる撮影者Ｂを含まない情報となる。

【0070】

削除部２８Ｅによる削除処理は、３次元情報３０に含まれる削除対象領域Ｅ２に相当する３次元情報を無効またはゼロとする処理を意味する。例えば、３次元情報３０が撮影装置１０からの距離を画素ごとに規定した距離画像である場合を想定する。この場合、削除部２８Ｅは、３次元情報３０に含まれる、削除対象領域Ｅ２の範囲内の画素値をゼロまたは無効とするなどの処理を行うことで、３次元情報３０から削除対象領域Ｅ２を削除する。また、削除部２８Ｅは、３次元情報３０に含まれる削除対象領域Ｅ２の範囲内の画素に、無効であることを表すラベルを付与することで、削除対象領域Ｅ２を削除してもよい。

【0071】

このため、削除部２８Ｅによって削除対象領域Ｅ２を削除された３次元情報３０は、図５Ｂに示すように、撮影者Ｂを含まない情報となる。すなわち、削除対象領域Ｅ２を削除された３次元情報３０は、撮影者Ｂ等の不要物の写り込みの無い３次元情報となる。

【0072】

一方、決定部２８Ｄは、基準姿勢情報と、姿勢情報取得部２８Ｂで取得した姿勢情報と、が不一致である場合、基準姿勢情報と姿勢情報との差に応じて、基準削除領域Ｅ１を補正した領域を削除対象領域Ｅ２として決定する。

【0073】

上述したように、撮影装置１０は、撮影者Ｂによって把持されることで使用される。このため、撮影時の撮影装置１０の姿勢は、基準姿勢情報によって表される姿勢から変動する。例えば、撮影時の撮影者Ｂの手首の角度などが安定せず、撮影者Ｂによって把持された撮影装置１０の姿勢は、撮影時に変動する。撮影者Ｂによって把持された撮影装置１０の姿勢は、ｘ軸およびｚ軸の各々を回転軸とする回転方向に対して安定せず、変動しやすい。この場合、撮影時の撮影装置１０の姿勢を表す姿勢情報は、基準姿勢情報とは異なるものとなる。

【0074】

そこで、決定部２８Ｄは、基準姿勢情報と、姿勢情報取得部２８Ｂで取得した姿勢情報と、が不一致である場合、基準姿勢情報と姿勢情報との差に応じて、基準削除領域Ｅ１を補正した領域を削除対象領域Ｅ２として決定する。

【0075】

図６Ａは、削除対象領域Ｅ２の決定の一例の説明図である。図６Ａには、撮影装置１０の使用状況の一例を示す。また、図６Ａには、基準姿勢情報と、撮影時の撮影装置１０の撮影部１４の姿勢情報と、が不一致である場合を一例として示す。

【0076】

図６Ａは、撮影者Ｂに把持された撮影装置１０がｘ軸を回転軸とする回転角を有する姿勢の例である。このように、撮影者Ｂに把持された撮影装置１０の姿勢は、ｘ軸を回転軸とする回転角が変動しやすい。一方、ｙ軸（鉛直方向）を回転軸とする回転角は前述のとおり変動しづらい。以下の説明において姿勢情報および基準姿勢情報は、ｘ軸、ｙ軸およびｚ軸の各々を回転軸とする回転角度である例で説明するが、姿勢情報および基準姿勢情報はこれらの回転角度または回転角度に関する量の少なくとも一つの情報を含んでいればよく、さらに好ましくはｘ軸方向およびｚ軸方向の各々を回転軸とする回転角の情報を含んでいればよい。

【0077】

決定部２８Ｄは、ｘ軸、ｙ軸、およびｚ軸の各々に対する回転角度によって表される基本姿勢情報と姿勢情報の、ｘ軸、ｙ軸、およびｚ軸の各々に対する回転角度の差を算出する。そして、決定部２８Ｄは、基本姿勢情報と姿勢情報とのｘ軸、ｙ軸、およびｚ軸の各々に対する回転角度の差を相殺するように、基準削除領域Ｅ１を補正する。

【0078】

具体的には、図６Ａには、撮影装置１０が、基準姿勢情報によって表される姿勢に対して、ｘ軸を回転軸としてｘ軸の周方向にｙ軸に対して＋１０°傾いた状態を一例として示す。この場合、決定部２８Ｄは、基準姿勢情報に対応する基準削除領域Ｅ１を、ｘ軸を回転軸としてｘ軸の周方向にｙ軸に対して－１０°傾けた領域となるように基準削除領域Ｅ１を補正する。そして、補正後の基準削除領域Ｅ１を削除対象領域Ｅ２として決定する。

【0079】

このように、決定部２８Ｄは、基準姿勢情報と姿勢情報との差に応じて、基準削除領域Ｅ１を補正した領域を削除対象領域Ｅ２として決定する。

【0080】

そして、削除部２８Ｅは、３次元情報３０に含まれる削除対象領域Ｅ２を削除する。このため、図５Ｂに示す３次元情報３０と同様に、削除部２８Ｅによって削除処理された後の３次元情報３０は、撮影領域Ｓに含まれる撮影者Ｂを含まない情報となる。すなわち、削除対象領域Ｅ２を削除された３次元情報３０は、撮影者Ｂの写り込みの無い３次元情報となる。

【0081】

図６Ｂは、削除対象領域Ｅ２の決定の一例の説明図である。図６Ｂには、撮影装置１０の使用状況の一例を示す。また、図６Ｂには、基準姿勢情報と、撮影時の撮影装置１０の撮影部１４の姿勢情報と、が不一致である場合を一例として示す。また、図６Ｂには、撮影装置１０が、基準姿勢情報によって表される姿勢に対して、ｘ軸を回転軸としてｘ軸の周方向にｙ軸に対して－１０°傾いた状態を一例として示す。

【0082】

この場合、決定部２８Ｄは、基準姿勢情報に対応する基準削除領域Ｅ１を、ｘ軸を回転軸としてｘ軸の周方向にｙ軸に対して＋１０°傾けた領域となるように基準削除領域Ｅ１を補正する。そして、補正後の基準削除領域Ｅ１を削除対象領域Ｅ２として決定する。

【0083】

このように、決定部２８Ｄは、基準姿勢情報と姿勢情報との差に応じて、基準削除領域Ｅ１を補正した領域を削除対象領域Ｅ２として決定する。

【0084】

そして、削除部２８Ｅは、３次元情報３０に含まれる削除対象領域Ｅ２を削除する。このため、図５Ｂに示す３次元情報３０と同様に、削除部２８Ｅによって削除処理された後の３次元情報３０は、撮影領域Ｓに含まれる撮影者Ｂを含まない情報となる。すなわち、削除対象領域Ｅ２を削除された３次元情報３０は、撮影者Ｂの写り込みの無い３次元情報となる。

【0085】

図２に戻り説明を続ける。記憶制御部２８Ｆは、削除対象領域Ｅ２を削除された３次元情報３０に関わる情報を記憶部２６に記憶する。例えば、記憶制御部２８Ｆは、撮影装置１０から取得した撮影情報に含まれる３次元情報３０と、姿勢情報と、撮影画像と、撮影時刻情報と、を対応付けて記憶部２６へ記憶する。記憶制御部２８Ｆは、更に、撮影された３次元情報３０を識別可能な撮影ＩＤ等を更に付与し、対応付けて記憶部２６へ記憶してもよい。

【0086】

また、記憶制御部２８Ｆは、削除対象領域Ｅ２を削除された３次元情報３０に関わる情報を、ネットワークＮＷを介して情報処理装置２０に接続された外部の情報処理装置やストレージデバイス等に記憶してもよい。

【0087】

表示制御部２８Ｇは、３次元情報３０に関わる情報を含む画像を表示部２４Ａへ表示する。詳細には、表示制御部２８Ｇは、３次元情報３０によって表される撮影領域Ｓの撮影画像と、決定部２８Ｄで決定された削除対象領域Ｅ２に関わる情報と、削除対象領域Ｅ２を削除された３次元情報３０に関わる情報と、の少なくとも１つを含む画像を表示部２４Ａへ表示する。

【0088】

例えば、表示制御部２８Ｇは、削除対象領域Ｅ２を視認可能に含む画像を表示部２４Ａへ表示する。具体的には、表示制御部２８Ｇは、削除対象領域Ｅ２を削除された３次元情報３０を公知の座標変換処理等によって２次元の画像に変換し、表示部２４Ａへ表示する。その際、表示制御部２８Ｇは、画像中に削除対象領域Ｅ２を視認可能に重畳して表示する。画像中に削除対象領域Ｅ２を視認可能に表示することで、削除処理が適切であったか否かをユーザに対して容易に確認可能に提供することができる。

【0089】

また、表示制御部２８Ｇは、３次元情報３０と同じ撮影時刻に撮影された撮影画像における削除対象領域Ｅ２を特定し、特定した削除対象領域Ｅ２を削除した画像を表示部２４Ａへ表示してもよい。撮影画像における削除対象領域Ｅ２の特定には、公知の技術を用いればよい。

【0090】

上記画像を表示部２４Ａへ表示することで、表示制御部２８Ｇは、削除対象領域Ｅ２に関する情報をユーザに対して確認可能に提供することができる。また、表示制御部２８Ｇは、削除対象領域Ｅ２を削除された３次元情報３０をユーザに対して確認可能に提供することができる。

【0091】

なお、表示制御部２８Ｇは、上記画像を撮影装置１０に設けられた表示部１８に表示してもよい。この場合、表示制御部２８Ｇは、上記画像を撮影装置１０へ送信する。画像を受信した撮影装置１０の制御部１７は、受信した画像を表示部１８へ表示すればよい。

【0092】

次に、本実施形態の情報処理装置２０で実行される情報処理の流れを説明する。

【0093】

図７は、本実施形態の情報処理装置２０で実行される情報処理の流れの一例を示すフローチャートである。

【0094】

３次元情報取得部２８Ａおよび姿勢情報取得部２８Ｂは、撮影部１４による撮影領域Ｓの撮影によって得られた３次元情報３０および該３次元情報３０の撮影時の撮影部１４の姿勢情報を取得する（ステップＳ１００）、３次元情報取得部２８Ａおよび姿勢情報取得部２８Ｂは、撮影装置１０から通信部２２を介して受信した撮影情報に含まれる３次元情報３０および姿勢情報を読取ることで、３次元情報３０および姿勢情報を取得する。

【0095】

決定部２８Ｄは、記憶部２６から基本設定情報を読取る（ステップＳ１０２）。上述したように、基本設定情報は、基準削除領域Ｅ１と基本姿勢情報とを対応付けた情報である。

【0096】

次に、決定部２８Ｄは、ステップＳ１００で取得した姿勢情報と、ステップＳ１０２で読取った基準設定情報に含まれる基準姿勢情報と、が一致するか否かを判断する（ステップＳ１０４）。決定部２８Ｄは、基本姿勢情報および姿勢情報の各々によって表されるｘ軸、ｙ軸、およびｚ軸の各々に対する回転角度が一致するか否かを判別することで、ステップＳ１０４の判断を行う。

【0097】

基準姿勢情報と姿勢情報とが一致すると判断した場合（ステップＳ１０４、Ｙｅｓ）、ステップＳ１０６へ進む。ステップＳ１０６では、決定部２８Ｄは、ステップＳ１０２で読取った基準設定情報に含まれる基準削除領域Ｅ１を、削除対象領域Ｅ２として決定する（ステップ１０６）。そして、後述するステップＳ１１２へ進む。

【0098】

一方、基準姿勢情報と姿勢情報とが不一致であると判断した場合（ステップＳ１０４：Ｎｏ）、ステップＳ１０８ヘ進む。ステップＳ１０８では、決定部２８Ｄは、基準姿勢情報と姿勢情報との差に応じて、基準削除領域Ｅ１を補正する（ステップＳ１０８）。決定部２８Ｄは、ｘ軸、ｙ軸、およびｚ軸の各々に対する回転角度によって表される基本姿勢情報と姿勢情報の、ｘ軸、ｙ軸、およびｚ軸の各々に対する回転角度の差を算出する。そして、決定部２８Ｄは、基本姿勢情報と姿勢情報とのｘ軸、ｙ軸、およびｚ軸の各々に対する回転角度の差を相殺するように、基準削除領域Ｅ１の姿勢を補正する。

【0099】

そして、決定部２８Ｄは、ステップＳ１０８で補正した基準削除領域Ｅ１を削除対象領域Ｅ２として決定する（ステップＳ１１０）。そして、ステップＳ１１２へ進む。

【0100】

ステップＳ１１２では、削除部２８Ｅが、ステップＳ１１０で取得した３次元情報３０に含まれる削除対象領域Ｅ２を削除する（ステップＳ１１２）。ステップＳ１１２の処理によって、３次元情報３０に含まれる撮影者Ｂ等の不要物を含む削除対象領域Ｅ２が３次元情報３０から削除される。削除対象領域Ｅ２を削除された３次元情報３０は、撮影者Ｂ等の不要物の写り込みの無い３次元情報となる。

【0101】

記憶制御部２８Ｆは、ステップＳ１１２の削除処理によって削除対象領域Ｅ２を削除された３次元情報３０に関わる情報を記憶部２６に記憶する（ステップＳ１１４）。表示制御部２８Ｇは、ステップＳ１１２の削除処理によって削除対象領域Ｅ２を削除された３次元情報３０に関わる情報を含む画像を表示部２４Ａへ表示する（ステップＳ１１６）。

【0102】

次に、制御部２８は、処理を終了するか否かを判断する（ステップＳ１１８）。

【0103】

例えば、撮影装置１０が撮影によって３次元情報３０を得るごとに、該３次元情報３０を含む撮影情報を順次撮影装置１０へ送信する場合を想定する。そして、制御部２８は、撮影装置１０から新たな１つの撮影情報を受信するごとに、上記ステップＳ１００～ステップＳ１１６の処理を実行する場合を想定する。この場合、制御部２８は、撮影装置１０から前回撮影情報を受信してから予め定めた期間内に次の撮影情報を受信しない場合、処理を終了すると判断すればよい。

【0104】

また、制御部２８は、撮影装置１０から時系列に沿って受信した１または複数の撮影情報を、記憶部２６に記憶してもよい。そして、制御部２８は、記憶部２６に記憶された撮影情報を１つずつ順次読取り、ステップＳ１００～ステップＳ１１６の処理を行ってもよい。この場合、制御部２８は、記憶部２６に記憶されている１または複数の撮影情報に含まれる全ての３次元情報３０についてステップＳ１００～ステップＳ１１６の処理を実行済みであるか否かを判別する。そして、制御部２８は、処理を実行済であると判別した場合、ステップＳ１１８で肯定判断する。また、制御部２８は、処理を未実行の３次元情報３０が記憶部２６に記憶されている場合、ステップＳ１１８で否定判断すればよい。

【0105】

ステップＳ１１８で否定判断すると（ステップＰＳ１１８：Ｎｏ）、上記ステップＳ１００へ戻る。ステップＳ１１８で肯定判断すると（ステップＳ１１８：Ｙｅｓ）、本ルーチンを終了する。

【0106】

以上説明したように、本実施形態の情報処理装置２０は、３次元情報取得部２８Ａと、姿勢情報取得部２８Ｂと、決定部２８Ｄと、削除部２８Ｅと、を備える。３次元情報取得部２８Ａは、撮影部１４による撮影領域Ｓの撮影によって得られた３次元情報３０を取得する。姿勢情報取得部２８Ｂは、３次元情報３０の撮影時の撮影部１４の姿勢情報を取得する。決定部２８Ｄは、姿勢情報に基づいて、３次元情報３０に含まれる削除対象領域Ｅ２を決定する。削除部２８Ｅは、３次元情報３０に含まれる削除対象領域Ｅ２を削除する。

【0107】

ここで、撮影部１４を備えた撮影装置１０の撮影者Ｂによる把持状況によって、撮影部１４の姿勢に変動が生じる場合がある。特に、撮影者Ｂによって把持されることで使用される手持ち型の撮影装置１０では、撮影時の撮影者Ｂの手首の角度などが安定せず、撮影部１４の姿勢が撮影時に変動する。

【0108】

従来技術には、撮影部１４の姿勢変化に拘わらず削除対象領域を固定の領域とし、該固定の削除対象領域を３次元情報３０から削除する技術が開示されている。しかしながら、撮影部１４の姿勢変化に拘わらず削除対象領域を固定の領域とした場合、撮影状況によっては、削除対象領域以外の領域に撮影者Ｂ等の不要物が写り込む場合がある。このため、姿勢変化に拘わらず削除対象領域を固定の領域とすると、不要物が写り込んだ削除対象領域を適切に削除できない場合がある。また、撮影状況によっては、固定の削除対象領域内に撮影対象ＯＢが写り込み、撮影対象ＯＢが削除されてしまう場合もある。

【0109】

一方、本実施形態の情報処理装置２０では、撮影時の撮影部１４の姿勢情報に基づいて３次元情報３０に含まれる削除対象領域Ｅ２を決定し、３次元情報３０から該削除対象領域Ｅ２を削除する。すなわち、本実施形態の情報処理装置２０は、３次元情報３０の撮影時の撮影部１４の姿勢情報に応じて、削除対象領域Ｅ２を決定する。

【0110】

このため、撮影時に撮影部１４の姿勢が変化又は変動した場合であっても、本実施形態の情報処理装置２０は、３次元情報３０に含まれる削除対象領域Ｅ２を適切に削除することができる。

【0111】

従って、本実施形態の情報処理装置２０は、３次元情報３０に含まれる削除対象領域Ｅ２を適切に削除することができる。

【0112】

（変形例）
上記実施形態では、撮影装置１０と情報処理装置２０とが別体として構成された形態を一例として説明した。しかし、撮影装置１０と情報処理装置２０とを一体的に構成してもよい。例えば、情報処理装置２０の制御部２８に含まれる各機能部を撮影装置１０の制御部１７に搭載した構成としてもよい。

【0113】

詳細には、上記実施形態の情報処理装置２０と、撮影部１４と、姿勢検知部１５と、を備えた装置を３次元計測装置として構成してもよい。

【0114】

（第２の実施形態）
上記実施形態では、基準削除領域Ｅ１を含む基準設定情報が予め記憶部２６に記憶されている形態を一例として説明した。本実施形態では、ユーザによる操作指示によって基準削除領域Ｅ１を設定する形態を一例として説明する。

【0115】

本実施形態では、上記実施形態と同様の構成部分には同じ符号を付与し、詳細な説明を省略する。

【0116】

図８は、本実施形態の情報処理システム１Ｂの機能的構成を表すブロック図である。

【0117】

情報処理システム１Ｂは、撮影装置１０と、情報処理装置２１と、情報端末４０と、を備える。撮影装置１０と、情報処理装置２１と、情報端末４０とは、ネットワークＮＷなどを介して通信可能に接続されている。

【0118】

情報端末４０は、ユーザによって管理される情報処理装置である。情報端末４０は、例えば、スマートフォン、タブレット端末等である。情報端末４０を管理するユーザは、撮影装置１０の撮影者Ｂと同一であっても異なっていてもよい。本実施形態では、情報端末４０を管理するユーザが撮影者Ｂである場合を一例として説明する。

【0119】

情報端末４０は、操作部４２と、表示部４４と、通信部４６と、制御部４８と、を備える。操作部４２は、撮影者Ｂによる操作指示を受付ける。操作部４２は、例えば、キーボード、ポインティングデバイス、マウス、などである。表示部４４は、各種の情報を表示するディスプレイである。操作部４２および表示部４４は、一体的に構成されたタッチパネルであってもよい。通信部４６はネットワークＮＷを介して撮影装置１０および情報処理装置２３と通信する。制御部４８は、情報端末４０において情報処理を実行する。制御部４８は、１または複数のプロセッサにより構成される。

【0120】

情報処理装置２１は、通信部２２と、ＵＩ部２４と、記憶部２６と、制御部２７と、を備える。通信部２２、ＵＩ部２４、および記憶部２６と、制御部２７とは、バス等を介して通信可能に接続されている。情報処理装置２１は、制御部２８に替えて制御部２７を備える点以外は、上記実施形態の情報処理装置２０と同様である。

【0121】

制御部２７は、３次元情報取得部２８Ａと、姿勢情報取得部２８Ｂと、撮影画像取得部２８Ｃと、決定部２８Ｄと、削除部２８Ｅと、記憶制御部２８Ｆと、表示制御部２８Ｇと、受付部２７Ｉと、出力制御部２７Ｈと、を有する。制御部２７は、受付部２７Ｉおよび出力制御部２７Ｈを更に有する点以外は、上記実施形態の制御部２８と同様である。

【0122】

受付部２７Ｉは、ユーザによる操作指示を受付ける。本実施形態では、受付部２７Ｉは、撮影者Ｂによる情報端末４０の操作部４２の操作によって入力された各種の操作指示を、通信部２２を介して受け付ける。

【0123】

出力制御部２７Ｈは、補正用の３次元情報３０を撮影によって取得するように、撮影装置１０を制御する。補正用の３次元情報３０とは、基準削除領域Ｅ１の補正に用いる３次元情報３０を意味する。

【0124】

例えば、出力制御部２７Ｈは、補正用の３次元情報３０を撮影によって取得することを指示するための指示信号を撮影装置１０へ送信する。撮影装置１０の制御部１７は、補正用の３次元情報３０の撮影指示を表す情報を表示部１８へ表示する。表示部１８に表示された該情報を視認した撮影者Ｂは、撮影予定の姿勢と同じまたは類似する姿勢となるように撮影装置１０の姿勢を調整し、操作部１６を操作することで撮影指示信号を入力する。

【0125】

撮影者によって操作部１６が操作され撮影指示信号が入力されると、制御部１７は、画像撮影部１１、距離情報取得部１３、および投射部１２を同期駆動させ撮影を実行するように制御する。このため、撮影装置１０は、補正用の３次元情報３０を得る。撮影装置１０の制御部１７は、撮影によって得られた３次元情報３０と、補正用の３次元情報３０であることを表す補正フラグと、を含む補正撮影情報を情報処理装置２１へ送信する。また、制御部１７は、撮影によって得られた３次元情報３０と、補正フラグと、姿勢情報おＴ、撮影画像と、を含む補正撮影情報を情報処理装置２１へ送信してもよい。

【0126】

なお、撮影装置１０は、補正用の３次元情報３０の補正撮影モードと、補正用以外である通常の３次元情報３０の撮影モードと、を含む複数のモードに切り替え可能な構成であってもよい。そして、撮影者Ｂは、操作部１６を操作することで、撮影モードから補正撮影モードに切替え、撮影予定の姿勢と同じまたは類似する姿勢となるように撮影装置１０の姿勢を調整し、操作部１６を操作することで撮影指示信号を入力してもよい。そして、制御部１７は、補正撮影モードであるときに撮影を実行した場合、撮影によって得られた３次元情報３０と、補正フラグと、を含む補正撮影情報を情報処理装置２１へ送信すればよい。

【0127】

また、撮影装置１０は、撮影者Ｂによる電源ボタン等の操作によって撮影装置１０の各部に電力が供給された後の最初の撮影によって得られた３次元情報３０を、補正用の３次元情報３０として情報処理装置２１へ送信してもよい。この場合、撮影装置１０は、最初の撮影によって得られた３次元情報３０と、補正フラグと、を含む補正撮影情報を情報処理装置２１へ送信すればよい。

【0128】

また、撮影装置１０は、時系列に沿って複数の３次元情報３０を撮影したときに、該複数の３次元情報３０の内の任意の１つの３次元情報３０を、補正用の３次元情報３０として情報処理装置２１へ送信してもよい。この場合、撮影装置１０は、該任意の１つの３次元情報３０と、補正フラグと、を含む補正撮影情報を情報処理装置２１に送信すればよい。

【0129】

情報処理装置２１の出力制御部２７Ｈは、撮影装置１０から補正フラグを含む補正撮影情報を取得すると、記憶部２６に記憶されている基準設定情報に含まれる基準削除領域Ｅ１を読取る。そして、出力制御部２７Ｈは、補正撮影情報に含まれる補正用の３次元情報３０、および記憶部２６から読取った基準削除領域Ｅ１を、情報端末４０へ送信する。

【0130】

情報端末４０の制御部４８は、情報処理装置２１から受信した補正用の３次元情報３０および基準削除領域Ｅ１を含む補正用画像を表示部４４へ表示する。

【0131】

例えば、情報端末４０の制御部４８は、補正用の３次元情報３０である距離画像に基準削除領域Ｅ１を重畳した補正用画像を表示部４４へ表示する。また、例えば、情報端末４０の制御部４８は、補正用の３次元情報３０を公知の方法により２次元の表示画像に変換し、該表示画像に基準削除領域Ｅ１を重畳した補正用画像を表示部４４へ表示してもよい。また、情報処理装置２１の出力制御部２７Ｈは、補正用の３次元情報３０の撮影時に撮影された撮影画像を更に情報端末４０へ送信してもよい。この場合、情報端末４０の制御部４８は、撮影画像に基準削除領域Ｅ１を重畳した補正用画像を表示部４４へ表示してもよい。

【0132】

情報端末４０を操作する撮影者Ｂは、操作部４２に表示された補正用画像を視認しながら操作部４２を操作することで、所望の基準削除領域Ｅ１となるように基準削除領域Ｅ１の位置、大きさ、範囲の少なくとも一部を補正する。撮影者Ｂは、操作部４２の一例であるマウス操作、操作部４２の一例であるタッチパネル上の位置、操作部４２の一例であるキーボードによる座標を表す数値入力、などの任意の入力手法によって、基準削除領域Ｅ１を補正する。

【0133】

そして、制御部４８は、撮影者Ｂによる操作部４２の操作指示によって入力された補正後の基準削除領域Ｅ１を表す情報を情報処理装置２１へ送信する。

【0134】

なお、撮影者Ｂは、表示部４４に表示された基準削除領域Ｅ１を補正無で用いる場合には、表示された基準削除領域Ｅ１を補正後の基準削除領域Ｅ１として用いることを指示するための指示入力を行えばよい。この場合、制御部４８は、表示した基準削除領域Ｅ１を補正された基準削除領域Ｅ１を表す情報として情報処理装置２１へ送信すればよい。

【0135】

情報処理装置２１の受付部２７Ｉは、撮影者Ｂによる操作部４２の操作指示によって入力された補正後の基準削除領域Ｅ１を受付ける。受付部２７Ｉは、受付けた補正後の基準削除領域Ｅ１を、記憶部２６に記憶されている基準削除領域Ｅ１に上書きして記憶する。このため、決定部２８Ｄは、撮影者Ｂの操作指示によって入力された基準削除領域Ｅ１を用いて、上記実施形態と同様にして、削除対象領域Ｅ２を決定する。

【0136】

すなわち、決定部２８Ｄは、姿勢情報取得部２８Ｂで取得した姿勢情報と、受付部２７Ｉで情報端末４０の操作部４２から受付けた基準削除領域Ｅ１と、に基づいて、上記実施形態と同様にして３次元情報３０に含まれる削除対象領域Ｅ２を決定すればよい。

【0137】

次に、本実施形態の情報処理装置２１が実行する情報処理の流れの一例を説明する。

【0138】

図９は、本実施形態の情報処理装置２１が実行する情報処理の流れの一例を示すフローチャートである。

【0139】

出力制御部２７Ｈは、撮影装置１０から補正用の３次元情報３０および補正フラグを含む補正撮影情報を取得する（ステップＳ２００）。出力制御部２７Ｈは、例えば、補正用の３次元情報３０を撮影によって取得するように撮影装置１０を制御することで、撮影装置１０から補正用の３次元情報３０を取得する。

【0140】

次に、出力制御部２７Ｈは、記憶部２６に記憶されている基準設定情報に含まれる基準削除領域Ｅ１を読取る（ステップＳ２０２）。そして、出力制御部２７Ｈは、ステップＳ２００で取得した補正用の３次元情報３０およびステップＳ２０２で読取った基準削除領域Ｅ１を、情報端末４０へ送信する（ステップＳ２０４）。

【0141】

情報端末４０の制御部４８は、情報処理装置２１から受信した補正用の３次元情報３０および基準削除領域Ｅ１を含む補正用画像を表示部４４へ表示する。情報端末４０を操作する撮影者Ｂは、操作部４２に表示された補正用画像を視認しながら操作部４２を操作することで、所望の基準削除領域Ｅ１となるように、表示された基準削除領域Ｅ１の位置、大きさ、範囲の少なくとも一部を補正する。情報端末４０の制御部４８は、撮影者Ｂによる操作部４２の操作指示によって入力された補正後の基準削除領域Ｅ１を表す情報を情報処理装置２１へ送信する。

【0142】

情報処理装置２１の受付部２７Ｉは、撮影者Ｂによる操作部４２の操作指示によって入力された補正後の基準削除領域Ｅ１を情報端末４０から受付ける（ステップＳ２０６）。受付部２７Ｉは、ステップＳ２０６で受付けた補正後の基準削除領域Ｅ１を、記憶部２６に記憶されている基準削除領域Ｅ１に上書きして記憶する（ステップＳ２０８）。

【0143】

そして、情報処理装置２１の制御部２７は、上記実施形態のステップＳ１００～ステップＳ１１８（図７参照）によって表される処理である削除処理を実行し（ステップＳ２１０）、本ルーチンを終了する。

【0144】

以上説明したように、本実施形態の情報処理装置２１は、ユーザによる操作指示を受付ける受付部２７Ｉを備える。決定部２８Ｄは、姿勢情報と、受付部２７Ｉで受付けた基準削除領域Ｅ１を含む基準設定情報と、に基づいて、３次元情報３０に含まれる削除対象領域Ｅ２を決定する。

【0145】

すなわち、本実施形態では、決定部２８Ｄは、撮影者Ｂの操作指示によって補正された基準削除領域Ｅ１と、新たに撮影された３次元情報３０の撮影時の撮影部１４の姿勢情報と、に基づいて、該３次元情報３０の削除対象領域Ｅ２を決定する。そして、削除部２８Ｅは、決定した削除対象領域Ｅ２を３次元情報３０から削除する削除処理を実行する。

【0146】

ここで、撮影装置１０と撮影者Ｂとの位置関係は、撮影者Ｂの体格、撮影者Ｂによって把持された撮影装置１０の撮影者Ｂに対する高さ、等によって異なるものとなる。一方、本実施形態の情報処理装置２１は、ユーザによって設定された基準削除領域Ｅ１を用いて、削除対象領域Ｅ２を決定する。そして、削除部２８Ｅは、決定した削除対象領域Ｅ２を３次元情報３０から削除する削除処理を実行する。

【0147】

従って、本実施形態の情報処理装置２１は、上記実施形態の効果に加えて、３次元情報３０から更に適切に削除対象領域Ｅ２を削除することができる。

【0148】

また、本実施形態の情報処理装置２１は、ユーザによる操作指示の入力を受付けることによって基準削除領域Ｅ１を補正する。このため、撮影装置１０の撮影者Ｂが異なる撮影者Ｂに変わったり、撮影装置１０の撮影条件が変わったりした場合であっても、情報処理装置２１は、適切に補正された基準削除領域Ｅ１を処理に用いることができる。

【0149】

また、本実施形態の情報処理装置２１は、ユーザによる操作指示によって補正された基準削除領域Ｅ１を用いて、削除対象領域Ｅ２の決定および３次元情報３０からの削除対象領域Ｅ２の削除処理を行うため、高速に且つ適切に削除処理を実行することができる。

【0150】

（第３の実施形態）
上記第２の実施形態では、記憶部２６に予め記憶された基準設定情報に含まれる基準削除領域Ｅ１を情報端末４０へ送信し、ユーザは、該基準削除領域Ｅ１を用いて基準削除領域Ｅ１を補正するための操作入力を行う形態を一例として説明した。

【0151】

本実施形態では、情報処理装置２０が基準設定情報を設定する形態を説明する。

【0152】

本実施形態では、上記実施形態と同様の構成部分には同じ符号を付与し、詳細な説明を省略する。

【0153】

図１０は、本実施形態の情報処理システム１Ｃの機能的構成を表すブロック図である。

【0154】

情報処理システム１Ｃは、撮影装置１０と、情報処理装置２３と、情報端末４０と、を備える。撮影装置１０と、情報処理装置２３と、情報端末４０とは、ネットワークＮＷなどを介して通信可能に接続されている。撮影装置１０および情報端末４０は上記実施形態と同様である。

【0155】

情報処理装置２３は、通信部２２と、ＵＩ部２４と、記憶部２６と、制御部２９と、を備える。通信部２２、ＵＩ部２４、および記憶部２６と、制御部２９とは、バス等を介して通信可能に接続されている。情報処理装置２３は、制御部２７に替えて制御部２９を備える点以外は、上記実施形態の情報処理装置２１と同様である。

【0156】

制御部２９は、３次元情報取得部２８Ａと、姿勢情報取得部２８Ｂと、撮影画像取得部２８Ｃと、決定部２８Ｄと、削除部２８Ｅと、記憶制御部２８Ｆと、表示制御部２８Ｇと、受付部２７Ｉと、出力制御部２７Ｈと、設定部２９Ｊと、を有する。制御部２９は、更に設定部２９Ｊを備える点以外は、上記第２の実施形態の制御部２７と同様である。

【0157】

設定部２９Ｊは、３次元情報３０の撮影者Ｂと撮影部１４との位置関係に基づいて、基準設定情報を設定する。例えば、設定部２９Ｊは、補正用の３次元情報３０と同時に撮影された撮影画像、および、補正用の３次元情報３０、の少なくとも一方を用いて、基準設定情報を設定する。

【0158】

詳細には、本実施形態では、撮影装置１０は、撮影によって得られた補正用の３次元情報３０と、該３次元情報３０と同じ撮影によって得られた撮影画像と、姿勢情報と、補正フラグと、を含む補正撮影情報を情報処理装置２３へ送信する。情報処理装置２３の３次元情報取得部２８Ａ、姿勢情報取得部２８Ｂ、および撮影画像取得部２８Ｃは、撮影装置１０から該補正撮影情報を受信することで、補正撮影情報に含まれる、補正用の３次元情報３０と、姿勢情報と、撮影画像と、をそれぞれ取得する。

【0159】

設定部２９Ｊは、補正撮影情報に含まれる、補正用の３次元情報３０および撮影画像の少なくとも一方を用いて、該３次元情報３０の撮影時の撮影部１４と撮影者Ｂとの位置関係を特定する。設定部２９Ｊは、補正用の３次元情報３０および撮影画像の少なくとも一方を用いて、例えば、深層学習を用いたセマンティックセグメンテーション処理等により、３次元情報３０または撮影画像中の撮影者Ｂと撮影部１４との位置関係を特定する。

【0160】

そして、設定部２９Ｊは、特定した位置関係を用いて、補正用の３次元情報３０に含まれる撮影者Ｂを含む領域を基準削除領域Ｅ１として設定する。そして、設定部２９Ｊは、該３次元情報３０の撮影時の撮影部１４の姿勢情報を基準姿勢情報とし、設定した基準削除領域Ｅ１に対応付けて基準設定情報として記憶部２６へ記憶する。

【0161】

これらの処理によって、設定部２９Ｊは、基準削除領域Ｅ１と基準姿勢情報とを対応付けた基準設定情報を設定し、記憶部２６へ記憶する。そして、制御部２９は、上記第２の実施形態と同様の処理を実行する。すなわち、上記第２の実施形態と同様に、撮影者Ｂによる該基準削除領域Ｅ１の補正が行われ、補正後の基準削除領域Ｅ１を用いた削除処理が行われる。このため、本実施形態の情報処理装置２３は、上記実施形態の効果に加えて、更に適切に削除対象領域Ｅ２を削除することができる。

【0162】

また、基準削除領域Ｅ１の補正時には、上記第２の実施形態と同様に、情報端末４０の制御部４８は、情報処理装置２３から受信した補正用の３次元情報３０および基準削除領域Ｅ１を含む補正用画像を表示部４４へ表示する。このため、撮影者Ｂは、表示部４４を視認することで、情報処理装置２３によって何れの領域が基準削除領域Ｅ１として設定されたかを容易に確認することができる。また、撮影者Ｂは、必要に応じて、上記第２の実施形態と同様にして操作部４２を操作することで、表示された基準削除領域Ｅ１を補正することができる。

【0163】

次に、本実施形態の情報処理装置２３が実行する情報処理の流れの一例を説明する。

【0164】

図１１は、本実施形態の情報処理装置２３が実行する情報処理の流れの一例を示すフローチャートである。

【0165】

出力制御部２７Ｈは、撮影装置１０から補正用の３次元情報３０、撮影画像、および補正フラグを含む補正撮影情報を取得する（ステップＳ３００）。

【0166】

次に、設定部２９Ｊが、ステップＳ２００で取得した３次元情報３０および撮影画像の少なくとも一方を用いて、撮影者Ｂと撮影部１４との位置関係を特定する。そして、設定部２９Ｊは、特定した位置関係に基づいて、基準削除領域Ｅ１と基準姿勢情報とを対応付けた基準設定情報を設定し、記憶部２６へ記憶する（ステップＳ３０２）。

【0167】

次に、出力制御部２７Ｈは、ステップＳ３０２で記憶部２６に記憶された基準設定情報に含まれる基準削除領域Ｅ１を読取る（ステップＳ３０４）。すなわち、出力制御部２７Ｈは、設定部２９Ｊで設定された基準削除領域Ｅ１を読取る。

【0168】

そして、出力制御部２７Ｈは、ステップＳ３００で取得した補正用の３次元情報３０およびステップＳ３０４で読取った基準削除領域Ｅ１を、情報端末４０へ送信する（ステップＳ３０６）。

【0169】

情報端末４０の制御部４８は、情報処理装置２３から受信した補正用の３次元情報３０および基準削除領域Ｅ１を含む補正用画像を表示部４４へ表示する。情報端末４０を操作する撮影者Ｂは、操作部４２に表示された補正用画像を視認しながら操作部４２を操作することで、所望の基準削除領域Ｅ１となるように、表示された基準削除領域Ｅ１の位置、大きさ、範囲の少なくとも一部を補正する。情報端末４０の制御部４８は、撮影者Ｂによる操作部４２の操作指示によって入力された補正後の基準削除領域Ｅ１を表す情報を情報処理装置２３へ送信する。

【0170】

情報処理装置２３の受付部２７Ｉは、撮影者Ｂによる操作部４２の操作指示によって入力された補正後の基準削除領域Ｅ１を情報端末４０から受付ける（ステップＳ３０８）。受付部２７Ｉは、ステップＳ３０８で受付けた補正後の基準削除領域Ｅ１を、記憶部２６に記憶されている基準削除領域Ｅ１に上書きして記憶する（ステップＳ３１０）。

【0171】

そして、情報処理装置２３の制御部２９は、上記実施形態のステップＳ１００～ステップＳ１１８（図７参照）によって表される処理である削除処理を実行し（ステップＳ３１２）、本ルーチンを終了する。

【0172】

以上説明したように、本実施形態の情報処理装置２３は、設定部２９Ｊを備える。設定部２９Ｊは、３次元情報３０の撮影者Ｂと撮影部１４との位置関係に基づいて基準設定情報を設定する。決定部２８Ｄは、設定された基準設定情報と、姿勢情報と、に基づいて、３次元情報３０に含まれる削除対象領域Ｅ２を決定する。

【0173】

このため、本実施形態の情報処理装置２３は、上記実施形態の効果に加えて、より正確な基準設定情報を用いて、削除対象領域Ｅ２を決定することが可能となる。

【0174】

次に、上記実施形態の撮影装置１０、情報端末４０、情報処理装置２０、情報処理装置２１、および情報処理装置２３のハードウェア構成を説明する。

【0175】

図１２は、上記実施形態の撮影装置１０、情報端末４０、情報処理装置２０、情報処理装置２１、および情報処理装置２３の一例のハードウェア構成図である。

【0176】

上記実施形態の撮影装置１０、情報端末４０、情報処理装置２０、情報処理装置２１、および情報処理装置２３は、ＣＰＵ９０Ａなどの制御装置と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０ＢやＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０Ｃなどの記憶装置と、ＨＤＤ（ハードディスクドライブ）と、ネットワークに接続して通信を行うＩ／Ｆ９０Ｄと、各部を接続するバス９０Ｅと、を備える。

【0177】

上記実施形態の撮影装置１０、情報端末４０、情報処理装置２０、情報処理装置２１、および情報処理装置２３で実行されるプログラムは、ＲＯＭ９０Ｂ等に予め組み込まれて提供される。

【0178】

上記実施形態の撮影装置１０、情報端末４０、情報処理装置２０、情報処理装置２１、および情報処理装置２３で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。

【0179】

さらに、上記実施形態の撮影装置１０、情報端末４０、情報処理装置２０、情報処理装置２１、および情報処理装置２３で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上記実施形態の撮影装置１０、情報端末４０、情報処理装置２０、情報処理装置２１、および情報処理装置２３で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

【0180】

上記実施形態の撮影装置１０、情報端末４０、情報処理装置２０、情報処理装置２１、および情報処理装置２３で実行されるプログラムは、コンピュータを上述した上記実施形態の撮影装置１０、情報端末４０、情報処理装置２０、情報処理装置２１、および情報処理装置２３の各部として機能させうる。このコンピュータは、ＣＰＵ９０Ａがコンピュータで読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。

【0181】

また、上記実施形態の撮影装置１０、情報端末４０、情報処理装置２０、情報処理装置２１、および情報処理装置２３は、クラウドシステム上で動作する仮想マシンとして実現されていてもよい。

【0182】

なお、上記には、本発明の実施形態および変形例を説明したが、上記実施形態および変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態および変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態および変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0183】

１０ 撮影装置
２０、２１、２３ 情報処理装置
２７Ｉ 受付部
２８Ａ ３次元情報取得部
２８Ｂ 姿勢情報取得部
２８Ｃ 撮影画像取得部
２８Ｄ 決定部
２８Ｅ 削除部
２８Ｆ 記憶制御部
２８Ｇ 表示制御部
２９Ｊ 設定部
４０ 情報端末

【先行技術文献】

【特許文献】

【0184】

【特許文献1】特開２０２０－１６７６７号公報

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図5A】

【図5B】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】