特開 2023-115289 検出装置、情報処理装置、及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023115289

(43)【公開日】2023-08-18

(54)【発明の名称】検出装置、情報処理装置、及びシステム

(51)【国際特許分類】

   G01B 11/24 20060101AFI20230810BHJP

【ＦＩ】

G01B11/24 K

【審査請求】有

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2023106656

(22)【出願日】2023-06-29

(62)【分割の表示】P 2021106940の分割

【原出願日】2014-09-03

(71)【出願人】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100107836

【弁理士】

【氏名又は名称】西 和哉

(72)【発明者】

【氏名】杉村 武昭

(72)【発明者】

【氏名】中川 源洋

(72)【発明者】

【氏名】風見 一之

(57)【要約】

【課題】処理の負荷を低減できる撮像装置を提供する。
【解決手段】撮像装置は、本体部と、対象物を撮像する撮像部、及び対象物の表面上の各点からの距離を検出する測距部を含む検出部と、本体部に設けられ、検出部の検出結果を使って、対象物の形状情報およびテクスチャ情報の少なくとも一方を算出する情報算出部と、情報算出部の算出結果を送信する通信部と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

視野範囲の対象物を検出する検出部と、
前記検出部の検出結果に基づいて、前記対象物の形状情報を生成する情報生成部と、
外部装置からの要求信号を受信するとともに、前記形状情報を前記外部装置に送信する通信部と、を備え、
前記通信部は、前記視野範囲より狭い範囲を指定する前記要求信号を受信し、
前記情報生成部は、前記要求信号により指定される前記範囲の前記形状情報を生成し、
前記通信部は、前記範囲の前記形状情報を送信する、検出装置。

【請求項2】

前記通信部は、互いに異なる複数の位置から前記対象物を検出して生成される複数の形状情報を統合するために用いられる付加情報を前記外部装置へ送信し、
前記要求信号は、前記付加情報を送信した後に受信される、請求項１に記載の検出装置。

【請求項3】

前記付加情報は、互いに異なる複数の位置から前記対象物を検出して生成される複数の前記形状情報の位置関係を示す情報を含む、請求項２に記載の検出装置。

【請求項4】

前記付加情報は、前記検出部の位置情報を含む、請求項２又は請求項３に記載の検出装置。

【請求項5】

前記付加情報は、前記検出部の検出のタイミング情報を含む、請求項２から請求項４のいずれか一項に記載の検出装置。

【請求項6】

前記付加情報は、異なる位置から前記対象物を検出する検出装置から受信した情報を用いて生成される、請求項２から請求項５のいずれか一項に記載の検出装置。

【請求項7】

前記通信部は、前記要求信号で指定されていない範囲の前記形状情報を送信しない、請求項１から請求項６のいずれか一項に記載の検出装置。

【請求項8】

前記検出部は、前記対象物上の複数の点までの距離を検出する、請求項１から請求項７のいずれか一項に記載の検出装置。

【請求項9】

前記検出部は、前記対象物の画像を検出する、請求項１から請求項８のいずれか一項に記載の検出装置。

【請求項10】

前記検出部は、前記対象物上の複数の点までの距離と、前記対象物の画像とを検出し、前記対象物の画像の部分領域ごとに前記距離を算出する、請求項１から請求項９のいずれか一項に記載の検出装置。

【請求項11】

対象物の撮像画像及び前記対象物からの距離を検出し、前記対象物の表面の全てではなく一部分についての形状を示す第１形状情報を生成する第１検出装置と、前記対象物の撮像画像及び前記対象物からの距離を検出し、前記対象物の表面の全てではなく一部分についての形状を示す第２形状情報を生成する第２検出装置と、通信する情報処理装置であって、
前記第１形状情報と前記第２形状情報との位置関係を示す付加情報を受信する受信部と、
前記第１形状情報のうち前記付加情報に基づき決定される範囲の前記第１形状情報を要求する要求信号を前記第１検出装置に送信し、前記第２形状情報のうち前記付加情報に基づき決定される範囲の前記第２形状情報を要求する要求信号を前記第２検出装置に送信する送信部と、
を有する情報処理装置。

【請求項12】

前記付加情報は、前記第１検出装置が前記対象物を検出したタイミングおよび前記第２検出装置が前記対象物を検出したタイミングを含む、請求項１１に記載の情報処理装置。

【請求項13】

対象物を第１の位置から検出し、前記対象物の第１形状情報を生成する第１検出装置と、
前記第１検出装置と通信可能であり、前記対象物を第２の位置から検出し、前記対象物の第２形状情報を生成する第２検出装置と、
前記第１検出装置と前記第２検出装置と通信可能であり、前記第１形状情報と前記第２形状情報とを統合した統合形状情報を生成する情報処理装置を備え、
前記情報処理装置は、前記統合形状情報を生成するのに必要な前記第１形状情報の部分を示す情報を前記第１検出装置へ送信し、前記統合形状情報を生成するのに必要な前記第２形状情報の部分を示す情報を前記第２検出装置へ送信する、システム。

【請求項14】

前記第１検出装置は、前記第２検出装置が前記対象物を検出して生成される情報を前記第２検出装置から受信する、請求項１３に記載のシステム。

【請求項15】

前記第１検出装置は、前記第２検出装置が前記対象物を検出して生成される情報と、前記第１検出装置が前記対象物を検出して生成される情報と、に基づいて生成される付加情報を前記情報処理装置へ送信し、
前記情報処理装置は、前記付加情報に基づいて前記統合形状情報を生成するのに必要な前記第１形状情報の範囲を決定する、請求項１４に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検出装置、情報処理装置、及びシステムに関する。

【背景技術】

【0002】

物体を複数の撮像装置により撮像し、得られた複数の画像をコンピュータに入力し、物体の三次元形状を取得する技術が提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０－１３４５４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば、撮像装置を用いて物体を撮像した複数の画像から該物体の三次元形状を生成する場合、撮像装置から全ての画像をコンピュータに転送して、それらの画像をコンピュータで処理する必要がある。この場合、撮像した全ての画像を撮像装置からコンピュータへ転送するため、撮像装置とコンピュータとの間の通信（例、通信処理や通信データ量など）が増大することがある。本発明は、上記の事情に鑑みなされたものであり、通信の負荷を低減できる撮像装置、情報処理装置、及び撮像システムを提供することを目的とする。

【課題を解決するための手段】

【0005】

本発明の態様に従えば、視野範囲の対象物を検出する検出部と、検出部の検出結果に基づいて、対象物の形状情報を生成する情報生成部と、外部装置からの要求信号を受信するとともに、形状情報を外部装置に送信する通信部と、を備え、通信部は、視野範囲より狭い範囲を指定する要求信号を受信し、情報生成部は、要求信号により指定される範囲の形状情報を生成し、通信部は、範囲の形状情報を送信する、検出装置が提供される。

【0006】

本発明の態様に従えば、対象物の撮像画像及び対象物からの距離を検出し、対象物の表面の全てではなく一部分についての形状を示す第１形状情報を生成する第１検出装置と、対象物の撮像画像及び対象物からの距離を検出し、対象物の表面の全てではなく一部分についての形状を示す第２形状情報を生成する第２検出装置と、通信する情報処理装置であって、第１形状情報と第２形状情報との位置関係を示す付加情報を受信する受信部と、第１形状情報のうち付加情報に基づき決定される範囲の第１形状情報を要求する要求信号を第１検出装置に送信し、第２形状情報のうち付加情報に基づき決定される範囲の第２形状情報を要求する要求信号を第２検出装置に送信する送信部と、を有する情報処理装置が提供される。

【0007】

本発明の態様に従えば、対象物を第１の位置から検出し、対象物の第１形状情報を生成する第１検出装置と、第１検出装置と通信可能であり、対象物を第２の位置から検出し、対象物の第２形状情報を生成する第２検出装置と、第１検出装置と第２検出装置と通信可能であり、第１形状情報と第２形状情報とを統合した統合形状情報を生成する情報処理装置を備え、情報処理装置は、統合形状情報を生成するのに必要な第１形状情報の部分を示す情報を第１検出装置へ送信し、統合形状情報を生成するのに必要な第２形状情報の部分を示す情報を第２検出装置へ送信する、システムが提供される。

【発明の効果】

【0008】

本発明によれば、通信の負荷を低減できる撮像装置、情報処理装置、及び撮像システムを提供することができる。

【図面の簡単な説明】

【0009】

【図1】第１実施形態に係る撮像システムを示す図である。

【図2】第１実施形態に係る撮像システムを示すブロック図である。

【図3】第１実施形態に係る検出部を示す図である。

【図4】第１実施形態に係る撮像システムの動作を示す図である。

【図5】第２実施形態に係る撮像システムを示すブロック図である。

【図6】第２実施形態に係る撮像システムの動作を示す図である。

【図7】第３実施形態に係る撮像システムを示す図である。

【図8】第３実施形態に係る撮像システムを示すブロック図である。

【図9】第３実施形態に係る撮像装置の動作を示す図である。

【図10】第４実施形態に係る撮像システムの動作を示す図である。

【図11】第５実施形態に係る撮像システムを示すブロック図である。

【図12】第５実施形態に係る撮像システムの動作を示す図である。

【図13】第６実施形態に係る撮像システムを示すブロック図である。

【図14】第７実施形態に係る撮像システムを示すブロック図である。

【図15】第７実施形態に係る撮像システムの動作を示す図である。

【図16】第８実施形態に係る撮像システムの動作を示す図である。

【図17】第９実施形態に係る撮像システムの動作を示す図である。

【発明を実施するための形態】

【0010】

［第１実施形態］
第１実施形態について説明する。図１は、本実施形態に係る撮像システム１を示す図である。例えば、撮像システム１は、撮像装置２、情報処理装置３、入力装置４、及び表示装置５を備える。

【0011】

撮像装置２は、例えば、照明装置からの光や室内灯からの光、あるいは自然光などで照らされている対象物ＯＢを撮像し、対象物ＯＢの撮像画像（例、可視光画像、赤外光画像）のデータを取得する。また、撮像装置２は、撮像装置２から対象物ＯＢの表面上の各点までの距離を検出し、対象物ＯＢのデプス情報を取得する。デプス情報は、例えば、対象物ＯＢの表面上の点の位置と、この点から撮像装置２までの距離（デプス、深度）とを関連付けた情報を含む。デプス情報は、例えば、対象物ＯＢにおけるデプスの分布（例、デプスマップ）を示す情報である。

【0012】

撮像装置２は、撮像部１５が撮像した撮像画像のデータおよび測距部（距離検出部）１６が検出したデプス情報を使って、対象物ＯＢに関する情報の演算処理を行う。撮像装置２は、演算処理によって、対象物ＯＢの少なくとも一部をモデル化し、モデル情報（モデルデータ）を算出する。例えば、撮像装置２は、演算処理によって、対象物ＯＢの少なくとも一部をコンピュータグラフィック処理（ＣＧ処理）し、モデル情報（例、ＣＧモデルデータ）を算出する。モデル情報は、例えば、対象物ＯＢの三次元形状を示す形状情報と、対象物ＯＢの表面の模様を示すテクスチャ情報の少なくとも一方を含む。また、例えば、モデル情報は、３次元の点座標、その点座標の関連情報、該点座標及びその関連情報で規定された面のテクスチャ情報、画像全体の照明条件や光源情報などの画像の空間情報、及び形状情報としてのポリゴンデータの少なくとも一つを含む。

【0013】

例えば、図１の対象物ＯＢは角柱状の部材とサッカーボールを含み、形状情報は、角柱状の部材の表面（例、平面）の情報、及びサッカーボールの表面（例、球面）の情報を含む。テクスチャ情報は、例えば、サッカーボールの表面の文字や図形（例、黒の５角形、白の６角形）、パターン、凹凸を規定する情報、特定の画像、及び色彩（例、有彩色、無彩色）の少なくとも１つの情報を含む。

【0014】

撮像装置２は、例えば、対象物ＯＢのうち撮像装置２の視野に入る部分（視野領域）のモデル情報を算出する。このモデル情報は、例えば、対象物ＯＢの全周を表すモデル（以下、全周モデルという）の一部を表すモデル（以下、部分モデルという）の情報である。撮像装置２は、演算処理により算出された情報（例、モデル情報）の少なくとも一部を、外部装置に供給可能である。例えば、撮像装置２は、モデル情報の少なくとも一部を情報処理装置３に供給する。

【0015】

また、例えば、撮像装置２は、モデル情報の少なくとも一部を、バーコードや２次元コードのようなデジタル情報を入出力できるデジタル装置に出力可能である。このようなデジタル装置は、モデル情報の少なくとも一部を含むデジタル情報をディスプレイや紙などに表示する又は印字することができる。表示された又は印字されたデジタル情報を読み取れるリーダー部（例、光学式リーダー）を備えるリーダー装置は、該リーダー部を介して該デジタル情報を自装置の記憶領域などに入力することができる。また、リーダー装置は、後述のレンダリング処理部を更に備えていてもよい。なお、上記の撮像システム１は、上記のデジタル装置やリーダー部を備えるリーダー装置を備える構成であってもよい。また、撮像装置２は、上記のデジタル装置やリーダー装置を備える構成であってもよい。

【0016】

情報処理装置３は、例えば、コンピュータシステムを含む。入力装置４は、例えば、キーボード、マウス、タッチパネル、加速度センサなどのセンサ、音声入力機、タッチ型ペンなどの少なくとも一つを含み、情報処理装置３と接続されている。入力装置４は、例えばユーザから情報の入力を受け付け、入力された情報を情報処理装置３に供給する。表示装置５は、例えば、液晶ディスプレイ又はタッチパネル型ディスプレイを含み、情報処理装置３と接続されている。表示装置５は、例えば、情報処理装置３から供給される画像データにより、画像を表示する。

【0017】

情報処理装置３は、有線または無線によって、撮像装置２と通信可能に接続される。例えば、情報処理装置３は、通信ケーブルを介して撮像装置２と接続されていてもよいし、インターネット回線を介して撮像装置２と接続されていてもよい。また、情報処理装置３は、電波または赤外線により撮像装置２と通信可能であってもよい。

【0018】

情報処理装置３は、撮像装置２との間の通信により、撮像装置２から情報を取得する。情報処理装置３は、撮像装置２から取得した情報（例、モデル情報）を使って、レンダリング処理を実行する。例えば、情報処理装置３は、ユーザにより入力装置４に入力された視点（撮像方向）の設定情報を元に、この視点から対象物ＯＢを見た推定画像のデータを算出する。情報処理装置３は、例えば、推定画像のデータを表示装置５に供給し、表示装置５に推定画像を表示させる。

【0019】

撮像装置２は、例えば、撮像画像のデータおよびデプス情報から、情報処理装置３のレンダリング処理に使われる情報を抽出する。撮像装置２が抽出する情報は、例えば、モデル情報の少なくとも一部である。撮像装置２は、抽出した情報を情報処理装置３に供給するので、例えば、撮像画像のデータおよびデプス情報を情報処理装置３に供給する場合と比較して、撮像装置２と情報処理装置３との間の通信の負荷、情報処理装置３の処理の負荷を減らすことができる。

【0020】

なお、撮像装置２は、例えば、携帯可能な情報端末であってもよいし、定点カメラであってもよく、手動または自動で視野を変更可能なカメラであってもよい。撮像システム１は、例えば、撮像装置２を移動させる移動装置を備えていてもよい。この移動装置は、撮像装置２を移動させることにより、撮像装置２の視野を変更してもよい。この移動装置を制御する制御部は、撮像システム１に設けられていてもよく、例えば、撮像装置２に設けられていてもよいし、情報処理装置３に設けられていてもよい。また、この移動装置を制御する制御部は、撮像システム１の外部の装置に設けられていてもよい。

【0021】

次に、撮像システム１の各部について説明する。図２は、本実施形態に係る撮像システム１を示すブロック図である。撮像装置２は、検出部１１、情報算出部１２、通信部１３、及び本体部１４を備える。本体部１４は、例えば、カメラボディ、ケース、筐体などである。検出部１１、情報算出部１２、及び通信部１３は、本体部１４に設けられている。

【0022】

検出部１１は、撮像部１５および測距部１６を備える。図３（Ａ）は、検出部１１の一例を示す図である。撮像部１５は、結像光学系１７およびイメージセンサ１８を備える。イメージセンサ１８は、例えば、複数の画素が二次元的に配列されたＣＭＯＳイメージセンサ、あるいはＣＣＤイメージセンサである。イメージセンサ１８は、本体部１４に収容されている。イメージセンサ１８は、例えば、可視光の波長帯域（例、３８０ｎｍ以上７５０ｎｍ以下）、又は赤外光の波長帯域に感度を有する。イメージセンサ１８の撮像結果は、例えば、各画素の色ごとの階調値の情報（例、ＲＧＢデータ）を含む。イメージセンサ１８は、例えば、撮像結果（検出結果）をフルカラー画像のデータ形式で出力する。フルカラー画像は、例えば、各画素の赤（Ｒ）、緑（Ｇ）、青（Ｂ）のそれぞれが階調値（例、２５６階調）で表される画像である。

【0023】

結像光学系１７は、例えば、複数のレンズを含み、物体面（例、対象物ＯＢ）の像をイメージセンサ１８に形成する。結像光学系１７は、例えば鏡筒内に保持され、鏡筒とともに本体部１４に取り付けられる。結像光学系１７および鏡筒は、例えば交換レンズであり、本体部１４から取り外し可能である。鏡筒は、本体部１４の一部であってもよく、本体部１４から取り外し不能であってもよい。

【0024】

測距部１６は、対象物ＯＢの表面上の各点からの距離を検出する。測距部１６は、例えば、ToF（Time of Flight）センサを含み、ToF法により距離を検出する。また、例えば、測距部１６は、位相差センサを含み、位相差法により距離を検出する。測距部１６は、照射部１９、結像光学系２０、イメージセンサ２１、及びコントローラ２２を備える。

【0025】

照射部１９は、対象物ＯＢに赤外光を照射可能である。照射部１９は、コントローラ２２に制御される。コントローラ２２は、照射部１９から照射される赤外光の強度を時間変化させる（例、振幅変調する）。

【0026】

イメージセンサ２１は、例えば、複数の画素が二次元的に配列されたＣＭＯＳイメージセンサ、あるいはＣＣＤイメージセンサである。イメージセンサ２１は、本体部１４に収容されている。結像光学系２０は、例えば、複数のレンズを含み、物体面（例、対象物ＯＢ）の像をイメージセンサ２１に形成する。結像光学系２０は、交換レンズであってもよいし、本体部１４に内蔵されたものでもよい。イメージセンサ２１は、少なくとも照射部１９が照射する光の波長帯に感度を有する。例えば、イメージセンサ２１は、コントローラ２２に制御され、対象物ＯＢで反射散乱した赤外光を検出する。

【0027】

コントローラ２２は、測距部１６のイメージセンサ２１が検出した検出結果を使って、対象物ＯＢの表面からイメージセンサ２１までの距離を検出する。例えば、対象物ＯＢの表面上の第１位置と第２位置とでデプスが異なる場合、第１位置で反射散乱した光は、第２位置で反射散乱した光と比較して、対象物ＯＢからイメージセンサ２１までの飛行距離（光路）が異なる。そのため、対象物ＯＢの第１位置で反射散乱した光は、イメージセンサ２１に入射する位相が、第２位置で反射散乱した光の位相と異なる。コントローラ２２は、照射部１９から照射される光の強度を時間変調するので、イメージセンサ２１に入射する光の強度は、位相によって変化する。コントローラ２２は、例えば、イメージセンサ２１の出力の時間変化を元に、デプスを算出する。コントローラ２２は、例えば、イメージセンサ２１が撮像した画像の部分領域（例、１画素、複数の画素）ごとに、イメージセンサ２１と対象物ＯＢの表面との間の距離からデプスを算出し、算出したデプス（又は距離）と部分領域の位置とを関連付ける。このように、コントローラ２２は、例えば、複数の部分領域のそれぞれのデプスを含むデプス情報を算出する。

【0028】

なお、照射部１９は、可視光を含む光を照射し、イメージセンサ２１は、対象物ＯＢで反射散乱した光を検出してもよい。例えば、測距部１６は、照射部１９による光照射状態と光非照射状態とでしてイメージセンサ２１により対象物ＯＢを検出し、２状態での検出結果との差分を使って、デプス情報を算出してもよい。

【0029】

なお、測距部１６は、プロジェクタカメラを含んでいてもよい。この場合、測距部１６は、例えば、所定の強度分布を有する光（例、パターン光、構造化光、テクスチャ）を、照射部１９から対象物ＯＢに照射しながら、イメージセンサ２１によって対象物ＯＢを撮像する。コントローラ２２は、イメージセンサ２１による撮像画像に写っている対象物ＯＢ上の光の強度分布を使って、対象物ＯＢと測距部１６との間の距離を検出する。また、測距部１６は、レーザスキャナを含んでいてもよい。この場合、測距部１６は、照射部１９から対象物ＯＢにレーザ光を照射し、対象物ＯＢをレーザ光でスキャンしながら対象物ＯＢで反射したレーザ光を検出することにより、対象物ＯＢと測距部１６との間の距離を検出する。

【0030】

図３（Ｂ）は、検出部１１の他の例を示す図である。この検出部１１の測距部１６は、対象物ＯＢを複数の視野から検出した検出結果を使って、対象物ＯＢと検出部１１との間の距離を検出する。撮像部１５は、結像光学系１７ａおよびイメージセンサ１８ａ、並びに結像光学系１７ｂおよびイメージセンサ１８ｂを備える。結像光学系１７ａおよびイメージセンサ１８ａは、対象物ＯＢを第１視野で撮像する。結像光学系１７ｂおよびイメージセンサ１８ｂは、対象物ＯＢを第２視野で撮像する。第２視野は、視点の位置と視線の向きの少なくとも一方が第１視野と異なる。視点の位置は、例えば、イメージセンサ１８ａの位置およびイメージセンサ１８ｂの位置のように、物体の像が形成される位置である。視線の向きは、例えば、視点に向かう光が通る光学部材のうち最も物体側に配置される光学部材の光軸の方向と平行である。例えば、第１視野の視線の向きは、結像光学系１７ａの射出側の光軸と同軸である。また、第２視野の視線の向きは、結像光学系１７ｂの射出側の光軸と同軸である。測距部１６は、イメージセンサ１８ａによる撮像画像とイメージセンサ１８ｂによる撮像画像とを視差画像として、対象物ＯＢと検出部１１との間の距離を検出する。

【0031】

なお、撮像部１５は、１つのイメージセンサによって、第１視野からの画像および第２視野からの画像を異なる時刻に撮像し、測距部１６は、これら画像を使って対象物ＯＢと検出部１１との間の距離を検出してもよい。

【0032】

なお、測距部１６は、メートルなどの有次元値で表される距離を検出してもよいし、基準値で規格化された無次元値で表される相対的な距離を検出してもよい。また、測距部１６は、例えば、ユニット化された形態であってもよく、本体部１４に外付け可能であってもよい。また、測距部１６が備える光学系の少なくとも一部は、撮像部１５が備える光学系の少なくとも一部と共通化されていてもよい。例えば、図３（Ａ）において、測距部１６は、結像光学系１７を通った光のうち赤外光をダイクロイックミラーなどで分岐し、分岐した赤外光をイメージセンサ２１で検出する態様でもよい。また、プロジェクタカメラにおいて、照射部１９は、結像光学系１７を介して対象物ＯＢにパターンを投影する態様でもよい。

【0033】

図２の説明に戻り、情報算出部１２は、例えば、デジタルシグナルプロセッサ（digital signal processor; DSP）を含む。情報算出部１２は、検出部１１の検出結果を使って、対象物ＯＢの形状情報およびテクスチャ情報の少なくとも一方を算出する。

【0034】

情報算出部１２は、形状情報として、対象物ＯＢの表面上の複数の点の座標（以下、点群データという）と、複数の点間の連結情報を含むサーフェス情報とを算出する。サーフェス情報は、例えばポリゴンデータ、ベクタデータ、ドローデータなどである。連結情報は、例えば、対象物ＯＢの稜線（例、エッジ）に相当する線の両端の点を互いに関連付ける情報、及び対象物ＯＢの面の輪郭に相当する複数の線を互いに関連付ける情報を含む。

【0035】

まず、情報算出部１２は、測距部１６の検出結果（例、デプス情報）を使って、点群データを算出する（点群データ処理）。例えば、情報算出部１２は、デプス情報が示す距離画像から平面画像への透視変換などにより、点群データを算出する。なお、情報算出部１２は、撮像部１５と測距部１６とで視野が異なる場合、例えば、測距部１６の検出結果を透視変換（射影変換）などによって、撮像部１５の視野から対象物ＯＢを検出した結果に変換してもよい。情報算出部１２は、例えば、撮像部１５の視野と測距部１６の視野との位置関係（例、視点の位置、視線の向き）に依存するパラメータを使って、透視変換を実行してもよい。

【0036】

そして、情報算出部１２は、例えば、点群データに含まれる複数の点から選択される点とその近傍の点との間の面を推定し、点群データを点間の平面情報を持つポリゴンデータに変換する（サーフェス処理）。情報算出部１２は、例えば、最小二乗法を用いたアルゴリズムにより、点群データをポリゴンデータへ変換する。このアルゴリズムは、例えば、点群処理ライブラリに公開されているアルゴリズムを適用したものでもよい。

【0037】

次に、情報算出部１２は、例えばインバースレンダリングの手法により、テクスチャ情報を算出する。テクスチャ情報は、例えば、対象物ＯＢの表面の模様を示すパターン情報、対象物ＯＢを照らす光の光源情報、及び対象物ＯＢの表面の光学特性（例、反射率、散乱率）を示す光学特性情報の少なくとも１項目の情報を含む。光源情報は、例えば、光源の位置、光源から対象物へ光が照射される方向、光源から照射される光の波長、光源の種類のうち少なくとも１項目の情報を含む。

【0038】

情報算出部１２は、例えば、ランバート反射を仮定したモデル、アルベド（Albedo）推定を含むモデルなどを利用して、光源情報を算出する。例えば、情報算出部１２は、撮像部１５が撮像した画像の各画素の画素値のうち、対象物ＯＢで拡散した光に由来する成分と対象物ＯＢで正反射した成分とを推定する。また、情報算出部１２は、例えば、対象物ＯＢで正反射した成分の推定結果、及び形状情報を使って、光源から対象物ＯＢへ光が入射してくる方向を算出する。情報算出部１２は、例えば、算出した光源情報および形状情報を使って対象物ＯＢの反射特性を推定し、反射特性の推定結果を含む光学特性情報を算出する。また、情報算出部１２は、例えば、算出した光源情報および光学特性情報を使って、可視光画像のデータから照明光の影響を除去して、パターン情報を算出する。

【0039】

ここで、本実施形態に係る撮像装置２は、表示部２５、入力部２６、記憶部２７、及び制御部２８を更に備える。表示部２５（図１参照）は、例えば、本体部１４に設けられた液晶ディスプレイ又はタッチパネル型ディスプレイである。表示部２５は、例えば、検出部１１の検出結果（例、撮像部１５による可視光画像）、情報算出部１２の算出結果（例、デプスマップ）、及び各種設定情報の少なくとも一部を表示する。

【0040】

入力部２６は、例えば、本体部１４に設けられた操作ボタン、表示部２５に設けられたタッチパネル、ユーザなどの音声を認識する音声入力機などである。入力部２６は、例えば、ユーザによる操作を検出し、ユーザからの情報の入力を受け付ける。入力部２６は、入力された情報を制御部２８に送信する。

【0041】

記憶部２７は、例えばＵＳＢメモリ、メモリカードなどの不揮発性メモリであり、各種情報を記憶する。記憶部２７は、撮像装置２に内蔵される記憶デバイスを含んでいてもよいし、撮像装置２からリリース可能な記憶デバイスを接続可能なポートを含んでいてもよい。また、本実施形態における撮像装置２の情報算出部１２は、形状情報およびテクスチャ情報の少なくとも一方を含む情報にヘッダ情報（例、番号やコードなどの識別情報）を付けたモデル情報を生成する。そして、通信部１３はそのモデル情報を送信する。なお、該ヘッダ情報は、識別情報、撮像装置２の位置（位置情報）、撮像部１５による撮像タイミング、撮像部１５による撮像時間、対象物ＯＢの光学特性情報、および撮像環境情報（例、光源情報、対象物ＯＢなどに対する照明条件）のうち少なくとも一つを含む。このように、撮像装置２の情報算出部１２は、ヘッダ情報を有するモデル情報を所定のデータフォーマットに基づいて生成し、そのモデル情報を通信部１３によって送信させることが可能である。

【0042】

制御部２８は、例えば、ユーザまたは外部装置（例、情報処理装置３）からの指令（制御信号）により、撮像装置２の各部を制御する。例えば、制御部２８は、検出部１１に上記の検出処理を実行させる。この検出処理は、例えば、撮像部１５による撮像処理、及び測距部１６による距離検出処理を含む。制御部２８は、例えば、検出部１１の検出結果の少なくとも一部を記憶部２７に記憶させる。制御部２８は、例えば、情報算出部１２にモデル情報を算出させる。制御部２８は、例えば、情報算出部１２が算出したモデル情報の少なくとも一部を記憶部２７に記憶させる。

【0043】

記憶部２７は、例えば、モデル情報を項目ごとに記憶する。例えば、記憶部２７は、形状情報、テクスチャ情報、光源情報、対象物ＯＢの光学特性情報、及びパターン情報の各項目の情報を個別のデータテーブルにそれぞれ記憶する。制御部２８は、例えば、記憶部２７に記憶されている情報の少なくとも一部を示す画像を、表示部２５に表示させる。制御部２８は、通信部１３を制御し、通信部１３を介して情報の送信、情報の受信を実行させる。

【0044】

通信部１３は、例えば、ＵＳＢポートなどのＩ／Ｏポート、電波または赤外線の無線通信を行う通信器のうち少なくとも一つを含む。通信部１３は、制御部２８に制御され、記憶部２７に記憶されている情報を読み出し、読み出した情報を外部装置に送信する。例えば、通信部１３は、情報算出部１２の算出結果（例、モデル情報）の少なくとも一部を、情報処理装置３に送信する。また、通信部１３は、例えば、外部装置からの指令を含む情報を受信する。通信部１３は、受信した情報を記憶部２７に記憶させること、受信した情報を制御部２８に供給することができる。なお、撮像装置２が上記したデジタル装置を備える場合には、通信部１３はモデル情報の少なくとも一部を該デジタル装置に送信してもよい。そして、該デジタル装置は、受信したモデル情報をもとにデジタル情報を生成し、該デジタル情報を紙などの媒体に出力するようにしてもよい。

【0045】

図２のように、情報処理装置３は、通信部３０、記憶部３１、レンダリング処理部３２、及び制御部３３を備える。通信部３０は、例えば、ＵＳＢポート、ネットワークカード、電波または赤外線の無線通信を行う通信器のうち少なくとも一つを含む。通信部３０は、撮像装置２の通信部１３と通信可能である。

【0046】

記憶部３１は、例えば、ＵＳＢメモリなどの取り外し可能な記憶媒体、外付け型あるいは内蔵型のハードディスクなどの大容量記憶装置を含む。記憶部３１は、例えば、通信部３０を介して受信した情報の少なくとも一部のデータ、撮像装置２を制御する撮像制御プログラム、情報処理装置３の各処理を実行させる処理プログラム、などを記憶する。

【0047】

レンダリング処理部３２は、例えば、グラフィックス プロセッシング ユニット（Graphics Processing Unit; GPU）を含む。なお、レンダリング処理部３２は、ＣＰＵおよびメモリが画像処理プログラムに従って各処理を実行する態様でもよい。レンダリング処理部３２は、例えば、描画処理、テクスチャマッピング処理、シェーディング処理の少なくとも一つの処理を行う。

【0048】

レンダリング処理部３２は、描画処理において、例えば、モデル情報の形状情報に定められた形状を任意の視点から見た推定画像（例、再構築画像）を算出できる。以下の説明において、形状情報が示す形状をモデル形状という。レンダリング処理部３２は、例えば、描画処理によって、モデル情報（例、形状情報）からモデル形状（例、推定画像）を再構成できる。レンダリング処理部３２は、例えば、算出した推定画像のデータを記憶部３１に記憶させる。撮像装置２は、モデル情報の少なくとも一部を情報処理装置３に送信可能であるので、例えば、情報処理装置３は、レンダリング処理の負荷を減らすことができる。また、例えば、撮像装置２は、撮像部１５によって撮像された全ての撮像画像を情報処理装置３に送信する必要がなく、情報算出部１２が算出したモデル情報の少なくとも一部（例、形状情報およびテクスチャ情報）を情報処理装置３に送信している。このため、本実施形態の撮像装置は、レンダリング処理部３２の描画処理に必要な情報の通信負荷を低減することができる。

【0049】

また、レンダリング処理部３２は、テクスチャマッピング処理において、例えば、推定画像上の物体の表面に、モデル情報のテクスチャ情報が示す画像を貼り付けた推定画像を算出できる。レンダリング処理部３２は、推定画像上の物体の表面に、対象物ＯＢと別のテクスチャを貼り付けた推定画像を算出することもできる。

【0050】

レンダリング処理部３２は、シェーディング処理において、例えば、モデル情報の光源情報が示す光源により形成される陰影を推定画像上の物体に付加した推定画像を算出できる。また、レンダリング処理部３２は、シェーディング処理において、例えば、任意の光源により形成される陰影を推定画像上の物体に付加した推定画像を算出できる。

【0051】

制御部３３は、例えば、情報処理装置３の各部、撮像装置２、入力装置４、及び表示装置５を制御する。制御部３３は、例えば、通信部３０を制御し、撮像装置２に指令（制御信号）や設定情報を送信させる。制御部３３は、例えば、通信部３０が撮像装置２から受信した情報を、記憶部３１に記憶させる。制御部３３は、例えば、レンダリング処理部３２を制御し、レンダリング処理を実行させる。

【0052】

制御部３３は、例えば、通信部３０を介して撮像装置２に指令（信号）を送ることで、撮像装置２を制御する。例えば、制御部３３は、通信部３０を制御し、所定の情報の送信を要求する指令（要求信号）を撮像装置２に送信する。制御部３３は、撮像装置２に各処理を実行させる指令を、撮像装置２に送信してもよい。例えば、制御部３３は、撮像装置２の検出部１１に検出処理を実行させる指令を、撮像装置２に送信してもよい。例えば、制御部３３は、撮像装置２の情報算出部１２にモデル情報の算出処理を実行させる指令を、撮像装置２に送信してもよい。また、情報処理装置３の制御部３３は、撮像装置２の撮像部１５に対象物ＯＢの撮像を実行させる指令、及び対象物ＯＢの撮像条件を設定させる指令を、撮像装置２に送信してもよい。

【0053】

通信部１３は、例えば、情報算出部１２が算出した情報を、項目ごとに選択的に送信する。例えば、記憶部２７に記憶されている設定情報は、モデル情報の各項目の情報を送信するか否かを定めた送信項目情報、及び各項目の情報を送信する順番を定めた送信順番情報を含む。この設定情報は、例えば、入力部２６の操作、情報処理装置３からの指令などにより更新可能である。制御部２８は、例えば、通信部１３を制御し、送信項目情報に定められた項目の情報を、送信順番情報に定められた順に送信させる。なお、制御部２８は、例えば、通信部１３を制御して、送信項目情報に定められた項目の情報（例、形状情報およびテクスチャ情報）を所定のデータフォーマットに基づいて一度に送信してもよい。

【0054】

送信項目情報は、例えば、情報処理装置３のレンダリング処理に使われるか否かに応じて設定されていてもよい。例えば、レンダリング処理において、対象物ＯＢの形状に、対象物ＯＢと異なるテクスチャを合成する場合がある。この場合、情報処理装置３は、例えば、対象物ＯＢの形状情報を使うとともに、対象物ＯＢのテクスチャ情報を使わないで、レンダリング処理を実行できる。送信項目情報は、例えば、形状情報を送信するが、テクスチャ情報を送信しないことを定めた情報に設定される。この場合、情報算出部１２は、テクスチャ情報を算出しなくてもよい。

【0055】

また、例えば、レンダリング処理において、対象物ＯＢに対する照明を変更した画像を算出する場合がある。情報処理装置３は、例えば、対象物ＯＢの形状情報、パターン情報、及び光学特性情報を使うとともに、光源情報を使わないで、レンダリング処理を実行できる。この場合、送信項目情報は、例えば、形状情報、パターン情報、及び光学特性情報を送信し、光源情報を送信しないことを定めた情報に設定される。また、例えば、送信項目情報は、形状情報、テクスチャ情報、パターン情報、光源情報および光学特性情報のうち少なくとも１つの情報を送信することを定めた情報に設定される。撮像装置２は、例えばモデル情報のうち一部を送信する場合、通信の負荷を減らすことができる。

【0056】

送信順番情報は、例えば、情報処理装置３のレンダリング処理における優先順位に応じて設定されていてもよい。例えば、送信順番情報は、レンダリング処理において先に使われる項目の情報を先に送るように設定されていてもよい。例えば、レンダリング処理において、視点を変えながらテクスチャがない対象物ＯＢを見た画像を算出し、視点を定めた後、この視点から、テクスチャがある対象物ＯＢを見た画像を算出する場合がある。情報処理装置３は、例えば、形状情報を使うとともにテクスチャ情報を使わないで、テクスチャがない対象物ＯＢを、視点を変えて見た画像を算出できる。送信項目情報は、例えば、形状情報を先に送信し、テクスチャ情報を形状情報よりも後で送信することを定めた情報に設定される。撮像装置２は、例えば、モデル情報の各項目の情報を情報処理装置３のレンダリング処理における優先順位に応じた順に送信する場合、情報処理装置３のレンダリング処理の一部と並行してそれらの情報を送信することができる。また、例えば、撮像装置２の制御部２８は、情報算出部１２によるモデル情報の算出の少なくとも一部と通信部１３による情報の送信処理とを並行して実行させることができる。

【0057】

情報処理装置３の制御部３３は、例えば、入力装置４に入力された情報を、記憶部３１に記憶させる。入力装置４に入力される情報は、例えば、レンダリング処理の設定情報を含む。この設定情報は、例えば、描画処理の対象のデータ（例、モデル情報の形状情報）、描画処理における視点の情報、テクスチャマッピング処理においてテクスチャを貼り付ける物体のデータ、テクスチャマッピング処理において貼り付けるテクスチャの情報（例、モデル情報のテクスチャ情報）、シェーディング処理における光源の情報（例、モデル情報の光源情報）の少なくとも一つを含む。レンダリング処理部３２は、例えば、設定情報に従って、レンダリング処理を実行する。

【0058】

制御部３３は、例えば、記憶部３１に記憶される各種情報を示す画像を、表示装置５に表示させる。例えば、制御部３３は、レンダリング処理の設定情報を表示装置５に表示させ、入力装置４により設定情報の変更を受け付ける。また、制御部３３は、記憶部３１に記憶させている推定画像のデータが示す画像を、表示装置５に表示させる。

【0059】

なお、情報処理装置３は、レンダリング処理によって得られた推定画像を表示装置５に表示させなくてもよく、この場合に、撮像システム１は、表示装置５を備えていなくてもよい。例えば、情報処理装置３は、レンダリング処理により算出される推定画像のデータの少なくとも一部を他の装置（再生デバイス）に通信部３０を介して送信し、他の装置がこの画像を表示してもよい。例えば、情報処理装置３は、推定画像のデータを、通信部３０を介して撮像装置２の通信部１３へ送信してもよく、撮像装置２は、通信部１３を介して受信した推定画像のデータを元に推定画像を表示部２５に表示させてもよい。例えば、再生デバイスは、レンダリング処理により算出された情報（推定画像）を取得して、その情報を表示部に表示する。

【0060】

なお、情報処理装置３は、各種の設定情報を他の装置から通信部３０を介して受信してもよく、この場合に、撮像システム１は、入力装置４を備えていなくてもよい。例えば、撮像装置２は、レンダリング処理の設定情報（例、推定画像の元になる視点の情報）を、通信部１３を介して情報処理装置３の通信部３０に送信してもよい。また、情報処理装置３は、撮像装置２から受信したレンダリング処理の設定情報に従ってレンダリング処理を実行してもよい。

【0061】

なお、撮像装置２は、レンダリング処理により算出される推定画像のデータを要求する指令を、通信部１３を介して情報処理装置３の通信部３０へ送信してもよい。情報処理装置３は、撮像装置２からの指令に対する応答として推定画像のデータを、通信部３０を介して撮像装置２の通信部１３へ送信してもよい。撮像装置２は、上記の要求指令をレンダリング処理の設定情報の一部として送信してもよいし、レンダリング処理の設定情報と別の指令（例、制御信号）として送信してもよい。

【0062】

なお、撮像装置２は、情報処理装置３に制御されて上記の各種処理を実行する場合、制御部２８、記憶部２７、表示部２５、及び入力部２６の少なくとも一部を備えていなくてもよい。また、撮像装置２は、例えば、ユーザの操作によって上記の各種処理を実行し、情報処理装置３に制御されなくてもよい。例えば、撮像装置２は、外部装置からの指令（制御信号）を受けることなく上記の各種処理を実行してもよく、ユーザの操作、あるいは予め定められた処理スケジュールに従って上記の各種処理を実行してもよい。撮像装置２は、情報算出部１２の算出結果（例、モデル情報など）を、情報処理装置３の他の装置に通信部１３を介して送信してもよい。

【0063】

次に、撮像システム１の動作に基づき、画像処理方法について説明する。図４は、撮像システム１の動作を示すフローチャートである。図４のステップＳ１において、撮像装置２は、撮像部１５により対象物ＯＢを撮像し、撮像画像（例えば可視光画像）のデータを取得する（撮像処理）。また、ステップＳ２において、撮像装置２は、対象物ＯＢの表面の三次元形状を示す点群データを取得する（点群データ処理）。ステップＳ２において、撮像装置２は、対象物ＯＢと撮像装置２との間の距離を測距部１６によって検出し、デプス情報を取得する（ステップＳ３）。また、撮像装置２の情報算出部１２は、デプス情報を、例えば透視変換などによって点群データを算出する（ステップＳ４）。また、ステップＳ４において、例えば、情報算出部１２は、必要に応じて、可視光画像のデータとデプス情報との視差を調整する（視点の変換処理）。なお、情報算出部１２は、ステップＳ２の処理を、ステップＳ１の処理の少なくとも一部と並行して行ってもよいし、ステップＳ１の処理の開始前または終了後に行ってもよい。

【0064】

ステップＳ５において、情報算出部１２は、モデル情報を算出（生成）する（モデル情報生成処理）。情報算出部１２は、例えば、形状情報としてサーフェス情報を算出する（ステップＳ６）（サーフェス処理）。また、情報算出部１２は、例えば、算出したサーフェス情報を使って、インバースレンダリングの手法によりテクスチャ情報を算出する（ステップＳ７）。ステップＳ７において、情報算出部１２は、光源情報を算出する（ステップＳ８）。また、情報算出部１２は、例えば、算出した光源情報を使って、パターン情報を算出する（ステップＳ９）。ステップＳ５において、情報算出部１２は、算出した情報を項目ごとに記憶部２７に記憶させる。

【0065】

ステップＳ１０において、撮像装置２は、記憶部２７に記憶されているモデル情報の少なくとも一部を、通信部１３を介して情報処理装置３に送信する。情報処理装置３は、例えば、撮像装置２から受信したモデル情報を使ってレンダリング処理を実行し、その結果（例、推定画像）を表示装置５に表示させる。

【0066】

［第２実施形態］
次に、第２実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を簡略化あるいは省略する。図５は、本実施形態に係る撮像システム１を示す図である。本実施形態に係る撮像装置２は、モデル統合部３５および位置検出部３６を更に備える。

【0067】

撮像装置２のモデル統合部３５は、対象物ＯＢを第１方向から検出した結果（第１の検出結果）を元に算出される第１モデル情報と、対象物ＯＢを第２方向から検出した結果（第２の検出結果）を元に算出される第２モデル情報とを統合して、統合モデル情報を生成する。本実施形態において、情報算出部１２は、上記したような技術を用いて第１モデル情報と第２モデル情報とをそれぞれ算出する。

【0068】

モデル統合部３５は、例えば、第１モデル情報が示す形状のうちの第１特徴点と、第２モデル情報が示す形状のうちの第２特徴点とを対応させて、第１モデル情報と第２モデル情報とを統合する。第１特徴点は、第１モデル情報が示す形状のうち他の部分と識別可能な部分である。例えば、サーフェス情報において面に定義されている部分は、その外周の形状などにより、他の面と識別可能である。第２特徴点は、第２モデル情報が示す形状のうち他の部分と識別可能な部分である。

【0069】

例えば、モデル統合部３５は、第１モデル情報に含まれる形状情報とテクスチャ情報とのうち少なくとも一方を使って第１特徴点を検出し、第１特徴点の位置とその特徴点の特徴量（第１特徴量）とを示す第１特徴点データを算出する。モデル統合部３５は、例えば、第１特徴点データを第１モデル情報の一項目の情報として、記憶部２７に記憶させる。また、モデル統合部３５は、例えば、第２モデル情報に含まれる形状情報とテクスチャ情報とのうち少なくとも一方を使って第２特徴点を検出し、第２特徴点の位置とその特徴点の特徴量（第２特徴量）とを示す第２特徴点データを算出する。モデル統合部３５は、例えば、第２特徴点データを第２モデル情報の一項目の情報として、記憶部２７に記憶させる。モデル統合部３５は、例えば、SIFT（Scale-Invariant Feature Transform）法又はSURF（Speeded Up Robust Features）法により特徴点および特徴量を算出する。なお、例えば、上記の特徴点データ（例、第１特徴点データ、第２特徴点データ）は、少なくとも特徴点の特徴量を含むデータであって、該特徴点と該特徴量とのうち特徴量のみを含むデータであっても良い。

【0070】

モデル統合部３５は、第１モデル情報の第１特徴量を有する第１特徴点データと第２モデル情報の第２特徴量を有する第２特徴点データとをマッチングさせて統合した第３特徴点データを示す統合モデル情報を算出する。第３特徴点データは、例えば、第１特徴点データ（例、第１特徴量）と第２特徴点データ（例、第２特徴量）とをマッチングさせたデータである。第３特徴点データは、例えば、対象物ＯＢのうち、第１特徴点データと第２特徴点データとが重なる部分を含み、第１部分形状と第２部分形状のいずれよりも広い範囲をモデルリングした統合データである。

【0071】

例えば、撮像装置２は、対象物ＯＢを任意の第１方向の片側（一方側）から検出して第１モデル情報を算出し、その第１方向の反対側から対象物ＯＢを検出して第２モデル情報を算出した場合、モデル統合部３５は、対象物ＯＢのほぼ全周をカバーした統合モデル情報を算出できる。なお、統合モデル情報が示す形状は、対象物ＯＢの一部を示す部分モデルであってもよい。

【0072】

ここで、統合モデル情報は、例えば、形状情報とテクスチャ情報との少なくとも一方を含む。統合モデル情報の形状情報は、例えば、第１モデル情報の形状情報と、第２モデル情報の形状情報とを統合した情報である。また、統合モデル情報のテクスチャ情報は、例えば、第１モデル情報のテクスチャ情報と、第２モデル情報のデクスチャ情報とを統合した情報である。

【0073】

また、位置検出部３６は、例えば制御部２８からの指令（検出要求信号）によって、撮像装置２（例、検出部１１）の位置情報を検出する。位置検出部３６は、例えば、方位センサ、ＧＰＳセンサ、及び加速度センサの少なくとも一つを含む。位置検出部３６は、例えば、本体部１４の内部に設けられるが、本体部１４に外付けされてもよい。位置検出部３６は、本体部１４から取り外し可能なユニットであってもよい。

【0074】

検出部１１の位置情報は、例えば、検出部１１の検出方向と全地球測位情報との少なくとも一方を含む。検出部１１の検出方向は、例えば、図３（Ａ）に示した撮像部１５の結像光学系１７の光軸の方向である。検出部１１の検出方向は、例えば、撮像装置２の姿勢に対して予め定められており、位置検出部３６は、方位センサにより撮像装置２の姿勢を検出することで、検出部１１の検出方向を検出する。また、検出部１１は、例えば、ＧＰＳセンサにより全地球測位情報を検出する。また、検出部１１の位置情報は、検出部１１の位置の変化量を含む。位置検出部３６は、例えば、加速度センサの検出結果を時間積分して、検出部１１の速度を検出できる。また、位置検出部３６は、例えば、検出部１１の速度を時間積分して、検出部１１の位置の変化量を検出する。検出部１１は、例えば、ＧＰＳセンサにより第１精度の位置情報を検出し、加速度センサの検出結果により、第１精度よりも高精度の第２精度の位置情報を取得してもよい。

【0075】

制御部２８は、例えば、検出部１１に対象物ＯＢを検出させる際に、位置検出部３６に検出部１１の位置情報を検出させる。制御部２８は、例えば、検出部１１の検出結果を、位置検出部３６の検出結果（検出部１１の位置情報）と関連付けて記憶部２７に記憶させる。情報算出部１２は、検出部１１による対象物ＯＢの検出結果を元にモデル情報を算出し、このモデル情報の各項目の情報を検出部１１の位置情報と関連付けて、記憶部２７に記憶させる。モデル情報は、例えば、検出部１１の位置情報を含んでいてもよい。

【0076】

検出部１１の位置情報は、例えば、第１モデル情報と第２モデル情報との統合に使われる。例えば、モデル統合部３５は、第１モデル情報の元データを検出部１１が検出した際の検出部１１の第１位置情報と、第２モデル情報の元データを検出部１１が検出した際の検出部１１の第２位置情報とを使って、第１モデル情報と第２モデル情報とをマッチングさせて統合してもよい。例えば、モデル統合部３５は、第１位置情報および第２位置情報を使って、第１モデル情報が示す第１部分形状と第２モデル情報が示す第２部分形状との位置関係を算出してもよい。上記の位置情報をモデル情報の統合に用いる場合、統合を実行する撮像装置２又は情報処理装置３は、統合に必要な演算量を減らすことができるし、統合におけるミスマッチングを低減することも可能である。

【0077】

なお、モデル統合部３５は、検出部１１の位置情報、及び特徴量を含む特徴点データを使って、第１モデル情報と第２モデル情報とを統合してもよい。また、モデル統合部３５は、検出部１１の位置情報を使うとともに特徴点データを使わないで、第１モデル情報と第２モデル情報とを統合してもよい。例えば、モデル統合部３５は、特徴点データ（例、特徴量）を使うとともに検出部１１の位置情報を使わないで、第１モデル情報と第２モデル情報とを統合してもよい。

【0078】

ところで、第１モデル情報の形状情報が示す形状の端部に隣接する領域（以下、視野外領域という）は、例えば、第１方向から検出できない領域を含む。視野外領域は、例えば、第１モデル情報が示す形状において閉じていない部分である。情報算出部１２またはモデル統合部３５は、視野外領域の形状情報を取得可能な検出部１１の検出方向を算出してもよい。撮像装置２は、この検出方向を、第１方向からの対象物ＯＢの検出処理が終了した後、例えば、第２方向の候補として表示部２５に表示させてもよい。

【0079】

次に、撮像システム１の動作に基づき、画像処理方法について説明する。図６は、撮像システム１の動作を示すフローチャートである。撮像装置２は、検出部１１の検出方向が第１方向に設定されている状態で少なくとも撮像画像のデータを取得するステップＳ１１の処理を行う。ステップＳ１１において、撮像装置２は、検出部１１によって対象物ＯＢを第１方向から検出し、例えば可視光画像のデータおよび点群データを取得する。ステップＳ１２において、情報算出部１２は、ステップＳ１１における検出部１１の検出結果を使って、第１モデル情報を算出する。ステップＳ１３において、情報算出部１２は、第１モデル情報を記憶部２７に記憶させる。

【0080】

撮像装置２は、ステップＳ１１において検出部１１による検出処理が終了した後、例えば、ユーザの手動または図示しない移動装置によって移動され、検出部１１の検出方向が第１方向と異なる第２方向に設定される。ステップＳ１４において、撮像装置２は、検出部１１によって対象物ＯＢを第２方向から検出し、例えば可視光画像のデータおよび点群データを取得する。ステップＳ１５において、情報算出部１２は、ステップＳ１４における検出部１１の検出結果を使って、第２モデル情報を算出する。ステップＳ１６において、情報算出部１２は、第２モデル情報を記憶部２７に記憶させる。

【0081】

ステップＳ１７において、モデル統合部３５は、第１モデル情報と第２モデル情報とを統合して統合モデル情報を算出する。ステップＳ１７において、モデル統合部３５は、第１モデル情報の形状情報とテクスチャ情報との少なくとも一方を記憶部２７から読み出し、形状情報とテクスチャ情報との少なくとも一方を使って第１特徴点を検出する（ステップＳ１８）。そして、モデル統合部３５は、少なくとも第１特徴点の特徴量を含む第１特徴点データを算出し（ステップＳ１９）、第１特徴点データを記憶部２７に記憶させる（ステップＳ２０）。モデル統合部３５は、第２モデル情報の形状情報とテクスチャ情報との少なくとも一方を記憶部２７から読み出し、形状情報とテクスチャ情報との少なくとも一方を使って第２特徴点を検出する（ステップＳ２１）。そして、モデル統合部３５は、少なくとも第２特徴点の特徴量を含む第２特徴点データを算出し（ステップＳ２２）、第２特徴点データを記憶部２７に記憶させる（ステップＳ２３）。モデル統合部３５は、第１特徴点データおよび第２特徴点データを記憶部２７から読み出し、これら特徴点データをマッチングする（ステップＳ２４）。モデル統合部３５は、ステップＳ２４のマッチング処理によって統合モデル情報を算出し、例えば、統合モデル情報を項目ごとに記憶部２７に記憶させる（ステップＳ２５）。そして、ステップＳ２６において、撮像装置２は、記憶部２７に記憶されている統合モデル情報の少なくとも一部を、通信部１３により情報処理装置３に送信する。情報処理装置３は、例えば、撮像装置２から受信した統合モデル情報を使ってレンダリング処理を実行し、その結果（例、推定画像など）を表示装置５に表示させる。

【0082】

［第３実施形態］
次に、第３実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を簡略化あるいは省略する。図７は、本実施形態に係る撮像システム１を示す図である。この撮像システム１は、複数の撮像装置２を備える。以下の説明において、複数の撮像装置２のうち、１つの撮像装置２を第１撮像装置２ａ、他の１つの撮像装置２を第２撮像装置２ｂという。したがって、この撮像システム１は、少なくとも２つの撮像装置、又は複数の撮像装置を備える構成である。

【0083】

第１撮像装置２ａは、第１方向から対象物ＯＢを検出し、その検出結果を元に第１モデル情報を算出する。第１撮像装置２ａは、第１モデル情報を情報処理装置３に供給する。第２撮像装置２ｂは、第２方向から対象物を検出し、その検出結果を元に第２モデル情報を算出する。第２撮像装置２ｂは、第２モデル情報を情報処理装置３に供給する。情報処理装置３は、第１モデル情報と第２モデル情報とを統合し、複数の方向（例、第１方向と該第１方向とは異なる第２方向）から検出した検出結果に基づく統合モデル情報を算出する。

【0084】

次に、撮像システム１の各部について説明する。図８は、撮像システム１を示すブロック図である。第１撮像装置２ａは、検出部１１（以下、検出部１１ａと記す）が対象物ＯＢを検出するタイミングの情報（以下、タイミング情報という）を検出する計時部４１（以下、計時部４１ａと記す）を備える。タイミング情報は、例えば、検出部１１ａが検出処理を行った期間（例、日時）を示す情報を含む。タイミング情報は、検出部１１ａが検出処理を行った期間の開始時刻と終了時刻の少なくとも一方を含んでいてもよい。

【0085】

タイミング情報は、例えば、対象物ＯＢが撮像装置によって検出されたタイミングが異なる複数の検出結果を用いて、モデル統合を行う際に使われる。例えば、複数の検出結果のうち対象物ＯＢを検出したタイミングが相対的に近い少なくとも２つの検出結果を元に、複数のモデル情報を算出し、算出した複数のモデル情報を統合してもよい。

【0086】

検出部１１ａは、例えば、その検出結果を、タイミング情報と関連付けて記憶部２７（以下、記憶部２７ａと記す）に記憶させる。情報算出部１２（以下、情報算出部１２ａと記す）は、例えば、検出部１１ａの検出結果を元に第１モデル情報を算出し、その算出結果をタイミング情報と関連付けて記憶部２７ａに記憶させる。

【0087】

また、第２撮像装置２ｂは、例えば、第１撮像装置２ａと同様の構成である。第２撮像装置２ｂの検出部１１（以下、検出部１１ｂと記す）は、例えば、第２方向から対象物ＯＢを検出し、その検出結果を計時部４１（以下、計時部４１ｂと記す）が検出したタイミング情報と関連付けて記憶部２７（以下、記憶部２７ｂと記す）に記憶させる。第２撮像装置２ｂの情報算出部１２（以下、情報算出部１２ｂと記す）は、例えば、検出部１１ｂの検出結果を元に第２モデル情報を算出し、その算出結果をタイミング情報と関連付けて記憶部２７ｂに記憶させる。

【0088】

なお、タイミング情報は、検出部１１により対象物ＯＢを検出することが予定されている期間の情報を含んでいてもよい。第１撮像装置２ａと第２撮像装置２ｂとは、タイミング情報を送受信し、制御部２８や通信部１３を用いて互いに同期をとって対象物ＯＢを検出してもよい。

【0089】

本実施形態において、第１撮像装置２ａの情報算出部１２ａは、第１モデル情報と第２モデル情報との統合に使われる第１付加情報を算出する。第１付加情報は、例えば、特徴点データ（例、特徴量）のマッチングにより得られる情報、検出部１１ａの位置情報、撮像装置２のタイミング情報、検出部１１ｂの位置情報、および第２撮像装置２ｂのタイミング情報のうち少なくとも一つを含む。例えば、第１撮像装置２ａは、第２撮像装置２ｂから第２モデル情報を受信し、第１撮像装置２ａの情報算出部１２ａは、算出した第１特徴点データと、第２撮像装置２ｂから受信した第２特徴点データとを使って、第１付加情報を算出する。

【0090】

本実施形態において、情報処理装置３は、モデル統合部４５を更に備える。モデル統合部４５は、第１撮像装置２ａからの第１モデル情報と第２撮像装置２ｂからの第２モデル情報とを統合して上記の統合モデル情報を生成する。モデル統合部４５がモデル情報の統合に用いるアルゴリズムは、例えば、第２実施形態に説明した撮像装置２のモデル統合部３５と同様でよい。情報処理装置３の通信部３０は、例えば、モデル統合を行うよりも前に、第１撮像装置２ａの通信部１３ａから、第１付加情報を受信する。情報処理装置２のモデル統合部４５は、例えば、第１モデル情報、第２モデル情報、及び第１付加情報を使って、モデル統合を行う。

【0091】

図９は、本実施形態に係る撮像システム１の動作を示す図である。第１撮像装置２ａの情報算出部１２ａは、ステップＳ３１において第１モデル情報を算出し、ステップＳ３２において少なくとも第１特徴量を含む第１特徴点データを算出する。第２撮像装置２ｂの情報算出部１２ｂは、ステップＳ３３において第２モデル情報を算出し、ステップＳ３４において少なくとも第２特徴量を含む第２特徴点データを算出する。第１撮像装置２ａの通信部１３ａは、ステップＳ３５において、第２特徴点データの送信を要求する指令（要求指令）を、第２撮像装置２ｂの通信部１３ｂに送信する。第２撮像装置２ｂの通信部１３ｂは、ステップＳ３６において、第１撮像装置２ａの通信部１３ａから、要求指令を受信する。通信部１３ｂは、ステップＳ３７において、第２特徴点データを通信部１３ａに送信する。通信部１３ａは、ステップＳ３８において、第２特徴点データを通信部１３ｂから受信する。このように、撮像装置間（例、第１撮像装置と第２撮像装置との間）における少なくとも特徴点データ（例、第１特徴点データ及び／又は第２特徴点データ）の通信（データ通信）を行う場合、各撮像装置がモデル情報の統合に必要な情報を計算することによって、情報処理装置３は統合の負荷を減らすことが可能となる。なお、上記の特徴点データ（第１特徴点データ、第２特徴点データなど）の作成は、情報処理装置３が行うことも可能である。この場合、例えば、情報処理装置３は、各撮像装置又は一方の撮像装置（例、第１撮像装置２ａ）から受信する各モデル情報を用いて第１特徴点データおよび第２特徴点データを生成する。また、上記の特徴点データ（例、第１特徴点データ、第２特徴点データ）の生成は、第１撮像装置２ａ（又は第２撮像装置２ｂ）が行うことも可能である。この場合、例えば、第１撮像装置２ａは、第２撮像装置２ｂから受信する第２モデル情報に基づいて第２特徴点データを生成する。

【0092】

第１撮像装置２ａの情報算出部１２ａは、ステップＳ３９において、第１特徴点データと第２特徴点データとをマッチングし（特徴部分のマッチング処理）、ステップＳ４０において、マッチングの結果を示す第１付加情報を算出する。第１付加情報は、例えば、第１モデル情報が示す形状と、第２モデル情報が示す形状との位置関係を示す情報を含む。第１付加情報は、例えば、第１特徴データと第２特徴データとで共通する特徴点の座標、及び／又は第１特徴データと第２特徴データとで共通する特徴量を含む。情報算出部１２ａは、算出した第１付加情報を、例えば記憶部２７ａに記憶させる。第１付加情報は、例えば、第１モデル情報の１項目の情報であってもよい。

【0093】

第１撮像装置２ａの通信部１３ａは、ステップＳ４１において、第１付加情報を情報処理装置３の通信部３０に送信する。情報処理装置３の通信部３０は、ステップＳ４２において、通信部１３ａから第１付加情報を受信する。
情報処理装置３は、ステップＳ４３において、統合モデル情報のうち、第１撮像装置２ａからの第１モデル情報に担当させる第１担当領域と、第２撮像装置２ｂからの第２モデル情報に担当させる第２担当領域とを決定して設定する。例えば、モデル統合部４５は、第１担当領域と第２担当領域とが重複しないように、各担当領域を選択する。

【0094】

情報処理装置３の制御部３３は、ステップＳ４４において、通信部３０を制御し、第１担当領域における第１モデル情報の送信を要求する指令（第１要求信号）を、第１撮像装置２ａの通信部１３ａに送信する。以下、第１担当領域における第１モデル情報を、第１指定情報という。第１指定情報は、例えば、第１モデル情報が示す形状の一部の形状に関する情報である。第１撮像装置２ａの通信部１３ａは、ステップＳ４５において、ステップＳ４４の指令を受信する。第１撮像装置２ａの情報算出部１２ａは、ステップＳ４６において、第１モデル情報のうち第１指定情報を抽出する。第１撮像装置２ａの通信部１３ａは、ステップＳ４７において、第１指定情報を情報処理装置３の通信部３０に送信する。ステップＳ４８において、通信部３０は、通信部１３ａから第１指定情報を受信する。

【0095】

情報処理装置３の制御部３３は、ステップＳ４４の処理の後のステップＳ４９において、通信部３０を制御し、第２担当領域における第２モデル情報の送信を要求する指令（第２要求信号）を、第２撮像装置２ｂの通信部１３ｂに送信する。以下、第２担当領域における第２モデル情報を、第２指定情報という。第２指定情報は、例えば、第２モデル情報が示す形状の一部の形状に関する情報である。第２撮像装置２ｂの通信部１３ｂは、ステップＳ５０において、ステップＳ４９の指令を受信する。第２撮像装置２ｂの情報算出部１２ｂは、ステップＳ５１において、第２モデル情報のうち第２指定情報を抽出する。第２撮像装置２ｂの通信部１３ｂは、ステップＳ５２において、第２指定情報を情報処理装置３の通信部３０に送信する。情報処理装置３の通信部３０は、ステップＳ５３において、通信部１３ｂから第２指定情報を受信する。情報処理装置３のモデル統合部４５は、ステップＳ５４において、第１モデル情報の一部である第１指定情報と、第２モデル情報の一部である第２指定情報とを統合し、統合モデル情報を算出する。例えば、モデル統合部４５は、複数の撮像装置間におけるモデル情報（例、第１モデル情報、第２モデル情報）又は特徴点データ（例、第１特徴点データ、第２特徴点データ）の共有（例、双方向通信、一方向通信による情報の共有）によって得られた情報（例、付加情報、指定情報）を用いて統合モデル情報を生成する。また、例えば、撮像装置２ａと撮像装置２ｂとは、上記の付加情報を作成するために、複数の撮像装置間において情報（例、第１モデル情報、第２モデル情報、第１特徴点データ、第２特徴点データ）のデータ通信を行う。

【0096】

［第４実施形態］
次に、第４実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を簡略化あるいは省略する。本実施形態に係る撮像システム１は、図７および図８と同様の構成である。本実施形態において、第１撮像装置２ａおよび第２撮像装置２ｂは、それぞれ、モデル統合に使われる付加情報を算出する。本実施形態において、情報処理装置３は、統合モデル情報をチェックし、適宜、補間処理を行う。

【0097】

図１０は、本実施形態に係る撮像システム１の動作を示す図である。図１０において、図９と同様の処理については、同じ符号を付してその説明を簡略化あるいは省略する。第１撮像装置２ａの情報算出部１２ａは、ステップＳ３１において第１モデル情報を算出し、ステップＳ３２において少なくとも第１特徴量を含む第１特徴点データを算出する。第２撮像装置２ｂの情報算出部１２ｂは、ステップＳ３３において第２モデル情報を算出し、ステップＳ３４において少なくとも第２特徴量を含む第２特徴点データを算出する。撮像装置２の通信部１３ａは、ステップＳ６０において、第１特徴点データを第２撮像装置２ｂの通信部１３ｂに送信する。通信部１３ｂは、ステップＳ６１において、第１特徴点データを通信部１３ａから受信する。通信部１３ｂは、ステップＳ６２において、第２特徴点データを通信部１３ａに送信する。通信部１３ａは、ステップＳ６３において、第２特徴点データを通信部１３ｂから受信する。

【0098】

第１撮像装置２ａの情報算出部１２ａは、ステップＳ６４において、第１特徴点データと第２特徴点データとをマッチングし、マッチングの結果を示す第１付加情報を算出する。第１撮像装置２ａの通信部１３ａは、ステップＳ６５において、第１付加情報を情報処理装置３の通信部３０に送信する。通信部３０は、ステップＳ６６において、通信部１３ａから第１付加情報を受信する。

【0099】

第２撮像装置２ｂの情報算出部１２ｂは、第１撮像装置２ａと同様に、第１特徴点データと第２特徴点データとをマッチングし、ステップＳ６７において、マッチングの結果を示す第２付加情報を算出する。情報算出部１２ｂは、算出した第２付加情報を記憶部２７ｂに記憶させる。第２付加情報は、第１付加情報と同様であり、例えば、第２モデル情報の１項目の情報であってもよい。第２撮像装置２ｂの通信部１３ｂは、ステップＳ６８において、第２付加情報を情報処理装置３の通信部３０に送信する。通信部３０は、ステップＳ６９において、通信部１３ｂから第２付加情報を受信する。

【0100】

撮像システム１は、例えば、図９を参照して説明したステップＳ４３～ステップＳ５４の処理により、第１モデル情報と第２モデル情報とを統合する。情報処理装置３のモデル統合部４５は、例えば、算出した統合モデル情報を記憶部３１に記憶させる。モデル統合部４５は、ステップＳ７０において、算出した統合モデル情報の整合性をチェック（判定）する。モデル統合部４５は、統合モデル情報の整合性がとれていないと判定した場合に、例えば、以下の処理を行う。

【0101】

ステップＳ７１において、情報処理装置３の制御部３３は、通信部３０を制御し、第１補間情報の送信を要求する指令（要求信号）を、第１撮像装置２ａの通信部１３ａに送信する。第１補間情報は、例えば、統合モデル情報の補間に使われる情報であり、第１モデル情報が示す形状と第２モデル情報が示す形状とで重複する領域の情報を含む。ステップＳ７２において、第１撮像装置２ａの通信部１３ａは、ステップＳ６８の指令を受信する。ステップＳ７３において、第１撮像装置２ａの情報算出部１２ａは、第１モデル情報から第１補間情報を抽出する。ステップＳ７４において、第１撮像装置２ａの通信部１３ａは、第１補間情報を情報処理装置３の通信部３０に送信する。ステップＳ７５において、通信部３０は、第１補間情報を通信部１３ａから受信する。

【0102】

ステップＳ７１の後のステップＳ７６において、情報処理装置３の制御部３３は、通信部３０を制御し、第２補間情報の送信を要求する指令（要求信号）を、第２撮像装置２ｂの通信部１３ｂに送信する。第２補間情報は、例えば、統合モデル情報の補間に使われる情報であり、第１モデル情報が示す形状と第２モデル情報が示す形状とで重複する領域の情報を含む。ステップＳ７７において、第２撮像装置２ｂの通信部１３ｂは、ステップＳ７６の指令を受信する。ステップＳ７８において、第２撮像装置２ｂの情報算出部１２ｂは、第２モデル情報から第２補間情報を抽出する。ステップＳ７９において、第２撮像装置２ｂの通信部１３ｂは、第２補間情報を情報処理装置３の通信部３０に送信する。ステップＳ８０において、通信部３０は、第２補間情報を通信部１３ｂから受信する。

【0103】

ステップＳ８１において、情報処理装置３のモデル統合部４５は、第１補間情報および第２補間情報を使って、統合モデル情報の補間処理を行う。ステップＳ８２において、モデル統合部４５は、記憶部３１に記憶されている統合モデル情報を、補間処理後の統合モデル情報に更新する。

【0104】

また、例えば、モデル統合部４５は、複数の撮像装置間におけるモデル情報（例、第１モデル情報、第２モデル情報）又は特徴点データ（例、第１特徴点データ、第２特徴点データ）の共有（例、双方向通信、一方向通信による情報の共有）によって得られた情報（例、付加情報、指定情報）を用いて統合モデル情報を生成する。

【0105】

［第５実施形態］
次に、第５実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を簡略化あるいは省略する。図１１は、本実施形態に係る撮像システム１を示すブロック図である。

【0106】

本実施形態に係る撮像システム１は、第１撮像装置２ａ、第２撮像装置２ｂ、及び情報処理装置３を備える。第１撮像装置２ａは、例えば、第２実施形態と同様のモデル統合部３５（以下、モデル統合部３５ａと記す）を備える。モデル統合部３５ａは、情報算出部１２ａが算出した第１モデル情報と、通信部１３ａが第２撮像装置２ｂから受信した第２モデル情報とを統合する。通信部１３ａは、モデル統合部３５ａが算出した統合モデル情報を、情報処理装置３の通信部３０に送信する。

【0107】

図１２は、本実施形態に係る撮像システム１の動作を示す図である。図１２において、図９等と同様の処理については、同じ符号を付してその説明を簡略化あるいは省略する。撮像システム１は、ステップＳ３１～ステップＳ４０の処理によって、モデル統合に使われる第１付加情報を算出する。

【0108】

第１撮像装置２ａは、ステップＳ８５において、統合モデル情報のうち、第１モデル情報に担当させる第１担当領域と、第２撮像装置２ｂからの第２モデル情報に担当させる第２担当領域とを決定して設定する。例えば、モデル統合部３５ａは、第１担当領域と第２担当領域とが重複しないように、各担当領域を選択する。

【0109】

第１撮像装置２ａの制御部２８は、ステップＳ８６において、通信部１３ａを制御し、第２担当領域における第２モデル情報の送信を要求する指令を、第２撮像装置２ｂの通信部１３ｂに送信する。第２撮像装置２ｂの通信部１３ｂは、ステップＳ８７において、ステップＳ８６の指令を受信する。第２撮像装置２ｂの情報算出部１２ｂは、ステップＳ８８において、第２モデル情報のうち第１撮像装置２ａから指定された第２担当領域の情報を抽出する。第２撮像装置２ｂの通信部１３ｂは、ステップＳ８９において、ステップＳ８６で情報算出部１２ｂが抽出した情報（抽出情報）を、第１撮像装置２ａの通信部１３ａに送信する。

【0110】

第１撮像装置２ａの情報算出部１２ａは、ステップＳ９０において、第１担当領域の第１モデル情報を抽出する。また、第１撮像装置２ａの通信部１３ａは、ステップＳ９１において、通信部１３ｂから抽出情報（例、第２担当領域の第２モデル情報）を受信する。第１撮像装置２ａのモデル統合部３５ａは、ステップＳ９２において、第１担当領域の第１モデル情報と、第２担当領域の第２モデル情報とを統合し、統合モデル情報を算出する。第１撮像装置２ａの通信部１３ａは、ステップＳ９３において、統合モデル情報を情報処理装置３の通信部３０に送信する。通信部３０は、ステップＳ９４において、統合モデル情報を通信部１３ａから受信する。情報処理装置３のレンダリング処理部３２は、ステップＳ９５において、統合モデル情報を使ってレンダリング処理を行う。

【0111】

また、例えば、第１撮像装置２ａのモデル統合部３５ａは、複数の撮像装置間におけるモデル情報（例、第１モデル情報、第２モデル情報）又は特徴点データ（例、第１特徴点データ、第２特徴点データ）の共有（例、双方向通信、一方向通信による情報の共有）によって得られた情報（例、付加情報、指定情報）を用いて統合モデル情報を生成する。

【0112】

［第６実施形態］
次に、第６実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を簡略化あるいは省略する。図１３は、本実施形態に係る撮像システム１を示すブロック図である。

【0113】

本実施形態において、第１撮像装置２ａおよび第２撮像装置２ｂは、モデル統合に使われる情報を相互に通信し、それぞれ、統合モデル情報を算出する。第１撮像装置２ａは、例えば、図１２を参照して説明した処理により、統合モデル情報を算出する。また、第２撮像装置２ｂは、例えば第１撮像装置２ａと同様の処理を行うことにより、統合モデル情報を算出する。

【0114】

情報処理装置３は、第１撮像装置２ａと第２撮像装置２ｂの少なくとも一方から統合モデル情報を受信し、受信した統合モデル情報を使ってレンダリング処理を実行する。例えば、情報処理装置３の通信部３０は、第１撮像装置２ａの通信部１３ａに、統合モデル情報の送信を要求する指令を送信する。第１撮像装置２ａの制御部２８は、通信部１３ａを制御し、統合モデル情報のうち指令に指定された項目の情報を、情報処理装置３の通信部３０へ送信させる。情報処理装置３は、同様に、第２撮像装置２ｂに統合モデル情報を送信させることができる。

【0115】

なお、情報処理装置３は、例えば、撮像システム１の各部の負荷情報（例、処理力に対する負荷の割合）を監視し、撮像システム１において相対的に負荷が小さい処理部に、モデル統合に関する処理を割り当ててもよい。例えば、第１撮像装置２ａの制御部２８は、第１撮像装置２ａの負荷情報を生成する。第１撮像装置２ａの負荷情報は、例えば、情報算出部１２ａの負荷情報およびモデル統合部３５ａの負荷情報を含む。第１撮像装置２ａの通信部１３ａは、第１撮像装置２ａの負荷情報を情報処理装置３の通信部３０に送信する。同様に、第２撮像装置２ｂは、第２撮像装置２ｂの負荷情報を、情報処理装置３の通信部３０に送信する。情報処理装置３の制御部３３は、受信した負荷情報を元に各部の負荷を比較し、相対的に負荷が少ない処理部に、処理（モデル統合に関する処理）を一方の撮像装置のみに実行させる又は複数の撮像装置に部分的に処理（モデル統合に関する処理）を分担させて実行させる。

【0116】

例えば、制御部３３は、第１撮像装置２ａのモデル統合部３５ａの負荷が、第２撮像装置２ｂのモデル統合部３５ｂの負荷よりも大きいと判定した場合、第１撮像装置２ａによるモデル統合の少なくとも一部を制限し、制限した処理を第２撮像装置２ｂに実行させてもよい。例えば、制御部３３は、第１撮像装置２ａによる第１付加情報の算出を禁止し、第２撮像装置２ｂから第１撮像装置２ａへ第２付加情報を送信させてもよく、第１撮像装置２ａは第２付加情報を使ってモデル統合を行ってもよい。また、例えば、制御部３３は、第１撮像装置２ａによる担当領域の決定処理を禁止し、第２撮像装置２ｂから第１撮像装置２ａへ担当領域を規定する担当領域情報を送信させてもよく、第１撮像装置２ａは担当領域情報を使ってモデル統合を行ってもよい。また、例えば、制御部３３は、第１撮像装置２ａによるモデル統合を禁止し、第２撮像装置２ｂから統合モデル情報を受信してもよい。

【0117】

なお、制御部３３は、情報処理装置３の負荷が、第１撮像装置２ａおよび第２撮像装置２ｂのいずれよりも小さいと判定した場合、第１撮像装置２ａと第２撮像装置２ｂの少なくとも一方のモデル統合処理の少なくとも一部を制限し、制限した処理をモデル統合部４５に実行させてもよい。例えば、制御部３３は、例えば、第１撮像装置２ａおよび第２撮像装置２ｂのそれぞれによる担当領域の決定処理を禁止し、担当領域の決定処理をモデル統合部４５に実行させ、担当領域情報を第１撮像装置２ａおよび第２撮像装置２ｂのそれぞれへ送信させてもよい。また、制御部３３は、第１撮像装置２ａおよび第２撮像装置２ｂのそれぞれによるモデル統合の処理を禁止し、情報処理装置３のモデル統合部４５にモデル統合の処理を実行させてもよい。

【0118】

なお、上記の制御部３３のように、撮像システム１の負荷の制御と監視の少なくとも一方を実行する負荷制御部（負荷監視部）は、第１撮像装置２ａ（例、制御部２８）に設けられていてもよいし、第２撮像装置２ｂ（例、制御部２８）に設けられていてもよい。また、負荷制御部（負荷監視部）は、撮像システム１の外部に設けられていてもよく、撮像システム１に設けられていなくてもよい。

【0119】

また、例えば、第１撮像装置２ａのモデル統合部３５ａ（又は／及び第２撮像装置２ｂのモデル統合部３５ｂ）は、複数の撮像装置間におけるモデル情報（例、第１モデル情報、第２モデル情報）又は特徴点データ（例、第１特徴点データ、第２特徴点データ）の共有（例、双方向通信、一方向通信による情報の共有）によって得られた情報（例、付加情報、指定情報）を用いて統合モデル情報を生成する。

【0120】

［第７実施形態］
次に、第７実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を簡略化あるいは省略する。図１４は、本実施形態に係る撮像システム１を示すブロック図である。

【0121】

本実施形態に係る撮像システム１は、第１撮像装置２ａ、第２撮像装置２ｂ、及び情報処理装置３を備える。第１撮像装置２ａおよび第２撮像装置２ｂは、それぞれ、統合モデル情報を算出可能である。本実施形態において、情報処理装置３は、モデル統合部を備えていない。情報処理装置３は、第１撮像装置２ａと第２撮像装置２ｂとの少なくとも一方から統合モデル情報を受信し、受信した統合モデル情報を使ってレンダリング処理を実行する。

【0122】

図１５は、本実施形態に係る撮像システム１の動作を示す図である。以下の説明において、図１０などと同等の処理については、同じ符号を付してその説明を省略あるいは簡略化する。第１撮像装置２ａは、第１モデル情報を算出し（ステップＳ３１）、第１特徴点データを算出する（ステップＳ３２）。第２撮像装置２ｂは、第２モデル情報を算出し（ステップＳ３３）、第１特徴点データを算出する（ステップＳ３４）。第１撮像装置２ａの通信部１３ａは、第１特徴点データを第２撮像装置２ｂの通信部１３ｂに送信し（ステップＳ６０）、通信部１３ｂは、第１特徴点データを受信する（ステップＳ６１）。通信部１３ｂは、第２特徴点データを第１撮像装置２ａの通信部１３ａに送信し（ステップＳ６２）、通信部１３ａは、第２特徴点データを受信する（ステップＳ６３）。

【0123】

第１撮像装置２ａの情報算出部１２ａは、第１特徴点データおよび第２特徴点データを使って、第１付加情報を算出する（ステップＳ６４）。第２撮像装置２ｂの情報算出部１２ｂは、第１特徴点データおよび第２特徴点データを使って、第２付加情報を算出する（ステップＳ６７）。第１撮像装置２ａの通信部１３ａは、第１付加情報を第２撮像装置２ｂの通信部１３ｂに送信し（ステップＳ１０１）、通信部１３ｂは、第１付加情報を受信する（ステップＳ１０２）。通信部１３ｂは、第２付加情報を第１撮像装置２ａの通信部１３ａに送信し（ステップＳ１０３）、通信部１３ａは、第２付加情報を受信する（ステップＳ１０４）。

【0124】

第１撮像装置２ａのモデル統合部３５ａは、第１付加情報および第２付加情報を使って、担当領域を決定する（ステップＳ１０５）。第１撮像装置２ａの情報算出部１２ａは、第１担当領域の第１モデル情報を抽出する（ステップＳ１０６）。第２撮像装置２ｂのモデル統合部３５ｂは、第１付加情報および第２付加情報を使って、担当領域を決定する（ステップＳ１０７）。第２撮像装置２ｂの情報算出部１２ｂは、第２担当領域の第２モデル情報を抽出する（ステップＳ１０８）。

【0125】

第１撮像装置２ａの通信部１３ａは、第１担当領域の第１モデル情報を第２撮像装置２ｂの通信部１３ｂに送信し（ステップＳ１０９）、通信部１３ｂは、第１担当領域の第１モデル情報を受信する（ステップＳ１１０）。通信部１３ｂは、第２担当領域の第２モデル情報を第１撮像装置２ａの通信部１３ａに送信し（ステップＳ１１１）、通信部１３ａは、第２担当領域の第２モデル情報を受信する（ステップＳ１１２）。

【0126】

第１撮像装置２ａのモデル統合部３５ａは、第１担当領域の第１モデル情報および第２担当領域の第２モデル情報を使って、モデル統合を行う（ステップＳ１１３）。そして、モデル統合部３５ａは、統合された統合モデル情報（第１統合モデル情報）をチェックする（ステップＳ１１４）。第２撮像装置２ｂのモデル統合部３５ｂは、第１担当領域の第１モデル情報および第２担当領域の第２モデル情報を使って、モデル統合を行う（ステップＳ１１５）。そして、モデル統合部３ｂａは、統合された統合モデル情報（第２統合モデル情報）をチェックする（ステップＳ１１６）。

【0127】

第１撮像装置２ａのモデル統合部３５ａおよび第２撮像装置２ｂのモデル統合部３５ｂは、それぞれ、統合モデル情報の整合性がとれていないと判定した場合に、例えば、以下の処理を行う。第１撮像装置２ａの情報算出部１２ａは、第１補間情報を抽出する（ステップＳ１１７）。第２撮像装置２ｂの情報算出部１２ｂは、第２補間情報を抽出する（ステップＳ１１８）。

【0128】

第１撮像装置２ａの通信部１３ａは、第１補間情報を第２撮像装置２ｂの通信部１３ｂに送信し（ステップＳ１１９）、通信部１３ｂは、第１補間情報を受信する（ステップＳ１２０）。通信部１３ｂは、第２補間情報を第１撮像装置２ａの通信部１３ａに送信し（ステップＳ１２１）、通信部１３ａは、第２補間情報を受信する（ステップＳ１２２）。

【0129】

第１撮像装置２ａのモデル統合部３５ａは、第１補間情報および第２補間情報を使って、補間処理を行う（ステップＳ１２３）。モデル統合部３５ａは、記憶部２７ａに記憶されている統合モデル情報を、補間処理後の統合モデル情報に更新する（ステップＳ１２４）。第２撮像装置２ｂのモデル統合部３５ｂは、第１補間情報および第２補間情報を使って、補間処理を行う（ステップＳ１２５）。モデル統合部３５ｂは、記憶部２７ｂに記憶されている統合モデル情報を、補間処理後の統合モデル情報に更新する（ステップＳ１２６）。

【0130】

情報処理装置３は、第１撮像装置２ａから情報を受信する。例えば、情報処理装置３の通信部３０は、レンダリング処理に使われる情報の送信を要求する指令を第１撮像装置２ａの通信部１３ａに送信し（ステップＳ１３０）、通信部１３ａは、ステップＳ１３０の指令を受信する（ステップＳ１３１）。第１撮像装置２ａの情報算出部１２ａは、例えばモデル情報（第１モデル情報または統合モデル情報）から、ステップＳ１３０の指令に指定された情報を抽出する（ステップＳ１３４）。第１撮像装置２ａの通信部１３ａは、ステップＳ１３４で抽出された情報を情報処理装置３の通信部３０に送信し（ステップＳ１３５）、通信部３０は、ステップＳ１３４で送信された情報を受信する（ステップＳ１３６）。

【0131】

情報処理装置３は、必要に応じて、第２撮像装置２ｂから情報を受信する。例えば、第２撮像装置２ｂが保持する情報をレンダリング処理に使う場合に、情報処理装置３の通信部３０は、レンダリング処理に使われる情報の送信を要求する指令を第２撮像装置２ｂの通信部１３ｂに送信し（ステップＳ１３２）、通信部１３ｂは、ステップＳ１３２の指令を受信する（ステップＳ１３３）。第２撮像装置２ｂの情報算出部１２ｂは、例えばモデル情報（第２モデル情報または統合モデル情報）から、ステップＳ１３２の指令に指定された情報を抽出する（ステップＳ１３７）。第２撮像装置２ｂの通信部１３ｂは、ステップＳ１３７で抽出された情報を情報処理装置３の通信部３０に送信し（ステップＳ１３８）、通信部３０は、ステップＳ１３８で送信された情報を受信する（ステップＳ１３９）。

【0132】

情報処理装置３のレンダリング処理部３２は、例えば、第１撮像装置２ａから受信した情報、及び第２撮像装置２ｂから受信した情報を使って、レンダリング処理を行う。なお、情報処理装置３は、第２撮像装置２ｂが保持する情報をレンダリング処理に使わない場合、第２撮像装置２ｂから情報を受信しなくてもよい。例えば、情報処理装置３の通信部３０は、情報の送信を要求する指令を、第２撮像装置２ｂの通信部１３ｂに送信しなくてもよい。

【0133】

また、例えば、第１撮像装置２ａのモデル統合部３５ａは、複数の撮像装置間におけるモデル情報（例、第１モデル情報、第２モデル情報）又は特徴点データ（例、第１特徴点データ、第２特徴点データ）の共有（例、双方向通信、一方向通信による情報の共有）によって得られた情報（例、付加情報、指定情報）を用いて統合モデル情報（第１統合モデル情報）を生成する。例えば、第２撮像装置２ｂのモデル統合部３５ｂは、複数の撮像装置間におけるモデル情報（例、第１モデル情報、第２モデル情報）又は特徴点データ（例、第１特徴点データ、第２特徴点データ）の共有（例、双方向通信、一方向通信による情報の共有）によって得られた情報（例、付加情報、指定情報）を用いて統合モデル情報（第２統合モデル情報）を生成する。このように、例えば、互いの撮像装置が同一の対象物ＯＢを撮像して各撮像装置における統合モデル情報をそれぞれ生成する場合、複数の撮像装置（例、第１撮像装置２ａ、第２撮像装置２ｂ）は、各撮像装置において対象物ＯＢ全体のモデル統合を分散処理して、統合モデル情報（例、第１統合モデル情報、第２統合モデル情報）をそれぞれ生成するように構成しても良い。この場合、例えば、撮像装置において分散処理されて生成された統合モデル情報は、対象物ＯＢの部分的な統合モデル情報である。このような場合、例えば、分散処理によって生成された第１統合モデル情報は対象物ＯＢ全体領域の５０％部分に相当する部分的な統合モデルであってもよく、第１統合モデル情報と第２統合モデル情報とが対象物ＯＢ全体の統合モデル情報を互いに分担している構成であってもよい。そして、情報処理装置３やレンダリング処理可能な装置などの再生デバイスからの要求に応じて、撮像装置はレンダリングに必要な情報（例、第１統合モデル情報、第２統合モデル情報）を情報処理装置３や再生デバイス等に送信する。

【0134】

［第８実施形態］
次に、第８実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を簡略化あるいは省略する。図１６は、本実施形態に係る撮像システム１を示すブロック図である。

【0135】

本実施形態において、第１撮像装置２ａ、第２撮像装置２ｂ、及び情報処理装置３は、いずれも上記したモデル統合部を備えていない。情報処理装置３は、例えば、第１撮像装置２ａから受信した情報（例、統合モデル情報）を使って第１のレンダリング処理を実行した後、第２撮像装置２ｂから受信した情報（例、統合モデル情報）を使って第２のレンダリング処理を実行する。レンダリング処理部３２は、例えば、第１のレンダリング処理において、第１の視点から対象物ＯＢを見た第１の推定画像を生成する。レンダリング処理部３２は、例えば、第２のレンダリング処理において、第２の視点から対象物ＯＢを見た第２の推定画像を生成する。情報処理装置３は、例えば、第２の推定画像を生成する上で、第１撮像装置２ａが保持する情報だけではモデルの欠落を生じる場合に、第２撮像装置２ｂに情報の送信を要求する。情報処理装置３の通信部３０は、例えば、第２のレンダリング処理で使われる情報を、第１のレンダリング処理が行われる期間に順次受信してもよい。

【0136】

このような構成の場合、例えば、情報処理装置３のレンダリング処理に必要な情報を情報処置装置３が得るために、本実施形態における撮像システム１は、モデル情報或いは付加情報などの情報を受信でき、かつ算出した統合モデル情報などの情報を外部装置に送信できる通信部と、モデル統合処理を行うモデル統合部とを含む情報処理装置（モデル統合処理装置）と、を更に備える。

【0137】

なお、第１撮像装置２ａ、第２撮像装置２ｂ、及び情報処理装置３の少なくとも１つは、モデル統合部を備えていてもよい。例えば、第２撮像装置２ｂは、モデル統合部を備え、第１撮像装置２ａおよび情報処理装置３は、モデル統合部を備えていなくてもよい。この場合、例えば、情報処理装置３は、第１撮像装置２ａから受信した情報を使って、上記の第１のレンダリング処理を実行してもよい。また、第２撮像装置２ｂは、第１のレンダリング処理が行われる期間に、モデル統合処理の少なくとも一部を行ってもよい。また、情報処理装置３は、第１のレンダリング処理後に、第２撮像装置２ｂから受信した統合モデル情報を使って第２のレンダリング処理を行ってもよい。

【0138】

［第９実施形態］
次に、第９実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を簡略化あるいは省略する。図１７は、本実施形態に係る撮像システム１を示すブロック図である。

【0139】

本実施形態において、撮像装置２の通信部１３は、外部装置（例、第２撮像装置としての撮像装置５０）から対象物ＯＢの画像データを受信可能である。撮像装置５０は、撮像システム１の一部であってもよいし、撮像システム１の外部の装置であってもよい。撮像装置５０は、例えば、撮像装置２のような測距部を備えていない。この場合、撮像装置５０は、撮像部５１によって撮像された画像のうち視差を有する画像（視差画像）を撮像装置２へ送信する。そして、撮像装置２は、受信した視差画像を用いて撮像装置５０のデプス情報を算出する。撮像装置５０は、例えば、上記したモデル情報を算出しない。撮像装置５０は、例えば、汎用カメラ、スマートフォンなどの高機能携電話、タブレットなどである。

【0140】

撮像装置５０は、例えば、撮像部５１、入力部５２、記憶部５３、表示部５４、通信部５５、及び制御部５６を備える。撮像部５１は、例えば、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサを含み、対象物ＯＢを撮像可能である。記憶部５３は、例えば不揮発性メモリを含み、撮像部５１が撮像した画像のデータ、各種設定情報を記憶する。入力部５２は、例えば、ユーザからの指令などを受ける。表示部５４は、例えば、記憶部５３に記憶されている画像データ、あるいは各種設定情報が示す画像を表示する。通信部５５は、有線または無線により、撮像装置２の通信部１３と通信可能である。通信部５５は、例えば、撮像部５１が撮像した対象物ＯＢの画像のデータを、撮像装置２の通信部１３へ送信する。制御部５６は、撮像装置５０の各部を制御する。

【0141】

撮像装置２の情報算出部１２は、上述の実施形態で説明したように、検出部１１の検出結果を使って第１モデル情報を算出する。また、撮像装置２の情報算出部１２は、例えば、撮像部１５が撮像した画像、及び／又は撮像装置５０から受信した画像（対象物ＯＢの画像データ）を元に、第２モデル情報を算出する。なお、情報算出部１２は、第２モデル情報を算出しなくてもよく、例えば、撮像装置５０から受信した画像を、補間処理などに使ってもよい。例えば、撮像装置２は、測距部１６により第１のデプス情報を検出し、撮像部１５が撮像した画像、及び撮像装置５０から受信した画像を元に第２のデプス情報を算出し、第２デプス情報を使って第１のデプス情報を補間してもよい。

【0142】

撮像装置５０の通信部５５は、有線または無線により、情報処理装置３の通信部３０と通信可能である。通信部５５は、例えば、レンダリング処理の設定情報（例、推定画像の視点情報）を、情報処理装置３の通信部３０に送信する。情報処理装置３のレンダリング処理部３２は、例えば、撮像装置２の通信部１３から受信したモデル情報、及び撮像装置３０の通信部５５から受信したレンダリング処理の設定情報を使って、レンダリング処理を行う。情報処理装置３０の通信部３０は、例えば、レンダリング処理により生成される推定画像のデータを、撮像装置５０の通信部５５に送信する。撮像装置５０の表示部５４は、例えば、情報処理装置３０からの推定画像のデータを元に、推定画像を表示する。

【0143】

なお、撮像装置５０の通信部５５は、情報処理装置３の通信部３０と通信しなくてもよい。例えば、通信部５５は、レンダリング処理の設定情報を、撮像装置２の通信部１３に送信してもよい。通信部１３は、撮像装置５０の通信部５５から受信した設定情報を、情報処理装置３の通信部３０に送信してもよい。また、通信部１３は、情報処理装置３の通信部３０からレンダリング処理の結果を示す推定画像のデータを受信してもよい。通信部１３は、情報処理装置３の通信部３０から受信した推定画像のデータを、撮像装置５０の通信部５５に送信してもよい。撮像装置５０の表示部５４は、撮像装置２からの推定画像のデータを元に、推定画像を表示させてもよい。

【0144】

上述した各実施形態の撮像システム１または撮像装置２は、例えば、ＣＧなどを含む映像コンテンツの制作システムあるいは制作支援システムの少なくとも一部であってもよいし、血管や生体組織の可視化撮像システム、生物顕微鏡システム、欠陥検出システム又は物体計測システムの少なくとも一部であってもよい。また、撮像システム１または撮像装置２は、例えば、視野領域への物体、動物などの侵入、あるいは視野領域における物体、動物などの動きを検出する検出システムの少なくとも一部であってもよい。この検出システムは、例えば、セキュリティシステム、介護システム、監視システム、信号機システム、交通量などの統計データを取得する情報取得システムなどであってもよい。また、撮像システム１または撮像装置２は、シミュレータの少なくとも一部であってもよい。このシミュレータは、例えば、撮像装置２がモデルリングした空間（例、部屋）に物体（例、家具）、動物（例、人、ペット）を配置した場合の推定画像を生成してもよい。また、このシミュレータは、撮像装置２がモデルリングした物体、動物を、所定の空間（例、部屋）に配置した場合の推定画像を生成してもよい。

【0145】

また、上記した各実施形態によれば、本実施形態における撮像システムは、対象物を撮像する第１撮像部及び対象物の表面上の各点からの距離を検出する第１測距部を含む第１検出部と、第１検出部の検出結果を用いて対象物の形状情報およびテクスチャ情報の少なくとも一方を含む第１モデル情報を算出して、第１モデル情報を用いて第１特徴点データを生成する第１情報算出部と、を備える第１撮像装置（２、２ａ）と、対象物を撮像する第２撮像部及び対象物の表面上の各点からの距離を検出する第２測距部を含む第２検出部と、第２検出部の検出結果を用いて対象物の形状情報およびテクスチャ情報の少なくとも一方を含む第２モデル情報を算出して、第２モデル情報を用いて第２特徴点データを生成する第２情報算出部と、を備える第２撮像装置（２、２ｂ）と、第１撮像装置と第２撮像装置との間におけるデータ通信によって得られる第１特徴点データおよび第２特徴点データを用いて第１モデル情報と第２モデル情報とを統合して対象物の統合モデル情報を生成するモデル統合部（３５、４５）と、を備える構成であっても良い。このような構成の場合、モデル統合部は、少なくとも第１撮像装置、第２撮像装置、又は情報処理装置のいずれかに設けられてもよいし、別の外部端末（モデル統合処理装置）に設けられても良い。

【0146】

なお、本発明の技術範囲は、上記の実施形態あるいは変形例に限定されるものではない。例えば、上記の実施形態あるいは変形例で説明した要件の１つ以上は、省略されることがある。また、上記の実施形態あるいは変形例で説明した要件は、適宜組み合わせることができる。

【0147】

なお、撮像システム１が備える撮像装置の数は、３つ以上であってもよい。例えば、撮像システム１は、４台の撮像装置を備え、そのうち２台はモデル統合部を備え、残り２台はモデル統合部を備えていなくてもよい。例えば、モデル統合部を備える撮像装置は、モデル統合部を備えていない撮像装置からモデル情報を受信し、モデル統合を行ってもよい。この場合、第１統合モデル情報と、第２統合モデル情報とが算出され、情報処理装置３は、第１統合モデル情報と第２統合モデル情報とを統合してもよい。なお、本実施形態における撮像装置は、ウェアラブル端末であってもよく、腕や頭などに装着可能な装着部と、音声入力、入力ボタンやタッチ操作が可能な入力部とを本体部にそれぞれ備えていても良い。

【符号の説明】

【0148】

１・・・撮像システム、２・・・撮像装置、３・・・情報処理装置、１１・・・検出部、１２・・・情報算出部、１３・・・通信部、１５・・・撮像部、１６・・・測距部、１８・・・イメージセンサ、１９・・・照射部、２１・・・イメージセンサ、
３５・・・モデル統合部、ＯＢ・・・対象物

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】