(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-12
(45)【発行日】2022-09-21
(54)【発明の名称】検出装置、情報処理装置、検出方法、及び情報処理プログラム
(51)【国際特許分類】
G06T 7/55 20170101AFI20220913BHJP
G01B 11/00 20060101ALI20220913BHJP
G01B 11/24 20060101ALI20220913BHJP
【ＦＩ】
G06T7/55
G01B11/00 A
G01B11/24 A
【請求項の数】
20
(21)【出願番号】P 2020561503
(86)(22)【出願日】2019-12-19
(86)【国際出願番号】 JP2019049798
(87)【国際公開番号】W WO2020130070
(87)【国際公開日】2020-06-25
【審査請求日】2021-06-17
(31)【優先権主張番号】P 2018239536
(32)【優先日】2018-12-21
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】100107836
【弁理士】
【氏名又は名称】西 和哉
(72)【発明者】
【氏名】長谷川 智志
(72)【発明者】
【氏名】中川 源洋
(72)【発明者】
【氏名】橋本 雅司
【審査官】板垣 有紀
(56)【参考文献】
【文献】国際公開第２０１６／１５８８５５（ＷＯ，Ａ１）
【文献】特開２０１８－１８９６３６（ＪＰ，Ａ）
【文献】国際公開第２０１７／１５４７０６（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／５５
Ｇ０１Ｂ １１／００
Ｇ０１Ｂ １１／２４
(57)【特許請求の範囲】
【請求項1】
対象物のテクスチャ情報を第１位置から検出するテクスチャ検出部と、前記第１位置とは異なる第２位置から前記対象物における各点までのデプス情報を検出する位置検出部と、
前記デプス情報が取得され、かつ前記テクスチャ情報が取得されていないデータ欠損領域を、前記テクスチャ検出部の検出結果及び前記位置検出部の検出結果に基づいて検出する領域検出部と、
前記データ欠損領域に対して特定のテクスチャ情報を付加する付加部と、
を備える検出装置。
【請求項2】
前記領域検出部は、前記対象物の点と前記第１位置とを結ぶ線までの距離が閾値以下の点のうち、前記第１位置に最も近い点以外の点を前記データ欠損領域に属する点として検出する、請求項１に記載の検出装置。
【請求項3】
前記位置検出部は、前記第２位置から前記対象物の各点までの距離を前記デプス情報として検出し、前記領域検出部は、前記位置検出部が検出した距離に基づいて、前記データ欠損領域を検出する、
請求項１又は請求項２に記載の検出装置。
【請求項4】
複数の前記デプス情報から前記対象物の各点の座標を算出する情報処理部を備え、前記領域検出部は、前記情報処理部が算出した座標に基づいて、前記データ欠損領域を検出する、
請求項１から請求項３のいずれか一項に記載の検出装置。
【請求項5】
前記テクスチャ検出部は、前記対象物において前記データ欠損領域に対応する領域と前記第１位置との間に配置される物体のテクスチャ情報を検出し、前記付加部は、前記データ欠損領域に対して、前記テクスチャ検出部の検出結果から得られる前記物体のテクスチャ情報とは異なる前記特定のテクスチャ情報を付加する、
請求項１から請求項４のいずれか一項に記載の検出装置。
【請求項6】
前記付加部が付加する前記特定のテクスチャ情報の候補を記憶する記憶部を備え、前記付加部は、前記記憶部に記憶された前記特定のテクスチャ情報の候補から選択される前記特定のテクスチャ情報を前記データ欠損領域に付加する、
請求項１から請求項５のいずれか一項に記載の検出装置。
【請求項7】
前記テクスチャ検出部は、カラーのテクスチャ情報を検出し、前記特定のテクスチャ情報の候補は、グレースケールの前記特定のテクスチャ情報を含む、
請求項１から請求項６のいずれか一項に記載の検出装置。
【請求項8】
前記特定のテクスチャ情報を推定するテクスチャ推定部、を備える、請求項１から請求項７のいずれか一項に記載の検出装置。【請求項9】
前記テクスチャ推定部は、前記テクスチャ検出部の検出結果に基づいて、前記データ欠損領域に前記付加部が付加する前記特定のテクスチャ情報を推定する、請求項８に記載の検出装置。【請求項10】
前記テクスチャ推定部は、前記データ欠損領域において取得された前記デプス情報と、前記データ欠損領域を除いた領域の前記デプス情報とで連続性のある面に基づいて、前記データ欠損領域における前記特定のテクスチャ情報を推定する、請求項８又は請求項９に記載の検出装置。【請求項11】
前記テクスチャ推定部は、複数の物体の間で、色、及び模様の少なくとも一つを連続的に変化させた前記特定のテクスチャ情報を推定する、請求項８から請求項１０のいずれか一項に記載の検出装置。【請求項12】
前記領域検出部が検出した前記データ欠損領域に基づいて、前記対象物の各領域におけるテクスチャ情報の確度情報を生成する確度情報生成部を備える、請求項１から請求項１１のいずれか一項に記載の検出装置。
【請求項13】
前記確度情報生成部は、前記領域検出部が検出した前記データ欠損領域のテクスチャ情報の確度情報を、前記対象物の各領域におけるテクスチャ情報において相対的に低い値に設定する、請求項１２に記載の検出装置。
【請求項14】
前記確度情報生成部は、前記領域検出部が検出した前記データ欠損領域に基づいて前記付加部が付加した前記特定のテクスチャ情報の確度情報を、前記対象物の各領域におけるテクスチャ情報において相対的に低い値に設定する、請求項１２又は請求項１３に記載の検出装置。
【請求項15】
前記対象物の各点のデプス情報を前記第２位置から検出して得られるモデル情報と、前記対象物の各点のデプス情報を前記第２位置とは異なる第３位置から検出して得られるモデル情報と、を前記確度情報生成部が生成した確度情報に基づいて統合するモデル統合部を備える、請求項１２から請求項１４のいずれか一項に記載の検出装置。
【請求項16】
対象物のテクスチャ情報を第１位置から検出した検出結果、及び前記第１位置とは異なる第２位置から前記対象物における各点までのデプス情報を検出した検出結果に基づいて、前記デプス情報が取得され、かつ前記テクスチャ情報が取得されていないデータ欠損領域を検出する領域検出部と、前記データ欠損領域に対して特定のテクスチャ情報を付加する付加部と、を備える情報処理装置。
【請求項17】
前記付加部は、前記第１位置から検出した検出結果である撮像画像の全体、又は、前記撮像画像から物体の情報を除いた他の物体の情報に基づいて、明度、彩度、色相のいずれか１つ、又は、これら複数の平均をとって前記特定のテクスチャ情報を生成する、請求項１６に記載の情報処理装置。【請求項18】
前記付加部は、前記第１位置から検出した検出結果である撮像画像から物体の情報を除いた他の物体の情報に基づいて、前記データ欠損領域の近傍の色を用いて前記特定のテクスチャ情報を生成する、請求項１６に記載の情報処理装置。【請求項19】
対象物のテクスチャ情報を第１位置から検出することと、前記第１位置とは異なる第２位置から前記対象物における各点までのデプス情報を検出することと、
前記デプス情報が取得され、かつ前記テクスチャ情報が取得されていないデータ欠損領域を、前記テクスチャ情報の検出結果及び前記デプス情報の検出結果に基づいて検出することと、
前記データ欠損領域に対して特定のテクスチャ情報を付加することと、を含む検出方法。
【請求項20】
コンピュータに、対象物のテクスチャ情報を第１位置から検出した検出結果、及び前記第１位置とは異なる第２位置から前記対象物における各点までのデプス情報を検出した検出結果に基づいて、前記デプス情報が取得され、かつ前記テクスチャ情報が取得されていないデータ欠損領域を検出することと、
前記データ欠損領域に対して特定のテクスチャ情報を付加することと、を実行させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検出装置、情報処理装置、検出方法、及び情報処理プログラムに関する。
【背景技術】
【0002】
物体を検出した検出結果をコンピュータに入力し、物体の３次元形状を取得する技術が提案されている（例、特許文献１参照）。しかしながら、例えば、物体（対象領域）の形状情報とテクスチャ情報とを検出する場合、物体の形状情報を検出する位置と、テクスチャ情報を検出する位置とが異なると、形状情報を得ているがテクスチャ情報が欠損した領域が生じる。モデル情報の算出において、このようなテクスチャ情報が欠損する領域は、少ないことが望まれる。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１０－１３４５４６号公報
【発明の概要】
【0004】
本発明の態様に従えば、対象物のテクスチャ情報を第１位置から検出するテクスチャ検出部と、第１位置とは異なる第２位置から対象物における各点までのデプス情報を検出する位置検出部と、デプス情報が取得され、かつテクスチャ情報が取得されていないデータ欠損領域を、テクスチャ検出部の検出結果及び位置検出部の検出結果に基づいて検出する領域検出部と、データ欠損領域に対して特定のテクスチャ情報を付加する付加部と、を備える検出装置が提供される。
本発明の態様に従えば、対象領域のテクスチャ情報を第１位置から検出するテクスチャ検出部と、所定の点から対象領域における各点までのデプス情報を、第１位置とは異なる第２位置から検出する位置検出部と、テクスチャ検出部の検出結果及び位置検出部の検出結果に基づいて、デプス情報が取得され、かつテクスチャ情報が取得されていないデータ欠損領域を検出する領域検出部と、データ欠損領域に対して特定のテクスチャ情報を付加する付加部と、を備える検出装置が提供される。
本発明の態様に従えば、対象領域のテクスチャ情報を第１位置から検出するテクスチャ検出部と、所定の点から対象領域における各点までのデプス情報を、第１位置とは異なる第２位置から検出する位置検出部と、テクスチャ検出部の検出結果及び位置検出部の検出結果に基づいて、デプス情報が取得され、かつテクスチャ情報が取得されていないデータ欠損領域を検出する領域検出部と、データ欠損領域に対して特定のテクスチャ情報を付加する付加部と、を備える検出装置が提供される。
【0005】
本発明の態様に従えば、対象物のテクスチャ情報を第１位置から検出した検出結果、及び第１位置とは異なる第２位置から対象物における各点までのデプス情報を検出した検出結果に基づいて、デプス情報が取得され、かつテクスチャ情報が取得されていないデータ欠損領域を検出する領域検出部と、データ欠損領域に対して特定のテクスチャ情報を付加する付加部と、を備える情報処理装置が提供される。
本発明の態様に従えば、対象領域のテクスチャ情報を第１位置から検出した検出結果、及び所定の点から対象領域における各点までのデプス情報を第１位置とは異なる第２位置から検出した検出結果に基づいて、デプス情報が取得され、かつテクスチャ情報が取得されていないデータ欠損領域を検出する領域検出部と、データ欠損領域に対して特定のテクスチャ情報を付加する付加部と、を備える情報処理装置が提供される。
本発明の態様に従えば、対象領域のテクスチャ情報を第１位置から検出した検出結果、及び所定の点から対象領域における各点までのデプス情報を第１位置とは異なる第２位置から検出した検出結果に基づいて、デプス情報が取得され、かつテクスチャ情報が取得されていないデータ欠損領域を検出する領域検出部と、データ欠損領域に対して特定のテクスチャ情報を付加する付加部と、を備える情報処理装置が提供される。
【0006】
本発明の態様に従えば、対象物のテクスチャ情報を第１位置から検出することと、第１位置とは異なる第２位置から対象物における各点までのデプス情報を検出することと、デプス情報が取得され、かつテクスチャ情報が取得されていないデータ欠損領域を、テクスチャ情報の検出結果及びデプス情報の検出結果に基づいて検出することと、データ欠損領域に対して特定のテクスチャ情報を付加することと、を含む検出方法が提供される。
本発明の態様に従えば、対象領域のテクスチャ情報を第１位置から検出することと、所定の点から対象領域における各点までのデプス情報を、第１位置とは異なる第２位置から検出することと、テクスチャ情報を第１位置から検出した検出結果及びデプス情報を第２位置から検出した検出結果に基づいて、第１位置から位置情報が検出され、かつ第２位置からテクスチャ情報が検出されないデータ欠損領域を検出することと、データ欠損領域に対して特定のテクスチャ情報を付加することと、を含む検出方法が提供される。
本発明の態様に従えば、対象領域のテクスチャ情報を第１位置から検出することと、所定の点から対象領域における各点までのデプス情報を、第１位置とは異なる第２位置から検出することと、テクスチャ情報を第１位置から検出した検出結果及びデプス情報を第２位置から検出した検出結果に基づいて、第１位置から位置情報が検出され、かつ第２位置からテクスチャ情報が検出されないデータ欠損領域を検出することと、データ欠損領域に対して特定のテクスチャ情報を付加することと、を含む検出方法が提供される。
【0007】
本発明の態様に従えば、コンピュータに、対象物のテクスチャ情報を第１位置から検出した検出結果、及び第１位置とは異なる第２位置から対象物における各点までのデプス情報を検出した検出結果に基づいて、デプス情報が取得され、かつテクスチャ情報が取得されていないデータ欠損領域を検出することと、データ欠損領域に対して特定のテクスチャ情報を付加することと、を実行させる情報処理プログラムが提供される。
本発明の態様に従えば、コンピュータに、対象領域のテクスチャ情報を第１位置から検出した検出結果、及び所定の点から対象領域における各点までのデプス情報を第１位置と異なる第２位置から検出した検出結果に基づいて、デプス情報が取得され、かつテクスチャ情報が取得されていないデータ欠損領域を検出することと、データ欠損領域に対して特定のテクスチャ情報を付加することと、を実行させる情報処理プログラムが提供される。
本発明の態様に従えば、コンピュータに、対象領域のテクスチャ情報を第１位置から検出した検出結果、及び所定の点から対象領域における各点までのデプス情報を第１位置と異なる第２位置から検出した検出結果に基づいて、デプス情報が取得され、かつテクスチャ情報が取得されていないデータ欠損領域を検出することと、データ欠損領域に対して特定のテクスチャ情報を付加することと、を実行させる情報処理プログラムが提供される。
【図面の簡単な説明】
【0008】
【図1】第１実施形態に係る検出装置の一例を示す図である。
【図2】第１実施形態に係るテクスチャ検出部及び位置検出部の一例を示す図である。
【図3】第１実施形態に係るテクスチャ検出部及び位置検出部の他の例を示す図である。
【図4】第１実施形態に係るテクスチャ検出部及び位置検出部の位置関係とデータ欠損領域との一例を示す図である。
【図5】第１実施形態に係る撮像画像及びデプスの検出結果の一例を示す図である。
【図6】第１実施形態に係る検出方法を示すフローチャートである。
【図7】第１実施形態に係る領域検出処理を示すフローチャートである。
【図8】（Ａ）は第１実施形態に係るモデル情報を表示した一例を示す図、（Ｂ）は第１実施形態に係るモデル情報を表示した他の例を示す図である。
【図9】２つのモデル情報を表示した例を示す図である。
【図10】第２実施形態に係る検出装置の一例を示す図である。
【図11】第２実施形態に係る検出方法を示すフローチャートである。
【図12】第３実施形態に係る検出装置の一例を示す図である。
【図13】第３実施形態に係る検出方法を示すフローチャートである。
【図14】第４実施形態に係る検出装置の一例を示す図である。
【図15】第５実施形態に係る検出システムの一例を示す図である。
【発明を実施するための形態】
【0009】
［第１実施形態］
第１実施形態について説明する。図１は、第１実施形態に係る検出装置１の一例を示す図である。検出装置１は、モデル情報（例、３次元のＣＧモデルデータ）の元になる情報を検出する。検出装置１は、モデル化の対象の物体Ｘ１を含む対象領域ＡＲを検出する。対象領域ＡＲは、例えば、モデル化の対象の物体Ｘ１（第１の物体）と、物体Ｘ１の背景になる壁などの物体Ｘ２とを含む。物体Ｘ２は、モデル化の対象の第２の物体でもよい。モデル情報は、物体Ｘ１の形状情報とテクスチャ情報とを含む。形状情報は、点群データとサーフェス情報とを含む。形状情報は、デプス情報を含んでもよい。
第１実施形態について説明する。図１は、第１実施形態に係る検出装置１の一例を示す図である。検出装置１は、モデル情報（例、３次元のＣＧモデルデータ）の元になる情報を検出する。検出装置１は、モデル化の対象の物体Ｘ１を含む対象領域ＡＲを検出する。対象領域ＡＲは、例えば、モデル化の対象の物体Ｘ１（第１の物体）と、物体Ｘ１の背景になる壁などの物体Ｘ２とを含む。物体Ｘ２は、モデル化の対象の第２の物体でもよい。モデル情報は、物体Ｘ１の形状情報とテクスチャ情報とを含む。形状情報は、点群データとサーフェス情報とを含む。形状情報は、デプス情報を含んでもよい。
【0010】
検出装置１は、対象領域ＡＲを光学的に検出する。検出装置１は、カメラとモーションキャプチャとの一方又は双方を含んでもよい。検出装置１は、据え置き型の装置（例、定点カメラ）を含んでもよい。また、検出装置１は、携帯可能な装置（例、情報端末、スマートフォン、タブレット、カメラ付き携帯電話、ウェアラブル端末）を含んでもよい。
【0011】
検出装置１は、撮像部（テクスチャ検出部）２と、位置検出部（位置センサ）３と、情報処理部４と、を備える。検出装置１は、検出部（撮像部２、位置検出部３などのセンサ）によって、対象領域ＡＲを検出する。撮像部２は、第１位置Ｖｐ１から対象領域ＡＲを、撮像によって検出する。本実施形態において、撮像部２は、対象領域ＡＲのテクスチャ情報を第１位置Ｖｐ１から検出する。位置検出部３は、対象領域ＡＲにおける物体（物体Ｘ１、物体Ｘ２）の表面上の複数の点について、所定の点（例、第２位置Ｖｐ２）から対象領域ＡＲにおける各点までのデプス情報を検出する。本実施形態において、位置検出部３は、第１位置Ｖｐ１とは異なる第２位置Ｖｐ２から対象領域ＡＲにおける各点のデプス情報を検出する。情報処理部４は、位置検出部３が検出した物体（物体Ｘ１、物体Ｘ２）の表面上の複数の点におけるデプス情報に基づいて、複数の点の座標に変換する座標変換処理を実行してもよい。複数の点の座標は、位置検出部３が検出した位置情報として用いられてもよい。
【0012】
位置検出部３は、デプス情報を含む位置情報を検出する。本実施形態において、検出装置１は本体部ＢＤを備え、撮像部２及び位置検出部３は、本体部ＢＤに支持（固定）される。本体部ＢＤ（支持部材、固定部材）は、例えば、ボディあるいは筐体を含む。本体部ＢＤは、撮像部２の少なくとも一部と位置検出部３の少なくとも一部との一方又は双方を保持（例、収容）してもよい。また、本体部ＢＤは、情報処理部４の少なくとも一部を保持（例、収容）してもよい。撮像部２における第１位置Ｖｐ１、位置検出部３における第２位置Ｖｐ２は、本体部ＢＤに設けられる。なお、本体部ＢＤは、撮像部２、位置検出部３、及び情報処理部４の少なくとも１つを保持しなくてもよい。撮像部２、位置検出部３、及び情報処理部４の少なくとも１つは、本体部ＢＤと別に設けられてもよい。また、検出装置１は、本体部ＢＤを備えなくてもよい。本実施形態では、検出装置１が配置されている単一の視点から検出部（撮像部２、位置検出部３）により対象領域ＡＲを検出する。この視点は、撮像部２、位置検出部３が配置される第１位置Ｖｐ１、第２位置Ｖｐ２、点を含む。また、検出部（撮像部２、位置検出部３）は、受光する光の光軸、又は検出方向に合わせて配置される。
【0013】
図２は、第１実施形態に係る撮像部２及び位置検出部３の一例を示す図である。撮像部２は、光学系５及び撮像素子６を備える。光学系５は、例えば、結像光学系、撮像光学系である。撮像素子６は、例えば、ＣＭＯＳイメージセンサあるいはＣＣＤイメージセンサを含む。撮像素子６は、二次元的に配列された複数の画素を有する。撮像素子６は、光学系５を介して、対象領域ＡＲを撮像する。
【0014】
撮像部２は、第１波長帯の光Ｌ１（例、可視光）を検出する。撮像部２は、その撮像結果（検出結果）であるテクスチャ情報として、色の情報を含む画像データ（例、ＲＧＢデータ）を情報処理部４に出力する。画像データは、例えば、複数の画素のそれぞれの画素データを含む。画素データは、例えば、赤（Ｒ）の画素値と、緑（Ｇ）の画素値と、青（Ｂ）の画素値とを一組にしたデータである。
【0015】
位置検出部３は、所定の点（例、第２位置Ｖｐ２）から対象領域ＡＲにおける各点のまでのデプス情報（距離、位置情報）を検出する。位置検出部３は、例えば、デプスセンサを含み、デプス情報として（位置情報として）、第２位置Ｖｐ２（位置検出部３の位置）と対象領域ＡＲにおける各点との距離（測距データ）（例、デプス、奥行き、深度）を検出する。例えば、位置情報は、デプス情報を含むが、点の座標（例、後述する点群データ）、複数の点により規定される線又は面の情報（例、後述するサーフェス情報）を含んでもよい。
【0016】
位置検出部３は、照射部７、光学系８、及び撮像素子９を備える。照射部７は、対象領域ＡＲに第２波長帯の光Ｌ２（例、パターン光、照射光）を照射（例、投影）する。光Ｌ２は、例えば、赤外光を含み、撮像部２が検出する光Ｌ１と波長帯が異なる。光学系８は、例えば、結像光学系、撮像光学系である。撮像素子９は、例えば、ＣＭＯＳイメージセンサあるいはＣＣＤイメージセンサを含む。撮像素子９は、二次元的に配列された複数の画素を有する。撮像素子６は、光学系８を介して、対象領域ＡＲを撮像する。撮像素子９は、光Ｌ２の照射によって対象領域ＡＲから放射される光Ｌ３（赤外光、戻り光）を検出する。
【0017】
位置検出部３は、例えば、照射部７から照射される光Ｌ２のパターン（例、強度分布）と、撮像素子９によって検出された光Ｌ３のパターン（強度分布、撮像画像）に基づいて、撮像素子９の各画素に対応する対象領域ＡＲ上の点から、撮像素子９の各画素までのデプスを検出する。位置検出部３は、その検出結果として、対象領域ＡＲにおけるデプスの分布を表したデプスマップ（例、デプス画像、奥行き情報、位置情報）を情報処理部４に出力する。図２において、撮像部２の光学系５の光軸５Ａは、位置検出部３の光学系８の光軸８Ａとは異なる。この場合、撮像部２による視野（第１位置Ｖｐ１、第１の視野、撮像範囲、検出範囲）は、位置検出部３による視野（第２位置Ｖｐ２、第２の視野、検出範囲）とは異なる（例、視野のうち重なる領域と重ならない領域とがある）。
【0018】
実施形態に係る撮像部２は、位置検出部３と光軸が同じでもよい。図３は、第１実施形態に係る撮像部２及び位置検出部３の他の例を示す図である。図３に示すように、例えば、撮像部２は、光学系５、ダイクロイックミラー１１、及び撮像素子９を備える。光学系５は、撮像部２と位置検出部３とで共用である。ダイクロイックミラー１１は、第１波長帯の光Ｌ１が反射し、第１波長帯（光Ｌ１）とは異なる第２波長帯の光Ｌ３が透過する。撮像素子６は、ダイクロイックミラー１１で反射した光Ｌ１を撮像によって検出する。撮像素子９は、ダイクロイックミラー１１を透過した光Ｌ３を撮像によって検出する。撮像部２の視野は、例えば、位置検出部３の視野と実質的に同じである。
【0019】
なお、位置検出部３は、ＴＯＦ（time of flight）法によってデプス情報を検出するデバイスでもよい。また、位置検出部３は、ＴＯＦ法以外の手法でデプス情報を検出するデバイスでもよい。位置検出部３は、例えば、レーザスキャナ（例、レーザ測距器）を含み、レーザスキャンによってデプス情報を検出するデバイスでもよい。位置検出部３は、例えば、位相差センサを含み、位相差法によってデプス情報を検出するデバイスでもよい。位置検出部３は、例えば、ＤＦＤ(depth from defocus)法によってデプス情報を検出するデバイスでもよい。
【0020】
また、位置検出部３は、例えば、ステレオカメラなどによって複数の位置から撮像した撮像画像を用いて、三角測量によってデプス情報を検出するデバイスでもよい。この場合、位置検出部３は、撮像部２による撮像画像を１位置からの撮像画像として利用してもよい。位置検出部３は、上述した複数の検出法のうち２以上を組み合わせて、デプス情報（位置情報）を検出するデバイスでもよい。位置検出部３は、光学的な手法以外の手法（例、超音波によるスキャン）で対象領域ＡＲのデプス情報（位置情報）を検出してもよい。
【0021】
図１の説明に戻り、撮像部２の視野は、例えば、図２の構成の場合、位置検出部３の視野と異なる。撮像部２による第１の検出範囲（第１の視野、撮像範囲）は、位置検出部３による第２の検出範囲（第２の視野）と異なる。ここで、撮像部２と位置検出部３とで検出範囲が異なる場合（又は、第１の検出範囲において物体Ｘ１の陰になる領域が含まれる場合）、対象領域ＡＲに、撮像部２によるテクスチャ情報が、部分的に欠損するデータ欠損領域（例、オクル－ジョン領域、遮蔽領域）ＡＲ１が存在する場合がある。
【0022】
図４は、第１実施形態に係る撮像部（テクスチャ検出部）２及び位置検出部３の位置関係とデータ欠損領域との一例を示す図である。図４に示すように、撮像部２の光軸と、位置検出部３の光軸とが異なる場合には、撮像部２の光軸（視点、位置）から見ると、位置検出部３が検出したデプス情報に基づく各点が同一ベクトル上に並んでしまう場合がある。そのため、それぞれの点とテクスチャ情報との対応関係が不明となる。つまり、撮像部２と位置検出部３とで検出範囲が異なる場合（又は、第２の検出範囲において物体Ｘ１の陰になる領域が含まれる場合）、対象領域ＡＲに、撮像部２によるテクスチャ情報が部分的に欠損するデータ欠損領域（例、テクスチャ欠損領域）ＡＲ１が存在する場合がある。データ欠損領域ＡＲ１では、位置検出部３からのデータ（例、位置情報、デプス情報のデータ）は取得（検出）されているが、撮像部２からのデータ（例、画像データ、画素データ）は取得（検出）されていない（データが得られても、データ量の少ない領域を含む）領域である。データ欠損領域ＡＲ１は、例えば、第１位置Ｖｐ１から物体Ｘ１の陰になる領域を含む。また、データ欠損領域ＡＲ１は、例えば、物体Ｘ１の表面領域のうち、第１位置Ｖｐ１から見通すことが可能な領域（例、前面の領域）を除いた領域（例、背面の領域）を含む。
【0023】
図５は、第１実施形態に係る撮像画像ＩＭ及びデプス情報の検出結果を示す図である。図５において符号ＤＭは、位置情報の検出結果に相当するデプスマップ（デプス画像、デプス情報、奥行き情報、複数のデプスのデータ）である。デプスマップＤＭは、例えば画像形式のデータで表される。デプスマップＤＭは、記憶部２４（図１参照）に記憶される。デプスマップＤＭにおける各画素の画素値は、例えば、デプスマップＤＭ上の画素に相当する実空間上の領域から位置検出部３までのデプス（距離）を表す。例えば、デプスマップＤＭは、グレースケールで表される。デプスマップＤＭにおいて、相対的に暗い（画素値が低い）領域は、相対的に明るい（画素値が高い）領域に比べて、位置検出部３からの距離が長い（深度が深い）ことを表す。
【0024】
撮像画像ＩＭは、例えば、フルカラーの画像である。符号ＡＲ２は、撮像画像ＩＭ上の物体Ｘ１に相当するデータ取得領域である。データ取得領域ＡＲ２は、撮像画像ＩＭに写っている物体Ｘ１を含む。また、符号ＡＲ３は、撮像画像ＩＭ上の物体Ｘ２に相当するデータ取得領域である。データ取得領域ＡＲ３は、撮像画像ＩＭに写っている物体Ｘ２を含む。
【0025】
ここで、撮像画像ＩＭにおいて、データ欠損領域ＡＲ１に属する各画素は、ＲＧＢデータを有していない。データ欠損領域ＡＲ１は、撮像画像ＩＭにおいてＲＧＢデータが存在せず、かつデプスマップＤＭにおいてデプス情報（位置情報）が存在する領域を含む。データ欠損領域ＡＲ１は、撮像部２（図１参照）から撮像画像のデータ（例、ＲＧＢデータ）が得られず、かつ位置検出部３（図１参照）からデプス情報（例、測定値、検出結果）が得られる領域である。
【0026】
撮像画像ＩＭにおいて、データ欠損領域ＡＲ１を除いた領域は、データ取得領域ＡＲ４である。データ取得領域ＡＲ４は、撮像部２（図１参照）から撮像画像のデータ（例、ＲＧＢデータ）が得られ、かつ位置検出部３（図１参照）からデプス情報（例、測定値、検出結果）が得られる領域を含む。データ取得領域ＡＲ４は、例えば、撮像部２による検出範囲（視野、撮像範囲）のうち、位置検出部３の検出範囲（視野）と重複する領域を含む。また、データ取得領域ＡＲ４は、撮像部２から撮像画像のデータ（例、ＲＧＢデータ）が得られ、かつ位置検出部３からデプス情報（例、測定値、検出結果）が得られない領域を含む。
【0027】
デプスマップＤＭにおいて、符号ＡＲ５は、物体Ｘ１（図１参照）に相当するデータ取得領域である。符号ＡＲ６は、物体Ｘ２（図１参照）に相当するデータ取得領域である。デプスマップＤＭにおけるデータ取得領域ＡＲ５において、物体Ｘ１の表面のデプス情報（位置情報）は存在するが、位置検出部３の位置（図１の第２位置Ｖｐ２）から見た場合に物体Ｘ１の陰（背後）に相当する領域のデプス情報（位置情報）が存在しない。
【0028】
なお、データ欠損領域ＡＲ１は、例えば、図３のように撮像部２と位置検出部３とで位置が同じであっても照明の違い（例、照度、照明角度など）や位置ずれ等によって、存在する場合がある。例えば、撮像部２の検出範囲（撮像範囲）は、自然光、環境光、室内灯の光などの照明光（例、可視光）によって照明される。また、位置検出部３の検出範囲は、例えば、照射部７から照射される光（例、赤外光）によって照明される。こうした場合、例えば、位置検出部３の検出範囲において照明される領域のうち、撮像部２の検出範囲において照明されない領域（例、物体又は物体の一部の陰になる領域）は、データ欠損領域ＡＲ１になる。
【0029】
また、データ欠損領域ＡＲ１は、撮像部２が検出する光（例、可視光）と位置検出部３が検出する光（例、赤外光）との波長の違いによって、存在する場合がある。例えば、対象領域ＡＲにおける光学特性（例、反射率、透過率、吸収率）が、検出される光の波長帯によって異なることによって、データ欠損領域ＡＲ１が生じる場合がある。例えば、赤外光が反射し、可視光が吸収される領域は、位置検出部３からデータが得られるが、撮像部２からデータが得られにくいデータ欠損領域ＡＲ１になる。
【0030】
図１の説明に戻り、実施形態に係る情報処理部４（情報処理装置）は、上述のようなデータ欠損領域ＡＲ１における各点又は各部分のデプス情報（位置情報）に基づいて、データ欠損領域ＡＲ１に対して、特定のテクスチャ情報を付加する。情報処理部４が付加した特定のテクスチャ情報は、例えば、データ欠損領域ＡＲ１のモデル化に利用される。情報処理部４は、撮像部２及び位置検出部３のそれぞれと通信可能に接続される。撮像部２は、撮像結果（検出結果）として、対象領域ＡＲの撮像画像ＩＭ（図５参照）のデータを、例えば、テクスチャ情報として情報処理部４に出力する。位置検出部３は、検出結果として、例えば、対象領域ＡＲのデプスマップＤＭ（図５参照）を情報処理部４に出力する。情報処理部４は、撮像部２から出力された撮像画像ＩＭのデータと、位置検出部３から出力されたデプスマップＤＭとに基づいて、データ欠損領域ＡＲ１に特定のテクスチャ情報を付加する。
【0031】
情報処理部４は、領域検出部２１と、モデル情報生成部２２と、付加部２３と、記憶部２４とを備える。領域検出部２１は、撮像部２による撮像画像ＩＭ及び位置検出部３の検出結果に基づいて、データ取得領域ＡＲ４及びデータ欠損領域ＡＲ１を検出（例、特定、抽出）する。以下の説明において、データ取得領域ＡＲ４及びデータ欠損領域ＡＲ１を検出（例、特定、抽出）する処理を、適宜、領域検出処理と称する。
【0032】
領域検出部２１は、撮像部２と位置検出部３との相対位置に基づいて、デプスマップＤＭ上のデプス情報（位置情報）と撮像画像ＩＭ上の位置情報とを対応付けて、データ欠損領域ＡＲ１を検出する。例えば、領域検出部２１は、撮像部２と位置検出部３との相対位置に基づくホモグラフィー変換（射影変換、透視変換）によって、撮像画像ＩＭ上の領域とデプスマップＤＭ上の領域との相対位置を特定する。
【0033】
領域検出部２１は、領域検出処理において、対象領域ＡＲの点と、第１位置（Ｖｐ１）と、を結ぶ線までの距離が閾値以下の点のうち、第１位置（Ｖｐ１）に最も近い点以外の点をデータ欠損領域ＡＲ１に属する点として判別する。領域検出部２１は、位置検出部３が位置情報として検出する第２位置（Ｖｐ２）から対象領域ＡＲの各点までの距離に基づいて、データ欠損領域ＡＲ１を検出する。領域検出部２１は、位置検出部３がデプス情報（位置情報）として検出する第２位置（Ｖｐ２）から対象領域ＡＲの各点までの距離（座標）に基づいて、データ欠損領域ＡＲ１を検出する。
【0034】
領域検出部２１は、領域検出処理において、デプスマップＤＭ上の領域（例、１つ又は複数の位置）ごとに、対応する領域が撮像画像ＩＭ上に存在するか否かを判定する。領域検出部２１は、デプスマップＤＭから選択される領域（例、１つ又は複数の位置）について、対応する領域が撮像画像ＩＭ上に存在する場合に、この領域がデータ取得領域ＡＲ５に含まれると判定する。また、領域検出部２１は、デプスマップＤＭから選択される領域（例、１つ又は複数の位置）について、対応する領域が撮像画像ＩＭ上に存在しない場合、この領域がデータ欠損領域ＡＲ１に含まれると判定する。デプスマップＤＭにおいて、データ取得領域ＡＲ７は、第２位置（Ｖｐ２）から位置検出部３がデプス情報（位置情報）として検出した領域であり、撮像画像ＩＭ上に存在しない領域を含む。
【0035】
モデル情報生成部２２は、撮像部２の撮像結果及び位置検出部３の検出結果を用いて、モデル情報を生成する。本実施形態では、撮像部２及び位置検出部３において、それぞれ別の単一の位置（例、物体Ｘ１を検出する軸（例、光軸）が互いに異なる位置、物体Ｘ１を検出する軸（例、光軸）が互いに平行ではない位置）からの検出結果に基づくため（それぞれ別の単一視点に配置された検出装置１の検出部による検出結果に基づくため）、モデル情報生成部２２が生成するモデル情報は、物体Ｘ１の全周のうち一部のデータ（デプス情報、テクスチャ情報）が欠損している。このような一部が欠損したモデル情報を可視化（例、レンダリング処理）した際に、データ欠損領域ＡＲ１に不自然なテクスチャ情報が付加されると、モデル情報の全体が不自然となり、又は見栄えが悪くなり、利用価値を低下させることになる。本実施形態では、データ欠損領域ＡＲ１に後述する特定のテクスチャ情報（所定テクスチャ情報）を付加することにより、モデル情報全体としての不自然さを軽減し、又は見栄えが悪くなるのを抑制することが可能となる。また、モデル情報生成部２２は、データ欠損領域ＡＲ１が特定された後に、特定されたデータ欠損領域ＡＲ１の部分又はその部分の境界を色付けする（又は線で囲う等）、又はグラデーション表示させる等でデータ欠損領域ＡＲ１を強調して可視化（例、レンダリング処理）させるモデル情報を生成してもよい。
【0036】
モデル情報生成部２２は、例えば、対象領域ＡＲにおける物体の少なくとも一部をコンピュータグラフィック処理（ＣＧ処理）し、モデル情報（例、３次元のＣＧモデルデータ）を算出する。モデル情報は、対象領域ＡＲにおける物体の形状情報とテクスチャ情報との少なくとも一方を含む。モデル情報生成部２２は、位置検出部３が検出した位置情報に基づくデータ欠損領域ＡＲ１における形状情報と、撮像部２の撮像結果に基づくテクスチャ情報、及びデータ欠損領域ＡＲ１において後述する付加部２３により付加された特定のテクスチャ情報と、を関連付けてモデル情報を生成する。
【0037】
モデル情報生成部２２は、形状情報として点群データを算出する点群データ処理を実行する。点群データは、対象領域ＡＲにおける物体（例、物体Ｘ１、物体Ｘ２）上の複数の点の３次元座標を含む。また、モデル情報生成部２２は、位置検出部３の検出結果（例、デプスの測定値）を用いて、データ取得領域ＡＲ７（図５参照）における点群データを算出してもよい。
【0038】
モデル情報生成部２２は、データ取得領域ＡＲ７の一部について点群データを算出してもよい。データ取得領域ＡＲ７の一部以外の点群データについては、モデル情報生成部２２と異なる処理部（例、第２のモデル情報生成部）が算出してもよい。例えば、モデル情報生成部２２が算出する点群データと、第２のモデル情報生成部が算出する点群データとの合成によって、データ取得領域ＡＲ７全体の点群データが取得されてもよい。
【0039】
モデル情報生成部２２は、記憶部２４からデプスマップＤＭのデータを読み出し、デプスマップＤＭから平面画像への透視変換などによって、点群データを算出する。例えば、モデル情報生成部２２は、所定のデプス情報に対応する第１の画素（物体上の第１の点）と、第１の画素に隣接する第２の画素（物体上の第２の点）とを連結させる。さらに、モデル情報生成部２２は、第２の画素に隣接する第３の画素（物体上の第３の点）についても同様に、第２の画素と第３の画素とを連結する。モデル情報生成部２２は、上述のように、所定のデプス情報に対応し隣接する画素を順に連結することによって、画素をもとに所定のデプス情報を有する点群データを算出する。そして、モデル情報生成部２２は、算出した点群データを記憶部２４に記憶させる。
【0040】
また、モデル情報生成部２２は、形状情報としてサーフェス情報を算出するサーフェス処理を実行する。サーフェス情報は、例えば、ポリゴンデータ、ベクタデータ、及びドローデータの少なくとも１つを含む。サーフェス情報は、物体の表面上の複数の点の座標と、複数の点間の連結情報とを含む。連結情報（例、属性情報）は、例えば、物体表面の稜線（例、エッジ）に相当する線の両端の点を互いに関連付ける情報を含む。また、連結情報は、例えば、物体表面（サーフェス）の輪郭に相当する複数の線を互いに関連付ける情報を含む。
【0041】
モデル情報生成部２２は、サーフェス処理において、点群データに含まれる複数の点から選択される点とその近傍の点との間の面を推定する。また、モデル情報生成部２２は、サーフェス処理において、点群データを点間の平面情報を持つポリゴンデータに変換する。モデル情報生成部２２は、例えば、最小二乗法を用いたアルゴリズムにより、点群データをポリゴンデータへ変換する。このアルゴリズムは、例えば、点群処理ライブラリに公開されているアルゴリズムを適用したものでもよい。モデル情報生成部２２は、例えば、算出したサーフェス情報を記憶部２４に記憶させる。
【0042】
また、モデル情報生成部２２は、３次元の点座標及びその関連情報で規定された面のテクスチャ情報を生成する。テクスチャ情報は、例えば、物体表面の文字や図形、模様、質感、パターン、凹凸を規定する情報、特定の画像、及び色彩（例、有彩色、無彩色）の少なくとも１つの情報を含む。モデル情報生成部２２は、生成したテクスチャ情報を記憶部２４に記憶させる。
【0043】
モデル情報生成部２２は、モデル情報として、画像の空間情報（例、照明条件、光源情報）を生成してもよい。光源情報は、例えば、物体（対象物）を基準とした照明光を照射する光源の位置、この光源から物体へ光が照射される方向（照射方向）、この光源から照射される光の波長、及びこの光源の種類のうち少なくとも１項目の情報を含む。モデル情報生成部２２は、例えば、ランバート反射を仮定したモデル、アルベド（Albedo）推定を含むモデルなどを利用して、光源情報を算出してもよい。モデル情報生成部２２は、生成（例、算出）したモデル情報の少なくとも一部を記憶部２４に記憶させる。なお、モデル情報生成部２２は、上述したモデル情報の一部を生成しなくてもよい。
【0044】
付加部２３は、領域検出部２１が検出したデータ欠損領域ＡＲ１に対して特定のテクスチャ情報を付加する。付加部２３は、データ欠損領域ＡＲ１に対して特定のテクスチャ情報を補足する補足部、又は、データ欠損領域ＡＲ１に対して特定のテクスチャ情報を補完する補完部である。データ欠損領域ＡＲ１は、位置検出部３が検出した各点のデプス情報（位置情報）において、第１位置（Ｖｐ１）を起点とする線上に複数の点が存在する場合（図４参照）、第１位置（Ｖｐ１）から最も近い点を除いた点を複数含んでいる。付加部２３は、データ欠損領域ＡＲ１に含まれた複数の点で規定される領域に対して特定のテクスチャ情報を付加する。このような場合、例えば、本実施形態は、モデル情報に対して、デプス情報に基づいてＲＧＢ視点で一番手前の点で作られた面にだけテクスチャ情報を貼り、それ以外の面には、予め定めたパターンの特定のテクスチャ情報(例、白、グレー)を貼る。
【0045】
付加部２３は、データ欠損領域ＡＲ１に対して特定のテクスチャ情報を付加するテクスチャ付加処理を実行する。特定のテクスチャ情報は、撮像部２が検出する物体（例、物体Ｘ１）のテクスチャ情報とは異なる。特定のテクスチャ情報は、予め定められた特定のテクスチャ情報であってもよいし、データ欠損領域ＡＲ１に応じて付加部２３により生成されてもよい。
【0046】
予め定められた特定のテクスチャ情報は、撮像部２が物体を撮像するよりも前に記憶部２４に記憶された情報に基づいてもよい。特定のテクスチャ情報は、記憶部２４に記憶された１つ又は複数の特定のテクスチャ情報の候補の中から付加部２３により選択されてもよい。特定のテクスチャ情報は、複数のデータ欠損領域に対して予め決められた共通の同じテクスチャ情報であってもよい。記憶部２４に記憶される特定のテクスチャ情報を用いることにより、付加部２３によるテクスチャ付加処理に要する負荷を軽くできる。特定のテクスチャ情報は、グレー（例、グレースケールにおける１８％グレー）、白、黒、単一色のいずれか１つ、又は複数が組み合わされたものを含む。特定のテクスチャ情報は、例えば、物体Ｘ１のテクスチャ（ＲＧＢデータ）が白である場合に、白以外の色であってもよい。特定のテクスチャ情報は、前側の物体（例、物体Ｘ１）と、後ろ側の物体（例、物体Ｘ２）との境界を強調するような（物体Ｘ１を物体Ｘ２に対して明確にするような）色、模様等であってもよい。特定のテクスチャ情報は、グラデーションが設定されてもよい。特定のテクスチャ情報にグラデーションが設定される場合、例えば、物体（例、物体Ｘ１）に近い側が濃くなるように設定されてもよいし、物体（例、物体Ｘ１）に遠い側が濃くなるように設定されてもよい。
【0047】
特定のテクスチャ情報を生成する場合、付加部２３は、点群データのうちＲＧＢデータが存在する点同士の間をグラデーションで補完するような特定のテクスチャ情報を生成してもよい。また、付加部２３は、撮像部２による第１位置Ｖｐ１からの撮像画像ＩＭのＲＧＢ画像全体、又は、そのＲＧＢ画像から物体Ｘ１の情報を除いた物体Ｘ２の情報に基づいて、明度、彩度、色相のいずれか１つ、又は、これら複数の平均をとって特定された特定のテクスチャ情報（例、単一色のテクスチャ情報）を生成してもよい。また、付加部２３は、第１位置Ｖｐ１からの撮像画像ＩＭのＲＧＢ画像から物体Ｘ１の情報を除いた物体Ｘ２の情報に基づいて、データ欠損領域ＡＲ１の近傍の点（点群データのうちＲＧＢデータが存在する点）の色（例、ＲＧＢデータ）を用いて特定のテクスチャ情報を生成してもよい。
【0048】
次に、実施形態に係る検出装置１の動作に基づき、実施形態に係る検出方法について説明する。図６は、第１実施形態に係る検出方法を示すフローチャートである。検出装置１の各部については、適宜、図１を参照する。ステップＳ１において、撮像部２は、物体Ｘ１を含む対象領域ＡＲを撮像する。ステップＳ２において、位置検出部３は、所定の点から対象領域ＡＲの各点までのデプス情報（位置情報）を検出する。なお、ステップＳ２の処理は、ステップＳ１の処理よりも前に実行されてもよい。また、ステップＳ２の処理は、ステップＳ１の処理の少なくとも一部と並行して、実行されてもよい。
【0049】
ステップＳ３において、領域検出部２１は、データ欠損領域ＡＲ１を検出する領域検出処理を実行する。領域検出部２１は、ステップＳ１で得られる撮像部２の撮像結果（検出結果）と、ステップＳ２で得られる位置検出部３の検出結果とに基づいて、データ欠損領域ＡＲ１を検出する。なお、ステップＳ３において、領域検出部２１は、データ取得領域ＡＲ４とデータ欠損領域ＡＲ１とを検出する領域検出処理を実行してもよい。
【0050】
ステップＳ４において、付加部２３は、データ欠損領域ＡＲ１に特定のテクスチャ情報を付加する。特定のテクスチャ情報は、物体（例、物体Ｘ１、Ｘ２）のテクスチャとは異なる。付加部２３は、例えば、記憶部２４に記憶されている特定のテクスチャ情報の候補の中からデータ欠損領域ＡＲ１に付与する特定のテクスチャ情報を選定する。ステップＳ４において、付加部２３は、予め定められた特定のテクスチャ情報を記憶部２４から読み出してデータ欠損領域ＡＲ１に対する特定のテクスチャ情報を特定してもよいし、データ取得領域ＡＲ４のＲＧＢデータからデータ欠損領域ＡＲ１に付与すべき特定のテクスチャ情報を判定し、記憶部２４に記憶されている複数の特定のテクスチャ情報の候補の中から選択してもよい。
【0051】
ステップＳ５において、モデル情報生成部２２は、モデル情報を生成する。ステップＳ５は、例えば、ステップＳ６からステップＳ９の処理が実行される。ステップＳ６において、モデル情報生成部２２は、モデル情報として点群データを生成する。ステップＳ７において、モデル情報生成部２２は、ステップＳ６で生成した点群データを用いて、モデル情報としてサーフェス情報を生成する。ステップＳ８において、モデル情報生成部２２は、撮像部２から得られる撮像画像を用いて、テクスチャ情報を生成する。ステップＳ９において、モデル情報生成部２２は、点群データ等の形状情報と、テクスチャ情報及び特定のテクスチャ情報とを関連付けたモデル情報を生成する。
【0052】
次に、図７を参照しつつ、図６のステップＳ３の処理について説明する。図７は、第１実施形態に係る領域検出処理を示すフローチャートである。ステップＳ１１において、領域検出部２１（図１参照）は、デプスマップＤＭ上の位置と撮像画像ＩＭ上の位置とを対応付ける。ステップＳ１２において、領域検出部２１は、デプスマップＤＭから領域（適宜、第１領域という）を選択する。ステップＳ１３において、領域検出部２１は、第１領域と対応する領域（適宜、第２領域という）が撮像画像ＩＭにあるか否かを判定する。
【0053】
領域検出部２１は、第１領域に対応する第２領域が撮像画像ＩＭに存在すると判定した場合（ステップＳ１３；Ｙｅｓ）、ステップＳ１４において第２領域のＲＧＢデータがＮＡＮであるか否かを判定する。ＲＧＢデータが「ＮＡＮ」であることは、ＲＧＢデータが存在しないこと（Ｎｏｔ Ａ Ｎｕｍｂｅｒ）を表す。領域検出部２１は、第２領域のＲＧＢデータがＮＡＮでない（有意な値を有する）と判定した場合（ステップＳ１４；Ｎｏ）、ステップＳ１５において第１領域をデータ取得領域ＡＲ４に属する領域として登録する。
【0054】
領域検出部２１は、ステップＳ１３において第１領域に対応する第２領域が撮像画像ＩＭに存在しないと判定した場合（ステップＳ１３；Ｎｏ）、又はステップＳ１４において第２領域のＲＧＢデータがＮＡＮであると判定した場合（ステップＳ１４；Ｙｅｓ）、第１領域をデータ欠損領域ＡＲ１に属する領域として登録する。
【0055】
領域検出部２１は、ステップＳ１５の処理後又はステップＳ１６の処理後に、ステップＳ１７において第１領域の選択を変更するか否かを判定する。領域検出部２１は、例えば、デプスマップＤＭにおいて予定された一部の領域について、データ取得領域ＡＲ４又はデータ欠損領域ＡＲ１に属するかの検出（ステップＳ１５またはステップＳ１６）が完了していないと判定した場合に、第１領域の選択を変更すると判定する（ステップＳ１７；Ｙｅｓ）。領域検出部２１は、第１領域の選択を変更すると判定した場合（ステップＳ１７；Ｙｅｓ）、ステップＳ１２の処理に戻り、デプスマップＤＭから次の領域（第１領域）を選択し、以降の処理を繰り返す。
【0056】
領域検出部２１は、ステップＳ１７において、デプスマップＤＭにおいて予定された全部の領域について、データ取得領域ＡＲ４又はデータ欠損領域ＡＲ１に属するかの検出（ステップＳ１５またはステップＳ１６）が完了したと判定した場合に、第１領域の選択を変更しないと判定する（ステップＳ１７；Ｎｏ）。領域検出部２１は、第１領域の選択を変更しないと判定した場合（ステップＳ１７；Ｎｏ）、データ欠損領域ＡＲ１とデータ取得領域ＡＲ４とを区別する情報を記憶部２４（図１参照）に記憶させ、一連の処理を終了する。データ欠損領域ＡＲ１とデータ取得領域ＡＲ４とを区別する情報は、例えば、デプスマップＤＭのデプス情報（位置情報）ごとに、データ欠損領域ＡＲ１に属することを「０」で表し、データ取得領域ＡＲ４に属することを「１」で表すフラグデータである。
【0057】
図６及び図７に示す一連の処理が実行されることにより、図８に示すようなモデル情報が生成される。図８（Ａ）は第１実施形態に係るモデル情報を表示した一例を示す図、図８（Ｂ）は第１実施形態に係るモデル情報を表示した他の例を示す図である。図８（Ａ）及び図８（Ｂ）は、モデル情報ＭＤ１、ＭＤ２をＣＧ画像として表示部の画面に表示した例をそれぞれ示している。
【0058】
付加部２３が、グレーの特定のテクスチャ情報をデータ欠損領域ＡＲ１に付加した場合、図８（Ａ）に示すように、モデル情報生成部２２は、形状情報のうちデータ取得領域ＡＲ２には物体Ｘ１のテクスチャ（ＲＧＢデータ）を張り付け、データ取得領域ＡＲ３には物体Ｘ２のテクスチャ（ＲＧＢデータ）を張り付け、データ欠損領域ＡＲ１にはグレーの特定のテクスチャ情報を張り付けたモデル情報ＭＤ１を生成する。モデル情報ＭＤ１は、例えば、物体Ｘ１の模様、形状等が複雑な場合、データ欠損領域ＡＲ１がグレーとなるので、物体Ｘ１の模様、形状等が強調され、違和感（物体Ｘ１の不自然さ）を軽減できる。
【0059】
また、付加部２３が、グラデーションを設定した特定のテクスチャ情報をデータ欠損領域ＡＲ１に付加した場合、図８（Ｂ）に示すように、モデル情報生成部２２は、形状情報のうちデータ取得領域ＡＲ２には物体Ｘ１のテクスチャ（ＲＧＢデータ）を張り付け、データ取得領域ＡＲ３には物体Ｘ２のテクスチャ（ＲＧＢデータ）を張り付け、データ欠損領域ＡＲ１にはグラデーションを設定した特定のテクスチャ情報（例、グレーのグラデーション）を張り付けたモデル情報ＭＤ２を生成する。モデル情報ＭＤ２は、例えば、物体Ｘ１の模様、形状等が複雑な場合、データ欠損領域ＡＲ１では物体Ｘ１から遠ざかるにつれて薄くなるグラデーションとなっているので、物体Ｘ１の模様、形状等が強調され、違和感（物体Ｘ１の不自然さ）を軽減できる。
【0060】
本実施形態において、図１のデータ欠損領域ＡＲ１は、位置検出部３（第２位置Ｖｐ２）から検出可能な領域である。ここで、データ欠損領域ＡＲ１に所定テクスチャ情報が付加されないとする。この場合、例えば、データ欠損領域ＡＲ１のＲＧＢデータが欠如し、情報処理部４は、データ欠損領域ＡＲ１に他の点のＲＧＢデータを用いたテクスチャ情報を形状情報に対応付ける場合がある。このようなモデル情報に基づいてレンダリング処理を実行する場合、例えば、データ欠損領域ＡＲ１に物体Ｘ２の形状情報が得られていても、データ欠損領域ＡＲ１に物体Ｘ１の（すなわち他の点の）ＲＧＢデータが貼り付けられて、物体（例、物体Ｘ１）の後方にゴースト（図９のゴーストＧ参照）が表示されることがある。
【0061】
本実施形態に係る検出装置１は、データ欠損領域ＡＲ１に特定のテクスチャ情報を付加するので、例えば、データ欠損領域ＡＲ１の形状情報と特定のテクスチャ情報とを関連付けてモデル情報を生成することができる。例えば、このモデル情報を用いてレンダリング処理を実行すると、データ欠損領域ＡＲ１に特定のテクスチャが表現され、物体（例、物体Ｘ１）の模様、形状等を強調するので、違和感（物体の不自然さ）を軽減できる。
【0062】
図９は、モデル情報ＭＤ１とモデル情報ＭＤとをＣＧ画像として表示部の画面に表示した例を示している。図９に示す例において、表示部の画面Ｄにおいて、本実施形態によりデータ欠損領域ＡＲ１に特定のテクスチャ情報を付加したモデル情報ＭＤ１を画面Ｄの左側に表示し、データ欠損領域ＡＲ１に特定のテクスチャ情報を付加していないモデル情報ＭＤを画面Ｄの右側に表示して、モデル情報ＭＤ１とモデル情報ＭＤとのＣＧ画像を１つの画面Ｄに並べて表示している。
【0063】
モデル情報ＭＤの表示画像では、物体Ｘ１の後方に物体Ｘ１の表面のテクスチャが貼り付けられ、物体Ｘ１の後方から物体Ｘ２にかけてゴーストＧが生じており、物体Ｘ１のモデル情報として違和感（物体の不自然さ）がある表示となっている。ゴーストＧは、例えば、物体Ｘ１から物体Ｘ２にかけて連続して生じる場合がある。そのため、物体Ｘ１と物体Ｘ２とが一続きとなって物体Ｘ１のモデル情報としては違和感を生じさせる要因となる。一方、モデル情報ＭＤ１の表示画像では、物体Ｘ１の後方に特定のテクスチャ情報に基づくグレーのテクスチャが貼り付けられている。そのため、物体Ｘ１の模様、形状等が強調され、又は物体Ｘ１が物体Ｘ２から分離していることが認識され、物体Ｘ１のモデル情報として違和感を軽減できる。
【0064】
なお、本実施形態の情報処理部４において、付加部２３は、モデル情報生成部２２と別に設けられることに限定されず、付加部２３がモデル情報生成部２２に含まれていてもよい。この場合、上記した図６のフローチャートにおいて、ステップＳ４は、ステップＳ５におけるモデル情報の生成において、ステップＳ４に示すデータ欠損領域ＡＲ１に対する所定テクスチャ情報の付加を行ってもよい。
【0065】
また、情報処理部４は、検出装置１と別の装置（例、情報処理装置）として提供されてもよい。例えば、情報処理部４（情報処理装置）は、撮像部２と位置検出部３との一方又は双方と別に提供されてもよい。また、領域検出部２１を撮像部２、位置検出部３に備えるようにしてもよい。また、情報処理部４（情報処理装置）は、モデル情報生成部２２を備えなくてもよい。モデル情報生成部２２は、情報処理部４と別の装置に設けられてもよい。
【0066】
情報処理部４は、例えば、クラウドコンピュータを含んでもよい。情報処理部４は、例えばインターネット回線を介して、撮像部２及び位置検出部３のそれぞれと接続されてもよい。情報処理部４は、撮像部２の撮像結果から得られる情報（例、撮像画像のデータ）と、位置検出部３の検出結果から得られる情報（例、デプスマップ、点群データ）とを、インターネット回線を介して取得し、取得したデータに基づいて上述の処理を実行してもよい。情報処理部４は、例えば、その処理結果（例、モデル情報）について、インターネット回線を介して、外部の装置（例、表示装置、サーバ、他のコンピュータシステム）に出力してもよい。
【0067】
［第２実施形態］
次に、第２実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１０は、第２実施形態に係る検出装置１Ａの一例を示す図である。本実施形態において、検出装置１Ａはテクスチャ推定部２５を備える。テクスチャ推定部２５は、データ欠損領域ＡＲ１に付加部２３が付加する特定のテクスチャ情報を推定する。テクスチャ推定部２５は、例えば、撮像部２が取得した情報（例、ＲＧＢデータ）に基づいて、データ欠損領域ＡＲ１に付加する特定のテクスチャ情報を推定するテクスチャ推定処理を実行する。
次に、第２実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１０は、第２実施形態に係る検出装置１Ａの一例を示す図である。本実施形態において、検出装置１Ａはテクスチャ推定部２５を備える。テクスチャ推定部２５は、データ欠損領域ＡＲ１に付加部２３が付加する特定のテクスチャ情報を推定する。テクスチャ推定部２５は、例えば、撮像部２が取得した情報（例、ＲＧＢデータ）に基づいて、データ欠損領域ＡＲ１に付加する特定のテクスチャ情報を推定するテクスチャ推定処理を実行する。
【0068】
テクスチャ推定処理は、例えば、撮像部２が取得した物体（例、物体Ｘ１、Ｘ２）のテクスチャ情報から、データ欠損領域ＡＲ１に付加する特定のテクスチャ情報を推定する。テクスチャ推定処理の一例として、テクスチャ推定部２５は、データ取得領域ＡＲ４の位置情報と、データ欠損領域ＡＲ１において取得しているデプス情報（位置情報）とで連続性のある面（例、平面、曲面、球面）を抽出（特定）する。この連続性のある面のうち、データ取得領域ＡＲ４ではテクスチャ情報を得ているので、このテクスチャと連続するようにデータ欠損領域ＡＲ１における特定のテクスチャ情報を推定する。テクスチャ推定部２５が推定する特定のテクスチャ情報は、例えば、データ取得領域ＡＲ４において取得しているテクスチャ情報の色、模様等が同一又はほぼ同一であり、データ欠損領域ＡＲ１に付加したときにデータ取得領域ＡＲ４のテクスチャ情報と連続する。
【0069】
また、テクスチャ推定処理の他の例として、テクスチャ推定部２５は、データ取得領域ＡＲ４のテクスチャ情報のうち物体（例、物体Ｘ１）のＲＧＢデータにおいて平均の色を算出する。テクスチャ推定部２５は、この物体の平均の色を強調する（浮き立たせる）関係の色を判定する。この色の判定は、例えば、明度、彩度、色度の少なくとも１つを用いて判定してもよいし、予め記憶部２４に複数のパターンを記憶しておき、テクスチャ推定部２５が、記憶部２４に記憶されたパターンから選定してもよい。テクスチャ推定部２５は、判定した色を付与した特定のテクスチャ情報を推定する。
【0070】
また、テクスチャ推定処理の他の例として、テクスチャ推定部２５は、複数の物体（例、物体Ｘ１、Ｘ２）がある場合、物体Ｘ１のテクスチャ情報（ＲＧＢデータ）と、物体Ｘ２のテクスチャ情報（ＲＧＢデータ）とを用いて、物体Ｘ１と物体Ｘ２との間で色、模様が連続的に変化するような色変化又は模様の変化を特定した特定のテクスチャ情報を推定してもよい。
【0071】
また、テクスチャ推定部２５は、特定のテクスチャ情報を複数推定し、使用者が複数の特定のテクスチャ情報の候補の中から選択可能であってもよい。この場合、テクスチャ推定部２５は、表示部の画面に複数の特定のテクスチャ情報の候補を切り替え可能に表示させてもよい。表示部の画面には、特定のテクスチャ情報の候補をデータ欠損領域ＡＲ１に付加した状態を表示させてもよい。使用者は、表示部の画面を見ながら、データ欠損領域ＡＲ１において好ましい（適した、違和感のない、不自然さが少ない）特定のテクスチャ情報を選択可能としてもよい。
【0072】
次に、第２実施形態に係る検出装置１Ａの動作に基づき、実施形態に係る検出方法について説明する。図１１は、第２実施形態に係る検出方法を示すフローチャートである。検出装置１Ａの各部については、適宜、図１０を参照する。なお、上述した図６に示すフローチャートと同様の処理については、同じ符号を付している。ステップＳ１において、撮像部２は、物体Ｘ１を含む対象領域ＡＲを撮像する。ステップＳ２において、位置検出部３は、所定の点から対象領域ＡＲの各点までのデプス情報（位置情報）を検出する。なお、ステップＳ２の処理は、ステップＳ１の処理よりも前に実行されてもよい。また、ステップＳ２の処理は、ステップＳ１の処理の少なくとも一部と並行して、実行されてもよい。
【0073】
ステップＳ３において、領域検出部２１は、データ欠損領域ＡＲ１を検出する領域検出処理を実行する。領域検出部２１は、ステップＳ１で得られる撮像部２の撮像結果（検出結果）と、ステップＳ２で得られる位置検出部３の検出結果とに基づいて、データ欠損領域ＡＲ１を検出する。なお、ステップＳ３において、領域検出部２１は、データ取得領域ＡＲ４とデータ欠損領域ＡＲ１とを検出する領域検出処理を実行してもよい。
【0074】
ステップＳ２１において、テクスチャ推定部２５は、データ欠損領域ＡＲ１に付加する特定のテクスチャ情報を推定する。テクスチャ推定部２５は、データ欠損領域ＡＲ１に付加するテクスチャ情報を推定するテクスチャ推定処理を実行する。テクスチャ推定部２５は、推定した特定のテクスチャ情報を記憶部２４に記憶させてもよい。また、ステップＳ２１において、テクスチャ推定部２５は、推定した特定のテクスチャ情報を表示部の画面に表示させ、使用者に特定のテクスチャ情報の使用の可否を求めてもよい。この場合、使用者は、表示部の画面に表示された特定のテクスチャ情報を見て、特定のテクスチャ情報の使用の可否を判断することができる。
【0075】
ステップＳ２２において、付加部２３は、テクスチャ推定部２５が推定した特定のテクスチャ情報をデータ欠損領域ＡＲ１に付加する。ステップＳ５において、モデル情報生成部２２は、モデル情報を生成する。ステップＳ５は、例えば、ステップＳ６からＳ９の処理が実行される。ステップＳ６において、モデル情報生成部２２は、モデル情報として点群データを生成する。ステップＳ７において、モデル情報生成部２２は、ステップＳ６で生成した点群データを用いて、モデル情報としてサーフェス情報を生成する。ステップＳ８において、モデル情報生成部２２は、撮像部２から得られる撮像画像を用いて、テクスチャ情報を生成する。ステップＳ９において、モデル情報生成部２２は、点群データ等の形状情報と、テクスチャ情報及び特定のテクスチャ情報とを関連付けたモデル情報を生成する。
【0076】
図１１に示す一連の処理を実行することにより、データ欠損領域ＡＲ１に特定のテクスチャ情報が貼り付けられた３Ｄモデル（ＣＧ画像）が生成される（図８（Ａ）、（Ｂ）参照）。このように、本実施形態によれば、データ欠損領域ＡＲ１に不適切なテクスチャ（例、図９に示すゴーストＧ）が貼り付けられた３Ｄモデルに比べて違和感（物体の不自然さ）を軽減できる。また、本実施形態によれば、特定のテクスチャ情報をテクスチャ推定部２５が推定するので、モデル化する物体（例、物体Ｘ１）に合わせた特定のテクスチャ情報をデータ欠損領域ＡＲ１に付加することができ、より一層違和感（不自然さ）を軽減できる。
【0077】
［第３実施形態］
次に、第３実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１２は、第３実施形態に係る検出装置１Ｂの一例を示す図である。本実施形態において、検出装置１Ｂは、撮像部２Ａ及び位置検出部３Ａを含む検出部と、撮像部２Ｂ及び位置検出部３Ｂを含む検出部との２つの検出部を備えている。撮像部２Ａ及び位置検出部３Ａは、位置Ｖｐ１Ａ、Ｖｐ１Ｂ（図示せず）に設定され、撮像部２Ｂ及び位置検出部３Ｂは、位置Ｖｐ１Ａ、Ｖｐ１Ｂとそれぞれ異なる位置Ｖｐ２Ａ、Ｖｐ２Ｂ（図示せず）に設定されている。なお、本実施形態では、検出部が２つの場合を示しているが、検出部の数が３つ以上であってもよい。
次に、第３実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１２は、第３実施形態に係る検出装置１Ｂの一例を示す図である。本実施形態において、検出装置１Ｂは、撮像部２Ａ及び位置検出部３Ａを含む検出部と、撮像部２Ｂ及び位置検出部３Ｂを含む検出部との２つの検出部を備えている。撮像部２Ａ及び位置検出部３Ａは、位置Ｖｐ１Ａ、Ｖｐ１Ｂ（図示せず）に設定され、撮像部２Ｂ及び位置検出部３Ｂは、位置Ｖｐ１Ａ、Ｖｐ１Ｂとそれぞれ異なる位置Ｖｐ２Ａ、Ｖｐ２Ｂ（図示せず）に設定されている。なお、本実施形態では、検出部が２つの場合を示しているが、検出部の数が３つ以上であってもよい。
【0078】
情報処理部４は、領域検出部２１と、モデル情報生成部２２と、付加部２３と、記憶部２４と、モデル情報統合部（モデル統合部）２６とを備える。モデル情報生成部２２は、位置検出部３Ａが検出した対象領域ＡＲの位置情報から物体（例、物体Ｘ１）の第１形状情報（第１モデル情報）を生成する。モデル情報生成部２２は、位置検出部３Ａが検出したデプス情報（位置情報、第１デプスマップ）から点群データを生成し、この点群データを用いて、第１形状情報（例、第１サーフェス情報）を生成する。モデル情報生成部２２は、撮像部２Ａが撮像した撮像画像を用いて第１テクスチャ情報を生成し、この第１テクスチャ情報を関連付けた第１形状情報を生成してもよい。
【0079】
また、モデル情報生成部２２は、位置検出部３Ｂが検出した対象領域ＡＲの位置情報から物体（例、物体Ｘ１）の第２形状情報（第２モデル情報）を生成する。モデル情報生成部２２は、位置検出部３Ｂが検出したデプス情報（位置情報、第２デプスマップ）から点群データを生成し、この点群データを用いて、第２形状情報（例、第２サーフェス情報）を生成する。モデル情報生成部２２は、撮像部２Ｂが撮像した撮像画像を用いて第２テクスチャ情報を生成し、この第２テクスチャ情報を関連付けた第２形状情報を生成してもよい。
【0080】
モデル情報統合部２６は、第１形状情報と第２形状情報とを統合するモデル情報統合処理を実行する。モデル情報統合処理は、例えば、物体Ｘ１を位置Ｖｐ１Ａ、Ｖｐ１Ｂから検出した結果（第１の検出結果）に基づいて生成される第１形状情報と、物体Ｘ１を位置Ｖｐ２Ａ、Ｖｐ２Ｂから検出した結果（第２の検出結果）に基づいて生成される第２形状情報と統合して、統合形状情報（統合モデル情報）を生成する。また、モデル情報統合部２６は、撮像部２Ａ、２Ｂ及び位置検出部３Ａ、３Ｂ以外の位置（第３位置）から生成された第３形状情報（第３モデル情報）を取得して第１形状情報及び第２形状情報の一方又は双方を統合させて統合形状情報を生成してもよい。
【0081】
モデル情報統合部２６は、例えば、第１形状情報が示す形状のうちの第１特徴点と、第２形状情報が示す形状のうちの第２特徴点とを対応させて、第１形状情報と第２形状情報とを統合する。第１特徴点は、第１形状情報が示す形状のうち他の部分と識別可能な部分である。例えば、サーフェス情報において面に定義されている部分は、その外周の形状などにより、他の面と識別可能である。第２特徴点は、第２形状情報が示す形状のうち他の部分と識別可能な部分である。
【0082】
また、モデル情報統合部２６は、第１形状情報と、第１形状情報に関連付けられた第１テクスチャ情報との少なくとも一方を使って第１特徴点を検出し、第１特徴点の位置とその特徴点の特徴量（第１特徴量）とを示す第１特徴点データを算出する。モデル情報統合部２６は、例えば、第１特徴点データを第１形状情報の１項目の情報として、記憶部２４に記憶させる。また、モデル情報統合部２６は、例えば、第２形状情報と、第２形状情報に関連付けられた第２テクスチャ情報との少なくとも一方を使って第２特徴点を検出し、第２特徴点の位置とその特徴点の特徴量（第２特徴量）とを示す第２特徴点データを算出する。モデル情報統合部２６は、例えば、第２特徴点データを第２形状情報の１項目の情報として、記憶部２４に記憶させる。
【0083】
モデル情報統合部２６は、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform)法又はＳＵＲＦ（Speeded Up Robust Features）法により特徴点及び特徴量を算出する。なお、上記の特徴点データ（例、第１特徴点データ、第２特徴点データ)は、少なくとも特徴点の特徴量を含むデータである。
【0084】
モデル情報統合部２６は、第１形状情報の第１特徴量を有する第１特徴点データと、第２形状情報の第２特徴量を有する第２特徴点データとをマッチングさせて統合した第３特徴点データを含む統合形状情報を算出する。第３特徴点データは、第１特徴点データ（例、第１特徴量)と第２特徴点データ（例、第２特徴量)とをマッチングさせたデータである。第３特徴点データは、例えば、物体Ｘ１のうち、第１特徴点データと第２特徴点データとが重なる部分を含み、第１特徴点及び第２特徴点よりも広い範囲のデータである。なお、統合形状情報が示す形状は、物体Ｘ１の一部を示す部分モデルであってもよい。
【0085】
本実施形態では、撮像部２Ａ、２Ｂ及び位置検出部３Ａ、３Ｂにおいて、それぞれの位置から検出を行っているが、モデル情報生成部２２が生成する統合形状情報は、物体Ｘ１の全周の一部のデータ（位置情報、テクスチャ情報）が欠損している。また、統合形状情報は、第１形状情報と第２形状情報とを統合した情報であり、第１形状情報に関連付けられた第１テクスチャ情報と、第２形状情報に関連付けられた第２テクスチャ情報とを統合した統合テクスチャ情報が関連付けられてもよい。モデル情報生成部２２は、算出した統合形状情報を記憶部２４に記憶させる。
【0086】
領域検出部２１は、撮像部２Ａによる撮像画像及び撮像部２Ｂによる撮像画像（又は上記した統合テクスチャ情報）と、上記した統合形状情報とに基づいて、データ欠損領域ＡＲ１を検出（例、特定、抽出）する。このデータ欠損領域ＡＲ１は、統合形状情報において物体（例、物体Ｘ１）の形状情報（デプス情報、位置情報）が取得（検出）されているが、テクスチャ情報が取得（検出）されていない領域である。このデータ欠損領域ＡＲ１は、撮像部２Ａ及び位置検出部３Ａの検出結果に基づいて得られるデータ欠損領域より小さく、撮像部２Ｂ及び位置検出部３Ｂの検出結果に基づいて得られるデータ欠損領域より小さい。
【0087】
付加部２３は、領域検出部２１が検出したデータ欠損領域ＡＲ１に対して特定のテクスチャ情報を付加する。データ欠損領域ＡＲ１に付加する特定のテクスチャ情報は、撮像部２Ａ、２Ｂが検出する物体（例、物体Ｘ１）のテクスチャ情報とは異なる。特定のテクスチャ情報は、予め定められた特定のテクスチャ情報であってもよいし、データ欠損領域ＡＲ１に応じて推定された特定のテクスチャ情報であってもよい。
【0088】
モデル情報生成部２２は、撮像部２Ａの撮像結果に基づく第１テクスチャ情報と、撮像部２Ｂの撮像結果に基づく第２テクスチャ情報とを生成する。なお、統合形状情報を生成する際に上記した統合テクスチャ情報が生成されている場合は、その統合テクスチャ情報が用いられてもよい。モデル情報生成部２２は、モデル情報（例、３次元のＣＧモデルデータ）を算出する。モデル情報は、対象領域ＡＲにおける物体の形状情報とテクスチャ情報との少なくとも一方を含む。モデル情報生成部２２は、算出したモデル情報を記憶部２４に記憶させる。
【0089】
次に、実施形態に係る検出装置１Ｂの動作に基づき、実施形態に係る検出方法について説明する。図１３は、第３実施形態に係る検出方法を示すフローチャートである。検出装置１Ｂの各部については、適宜、図１２を参照する。なお、上述した図６に示すフローチャートと同様の処理については、同じ符号を付している。ステップＳ１において、撮像部２Ａ、２Ｂは、物体Ｘ１を含む対象領域ＡＲをそれぞれ撮像する。ステップＳ２において、位置検出部３Ａ、３Ｂは、所定の点から対象領域ＡＲまでの各点のデプス情報（位置情報）をそれぞれ検出する。なお、ステップＳ２の処理は、ステップＳ１の処理よりも前に実行されてもよい。また、ステップＳ２の処理は、ステップＳ１の処理の少なくとも一部と並行して、実行されてもよい。
【0090】
ステップＳ３１において、モデル情報生成部２２は、位置検出部３Ａが検出したデプス情報（位置情報）に基づいて第１形状情報を生成する。また、ステップＳ３１において、モデル情報生成部２２は、位置検出部３Ｂが検出した位置情報に基づいて第２形状情報を生成する。ステップＳ３１は、例えば、ステップＳ６、Ｓ７の処理が実行される。ステップＳ６において、モデル情報生成部２２は、第１形状情報として第１点群データを生成し、第２形状情報として第２点群データを生成する。ステップＳ７において、モデル情報生成部２２は、ステップＳ６で生成した第１点群データを用いて、第１形状情報として第１サーフェス情報を生成し、第２点群データを用いて、第２形状情報として第２サーフェス情報を生成する。
【0091】
ステップＳ３２において、モデル情報統合部２６は、第１形状情報と第２形状情報とを統合するモデル情報統合処理を実行する。モデル情報統合部２６は、第１形状情報（第１サーフェス情報）と第２形状情報（第２サーフェス情報）とを統合して統合形状情報を生成する。モデル情報統合部２６は、撮像部２Ａの撮像画像に基づく第１テクスチャ情報と、撮像部２Ｂの撮像画像に基づく第２テクスチャ情報とを統合した統合テクスチャ情報を生成してもよい。ステップＳ３３において、領域検出部２１は、撮像部２Ａによる撮像画像及び撮像部２Ｂによる撮像画像（又は統合テクスチャ情報）と、統合形状情報とに基づいて、データ欠損領域ＡＲ１を検出する。
【0092】
ステップＳ３３において、領域検出部２１は、データ欠損領域ＡＲ１を検出する領域検出処理を実行する。領域検出部２１は、ステップＳ１で得られる撮像部２Ａ、２Ｂのそれぞれの撮像画像（又は上記した統合テクスチャ情報）と、ステップＳ２で得られる位置検出部３Ａ、３Ｂのそれぞれの検出結果とに基づいて、データ欠損領域ＡＲ１を検出する。
【0093】
ステップＳ３４において、付加部２３は、特定のテクスチャ情報をデータ欠損領域ＡＲ１に付加する。ステップＳ３５において、モデル情報生成部２２は、モデル情報を生成する。ステップＳ３５は、例えば、ステップＳ８、Ｓ９の処理が実行される。ステップＳ８において、モデル情報生成部２２は、撮像部２Ａ、２Ｂからそれぞれ得られる撮像画像を用いて、テクスチャ情報を生成する。なお、ステップＳ３２において、統合テクスチャ情報が生成されている場合は、その統合テクスチャ情報が用いられる。ステップＳ９において、モデル情報生成部２２は、統合形状情報と、テクスチャ情報及び特定のテクスチャ情報とを関連付けたモデル情報を生成する。
【0094】
図１３に示す一連の処理を実行することにより、データ欠損領域ＡＲ１に特定のテクスチャ情報が貼り付けられた３Ｄモデル（ＣＧ画像）が生成される（図８（Ａ）、（Ｂ）参照）。このように、本実施形態によれば、複数の検出部から物体の形状情報及びテクスチャ情報を取得してもデータ欠損領域ＡＲ１が存在する場合に、このデータ欠損領域ＡＲ１に特定のテクスチャ情報を付加することで違和感（物体の不自然さ）を軽減できる。
【0095】
なお、本実施形態において、位置検出部３Ａ、３Ｂは、データ欠損領域ＡＲ１のデプス情報（距離、位置情報）を検出するが、データ欠損領域ＡＲ１の形状情報（例、物体表面の点の座標、点群データ）を推定してもよい。また、情報処理部４（情報処理装置）は、撮像部２Ａ、２Ｂ及び位置検出部３Ａ、３Ｂのいずれかと別に提供されてもよい。また、情報処理部４は、例えばインターネット回線を介して、撮像部２Ａ、２Ｂ及び位置検出部３Ａ、３Ｂのそれぞれと接続されてもよい。情報処理部４は、撮像部２Ａ、２Ｂの撮像結果から得られる情報（例、撮像画像のデータ）と、位置検出部３Ａ、３Ｂの検出結果から得られる情報（例、デプスマップ、点群データ）とを、インターネット回線を介して取得し、取得したデータに基づいて上述の処理を実行してもよい。
【0096】
［第４実施形態］
次に、第４実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１４は、第４実施形態に係る検出装置１Ｃの一例を示す図である。本実施形態において、検出装置１Ｃは確度情報設定部（確度情報生成部）２７を備える。確度情報設定部２７は、データ取得領域ＡＲ７（図５参照）において位置検出部３が位置情報を取得している各点のテクスチャの確度に関する確度情報を設定する。
次に、第４実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１４は、第４実施形態に係る検出装置１Ｃの一例を示す図である。本実施形態において、検出装置１Ｃは確度情報設定部（確度情報生成部）２７を備える。確度情報設定部２７は、データ取得領域ＡＲ７（図５参照）において位置検出部３が位置情報を取得している各点のテクスチャの確度に関する確度情報を設定する。
【0097】
確度情報設定部２７は、デプス情報（位置情報）を取得している各点について、例えば２値のテクスチャの確度に関する確度情報を設定する確度設定処理を実行する。確度設定処理は、例えば、２値の確度情報で表す場合、デプス情報（位置情報）を取得している各点のうちテクスチャが得られている点の確度を１とし、テクスチャが得られていない点の確度を０として、位置情報を取得している全ての点又は一部の点について、それぞれ確度情報を設定する。確度は、例えば、所定の範囲の数値（例、０以上１以下、０％以上１００％以下）で表される。確度は、例えば、数値が高いほど情報の信頼度が高い（情報が確からしい）ことを表す。なお、確度の階調の数は、３以上（３値以上）であってもよい。
【0098】
確度情報設定部２７は、データ欠損領域ＡＲ１においてデプス情報（位置情報）を得ている各点を、確度０の確度情報に設定する。確度情報設定部２７は、データ欠損領域ＡＲ１を除いてデプス情報（位置情報）を得ている各点を、確度１の確度情報に設定する。また、確度情報設定部２７は、付加部２３によりデータ欠損領域ＡＲ１に対して特定のテクスチャ情報が付加される点について、確度０．５の確度情報を設定してもよい。確度情報設定部２７は、生成した確度情報を記憶部２４に記憶させる。
【0099】
モデル情報生成部２２は、確度情報設定部２７が設定した各点の確度情報に基づいて、物体（例、物体Ｘ１）の確度マップを生成してもよい。確度マップは、例えば、モデル情報生成部２２が生成したモデル情報（例、形状情報、点群データ、サーフェス情報）の各点について、確度の大きさを濃淡で表した形態であってもよい。この確度マップは、モデル情報においてテクスチャの確度が小さい（又はテクスチャが不確かであること）を示す。使用者は、この確度マップによりモデル情報の一部にテクスチャの不確かな部分があることを容易に視認することができる。
【0100】
また、検出装置１Ｃが上記した第３実施形態で示すような複数の撮像部２Ａ、２Ｂ、位置検出部３Ａ、３Ｂ、及びモデル情報統合部２６を備える場合（図１２参照）、確度情報設定部２７が設定した確度情報を用いて、モデル情報統合部２６により統合した統合形状情報にテクスチャ情報を関連付けることができる。確度情報設定部２７は、位置検出部３Ａの検出結果に基づく第１形状情報の各点について、撮像部２Ａの撮像画像からテクスチャの確度に関する確度情報を設定する。また、確度情報設定部２７は、位置検出部３Ｂの検出結果に基づく第２形状情報の各点について、撮像部２Ｂの撮像画像からテクスチャの確度に関する確度情報を設定する。
【0101】
モデル情報統合部２６は、第１形状情報と第２形状情報とを統合した統合形状情報に対してテクスチャ情報を関連付ける際に、第１形状情報と第２形状情報とが重なる部分領域（同一領域）について、各点の確度が大きいテクスチャ情報を用いて（又は確度が小さいテクスチャ情報を用いずに）、部分領域のテクスチャ情報を関連付ける。例えば、部分領域に関して、確度１のテクスチャ情報と、確度０のテクスチャ情報とがある場合、モデル情報統合部２６は、確度１のテクスチャ情報をこの部分領域のテクスチャ情報として関連付ける。また、例えば、確度０のテクスチャ情報が関連付けられた部分領域に関して、確度１のテクスチャ情報と、確度０のテクスチャ情報とがある場合、モデル情報統合部２６は、確度１のテクスチャ情報をこの部分領域のテクスチャ情報として関連付けてテクスチャ情報を更新する。その結果、モデル情報統合部２６は、部分領域について適切なテクスチャを関連付けたモデル情報を生成できる。
【0102】
［第５実施形態］
第５実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１５は、第５実施形態に係る検出システム５１の一例を示す図である。検出システム５１は、検出装置１、入力装置５２、表示装置５３、及び情報処理装置５４を備える。撮像部２、位置検出部３、及び情報処理部４は、例えば、１つの本体部ＢＤ（例、筐体、保持部、ボディ、支持部）に設けられる。撮像部２（撮像装置）、位置検出部３（位置検出装置）、及び情報処理部４（情報処理装置）の少なくとも１つは、本体部ＢＤに設けられなくてもよい。
第５実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１５は、第５実施形態に係る検出システム５１の一例を示す図である。検出システム５１は、検出装置１、入力装置５２、表示装置５３、及び情報処理装置５４を備える。撮像部２、位置検出部３、及び情報処理部４は、例えば、１つの本体部ＢＤ（例、筐体、保持部、ボディ、支持部）に設けられる。撮像部２（撮像装置）、位置検出部３（位置検出装置）、及び情報処理部４（情報処理装置）の少なくとも１つは、本体部ＢＤに設けられなくてもよい。
【0103】
情報処理装置５４は、通信部５５、記憶部５６、レンダリング処理部５７、及び制御部５８を備える。通信部５５は、例えば、ＵＳＢポート、ネットワークカード、電波又は赤外線の無線通信を行う通信器のうち少なくとも一つを含む。通信部５５は、検出装置１と通信可能である。
【0104】
記憶部５６は、例えば、ＵＳＢメモリなどの取り外し可能な記憶媒体、外付け型あるいは内蔵型のハードディスクなどの大容量記憶装置を含む。記憶部５６は、例えば、通信部５５を介して受信した情報の少なくとも一部のデータ、検出装置１を制御する撮像制御プログラム、情報処理装置５４の各処理を実行させる情報処理プログラムなどを記憶する。
【0105】
レンダリング処理部５７は、例えば、グラフィックス プロセッシング ユニット（Graphics Processing Unit; GPU）を含む。なお、レンダリング処理部５７は、ＣＰＵ及びメモリが画像処理プログラムに従って各処理を実行する態様でもよい。レンダリング処理部５７は、例えば、描画処理、テクスチャマッピング処理、シェーディング処理の少なくとも一つの処理を行う。
【0106】
レンダリング処理部５７は、描画処理において、例えば、モデル情報の形状情報に定められた形状を任意の位置から見た推定画像（例、再構築画像）を算出できる。以下の説明において、形状情報が示す形状をモデル形状という。レンダリング処理部５７は、例えば、描画処理によって、モデル情報（例、形状情報）からモデル形状（例、推定画像）を再構成できる。レンダリング処理部５７は、例えば、算出した推定画像のデータを記憶部５６に記憶させる。また、レンダリング処理部５７は、テクスチャマッピング処理において、例えば、推定画像上の物体の表面に、モデル情報のテクスチャ情報が示す画像を貼り付けた推定画像を算出できる。レンダリング処理部５７は、推定画像上の物体の表面に、対象物と別のテクスチャを貼り付けた推定画像を算出することができる。レンダリング処理部５７は、シェーディング処理において、例えば、モデル情報の光源情報が示す光源により形成される陰影を推定画像上の物体に付加した推定画像を算出できる。また、レンダリング処理部５７は、シェーディング処理において、例えば、任意の光源により形成される陰影を推定画像上の物体に付加した推定画像を算出できる。
【0107】
制御部５８は、例えば、情報処理装置５４の各部、検出装置１、入力装置５２、及び表示装置５３を制御する。制御部５８は、例えば、通信部５５を制御し、検出装置１に指令（制御信号）や設定情報を送信させる。制御部５８は、例えば、通信部５５が検出装置１から受信した情報を、記憶部５６に記憶させる。制御部５８は、例えば、レンダリング処理部５７を制御し、レンダリング処理を実行させる。
【0108】
入力装置５２は、情報処理装置５４に対する各種情報（例、データ、指令）の入力に利用される。ユーザは、入力装置５２を操作することによって、情報処理装置５４に対して各種情報を入力可能である。入力装置５２は、例えば、キーボード、マウス、トラックボール、タッチパネル、及び音声入力デバイス（例、マイク）の少なくとも一つを含む。
【0109】
表示装置５３は、情報処理装置５４から出力される画像のデータに基づいて、この画像を表示する。例えば、情報処理装置５４は、レンダリング処理部５７が生成した推定画像のデータを表示装置５３に出力する。表示装置５３は、情報処理装置５４から出力された推定画像のデータに基づいて、推定画像を表示する。表示装置５３は、例えば、液晶ディスプレイを含む。表示装置５３および入力装置５２は、タッチパネルなどでもよい。
【0110】
なお、検出システム５１は、入力装置５２を備えなくてもよい。例えば、検出システム５１は、各種の指令、情報が通信部５５を介して入力される形態でもよい。また、検出システム５１は、表示装置５３を備えなくてもよい。例えば、検出システム５１は、レンダリング処理により生成された推定画像のデータを外部の表示装置へ出力し、この表示装置が推定画像を表示してもよい。情報処理部４は、情報処理装置５４と同じ装置に設けられてもよい。例えば、情報処理部４と情報処理装置５４とは、同じコンピュータシステムに設けられてもよい。
【0111】
また、本実施形態における情報処理装置（処理装置）は、対象領域のテクスチャ情報を第１位置から検出した検出結果、及び所定の点から対象領域までの各点のデプス情報（位置情報）を第１位置と異なる第２位置から検出した検出結果に基づいて、デプス情報（位置情報）が取得（検出）されかつテクスチャ情報が取得（検出）されていないデータ欠損領域を検出する領域検出部２１と、データ欠損領域に対してテクスチャ情報を付加する付加部２３と、を備える。
【0112】
上述の実施形態において、情報処理部４は、例えばコンピュータシステムを含む。情報処理部４は、記憶装置（例、記憶部２４）に記憶されている情報処理プログラムを読み出し、この情報処理プログラムに従って各種の処理を実行する。この情報処理プログラムは、例えば、コンピュータに、対象領域のテクスチャ情報を第１位置から検出した検出結果、及び対象領域の各点の位置情報を第１位置と異なる第２位置から検出した検出結果に基づいて、位置情報が検出されかつテクスチャ情報が検出されないデータ欠損領域を検出することと、データ欠損領域に対してテクスチャ情報を付加することと、を実行させる。この情報処理プログラムは、コンピュータ読み取り可能な記憶媒体（例、非一時的な記録媒体、non-transitory tangible media）に記録されて提供されてもよい。
【0113】
なお、本発明の技術範囲は、上述の実施形態などで説明した態様に限定されるものではない。上述の実施形態などで説明した要件の１つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、上記した実施形態では、１台の検出装置１等によりモデル情報を生成しているが、例えば、異なる視点（位置）に配置された複数台の検出装置１等を用いてモデル情報を生成してもよい。この場合、各検出装置１等で生成したモデル情報を、いずれかの検出装置１等又は別の処理装置などで統合した後にデータ欠損領域ＡＲ１を検出し、このデータ欠損領域ＡＲ１に特定のテクスチャ情報を付加してもよい。また、上記した実施形態では、１台の検出装置１に撮像部２及び位置検出部３を備える構成を例に挙げて説明しているが、この構成に限定されない。例えば、検出装置１は、撮像部２を備える検出装置Ａと、位置検出部３を備える検出装置Ｂとで構成されてもよい。検出装置Ａ及び検出装置Ｂは、撮像部２又は位置検出部３がない以外は検出装置１と同様の構成を備えていてもよい。検出装置Ａと検出装置Ｂとはデータの送受信が可能に接続されており、検出装置Ａの撮像部２により取得した撮像データを検出装置Ｂに送信可能であり、検出装置Ｂの位置検出部３により取得したデプス情報を検出装置Ａに送信可能である。また、検出装置Ａと検出装置Ｂとは視点（位置）が異なり、検出装置Ａの撮像部２の位置が第１位置Ｖｐ１であり、検出装置Ｂの位置検出部３が位置を第２位置Ｖｐ２である。検出装置Ａの撮像部２により取得した撮像データ、及び検出装置Ｂの位置検出部３により取得したデプス情報は、検出装置Ａ又は検出装置Ｂの情報処理部４に集められて処理され、上記した実施形態と同様に、データ欠損領域ＡＲ１が検出され、そのデータ欠損領域ＡＲ１に特定のテクスチャ情報を付加したモデル情報が生成される。また、法令で許容される限りにおいて、日本特許出願である特願２０１８－２３９５３６、及び、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。
【符号の説明】
【0114】
１、１Ａ、１Ｂ、１Ｃ・・・検出装置、２、２Ａ、２Ｂ・・・撮像部（テクスチャ検出部）、３、３Ａ、３Ｂ・・・位置検出部、４・・・情報処理部（情報処理装置）、２１・・・領域検出部、２２・・・モデル情報生成部、２３・・・付加部、２４・・・記憶部、２５・・・テクスチャ推定部、２６・・・モデル情報統合部、２７・・・確度情報設定部、ＡＲ・・・対象領域、ＡＲ１・・・データ欠損領域
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】