特許 7363962 処理装置、検出装置、システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-10

(45)【発行日】2023-10-18

(54)【発明の名称】処理装置、検出装置、システム及びプログラム

(51)【国際特許分類】

   G01B 11/00 20060101AFI20231011BHJP

【ＦＩ】

G01B11/00 B

【請求項の数】 10

(21)【出願番号】P 2022079660

(22)【出願日】2022-05-13

(62)【分割の表示】P 2019557132の分割

【原出願日】2018-11-14

(65)【公開番号】P2022105594

(43)【公開日】2022-07-14

【審査請求日】2022-05-13

(31)【優先権主張番号】P 2017231128

(32)【優先日】2017-11-30

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】100107836

【弁理士】

【氏名又は名称】西 和哉

(72)【発明者】

【氏名】中川 源洋

(72)【発明者】

【氏名】松尾 太郎

【審査官】櫻井 仁

(56)【参考文献】

【文献】特開２０００－３２１０５０（ＪＰ，Ａ）

【文献】特開２００１－２９３００７（ＪＰ，Ａ）

【文献】特開２００７－２０７２５１（ＪＰ，Ａ）

【文献】特表２０１３－５０４９３８（ＪＰ，Ａ）

【文献】特表２０１０－５３４３１６（ＪＰ，Ａ）

【文献】国際公開第２０１７／０４２１０２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

Ｇ０１Ｓ ７／４８－ ７／５１

Ｇ０１Ｓ １７／００－１７／９５

Ｇ０１Ｃ １５／００

(57)【特許請求の範囲】

【請求項1】

物体上の複数の点までの距離を示す第１距離情報に基づいて、前記物体の第１形状を示す第１形状情報を生成する第１形状情報生成部と、
前記第１形状に基づいて、前記第１形状における部分を特定する部分特定部と、
前記第１距離情報と異なる情報に基づいて生成された第２形状と、前記第１形状と、を含む形状を表す第２形状情報を生成する第２形状情報生成部と、を備え、
前記第２形状情報生成部は、前記部分特定部が特定した前記部分に対して予め決められた位置に前記第２形状を配置する、処理装置。

【請求項2】

前記第２形状情報は、前記第１距離情報を取得した条件とは異なる条件にて検出された前記物体上の複数の点までの距離を示す第２距離情報に基づいて生成される、請求項１に記載の処理装置。

【請求項3】

前記第２形状情報は、コンピュータ上で生成される、請求項１に記載の処理装置。

【請求項4】

前記第２形状情報は、前記物体の形状を接触して検出した結果に基づいて生成される、請求項１に記載の処理装置。

【請求項5】

前記第１形状情報に基づいて、前記第２形状情報における前記第１形状に対する前記第２形状の向きを決定する、請求項１に記載の処理装置。

【請求項6】

前記物体までの距離情報を検出する検出部と、
請求項１に記載の処理装置と、を備える、検出装置。

【請求項7】

前記物体の表面よりも、前記検出部により距離情報を検出し易い表面を有する装着物を備える、請求項６に記載の検出装置。

【請求項8】

請求項１に記載の処理装置と、
前記第２形状情報に基づいて、少なくとも前記第１形状および前記第２形状の何れか一方の形状を示す画像を表示する表示部と、を備える、システム。

【請求項9】

前記表示部は、前記第１形状を表示することなく、前記部分特定部が特定した前記部分に対して予め決められた位置に配置される前記第２形状のみを表示する、請求項８に記載のシステム。

【請求項10】

コンピュータを、
検出部により検出される、物体上の複数の点までの距離を示す第１距離情報に基づいて、前記物体の第１形状を示す第１形状情報を生成する第１形状情報生成部、
前記第１形状に基づいて、前記第１形状における部分を特定する部分特定部、
前記第１距離情報と異なる情報に基づいて生成された第２形状と、前記第１形状と、を含む形状を表す第２形状情報を生成する第２形状情報生成部、として機能させ、
前記第２形状情報生成部は、前記部分特定部が特定した前記部分に対して予め決められた位置に前記第２形状を配置する、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、処理装置、検出装置、システム及びプログラムに関する。

【背景技術】

【0002】

対象物の三次元形状情報を検出する技術が知られている（例えば、下記の特許文献１参照）。そのような技術に用いられるデプスカメラは、例えば、赤外光などの光を対象物に照射し、対象物から出射する光を検出する。上記の技術は、例えば対象物の形状情報の欠損が少ないことが望まれる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１０－１３４５４６号公報

【発明の概要】

【0004】

本発明の第１の態様においては、処理装置が提供される。処理装置は、物体上の複数の点までの距離を示す第１距離情報に基づいて、物体の第１形状を示す第１形状情報を生成する第１形状情報生成部を備える。処理装置は、第１形状に基づいて、第１形状における部分を特定する部分特定部を備える。処理装置は、第１距離情報と異なる情報に基づいて生成された第２形状と、第１形状と、を含む形状を表す第２形状情報を生成する第２形状情報生成部を備える。第２形状情報生成部は、部分特定部が特定した部分に対して予め決められた位置に前記第２形状を配置する。

【0005】

本発明の第２の態様においては、検出装置が提供される。検出装置は、物体までの距離情報を検出する検出部を備える。検出装置は、第１の態様の処理装置を備える。

【0006】

本発明の第３の態様においては、システムが提供される。システムは、第１の態様の処理装置を備える。システムは、第２形状情報に基づいて、少なくとも第１形状および第２形状の何れか一方の形状を示す画像を表示する表示部を備える。

【0007】

本発明の第４の態様においては、プログラムが提供される。プログラムは、コンピュータを、検出部により検出される、物体上の複数の点までの距離を示す第１距離情報に基づいて、物体の第１形状を示す第１形状情報を生成する第１形状情報生成部として機能させる。プログラムは、コンピュータを、第１形状に基づいて、第１形状における部分を特定する部分特定部として機能させる。プログラムは、コンピュータを、第１距離情報と異なる情報に基づいて生成された第２形状と、第１形状と、を含む形状を表す第２形状情報を生成させる。第２形状は、特定した前記部分に対して予め決められた位置に配置される。

【図面の簡単な説明】

【0008】

【図1】第１実施形態に係る検出装置を示す図である。

【図2】第１実施形態に係る第１検出部を示す図である。

【図3】第１実施形態に係る第１形状情報を示す図である。

【図4】第１実施形態に係る処理装置が実行する処理を示す図である。

【図5】実施形態に係る検出方法を示すフローチャートである。

【図6】第２実施形態に係る検出装置を示す図である。

【図7】第３実施形態に係る検出装置を示す図である。

【図8】第４実施形態に係る装着物を示す図である。

【図9】第５実施形態に係る検出装置を示す図である。

【図10】第５実施形態に係る処理装置が実行する処理を示す図である。

【図11】第５実施形態に係る処理装置が実行する処理を示す図である。

【図12】第６実施形態に係る検出装置を示す図である。

【図13】第６実施形態に係る第１視点から見た推定画像を示す図である。

【図14】第６実施形態に係る第２視点から見た推定画像を示す図である。

【図15】第６実施形態に係るＧＵＩ画像を示す図である。

【発明を実施するための形態】

【0009】

［第１実施形態］
まず、第１実施形態について説明する。図１は、第１実施形態に係る検出装置１を示す図である。検出装置１（検出システム）は、第１検出部２と、処理装置３とを備える。第１検出部２は、光Ｌａを対象物に照射して対象物ＯＢから出射した光Ｌｂを検出することによって、所定の点Ｖｐから対象物ＯＢの表面上の各点までのデプスを検出する。処理装置３（処理部）は、第１検出部２の検出結果に基づいて、対象物ＯＢの形状を表す形状情報を生成する。

【0010】

検出装置１は、例えば、動作中の人体ＨＭを検出する。例えば、検出装置１は、フェンシング、野球、サッカー、ゴルフ、剣道、アメリカンフットボール、アイスホッケー、体操などのスポーツ、ランニング、エクササイズ、ヨガ、ボディビル、ファッションショーなどのウォーキング又はポージング、ゲーム、人物認証、仕事などにおいて動作を行う人体ＨＭを検出する。ここでは、フェンシングを行う人体ＨＭを検出する例について説明する。

【0011】

対象物ＯＢは、例えば、人体ＨＭと、人体ＨＭに装着される装着物ＥＱとを含む。装着物ＥＱは、例えばフェンシング用マスク、剣道用やアメリカンフットボール用マスクのようなマスク（例、防護マスク、形状変化の無い又は少ないマスク（形状が既知のマスク））を含む。装着物ＥＱは、第１部分ＥＱ１と、第２部分ＥＱ２とを含む。第１部分ＥＱ１は、人体ＨＭの頸部を覆う部分（部位）である。第１部分ＥＱ１は、人体ＨＭ（例、頭部）に固定され、人体ＨＭと一体的に移動する。第１検出部２から照射された光Ｌａの少なくとも一部は、第１部分ＥＱ１において反射もしくは散乱し、光Ｌａによる反射光もしくは散乱光が光Ｌｂとして第１検出部２へ向かって出射する。したがって、本実施形態における対象物ＯＢは、フェンシングを行う人体ＨＭ（例、フェンシングの選手）と人体ＨＭに装着されるフェンシング用マスク（装着物ＥＱ）とのうち少なくとも一方を含む。なお、装着物ＥＱは、マスクに限らず、グローブ、靴、又はメッシュ状のユニフォームであってもよい。

【0012】

第２部分ＥＱ２は、人体ＨＭの頭部の前面（顔面）を覆う部分である。第２部分ＥＱ２は、例えば、ユーザ（この場合、装着者）が第２部分ＥＱ２を通して前方を視認できるように、メッシュ状の部分（視認部分）を含む。第２部分ＥＱ２は、第１部分ＥＱ１と一体化されており、第１部分ＥＱ１との相対位置が定まっている（位置が既知である）。第２部分ＥＱ２は、その部分に上記の視認部分（低反射領域）が存在するため、第１検出部２から光Ｌａが照射された場合にメッシュ状の部分で反射する光が少なく、第１検出部２へ向かって出射する光Ｌｂの強度が第１部分ＥＱ１（高反射領域）に比べて少ない。したがって、第２部分ＥＱ２は、表面構造の違いにより、表面の光学的特性が第１部分ＥＱ１とは異なる領域である。

【0013】

なお、対象物ＯＢは、装着物ＥＱが装着されていない人体ＨＭでもよい。また、対象物ＯＢは、人間以外の動物を含んでもよい。また、対象物ＯＢは、植物を含んでもよい。また、対象物ＯＢは、ロボットなどのように生物以外の物体を含んでもよい。また、対象物ＯＢは、移動しない物体（静止物）を含んでもよい。

【0014】

対象物ＯＢは、高精度な検出結果を得ることが困難である条件が予め分かっている場合がある。このような場合、対象物ＯＢは、対象物ＯＢのうち検出結果（デプス）の精度が相対的に低いと想定される部分（部位）が予め分かっている。例えば、対象物ＯＢにおいて装着物ＥＱの第２部分ＥＱ２はメッシュ状の部分を含み、対象物ＯＢから出射する光Ｌｂ（出力信号）の強度は、他の部分（例、第１部分ＥＱ１）と比較して第２部分ＥＱ２において相対的に低い（弱い）。このように、本実施形態において、第２部分ＥＱ２から出射する光Ｌｂの単位面積あたりの光量は、対象物ＯＢのうち第２部分ＥＱ２以外の部分から出射する光Ｌｂの単位面積当たりの光量よりも少ない。

【0015】

また、第２部分ＥＱ２に関する検出結果を表す検出信号のレベルは、例えば、対象物ＯＢのうち第２部分ＥＱ２以外の部分に関する検出結果を表す検出信号のレベルよりも低い。したがって、第２部分ＥＱ２に関する検出結果の確度は、例えば、対象物ＯＢのうち第２部分ＥＱ２以外の部分に関する検出結果の確度よりも低い。確度は、例えば、所定の範囲の数値（例、０以上１以下、０％以上１００％以下）で表される。確度は、例えば、数値が高いほど情報の信頼度が高い（情報が確からしい）ことを表す。

【0016】

実施形態に係る処理装置３は、例えば、対象物ＯＢのうち予め設定された設定領域について、第１検出部２の検出結果と異なる情報に基づいて、形状情報を取得する。設定領域（例、メッシュ状の部分）は、例えば、対象物ＯＢのうち検出結果の精度が相対的に低いと想定（推定、予想）される部分を含む。処理装置３は、第１検出部２の検出結果に基づいた第１形状に、第１検出部２の検出結果と異なる情報に基づいた第２形状を付加し、第１形状および第２形状を含む形状の形状情報を生成する（後に図４で説明する）。

【0017】

実施形態に係る検出装置１は、例えば、検出結果の精度が相対的に低いと想定される部分の形状情報を、検出結果と異なる情報から得られる形状情報（例、検出前に事前に生成された既知の形状情報、別の技術により得られる形状情報）で位置合わせして置き換える（又は重ね合わせる）ことによって、対象物ＯＢの形状情報の欠損を低減することができる。本実施形態における検出装置１は、後述の構成により対象物ＯＢの３次元モデリングに用いるモデル情報を高精度なモデル情報に部分的に置き換えることができるので、レンダリングして生成した３次元モデル画像に対するユーザの視認性が向上する。以下、検出装置１の各部について説明する。

【0018】

図２は、第１実施形態に係る第１検出部２を示す図である。第１検出部２は、信号（入力信号）を対象物ＯＢに入力し、対象物ＯＢから出力される信号（出力信号）を検出するアクティブ検出（例、アクティブ測距、time of flight方式の検出）を実行する。上記の信号（入力信号、出力信号）は、例えば、光（可視光、非可視光、赤外光、紫外光）、及び音波（例、超音波）から選択されるエネルギー波を含む。本実施形態における第１検出部２は、入力信号として光Ｌａを対象物ＯＢに入力（照射）し、対象物ＯＢからの出力信号として光Ｌｂを検出する。光Ｌａおよび光Ｌｂは、例えば、赤外光である。このように、本実施形態における第１検出部２は、アクティブ型のセンサである。

【0019】

第１検出部２は、例えばデプスセンサ（デプスカメラ）を含む。第１検出部２は、所定の点から対象物ＯＢにおける各点のまでのデプス（位置情報、距離、奥行き、深度）を検出する。所定の点Ｖｐは、例えば、第１検出部２による検出の基準になる位置の点（例、視点、検出元の点、第１検出部２の位置の点）である。

【0020】

第１検出部２は、照射部７、光学系８、及び撮像素子９を備える。照射部７は、対象物ＯＢを含む領域ＡＲ（空間、検出領域）に光Ｌａ（例、パターン光、照射光）を照射（例、投影）する。光学系８は、例えば結像光学系（撮像光学系）を含む。撮像素子９は、例えば、ＣＭＯＳイメージセンサあるいはＣＣＤイメージセンサを含む。撮像素子９は、二次元的に配列された複数の画素を有する。撮像素子６は、光学系８を介して、対象物ＯＢを含む領域ＡＲを撮像する。撮像素子９は、領域ＡＲにおける物体（対象物ＯＢ）から光Ｌａの照射によって放射される光Ｌｂ（赤外光、戻り光）を検出する。

【0021】

第１検出部２は、例えば、照射部７から照射される光Ｌａのパターン（例、強度分布）と、撮像素子９によって検出された光Ｌｂのパターン（強度分布、撮像画像）に基づいて、撮像素子９の各画素に対応する領域ＡＲ上の点から、撮像素子９の各画素までのデプスを検出する。第１検出部２は、その検出結果として、領域ＡＲにおけるデプスの分布を表したデプスマップ（例、デプス画像、奥行き情報、距離情報）を処理装置３（図１参照）に出力する。

【0022】

対象物ＯＢにおける装着物ＥＱの第２部分ＥＱ２は、例えば、対象物ＯＢのうち相対的に空間周波数が高い部分（例、細かい構造、メッシュ状の部分）を含む。第２部分ＥＱ２は、例えば、対象物ＯＢのうち散乱率が相対的に高い。第２部分ＥＱ２は、例えば、対象物ＯＢのうち反射率が相対的に低い。第２部分ＥＱ２は、例えば、対象物ＯＢのうち吸収率が相対的に高い。

【0023】

なお、第１検出部２は、TOF（time of flight）法によってデプスを検出するデバイスでもよい。また、第１検出部２は、TOF法以外の手法でデプスを検出するデバイスでもよい。第１検出部２は、例えば、レーザスキャナ（例、レーザ測距器）を含み、レーザスキャンによってデプスを検出するデバイスでもよい。第１検出部２は、例えば、位相差センサを含み、位相差法によってデプスを検出するデバイスでもよい。第１検出部２は、例えば、DFD(depth from defocus)法によってデプスを検出するデバイスでもよい。

【0024】

なお、第１検出部２は、赤外光以外の光（例、可視光）を対象物ＯＢに照射し、対象物ＯＢから出射する光（例、可視光）を検出してもよい。第１検出部２は、例えばステレオカメラなどを含み、複数の視点から対象物ＯＢを検出（例、撮像）してもよい。第１検出部２は、複数の視点から対象物ＯＢを撮像した撮像画像を用いて、三角測量によってデプスを検出するデバイスでもよい。第１検出部２は、光学的な手法以外の手法（例、超音波によるスキャン）でデプスを検出してもよい。

【0025】

図１の説明に戻り、第１検出部２は、対象物ＯＢを検出した検出結果を処理装置３に出力する。処理装置３は、第１形状情報生成部１１と、部分特定部１２と、第２形状情報生成部１３と、通信部１４と、記憶部１５とを備える。

【0026】

第１形状情報生成部１１は、第１検出部２の検出結果に基づいて、対象物ＯＢの第１形状を表す第１形状情報を生成する。例えば、第１形状情報生成部１１は、形状情報（３次元モデリングに用いるモデル情報、３次元モデル画像の元データ）として点群データを算出する。以下の説明において、点群データを算出する処理を、適宜、点群データ処理と称する。点群データは、対象物ＯＢ上の複数の点の３次元座標を含む。第１形状情報生成部１１は、例えば、第１検出部２の検出結果（デプスマップ）を平面画像への透視変換することなどによって、点群データを算出する。そして、第１形状情報生成部１１は、生成した第１形状情報（例、点群データ）を記憶部１５に記憶させる。

【0027】

図３は、第１実施形態に係る第１形状情報Ｄ１を示す図である。図３において、符号ＦＭ１は、第１形状情報が表す第１形状である。第１形状ＦＭ１は、例えば、図１の対象物ＯＢのうち装着物ＥＱの第２部分ＥＱ２に覆われる部分（例、人体ＨＭの頭部）以外の形状を表す。例えば、対象物ＯＢのうち第１検出部２による検出結果の確度が閾値未満の部分は、第１形状情報生成部１１によって形状を高精度に構築することができず、第１形状情報生成部１１が生成する対象物ＯＢの形状情報（第１形状情報）において少なくとも一方の形状が欠落した部分（図３にお点線で示す）になる。

【0028】

対象物ＯＢのうち第１形状ＦＭ１に対応する部分は、例えば、対象物ＯＢのうち空間周波数が相対的に低い部分と、対象物ＯＢのうち光の反射率が相対的に高い部分との一方または双方を含む。対象物ＯＢのうち空間周波数が相対的に低い部分は、例えば、手、足、胴体などのように粗い構造、大まかな構造、あるいは大規模な構造を含む。光の反射率が相対的に高い部分、及び空間周波数が相対的に低い部分は、例えば、出射する光Ｌｂ（図１参照）の強度が高い（大きい）（例、閾値以上）と想定される部分である。出射する光Ｌｂ（図１参照）の強度が高いと想定される部分は、例えば、第１検出部２による検出結果において相対的に確度が高いと想定される部分である。

【0029】

なお、符号ＥＱ３は、フェンシングに使われる剣（例、フルーレ、エペ、サーブル）に相当する部分である。部分ＥＱ３は、例えば、幅が狭く、空間周波数が対象物ＯＢにおいて相対的に高い部分であり、第１形状情報Ｄ１において形状が欠損した部分（一部の形状が欠損した部分を含む）になる。

【0030】

また、第１形状ＦＭ１は、第１検出部２の検出結果のうち相対的に確度が低いデプスを選択して得られる形状を含む。例えば、対象物ＯＢのうち装着物ＥＱの第２部分ＥＱ２は、メッシュ状の部分を含み、第２部分ＥＱ２から出射する光Ｌｂの強度が閾値未満になることが想定される。第２部分ＥＱ２、及び第２部分ＥＱ２に覆われる部分（例、頭部）は、例えば、第１検出部２の検出結果の確度が対象物ＯＢのうち相対的に低いことが想定される。対象物ＯＢのうち第１形状ＦＭ１に対応する部分は、例えば、人体ＨＭのうち、装着物ＥＱにおいて予め設定された部分（例、図１の第２部分ＥＱ２）によって覆われる部分（例、頭部）を含む。

【0031】

図１の説明に戻り、第１形状情報生成部１１は、生成した第１形状情報（例、点群データ）を記憶部１５に記憶させる。部分特定部１２は、第１形状情報生成部１１が生成した第１形状情報に基づいて第１形状における部分を特定する。部分特定部１２は、例えば、人体ＨＭの特徴的な部分（例、特徴部分、特徴点）の位置情報を生成する。人体ＨＭの特徴部分は、例えば、人体ＨＭのうち他の部分と区別可能な部分である。人体ＨＭの特徴部分は、例えば、人体の末端部、関節、又は末端部と関節との間もしくは２つの関節の間の中間部の少なくとも１つを含む。

【0032】

部分特定部１２は、例えば、第１形状情報生成部１１が生成した第１形状情報（例、点群データ）を用いた認識処理（例、パターン認識、形状認識、骨格認識）等によって、上記の特徴部分の位置情報を生成する。特徴部分の位置情報は、例えば、特徴部分を代表する点の座標（例、３次元座標）を含む。部分特定部１２は、上記の認識処理によって、特徴部分を表す点の座標を算出する。そして、部分特定部１２は、特定した部分の情報（例、特徴部分を表す点の座標）を記憶部１５に記憶させる。

【0033】

第２形状情報生成部１３は、形状情報（３次元モデリングに用いるモデル情報、３次元モデル画像の元データ）として、第１検出部２の検出結果と異なる情報に基づいた第２形状ＦＭ２（付加形状）を取得する。第２形状ＦＭ２は、例えば、記憶部１５に記憶された付加形状情報ＤＦによって表される。第２形状情報生成部１３は、例えば、記憶部１５から付加形状情報ＤＦを読出して、付加形状情報ＤＦを取得する。

【0034】

第２形状ＦＭ２は、対象物ＯＢのうち第１形状ＦＭ１（図３参照）に対応する部分と異なる部分を表した形状を含む。例えば、第２形状ＦＭ２は、人体ＨＭの頭部または装着物ＥＱを表す形状を含む。第２形状ＦＭ２は、例えば、人体ＨＭの頭部または装着物ＥＱを単純化（簡略化）して表す形状（例、球形状、回転楕円体形状）でもよい。また、人体ＨＭの頭部または装着物ＥＱを模式的あるいは概念的に示す形状でもよい。

【0035】

第２形状ＦＭ２は、例えば、対象物ＯＢのうち第１検出部２の検出結果において相対的に確度が低いと想定される部分を代替的に表す形状（補完する形状）である。したがって、第２形状ＦＭ２は、第１検出部２の検出結果のうち相対的に確度が低いデプスに対応する対象物ＯＢの部分を表す形状を含む。対象物ＯＢのうち第２形状ＦＭ２に対応する部分は、例えば、対象物ＯＢのうち空間周波数が相対的に高い部分（例、装着物ＥＱの第２部分ＥＱ２）と、対象物ＯＢのうち光の反射率が相対的に低い部分との一方または双方を含む。

【0036】

本実施形態において、第１検出部２は、赤外光（例、光Ｌａ）を対象物ＯＢに照射して対象物ＯＢから出射した赤外光（例、光Ｌｂ）を検出することによってデプスを検出する。本実施形態において、第１検出部２の検出結果と異なる情報は、赤外光を対象物ＯＢに照射して対象物ＯＢから出射した赤外光を検出することによって得られるデプス以外の情報（例、デプス情報）を含む。例えば、付加形状情報ＤＦは、対象物ＯＢに対する検出（例、測定）の検出結果（例、測定結果）と異なる情報を含む。

【0037】

また、第２形状ＦＭ２は、作成者（例、ユーザ、オペレータ、設計者）によってコンピュータＣＯＭ上で生成される形状を含む。例えば、作成者は、第２形状ＦＭ２を生成する際に、入力デバイスを操作してデータをコンピュータＣＯＭに入力する。入力デバイスは、例えば、キーボード、マウス、トラックボール、及びタッチパッドの少なくとも１つを含む。コンピュータＣＯＭは、作成者の操作によって入力された情報を、アプリケーションによって処理し、付加形状情報ＤＦとして第２形状ＦＭ２のデータを生成する。上記のアプリケーションは、例えば、ＣＡＤなどの設計アプリケーション、描画アプリケーション、及びＣＧ生成アプリケーションの少なくとも１つを含む。コンピュータＣＯＭは、第２形状ＦＭ２を表す付加形状情報ＤＦを処理装置３に出力する。

【0038】

処理装置３の通信部１４は、処理装置３の外部の装置と通信可能である。処理装置３は、通信部１４（受信部）を介して、コンピュータＣＯＭにおいて生成された付加形状情報ＤＦを受信する。処理装置３の記憶部１５は、受信した付加形状情報ＤＦを記憶する。

【0039】

なお、コンピュータＣＯＭは、検出装置１の一部でもよいし、検出装置１の外部の装置でもよい。コンピュータＣＯＭは、インターネット回線等を介して処理装置３と通信可能に接続されるクラウドコンピュータなどでもよい。コンピュータＣＯＭ上で生成された第２形状を表す付加形状情報ＤＦがデータベースに格納され、処理装置３は、このデータベースと通信可能に接続されてもよい。処理装置３は、上記のデータベースから付加形状情報ＤＦを取得してもよい。

【0040】

第２形状情報生成部１３は、記憶部１５から付加形状情報ＤＦを読み出し、第２形状ＦＭ２を取得する。第２形状情報生成部１３は、第２形状を、部分特定部１２が特定した所定の部分に対して予め設定された相対位置（例、人体ＨＭの頭部に相当する位置、装着物ＥＱに相当する位置など）になるように第１形状に付加する。上記の所定の部分と第２形状ＦＭ２との相対位置は、記憶部１５に記憶された参照位置情報ＤＰに定められている。参照位置情報ＤＰは、例えば、部分特定部１２が特定した所定の部分の位置（以下、参照位置という）に対するオフセット量を含む。例えば、参照位置は３次元の座標（位置ベクトル）で表され、オフセット量は３次元のベクトル（変位ベクトル）で表される。

【0041】

図４は、第１実施形態に係る処理装置３が実行する処理を示す図である。処理装置３の各部については、適宜、図１を参照する。図４（Ａ）において、第１形状情報生成部１１は、第１検出部２の検出結果に基づいて第１形状ＦＭ１を表す第１形状情報Ｄ１（例、点群データ、骨格データ）を生成する（第１形状生成処理）。次に、図４（Ｂ）において、部分特定部１２は、第１形状情報Ｄ１に基づいて、第１形状ＦＭ１の部分を特定する（部分特定処理）。部分特定部１２は、第１形状ＦＭ１において予め設定された所定の部分（例、右肩Ｐ１、左肩Ｐ２、肩中央Ｐ３、腰中央Ｐ４、頸部Ｐ５）の位置（参照位置）を算出する。部分特定部１２は、算出した参照位置を記憶部１５に記憶させる。

【0042】

図４（Ｃ）において、第２形状情報生成部１３は、第２形状ＦＭ２（図４（Ｄ）に示す）を配置する位置（以下、目標位置ＰＸという）を算出する（配置処理）。第２形状情報生成部１３は、例えば、記憶部１５から参照位置および参照位置情報ＤＰを記憶部１５から読み出し、これらの情報に基づいて第２形状ＦＭ２を配置する目標位置を算出する。例えば、第２形状情報生成部１３は、参照位置（所定の部分の位置ベクトル）と、参照位置情報ＤＰに含まれるオフセット量（変位ベクトル）とを合成して、目標位置を表すベクトル（位置ベクトル）を算出する。

【0043】

図４（Ｄ）において、第２形状情報生成部１３は、記憶部１５から付加形状情報ＤＦを読み出し、例えば、付加形状情報ＤＦが表す第２形状ＦＭ２を第１形状ＦＭ１と同じ形式のデータで表す。例えば、第１形状ＦＭ１は、第１検出部２の検出結果（例、デプス）に基づいて生成される点群データ（第１点群データ）で表され、第２形状情報生成部１３は、第２形状ＦＭ２の表面の各点の座標を含む点群データ（第２点群データ）で第２形状ＦＭ２を表す。

【0044】

第２形状情報生成部１３は、配置処理（図４（Ｃ）参照）において算出した目標位置を基準（例、原点）として、第２形状ＦＭ２の表面の各点を配置することによって、第１形状ＦＭ１に対して予め設定された相対位置になるように第２形状ＦＭ２を配置する。上記の予め設定された相対位置は、例えば、記憶部１５に記憶された参照位置情報ＤＰに定められている。また、付加形状情報ＤＦには、例えば、第２形状ＦＭ２において基準になる位置（例、中心）が予め定められており、第２形状情報生成部１３は、目標位置と第２形状ＦＭ２の基準とが一致するように、第２形状ＦＭ２の表面の各点を配置する。

【0045】

第２形状情報生成部１３は、第１形状ＦＭ１を表す形状情報（第１点群データ）と、第１形状ＦＭ１に対して配置した第２形状ＦＭ２を表す形状情報（第２点群データ）とを合成することによって、第１形状ＦＭ１および第２形状ＦＭ２を含む形状（合成形状ＦＭ３）を表す第２形状情報Ｄ２を生成する（付加処理）。第２形状情報生成部１３は、生成した第２形状情報Ｄ２を記憶部１５に記憶させる。

【0046】

第２形状情報生成部１３は、上記の付加処理を実行する際に、第１形状ＦＭ１と第２形状ＦＭ２とで重複する部分を減らすように、付加処理を実行してもよい。例えば、第２形状ＦＭ２の内部に第１形状ＦＭ１の一部が存在するか否かを判定し、第１形状ＦＭ１のうち第２形状ＦＭ２の内部に存在する部分（第２形状ＦＭ２と重複する部分、重複部分）の少なくとも一部を削除してもよい。また、第２形状情報生成部１３は、上記の付加処理を実行する際に、第２形状ＦＭ２の表面から所定の距離未満の領域（近傍領域）に第１形状ＦＭ１の一部が存在するか否かを判定し、第１形状ＦＭ１のうち第２形状ＦＭ２の近傍領域に存在する部分（近傍部分）の少なくとも一部を削除してもよい。

【0047】

第２形状情報生成部１３は、第１形状ＦＭ１と第２形状ＦＭ２とを合成した後に、上記の重複部分の少なくとも一部と近傍部分の少なくとも一部との一方または双方を削除して、第２形状情報を生成してもよい。また、第２形状情報生成部１３は、第１形状ＦＭ１と第２形状ＦＭ２とを合成する前に、上記の重複部分の少なくとも一部と近傍部分の少なくとも一部との一方または双方を削除して、少なくとも一部が削除された第１形状ＦＭ１に対して第２形状ＦＭ２を配置して、第２形状情報を生成してもよい。

【0048】

なお、部分特定部１２は、第１形状ＦＭ１（図２参照）において装着物ＥＱの第１部分ＥＱ１を特定してもよい。例えば、第１部分ＥＱ１の形状は予め分かっており、記憶部１５は、第１部分ＥＱ１の形状を示す形状情報を予め記憶してもよい。部分特定部１２は、第１形状ＦＭ１における第１部分ＥＱ１を、記憶部１５に記憶された第１位部分の形状情報に基づいて特定してもよい。また、第２形状情報生成部１３は、第１形状ＦＭ１において部分特定部１２が特定した装着物ＥＱの第１部分ＥＱ１の位置に対して予め設定された位置に、第２形状ＦＭ２を配置し、第１形状ＦＭ１と第２形状ＦＭ２とを合成してもよい。

【0049】

なお、第２形状情報生成部１３は、第２形状ＦＭ２としてフェンシングの剣（図２の部分ＥＱ３参照）を表す形状を、第１形状ＦＭ１に付加してもよい。例えば、フェンシングの剣等のように変形量が大きい装着物の形状を付加する場合、例えば、装着物に予めマークを付けておき、このマークを検出した検出結果を利用して、装着物（例、フェンシングの剣）の形状を推定してもよい。第２形状情報生成部１３は、推定した形状を第２形状ＦＭ２として、第１形状ＦＭ１に付加してもよい。

【0050】

なお、第１形状情報生成部１１は、形状情報としてサーフェス情報を生成してもよい。サーフェス情報は、例えばポリゴンデータ、ベクタデータ、ドローデータなどである。サーフェス情報は、例えば、複数の点の座標と複数の点間の連結情報とを含む。連結情報は、例えば、物体（例、人体）の稜線（例、エッジ）に相当する線の両端の点を互いに関連付ける情報を含む。連結情報は、例えば、物体上の面の輪郭に相当する複数の線を互いに関連付ける情報を含む。

【0051】

第１形状情報生成部１１は、例えば、点群データに含まれる複数の点から選択される点とその近傍の点との間の面を推定し、点群データを点間の平面情報を持つポリゴンデータに変換してもよい。第１形状情報生成部１１は、例えば、最小二乗法を用いたアルゴリズムにより、点群データをポリゴンデータへ変換する。このアルゴリズムは、例えば、点群処理ライブラリに公開されているアルゴリズムを適用したものでもよい。また、第２形状情報生成部１３は、形状情報としてサーフェス情報を生成してもよい。

【0052】

第２形状情報生成部１３は、第１形状ＦＭ１と第２形状ＦＭ２との相対的な大きさを調整して、第１形状ＦＭ１と第２形状ＦＭ２とを合成してもよい。例えば、第２形状情報生成部１３は、第１形状ＦＭ１を基準にして第２形状ＦＭ２の大きさを調整してもよい。また、第１形状ＦＭ１に対する第２形状ＦＭ２の大きさの比率は、付加形状情報ＤＦに定められていてもよい。第２形状情報生成部１３は、第１検出部２の検出結果に基づく第１形状ＦＭ１の大きさに、付加形状情報ＤＦに定められた上記の比率を掛けることで、第２形状ＦＭ２の大きさを決定（例、算出）してもよい。

【0053】

なお、処理装置３が付加形状情報ＤＦを取得するタイミングは、第２形状情報生成部１３が第２形状情報を生成する前の任意のタイミングに設定される。例えば、処理装置３は、第１検出部２による検出処理の開始前に、予め付加形状情報ＤＦを取得してもよい。また、処理装置３は、第１検出部２による検出処理と並行して、付加形状情報ＤＦを取得してもよい。また、処理装置３は、第１検出部２による検出処理の終了後に、付加形状情報ＤＦを取得してもよい。

【0054】

次に、上述の検出装置１の動作に基づき、実施形態に係る検出方法について説明する。図５は、実施形態に係る検出方法を示すフローチャートである。検出装置１の各部および各処理については、適宜、図１から図４を参照する。ステップＳ１において、第１検出部２（図１参照）は、所定の点Ｖｐから対象物ＯＢの表面の各点までのデプスを検出する。ステップＳ１のステップＳ２において、照射部７（図２参照）は、光Ｌａを対象物ＯＢに照射する。ステップＳ３において、撮像素子９は、対象物ＯＢから出射した光Ｌｂを検出する。ステップＳ４において、第１検出部２は、撮像素子９の検出結果に基づいて、デプスを算出する。

【0055】

次に、ステップＳ５において、処理装置３（図１参照）の第１形状情報生成部１１は、光の照射および検出によって得られるデプス（ステップＳ１の検出結果）に基づいて、対象物ＯＢの第１形状ＦＭ１（図４（Ａ）参照）を表す第１形状情報を生成する。記憶部１５は、第１形状情報生成部１１が生成した第１形状情報を記憶する。ステップＳ６において、部分特定部１２は、ステップＳ５で生成された第１形状情報に基づいて、第１形状ＦＭ１における部分（図４（Ｂ）参照）を特定する。記憶部１５は、部分特定部１２が特定した部分の情報（例、所定の部分の位置）を記憶する。

【0056】

次に、ステップＳ７において、処理装置３（図１参照）の第２形状情報生成部１３は、第１形状ＦＭ１および第２形状ＦＭ２（図４（Ｄ）参照）を含む形状（合成形状ＦＭ３）を表す第２形状情報Ｄ２を生成する。ステップＳ７のステップＳ８において、第２形状情報生成部１３は、第１形状情報のもとになるデプスと異なる情報に基づく第２形状ＦＭ２を表す付加形状情報ＤＦを取得する。付加形状情報ＤＦは、例えば、ステップＳ８の処理の開始前に、予め記憶部１５に記憶されている。第２形状情報生成部１３は、記憶部１５から付加形状情報ＤＦを読出して、付加形状情報ＤＦを取得する。

【0057】

ステップＳ７のステップＳ９において、第２形状情報生成部１３は、第１形状ＦＭ１において特定された部分と第２形状との予め設定された相対位置を表す参照位置情報ＤＰを取得する。参照位置情報ＤＰは、例えば、ステップＳ９の処理の開始前に、予め記憶部１５に記憶されている。第２形状情報生成部１３は、記憶部１５から参照位置情報ＤＰを読出して、参照位置情報ＤＰを取得する。

【0058】

ステップＳ１０において、第２形状情報生成部１３は、付加形状情報ＤＦおよび参照位置情報ＤＰに基づいて、第１形状ＦＭ１に対して第２形状ＦＭ２を配置する。第２形状情報生成部１３は、付加形状情報ＤＦに定義された３次元形状（第２形状ＦＭ２）の基準位置と、第１形状ＦＭ１から特定された所定の部分の位置とが予め設定された相対位置になるように、第２形状ＦＭ２を第１形状ＦＭ１と同じ座標系で表すことによって、第２形状ＦＭ２を第１形状ＦＭ１に付加する。このように、第２形状情報生成部１３は、第１形状ＦＭ１と第２形状ＦＭ２とを含む合成形状ＤＦ３を表す第２形状情報Ｄ２を生成する。

【0059】

［第２実施形態］
次に、第２実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図６は、第２実施形態に係る検出装置１を示す図である。本実施形態に係る検出装置１は、例えば、対象物ＯＢを検出して付加形状情報ＤＦを取得する。付加形状情報ＤＦを取得する際の検出の検出条件は、第１形状ＦＭ１を表す情報を取得する際の第１検出部２の検出条件と異なる。検出装置１は、第１検出部２による検出結果において確度が相対的に低い部分に関して確度が高くなるように、第１検出部２と異なる検出条件で検出を実行する。

【0060】

本実施形態に係る検出装置１は、第２検出部２１を備える。第１検出部２は第１検出条件で対象物ＯＢの検出を実行し、第２検出部２１は、第１検出条件と異なる第２検出条件で対象物ＯＢの検出を実行する。第１検出部２の検出結果と異なる情報は、第１検出条件と異なる第２検出条件で実行される検出によって取得される情報を含む。例えば、第１検出部２の検出結果（第１検出結果）と異なる情報は、第２検出部２１の検出結果（第２検出結果）を含む。第２検出条件は、検出の空間解像度が第１検出条件と異なる。例えば、第２検出条件での検出は、第１検出条件の検出に比べて空間解像度が高い。

【0061】

第２検出条件は、例えば、対象物ＯＢを検出する検出方法が第１検出条件と異なる。第２検出部２１は、例えばステレオカメラを含み、対象物ＯＢから出射する光Ｌｃを複数の視点で検出する。第２検出部２１は、複数の視点のそれぞれにおける撮像画像を含む複数の撮像画像を用いた三角測量によって、第２検出部２１から対象物ＯＢの表面の各点までのデプスを検出する。

【0062】

また、第２検出条件は、検出対象の光の波長が第１検出条件と異なってもよい。例えば、第２検出部２１が検出する光Ｌｃは、第１検出部２が検出する光Ｌｂと波長が異なってもよい。例えば、第１検出部２が検出する光Ｌｂは赤外光を含み、第２検出部２１が検出する光Ｌｃは、可視光を含んでもよい。例えば、第２検出部２１は、対象物ＯＢから出射した可視光によって対象物ＯＢの表面を検出するセンサ（例、撮像素子、受光素子）を含んでもよい。第２検出部２１は、複数の視点のそれぞれから、対象物ＯＢの撮像画像（例、カラー画像、ＲＧＢ画像）を取得してもよい。可視光を検出して得られる撮像画像は、例えば、デプス画像に比べて高解像で取得することが容易である。第２検出部２１は、例えば、第１検出部２に比べて、対象物ＯＢにおける細かい構造を検出可能になることで、細かい構造に関するデプスを高精度（高い確度）で取得可能である。

【0063】

また、第２検出条件は、照明の条件が第１検出条件と異なってもよい。例えば、第１検出部２はアクティブ測距（アクティブ検出）を実行し、第２検出部２１はパッシブ測距（パッシブ検出）を実行してもよい。例えば、第２検出部２１は、照明光（例、可視光）を対象物ＯＢに照射することなく、外光あるいは環境光を照明に用いた光学的な検出（例、ＣＣＤ等の撮像素子を用いた撮像）によって、第２検出部２１から対象物ＯＢの表面の各点までのデプスを取得してもよい。

【0064】

また、第２検出条件は、対象物ＯＢの検出を実行する検出元の対象物ＯＢに対する相対位置が第１検出条件と異なってもよい。例えば、第２検出部２１（検出元）と対象物ＯＢとの距離（相対位置）は、第１検出部２（検出元）と対象物ＯＢとの距離（相対位置）と異なってもよい。例えば、第２検出部２１と対象物ＯＢとの距離が第１検出部２と対象物ＯＢとの距離よりも近い場合、第２検出部２１は、第１検出部２に比べて、対象物ＯＢにおける細かい構造に関するデプスを高精度（高い確度）で取得することが容易である。

【0065】

また、対象物ＯＢに対する第２検出部２１（検出元）の方位（相対位置）は、対象物ＯＢに対する第１検出部２（検出元）の方位（相対位置）と異なってもよい。例えば、第２検出部２１は、照明と対象物ＯＢとを結ぶ線と、対象物ＯＢと検出元とを結ぶ線との角度（例、照明、対象物、及び検出元の３点の相対位置）が第１検出部２と異なることによって、第１検出部２に比べて装着物ＥＱの第２部分ＥＱ２に関するデプスを高精度（高い確度）で検出してもよい。

【0066】

第２検出部２１は、対象物ＯＢを検出した検出結果（第２検出結果）を処理装置３に出力する。第２検出部２１の検出結果は、例えば、第１検出部２と異なる検出条件で検出されたデプスを含む。本実施形態において、処理装置３は、付加形状情報生成部２２を備える。付加形状情報生成部２２は、第２検出部２１の検出結果に基づいて、付加形状情報ＤＦを生成する。

【0067】

付加形状情報生成部２２は、部分特定部１２が特定した部分（例、装着物ＥＱの第１部分ＥＱ１）の位置に対して予め定められた相対位置になる所定の領域における物体（例、装着物ＥＱの第２部分ＥＱ２）の形状情報を付加形状情報ＤＦとして生成する。上記の所定の領域は、例えば、部分特定部１２が特定した部分の位置と、参照位置情報ＤＰに定められる相対位置とから求まる参照位置の周囲の所定の大きさを有する空間領域である。

【0068】

付加形状情報生成部２２は、例えば、第１形状情報生成部１１と同様のアルゴリズムによって、第２検出部２１から得られるデプスを処理し、装着物ＥＱの第２部分ＥＱ２の形状を表す付加形状情報ＤＦを生成する。そして、付加形状情報生成部２２は、生成した付加形状情報ＤＦを記憶部１５に記憶させる。第２形状情報生成部１３は、第１実施形態と同様に、付加形状情報ＤＦおよび参照位置情報ＤＰに基づいて、図４（Ｄ）に示したように第１形状ＦＭ１と第２形状ＦＭ２とを合成し、第１形状ＦＭ１および第２形状ＦＭ２を含む形状（合成形状ＤＦ３）を表す形状情報（第２形状情報Ｄ２）を生成する。

【0069】

［第３実施形態］
次に、第３実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図７は、第３実施形態に係る検出装置を示す図である。本実施形態に係る検出装置１は、例えば、対象物ＯＢを検出して付加形状情報ＤＦを取得する。本実施形態において、第２検出部２１は、第２実施形態と異なる検出条件（検出方法）で対象物ＯＢを検出する。本実施形態における第２検出部２１は、対象物ＯＢのうち装着物ＥＱに接触して、装着物ＥＱの形状を検出する。

【0070】

本実施形態に係る第２検出部２１は、対象物ＯＢに接触して対象物ＯＢの表面を検出するセンサ２３（例、プローブ等による接触型センサ、非接触型センサ）を含む。第２検出部２１は、例えば、第１検出部２による対象物ＯＢの検出処理の開始前または終了後に、対象物ＯＢを検出する。第２検出部２１は、センサ２３によって装着物ＥＱ（第１部分ＥＱ１）の表面を走査し、装着物ＥＱの表面における各点の位置（例、３次元座標）を取得する。第２検出部２１は、その検出結果（第２検出結果）として、例えば装着物ＥＱの形状を表す形状情報（例、点群データ）を処理装置３に出力する。処理装置３の記憶部１５は、第２検出部２１から出力された形状情報を、付加形状情報ＤＦとして記憶する。上述の実施形態において、第２検出部２１は、検出装置１の外部の装置でもよい。なお、第２検出部２１は、第１部分ＥＱ１の表面と第２部分ＥＱ２の表面とのうち少なくとも一方（例、第２部分ＥＱ２の表面）をセンサ２３によって走査し、該表面における各点の位置を取得するようにしてもよい。また、本実施形態における第２検出部２１は、装着物ＥＱに対して非接触型センサを用いて、装着物ＥＱの形状を検出してもよい。

【0071】

［第４実施形態］
次に、第４実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図８は、実施形態に係る装着物を示す図である。装着物ＥＱは、例えば、図１に示したように人体ＨＭ（この場合、頭部）に装着され、人体ＨＭと装着物ＥＱとを含む対象物ＯＢを検出する際に利用される。図８の装着物ＥＱは、例えば、フェンシング用マスクである。なお、装着物ＥＱは、所定の点Ｖｐへ向かう光を検出することによってデプスを検出する第１検出部２に対して配置される物体（例、図１の人体ＨＭ）に装着される。

【0072】

装着物ＥＱは、その表面において、第１部分ＥＱ１と、第２部分ＥＱ２と、識別子ＥＭとを含む。第１部分ＥＱ１は、所定の点Ｖｐから照射された光Ｌ２ａの少なくとも一部が反射して所定の点Ｖｐへ向かって出射する。第１部分ＥＱ１は、頸部を覆う部分であり、装着物ＥＱのうち相対的に空間周波数が低い（粗い構造である）。第１部分ＥＱ１は、例えば、光Ｌ２ａが照射された場合に、第１部分ＥＱ１から出射する光Ｌ２ａの強度が閾値以上となるように、材質、色などが選択される。識別子ＥＭは、第１部分ＥＱ１の所定の位置に設けられる。識別子ＥＭ（例、マーク）は、装着物ＥＱを光学的に検出する場合に、高い反射率を有し、第１部分ＥＱ１における識別子ＥＭと異なる部分に比べて検出結果の確度が高くなるように、材料、色、形状等が選択される。

【0073】

第２部分ＥＱ２は、第１部分ＥＱ１と所定の相対位置（既知の位置関係）で配置される。第２部分ＥＱ２は、所定の点Ｖｐから照射された光Ｌ２ｂのうち所定の点Ｖｐへ向かって出射する光（例、反射光）の強度が第１部分ＥＱ１に比べて弱い。例えば、第２部分ＥＱ２は、上述のメッシュ状の部分を含み、装着物ＥＱのうち相対的に空間周波数が高い（細かい構造である）。第２部分ＥＱ２は、例えば、散乱率が第１部分ＥＱ１に比べて高いことによって、所定の点Ｖｐへ向かって出射する光Ｌ２ｂの強度が弱い。また、第２部分ＥＱ２は、吸収率が第１部分ＥＱ１に比べて高いことによって、所定の点Ｖｐへ向かって出射する光Ｌ２ｂの強度が弱くてもよい。第２部分ＥＱ２から所定の点Ｖｐへ向かって出射する光Ｌ２ｂの強度は、０でもよい（第２部分ＥＱ２から光Ｌ２ｂが出射しなくてもよい）。

【0074】

本実施形態に係る装着物ＥＱは、例えば、第１検出部２によって検出された場合に、識別子ＥＭによって第１部分ＥＱ１を容易に、かつ高精度で推定して特定することができる。第１部分ＥＱ１と第２部分ＥＱ２とが所定の相対位置で配置されているので、例えば、第１部分ＥＱ１の位置が特定されることで、第２部分ＥＱ２の位置が容易に、かつ高精度で推定して特定可能である。

【0075】

［第５実施形態］
次に、第５実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図９は、第５実施形態に係る検出装置を示す図である。本実施形態において、処理装置３は、例えば、人体ＨＭ１の視点の情報を推定する。図９において、対象物ＯＢは、人体ＨＭ１および人体ＨＭ２を含み、人体ＨＭ１の視点の情報は、例えば、人体ＨＭ１の視点から見た人体ＨＭ２の画像の推定に利用される。以下、本実施形態に係る処理装置３の処理について説明する。検出装置１の各部については、適宜、図９を参照する。

【0076】

図１０は、第５実施形態に係る処理装置３が実行する処理を示す図である。処理装置３の第２形状情報生成部１３（図９参照）は、対象物ＯＢにおいて第２形状ＦＭ２に対応する部分（例、人体ＨＭ１の頭部、装着物ＥＱ）の向き（又は角度）を、第１形状ＦＭ１に基づいて推定する。例えば、第２形状情報生成部１３は、第２形状ＦＭ２と連続する部分として予め設定された部分（例、人体ＨＭ１の頸部、人体ＨＭ１の肩、装着物ＥＱの第１部分ＥＱ１）について、その表面の形状を推定する。例えば、第２形状情報生成部１３は、上記の予め設定された部分について、第１形状情報生成部１１が生成した第１形状情報を用いて、表面の各点における法線方向の分布を導出し、その分布に基づき表面のねじれ（例、頸部のねじれ角、肩のねじれ角）を検出（推定）する。第２形状情報生成部１３は、検出したねじれに基づいて、第１形状ＦＭ１に対する第２形状ＦＭ２の向き（又は角度）を設定する。上記の通り、例えば動作中において人体ＨＭ１の胸部と頸部（又は頭部）とは人体ＨＭ２に対する互いの向き（方向）が異なる場合があるため、第２形状情報生成部１３は、頸部（又は頭部）の向きによって第１形状ＦＭ１に対する第２形状ＦＭ２の向きを決定し、その向きに基づいて第１形状ＦＭ１に対する第２形状ＦＭ２の位置（頸部の方向又は頭部の視線方向）を設定している。

【0077】

本実施形態において、付加形状情報ＤＦ（図９参照）は、第２形状ＦＭ２において予め設定された視点の情報を含む。図１０に示す通り、視点の情報は、例えば、第２形状ＦＭ２における視点Ｖ１の位置、及び視点Ｖ１を起点とする視線ＶＬの向きを含む。第２形状ＦＭ２の視点Ｖ１の位置は、例えば、第２形状ＦＭ２を定義する座標系における座標（例、３次元の位置ベクトル）で表される。視点Ｖ１の位置は、例えば、第２形状ＦＭ２を人体ＨＭ１の頭部とした場合に、両眼の中央（顔面の中心線ＣＬ上）に設定（定義）される。視点Ｖ１の位置は、例えば、左眼の視点の位置と、右眼の視点の位置とがそれぞれ設定されていてもよい。視線ＶＬの向きは、例えば、第２形状ＦＭ２の表面の視点Ｖ１における法線方向に設定される。視線ＶＬの向きは、例えば、第２形状ＦＭ２を表す座標系における３次元の方向ベクトルで表される。

【0078】

第２形状情報生成部１３は、例えば、上記の視点Ｖ１の位置を表す位置ベクトルを、第１形状ＦＭ１を表す座標系上の位置ベクトルへ座標変換することで、第２形状ＦＭ２を第１形状ＦＭ１に対して配置した際の視点Ｖ１の位置を生成（算出）する。また、第２形状情報生成部１３は、例えば、上記の視点Ｖ１の向きを表す方向ベクトルを、第１形状ＦＭ１を表す座標系上の方向ベクトルへ座標変換することで、第２形状ＦＭ２を第１形状ＦＭ１に対して配置した際の視線の向きを生成（算出）する。

【0079】

図９の説明に戻り、本実施形態に係る検出装置１は、レンダリング処理部２５と、表示装置２６とを備える。レンダリング処理部２５は、例えば、グラフィックス プロセッシング ユニット（Graphics Processing Unit; GPU）を含む。なお、レンダリング処理部２５は、ＣＰＵおよびメモリが画像処理プログラムに従って各処理を実行する態様でもよい。レンダリング処理部２５は、例えば、描画処理、テクスチャマッピング処理、シェーディング処理の少なくとも一つの処理を行う。

【0080】

レンダリング処理部２５は、描画処理において、例えば、形状情報に定められた形状を任意の視点（例、第１検出部２から人体ＨＭ１及び人体ＨＭ２を見た視点、人体ＨＭ１から人体ＨＭ２を見た視点、人体ＨＭ２から人体ＨＭ１を見た視点）から見た推定画像（例、再構築画像）を算出できる。以下の説明において、形状情報が示す形状をモデル形状という。レンダリング処理部２５は、例えば、描画処理によって、形状情報からモデル形状（例、推定画像）を再構成できる。レンダリング処理部２５は、例えば、算出した推定画像のデータを記憶部１５に記憶させる。また、レンダリング処理部２５は、テクスチャマッピング処理において、例えば、推定画像上の物体（例、人体ＨＭ１、人体ＨＭ２）の表面に、テクスチャを貼り付けた推定画像を算出できる。レンダリング処理部２５は、推定画像上の物体（例、人体ＨＭ１、人体ＨＭ２）の表面に、対象物ＯＢと別のテクスチャを貼り付けた推定画像を算出することができる。レンダリング処理部２５は、シェーディング処理において、例えば、任意の光源により形成される陰影を推定画像上の物体（例、人体ＨＭ１、人体ＨＭ２）に付加した推定画像を算出できる。

【0081】

表示装置２６は、処理装置３から出力される画像のデータに基づいて、この画像を表示する。例えば、処理装置３は、レンダリング処理部２５が生成した推定画像のデータを表示装置２６に出力する。表示装置２６は、処理装置３から出力された推定画像のデータに基づいて、推定画像を表示する。表示装置２６は、例えば、液晶ディスプレイでもよいし、タッチパネルなどでもよい。

【0082】

図１１は、第５実施形態に係る処理装置３が実行する処理を示す図である。第２形状情報生成部１３（図９参照）は、図１０と同様の処理によって、人体ＨＭ２の視点の情報を生成する。図１１（Ａ）において、符号Ｖ２は、第２形状情報生成部１３が推定した人体ＨＭ２の視点である。また、符号ＶＬ２は、第２形状情報生成部１３が推定した人体ＨＭ２の視線である。

【0083】

レンダリング処理部２５は、第２形状情報生成部１３が生成した人体ＨＭ１の形状情報と、人体ＨＭ２の視点Ｖ２の位置情報（視点Ｖ２の位置、視線ＶＬ２の向き）に基づいて、人体ＨＭ２の視点Ｖ２から見た画像を推定する。図１１（Ｂ）は、図１１（Ａ）の視点Ｖ２から人体ＨＭ１を見た画像（推定画像）を示す図である。図１１（Ｃ）は、図１１（Ａ）の状態から視点Ｖ２の位置、視線ＶＬ２の向きが変化した場合の推定画像を示す図である。図１１（Ｃ）において、人体ＨＭ１の見え方は、人体ＨＭ２の視点Ｖ２および視線ＶＬ２に基づいて図１１（Ｂ）の状態から変化している。

【0084】

本実施形態に係る検出装置１は、例えば、第１検出部２が人体ＨＭ１および人体ＨＭ２をリアルタイムで検出する。第２形状情報生成部１３は、例えば、各時刻における人体ＨＭ２の視点の位置情報を推定する。レンダリング処理部２５は、例えば、第２形状情報生成部１３が推定した人体ＨＭ２の視点の位置情報、及び第２形状情報生成部１３が生成した人体ＨＭ１に関する形状情報を用いて、人体ＨＭ２の視点から見た人体ＨＭ１の画像をリアルタイムで更新することができる。このような検出装置１は、リアルタイムに生成した該推定画像を表示装置２６に表示することができ、臨場感のある画像を提供することができる。

【0085】

なお、対象物ＯＢに含まれる人体の数は、図９において２であるが、１でもよいし、３以上でもよい。また、レンダリング処理部２５は、処理装置３と異なる装置に設けられてもよい。また、表示装置２６は、検出装置１の外部の装置であってもよい。

【0086】

［第６実施形態］
次に、第６実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１２は、第６実施形態に係る検出装置を示す図である。図１２において、対象物ＯＢは、人体ＨＭ１および人体ＨＭ２を含む。以下の説明において、適宜、人体ＨＭ１を第１の選手ＨＭ１と称し、人体ＨＭ２を第２の選手ＨＭ２と称する。検出装置１は、例えば、第１の選手ＨＭ１の視点情報と、第２の選手ＨＭ２の視点情報との一方又は双方を生成する。上記の視点情報は、第１の選手ＨＭ１又は第２の選手ＨＭ２における、視点の位置、視線の向き、及び視野の少なくとも１つの情報を含む。検出装置１は、例えば、生成した視点情報（第１の選手ＨＭ１の視点情報、第２の選手ＨＭ２の視点情報）に基づいて、第１の選手ＨＭ１から第２の選手ＨＭ２を見た画像を推定した第１推定画像と、第２の選手人体ＨＭ２から第１の選手ＨＭ１を見た画像を推定した第２推定画像との一方または双方を生成する。

【0087】

本実施形態に係る検出装置１（検出システム）は、複数の検出部３０（例、検出部３１、検出部３２）と、処理装置３と、表示装置２６と、入力装置３３とを備える。複数の検出部３０は、第１の選手ＨＭ１及び第２の選手ＨＭ２を検出できる位置に配置され、それぞれ、互いに異なる視点（第１、第２の視点）から対象物ＯＢを検出する。検出装置１は、複数の検出部３０によって複数の視点から対象物ＯＢを検出する。複数の検出部３０は、例えば、図１等に示した第１検出部２を含む。例えば、検出部３１と検出部３２との一方または双方は、第１検出部２を含む。複数の検出部３０は、図６に示した第２検出部２１を含んでもよい。例えば、検出部３１と検出部３２との一方または双方は、第２検出部２１を含んでもよい。

【0088】

処理装置３の第２形状情報生成部１３は、例えば、複数の検出部３０の検出結果から得られる第１の選手ＨＭ１に関する第１形状情報を用いて、第１形状ＦＭ１（図１０参照）と第２形状ＦＭ２とを含む形状を表す第２形状情報を生成する。第２形状情報生成部１３は、第２形状情報を生成する際に、第１の選手ＨＭ１に関する視点情報を生成する。第２形状情報生成部１３は、生成した第１の選手ＨＭ１に関する視点情報を記憶部１５に記憶させる。第２形状情報生成部１３は、第２の選手ＨＭ２についても同様に、第２の選手ＨＭ２に関する視点情報を生成する。第２形状情報生成部１３は、第２の選手ＨＭ２に関する視点情報を記憶部１５に記憶させる。

【0089】

レンダリング処理部２５は、第１の選手ＨＭ１の視点情報および第２形状情報を用いて、第１の選手ＨＭ１の視点から第２の選手ＨＭ２を見た画像を推定した第１推定画像（第２の選手ＨＭ２を３Ｄモデル化した３次元モデル画像）を生成する。レンダリング処理部２５は、記憶部１５から第１の選手ＨＭ１の視点情報および第２形状情報を読み出して、第１推定画像を生成する。そして、レンダリング処理部２５は、生成した第１推定画像を表す画像データ（第１推定画像データ）を記憶部１５に記憶させる。

【0090】

また、レンダリング処理部２５は、第２の選手ＨＭ２の視点情報および第２形状情報を用いて、第２の選手ＨＭ２の視点から第１の選手ＨＭ１を見た画像を推定した第２推定画像（第１の選手ＨＭ１を３Ｄモデル化した３次元モデル画像）を生成する。レンダリング処理部２５は、記憶部１５から第２の選手ＨＭ１の視点情報および第２形状情報を読み出して、第２推定画像を生成する。そして、レンダリング処理部２５は、生成した第２推定画像を表す画像データ（第２推定画像データ）を記憶部１５に記憶させる。

【0091】

図１３は、第６実施形態に係る第１推定画像Ｉｍ１を示す図である。図１３の符号ＨＭ１ａは、第１の選手ＨＭ１の視界に入ると推定される第１の選手ＨＭ１の手先および剣の部分である。第１推定画像Ｉｍ１において、第１の選手ＨＭ１の部分ＨＭ１ａは、第１の選手ＨＭ１の視野に入ると推定される第２の選手ＨＭ２上に重ねられて描画されている。第１推定画像Ｉｍ１において、部分ＨＭ１ａは、透明な状態（例、アウトラインのみ）、半透明な状態、又は不透明な状態のいずれかの状態で描画されてもよい。また、第１推定画像Ｉｍ１において、部分ＨＭ１ａは、描画されなくてもよい。部分ＨＭ１ａの描画の有無、あるいは描画の状態（例、透明、半透明、不透明）は、例えば、ユーザが入力装置３３を介して設定可能でもよく、ユーザの指定によって変更可能でもよい。

【0092】

図１４は、第６実施形態に係る第２推定画像Ｉｍ２を示す図である。図１４の符号ＨＭ２ａは、第２の選手ＨＭ２の視界に入ると推定される第２の選手ＨＭ２の手先および剣の部分である。第２推定画像Ｉｍ２において、第２の選手ＨＭ２の部分ＨＭ２ａは、第２の選手ＨＭ２の視野に入ると推定される第２の選手ＨＭ１上に重ねられて描画されている。第２推定画像Ｉｍ２において、部分ＨＭ２ａは、透明な状態（例、アウトラインのみ）、半透明な状態、又は不透明な状態のいずれかの状態で描画されてもよい。また、第２推定画像Ｉｍ２において、部分ＨＭ２ａは、描画されなくてもよい。部分ＨＭ２ａの描画の有無、あるいは描画の状態（例、透明、半透明、不透明）は、例えば、ユーザが入力装置３３を介して設定可能でもよく、ユーザの指定によって変更可能でもよい。

【0093】

図１２の説明に戻り、本実施形態に係る検出装置１は、処理装置３によってＧＵＩ（グラフィカルユーザインターフェース）を表す画像（以下、ＧＵＩ画像）を表示装置２６に表示させる。また、ユーザは、入力装置（例、キーボード、マウス）３３を操作することによって、ＧＵＩ画像上で表示される画像（静止画、動画）を切り替えることが可能である。

【0094】

図１５は、第６実施形態に係るＧＵＩ画像ＩｍＧを示す図である。ＧＵＩ画像ＩｍＧは、第１表示領域ＡＲ１、第２表示領域ＡＲ２、及び第３表示領域ＡＲ３を含む。第１表示領域ＡＲ１（メイン領域）は、例えばユーザ等によって選択された視点から見た画像の推定画像（例、第１推定画像Ｉｍ１、第２推定画像Ｉｍ２、第３推定画像Ｉｍ３など）が配置される領域である。第２表示領域ＡＲ２（サブ領域）は、第１表示領域ＡＲ１に配置する推定画像の候補（例、メイン領域に表示されている推定画像以外の複数の推定画像）が配置される領域である。ＧＵＩ画像ＩｍＧは、処理装置３によって表示装置２６に表示される。

【0095】

第２表示領域ＡＲ２には、例えば、第１推定画像Ｉｍ１（第１視野の画像）、第２推定画像Ｉｍ２（第２視野の画像）、及び第３推定画像Ｉｍ３（第３視野の画像）が配置される。第３推定画像Ｉｍ３は、例えば、第１推定画像Ｉｍ１と第２推定画像Ｉｍ２とのいずれとも異なる視野の画像である。第３推定画像Ｉｍ３（例、選手と競技フィールドとを含む全体画像）は、例えば、ユーザが設定した視野（視点、視線）において、複数の検出部３０の検出結果に基づいてレンダリング処理部２５が生成した画像（競技フィールド、第１の選手ＨＭ１および第２の選手ＨＭ２を３Ｄモデル化した３次元モデル画像）である。第３推定画像Ｉｍ３の視野は、例えば、第１の選手ＨＭ１および第２の選手ＨＭ２が収まる視野に設定される。

【0096】

ユーザは、例えば、入力装置３３を操作することによって、第２表示領域ＡＲ２に配置されている第１推定画像Ｉｍ１、第２推定画像Ｉｍ２、及び第３推定画像Ｉｍ３から、第１表示領域ＡＲ１に配置する推定画像を選択可能である。図１５の符号ＭＫは、現在選択されている推定画像を表すマークである。例えば、図１５においては、第２表示領域ＡＲ２の第３推定画像Ｉｍ３にマークＭＫが付されており、第１表示領域ＡＲ１に第３推定画像Ｉｍ３が配置され表示されている。第１表示領域ＡＲ１には、選択された推定画像が第２表示領域ＡＲ２よりも拡大されて配置される。第１表示領域ＡＲ２には、選択された推定画像が動画形式（例、リアルタイム）で表示される。なお、第２表示領域ＡＲ２において、各推定画像は、動画形式（例、リアルタイム）で表示されてもよいし、静止画形式で表示されてもよい。このように、ユーザは、本実施形態の検出装置を用いることによって、３次元空間内において視点を切替えて各推定画像を見ることができ、選手の姿勢や選手間距離などを視覚的に把握することができる。

【0097】

図１５において、符号ＴＬは、第１表示領域ＡＲ１に表示される推定画像の再生開始から再生終了までの期間（時間）を表すタイムラインバーである。また、符号ＴＬａは、推定画像の開始から終了までの期間において現在表示されている推定画像の時刻を表す時刻マークである。また、符号ＴＢは、第１表示領域ＡＲ１に表示される推定画像の再生に関する指令を入力可能なアイコンが配置されるツールボックス領域である。ツールボックス領域ＴＢに配置されるアイコンは、例えば、「再生の開始」の指令を表す三角形、「再生の一時停止」の指令を表す二本線、「再生の停止」の指令を表す四角形、「静止画の取り込み」の指令を表す丸印などである。

【0098】

ユーザは、例えば、選手の何らかのアクション（例、攻撃、防御、カウンター、ポイントゲット）又はお気に入りの画像に対してマウスのカーソルによってツールボックス領域ＴＢの「丸印」を押すことによって、現在表示されている推定画像を静止画として取り込む指令（キャプチャー指令）を入力可能である。符号ＣＭ１からＣＭ３は、それぞれ、タイムラインバーＴＬ上に、キャプチャー指令によって取り込まれた静止画に対応する時刻を表す時刻マークである。第３表示領域ＡＲ３には、取り込まれた静止画を縮小した複数の画像（例、サムネイル画像ＴＮ１、サムネイル画像ＴＮ２、サムネイル画像ＴＮ３、・・・）が表示される。例えば、サムネイル画像ＴＮ１（「ＣＡＰ１」）は、時刻マークＣＭ１に対応する静止画を縮小した画像である。サムネイル画像ＴＮ２（「ＣＡＰ２」）は、時刻マークＣＭ２に対応する静止画を縮小した画像である。ユーザは、例えば、サムネイル画像ＣＭ１をマウスのカーソルによって選択し、サムネイル画像ＣＭ１に対応する静止画を第１表示領域ＡＲ１又は別ウィンドウ画面に表示させること等ができる。また、タイムラインバーＴＬにおいて、符号ＣＭ１、ＣＭ２、ＣＭ３は、上記の時刻マークに加えて、マークの上部に各選手のアクションを示すコメントをそれぞれ含めて表示してもよい。例えば、該コメントは、上記推定画像をもとに処理装置３（例、レンダリング処理部２５）が上記推定画像における選手（第１の選手ＨＭ１など）の姿勢や動きなどを解析して得たコメントを含み、選手の攻撃、防御、カウンター、ポイントゲット等である。

【0099】

上述の実施形態において、処理装置３は、例えばコンピュータシステムを含む。処理装置３は、記憶部１５に記憶されている検出プログラムを読み出し、この検出プログラムに従って各種の処理を実行する。この検出プログラムは、コンピュータに、光を対象物に照射して対象物から出射した光を検出することによって得られる所定の点から対象物の表面上の各点までのデプスに基づいて、対象物の第１形状を表す第１形状情報を生成することと、第１形状情報に基づいて第１形状における部分を特定することと、第１形状情報の元になるデプスと異なる情報に基づいた第２形状を、特定された部分に対して予め設定された相対位置になるように第１形状に付加し、第１形状および第２形状を含む形状を表す第２形状情報を生成することと、を実行させる。この検出プログラムは、コンピュータ読み取り可能な記憶媒体（例、非一時的な記録媒体、non-transitory tangible media）に記録されて提供されてもよい。

【0100】

なお、本発明の技術範囲は、上述の実施形態などで説明した態様に限定されるものではない。上述の実施形態などで説明した要件の１つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。

【符号の説明】

【0101】

１・・・検出装置、２・・・第１検出部、３・・・処理装置、１１・・・第１形状情報生成部、１２・・・部分特定部、１３・・・第２形状情報生成部、１５・・・記憶部、２１・・・第２検出部、２３・・・センサ、２５・・・レンダリング処理部、Ｄ１・・・第１形状情報、Ｄ２・・・第２形状情報、ＥＭ・・・識別子、ＥＱ・・・装着物、ＨＭ・・・人体、ＯＢ・・・対象物、Ｖ１、Ｖ２・・・視点、ＣＯＭ・・・コンピュータ、ＥＱ１・・・第１部分、ＥＱ２・・・第２部分、ＦＭ１・・・第１形状、ＦＭ２・・・第２形状

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】