(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022089846
(43)【公開日】2022-06-16
(54)【発明の名称】三次元モデリングデータ生成装置
(51)【国際特許分類】
G01B 11/245 20060101AFI20220609BHJP
G03B 35/08 20210101ALI20220609BHJP
G03B 15/00 20210101ALI20220609BHJP
H04N 5/247 20060101ALI20220609BHJP
H04N 5/232 20060101ALI20220609BHJP
H04N 5/222 20060101ALI20220609BHJP
【ＦＩ】
G01B11/245 H
G03B35/08
G03B15/00 R
G03B15/00 U
G03B15/00 H
H04N5/247
H04N5/232 290
H04N5/232 030
H04N5/222 400
【審査請求】有
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2022048609
(22)【出願日】2022-03-24
(62)【分割の表示】P 2018200800の分割
【原出願日】2018-10-25
(71)【出願人】
【識別番号】316014722
【氏名又は名称】株式会社ＶＲＣ
(74)【代理人】
【識別番号】110000752
【氏名又は名称】特許業務法人朝日特許事務所
(72)【発明者】
【氏名】許 夢▲せん▼
(72)【発明者】
【氏名】後藤 道明
(72)【発明者】
【氏名】井口 道久
(72)【発明者】
【氏名】楠田 幸久
(57)【要約】
【課題】省スペースで設置できる三次元モデリングデータ生成装置を提供する。
【解決手段】三次元モデリングデータ生成装置は、被写体を撮影するための複数のセンサー群であって、各々が画像センサー及び距離センサーを含み、想定される被写体の中心位置に対して鉛直上方向から見たとき当該中心位置から当該複数のセンサー群の各々までの距離が非対称である複数のセンサー群と、前記画像センサーにより撮影された前記被写体の画像、及び前記距離センサーにより得られた当該被写体までの距離を用いて、当該被写体の三次元モデルを示す三次元モデリングデータを生成するコンピュータ装置とを有する。
【選択図】図５
【解決手段】三次元モデリングデータ生成装置は、被写体を撮影するための複数のセンサー群であって、各々が画像センサー及び距離センサーを含み、想定される被写体の中心位置に対して鉛直上方向から見たとき当該中心位置から当該複数のセンサー群の各々までの距離が非対称である複数のセンサー群と、前記画像センサーにより撮影された前記被写体の画像、及び前記距離センサーにより得られた当該被写体までの距離を用いて、当該被写体の三次元モデルを示す三次元モデリングデータを生成するコンピュータ装置とを有する。
【選択図】図５
【特許請求の範囲】
【請求項1】
被写体を撮影するための複数のセンサー群であって、各々が画像センサー及び距離センサーを含み、想定される被写体の中心位置に対して鉛直上方向から見たとき当該中心位置から当該複数のセンサー群の各々までの距離が非対称である複数のセンサー群と、
前記画像センサーにより撮影された前記被写体の画像、及び前記距離センサーにより得られた当該被写体までの距離を用いて、当該被写体の三次元モデルを示す三次元モデリングデータを生成するコンピュータ装置と
を有する三次元モデリングデータ生成装置。
前記画像センサーにより撮影された前記被写体の画像、及び前記距離センサーにより得られた当該被写体までの距離を用いて、当該被写体の三次元モデルを示す三次元モデリングデータを生成するコンピュータ装置と
を有する三次元モデリングデータ生成装置。
【請求項2】
前記鉛直上方向から見たとき前記複数のセンサー群の外接楕円の扁平率が０より大きい
請求項１に記載の三次元モデリングデータ生成装置。
請求項１に記載の三次元モデリングデータ生成装置。
【請求項3】
前記外接楕円の短半径近傍に配置され、前記コンピュータ装置から出力される画像を表示する表示装置を有する
請求項２に記載の三次元モデリングデータ生成装置。
請求項２に記載の三次元モデリングデータ生成装置。
【請求項4】
前記表示装置は、前記三次元モデルをプレビュー表示する
請求項３に記載の三次元モデリングデータ生成装置。
請求項３に記載の三次元モデリングデータ生成装置。
【請求項5】
前記コンピュータ装置は、前記画像センサーを介してジェスチャ入力された指示に応じた処理を行う
請求項１乃至４のいずれか一項に記載の三次元モデリングデータ生成装置。
請求項１乃至４のいずれか一項に記載の三次元モデリングデータ生成装置。
【請求項6】
前記指示が、前記被写体の撮影タイミングの指定を含み、
前記コンピュータ装置は、前記画像センサーを介してジェスチャ入力された指示に応じたタイミングで前記画像センサーにより撮影された前記被写体の画像を用いて前記三次元モデリングデータを生成する
請求項５に記載の三次元モデリングデータ生成装置。
前記コンピュータ装置は、前記画像センサーを介してジェスチャ入力された指示に応じたタイミングで前記画像センサーにより撮影された前記被写体の画像を用いて前記三次元モデリングデータを生成する
請求項５に記載の三次元モデリングデータ生成装置。
【請求項7】
前記指示が、前記三次元モデルをプレビュー表示する際の視点の位置の指定を含み、
前記表示装置は、前記画像センサーを介してジェスチャ入力された指示に応じて決定された位置の視点から、前記三次元モデルをプレビュー表示する
請求項５に記載の三次元モデリングデータ生成装置。
前記表示装置は、前記画像センサーを介してジェスチャ入力された指示に応じて決定された位置の視点から、前記三次元モデルをプレビュー表示する
請求項５に記載の三次元モデリングデータ生成装置。
【請求項8】
前記鉛直上方向から見て外縁が所定の形状のフレームを有し、
前記複数のセンサー群は、前記フレームに取り付けられる
請求項１乃至７のいずれか一項に記載の三次元モデリングデータ生成装置。
前記複数のセンサー群は、前記フレームに取り付けられる
請求項１乃至７のいずれか一項に記載の三次元モデリングデータ生成装置。
【請求項9】
前記所定の形状が、正方形の一角を切り欠いた五角形、又は正方形の対向する二角を切り欠いた六角形である
請求項８に記載の三次元モデリングデータ生成装置。
請求項８に記載の三次元モデリングデータ生成装置。
【請求項10】
前記フレームは、前記切り欠かれた角に相当する辺に、前記被写体の出入口となる開口を有する
請求項９に記載の三次元モデリングデータ生成装置。
請求項９に記載の三次元モデリングデータ生成装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、三次元モデリングデータを生成する技術に関する。
【背景技術】
【0002】
三次元モデリングデータを生成する技術（いわゆる３Ｄスキャナ）が知られている。例えば特許文献１には、構造体（フレーム）に取り付けられたセンサー群（カメラ）を回転させながら被写体を撮影して得られた画像を用いて三次元モデリングデータを生成する装置が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１８－４４８１２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に記載の装置においては、被写体を撮影する際にセンサー群を回転させるため装置全体が大型化してしまうという問題があった。
【0005】
これに対し本発明は、より省スペースで設置できる三次元モデリングデータ生成装置を提供する。
【課題を解決するための手段】
【0006】
本発明は、被写体を撮影するための複数のセンサー群であって、各々が画像センサー及び距離センサーを含み、想定される被写体の中心位置に対して鉛直上方向から見たとき当該中心位置から当該複数のセンサー群の各々までの距離が非対称である複数のセンサー群と、前記画像センサーにより撮影された前記被写体の画像、及び前記距離センサーにより得られた当該被写体までの距離を用いて、当該被写体の三次元モデルを示す三次元モデリングデータを生成するコンピュータ装置とを有する三次元モデリングデータ生成装置を提供する。
【0007】
前記鉛直上方向から見たとき前記複数のセンサー群の外接楕円の扁平率が０より大きくてもよい。
【0008】
この三次元モデリングデータ生成装置は、前記外接楕円の短半径近傍に配置され、前記コンピュータ装置から出力される画像を表示する表示装置を有してもよい。
【0009】
前記表示装置は、前記三次元モデルをプレビュー表示してもよい。
【0010】
前記コンピュータ装置は、前記画像センサーを介してジェスチャ入力された指示に応じた処理を行ってもよい。
【0011】
前記指示が、前記被写体の撮影タイミングの指定を含み、前記コンピュータ装置は、前記画像センサーを介してジェスチャ入力された指示に応じたタイミングで前記画像センサーにより撮影された前記被写体の画像を用いて前記三次元モデリングデータを生成してもよい。
【0012】
前記指示が、前記三次元モデルをプレビュー表示する際の視点の位置の指定を含み、前記表示装置は、前記画像センサーを介してジェスチャ入力された指示に応じて決定された位置の視点から、前記三次元をプレビュー表示してもよい。
【0013】
この三次元モデリングデータ生成装置は、前記鉛直上方向から見て外縁が所定の形状のフレームを有し、前記複数のセンサー群は、前記フレームに取り付けられてもよい。
【0014】
前記所定の形状が、正方形の一角を切り欠いた五角形、又は正方形の対向する二角を切り欠いた六角形であってもよい。
【0015】
前記フレームは、前記切り欠かれた角に相当する辺に、前記被写体の出入口となる開口を有してもよい。
【発明の効果】
【0016】
本発明によれば、より省スペースで設置できる三次元モデリングデータ生成装置が得られる。
【図面の簡単な説明】
【0017】
【図1】一実施形態に係る３Ｄスキャナ１の外観を例示する図。
【図2】３Ｄスキャナ１のフレーム構造を例示する図。
【図3】パネルコンポーネント１１の構造を例示する分解斜視図。
【図4】パネルコンポーネント１３の構造を示す分解斜視図。
【図5】フレーム構造の上面視を示す図。
【図6】３Ｄスキャナ１の一実施形態に係る機能構成を例示する図。
【図7】３Ｄスキャナ１の動作を例示するフローチャート。
【図8】モニター１８に表示されるサービスメニューを例示する図。
【図9】モニター１７に表示される画面を例示する図。
【図10】データの生成後にモニター１７に表示される画面を例示する図。
【図11】変形例に係る３Ｄスキャナ１のフレーム構造を例示する図。
【発明を実施するための形態】
【0018】
１．構造
図１は、一実施形態に係る３Ｄスキャナ１の外観を例示する図である。３Ｄスキャナ１は、被写体を撮影し、その被写体を三次元モデル化した三次元モデリングデータを生成する、三次元モデリングデータ生成装置である。３Ｄスキャナ１は、概ね、被写体を撮影するための撮影室（ブース又は空間）を形成する構造体、被写体を撮影するセンサー群、及びこれらのセンサー群により取得されたデータを用いて三次元モデリングデータを生成するコンピュータ装置を有する。各センサー群は、画像センサー及び距離センサーを含む。画像センサーは被写体を撮影し、これを空間的な単位（画素）毎に所定の色成分（例えばＲＧＢの３色）の階調データ（画像データ）として出力する。距離センサーは、空間的な単位（画素）毎に被写体の表面までの距離を距離データとして出力する。画像センサーは被写体の色を、距離センサーは凹凸（表面形状）を測定するといえる。
図１は、一実施形態に係る３Ｄスキャナ１の外観を例示する図である。３Ｄスキャナ１は、被写体を撮影し、その被写体を三次元モデル化した三次元モデリングデータを生成する、三次元モデリングデータ生成装置である。３Ｄスキャナ１は、概ね、被写体を撮影するための撮影室（ブース又は空間）を形成する構造体、被写体を撮影するセンサー群、及びこれらのセンサー群により取得されたデータを用いて三次元モデリングデータを生成するコンピュータ装置を有する。各センサー群は、画像センサー及び距離センサーを含む。画像センサーは被写体を撮影し、これを空間的な単位（画素）毎に所定の色成分（例えばＲＧＢの３色）の階調データ（画像データ）として出力する。距離センサーは、空間的な単位（画素）毎に被写体の表面までの距離を距離データとして出力する。画像センサーは被写体の色を、距離センサーは凹凸（表面形状）を測定するといえる。
【0019】
図１では主に撮影室を形成する構造体を示している。この構造体は、棒状の部材で形成されるフレーム（枠体）、及びフレームに固定されるパネル（板材又は化粧板）を有する。フレームは、３Ｄスキャナ１に機械的な強度を与え、また、センサー群を固定するための構造体である。フレームは、例えば金属で形成される。パネルは、撮影中の被写体が外部から見えないようにするため、また、装置全体の美観を向上させるための板材ある。パネルは、例えば金属、樹脂、木材、紙、又はこれらの組み合わせで形成される。
【0020】
この例において、３Ｄスキャナ１は、床及び天井の無い構造を有する。このように、床及び天井の無い簡単な構造により、床及び天井を有する構造と比較して設置又は撤去が容易である。
【0021】
図２は、３Ｄスキャナ１のフレーム構造を例示する図である。３Ｄスキャナ１は、複数のパネルコンポーネント（パネルコンポーネント１１、１２、１３、１４、１５、及び１６）を含む。ここでは説明のため、これらのパネルコンポーネントが組み立て前の状態及び組み立て後の状態の２つの状態が同時に図示されている。パネルコンポーネントとは、パネル及びフレームを組み合わせた構造体をいう。本実施形態において、パネルコンポーネント１１、１２、１３、１４、及び１５は、内面側及び外面側にそれぞれフレームが形成された二重構造を有する。隣り合う２つのパネルコンポーネントは、少なくとも１カ所において、ブラケット（固定用の部材）を用いて互いに固定されている。各パネルコンポーネントは、長方形のフレームと十字のフレームとを組み合わせた形状を有する。フこれらのフレームは、それぞれ、パイプ同士又は棒材同士をボルト及びナットで、又は溶接で固定したものである。
【0022】
パネルコンポーネント１１には、センサータワー１１１及び１１２が取り付けられる。センサータワー１１１及び１１２はいずれも、複数のセンサー群が取り付けられる部材（棒材）である。同様に、パネルコンポーネント１２、１３、１４、及び１５は、センサータワー１２１及び１２２、１３１及び１３２、１４１及び１４２、並びに１５１及び１５２を有する。
【0023】
図４は、センサータワー１１１の構造を例示する図である。この例において、センサータワー１１１には、５個のセンサー群２０が設置される。センサータワー１１１は、所定の位置（例えば上端及び下端）においてパネルコンポーネント１１に固定される。センサータワー１１１以外の他のセンサータワーも同様である。
【0024】
このように、各パネルコンポーネントがパネル及びフレームの組み合わせで形成されているため、３Ｄスキャナ１は軽量であり、かつ、運搬、組み立て、及び分解が容易である。
【0025】
図５は、フレーム構造の上面視を示す図である。上面視とは、想定される被写体の中心位置Ｃから鉛直上向きに移動した位置から見た（鉛直上方向から見た）図である。この例において、上面視は、撮影室の水平方向における中心Ｃ（フレームにより規定される外接矩形（正方形）の中心）から鉛直上向きに延びる軸上の、３Ｄスキャナ１よりも高い位置から３Ｄスキャナ１を見下ろしたときの形状をいう。この例では上面視において、３Ｄスキャナ１のフレーム構造の外形は、面積最小の外接矩形が正方形となる形状を有する。別の見方をすると、３Ｄスキャナ１のフレーム構造の外形は、正方形から１つの角を切り欠いた５角形の形状を有する。一例において、この正方形の一辺の長さは２．０～２．５ｍである。また、３Ｄスキャナ１の高さは、２．０～２．５ｍ程度である。この例では、パネルコンポーネント１１とパネルコンポーネント１５との間が切り欠きに相当する。パネルコンポーネント１１とパネルコンポーネント１５との間には、フレーム１６が設けられている。フレーム１６は外形が長方形（パネルコンポーネント１１及びパネルコンポーネント１５よりも小さい）であり、一端がパネルコンポーネント１１に、他端がパネルコンポーネント１５に固定されている。フレーム１６は、パネルコンポーネント１１とパネルコンポーネント１５との間の開口（空隙）のうち上部の一部のみに相当する位置に固定されており、この開口は被写体が３Ｄスキャナ１の撮影室に出入りするための出入口として機能する。
【0026】
被写体については、パネルコンポーネント１３と正対する向きが正面として想定される。パネルコンポーネント１３は、出入口から撮影室に入ったときにちょうど正面となる方向なので、出入口との位置関係においてパネルコンポーネント１３と正対する向きを正面とすることは合理的である。パネルコンポーネント１３の内周側には、モニター１７が設置されている。モニター１７は、３Ｄスキャナ１のＵＩを提供するための表示装置である。モニター１７に映像信号を供給する映像ソース（例えばコンピュータ装置）は、例えば、パネルコンポーネント１３の空隙１３９内に設置される（コンピュータ装置は図示略）。
【0027】
上面視において、撮影室の中心Ｃから見て８方向にセンサー群２０が設置されている。この例において、複数（この例では８群）のセンサー群２０の配置は、パネルコンポーネント１３を含まない対角線Ｘの前後（パネルコンポーネント１３側を前、フレーム１６側を後とする）で非対称である。これは、パネルコンポーネント１１とパネルコンポーネント１５との間は空隙（出入口）になっているのでセンサー群２０を取り付けられる構造体が存在しないところ、出入口と対称の位置にあるパネルコンポーネント１３にはセンサー群２０が設置されていることに起因する。パネルコンポーネント１３は被写体の正面に相当するので、正面により近い位置にセンサー群２０を配置するのは合理的である。なお、センサー群２０の配置は、パネルコンポーネント１３及び開口を含む対角線Ｙ（フレームの外接矩形の対角線）について対称である（すなわち、対角線Ｘの左右（被写体が正面を向いたときの左右）対称）。
【0028】
３Ｄスキャナ１は、上面視において、外縁が所定の形状のフレーム（パネルコンポーネントとしてパネルと一体化しているものを含む）を有する。所定の形状は、例えば、多角形、より詳細には長方形又は正方形の一角を切り欠いた五角形である。ここでいう外縁は、外接多角形ということもできる。外接多角形は、パネルコンポーネントに外接し、かつ面積が最小となるものをいう。図５の例においては、パネルコンポーネントの外縁（＝外接多角形）は五角形であり、これは外接矩形の一角を切り欠いたものである。
【0029】
なおここでは上面視しか図示しないが、１群のセンサー群２０は、画像センサー及び距離センサーの組を複数、含む。一例において、各センサー群２０は、３～６組の画像センサー及び距離センサーを含む。これら複数組の画像センサー及び距離センサーは、縦に配置されている。
【0030】
また、上面視において、複数のセンサー群２０は、撮影室の中心Ｃ（すなわち被写体の理想位置）から非等距離に配置される。撮影室に複数のセンサー群を設置して被写体を撮影する装置においては、撮影室又は撮影台の中心から等距離にセンサー群を配置することが考えられる。しかし、本実施形態に係るセンサー群２０のうち中心Ｃとの距離が最短のもの（一例において８０ｃｍ程度）と同程度の等距離に複数のセンサー群２０を配置すると、撮影室は（上面視において）その最短距離と同程度の半径の円形となり、本願の３Ｄスキャナ１の撮影室と比較すると狭くなる。同様に、本実施形態に係るセンサー群２０のうち中心Ｃとの距離が最長のもの（一例において１００ｃｍ程度）と同程度の等距離に複数のセンサー群２０を配置すると、撮影室は（上面視において）その最長距離と同程度の半径の円形となり、本願の３Ｄスキャナ１の撮影室と比較すると設置に必要なスペースが大きくなる。一般に撮影室が（上面視において）円形である場合、３Ｄスキャナ全体の（上面視における）形状は円形又は正ｎ角形（ｎ≧５）となることが多い。装置の外形が円形又は正ｎ角形である場合、その外接矩形の角に相当するスペースは無駄になってしまうことが多い。これに対し本実施形態の３Ｄスキャナ１は、全体として直方体の一部を切り欠いた外形を有し、上面視において正方形の一部を切り欠いた外形を有しており、設置スペースの利用効率が優れている。また、円形又は正ｎ角形の構造と比較するとフレーム構造を単純化できるので、製造及び組み立てのコストを低減することができる。
【0031】
また、３Ｄスキャナにおいては一般にカメラ（センサー）の位置が被写体に近すぎたり遠すぎたりするとうまく撮影できないところ、主要な被写体である人体（又は人体に近いもの）は扁平した（平たい）形状を有しており、この被写体の形状を利用してセンサー群２０の非対称配置を実現している。また、人体を撮影する状況では多くの場合、顔を高画質で撮りたいという要求があるが、例えばパネルコンポーネント１３にセンサー群２０を高密度に配置することにより、顔を高画質で撮影することができる。
【0032】
また、センサー群２０の外接楕円Ｅは扁平しており、扁平率が０より大きい（一例においては０．２～０．３）。モニター１７は、この外接楕円Ｅの短半径近傍に配置されているということができる。
【0033】
さらに、３Ｄスキャナ１の外面（撮影室側でない方の面）には、モニター１８が設置されている。モニター１８の映像ソースは、例えば、モニター１７の映像ソースと共通のコンピュータ装置である。あるいは、モニター１８の映像ソースは、モニター１７の映像ソースとは別の装置であってもよい。モニター１８は、例えば、撮影室に入る前の客（ユーザ）に対し、待ち時間や注意事項の表示をするために用いられる。
【0034】
２．機能
図６は、３Ｄスキャナ１の一実施形態に係る機能構成を例示する図である。３Ｄスキャナ１は、撮影部１０１、処理部１０２、モデル生成部１０３、及びＵＩ提供部１０４を有する。撮影部１０１は、被写体を撮影し、データとして出力する。図５等のセンサー群２０は撮影部１０１に含まれる。処理部１０２は、撮影部１０１等から提供される各種のデータを処理する。処理部１０２が行う処理には、例えば後述するジェスチャの検出が含まれる。モデル生成部１０３は、センサー群２０から出力される画像データを用いて、被写体の三次元モデリングデータを生成する。ＵＩ提供部１０４は、ユーザインターフェースを提供する。図５の説明で言及した、モニター１７の映像ソースとして機能するコンピュータ装置（図示略）のプロセッサ及びメモリは、処理部１０２及びモデル生成部１０３の一例である。このプロセッサ及びメモリ、並びにモニター１７及びモニター１８はＵＩ提供部１０４の一例である。
図６は、３Ｄスキャナ１の一実施形態に係る機能構成を例示する図である。３Ｄスキャナ１は、撮影部１０１、処理部１０２、モデル生成部１０３、及びＵＩ提供部１０４を有する。撮影部１０１は、被写体を撮影し、データとして出力する。図５等のセンサー群２０は撮影部１０１に含まれる。処理部１０２は、撮影部１０１等から提供される各種のデータを処理する。処理部１０２が行う処理には、例えば後述するジェスチャの検出が含まれる。モデル生成部１０３は、センサー群２０から出力される画像データを用いて、被写体の三次元モデリングデータを生成する。ＵＩ提供部１０４は、ユーザインターフェースを提供する。図５の説明で言及した、モニター１７の映像ソースとして機能するコンピュータ装置（図示略）のプロセッサ及びメモリは、処理部１０２及びモデル生成部１０３の一例である。このプロセッサ及びメモリ、並びにモニター１７及びモニター１８はＵＩ提供部１０４の一例である。
【0035】
この例において、撮影部１０１は、三次元モデリングデータの生成の指示を受け付ける前から、被写体の撮影を開始する。三次元モデリングデータ生成の前において、撮影部１０１は、ジェスチャ検知のために被写体を撮影する。すなわち、撮影室に入り撮影部１０１による撮影が開始されれば、被写体（ユーザ）は、ジェスチャ入力によりコンピュータ装置に対し指示を行うことができる。ジェスチャ入力による指示は、例えば、三次元モデリングデータ生成のための撮影開始の指示、生成された三次元モデリングデータを用いた三次元モデル表示の指示、及び撮影終了の指示を含む。
【0036】
３．動作
図７は、３Ｄスキャナ１の動作を例示するフローチャートである。より詳細には、図７は３Ｄスキャナ１に設置されているコンピュータ装置の動作を例示するフローチャートである。このコンピュータ装置には本願発明の動作に係るアプリケーションプログラムがインストールされており、図７のフローはコンピュータ装置のプロセッサがこのアプリケーションプログラムを実行することにより実施される。なお以下においては、記載を簡単にするため処理の主体を単に「３Ｄスキャナ１」とする。
図７は、３Ｄスキャナ１の動作を例示するフローチャートである。より詳細には、図７は３Ｄスキャナ１に設置されているコンピュータ装置の動作を例示するフローチャートである。このコンピュータ装置には本願発明の動作に係るアプリケーションプログラムがインストールされており、図７のフローはコンピュータ装置のプロセッサがこのアプリケーションプログラムを実行することにより実施される。なお以下においては、記載を簡単にするため処理の主体を単に「３Ｄスキャナ１」とする。
【0037】
ステップＳ１０１において、３Ｄスキャナ１は、被写体が撮影室に入ったか判断する。一例において、３Ｄスキャナ１は人感センサーを有しており、この人感センサーの出力信号に基づいて被写体が撮影室に入ったことを検知する。あるいは、３Ｄスキャナ１において、撮影部１０１は電源が投入されている間、常に撮影室を撮影しており、この映像を解析することにより被写体が撮影室に入ったことを検知してもよい。被写体が撮影室に入ったことが検知された場合（Ｓ１０１：ＹＥＳ）、３Ｄスキャナ１は、処理をステップＳ１０２に移行する。被写体が撮影室に入ったことが検知されない場合（Ｓ１０１：ＮＯ）、３Ｄスキャナ１は、被写体が撮影室に入るまで待機する。
【0038】
ステップＳ１０２において、３Ｄスキャナ１は、ジェスチャ検知のため被写体の撮影を開始する。ステップＳ１０３において、３Ｄスキャナ１は、被写体が所定のジェスチャを行ったか判断する。３Ｄスキャナ１は、複数パターンのジェスチャを、それぞれ指示と対応付けて記憶している。例えば、「右手を頭の上に上げてから下まで下ろす」というジェスチャと「撮影開始」という指示、「両手を水平に上げる」というジェスチャと「３Ｄモデルを回転」という指示、及び「左手を頭の上に上げる」というジェスチャと「撮影終了」という指示が対応付けられている。被写体が所定のジェスチャを行ったと判断された場合（Ｓ１０３：ＹＥＳ）、３Ｄスキャナ１は、処理をステップＳ１０４に移行する。被写体が所定のジェスチャを行っていないと判断された場合（Ｓ１０３：ＮＯ）、３Ｄスキャナ１は、被写体が所定のジェスチャを行うまで待機する。
【0039】
ステップＳ１０４において、３Ｄスキャナ１は、ジェスチャに応じた処理を行う。例えば、「撮影開始」が指示された場合、３Ｄスキャナ１は、３Ｄモデリングデータ生成のための撮影を開始する。「３Ｄモデルを回転」が指示された場合、３Ｄスキャナ１は、生成された３Ｄモデリングデータを用いて被写体の３Ｄモデルの画像をモニター１７に表示し、画面内でこの３Ｄモデルを回転させる。「撮影終了」が指示された場合、３Ｄスキャナ１は、生成した３Ｄモデリングデータを出力するための処理を行う。
【0040】
ステップＳ１０５において、３Ｄスキャナ１は、被写体が撮影室から出たか判断する。撮影室から出たことの検知方法は、被写体が撮影室に入ったことの検知方法と同様である。被写体が撮影室から出たことが検知された場合（Ｓ１０５：ＹＥＳ）、３Ｄスキャナ１は、処理をステップＳ１０１に移行する。被写体が撮影室から出たことが検知されない場合（Ｓ１０５：ＮＯ）、３Ｄスキャナ１は、処理をステップＳ１０２に移行する。
【0041】
この例によれば、撮影部１０１により、撮影室（３Ｄ空間）において被写体の点群（位置座標）がどこを占めているか把握するためのセンサー群が形成されている。これらのセンサー群による被写体の３Ｄ空間のポーズ把握のための撮影を、ジェスチャ入力に用いることができる。被写体はモニター１７により自身のポーズをほぼリアルタイムで確認することができるので、ポーズの最適化が容易である。この例によれば、最適なポーズを取るためのガイダンス（誘導）を容易に提供することができる。
【0042】
また、この例によれば、３Ｄモデリングデータ生成のためのコンピュータ装置と別に、指示入力用の入力装置（ボタン等）を用いる例と比較して撮影室内のスペースを広くする（スペースを有効活用する）ことができる。また、例えばモニター１７をタッチスクリーンとしてこのタッチスクリーンを介して撮影開始の指示を入力することも考えられるが、このような構成と比較しても、被写体が理想的な位置（中心Ｃ）から移動せずに指示を入力することができるという利点を有する。また、３Ｄスキャナ１は、撮影室内において被写体の表面形状及び色の情報を高い空間解像度で取得しているので、高精細なポーズを取ることができる。
【0043】
また、この例によれば、いわゆるＡＲ（Augmented Reality）技術を用いた３Ｄモデルの生成が可能である。具体的には、被写体に仮想的な３Ｄオブジェクト（一例としては風船）を持たせたることができる。この場合も、ほぼリアルタイムで、３Ｄオブジェクトを他のものに交換したり、位置や大きさを修正したり、様々な調整をすることができる。
【0044】
４．動作例
図８は、モニター１８に表示されるサービスメニューを例示する図である。以下、３Ｄスキャナ１のより具体的な動作例を説明する。モニター１８には、例えば図８のメニューが表示されている。この例では、静止モデルが５００円、可動モデルが１０００円で生成されることが示されている。なお静止モデルとはポーズが固定のモデルをいい、可動モデルとはいくつかの関節を動かすことができ、異なるポーズを取らせることができるモデルをいう。モニター１８はタッチスクリーンであり、所望の項目が表示されている部分をユーザがタッチすることにより、その項目の実施が３Ｄスキャナ１に指示される。メニューを選択すると、ユーザは出入口から撮影室に入る。
図８は、モニター１８に表示されるサービスメニューを例示する図である。以下、３Ｄスキャナ１のより具体的な動作例を説明する。モニター１８には、例えば図８のメニューが表示されている。この例では、静止モデルが５００円、可動モデルが１０００円で生成されることが示されている。なお静止モデルとはポーズが固定のモデルをいい、可動モデルとはいくつかの関節を動かすことができ、異なるポーズを取らせることができるモデルをいう。モニター１８はタッチスクリーンであり、所望の項目が表示されている部分をユーザがタッチすることにより、その項目の実施が３Ｄスキャナ１に指示される。メニューを選択すると、ユーザは出入口から撮影室に入る。
【0045】
図９は、モニター１７に表示される画面を例示する図である。ユーザがモニター１８を介してメニュー項目を選択すると、選択されたメニュー項目に応じた画面がモニター１７に表示される。この例では「床面のマークに合わせた位置に立って下さい。準備ができたら、右手を頭の上に上げてから下まで下ろして下さい。３秒後に撮影が行われます」という説明が表示される。このとき、３Ｄスキャナ１はステップＳ１０３のジェスチャ入力待ちの状態である。ユーザは床面のマークを見て自身の立ち位置を確認し、準備ができたら右手を頭の上まで挙げてから下まで下ろす。このジェスチャを検出すると、３Ｄスキャナ１は、撮影のカウントダウンを開始する。モニター１７には、撮影（シャッター）までのカウントが表示される。すなわちこのジェスチャは、撮影タイミングを指定するジェスチャの一例である。撮影が行われると、３Ｄスキャナ１は、センサー群２０から出力される画像データ及び距離データを所定のアルゴリズムで処理し、被写体の３Ｄモデリングデータを生成する。
【0046】
図１０は、３Ｄモデリングデータの生成後にモニター１７に表示される画面を例示する図である。ここでは、生成された３Ｄモデリングデータに従って形成された３Ｄモデルの画像が表示（プレビュー表示）される。さらに、「両手を水平に上げるとモデルが回転します。このモデルでよい場合は右手を頭の上に上げて下さい。撮影をやり直す場合は左手を頭の上に上げて下さい」という説明が表示される。例えばここでユーザが両手を水平に上げると、モニター１７に表示される３Ｄモデルが回転する（すなわち、３Ｄモデルの視点が変更される）。別の例において、３Ｄスキャナ１において可動モデルが生成された場合に、ユーザのジェスチャと連動して可動モデルのポーズが変化してもよい。例えば、ユーザが右手を上げるとモニター１７の画面内で３Ｄモデルも右手を上げる。ユーザは３Ｄモデルの表示（視点の変更及びポーズの変更を含んでもよい）を通じて、要求通りの３Ｄモデルが生成されたかその場で確認することができる。
【0047】
撮影が終了すると、生成された３Ｄモデリングデータの受け渡しに移行する。一例において、３Ｄモデリングデータの受け渡しは、モニター１８を介して行われる。詳細には、例えば、３Ｄスキャナ１は、生成された３Ｄモデリングデータを、インターネット上の所定のサーバにアップロードする。３Ｄスキャナ１は、この３Ｄモデリングデータをダウンロードするための情報をモニター１８に表示する。３Ｄモデリングデータをダウンロードするための情報には、例えば、ダウンロードするためのＵＲＬ、並びにサーバにアクセスするためのＩＤＳ及びパスワードのうち少なくとも１種が含まれる。これらの情報は、文字で表示されてもよいし、コード化されて画像（例えばＱＲコード（登録商標））として表示されてもよい。
【0048】
あるいは、３Ｄスキャナ１は、記憶媒体（ＣＤ－ＲＯＭ、ＵＳＢメモリー等）へデータを書き込むための書き込み装置（図示略）を有し、この書き込み装置を介して３Ｄモデリングデータが書き込まれた記憶媒体を出力することにより、ユーザに３Ｄモデリングデータを提供してもよい。
【0049】
５．変形例
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち２つ以上のものが組み合わせて用いられてもよい。
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち２つ以上のものが組み合わせて用いられてもよい。
【0050】
３Ｄスキャナ１のフレーム構造は実施形態において例示したものに限定されない。たとえば、出入口は上面視において面積最小の外接矩形の角に相当する位置にではなく、辺に相当する位置に形成されてもよい。ただし、人間が被写体であることを考慮すると（人間は横に広いので）、図１～５の例のように面積最小の外接矩形の角に相当する位置にした方がスペースの利用効率は良い。
【0051】
図１１は、変形例に係る３Ｄスキャナ１のフレーム構造を例示する図である。実施形態において３Ｄスキャナ１が出入口を１つのみ有する例を説明したが、この変形例において、３Ｄスキャナ１は入口と、この入口とは別の出口を有する。また、この例において入口と出口は外接矩形の対角線上に設けられる。被写体は、入口から撮影室に入り、撮影した後、向きを変えずにそのまま出口から出ることができる（ウォークスルー形式）。例えば、店舗の入口にこの３Ｄスキャナ１を設置すれば、３Ｄスキャナ１は客の３Ｄモデルを入店時に生成することができ、客はそのまま店内に入ることが可能である。なおこの場合、被写体の正面は出口となるためモニター１７及びセンサー群２０を設置することはできない。しかし、例えば、パネルコンポーネント１２及び１４において被写体の顔に近い位置にセンサー群２０を多く配置するとか、被写体の正面のパネルコンポーネントの高さを人体より高くし、出口の上にマージンを設けて、このマージン部分にモニター１７又はセンサー群２０を設置してもよい。
【0052】
この例では、３Ｄスキャナ１の外縁は、面積最小となる外接正方形において対向する二角を切り欠いた形状（全体としては六角形）を有する。これら切り欠かれた二角のうち一角（左下の角）が入口であり、もう一角（右上の角）が出口である。
【0053】
また、３Ｄスキャナ１のフレームは、実施形態で例示したような二重構造でなくてもよい。ただし、設置後の３Ｄスキャナ１の構造的な強度及び安定性、並びに内装及び外装の加工の容易性を考慮すると、図１～５の例のようにフレームを二重構造とする方が望ましい。また、３Ｄスキャナ１は、パイプ又は棒材を組み合わせたフレームに外装又は内装の板材を取り付けた構成でなく、例えば箱型の部材を組み合わせて壁を形成する構造を有していてもよい。
【0054】
また、３Ｄスキャナ１のパネルコンポーネントは、実施形態において例示した平面形状（板状）のものに限定されない。例えば、各パネルコンポーネントが局面形状を有し、３Ｄスキャナ１は全体として例えば卵型又は楕円体であってもよい。
【0055】
また、３Ｄスキャナ１は、実施形態で例示したような、ブース形態のものに限定されない。３Ｄスキャナ１は、パネルコンポーネントを有さず、センサータワーを直接、床面に立てる構成であってもよい。この場合、センサータワーは自立できる構造（台座等）を有する。
【0056】
センサー群２０の取り付け位置は実施形態において例示されたものに限定されない。実施形態においては、１個のセンサータワーに５個のセンサー群２０が取り付けられ、これら５個のセンサー群２０の取り付け位置がすべてのセンサータワーについて共通である（すなわち、各センサータワーにおいて下からｎ番目のセンサー群２０の位置はすべて同じ）例を説明した。しかし、各センサータワーにおいて、下からｎ番目のセンサー群２０の位置は、他のセンサータワーにおけるセンサー群２０の位置と異なっていてもよい。
【0057】
３Ｄスキャナ１の機能構成及びハードウェア構成は実施形態において例示されたものに限定されない。実施形態において例示した機能の一部は省略されてもよいし、実施形態において例示したものとは異なるハードウェアが用いられもよい。例えば、ジェスチャの検知及び３Ｄモデリングデータの生成それぞれに対し異なるコンピュータ装置が用いられてもよい。
【0058】
３Ｄスキャナ１に対し指示を入力する手法はジェスチャ入力に限定されない。例えば、音声入力等、ジェスチャ入力以外の手法が用いられてもよい。
【0059】
３Ｄスキャナ１の被写体は人体（人間）に限定されない。例えば、被写体は洋服であってもよい。この場合において、３Ｄスキャナ１のコンピュータ装置は、洋服の３Ｄモデルの生成に加えて（又は代えて）、洋服のサイズを計測してもよい。洋服のサイズは、例えば、首回り、胸回り、胴回り、袖丈、着丈などあらかじめ定義された長さの組で表される。
【符号の説明】
【0060】
１…３Ｄスキャナ、１１…パネルコンポーネント、１２…パネルコンポーネント、１３…パネルコンポーネント、１４…パネルコンポーネント、１５…パネルコンポーネント、１６…フレーム、１７…モニター、１８…モニター、２０…センサー群、１０１…撮影部、１０２…処理部、１０３…モデル生成部、１０４…ＵＩ提供部、１１１…センサータワー、１２１…センサータワー、１３９…空隙
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【手続補正書】
【提出日】2022-03-24
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
被写体を撮影するための複数のセンサー群であって、各々が画像センサー及び距離センサーを含み、想定される被写体の中心位置に対して鉛直上方向から見たとき当該中心位置から当該複数のセンサー群の各々までの距離が非対称である複数のセンサー群と、
前記画像センサーにより撮影された前記被写体の画像、及び前記距離センサーにより得られた当該被写体までの距離を用いて、当該被写体の三次元モデルを示す三次元モデリングデータを生成するコンピュータ装置と
を有する三次元モデリングデータ生成装置。
前記画像センサーにより撮影された前記被写体の画像、及び前記距離センサーにより得られた当該被写体までの距離を用いて、当該被写体の三次元モデルを示す三次元モデリングデータを生成するコンピュータ装置と
を有する三次元モデリングデータ生成装置。
【請求項2】
前記鉛直上方向から見たとき前記複数のセンサー群の外接楕円の扁平率が０より大きい
請求項１に記載の三次元モデリングデータ生成装置。
請求項１に記載の三次元モデリングデータ生成装置。
【請求項3】
前記外接楕円の短半径近傍に配置され、前記コンピュータ装置から出力される画像を表示する表示装置を有する
請求項２に記載の三次元モデリングデータ生成装置。
請求項２に記載の三次元モデリングデータ生成装置。
【請求項4】
前記表示装置は、前記三次元モデルをプレビュー表示する
請求項３に記載の三次元モデリングデータ生成装置。
請求項３に記載の三次元モデリングデータ生成装置。
【請求項5】
前記コンピュータ装置は、前記画像センサーを介してジェスチャ入力された指示に応じた処理を行う
請求項１乃至４のいずれか一項に記載の三次元モデリングデータ生成装置。
請求項１乃至４のいずれか一項に記載の三次元モデリングデータ生成装置。
【請求項6】
前記指示が、前記被写体の撮影タイミングの指定を含み、
前記コンピュータ装置は、前記画像センサーを介してジェスチャ入力された指示に応じたタイミングで前記画像センサーにより撮影された前記被写体の画像を用いて前記三次元モデリングデータを生成する
請求項５に記載の三次元モデリングデータ生成装置。
前記コンピュータ装置は、前記画像センサーを介してジェスチャ入力された指示に応じたタイミングで前記画像センサーにより撮影された前記被写体の画像を用いて前記三次元モデリングデータを生成する
請求項５に記載の三次元モデリングデータ生成装置。
【請求項7】
前記コンピュータ装置は、前記画像センサーを介してジェスチャ入力された指示に応じた処理を行い、
前記指示が、前記三次元モデルをプレビュー表示する際の視点の位置の指定を含み、
前記表示装置は、前記画像センサーを介してジェスチャ入力された指示に応じて決定された位置の視点から、前記三次元モデルをプレビュー表示する
請求項３又は４に記載の三次元モデリングデータ生成装置。
前記指示が、前記三次元モデルをプレビュー表示する際の視点の位置の指定を含み、
前記表示装置は、前記画像センサーを介してジェスチャ入力された指示に応じて決定された位置の視点から、前記三次元モデルをプレビュー表示する
請求項３又は４に記載の三次元モデリングデータ生成装置。
【請求項8】
前記鉛直上方向から見て外縁が所定の形状のフレームを有し、
前記複数のセンサー群は、前記フレームに取り付けられる
請求項１乃至７のいずれか一項に記載の三次元モデリングデータ生成装置。
前記複数のセンサー群は、前記フレームに取り付けられる
請求項１乃至７のいずれか一項に記載の三次元モデリングデータ生成装置。
【請求項9】
前記所定の形状が、正方形の一角を切り欠いた五角形、又は正方形の対向する二角を切り欠いた六角形である
請求項８に記載の三次元モデリングデータ生成装置。
請求項８に記載の三次元モデリングデータ生成装置。
【請求項10】
前記フレームは、前記切り欠かれた角に相当する辺に、前記被写体の出入口となる開口を有する
請求項９に記載の三次元モデリングデータ生成装置。
請求項９に記載の三次元モデリングデータ生成装置。
【手続補正書】
【提出日】2022-05-19
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
鉛直上方向から見て外縁の形状が多角形であるフレームと、
被写体を撮影するための複数のセンサー群であって、当該複数のセンサー群の各々が画像センサー及び距離センサーを含み、前記複数のセンサー群を固定する前記フレームの外接矩形の対角線の交点から当該複数のセンサー群の各々までの距離が非対称であって、前記フレームを鉛直上方向から見たとき前記複数のセンサー群の外接楕円の扁平率が０より大きい複数のセンサー群と、
前記画像センサーにより撮影された前記被写体の画像、及び前記距離センサーにより得られた当該被写体までの距離を用いて、当該被写体の三次元モデルを示す三次元モデリングデータを生成するコンピュータ装置と、
前記コンピュータ装置から出力される画像を表示する表示装置と
を有し、
前記表示装置は、前記外接楕円の短半径近傍に配置される
三次元モデリングデータ生成装置。
被写体を撮影するための複数のセンサー群であって、当該複数のセンサー群の各々が画像センサー及び距離センサーを含み、前記複数のセンサー群を固定する前記フレームの外接矩形の対角線の交点から当該複数のセンサー群の各々までの距離が非対称であって、前記フレームを鉛直上方向から見たとき前記複数のセンサー群の外接楕円の扁平率が０より大きい複数のセンサー群と、
前記画像センサーにより撮影された前記被写体の画像、及び前記距離センサーにより得られた当該被写体までの距離を用いて、当該被写体の三次元モデルを示す三次元モデリングデータを生成するコンピュータ装置と、
前記コンピュータ装置から出力される画像を表示する表示装置と
を有し、
前記表示装置は、前記外接楕円の短半径近傍に配置される
三次元モデリングデータ生成装置。
【請求項2】
前記表示装置は、前記三次元モデルをプレビュー表示する
請求項１に記載の三次元モデリングデータ生成装置。
請求項１に記載の三次元モデリングデータ生成装置。
【請求項3】
前記コンピュータ装置は、前記画像センサーを介してジェスチャ入力された指示に応じた処理を行う
請求項１又は２に記載の三次元モデリングデータ生成装置。
請求項１又は２に記載の三次元モデリングデータ生成装置。
【請求項4】
前記指示が、前記被写体の撮影タイミングの指定を含み、
前記コンピュータ装置は、前記画像センサーを介してジェスチャ入力された指示に応じたタイミングで前記画像センサーにより撮影された前記被写体の画像を用いて前記三次元モデリングデータを生成する
請求項３に記載の三次元モデリングデータ生成装置。
前記コンピュータ装置は、前記画像センサーを介してジェスチャ入力された指示に応じたタイミングで前記画像センサーにより撮影された前記被写体の画像を用いて前記三次元モデリングデータを生成する
請求項３に記載の三次元モデリングデータ生成装置。
【請求項5】
前記コンピュータ装置は、前記画像センサーを介してジェスチャ入力された指示に応じた処理を行い、
前記指示が、前記三次元モデルをプレビュー表示する際の視点の位置の指定を含み、
前記表示装置は、前記画像センサーを介してジェスチャ入力された指示に応じて決定された位置の視点から、前記三次元モデルをプレビュー表示する
請求項１又は２に記載の三次元モデリングデータ生成装置。
前記指示が、前記三次元モデルをプレビュー表示する際の視点の位置の指定を含み、
前記表示装置は、前記画像センサーを介してジェスチャ入力された指示に応じて決定された位置の視点から、前記三次元モデルをプレビュー表示する
請求項１又は２に記載の三次元モデリングデータ生成装置。
【請求項6】
前記外縁の形状が、正方形の一角を切り欠いた五角形、又は正方形の対向する二角を切
り欠いた六角形である
請求項１又は２に記載の三次元モデリングデータ生成装置
り欠いた六角形である
請求項１又は２に記載の三次元モデリングデータ生成装置
【請求項7】
前記フレームは、前記切り欠かれた角に相当する辺に、前記被写体の出入口となる開口を有する
請求項６に記載の三次元モデリングデータ生成装置。
請求項６に記載の三次元モデリングデータ生成装置。