IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 関西工事測量株式会社の特許一覧

<>
  • 特許-三次元モデルデータを作成する方法 図1
  • 特許-三次元モデルデータを作成する方法 図2
  • 特許-三次元モデルデータを作成する方法 図3
  • 特許-三次元モデルデータを作成する方法 図4
  • 特許-三次元モデルデータを作成する方法 図5
  • 特許-三次元モデルデータを作成する方法 図6
  • 特許-三次元モデルデータを作成する方法 図7
  • 特許-三次元モデルデータを作成する方法 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-12-22
(45)【発行日】2024-01-05
(54)【発明の名称】三次元モデルデータを作成する方法
(51)【国際特許分類】
   G06T 19/00 20110101AFI20231225BHJP
   G06T 1/00 20060101ALI20231225BHJP
【FI】
G06T19/00 A
G06T1/00 315
【請求項の数】 4
(21)【出願番号】P 2023139877
(22)【出願日】2023-08-30
【審査請求日】2023-08-30
【早期審査対象出願】
(73)【特許権者】
【識別番号】599157284
【氏名又は名称】クモノスコーポレーション株式会社
(74)【代理人】
【識別番号】100145403
【弁理士】
【氏名又は名称】山尾 憲人
(74)【代理人】
【識別番号】100101454
【弁理士】
【氏名又は名称】山田 卓二
(72)【発明者】
【氏名】西鼻 恵之
【審査官】橋爪 正樹
(56)【参考文献】
【文献】特開2016-090504(JP,A)
【文献】特開2005-215917(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00
G06T 15/00-19/20
(57)【特許請求の範囲】
【請求項1】
機械原点(18)を通る光路に沿って計測対象にレーザを投射するとともに前記計測対象で反射したレーザを前記光路に沿って案内する光学系(22)を有する光学装置(10)を用意し、前記反射したレーザを用いてレーザ照射位置の点群データを取得するとともに、前記機械原点(18)を介して入射される光を受けて前記計測対象の写真データを取得し、前記光学装置で取得した前記点群データと前記写真データを用いてモデルデータを作成する方法であって、
前記方法は、
複数の計測位置で取得した前記点群データを合成して合成点群データを作成する点群合成工程(S103)と、
前記複数の計測位置で取得した写真データを合成して合成写真データを作成する写真合成工程(S107)と、
前記合成写真データと、前記複数の計測位置のそれぞれにおいて前記写真データを取得したときの前記光学装置(10)の機械情報とをもとに、前記合成写真データを分割して複数の分割画像データを取得する分割工程(S110)と、
前記合成点群データと前記分割画像データとを、複数の分割画像データのそれぞれの位置情報をもとに関連付けるアライメント工程(S115)と、
前記合成点群データからメッシュモデルを生成するメッシュモデル生成工程(S112)と、
前記メッシュモデルに前記分割画像データを貼り付けてモデルデータを生成するモデルデータ生成工程と、を有する方法。
【請求項2】
前記合成写真データが360度パノラマ画像のデータである、請求項1に記載の方法。
【請求項3】
前記360度パノラマ画像を全天球画像に変換する変換工程を含み、
前記分割工程が、前記全天球画像を分割して前記複数の分割画像データを取得する工程を含む、請求項2に記載の方法。
【請求項4】
前記分割工程において、前記合成点群データを作成する際に用いた合成情報を利用して前記複数の分割画像データを取得し、
前記合成情報は、前記計測位置の機械座標を含む、請求項1に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、点群データと写真データを合成して高画質の三次元モデルデータを作成する方法に関する。
【背景技術】
【0002】
三次元レーザスキャナ(3DLS)で取得した点群データは、点群を構成する各点が三次元座標を有する。したがって、点群データを立体的(三次元的)に合成することにより、被写体を任意の視点(位置及び角度)から再現できる。しかし、点群は、高画質カメラで撮影された写真画像ほどに高画質ではない。そのため、点群データと写真データを合成することにより、高画質のモデルデータを作成する方法が提案されている。
【0003】
高画質のモデルデータを作成するためには、3DLSを用いて被写体を計測して得られた点群データと、デジタルカメラを用いて被写体をさまざまな位置及び角度から撮影して得られた高画質の写真データ(RGBデータ)が利用される。
【0004】
具体的に、図7,8を参照して、高画質のモデルデータを作成する従来の手順を説明する。
【0005】
手順1(3DLS計測)
3DLSを用いて、被写体を計測して、被写体の点群データを取得する(S1)。計測時、3DLSを複数の計測位置に移動しながら設置し、それぞれの計測位置(角度)から被写体を撮影する。例えば、建築物の外観構造を計測する場合、建築物周囲の複数の計測位置に3DLSを移動し設置してそれぞれの角度から建築物の外観を計測する。建築物の内部構造を計測する場合も同様に、建築物内部の複数の計測位置に3DLSを移動し設置してそれぞれの角度から内部(壁面、天井、床面、内装等)を計測する。このようにして、建築物の各部分の三次元座標が得られる。
【0006】
手順2(点群データの処理)
点群データ処理ソフトウェア(例えば、株式会社ニコン・トリンブルから提供されている「点群データ処理ソフトウェア『Trimble RealWorks』)を用いて、各計測位置で撮影された点群データを繋ぎ合わせて合成点群データを作成する(S2)。被写体を計測した合成点群データには様々なノイズが含まれている。そのため、合成点群データからノイズを除去して、ノイズ除去後の合成点群データを作成する(S3)。
【0007】
手順3(写真撮影)
点群データを取得する作業の前又は後に若しくは同時並行して、高画質のデジタルカメラを用いて、被写体をさまざまな位置及び角度から撮影し(S4)、複数の写真データを取得する。例えば、被写体が建築物の場合、建築物の周囲を移動しながら被写体をあらゆる角度から撮影する。
【0008】
手順4(写真データの処理)
写真データ処理ソフトウェア(例えば、Adobe Inc.から提供されている画像編集用ソフトウェア「Adobe Photoshop」)を用いて、複数の写真データから、利用不可能な写真データ(例えば、broken画像(ボケ画像)及び不要な反射や映り込みのある画像データ)を除き、利用可能な写真データだけを選別する(S5)。次に、選別された写真データを調整する(S7)。例えば、再生された画像が露光不十分であればその明るさを調整する(S6)。
【0009】
手順5(三次元モデルデータの作成)
点群編集ソフトウェア(例えば、Epic games, Inc.から提供されている3D画像編集ソフトウェア『RealityCapture』)を用いて、手順2で得られたノイズ除去後合成点群データと手順4で得られた調整後写真データを合成して三次元モデルデータを作成する。
【0010】
手順5では、まず複数の調製後写真データを再生した写真画像の中の特徴点を抽出し、それらの特徴点が一致するように複数の写真画像を位置合わせして合成写真データを作成する(S7)。
【0011】
次に、合成写真データと、手順2で得られた合成点群データとを、アライメント処理する(S8)。このアライメント処理では、点群画像と写真画像の両方に共通して表れる複数の調製点(コントロールポイント)を設定するとともに、点群画像に表れる調整点と写真画像に表れる調整点が一致するように合成写真データが調整される。
【0012】
次に、合成点群データをメッシュデータに変換してメッシュモデルを作成する(S9)。メッシュは、Vertex(点)、Edge(辺)、Face(面)で構成された3Dオブジェクトである。
【0013】
次に、各メッシュに対応する合成写真画像(合成写真データ)の画像(テクスチャ)を対応するメッシュに貼り付けて三次元モデルデータを作成する(S10)。
【0014】
このようにして作成された三次元モデルデータは、三次元座標と高精細の色情報を含む。したがって、三次元モデルデータを使って再生される画像は、単なる点の集合として表示される点群画像と違って、リアリティに富んだ画像である。
【0015】
しかし、上述のように、従来のモデルデータの作成方法は、3DLSを使って被写体の点群データを取得する手順1と、被写体を様々な位置及び角度から撮影する手順2が別々のタイミングで、また、別々の場所で行われる。そのために、オリジナルデータ(点群データと写真データ)の取得に多くの時間と労力を要する。
【0016】
また、点群データを取得する計測位置(機械原点)と写真データを取得する撮影位置(撮影原点)が異なるため、点群と写真を位置合わせする際に、どの位置の点群に対してどの写真を貼り付けるかを判断するのが難しく、そのためにアライメント処理に多くの時間と労力を要する。
【発明の概要】
【発明が解決しようとする課題】
【0017】
本発明は上記問題点を解消する新たなモデルデータを作成する方法を提供することを課題とする。
【課題を解決するための手段】
【0018】
そのため、本発明の実施形態は、原点(18)を通る光路に沿って計測対象にレーザを投射するとともに前記計測対象で反射したレーザを前記光路に沿って案内する光学系(22)を有する光学装置(10)を用意し、前記反射したレーザを用いてレーザ照射位置の点群データを取得するとともに、前記原点(18)を介して入射される光を受けて前記計測対象の写真データを取得し、前記光学装置で取得した前記点群データと前記写真データを用いてモデルデータを作成する方法であって、
前記方法は、
複数の計測位置で取得した前記点群データを合成して合成点群データを作成する点群合成工程(S103)と、
前記複数の計測位置で取得した写真データを合成して合成写真データを作成する写真合成工程(S107)と、
前記合成写真データと、前記複数の計測位置のそれぞれにおいて前記写真データを取得したときの前記光学装置(10)の機械情報とをもとに、前記合成写真データを分割して複数の分割画像データを取得する分割工程(S110)と、
前記合成点群データと前記分割画像データとを、複数の分割画像データのそれぞれの位置情報をもとに関連付けるアライメント工程(S111)と、
前記合成点群データからメッシュモデルを生成するメッシュモデル生成工程(S112)と、
前記メッシュモデルに前記分割画像データを貼り付けてモデルデータを生成するモデルデータ生成工程と、を有する。
【発明の効果】
【0019】
この方法によれば、光学装置が点群取得機能と写真撮影機能の両機能を備えているため、点群の取得と写真の撮影が短時間で行える。また、点群データ取得時の座標基準と写真データ取得時の座標基準が同じであるため、分割画像データを合成点群データとアライメント処理する作業が極めて容易になる。
【図面の簡単な説明】
【0020】
図1】本発明の実施形態に係る方法を実施する3DLSの構成を示すブロック図。
図2】三次元モデルデータを作成する方法の手順を示す図。
図3図2と共に三次元モデルデータを作成する方法の手順を示す図。
図4図2-3と共に三次元モデルデータを作成する方法の手順を示す図。
図5図2-4と共に三次元モデルデータを作成する方法の手順を示す図。
図6図2-5と共に三次元モデルデータを作成する方法の手順を示す図。
図7】三次元モデルデータを作成する従来の方法の手順を示す図。
図8図7と共に三次元モデルデータを作成する従来の方法の手順を示す図。
【発明を実施するための形態】
【0021】
以下、添付図面を参照して、本発明の実施形態に係る高画質の三次元モデルデータを作成する方法及びシステムを説明する。
【0022】
三次元モデルデータは、三次元レーザスキャナで取得される点群データと、デジタルカメラで取得される写真データを合成して作成される。上述した従来の三次元モデルデータの作成方法では、点群データと写真データは別々の装置を使って取得されるが、本実施形態においては、点群データと写真データは、三次元レーザスキャナの機能とデジタルカメラの機能の両方を備えた光学装置、例えばカメラ内蔵型三次元レーザスキャナで取得される。以下の説明では、カメラ内蔵型三次元レーザスキャナを「3DLS]という。
【0023】
[A.3DLSの構成と動作]
3DLSとしては、例えば、アメリカ合衆国フロリダ州レイクメアリーのFARO Technologies Inc.から商業的に提供されている3DLS「Focus Premium」(商品名)が好適に利用可能である。
【0024】
図1に示すように、3DLS10は、三脚等の支持手段11に着脱可能に固定される下部固定部12と、下部固定部12に支持された上部回転部13を有する。上部回転部13は、第1の軸である鉛直軸14を中心に、下部固定部12に対して回転できるように、下部固定部12に連結されている。
【0025】
下部固定部12と上部回転部13には、下部固定部12に対して上部回転部13を回転するために必要な第1の回転機構が設けられている。実施形態では、第1の回転機構は、モータ15と、モータ15の回転を、下部固定部12に対する上部回転部13の回転に変換する回転伝達機構(図示せず)を含む。実施形態では、モータ15は、例えば上部回転部13に収容され、回転伝達機構が下部固定部12と上部回転部13との間に介在している。
【0026】
上部回転部13は、第2の軸である水平軸16を中心に回転可能に支持された円筒ミラー17を有する。水平軸16は鉛直軸14と直交しており、鉛直軸14と水平軸16の交点が、3DLS10の機械原点18を形成している。機械原点18の座標が「機械座標」である。
【0027】
円筒ミラー17は、機械原点18を通り、水平軸16及び鉛直軸14と45度の角度をもって交叉する反射面19を有する。
【0028】
円筒ミラー17は、水平軸16を中心に円筒ミラー17を回転する第2の回転機構に連結されている。実施形態では、第2の回転機構は、モータ20と、モータ20の回転を円筒ミラー17に伝達する回転伝達機構(図示せず)を含む。
【0029】
上部回転部13はまた、一定の時間間隔をあけてレーザを発振するレーザ発振部21と、発振されたレーザを案内する光学系22を有する。光学系22は、レーザ発振部21で発振されたレーザを、点線で示す光路に沿って案内しながら、水平軸16に沿って反射面19の機械原点18に入射するように構成されている。
【0030】
以上の構成により、水平軸16に沿って機械原点18に入射されたレーザは、モータ20の駆動に基づいて、機械原点18を中心に、機械原点18を含み且つ水平軸16と直交する鉛直面に沿って旋回しながら投射される。同時に、投射されるレーザは、モータ15の駆動に基づいて、機械原点18を通る鉛直軸14を中心に旋回する。これら2つの旋回動作が合成されることにより、レーザは機械原点18を中心とする全天空空間に投射される。また、3DLS10から投射されたレーザは周辺環境の計測対象で反射し、機械原点18に戻ってくる一部の反射レーザが光学系22の光路に沿って逆方向に案内される。
【0031】
上部回転部13はまた、周辺環境から戻ってくる反射レーザを検出する受光部23、オペレータが保持するリモートコントローラ24からの信号を受信する通信部25、上述した複数の装置を予め決められた手順にしたがって駆動するとともに後に説明するように取得した点群データを保存し処理するプロセッサ26、及びそれらの装置に電力を供給する電源部27を有する。
【0032】
3DLS10はまた、高画素のCCDセンサ又はCMOSセンサを有する撮像素子(デジタルカメラ)28を備えている。撮像素子28は、反射面19から反射レーザが通る光路又はそこら分岐した光路に沿って入射する画像を取得するように配置されている。
【0033】
その他、3DLS10は、水平面に対する上部回転部13の傾斜量(直交する3つの軸、すなわち、重力方向の鉛直軸Z、該鉛直軸Zに直交する第1の水平軸X、及び鉛直軸Zと第1の水平軸Xに直交する第2の水平軸Y)に対する回転量)を自動検知する傾斜計29と、上部回転部13が地球上のどの方向(方位)に向けられているかを自動検知する方位計(コンパス)30を備えている。
【0034】
このような構成を備えた3DLS10によれば、点群データの取得時、リモートコントローラ24から発信された起動信号を通信部25が受信し、その情報がプロセッサ26に伝達されると、プロセッサ26はモータ15,20を駆動する。これにより、上部回転部13が鉛直軸14を中心に回転し、円筒ミラー17が水平軸16を中心に回転する。この状態で、プロセッサ26は、レーザ発振部21を起動してレーザを発振する。光学系22は、レーザ発振部21が発振したレーザを水平軸16に沿って反射面19に案内し、反射面19を介して全天空方位に投射する。周辺環境で反射したレーザは、反射面19から光学系22を介して受光部23で検出される。例えばタイムオブフライト方式のスキャナでは、プロセッサ26は、発振されたレーザが受光部23で検出されるまでの時間に基づいて、機械原点18から各レーザ照射位置までの距離を算出する。また、モータ15,20の回転量をもとに、3DLS10の起動時におけるレーザ投射方向からの移動角度(鉛直軸14を中心とする回転量と水平軸16を中心とする回転量)を算出する。プロセッサ26これら距離と移動角度を各計測位置の3次元位置情報(点群データ)として取得し保存する。
【0035】
3DLS10はまた、点群データの取得後又は点群データの取得前に、点群データを取得する計測位置において、プロセッサ26が、モータ15,20を駆動し、上部回転部13が鉛直軸14を中心に回転すると共に円筒ミラー17が水平軸16を中心に回転しながら、3DLS10を中心とする全天空方位の二次元画像(写真データ)を撮像素子28で取得し保存する。撮影条件(撮影間隔、回転速度)は、周辺環境を隙間なく撮影するように決められる。
【0036】
プロセッサ26は、このようにして取得された点群データと写真データから三次元モデルデータを作成する。
【0037】
例えば、一つの建物の三次元モデルデータを作成する場合、まず第1の計測位置に3DLS10を設置する。第1の計測位置に設置された3DLS10の機械座標を(X1,Y1,Z1)とする。この状態で、プロセッサ26は、ユーザからの指示に基づいて3DLS10を起動し、所定の時間間隔をあけてレーザを発振しながらモータ15,20を駆動して全天空方位の点群データPC1を取得する。点群データPC1は、レーザが照射された複数の位置(点群)のそれぞれについて、機械座標(X1,Y1,Z1)からレーザ照射位置までの距離(斜距離)、及びレーザの移動角度(機械座標からレーザ照射位置を見たときの方位角及び仰角に相当する。)を含む。
【0038】
点群データPC1を取得すると、次に、レーザを発振しない状態でモータ15,20を駆動しながら、所定の時間間隔をあけて全方位の写真データPI1を取得する。写真データPI1は、撮影された複数の写真画像と、各写真画像の撮影角度(機械座標に対する写真撮影の方位角と仰角)を含む。
【0039】
続いて、3DLS10を第2の計測位置に設置する。第2の計測位置に設置された3DLS10の機械座標を(X2,Y2,Z2)とする。この状態で、ユーザからの指示に基づいて3DLS10を起動し、レーザを発振しながらモータ15,20を駆動して全天空方位の点群データPC2を取得し、次に、レーザを発振しない状態でモータ15,20を駆動して全天空方位の写真データPI2を取得する。点群データPC2は、機械座標(X2,Y2,Z2)の他に、機械座標(X2,Y2,Z2)から各レーザ照射点までの距離と、レーザの移動角度(機械座標からレーザ照射位置点を見たときの方位角を仰角)を含む。写真データPI2は、撮影された複数の写真画像と、各写真画像の撮影角度(機械座標に対する写真撮影の方位角と仰角)を含む。
【0040】
これらの作業を繰り返すことで、建物の全体について、複数の計測位置で点群データと写真データを取得し、取得した点群データと写真データを以下に説明する手順にしたがって合成することで、一つの三次元モデルデータが作成される。
【0041】
[B.三次元モデルデータの作成]
【0042】
図2を参照すると、プロセッサ26は、上述した計測(S101)を実行して被写体の点群データと写真データを取得する(S102)。取得された点群データ(D101)と写真データ(D102)を含む計測データは、以下の手順に沿って処理される。
【0043】
手順101
図3を参照すると、手順101では、点群データ処理コンピュータソフトウェア(例えば、株式会社ニコン・トリンブルから提供されている「Trimble RealWorks」、FARO Technologies Inc.から提供されている「FARO SCENE」、株式会社エリジオンから提供されている「Infipoints」)を用いて、各計測位置(3DLS設置点)で取得された点群データを合成して合成点群データを作成する(S103)。合成点群データの作成には、各計測位置の機械座標[(X1,Y1,Z1)、(X2,Y2,Z2)・・・]が利用される。好ましくは、各計測位置において傾斜計29で計測された傾斜データ及び各計測位置において方位計30で計測された方位データが利用され、3DLS10の設置誤差に起因するデータのばらつきが修正される。
【0044】
次に、合成点群データからノイズを除去し(S104)、ノイズ除去後の合成点群データを出力する(S105)。以下の説明において、「合成点群データ」とは、ノイズが除去された合成点群データをいう。また、点群データを合成する際に使用した各計測位置の機械座標(以下、この情報を「合成情報」という。)を出力する(S106)。
【0045】
手順102
図4を参照すると、手順102は、パノラマ画像作成コンピュータソフトウェア(例えばFARO Technologies Inc.から提供されている「FARO SCENE」、株式会社ニコン・トリンブルから提供されている「Trimble RealWorks」)を使って行われる。
【0046】
具体的に、手順102では、各計測位置で取得した複数の写真を繋いて360度パノラマ画像(合成写真データ)を作成する(S107)。360度パノラマ画像を作成では、複数の画像に共通して含まれる特徴点を抽出し、類似度が高い特徴点同士をマッチングすることによって、複数の写真が結合される。好ましくは、360度パノラマ画像の作成には、各計測位置において傾斜計29と方位計30で計測された傾斜角と方位角(以下、これら傾斜角と方位角をまとめて「機械情報」という。)が利用され、この機械情報によって傾きと方位を適正に調整した360度パノラマ画像が合成される。
【0047】
手順103
図5を参照すると、手順103は、汎用プログラミング言語(例えば、Python、C++、C#))を使って作成されたコンピュータソフトウェアを使って行われる。まず、手順103では、360度パノラマ画像、各計測位置における計測開始時の機械情報(3DLSの傾き)、及び各計測位置における合成情報(機械座標)を読み込む(S109)。次に、360度パノラマ画像を全天球画像に変換する(S110)。次に、機械情報と合成情報を使用して、全天球画像の原点方向を指定する(S111)。次に、指定された原点方向を基準に全天球画像を分割して複数の分割画像を取得する(S112)とともに、各分割画像についてその位置情報を作成する(S113)。
【0048】
手順104
図6を参照すると、手順104は、点群編集ソフトウェア(例えば、Agisoft LLCから提供されている「MetaShape」、Epic games, Inc.から提供されている「RealityCapture」、Autodesk社から提供されている「Recap Photo」)を用いて行われる。まず、手順104では、点群合成データと、分割画像と、分割画像の位置情報を取得し(S114)、分割画像の位置情報と点群データが持っている座標情報をもとに、各分割画像データとそれに対応する合成点群データを位置的に関連付ける(アライメント処理)(S115)。
【0049】
次に、合成点群データをメッシュデータに変換してメッシュモデルを作成する(S116)。
【0050】
次に、アライメント処理によって対応付けられたテキスチャ画像を各メッシュに貼り付けて三次元モデルデータを作成する(S117)。
【0051】
上述した実施形態の三次元モデルデータ作成方法によれば、点群データ取得時の座標基準と写真データ取得時の座標基準が同じである。そのため、分割画像データを合成点群データとをアライメント処理する作業が極めて容易になる。また、すべての処理が一つの基準座標を用いて処理できるため、処理の途中で座標系を変換する必要がなく、三次元モデルデータを作成するまでに要する時間及び処理が大幅に削減される。
【符号の説明】
【0052】
10:3DLS(光学装置)
11:支持手段
12;下部固定部
13:上部回転部
14:鉛直軸(第1の軸)
15:モータ
16:水平軸(第2の軸)
17:円筒ミラー
18:機械原点
19:反射面
20:モータ
21;レーザ発振部
22:光学系
23:受光部
24:コントローラ
25:通信部
26:プロセッサ
27:電源部
28:撮像素子
29:傾斜計
30:方位計(コンパス)
【要約】      (修正有)
【課題】点群データと写真データを合成して三次元モデルデータを作成する方法を提供する。
【解決手段】機械原点18を通る光路で計測対象にレーザを投射し反射したレーザを光路に沿って案内する光学装置10を用意し、反射レーザを用いてレーザ照射位置の点群データを取得し、原点を介して入射される光から計測対象の写真データを取得し、点群データと写真データを用いてモデルデータを作成する方法であり、複数計測位置で取得した点群データを合成し、複数計測位置で取得した写真データを合成し、合成写真データと各複数計測位置で写真データを取得したときの光学装置の器械情報を基に、合成写真データを分割し、合成点群データと分割した画像データとを、複数の各分割画像データの位置情報をもとに関連付け、合成点群データからメッシュモデルを生成し、メッシュモデルに分割画像データを貼り付けてモデルデータを生成する。
【選択図】図1
図1
図2
図3
図4
図5
図6
図7
図8