IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社リコーの特許一覧

特開2024-52538点群処理装置、点群処理方法、プログラムおよび点群処理システム
<>
  • 特開-点群処理装置、点群処理方法、プログラムおよび点群処理システム 図1
  • 特開-点群処理装置、点群処理方法、プログラムおよび点群処理システム 図2
  • 特開-点群処理装置、点群処理方法、プログラムおよび点群処理システム 図3
  • 特開-点群処理装置、点群処理方法、プログラムおよび点群処理システム 図4
  • 特開-点群処理装置、点群処理方法、プログラムおよび点群処理システム 図5
  • 特開-点群処理装置、点群処理方法、プログラムおよび点群処理システム 図6
  • 特開-点群処理装置、点群処理方法、プログラムおよび点群処理システム 図7
  • 特開-点群処理装置、点群処理方法、プログラムおよび点群処理システム 図8
  • 特開-点群処理装置、点群処理方法、プログラムおよび点群処理システム 図9
  • 特開-点群処理装置、点群処理方法、プログラムおよび点群処理システム 図10
  • 特開-点群処理装置、点群処理方法、プログラムおよび点群処理システム 図11
  • 特開-点群処理装置、点群処理方法、プログラムおよび点群処理システム 図12
  • 特開-点群処理装置、点群処理方法、プログラムおよび点群処理システム 図13
  • 特開-点群処理装置、点群処理方法、プログラムおよび点群処理システム 図14
  • 特開-点群処理装置、点群処理方法、プログラムおよび点群処理システム 図15
  • 特開-点群処理装置、点群処理方法、プログラムおよび点群処理システム 図16
  • 特開-点群処理装置、点群処理方法、プログラムおよび点群処理システム 図17
  • 特開-点群処理装置、点群処理方法、プログラムおよび点群処理システム 図18
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024052538
(43)【公開日】2024-04-11
(54)【発明の名称】点群処理装置、点群処理方法、プログラムおよび点群処理システム
(51)【国際特許分類】
   G06T 19/00 20110101AFI20240404BHJP
   G06T 15/04 20110101ALI20240404BHJP
   G06T 17/20 20060101ALI20240404BHJP
【FI】
G06T19/00 A
G06T15/04
G06T17/20 500
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2023127934
(22)【出願日】2023-08-04
(31)【優先権主張番号】P 2022157818
(32)【優先日】2022-09-30
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】本橋 直樹
【テーマコード(参考)】
5B050
5B080
【Fターム(参考)】
5B050CA07
5B050DA05
5B050DA07
5B050EA07
5B050EA12
5B050EA13
5B050EA28
5B050FA05
5B080AA18
5B080GA22
(57)【要約】      (修正有)
【課題】ユーザが非熟練者の場合でも、点群に対して所望の品質で点群処理を実行する点群処理装置、点群処理方法、点群処理プログラム及び点群処理システムを提供する。
【解決手段】点群処理システムにおいて、点群処理装置である管理サーバ5は、三次元点群を示す点群データに対して実行される点群処理の複数の品質に対応する選択肢を表示する選択画面を生成する生成部57と、選択肢から選択された品質で点群データに対して点群処理を実行した処理結果を処理結果管理DB5005に記憶させる記憶・読出部59と、を備える。複数の品質情報のうち少なくとも1つは、複数の点群処理のそれぞれの点群処理の品質の組み合わせを示す。
【選択図】図3
【特許請求の範囲】
【請求項1】
三次元点群を示す点群データに対して実行される点群処理の複数の品質に対応する選択肢を表示する選択画面を生成する生成手段と、
前記選択肢から選択された前記品質で前記点群データに対して前記点群処理を実行した処理結果を記憶手段に記憶させる記憶制御手段と、
を備えた点群処理装置。
【請求項2】
前記選択画面は、前記複数の品質のそれぞれの品質を示す品質情報を表示する請求項1記載の点群処理装置。
【請求項3】
前記複数の品質情報のうち少なくとも1つの品質情報は、複数の前記点群処理のそれぞれの点群処理の品質の組み合わせを示す請求項2記載の点群処理装置。
【請求項4】
外部装置に対して、前記選択画面を示す選択画面情報を送信する送信手段をさらに備えた請求項1記載の点群処理装置。
【請求項5】
前記点群処理は、2箇所以上で撮影した点群を統合するレジストレーション処理、ノイズとなる点群を除去するノイズ除去処理、点群に面を構成するメッシュ生成処理、メッシュオブジェクトにRGB値を貼り付けるテクスチャマッピング処理、点群を識別するセグメンテーション処理、点群量を削減する軽量化処理、点群を三次元CADモデルに変換する三次元CADモデル変換処理の少なくとも1つを含む請求項1記載の点群処理装置。
【請求項6】
前記選択画面は、複数の前記点群処理のそれぞれの点群処理を実行する処理の数、組み合わせ、および順番の少なくとも1つが異なる複数の処理種類のそれぞれの処理種類に応じて、異なる内容の前記品質情報を表示する請求項2記載の点群処理装置。
【請求項7】
前記生成手段は、前記複数の処理種類のそれぞれの処理結果の種類を示す処理結果種類情報を選択肢として複数表示する設定画面をさらに生成する請求項6記載の点群処理装置。
【請求項8】
前記処理結果種類情報は、統合点群、メッシュオブジェクト、テクスチャ付きメッシュオブジェクト、三次元CADモデルのうち少なくとも2つを含む請求項7記載の点群処理装置。
【請求項9】
前記複数の品質情報の全てについて、前記複数の品質情報のそれぞれが示す品質で、前記点群処理を実行する点群処理手段を備え、
前記記憶制御手段は、前記複数の品質情報に対応する前記点群処理が実行された複数の処理結果のうち、選択された前記品質情報に対応する処理結果を前記記憶手段に記憶させる請求項1記載の点群処理装置。
【請求項10】
前記品質情報は、前記処理結果を示す画像を可視表示する可視情報を含む請求項9記載の点群処理装置。
【請求項11】
前記品質情報は、前記点群処理を実行する前に、予め前記処理結果の品質を示すものであり、
前記複数の品質情報のうち選択された品質情報が示す品質で、前記点群処理を実行する点群処理手段を備えた請求項2記載の点群処理装置。
【請求項12】
前記点群処理手段は、前記点群処理の処理結果を調整する調整操作に基づき、前記点群処理を再度実行する請求項9~11の何れか記載の点群処理装置。
【請求項13】
三次元点群を示す点群データに対して実行される点群処理の複数の品質に対応する選択肢を表示する選択画面を生成する生成ステップと、
前記選択肢から選択された前記品質で前記点群データに対して前記点群処理を実行した処理結果を記憶手段に記憶させる記憶ステップと、
を実行する点群処理方法。
【請求項14】
三次元点群を示す点群データに対して実行される点群処理の複数の品質に対応する選択肢を表示する選択画面を生成する生成ステップと、
前記選択肢から選択された前記品質で前記点群データに対して前記点群処理を実行した処理結果を記憶手段に記憶させる記憶ステップと、
をコンピュータに実行させるプログラム。
【請求項15】
三次元点群を示す点群データに対して点群処理を実行する点群処理装置と、前記点群処理装置と通信可能な端末装置を備える点群処理システムであって、
前記点群処理装置は、
前記点群処理の複数の品質に対応する選択肢を複数表示する選択画面を生成する生成手段と、
前記端末装置に対して、前記選択画面を示す選択画面情報を送信する送信手段と、を備え、
前記端末装置は、
前記点群処理装置から送信された、前記選択画面情報を受信する受信手段と、
前記選択画面を表示部に表示する表示制御手段と、
を備える点群処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、点群処理装置、点群処理方法、プログラムおよび点群処理システムに関する。
【背景技術】
【0002】
特許文献1には、面積計算手段と面積比較手段を有する特徴点抽出部と、特徴となる点群を曲面に投影する投影手段と曲面上に格子を作る格子設定手段と格子点上の多値画像生成手段と二値化手段からなる二値画像生成部と、点群から等比率に点を間引くためにその比率である縮減度調節手段を有する点群データ間引き部、を具備することを特徴とする三次元点群データ処理装置が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2001‐243500号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、点群データに対して点群処理を実行した処理結果を所望の品質で得ることを課題とする。
【課題を解決するための手段】
【0005】
本発明に係る点群処理装置は、三次元点群を示す点群データに対して実行される点群処理の複数の品質に対応する選択肢を表示する選択画面を生成する生成手段と、選択肢から選択された品質で点群データに対して点群処理を実行した処理結果を記憶手段に記憶させる記憶制御手段と、を備える。
【発明の効果】
【0006】
本発明によれば、点群データに対して点群処理を実行した処理結果を所望の品質で得ることができる。
【図面の簡単な説明】
【0007】
図1】本発明の実施形態に係る点群処理システムの全体構成図である。
図2】本実施形態に係る端末装置、管理サーバのハードウェア構成図である。
図3】本実施形態に係る点群処理システムの機能ブロック図である。
図4】本実施形態に係る設定情報管理テーブルの一例を示す概念図である。
図5】本実施形態に係るレジストレーション処理の説明図である。
図6】本実施形態に係るノイズ除去処理の説明図である。
図7】本実施形態に係るセグメンテーション処理の説明図である。
図8】本実施形態に係るモデル照合、置換処理の説明図である。
図9】本実施形態に係る点群処理の一例を示すシーケンス図である。
図10】本実施形態に係る設定画面の説明図である。
図11】本実施形態に係る選択画面および調整画面の説明図である。
図12】本実施形態に係る品質情報の説明図である。
図13】本実施形態の選択画面の変形例に係る説明図である。
図14】本実施形態に係る点群処理の一例を示すフローチャートである。
図15】本実施形態の設定画面の変形例に係る説明図である。
図16図15に示した変形例に係る設定情報管理テーブルの一例を示す概念図である。
図17図15に示した変形例に係る品質情報の説明図である。
図18図15に示した変形例に係る点群処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0008】
土木、建築などの業界において、少子高齢化、労働生産性の向上などを目的に、BIM/CIM化が進められている。
【0009】
BIMとは、Building Information Modelingの略称であり、コンピュータ上に作成した三次元の建物のデジタルモデル(以後、3Dモデルと呼ぶ)に、コストや仕上げ、管理情報などの属性データを追加した建築物のデータベースを、建築の設計、施工から維持管理までのあらゆる工程で情報活用を行うためのソリューションである。
【0010】
CIMは、Construction Information Modelingの略称であり、建築分野で進められていたBIMに倣って提唱された土木分野向け(道路、電力、ガス、水道などインフラ全般)のソリューションである。BIMと同様に、3Dモデルを中心に関係者間で情報共有することで一連の建設生産システムの効率化・高度化を図るものとして取り組まれている。
【0011】
BIM/CIM化を推進する上で重要なのが、建物や公共施設の空間の3D情報を如何にして容易に取得するかという点である。ここで言う3D情報とは、レーザスキャナ(以後、LSと呼ぶ)などで取得した空間の距離情報を保持している三次元点群(以降、単に点群と呼ぶ場合もある)や、三次元点群を示す点群データを元に生成されたメッシュオブジェクト、3DCADモデルなどを指す。
【0012】
構造物を一から建設する場合、BIM/CIMソフトなどを用いて一から完成物を設計することが出来るため、BIM/CIM化は導入しやすい。一方で、既存建物の場合、建設当時の設計図が残存していない、または、時間経過に伴う改修などによって設計時の図面と現況が異なっている場合などがあり、BIM/CIM化のハードルは上がる。このような既存建物のBIM化はAs-Build BIMなどと呼ばれ、今後のBIM/CIM化を推進するためにも重要な課題となっている。
【0013】
As-Build BIMを実現するための一手段として、上述したLSを用いた空間計測、計測した点群データから3DCADモデルを作成するというワークフローが存在する。本作業は、従来、写真やメジャーなどを使って計測する方法や、手でスケッチする方法が使われてきたが、空間の広さや設置物の有無、複雑性(配管の入り組み方など)により、多大な作業コストが生じる可能性がある。そのため、空間の3D情報を取得できるLSを導入することは、本問題を解消する有力な方法として注目されてきている。
【0014】
LSを用いたAd-Buildでは、3D情報の取得は容易になったが、従来のワークに存在しなかった点群データに対する点群処理というワークが新たに生じる。一般的な点群処理では、「LSを使った多点計測」、「各点群を位置合わせすることによる統合点群の生成」、「ノイズなどの不要点群の除去」、「点群のメッシュ変換、メッシュへのテクスチャマッピング、3DCADモデル変換」などを実施する。
【0015】
これらの処理は市販されている点群処理ソフトを用いて行うが、点群処理ソフトは多機能であり、また、各機能について設定するパラメータが多数存在するなど、点群処理に関してノウハウを持っていないユーザが扱うにはハードルが高い。
【0016】
また、点群処理ソフトの中には、各機能を自動で行うモードが搭載されていることがあるが、点群を取得できていない領域などが存在すると自動化に失敗するといった課題も顕在化している。その場合、点群と写真を見比べながら不適切箇所を手作業で修正するなど、後処理に労力や工数を要する。
【0017】
本実施形態は、以上の課題に鑑み、点群処理の経験の乏しい非熟練者であるユーザであっても、所望の品質で点群処理を実行することを第1の目的とする。
【0018】
また、点群処理を実行した後に、所望の品質に達していない場合の後処理を低減することを第2の目的とする。
【0019】
図1は、本発明の実施形態に係る点群処理システムの全体構成図である。本実施形態の点群処理システム1は、通信端末の一例である端末装置3、及び管理サーバ5によって構築されている。
【0020】
管理サーバ5は、三次元点群を示す点群データに対して1つ又は複数の点群処理を実行する点群処理装置の一例である。
【0021】
ここで、三次元点群は、レーザスキャナLS等を用いて物体のある空間を計測した際に、物体の表面の計測点に対応するX,Y,Z方向等の座標点の集合体である。それぞれの座標点は、例えば、(1,3,5)と示される。また、それぞれの座標点に色の情報を付加されていてもよく、色の情報として各座標点のRGBの値を付加してもよい。三次元点群は、ポイントクラウドと呼ばれることもある。点群データは、三次元点群を仮想的な三次元空間における座標点の集合体としてコンピュータ等で扱うことのできるデータである。
【0022】
三次元点群はレーザスキャナLSを用いて計測する例を示したが、他の光学的計測手段や機械的計測手段を用いても良い。光学的計測手段としてはステレオカメラを用いる方法や、Visual SLAMを用いる方法等がある。
【0023】
端末装置3、及び管理サーバ5は、通信ネットワーク100を介して通信することができる。通信ネットワーク100は、インターネット、移動体通信網、LAN(LocalAreaNetwork)等によって構築されている。通信ネットワーク100には、有線通信だけでなく、3G(3rdGeneration)、WiMAX(WorldwideInteroperabilityforMicrowaveAccess)、LTE(LongTermEvolution)等の無線通信によるネットワークが含まれてもよい。また、端末装置3は、NFC(NearFieldCommunication)(登録商標)等の近距離通信技術によって通信可能である。
【0024】
<ハードウェア構成>
図2は、本実施形態に係る端末装置、管理サーバのハードウェア構成図である。端末装置3の各ハードウエア構成は、300番台の符号で示されている。管理サーバ5の各ハードウエア構成は、括弧内の500番台の符号で示されている。
【0025】
端末装置3は、CPU(CentralProcessingUnit)301、ROM(ReadOnlyMemory)302、RAM(RandomAccessMemory)303、HD(HardDisk)304、HDD(HardDiskDrive)305、記録メディア306、メディアI/F307、ディスプレイ308、ネットワークI/F309、キーボード311、マウス312、CD-RW(CompactDisc-ReWritable)ドライブ314、及び、バスライン310を備えている。
【0026】
これらのうち、CPU301は、端末装置3全体の動作を制御する。ROM302は、CPU301の駆動に用いられるプログラムを記憶する。RAM303は、CPU301のワークエリアとして使用される。HD304は、プログラム等の各種データを記憶する。HDD305は、CPU301の制御にしたがってHD304に対する各種データの読み出し又は書き込みを制御する。メディアI/F307は、フラッシュメモリ等の記録メディア306に対するデータの読み出し又は書き込み(記憶)を制御する。ディスプレイ308は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。ネットワークI/F309は、通信ネットワーク100を利用してデータ通信をするためのインターフェースである。キーボード311は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。マウス312は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。CD-RWドライブ314は、着脱可能な記録媒体の一例としてのCD-RW513に対する各種データの読み出し又は書き込みを制御する。端末装置3は、さらに、有線やWifi等の無線により接続される外部PCや外部デバイスに対するデータの読み出し又は書き込み(記憶)を制御する構成を備えていても良い。
【0027】
また、管理サーバ5は、CPU501、ROM502、RAM503、HD504、HDD505、記録メディア506、メディアI/F507、ディスプレイ508、ネットワークI/F509、キーボード511、マウス512、CD-RWドライブ514、及び、バスライン510を備えている。これらは、それぞれ上述の構成(CPU301、ROM302、RAM303、HD304、HDD305、記録メディア306、メディアI/F307、ディスプレイ308、ネットワークI/F309、キーボード311、マウス312、CD-RWドライブ314、及び、バスライン310)と同様の構成であるため、これらの説明を省略する。
【0028】
なお、CD-RWドライブ314(514)ではなく、CD-Rドライブ等であってもよい。また、端末装置3、及び管理サーバ5は、それぞれ単一のコンピュータによって構築されてもよいし、各部(機能、手段、又は記憶部)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。
【0029】
図3は、本実施形態に係る点群処理システムの機能ブロック図である。
【0030】
<端末装置の機能構成>
図3に示されているように、端末装置3は、送受信部31、受付部32、表示制御部34、記憶・読出部39を有している。これら各部は、図2に示されている各構成要素のいずれかが、HD304からRAM303上に展開されたプログラムに従ったCPU301からの命令によって動作することで実現される機能、又は機能する手段である。また、端末装置3は、図2に示されているRAM303及びHD304によって構築される記憶部3000を有している。
【0031】
(端末装置の各機能構成)
次に、端末装置3の各構成要素について説明する。
【0032】
送受信部31は、受信手段の一例であり、図2に示されているCPU301からの命令、並びにネットワークI/F309によって実現され、通信ネットワーク100を介して他の端末、装置又はシステムと各種データ(または情報)の送受信を行う。
【0033】
受付部32は、受付手段の一例であり、主に、図2に示されているCPU301からの命令、並びにキーボード311及びマウス312によって実現され、利用者による各種入力を受け付ける。
【0034】
表示制御部34は、表示制御手段の一例であり、図2に示されているCPU301からの命令によって実現され、表示部の一例であるディスプレイ308に、各種画像や画面を表示させる。
【0035】
記憶・読出部39は、記憶制御手段の一例であり、図2に示されているCPU301からの命令、並びに、HDD305、メディアI/F307、CD-RWドライブ314および外部PCや外部デバイスによって実行され、記憶部3000、記録メディア306、CD-RW313および外部PCや外部デバイスに各種データを記憶したり、記憶部3000、記録メディア306、CD-RW313、および外部PCや外部デバイスから各種データを読み出したりする処理を行う。
【0036】
<管理サーバの機能構成>
管理サーバ5は、送受信部51、処理部53、判断部55、生成部57、及び記憶・読出部59を有している。これら各部は、図2に示されている各構成要素のいずれかが、HD504からRAM503上に展開されたプログラムに従ったCPU501からの命令によって動作することで実現される機能又は機能する手段である。また、管理サーバ5は、図2に示されているHD504により構築される記憶部5000を有している。記憶部5000は、記憶手段の一例である。
【0037】
(管理サーバの各機能構成)
次に、管理サーバ5の各構成要素について説明する。管理サーバ5は、複数のコンピュータに各機能を分散させて実現させる構成であってもよい。さらに、管理サーバ5は、クラウド環境に存在するサーバコンピュータであるものとして説明するが、オンプレミス環境に存在するサーバであってもよい。
【0038】
送受信部51は、送信手段の一例であり、図2に示されているCPU501からの命令、並びにネットワークI/F509によって実現され、通信ネットワーク100を介して他の端末、装置又はシステムと各種データ(または情報)の送受信を行う。
【0039】
処理部53は、図2に示されているCPU501からの命令によって実現され、後述の各種処理を行なう。処理部53は、点群処理手段の一例である。
【0040】
判断部55は、図2に示されているCPU501からの命令によって実現され、後述の各種判断を行なう。
【0041】
生成部57は、図2に示されているCPU501からの命令によって実現され、後述の画面生成等の各種生成を行なう。
【0042】
記憶・読出部59は、記憶制御手段の一例であり、図2に示されているCPU501からの命令、並びに、HDD505、メディアI/F507、CD-RWドライブ514および外部PCや外部デバイスによって実行され、記憶部5000、記録メディア506、CD-RW513および外部PCや外部デバイスに各種データを記憶したり、記憶部5000、記録メディア506、CD-RW513および外部PCや外部デバイスから各種データを読み出したりする処理を行う。記憶部5000、記録メディア506、CD-RW513、および外部PCや外部デバイスは、記憶手段の例である。
【0043】
記憶部5000には、設定情報管理テーブルによって構成されているユーザ情報管理DB5001、設定情報管理DB5002、記憶処理管理DB5003、点群管理DB5004、および処理結果管理DB5005が構築されている。
【0044】
ユーザ情報管理DB5001は、ユーザ情報に関連づけられて三次元点群データのファイル名を記憶、管理し、設定情報管理DB5002は、各種設定情報を記憶、管理し、記憶処理管理DB5003は、点群処理を実行するための各種処理プログラムを記憶、管理し、点群管理DB5004は、点群データを記憶、管理し、処理結果管理DB5005は、点群データに点群処理を実行した処理結果を示す処理結果情報を記憶、管理する。
【0045】
図4は、本実施形態に係る設定情報管理テーブルの一例を示す概念図である。
【0046】
設定情報管理テーブルは、点群処理を生成するための三次元点群データ、および点群処理を生成した処理の履歴を管理するためのテーブルである。記憶部5000には、図4に示されているような設定情報管理テーブルによって構成されている設定情報管理DB5002が構築されている。この設定情報管理テーブルでは、処理結果種類ごとに、複数の品質の種類が関連づけられて管理されており、複数の品質の種類のそれぞれごとに、実行する点群処理およびその品質が、点群処理の順番と関連づけられて管理されている。
【0047】
処理結果種類は、統合点群、メッシュオブジェクト、テクスチャ付きメッシュオブジェクト、三次元CADモデルのうち少なくとも2つを含む。
【0048】
点群処理は、2箇所以上で撮影した点群を統合するレジストレーション処理、ノイズとなる点群を除去するノイズ除去処理、点群に面を構成するメッシュ生成処理、メッシュオブジェクトにRGB値を貼り付けるテクスチャマッピング処理、点群を識別するセグメンテーション処理、点群量を削減する軽量化処理、点群を三次元CADモデルに変換する三次元CADモデル変換(フィッティング)処理の少なくとも1つを含む。
【0049】
図4に示すように、処理結果種類が「統合点群」で品質1の場合、処理順1でレジストレーション処理を実行し、処理順2で品質が「除去率大」のノイズ除去処理を実行する。
【0050】
また、処理結果種類が「統合点群」で品質2の場合、処理順1でレジストレーション処理を実行し、処理順2で品質が「除去率中」のノイズ除去処理を実行する。
【0051】
そして、処理結果種類が「統合点群」で品質3の場合、処理順1でレジストレーション処理を実行し、処理順2で品質が「除去率小」のノイズ除去処理を実行する。
【0052】
処理結果種類が「メッシュ、テクスチャ」で品質1の場合、処理順1でレジストレーション処理を実行し、処理順2で品質が「除去率大」のノイズ除去処理を実行し、処理順3で品質が「穴あき量多」および「平坦度中」のメッシュ生成処理を実行し、処理順4で品質が「つなぎ面差異少」のテクスチャマッピング処理を実行する。
【0053】
また、処理結果種類が「メッシュ、テクスチャ」で品質2の場合、処理順1でレジストレーション処理を実行し、処理順2で品質が「除去率中」のノイズ除去処理を実行し、処理順3で品質が「穴あき量中」および「平坦度低」のメッシュ生成処理を実行し、処理順4で品質が「つなぎ面差異多」のテクスチャマッピング処理を実行する。
【0054】
そして、処理結果種類が「メッシュ、テクスチャ」で品質3の場合、処理順1でレジストレーション処理を実行し、処理順2で品質が「除去率小」のノイズ除去処理を実行し、処理順3で品質が「穴あき量少」および「平坦度高」のメッシュ生成処理を実行し、処理順4で品質が「つなぎ面差異中」のテクスチャマッピング処理を実行する。
【0055】
処理結果種類が「3Dモデル」で品質1の場合、処理順1でレジストレーション処理を実行し、処理順2で品質が「除去率大」のノイズ除去処理を実行し、処理順3でセグメンテーション処理を実行し、処理順4で品質が「モデル生成量多」のモデルフィッティング処理を実行する。
【0056】
また、処理結果種類が「3Dモデル」で品質2の場合、処理順1でレジストレーション処理を実行し、処理順2で品質が「除去率中」のノイズ除去処理を実行し、処理順3でセグメンテーション処理を実行し、処理順4で品質が「モデル生成量中」のモデルフィッティング処理を実行する。
【0057】
さらに、処理結果種類が「3Dモデル」で品質3の場合、処理順1でレジストレーション処理を実行し、処理順2で品質が「除去率小」のノイズ除去処理を実行し、処理順3でセグメンテーション処理を実行し、処理順4で品質が「モデル生成量少」のモデルフィッティング処理を実行する。
【0058】
以上において、設定情報管理テーブルは、点群処理のうち実行する処理の数、組み合わせ、または順番が異なる複数の処理種類を含んでいる。
【0059】
また、ノイズ除去処理における「除去率」や、メッシュ生成処理における「穴あき量」や「平坦度」、テクスチャマッピング処理における「つなぎ面差異」、モデルフィッティング処理における「モデル生成量」等の品質は、ノイズ除去等の個別の点群処理を実行する際のパラメータを変更することにより、変更することができ、これにより個々の点群処理の程度を異ならせることができる。
【0060】
例えば、点群を最小二乗法などで線分近似し、近似線分からの離れ度合いによって点群を除去する処理であるとする。その際、パラメータとは、離れ度合いを制御する数値情報であり、この数値を小さく設定するほど点群は除去されやすくなり、少し離れただけで除去されるようになる。一方で、この数値を大きく設定するほど点群は除去されにくくなり、多少離れていてもパラメータ以内であれば除去されなくなる。
【0061】
さらに、複数の品質種類のうち少なくとも1つの品質の種類は、複数の点群処理のそれぞれの点群処理の品質の組み合わせを示している。
【0062】
ここで、ノイズ除去処理を例にすると、品質が「除去率大」の場合、正常な点群まで除去されてしまい、例えば、モデルフィッティング処理の品質が低下する場合があり、最終の処理結果の品質としては望ましくない場合がある。
【0063】
すなわち、本実施形態では、処理結果の品質を得るために必要な個別の点群処理の品質を定義することにより、個別の点群処理の品質は満たされても処理結果の品質が損なわれることを防止している。
【0064】
また、処理結果の品質についての選択肢を設けることにより、個別の点群処理の品質についての選択肢を設ける場合に比べて、非熟練者のユーザでも容易に品質を設定することができる。
【0065】
図5は、本実施形態に係るレジストレーション処理の説明図である。レジストレーション処理は、複数の三次元点群を一つの統合された三次元点群に変換する処理である。
【0066】
図5(a)は、第1の三次元点群1410を示し、図5(b)は、第2の三次元点群1420を示す。
【0067】
処理部53は、第1の三次元点群1410および第2の三次元点群1420にそれぞれ含まれる点群の相対的な位置関係は変わらないように、一例として、第2の三次元点群1420全体を第1の三次元点群1410に対して移動させたり、回転させたりする。
【0068】
そして、処理部53は、第1の三次元点群1410と第2の三次元点群1420の距離を示す距離関数の値が閾値を下回ると、処理を終了する。
【0069】
この場合、第1の三次元点群1410に対する第2の三次元点群1420の移動量、回転量、および距離関数の値に対する閾値はパラメータで制御されるため、これらのパラメータを変更することにより、レジストレーション処理における位置合わせの品質を変更することができる。
【0070】
図6は、本実施形態に係るノイズ除去処理の説明図である。
【0071】
処理部53は、一例として、三次元点群1430に含まれる点群に基づき近似曲線を作成し、この近似曲線からの距離が閾値以上の点群を不要な点群1440として除去する。
【0072】
この場合、近似曲線、および近似曲線からの距離に対する閾値はパラメータで制御されるため、これらのパラメータを変更することにより、ノイズ除去処理の品質を変更することができる。
【0073】
図7は、本実施形態に係るセグメンテーション処理の説明図である。
【0074】
セグメンテーション処理は、三次元点群中の特定の点群にラベリングして、他の点群と識別できるようにする処理であり、複数の特定の点群のそれぞれに異なるラベリングをすることにより、複数の特定の点群のそれぞれを相互に識別可能にしてもよい。また、セグメンテーション処理は、ラベリングされた点群のうち距離が近い点群をグループ化するクラスタリング処理と併せて実行しても良い。
【0075】
処理部53は、三次元点群1430中の特定の点群にラベリングして、ラベリングされた点群1450(黒丸)を形成し、他の点群に対して識別できるようにする。
【0076】
処理部53は、一例として、三次元点群1430中の点群毎に配管の一部である可能性を示すスコアを算出し、スコアが閾値以上の点群に対してラベリングする。
【0077】
この場合、スコアに対する閾値はパラメータで制御されるため、これらのパラメータを変更することにより、セグメンテーション処理における点群識別の品質を変更することができる。
【0078】
図8は、本実施形態に係るモデル変換処理の説明図である。
【0079】
図8(a)は、三次元点群1430を示し、図8(b)は、配管のモデル候補1460を示す。
【0080】
配管のモデル候補1460は、それぞれ形状が異なる複数のモデル形状1461、1462、1463を含む。
【0081】
処理部53は、ラベリングされた点群1450(黒丸の点群)を、配管の複数のモデル形状1461、1462、1463のそれぞれと照合し、最も形状が近いモデル形状を用いて、特定の領域を置換する。処理部53は、複数のモデル形状1461、1462、1463の中に最適なモデル形状がない場合、モデル形状の寸法や形状を調整しても良い。ここで、最も形状が近いモデル形状は、一例として、モデル形状と点群の各点までの距離を算出し、その合計が小さいモデル形状とする。
【0082】
処理部53は、一例として、モデル形状と点群の各点までの距離が閾値以下の場合、モデル形状を用いて、特定の領域を置換するモデルフィッティングを実行する。
【0083】
この場合、モデル形状と点群の各点までの距離に対する閾値はパラメータで制御されるため、これらのパラメータを変更することにより、モデル変換処理におけるモデル生成量の品質を変更することができる。
【0084】
図9は、本実施形態に係る点群処理の一例を示すシーケンス図である。
【0085】
端末装置3の受付部32は、ユーザ情報に係る入力操作を受け付ける(ステップS1)。送受信部31は、端末装置3の管理サーバ5に対して、ステップS1で受け付けられたユーザ情報を含む設定画面の要求を送信して、管理サーバ5の送受信部51は、端末装置3から送信された要求を受信する。(ステップS2)。
【0086】
次に、管理サーバ5の記憶・読出部59は、ステップS2で受信された要求に含まれているユーザ情報を検索キーとしてユーザ情報管理DB5001を検索することで、要求に含まれているユーザ情報に関連づけられた三次元点群データのファイル名を読み出して、管理サーバ5の生成部57は、記憶・読出部59が読みだしたファイル名に基づき、設定画面を含む表示画面を生成する(ステップS3)。
【0087】
この設定画面は、複数の処理種類のそれぞれの処理結果の種類を示す処理結果種類情報を選択肢として複数表示する。
【0088】
送受信部51は、端末装置3に対して、ステップS3で生成した設定画面に係る設定画面情報を含む表示画面情報を送信して、端末装置3の送受信部31は、管理サーバ5から送信された表示画面情報を受信する(ステップS4)。
【0089】
次に、端末装置3の表示制御部34は、ステップS4で受信された設定画面を含む表示画面を、ディスプレイ308に表示させる(ステップS5)。端末装置3の受付部32は、表示された設定画面に対するユーザの所定の入力操作を受け付ける。この入力操作は、複数の処理種類情報から1つの処理種類情報を設定する設定操作を含む。
【0090】
送受信部31は、管理サーバ5に対して、受付部32が受け付けた入力操作に係る入力情報を送信して、管理サーバ5の送受信部51は、端末装置3から送信された入力情報を受信する(ステップS6)。この入力情報は、複数の処理種類情報から1つの処理種類情報を設定する処理設定情報を含む。
【0091】
管理サーバ5の記憶・読出部59は、ステップS6で受信された入力情報に含まれている点群設定情報を検索キーとして点群管理DB5004を検索することで、点群設定情報に関連づけられた三次元点群データを読み出す。
【0092】
また、記憶・読出部59は、ステップS6で受信された入力情報に含まれている処理設定情報を検索キーとして設定情報管理DB5002を検索することで、処理設定情報に関連づけられた複数の品質の種類を読み出すとともに、複数の品質の種類のそれぞれ毎に、点群処理名、点群処理の品質、および点群処理の順番を読み出す。
【0093】
そして、記憶・読出部59は、設定情報管理DB5002から読み出した点群処理名を検索キーとして記憶処理管理DB5003を検索することで、点群処理名に関連づけられた点群処理プログラムを読み出す。
【0094】
管理サーバ5の処理部53は、記憶・読出部59から読み出された三次元点群データ、点群処理プログラム、品質の種類、点群処理の品質、および点群処理の順番に基づき、点群処理情報を生成する(ステップS7)。点群処理情報は、複数の品質の種類に対応してそれぞれ点群処理が実行された複数の処理結果を含む。
【0095】
ステップS7は、三次元点群を示す点群データに対して1つ又は複数の点群処理を実行する点群処理ステップの一例である。
【0096】
管理サーバ5の生成部57は、点群処理の品質を示す品質情報を選択肢として複数表示する選択画面を含む表示画面を生成し、送受信部51は、端末装置3に対して、選択画面を示す選択画面情報を含む表示画面情報を送信する(ステップS8)。ステップS8は、生成ステップの一例である。
【0097】
端末装置3の送受信部31は、管理サーバ5から送信された選択画面情報を含む表示画面情報を受信し、端末装置3の表示制御部34は、受信された選択画面を含む表示画面を、ディスプレイ308に表示させ、端末装置3の受付部32は、表示された選択画面に対するユーザの所定の入力操作を受け付ける(ステップS9)。
【0098】
この入力操作は、複数の品質情報から1つの品質情報を選択する選択操作、および点群処理の処理結果を調整する調整操作を含む。選択操作は、複数の品質情報から所望の複数の品質情報を選択するものであってもよい。
【0099】
送受信部31は、管理サーバ5に対して、受付部32が受け付けた入力操作に係る入力情報を送信して、管理サーバ5の送受信部51は、端末装置3から送信された入力情報を受信する(ステップS10)。
【0100】
この入力情報が、選択操作による選択情報を含む場合、管理サーバ5の処理部53は、選択情報に基づき処理結果を決定する。
【0101】
一方、入力情報が、調整操作による調整情報を含む場合、管理サーバ5の処理部53は、調整情報に基づきステップS7における点群処理を再度実行する。
【0102】
処理部53は、処理結果情報を点群処理ソフトで読み込み可能なファイルフォーマット、3DCADソフトで読み込み可能なファイルフォーマット、BIM/CIMソフトで読み込み可能なファイルフォーマット等に変換して、記憶・読出部59は、変換された処理結果情報を処理結果管理DB5005、記録メディア506、またはCD-RW513に記憶させる(ステップS11)。ステップS11は、記憶ステップの一例である。
【0103】
送受信部51は、端末装置3に対して、決定された処理結果情報を送信する(ステップS12)。
【0104】
端末装置3の送受信部31は、管理サーバ5から送信された処理結果情報を受信し、端末装置3の表示制御部34は、受信された処理結果を、ディスプレイ308に表示させる。(ステップS13)。
【0105】
以上において、図3における管理サーバ5の機能を端末装置3に一体化し、図9における管理サーバ5の処理も端末装置3が実行しても良い。
【0106】
図10は、本実施形態に係る設定画面の説明図である。図10は、図9に示したシーケンス図のステップS5において、端末装置3のディスプレイ308に表示される表示画面1000を示す。
【0107】
端末装置3の表示制御部34は、ユーザ情報表示画面1100と、設定画面1200とを表示画面1000に表示させる。
【0108】
設定画面1200は、点群設定画面1210と、処理設定画面1220と、実行ボタン1230を含む。
【0109】
点群設定画面1210は、点群処理を実行するために用いられる三次元点群を示す点群データを設定する点群設定操作を受け付ける画面であり、表示制御部34は、記憶・読出部59が読みだした複数の点群データのそれぞれのファイル名に対応付けて、点群設定ボックス1212、1214を表示させる。点群設定ボックス1212、1214は、複数設定可能である。
【0110】
処理設定画面1220は、点群処理を実行して得られる処理結果の種類を設定する設定操作を受け付ける画面であり、表示制御部34は、複数の処理結果種類のそれぞれの名称に対応付けて、処理設定ボックス1221、1222、1223を表示させるとともに、複数の処理結果種類に共通のオプション設定ボックス1224を表示させる。また、表示制御部34は、各種設定操作を確定する実行ボタン1230を表示させる。
【0111】
さらに、表示制御部34は、処理設定ボックス1221~1223、およびオプション設定ボックス1224のそれぞれを選択するためのマウス312等のポインタ1240を表示するとともに、ポインタ1240を処理設定ボックス1221~1223のそれぞれに近接させたときに、処理結果種類情報1250を表示させる。
【0112】
すなわち、処理設定画面1220は、複数の処理種類のそれぞれの処理結果の種類を示す処理結果種類情報1250を選択肢として複数表示する。
【0113】
ここで、複数の処理種類は、図4で説明したように、点群処理のうち実行する処理の数、組み合わせ、または順番が異なる処理種類を含んでいる。
【0114】
図10において、処理設定ボックス1221は、統合点群に係る処理結果種類を設定するものであり、処理設定ボックス1222は、メッシュ+テクスチャに係る処理結果種類を設定するものであり、処理設定ボックス1223は、3Dモデルに係る処理結果種類を設定するものである。また、オプション設定ボックス1224は、複数の処理結果種類に共通で、セグメンテーションに係る処理を実行するか否かを設定するものである。
【0115】
端末装置3の受付部32は、ポインタ1240により各種設定ボックスがポインティングされると、表示制御部34は、図示したように各種設定ボックスに黒丸やレ点を表示し、受付部32は、各種設定操作を受け付けて、実行ボタン1230が操作されると、各種設定操作を確定する。
【0116】
そして、図9のステップS6で説明したように、送受信部31は、管理サーバ5に対して、受付部32が受け付けた各種設定操作による各種設定情報を含む入力情報を送信する。
【0117】
図11は、本実施形態に係る選択画面および調整画面の説明図である。図11は、図10において、メッシュ+テクスチャに係る処理結果種類が設定された場合の例を示すが、統合点群に係る処理結果種類や3Dモデルに係る処理結果種類が設定された場合も同様である。
【0118】
図11(a)は、図9に示したシーケンス図のステップS9において、端末装置3のディスプレイ308に表示される表示画面1000を示し、端末装置3の表示制御部34は、選択画面1300を表示画面1000に表示させる。
【0119】
選択画面1300は、点群処理の品質を選択する操作を受け付ける画面であり、表示制御部34は、複数の品質のそれぞれの名称を示す品質1~3に対応付けて、選択ボックス1321、1322、1323を表示させるとともに、各種選択操作を決定する決定ボタン1330を表示させる。また、表示制御部34は、点群処理の処理結果を調整するためのパラメータ調整ボタン1360を表示させる。
【0120】
さらに、表示制御部34は、選択ボックス1321~1323のそれぞれを選択するためのマウス312等のポインタ1340を表示するとともに、ポインタ1340を選択ボックス1321~1323のそれぞれに近接させたときに、品質情報1350を表示させる。品質情報1350は、選択ボックス1321~1323のそれぞれに対応する品質を示すものである。
【0121】
選択ボックス1321~1323は、選択肢の一例であって、品質1~3に対応する複数の品質から1つの品質を選択するものである。より好ましくは、品質1~3に対応する複数の品質情報1350から1つの品質情報1350を選択するものである。
【0122】
すなわち、選択画面1300は、点群処理の品質を示す品質情報1350を選択肢として複数表示する。これにより、ユーザは、選択ボックス1321~1323のそれぞれに対応する品質情報1350を確認することにより、所望の品質の処理結果がどれか判断することができる。
【0123】
品質情報1350は、図11(a)では選択ボックス1321~1323外に表示されるが、選択画面1300中のスペース、レイアウト的に可能であれば、選択ボックス1321~1323のそれぞれに表示されていても良い。また、品質情報1350は、別途用意されたマニュアルや、選択画面1300内とは異なる画面に表示される電子マニュアルに記載されてもよい。
【0124】
受付部32は、ポインタ1340により選択ボックス1321~1323の何れかがポインティングされると、表示制御部34は、図示したようにポインティングされた選択ボックス1322の色を変化させて、受付部32は、選択ボックス1322に対する選択操作を受け付けて、決定ボタン1330が操作されると、選択操作を決定する。
【0125】
そして、図5のステップS10で説明したように、送受信部31は、管理サーバ5に対して、受付部32が受け付けた選択操作による選択情報を含む入力情報を送信する。
【0126】
一方、受付部32が、選択ボックス1322に対する選択操作を受け付けてから、パラメータ調整ボタン1360に対する操作を受け付けると、表示制御部34は、図11(b)に示す表示画面1000に切り替える。
【0127】
図11(b)において、表示制御部34は、調整画面1500を表示画面1000に表示させる。図11(b)は、一例として、図11(a)で品質2の選択ボックス1322が選択された場合の、品質2に係る調整画面1500を示す。
【0128】
調整画面1500は、点群処理の処理結果を調整する調整操作を受け付ける画面であり、表示制御部34は、複数のパラメータのそれぞれの名称に対応付けて、調整バー1521、1522、1523を表示させるとともに、調整バーによる調整操作を完了する完了ボタン1530を表示させる。
【0129】
なお、調整操作は、調整バーによる連続値での調整だけでなく、例えば、多、中、少といった離散値での調整であっても良い。調整操作は、このような複数のバリエーションを含んでもよい。
【0130】
調整バー1521は、ノイズ除去処理における「除去率」の品質に対応するパラメータを調整するものであり、調整バー1522は、メッシュ生成処理における「穴あき量」の品質に対応するパラメータを調整するものであり、調整バー1523は、メッシュ生成処理における「平坦度」の品質に対応するパラメータを調整するものである。
【0131】
受付部32が、調整バー1521~1523に対する調整操作を受け付けてから、完了ボタン1530に対する操作を受け付けると、図5のステップS10で説明したように、送受信部31は、管理サーバ5に対して、受付部32が受け付けた調整操作による調整情報を含む入力情報を送信し、表示制御部34は、図11(a)に示す表示画面1000に戻る。
【0132】
図12は、本実施形態に係る処理結果種類情報および品質情報の説明図である。
【0133】
統合点群に係る処理結果種類を設定する処理設定ボックス1221に対して、処理結果種類情報1250は「複数箇所で撮影した点群を位置合わせすることで生成した点群表現」と表示される。
【0134】
メッシュ+テクスチャに係る処理結果種類を設定する処理設定ボックス1222に対して、処理結果種類情報1250は「統合点群に対して面(メッシュ)をはり、その上に画像を貼り付けた表現」と表示される。
【0135】
3Dモデルに係る処理結果種類を設定する処理設定ボックス1223に対して、処理結果種類情報1250は「点群を円柱や直方体など基本的な幾何形状(幾何モデル)に置き換えた表現」と表示される。
【0136】
統合点群に係る品質1を選択する選択ボックスに対して、品質情報は「ノイズ除去量:多」と表示される。
【0137】
統合点群に係る品質2を選択する選択ボックスに対して、品質情報は「ノイズ除去量:中」と表示される。
【0138】
統合点群に係る品質3を選択する選択ボックスに対して、品質情報は「ノイズ除去量:少」と表示される。
【0139】
メッシュ+テクスチャに係る品質1を選択する選択ボックス1321に対して、品質情報1350は「(ノイズ除去量:多、)穴空き量:多、平坦度:中、つなぎ目差異:少」と表示される。()内の表示は省略しても良い。
【0140】
メッシュ+テクスチャに係る品質2を選択する選択ボックス1322に対して、品質情報1350は「(ノイズ除去量:中、)穴空き量:中、平坦度:低、つなぎ目差異:多」と表示される。()内の表示は省略しても良い。
【0141】
メッシュ+テクスチャに係る品質3を選択する選択ボックス1323に対して、品質情報1350は「(ノイズ除去量:少、)穴空き量:少、平坦度:高、つなぎ目差異:中」と表示される。()内の表示は省略しても良い。
【0142】
3Dモデルに係る品質1を選択する選択ボックスに対して、品質情報は「(ノイズ除去量:多、)モデル生成量:多」と表示される。()内の表示は省略しても良い。
【0143】
3Dモデルに係る品質2を選択する選択ボックスに対して、品質情報は「(ノイズ除去量:中、)モデル生成量:中」と表示される。()内の表示は省略しても良い。
【0144】
3Dモデルに係る品質3を選択する選択ボックスに対して、品質情報は「(ノイズ除去量:少、)モデル生成量:少」と表示される。()内の表示は省略しても良い。
【0145】
以上において、複数の品質情報のうち少なくとも1つの品質情報は、複数の点群処理のそれぞれの点群処理の品質の組み合わせを示す。
【0146】
また、複数の処理結果種類は、図4で説明したように、点群処理のうち実行する処理の数、組み合わせ、または順番が異なる処理種類を含んでおり、品質情報は、複数の処理結果種類のそれぞれの処理種類に応じて、異なる内容となっている。
【0147】
図13は、本実施形態の選択画面の変形例に係る説明図である。図13は、図11(a)に示した表示画面1000における選択画面1300の変形例であり、図13に示す選択画面1300は、図11(a)に示した選択ボックス1321、1322、1323に代えて、選択領域1325、1326、1327、1328を表示させる。
【0148】
選択領域1325、1326、1327、1328は、選択肢の他の例であって、それぞれに、可視情報1351、1352、1353、1354が表示されている。可視情報1351、1352、1353、1354は、品質情報の他の例であって、複数の品質の種類に対応してそれぞれ点群処理が実行された複数の処理結果を示す画像をそれぞれ可視表示したものである。これにより、ユーザは、可視情報1351~1354を目視で確認することにより、所望の品質の処理結果がどれか容易に判断し、品質を選択することができる。
【0149】
表示制御部34は、可視情報1351~1354について、点群処理が実行された処理結果を所定角度から画像上に投影した二次元画像で表示してもよく、ポインタ1340により視点を変更して見られるようにした三次元画像で表示してもよく、二次元画像と三次元画像を切り替えたり、ポインタ1340によりそれぞれ拡大したりして表示しても良い。
【0150】
受付部32は、ポインタ1340により選択領域1325~1328の何れかがポインティングされると、表示制御部34は、図示したようにポインティングされた選択領域1327の枠を表示させて、受付部32は、選択領域1327に対する選択操作を受け付けて、決定ボタン1330が操作されると、選択操作を決定する。
【0151】
そして、図5のステップS10で説明したように、送受信部31は、管理サーバ5に対して、受付部32が受け付けた選択操作による選択情報を含む入力情報を送信する。
【0152】
一方、受付部32が、選択領域1327に対する選択操作を受け付けてから、パラメータ調整ボタン1360に対する操作を受け付けると、表示制御部34は、図11(b)に示す表示画面1000に切り替える。
【0153】
なお、図13に示す変形例でも、選択画面1300は、図11(a)と同様に品質情報1350を表示させてもよい。
【0154】
その場合、ユーザは、可視情報1351~1354と、選択ボックス1321~1323のそれぞれに対応する品質情報1350の両方を目視で確認することにより、所望の品質の処理結果がどれか判断することができる。
【0155】
図14は、本実施形態に係る点群処理の一例を示すフローチャートであり、図9のステップS7に対応する処理を示す
【0156】
管理サーバ5の処理部53は、記憶・読出部59から読み出された三次元点群データを取得し(ステップS21)、品質の種類の順番Mを1に設定する(ステップS22)。
【0157】
記憶・読出部59は、設定情報管理DB5002から、処理設定画面1220で設定された処理結果種類におけるM番目の品質の点群処理名、点群処理の品質、および点群処理の順番を読み出し(ステップS23)、処理部53は、点群処理を実行する順番Nを1に設定する(ステップS24)。
【0158】
記憶・読出部59は、記憶処理管理DB5003から、M番目の品質のN番目に実行する点群処理名の点群処理プログラムを読み出して、処理部53は、ステップS21で取得した三次元点群データに対して、記憶・読出部59から読み出された点群処理プログラムを実行する(ステップS25)。一例として、処理結果種類が統合点群に設定された場合、図4に示されるように、1番目の品質の1番目に実行する点群処理は、レジストレーション処理である。
【0159】
判断部55は、N番目の点群処理が終了したか判断し(ステップS26)、終了している場合は、N番目の点群処理が最後の点群処理か判断する(ステップS27)。
【0160】
ステップS27で最後の点群処理ではないと判断した場合、処理部53は、点群処理を実行する順番Nに1を加えて(ステップS28)、ステップS25に戻って処理を継続する。
【0161】
ステップS27で最後の点群処理であると判断した場合、判断部55は、M番目の品質が最後の品質か判断し(ステップS29)、最後の品質ではないと判断した場合、処理部53は、品質の種類の順番Mに1を加えて(ステップS30)、ステップS23に戻って処理を継続する。
【0162】
ステップS97で最後の品質であると判断した場合、判断部55は、調整画面1500で選択された品質のパラメータの調整情報を受信したか判断し(ステップS31)、調整情報を受信した場合、処理部53は、パラメータの調整情報に基づき、選択された品質の点群処理を再度実行する(ステップS32)。
【0163】
判断部55は、選択画面1300で1つの品質情報を選択した選択情報を受信したか判断し(ステップS33)、受信した場合には、処理部53は、選択された品質情報に対応する処理結果に決定し、記憶・読出部59は、所定の形式に変換された処理結果情報を処理結果管理DB5005等に記憶させる(ステップS34)。
【0164】
以上のように、処理部53は、処理設定画面1220で設定された処理結果種類に係る複数の品質情報1350の全てについて、複数の品質情報1350のそれぞれが示す品質で点群処理を実行し、複数の品質情報1350に対応してそれぞれ点群処理が実行された複数の処理結果のうち、選択された1つの品質情報1350に対応する処理結果を決定する。
【0165】
図15は、本実施形態の設定画面の変形例に係る説明図である。
【0166】
図15(a)は、図10に示した表示画面1000における設定画面1200の変形例であり、図15(a)に示す設定画面1200は、図10に示した実行ボタン1230に代えて、遷移ボタン1235を表示する。
【0167】
受付部32が、処理設定ボックス1221~1223、およびオプション設定ボックス1224のそれぞれに対する設定操作を受け付けてから、遷移ボタン1235に対する操作を受け付けると、表示制御部34は、図15(b)に示す表示画面1000に切り替える。
【0168】
図15(b)において、表示制御部34は、設定画面1200を表示画面1000に表示させ、設定画面1200は、処理設定画面1220と、遷移ボタン1235を含む。
【0169】
図15(b)は、一例として、図15(a)でメッシュ+テクスチャの処理設定ボックス1222が選択された場合の、メッシュ+テクスチャに係る設定画面1200を示す。
【0170】
処理設定画面1220は、点群処理の品質情報の選択肢の種類を設定する操作を受け付ける画面であり、表示制御部34は、選択肢の種類のそれぞれの名称を示す品質および用途に対応付けて、選択肢設定ボックス1225、1226を表示させる。受付部32が、選択肢設定ボックス1225、1226の何れかに対する設定操作を受け付けてから、遷移ボタン1235に対する操作を受け付けると、表示制御部34は、図15(c)に示す表示画面1000に切り替える。
【0171】
ここで、表示制御部34は、選択肢設定ボックス1225、1226のそれぞれを選択するためのマウス312等のポインタを表示するとともに、ポインタを選択肢設定ボックス1225、1226のそれぞれに近接させたときに、図15(a)に示した処理結果種類情報1250と同様に、選択肢設定ボックス1225、1226のそれぞれの説明情報を表示させても良い。
【0172】
一例として、表示制御部34は、ポインタを選択肢設定ボックス1225に近接させたときに、「点群処理の品質を選択」という説明情報を表示し、ポインタを選択肢設定ボックス1226に近接させたときに、「点群処理の処理結果の用途を選択」という説明情報を表示させる。
【0173】
図15(c)において、表示制御部34は、設定選択画面1600を表示画面1000に表示させる。
【0174】
図15(c)は、一例として、図15(b)で用途の選択肢設定ボックス1226が選択された場合の、メッシュ+テクスチャの用途に係る設定選択画面1600を示す。
【0175】
設定選択画面1600は、点群処理の品質を示す品質情報を選択する選択操作を受け付ける画面であり、表示制御部34は、複数の用途のそれぞれの名称を示す共有、採寸、シミュレーションに対応付けて、用途選択ボックス1611、1612、1613を表示させるとともに、選択操作を確定する実行ボタン1630を表示させる。
【0176】
また、表示制御部34は、用途選択ボックス1611~1613のそれぞれを選択するためのマウス312等のポインタ1640を表示するとともに、ポインタ1640を用途選択ボックス1611~1613のそれぞれに近接させたときに、品質情報1650を表示させる。
【0177】
用途選択ボックス1611~1613は、複数の用途である共有、採寸、シミュレーションに対応する複数の品質情報1650から1つの品質情報1650を選択するものである。
【0178】
すなわち、設定選択画面1600は、点群処理の品質を示す品質情報1650を選択肢として複数表示する。これにより、ユーザは、用途選択ボックス1611~1613のそれぞれに対応する品質情報1650を確認することにより、所望の品質がどれか判断することができる。
【0179】
なお、図11に示した品質情報1350は、点群処理を実行した後の処理結果の品質を示していたが、図15(c)に示す品質情報1650は、点群処理を実行する前に、予め処理結果の品質を示すものである。
【0180】
受付部32は、ポインタ1640により用途選択ボックス1611~1613の何れかがポインティングされると、表示制御部34は、用途選択ボックス1611~1613の何れかに黒丸を表示し、受付部32は、選択操作を受け付けて、実行ボタン1630が操作されると、選択操作を確定する。
【0181】
そして、図9のステップS6で説明したように、送受信部31は、管理サーバ5に対して、受付部32が受け付けた選択操作による選択情報を含む入力情報を送信する。
【0182】
なお、図15(c)は、一例として、図15(b)で用途の選択肢設定ボックス1226が選択された場合の、用途に係る設定選択画面1600を示したが、図15(b)で品質の選択肢設定ボックス1225が選択された場合の、品質に係る設定選択画面1600も同様である。
【0183】
ここで、図10に示した設定画面1200では、処理結果種類を設定し、図14で説明したように、処理部53は、設定された処理結果種類に係る複数の品質情報1350の全てについて、複数の品質情報1350のそれぞれが示す品質で点群処理を実行し、複数の品質情報1350に対応してそれぞれ点群処理が実行された複数の処理結果のうち、選択された1つの品質情報1350に対応する処理結果を決定していた。
【0184】
一方、図15に示した設定画面1200の変形例では、処理結果種類に係る複数の品質情報1650のうち1つの品質情報1650を選択し、処理部53は、選択された1つの品質情報1650についてのみ、品質情報1650が示す品質で点群処理を実行する。
【0185】
図16は、図11に示した変形例に係る設定情報管理テーブルの一例を示す概念図である。
【0186】
図4に示した設定情報管理テーブルでは、処理結果種類ごとに、複数の品質の種類が関連づけられて管理されており、複数の品質の種類のそれぞれごとに、実行する点群処理およびその品質が、点群処理の順番と関連づけられて管理されていた。
【0187】
一方、図11に示した変形例に係る設定情報管理テーブルでは、処理結果種類ごとに、複数の品質または用途の種類が関連づけられて管理されており、複数の品質または用途の種類のそれぞれごとに、実行する点群処理およびその品質が、点群処理の順番と関連づけられて管理されている。
【0188】
図11に示した変形例に係る設定情報管理テーブルでは、図4に示した設定情報管理テーブルに加えて、以下の項目が管理されている。
【0189】
処理結果種類が「統合点群」で用途が共有の場合、処理順1でレジストレーション処理を実行し、処理順2で品質が「除去率小」のノイズ除去処理を実行する。
【0190】
また、処理結果種類が「統合点群」で用途が採寸の場合、処理順1でレジストレーション処理を実行し、処理順2で品質が「除去率大」のノイズ除去処理を実行する。
【0191】
そして、処理結果種類が「統合点群」で用途がシミュレーションの場合、処理順1でレジストレーション処理を実行し、処理順2でカテゴリが「搬入出箇所」のセグメンテーション処理を実行し、処理順3で品質が「搬入出箇所の除去率大」のノイズ除去処理を実行する。
【0192】
処理結果種類が「メッシュ、テクスチャ」で用途が共有の場合、処理順1でレジストレーション処理を実行し、処理順2で品質が「除去率小」のノイズ除去処理を実行し、処理順3で品質が「水密性高」のメッシュ生成処理を実行し、処理順4で品質が「使用画像数多」のテクスチャマッピング処理を実行する。
【0193】
また、処理結果種類が「メッシュ、テクスチャ」で用途が採寸の場合、処理順1でレジストレーション処理を実行し、処理順2で品質が「除去率大」のノイズ除去処理を実行し、処理順3で品質が「水密性高」のメッシュ生成処理を実行し、処理順4で品質が「使用画像数多」のテクスチャマッピング処理を実行する。
【0194】
そして、処理結果種類が「メッシュ、テクスチャ」で用途がシミュレーションの場合、処理順1でレジストレーション処理を実行し、処理順2でカテゴリが「搬入出箇所」のセグメンテーション処理を実行し、処理順3で品質が「搬入出箇所の除去率大」のノイズ除去処理を実行し、処理順4で品質が「水密性高」のメッシュ生成処理を実行し、処理順5で品質が「使用画像数多」のテクスチャマッピング処理を実行する。
【0195】
処理結果種類が「3Dモデル」で用途が共有の場合、処理順1でレジストレーション処理を実行し、処理順2で品質が「除去率小」のノイズ除去処理を実行し、処理順3でカテゴリ数が「中」のセグメンテーション処理を実行し、処理順4で品質が「モデル生成量中」のモデルフィッティング処理を実行する。これは、生成した空間を見せる場合に、空間内を代表する大きなオブジェクトのみをモデル化するためである。
【0196】
また、処理結果種類が「3Dモデル」で用途が採寸の場合、処理順1でレジストレーション処理を実行し、処理順2で品質が「除去率小」のノイズ除去処理を実行し、処理順3でカテゴリ数が「少」のセグメンテーション処理を実行し、処理順4で品質が「モデル生成量中」のモデルフィッティング処理を実行する。これは、採寸の場合、採寸箇所として候補に挙がりやすい壁や柱などの躯体はもれなくモデル化しつつ、候補になりにくいその他のオブジェクトをモデルとして生成、表示しないためである。
【0197】
さらに、処理結果種類が「3Dモデル」で用途がシミュレーションの場合、処理順1でレジストレーション処理を実行し、処理順2で品質が「除去率小」のノイズ除去処理を実行し、処理順3でカテゴリ数が「多」のセグメンテーション処理を実行し、処理順4で品質が「モデル生成量多」のモデルフィッティング処理を実行する。これは、気流シミュレーションなどをする場合、気流を変える要因となる空間内のオブジェクトを過不足なくそろえるためである。
【0198】
以上において、それぞれ品質情報に対応する複数の品質種類または用途のうち少なくとも1つの品質の種類または用途は、複数の点群処理のそれぞれの点群処理の品質の組み合わせを示している。
【0199】
すなわち、本変形例では、処理結果の品質または用途毎の品質を得るために必要な個別の点群処理の品質を定義することにより、個別の点群処理の品質は満たされても処理結果の品質または用途毎の品質が損なわれることを防止している。
【0200】
また、処理結果の品質または用途についての選択肢を設けることにより、個別の点群処理の品質についての選択肢を設ける場合に比べて、非熟練者のユーザでも容易に品質を設定することができる。
【0201】
図17は、図11に示した変形例に係る処理結果種類情報および品質情報の説明図である。
【0202】
図17に示した変形例に係る説明図では、図12に示した説明図に対して、以下の項目が追加される。
【0203】
統合点群に係る共有を選択する用途選択ボックスに対して、品質情報は「視認性を高めるために点数を多くした状態」と表示される。
【0204】
統合点群に係る採寸を選択する用途選択ボックスに対して、品質情報は「採寸に不適切なノイズ点群を除去した状態」と表示される。
【0205】
統合点群に係るシミュレーションを選択する用途選択ボックスに対して、品質情報は「物体の搬入出口のノイズを優先して除去した状態」と表示される。
【0206】
メッシュ+テクスチャに係る共有を選択する用途選択ボックス1611に対して、品質情報1650は「視認性を高めるために面の抜け、歪みが少ない状態」と表示される。
【0207】
メッシュ+テクスチャに係る採寸を選択する用途選択ボックス1612に対して、品質情報1650は「不適切なノイズ点群を除去しより正確な形状を表現した状態」と表示される。
【0208】
メッシュ+テクスチャに係るシミュレーションを選択する用途選択ボックス1613に対して、品質情報1650は「物体の搬入出口のノイズを優先して除去した状態」と表示される。
【0209】
3Dモデルに係る共有を選択する用途選択ボックスに対して、品質情報は「視認性を高めるため空間を代表する大きなオブジェクトをモデル化した状態」と表示される。
【0210】
3Dモデルに係る採寸を選択する用途選択ボックスに対して、品質情報は「採寸に必要なオブジェクト(例、壁や天井などの躯体)のみをモデル化した状態」と表示される。
【0211】
3Dモデルに係るシミュレーションを選択する用途選択ボックスに対して、品質情報は「シミュレーションに必要なオブジェクト全てをモデル化した状態(気流シミュレーションの場合、気流があたる全ての物体、 搬入出シミュレーションの場合、オブジェクトが通る搬入口のみ)」と表示される。
【0212】
図18は、図11に示した変形例に係る点群処理の一例を示すフローチャートである。
【0213】
管理サーバ5の処理部53は、記憶・読出部59から読み出された三次元点群データを取得し(ステップS41)、記憶・読出部59は、設定情報管理DB5002から、設定選択画面1600で選択された品質情報に係る品質または用途の点群処理名、点群処理の品質、および点群処理の順番を読み出し(ステップS42)、処理部53は、点群処理を実行する順番Nを1に設定する(ステップS43)。
【0214】
記憶・読出部59は、記憶処理管理DB5003から、選択された品質または用途のN番目に実行する点群処理名の点群処理プログラムを読み出して、処理部53は、ステップS41で取得した三次元点群データに対して、記憶・読出部59から読み出された点群処理プログラムを実行する(ステップS44)。一例として、図15に示すように、統合点群の採寸が選択された場合、図16に示されるように、1番目に実行する点群処理は、レジストレーション処理である。
【0215】
判断部55は、N番目の点群処理が終了したか判断し(ステップS45)、終了している場合は、N番目の点群処理が最後の点群処理か判断する(ステップS46)。
【0216】
ステップS46で最後の点群処理ではないと判断した場合、処理部53は、点群処理を実行する順番Nに1を加えて(ステップS47)、ステップS44に戻って処理を継続する。
【0217】
ステップS46で最後の点群処理であると判断した場合、判断部55は、パラメータの調整情報を受信したか判断し(ステップS48)、調整情報を受信した場合、処理部53は、パラメータの調整情報に基づき、点群処理を再度実行する(ステップS49)。ここで、パラメータの調整情報は、図11(b)に示した調整画面1500に対する調整操作と同様の操作により生成される情報である。
【0218】
処理部53は、選択された品質または用途の品質情報に対応する処理結果を決定し、記憶・読出部59は、所定の形式に変換された処理結果情報を処理結果管理DB5005等に記憶させる(ステップS50)。
【0219】
●まとめ●
[第1態様]
以上説明したように、本発明の一実施形態に係る点群処理装置の一例である管理サーバ5は、三次元点群を示す点群データに対して実行される点群処理の複数の品質に対応する選択肢を表示する選択画面1300を生成する生成部57と、選択肢から選択された品質で点群データに対して点群処理を実行した処理結果を処理結果管理DB5005に記憶させる記憶・読出部59と、を備える。
【0220】
[第2態様]
第1態様において、選択画面1300は、さらに、複数の品質のそれぞれの品質を示す品質情報1350を表示する。
【0221】
ここで、生成部57は、生成手段の一例であり、処理結果管理DB5005は、記憶手段の一例であり、記憶・読出部59は、記憶制御手段の一例である。また、選択画面1300は、品質情報1350を選択する操作を受け付けることができる。
【0222】
これにより、ユーザが非熟練者の場合でも、複数の品質情報1350の選択肢から所望の品質情報1350を選択するだけで、点群に対して点群処理を実行した処理結果を所望の品質で得ることができる。
【0223】
[第3態様]
第2態様において、複数の品質情報1350のうち少なくとも1つの品質情報1350は、複数の点群処理のそれぞれの点群処理の品質の組み合わせを示す。
【0224】
これにより、ユーザは、複数の点群処理のそれぞれの点群処理の品質の組み合わせを手動で設定しなくても、複数の品質情報1350の選択肢から所望の品質情報1350を選択するだけで、複数の点群処理のそれぞれの点群処理の品質の組み合わせが自動で設定されて、点群に対して点群処理を実行した処理結果を所望の品質で得ることができる。
【0225】
[第4態様]
第1態様~第3態様の何れかにおいて、管理サーバ5は、外部装置の一例である端末装置3に対して、選択画面1300を示す選択画面情報を送信する送受信部51をさらに備える。
【0226】
これにより、ユーザは、端末装置3において、複数の品質情報1350の選択肢から所望の品質情報1350を選択するだけで、点群に対して点群処理を実行した処理結果を所望の品質で得ることができる。
【0227】
[第5態様]
第1態様~第4態様の何れかにおいて、点群処理は、2箇所以上で撮影した点群を統合するレジストレーション処理、ノイズとなる点群を除去するノイズ除去処理、点群に面を構成するメッシュ生成処理、メッシュオブジェクトにRGB値を貼り付けるテクスチャマッピング処理、点群を識別するセグメンテーション処理、点群量を削減する軽量化処理、点群を三次元CADモデルに変換する三次元CADモデル変換処理の少なくとも1つを含む。
【0228】
[第6態様]
第2態様~第5態様の何れかにおいて、選択画面1300は、複数の点群処理のそれぞれの点群処理を実行する処理の数、組み合わせ、および順番の少なくとも1つが異なる複数の処理種類のそれぞれの処理種類に応じて、異なる内容の品質情報1350を表示する。
【0229】
これにより、ユーザは、点群処理のうち実行する処理の数、組み合わせ、または順番が異なる複数の処理種類のそれぞれの処理種類に応じて、異なる内容となる複数の品質情報1350の選択肢から所望の品質情報1350を選択するだけで、点群に対して点群処理を実行した処理結果を所望の品質で得ることができる。
【0230】
[第7態様]
第6態様において、生成部57は、複数の処理種類のそれぞれの処理結果の種類を示す処理結果種類情報1250を選択肢として複数表示する設定画面1200をさらに生成する。
【0231】
これにより、ユーザは、複数の処理結果種類情報1250の選択肢から所望の処理結果種類情報1250を選択するだけで、所望の処理結果種類に係る複数の品質情報1350の選択肢を表示させることができる。
【0232】
[第8態様]
第7態様において、処理結果種類情報1250は、統合点群、メッシュオブジェクト、テクスチャ付きメッシュオブジェクト、三次元CADモデルのうち少なくとも2つを含む請求項6記載の点群処理装置。
【0233】
[第9態様]
第1態様~第8態様の何れかにおいて、複数の品質情報1350の全てについて、複数の品質情報1350のそれぞれが示す品質で、点群処理を実行する処理部53を備え、記憶・読出部59は、複数の品質情報1350に対応してそれぞれ点群処理が実行された複数の処理結果のうち、選択された品質情報1350に対応する処理結果を処理結果管理DB5005に記憶させる。ここで、処理部53は、点群処理手段の一例である。
【0234】
これにより、ユーザは、複数の品質情報1350の選択肢を用いて、複数の品質情報1350に対応してそれぞれ点群処理が実行された複数の処理結果から所望の品質情報1350を選択するだけで、点群に対して点群処理を実行した処理結果を所望の品質で得ることができる。
【0235】
[第10態様]
第9態様において、品質情報は、処理結果を示す画像を可視表示する可視情報1351~1354を含む。
【0236】
これにより、ユーザは、可視情報1351~1354を目視で確認することにより、所望の品質の処理結果がどれか容易に判断することができる。
【0237】
[第11態様]
第2態様~第8態様の何れかにおいて、品質情報1650は、点群処理を実行する前に、予め処理結果の品質を示すものであり、複数の品質情報1650のうち設定された品質情報1650が示す品質で、点群処理を実行する処理部53を備える。
【0238】
これにより、ユーザは、点群処理を実行する前に、複数の品質情報1650の選択肢から所望の品質情報1650を選択することにより、所望の品質の処理結果を得るための点群処理を実行させることができる。
【0239】
[第12態様]
第9態様~第11態様の何れかにおいて、処理部53は、点群処理の処理結果を調整する調整画面1500に対する調整操作に基づき、点群処理を再度実行する。
【0240】
[第13態様]
本発明の一実施形態に係る点群処理方法は、三次元点群を示す点群データに対して実行される点群処理の複数の品質に対応する選択肢を表示する選択画面1300を生成する生成ステップ(ステップS8)と、選択肢から選択された品質で点群データに対して点群処理を実行した処理結果を処理結果管理DB5005に記憶させる記憶ステップ(ステップS11)と、を実行する。
【0241】
[第14態様]
本発明の一実施形態に係るプログラムは、コンピュータに、第13態様記載の点群処理方法を実行させる。
【0242】
[第15態様]
三次元点群を示す点群データに対して1つ又は複数の点群処理を実行する管理サーバ5と、管理サーバ5と通信可能な端末装置3を備える点群処理システム1であって、管理サーバ5は、点群処理の複数の品質に対応する選択肢を表示する選択画面1300を生成する生成部57と、端末装置3に対して、選択画面1300を示す選択画面1300情報を送信する送受信部51と、を備え、端末装置3は、管理サーバ5から送信された、選択画面1300情報を受信する送受信部31と、選択画面1300をディスプレイ308に表示する表示制御部34と、を備える。
【符号の説明】
【0243】
1 点群処理システム
100 通信ネットワーク
3 端末装置(外部装置の一例)
31 送受信部(受信手段の一例)
32 受付部(受付手段の一例)
34 表示制御部(表示制御手段の一例)
39 記憶・読出部(記憶制御手段の一例)
308 ディスプレイ(表示部の一例)
3000 記憶部
5 管理サーバ(点群処理装置の一例)
51 送受信部(送信手段の一例)
53 処理部(点群処理手段の一例)
55 判断部
57 生成部
59 記憶・読出部(記憶制御手段の一例)
5000 記憶部
5001 ユーザ情報管理DB(ユーザ情報管理手段の一例)
5002 設定情報管理DB(設定情報管理手段の一例)
5003 記憶処理管理DB(記憶処理管理手段の一例)
5004 点群管理DB(点群管理手段の一例)
5005 処理結果管理DB(点群処理管理手段の一例)
1000 表示画面
1100 ユーザ情報表示画面
1200 設定画面
1210 点群設定画面
1212、1214 点群設定ボックス
1220 処理設定画面
1221、1222、1223 処理設定ボックス
1224 オプション設定ボックス
1225、1226 選択肢設定ボックス
1230 実行ボタン
1235 遷移ボタン
1240 ポインタ
1250 処理結果種類情報
1300 選択画面
1321、1322、1323 選択ボックス
1325、1326、1327、1328 選択領域
1330 決定ボタン
1340 ポインタ
1350 品質情報
1351、1352、1353、1354 可視情報(品質情報の一例)
1360 パラメータ調整ボタン
1410 第1の三次元点群
1420 第2の三次元点群
1430 三次元点群
1440 不要な点群
1450 ラベリングされた点群
1460 モデル候補
1461、1462、1463 モデル形状
1500 調整画面
1521、1522、1523 調整バー
1530 完了ボタン
1600 設定選択画面(選択画面の一例)
1611、1612、1613 用途選択ボックス
1630 実行ボタン
1640 ポインタ
1650 品質情報
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18