(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024131917
(43)【公開日】2024-09-30
(54)【発明の名称】点群処理装置、点群処理方法、プログラムおよび点群処理システム
(51)【国際特許分類】
G06V 10/762 20220101AFI20240920BHJP
G06Q 50/08 20120101ALI20240920BHJP
G06T 7/00 20170101ALI20240920BHJP
G06T 7/194 20170101ALI20240920BHJP
G06T 7/254 20170101ALI20240920BHJP
【FI】
G06V10/762
G06Q50/08
G06T7/00 C
G06T7/194
G06T7/254 Z
【審査請求】未請求
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2023042490
(22)【出願日】2023-03-17
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】佐井 範行
(72)【発明者】
【氏名】本橋 直樹
【テーマコード(参考)】
5L049
5L050
5L096
【Fターム(参考)】
5L049CC07
5L050CC07
5L096AA09
5L096EA37
5L096HA08
5L096JA22
(57)【要約】
【課題】教師データに対応しない特定点群が、対象点群中に含まれるかを容易に判断すること。
【解決手段】点群処理装置の一例である管理サーバ5は、教師データに基づき、三次元点群を示す対象点群中の教師データに対応する所定の三次元点群を識別する識別手段の一例である処理部53と、対象点群から識別手段により識別された所定の三次元点群を除外した三次元点群を示す除外点群中に、特定の三次元点群を示す特定点群が含まれるかを判断する判断部55と、を備える。
【選択図】
図5
【特許請求の範囲】
【請求項1】
教師データに基づき、三次元点群を示す対象点群中の前記教師データに対応する所定の三次元点群を識別する識別手段と、
前記対象点群から前記識別手段により識別された前記所定の三次元点群を除外した三次元点群を示す除外点群中に、特定の三次元点群を示す特定点群が含まれるかを判断する判断手段と、
を備えた点群処理装置。
【請求項2】
指定された複数または1つのカテゴリデータに基づき、三次元点群を示す対象点群中の複数または1つの前記カテゴリデータに対応する所定の三次元点群を識別する識別手段と、
前記対象点群から前記識別手段により識別された前記所定の三次元点群を除外した三次元点群を示す除外点群中に、特定の三次元点群を示す特定点群が含まれるか否かを判断する判断手段と、
を備えた点群処理装置。
【請求項3】
前記判断手段は、
さらに、前記対象点群における前記特定点群の位置を判断する請求項1または2記載の点群処理装置。
【請求項4】
前記判断手段の判断結果を外部装置へ送信する送信手段を備えた請求項1または2記載の点群処理装置。
【請求項5】
前記判断手段の判断結果を表示部に表示させる表示制御手段を備えた請求項1または2記載の点群処理装置。
【請求項6】
前記対象点群は、
複数または1つの三次元点群を指定する点群指定操作を受け付ける対象点群受付画面で受け付けられた前記点群指定操作に基づき設定される請求項1または2記載の点群処理装置。
【請求項7】
前記特定点群は、
複数または1つの三次元点群を指定する点群特定操作を受け付ける特定点群受付画面で受け付けられた前記点群特定操作に基づき設定される請求項1または2記載の点群処理装置。
【請求項8】
前記識別手段は、
複数または1つの種類の前記教師データまたは前記カテゴリデータを指定するデータ指定操作を受け付けるデータ受付画面で受け付けられた前記データ指定操作に基づき、複数または1つの種類の前記教師データまたは前記カテゴリデータに対応する前記所定の三次元点群を識別する請求項1または2記載の点群処理装置。
【請求項9】
前記教師データまたは前記カテゴリデータに基づき、前記特定点群中の所定の三次元点群を識別する第2の識別手段をさらに備えた請求項1または2記載の点群処理装置。
【請求項10】
前記第2の識別手段の識別結果を外部装置へ送信する送信手段を備えた請求項9記載の点群処理装置。
【請求項11】
前記第2の識別手段の識別結果を表示部に表示させる表示制御手段を備えた請求項9記載の点群処理装置。
【請求項12】
教師データに基づき、三次元点群を示す対象点群中の前記教師データに対応する所定の三次元点群を識別する識別ステップと、
前記対象点群から前記識別手段により識別された前記所定の三次元点群を除外した三次元点群を示す除外点群中に、特定の三次元点群を示す特定点群が含まれるかを判断する判断ステップと、
をコンピュータにより実行する点群処理方法。
【請求項13】
指定された複数または1つのカテゴリデータに基づき、三次元点群を示す対象点群中の複数または1つの前記カテゴリデータに対応する所定の三次元点群を識別する識別ステップと、
前記対象点群から前記識別手段により識別された前記所定の三次元点群を除外した三次元点群を示す除外点群中に、特定の三次元点群を示す特定点群が含まれるかを判断する判断ステップと、
をコンピュータにより実行する点群処理方法。
【請求項14】
コンピュータに、請求項12または13記載の点群処理方法を実行させるプログラム。
【請求項15】
点群処理装置と、前記点群処理装置と通信可能な端末装置を備える点群処理システムであって、
前記点群処理装置は、
教師データに基づき、三次元点群を示す対象点群中の前記教師データに対応する所定の三次元点群を識別する識別手段と、
前記対象点群から前記識別手段により識別された前記所定の三次元点群を除外した三次元点群を示す除外点群中に、特定の三次元点群を示す特定点群が含まれるかを判断する判断手段と、
前記判断手段の判断結果を前記端末装置へ送信する送信手段と、を備え、
前記端末装置は、
前記点群処理装置から送信された前記判断結果を受信する受信手段と、
前記判断結果を表示部に表示する表示制御手段と、を備えた
点群処理システム。
【請求項16】
点群処理装置と、前記点群処理装置と通信可能な端末装置を備える点群処理システムであって、
前記点群処理装置は、
指定された複数または1つのカテゴリデータに基づき、三次元点群を示す対象点群中の複数または1つの前記カテゴリデータに対応する所定の三次元点群を識別する識別手段と、
前記対象点群から前記識別手段により識別された前記所定の三次元点群を除外した三次元点群を示す除外点群中に、特定の三次元点群を示す特定点群が含まれるかを判断する判断手段と、
前記判断手段の判断結果を前記端末装置へ送信する送信手段と、を備え、
前記端末装置は、
前記点群処理装置から送信された前記判断結果を受信する受信手段と、
前記判断結果を表示部に表示する表示制御手段と、を備えた
点群処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、点群処理装置、点群処理方法、プログラムおよび点群処理システムに関する。
【背景技術】
【0002】
特許文献1には、取得されたシーンの点群データの特徴情報を抽出することと、前記点群データの特徴情報に基づいて、前記点群データに対してセマンティックセグメンテーションを行って、前記点群データにおける複数の点の第1セマンティック情報を取得することと、前記第1セマンティック情報に基づいて、前記複数の点のうち、ターゲットオブジェクトに対応する少なくとも1つの前景点を予測することと、前記第1セマンティック情報に基づいて、前記少なくとも1つの前景点のそれぞれに対応する3D初期枠を生成することと、前記3D初期枠に基づいて、前記シーンにおける前記ターゲットオブジェクトの3D検出枠を決定することと、を含むターゲットオブジェクトの3D検出方法が記載されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、特定の三次元点群が、対象点群中に含まれるかを効率的に判断することを課題とする。
【課題を解決するための手段】
【0005】
本発明に係る点群処理装置は、教師データに基づき、対象範囲の三次元点群を示す対象点群中の教師データに対応する所定の三次元点群を識別する識別手段と、対象点群から識別手段により識別された所定の三次元点群を除外した三次元点群を示す除外点群中に、教師データに対応しない特定の三次元点群を示す特定点群が含まれるかを判断する判断手段と、を備える。
【発明の効果】
【0006】
本発明によれば、特定の三次元点群が、対象点群中に含まれるかを効率的に判断することができる。
【図面の簡単な説明】
【0007】
【
図1】本発明の実施形態に係る点群処理システムの全体構成図である。
【
図2】本実施形態に係る端末装置、管理サーバのハードウェア構成図である。
【
図3】本実施形態に係る点群処理システムの機能ブロック図である。
【
図4】本実施形態に係る点群処理の一例を示すシーケンス図である。
【
図6】本実施形態に係る選択画面および調整画面の説明図である。
【
図8】本実施形態の選択画面の変形例に係る説明図である。
【
図9】本実施形態の設定画面の変形例に係る説明図である。
【
図10】本実施形態に係る点群処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0008】
土木、建築などの業界において、少子高齢化、労働生産性の向上などを目的に、BIM/CIM化が進められている。
【0009】
BIMとは、Building Information Modelingの略称であり、コンピュータ上に作成した三次元の建物のデジタルモデル(以後、3Dモデルと呼ぶ)に、コストや仕上げ、管理情報などの属性データを追加した建築物のデータベースを、建築の設計、施工から維持管理までのあらゆる工程で情報活用を行うためのソリューションである。
【0010】
CIMは、Construction Information Modelingの略称であり、建築分野で進められていたBIMに倣って提唱された土木分野向け(道路、電力、ガス、水道などインフラ全般)のソリューションである。BIMと同様に、3Dモデルを中心に関係者間で情報共有することで一連の建設生産システムの効率化・高度化を図るものとして取り組まれている。
【0011】
BIM/CIM化を推進する上で重要なのが、建物や公共施設の空間の3D情報を如何にして容易に取得するかという点である。ここで言う3D情報とは、レーザスキャナ(以後、LSと呼ぶ)などで取得した空間の距離情報を保持している三次元点群(以降、単に点群と呼ぶ場合もある)や、三次元点群を示す点群データを元に生成されたメッシュオブジェクト、3DCADモデルなどを指す。
【0012】
構造物を一から建設する場合、BIM/CIMソフトなどを用いて一から完成物を設計することが出来るため、BIM/CIM化は導入しやすい。一方で、既存建物の場合、建設当時の設計図が残存していない、または、時間経過に伴う改修などによって設計時の図面と現況が異なっている場合などがあり、BIM/CIM化のハードルは上がる。このような既存建物のBIM化はAs-Build BIMなどと呼ばれ、今後のBIM/CIM化を推進するためにも重要な課題となっている。
【0013】
As-Build BIMを実現するための一手段として、上述したLSを用いた空間計測、計測した点群データから3DCADモデルを作成するというワークフローが存在する。本作業は、従来、写真やメジャーなどを使って計測する方法や、手でスケッチする方法が使われてきたが、空間の広さや設置物の有無、複雑性(配管の入り組み方など)により、多大な作業コストが生じる可能性がある。そのため、空間の3D情報を取得できるLSを導入することは、本問題を解消する有力な方法として注目されてきている。
【0014】
LSを用いたAd-Buildでは、3D情報の取得は容易になったが、従来のワークに存在しなかった点群データに対する点群処理というワークが新たに生じる。一般的な点群処理では、「LSを使った多点計測」、「各点群を位置合わせすることによる統合点群の生成」、「ノイズなどの不要点群の除去」、「点群のメッシュ変換、メッシュへのテクスチャマッピング、3DCADモデル変換」などを実施する。
【0015】
また、検索対象となる三次元点群データと、検索キーとなる特定の三次元点群データを用意しておき、検索対象の点群の中から検索キーの点群と形状(場合によっては色彩なども)が類似している箇所を見つけ出す、「3Dオブジェクト検索」「3D形状検索」といった技術も既に知られている。しかしながら、三次元点群データの全体を検索するには処理時間が長くかかってしまっていた。
【0016】
また、三次元点群データに対して、教師データを用いてセグメンテーションを行うことも知られている。
【0017】
教師データとは機械学習に利用するデータのことで、それぞれの例題に対応した正解が用意されているデータのことを指す。例題と正解を繰り返しAIに学習させることにより、三次元点群データのセグメンテーションを行うことができる。
【0018】
しかしながら、教師データを用いたセグメンテーションを行うには、当然ながら教師データを用意する必要があり、教師データの無い点群については、セグメンテーションを行うことは困難であった。
【0019】
本実施形態は、以上の課題に鑑み、検索対象外とする点群をセグメンテーションして検索対象から除外することで、検索を効率化し、検索速度を向上させることを目的とする。
【0020】
図1は、本発明の実施形態に係る点群処理システムの全体構成図である。本実施形態の点群処理システム1は、外部装置の一例である端末装置3、及び管理サーバ5によって構築されている。
【0021】
管理サーバ5は、三次元点群を示す点群データに対して1つ又は複数の点群処理を実行する点群処理装置の一例である。
【0022】
ここで、三次元点群は、レーザスキャナLS等を用いて物体のある空間を計測した際に、物体の表面の計測点に対応するX,Y,Z方向等の座標点の集合体である。それぞれの座標点は、例えば、(1,3,5)と示される。また、それぞれの座標点に色の情報を付加されていてもよく、色の情報として各座標点のRGBの値を付加してもよい。三次元点群は、ポイントクラウドと呼ばれることもある。点群データは、三次元点群を仮想的な三次元空間における座標点の集合体としてコンピュータ等で扱うことのできるデータである。
【0023】
三次元点群はレーザスキャナLSを用いて計測する例を示したが、他の光学的計測手段や機械的計測手段を用いても良い。光学的計測手段としてはステレオカメラを用いる方法や、Visual SLAMを用いる方法等がある。
【0024】
端末装置3、及び管理サーバ5は、通信ネットワーク100を介して通信することができる。通信ネットワーク100は、インターネット、移動体通信網、LAN(LocalAreaNetwork)等によって構築されている。通信ネットワーク100には、有線通信だけでなく、3G(3rdGeneration)、WiMAX(WorldwideInteroperabilityforMicrowaveAccess)、LTE(LongTermEvolution)等の無線通信によるネットワークが含まれてもよい。また、端末装置3は、NFC(NearFieldCommunication)(登録商標)等の近距離通信技術によって通信可能である。
【0025】
<ハードウェア構成>
図2は、本実施形態に係る端末装置、管理サーバのハードウェア構成図である。端末装置3の各ハードウエア構成は、300番台の符号で示されている。管理サーバ5の各ハードウエア構成は、括弧内の500番台の符号で示されている。
【0026】
端末装置3は、CPU(CentralProcessingUnit)301、ROM(ReadOnlyMemory)302、RAM(RandomAccessMemory)303、HD(HardDisk)304、HDD(HardDiskDrive)305、記録メディア306、メディアI/F307、ディスプレイ308、ネットワークI/F309、キーボード311、マウス312、CD-RW(CompactDisc-ReWritable)ドライブ314、及び、バスライン310を備えている。
【0027】
これらのうち、CPU301は、端末装置3全体の動作を制御する。ROM302は、CPU301の駆動に用いられるプログラムを記憶する。RAM303は、CPU301のワークエリアとして使用される。HD304は、プログラム等の各種データを記憶する。HDD305は、CPU301の制御にしたがってHD304に対する各種データの読み出し又は書き込みを制御する。メディアI/F307は、フラッシュメモリ等の記録メディア306に対するデータの読み出し又は書き込み(記憶)を制御する。ディスプレイ308は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。ネットワークI/F309は、通信ネットワーク100を利用してデータ通信をするためのインターフェースである。キーボード311は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。マウス312は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。CD-RWドライブ314は、着脱可能な記録媒体の一例としてのCD-RW513に対する各種データの読み出し又は書き込みを制御する。端末装置3は、さらに、有線やWifi等の無線により接続される外部PCや外部デバイスに対するデータの読み出し又は書き込み(記憶)を制御する構成を備えていても良い。
【0028】
また、管理サーバ5は、CPU501、ROM502、RAM503、HD504、HDD505、記録メディア506、メディアI/F507、ディスプレイ508、ネットワークI/F509、キーボード511、マウス512、CD-RWドライブ514、及び、バスライン510を備えている。これらは、それぞれ上述の構成(CPU301、ROM302、RAM303、HD304、HDD305、記録メディア306、メディアI/F307、ディスプレイ308、ネットワークI/F309、キーボード311、マウス312、CD-RWドライブ314、及び、バスライン310)と同様の構成であるため、これらの説明を省略する。
【0029】
なお、CD-RWドライブ314(514)ではなく、CD-Rドライブ等であってもよい。また、端末装置3、及び管理サーバ5は、それぞれ単一のコンピュータによって構築されてもよいし、各部(機能、手段、又は記憶部)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。
【0030】
図3は、本実施形態に係る点群処理システムの機能ブロック図である。
【0031】
<端末装置の機能構成>
図3に示されているように、端末装置3は、送受信部31、受付部32、表示制御部34、記憶・読出部39を有している。これら各部は、
図2に示されている各構成要素のいずれかが、HD304からRAM303上に展開されたプログラムに従ったCPU301からの命令によって動作することで実現される機能、又は機能する手段である。また、端末装置3は、
図2に示されているRAM303及びHD304によって構築される記憶部3000を有している。
【0032】
(端末装置の各機能構成)
次に、端末装置3の各構成要素について説明する。
【0033】
送受信部31は、受信手段の一例であり、
図2に示されているCPU301からの命令、並びにネットワークI/F309によって実現され、通信ネットワーク100を介して他の端末、装置又はシステムと各種データ(または情報)の送受信を行う。
【0034】
受付部32は、受付手段の一例であり、主に、
図2に示されているCPU301からの命令、並びにキーボード311及びマウス312によって実現され、利用者による各種入力を受け付ける。
【0035】
表示制御部34は、表示制御手段の一例であり、
図2に示されているCPU301からの命令によって実現され、表示部の一例であるディスプレイ308に、各種画像や画面を表示させる。
【0036】
記憶・読出部39は、記憶制御手段の一例であり、
図2に示されているCPU301からの命令、並びに、HDD305、メディアI/F307、CD-RWドライブ314および外部PCや外部デバイスによって実行され、記憶部3000、記録メディア306、CD-RW313および外部PCや外部デバイスに各種データを記憶したり、記憶部3000、記録メディア306、CD-RW313、および外部PCや外部デバイスから各種データを読み出したりする処理を行う。
【0037】
<管理サーバの機能構成>
管理サーバ5は、送受信部51、処理部53、判断部55、生成部57、及び記憶・読出部59を有している。これら各部は、
図2に示されている各構成要素のいずれかが、HD504からRAM503上に展開されたプログラムに従ったCPU501からの命令によって動作することで実現される機能又は機能する手段である。また、管理サーバ5は、
図2に示されているHD504により構築される記憶部5000を有している。記憶部5000は、記憶手段の一例である。
【0038】
(管理サーバの各機能構成)
次に、管理サーバ5の各構成要素について説明する。管理サーバ5は、複数のコンピュータに各機能を分散させて実現させる構成であってもよい。さらに、管理サーバ5は、クラウド環境に存在するサーバコンピュータであるものとして説明するが、オンプレミス環境に存在するサーバであってもよい。
【0039】
送受信部51は、送信手段の一例であり、
図2に示されているCPU501からの命令、並びにネットワークI/F509によって実現され、通信ネットワーク100を介して他の端末、装置又はシステムと各種データ(または情報)の送受信を行う。
【0040】
処理部53は、
図2に示されているCPU501からの命令によって実現され、後述の各種処理を行なう。処理部53は、点群処理手段の一例である。
【0041】
判断部55は、
図2に示されているCPU501からの命令によって実現され、後述の各種判断を行なう。
【0042】
生成部57は、
図2に示されているCPU501からの命令によって実現され、後述の画面生成等の各種生成を行なう。
【0043】
記憶・読出部59は、記憶制御手段の一例であり、
図2に示されているCPU501からの命令、並びに、HDD505、メディアI/F507、CD-RWドライブ514および外部PCや外部デバイスによって実行され、記憶部5000、記録メディア506、CD-RW513および外部PCや外部デバイスに各種データを記憶したり、記憶部5000、記録メディア506、CD-RW513および外部PCや外部デバイスから各種データを読み出したりする処理を行う。記憶部5000、記録メディア506、CD-RW513、および外部PCや外部デバイスは、記憶手段の例である。
【0044】
記憶部5000には、設定情報管理テーブルによって構成されているユーザ情報管理DB5001、点群管理DB5002、教師データ管理DB5003、および点群処理管理DB5004が構築されている。
【0045】
ユーザ情報管理DB5001は、ユーザ情報に関連づけられて三次元点群データのファイル名を記憶、管理し、教師データ管理DB5003は、所定の三次元点群を識別するための教師データを記憶、管理し、点群管理DB5002は、点群データを記憶、管理し、点群処理管理DB5004は、点群データに点群処理を実行した処理結果を示す処理結果情報を記憶、管理する。
【0046】
教師データは、上述したように、それぞれの例題に対応した正解が用意されているデータであり、教師データ管理DB5003には、例えば、正解としての「机」というラベリングと、例題としての「点群」が対になって複数記憶、管理されている。
【0047】
図4は、本実施形態に係る点群処理の一例を示すシーケンス図である。
図4に示すシーケンス図は、教師データに基づき、対象範囲の三次元点群を示す対象点群中の教師データに対応する所定の三次元点群を識別する識別ステップと、対象点群から識別手段により識別された所定の三次元点群を除外した三次元点群を示す除外点群中に、教師データに対応しない特定の三次元点群を示す特定点群が含まれるかを判断する判断ステップと、を含む。
【0048】
端末装置3の受付部32は、ユーザ情報に係る入力操作を受け付ける(ステップS1)。送受信部31は、端末装置3の管理サーバ5に対して、ステップS1で受け付けられたユーザ情報を含む設定画面の要求を送信して、管理サーバ5の送受信部51は、端末装置3から送信された要求を受信する。(ステップS2)。
【0049】
次に、管理サーバ5の記憶・読出部59は、ステップS2で受信された要求に含まれているユーザ情報を検索キーとしてユーザ情報管理DB5001を検索することで、要求に含まれているユーザ情報に関連づけられた三次元点群データのファイル名および教師データ名を読み出して、読み出したファイル名を検索キーとして点群管理DB5002を検索することで、ファイル名に対応する三次元点群データを読み出す。
【0050】
管理サーバ5の生成部57は、記憶・読出部59が読みだしたファイル名、三次元点群データおよび教師データ名に基づき、設定画面を含む表示画面を生成する(ステップS3)。
【0051】
送受信部51は、端末装置3に対して、ステップS3で生成した設定画面に係る設定画面情報を含む表示画面情報を送信して、端末装置3の送受信部31は、管理サーバ5から送信された表示画面情報を受信する(ステップS4)。
【0052】
次に、端末装置3の表示制御部34は、ステップS4で受信された設定画面を含む表示画面を、ディスプレイ308に表示させる(ステップS5)。端末装置3の受付部32は、表示された設定画面に対するユーザの所定の入力操作を受け付ける。この入力操作は、対象点群として複数または1つの三次元点群を指定する点群指定操作、特定点群として複数または1つの三次元点群を特定する点群特定操作、および複数または1つの種類の教師データの一例として床、壁等のカテゴリを指定するデータ指定操作を含む。
【0053】
送受信部31は、管理サーバ5に対して、受付部32が受け付けた入力操作に係る入力情報を送信して、管理サーバ5の送受信部51は、端末装置3から送信された入力情報を受信する(ステップS6)。この入力情報は、対象点群として複数または1つの三次元点群を指定する点群指定情報、特定点群として複数または1つの三次元点群を特定する点群特定情報、および複数または1つの種類の教師データを指定するデータ指定情報を含む。
【0054】
管理サーバ5の記憶・読出部59は、ステップS6で受信された入力情報に含まれている点群指定情報および点群特定情報を検索キーとして点群管理DB5002を検索することで、点群指定情報に対応する対象点群を示す三次元点群データおよび点群特定情報に対応する特定点群を示す三次元点群データを読み出す。
【0055】
また、記憶・読出部59は、ステップS6で受信された入力情報に含まれているデータ指定情報を検索キーとして教師データ管理DB5003を検索することで、データ指定情報に対応する教師データを読み出す。
【0056】
そして、記憶・読出部59は、ステップS6で受信された入力情報に含まれているデータ指定情報を検索キーとして教師データ管理DB5003を検索することで、データ指定情報に対応する教師データを読み出す。
【0057】
管理サーバ5の処理部53および判断部55は、記憶・読出部59から読み出された対象点群を示す三次元点群データ、特定点群を示す三次元点群データ、および教師データに基づき、点群処理情報を生成する(ステップS7)。点群処理情報は、対象点群中に特定点群が含まれるか、および対象点群における特定点群の位置の判断結果を含む。
【0058】
具体的には、まず、処理部53は、教師データに基づき、特定点群中の教師データに対応する所定の三次元点群を識別する。
【0059】
判断部55が、所定の三次元点群が識別されたと判断しない場合は、処理部53は、ステップS6で受信したデータ指定情報により指定された教師データに基づき、対象点群中の教師データに対応する所定の三次元点群を識別する処理を実行する。判断部55は、対象点群から教師データに基づき識別された所定の三次元点群を除外した除外点群中に、特定点群が含まれるかを判断し、含まれる場合には、対象点群における特定点群の位置を判断する。
【0060】
一方、判断部55が、所定の三次元点群が識別されたと判断した場合は、生成部57は識別結果を含む操作画面を生成し、送受信部51は操作画面を示す操作画面情報を含む表示画面情報を端末装置3へ送信する(ステップS8)。
【0061】
端末装置3の送受信部31は、管理サーバ5から送信された操作画面情報を含む表示画面情報を受信し、端末装置3の表示制御部34は、受信された操作画面を含む表示画面を、ディスプレイ308に表示させ、端末装置3の受付部32は、表示された操作画面に対するユーザの所定の入力操作を受け付ける(ステップS9)。この入力操作は、教師データの再設定を指示する再設定指示操作を含む。
【0062】
送受信部31は、管理サーバ5に対して、受付部32が受け付けた入力操作に係る入力情報を送信して、管理サーバ5の送受信部51は、端末装置3から送信された入力情報を受信する(ステップS10)。
【0063】
この入力情報が、再設定指示操作による再設定指示情報を含む場合、記憶・読出部59は、再設定指示情報を検索キーとして教師データ管理DB5003を検索することで、データ指定情報に対応する教師データを読み出す。
【0064】
処理部53は、ステップS10で受信した再設定指示情報により指示された教師データに基づき、対象点群中の教師データに対応する所定の三次元点群を識別する処理を実行し、判断部55は、対象点群から教師データに基づき識別された所定の三次元点群を除外した除外点群中に、特定点群が含まれるかを判断し、含まれる場合には、対象点群における特定点群の位置を判断する。
【0065】
処理部53は、判断結果を含む点群処理情報を点群処理ソフトで読み込み可能なファイルフォーマット、3DCADソフトで読み込み可能なファイルフォーマット、BIM/CIMソフトで読み込み可能なファイルフォーマット等に変換して、記憶・読出部59は、変換された点群処理情報を点群処理管理DB5004、記録メディア506、またはCD-RW513に記憶させる(ステップS11)。
【0066】
送受信部51は、端末装置3に対して、点群処理情報を送信(ステップS12)し、端末装置3の送受信部31は、管理サーバ5から送信された点群処理情報を受信し、端末装置3の表示制御部34は、受信された点群処理情報を、ディスプレイ308に表示させる。(ステップS13)。
【0067】
以上において、
図3における管理サーバ5の機能を端末装置3に一体化し、
図4における管理サーバ5の処理を端末装置3が実行しても良い。
【0068】
図5は、本実施形態に係る点群処理の一例を示すフローチャートであり、
図4のステップS7に対応する処理を示す。
【0069】
管理サーバ5の記憶・読出部59は、点群管理DB5002から、ステップS6で受信した点群指定情報に対応する三次元点群データおよび点群特定情報に対応する三次元点群データを取得するとともに(ステップS21)、教師データ管理DB5003から、ステップS6で受信したデータ指定情報に対応する教師データを取得する(ステップS22)。
【0070】
処理部53は、ステップS22で取得した教師データに基づき、ステップS21で取得した特定点群中の教師データに対応する所定の三次元点群を識別する処理を実行する(ステップS23)。
【0071】
判断部55は、ステップS23で所定の三次元点群が識別されたか判断し、識別されない場合はステップS27へ移行する(ステップS24)。
【0072】
ステップS24で三次元点群が識別された場合は、生成部57は、ステップS24での識別結果を含む操作画面を生成し(ステップS25)、
図4のステップS8、10に示したように、送受信部51は、操作画面情報を端末装置3へ送信し、操作画面情報に対する入力情報を受信する。
【0073】
判断部55は、
図4のステップS10で受信した入力情報に教師データを再設定する再設定指示情報が含まれているか判断し、再設定指示情報が含まれている場合は、ステップS22に戻って、再設定指示情報に対応する教師データを取得する(ステップS26)。
【0074】
ステップS26で再設定指示情報が含まれない場合は、処理部53は、ステップS22で取得した教師データに基づき、ステップS21で取得した対象点群中の教師データに対応する所定の三次元点群を識別する処理を実行する(ステップS27)。
【0075】
続いて、判断部55は、ステップS21で取得した対象点群からステップS27で識別された所定の三次元点群を除外した除外点群中に、ステップS21で取得した特定点群が含まれるかを検索する(ステップS28)。
【0076】
具体的には、判断部55は、ステップS21で取得した対象点群からステップS27で識別された所定の三次元点群を除外した除外点群中に、ステップS21で取得した特定点群が含まれるかを判断し、含まれる場合には、対象点群における特定点群の位置を判断する。
【0077】
図6は、本実施形態に係る特定点群設定画面の説明図である。
図6は、
図4に示したシーケンス図のステップS5において、端末装置3のディスプレイ308に表示される表示画面1000を示す。
【0078】
表示画面1000は、特定点群設定画面1200を含み、特定点群設定画面1200は、特定点群受付画面1210、特定点群表示画面1250、設定ボタン1230、およびキャンセルボタン1235を含む。
を含む。
【0079】
特定点群受付画面1210は、複数または1つの三次元点群を特定する点群特定操作を受け付ける画面であり、
図4に示したシーケンス図のステップS3で読み出されたファイル名を選択可能に表示しており、ユーザは、点群特定操作としてレ点を付けることによりファイル名を選択可能である。特定点群表示画面1250は、特定点群受付画面1210で選択されたファイル名の点群を表示する画面である。
【0080】
すなわち、受付部32は、特定点群受付画面1210に対する複数または1つの三次元点群を特定する点群特定操作を受け付けて、特定点群受付画面1210で受け付けられた点群特定操作に基づき、
図6の例では、点群ファイル名2、4が特定点群として特定される。
【0081】
そして、受付部32が、設定ボタン1230に対するユーザの操作を受け付けることにより、送受信部31は、
図6の例では、点群ファイル名2、4を点群特定情報として管理サーバ5に対して送信する。
【0082】
図7は、本実施形態に係る対象点群設定画面の説明図である。
図7は、
図4に示したシーケンス図のステップS5において、端末装置3のディスプレイ308に表示される表示画面1000を示し、
図6に示した表示画面1000と切り替え表示される。
【0083】
表示画面1000は、対象点群設定画面1202を含み、対象点群設定画面1202は、対象点群受付画面1212および対象点群表示画面1252、設定ボタン1230、およびキャンセルボタン1235を含む。
【0084】
対象点群受付画面1212は、複数または1つの三次元点群を指定する点群指定操作を受け付ける画面であり、
図4に示したシーケンス図のステップS3で読み出されたファイル名を選択可能に表示しており、ユーザは、点群指定操作としてレ点を付けることによりファイル名を選択可能である。対象点群表示画面1252は、対象点群受付画面1212で選択されたファイル名の点群を表示する画面である。
【0085】
すなわち、受付部32は、対象点群受付画面1212に対する複数または1つの三次元点群を指定する点群指定操作を受け付けて、対象点群受付画面1212で受け付けられた点群指定操作に基づき、
図7の例では、点群ファイル名3、6が対象点群として指定される。
【0086】
そして、受付部32が、設定ボタン1230に対するユーザの操作を受け付けることにより、送受信部31は、
図7の例では、点群ファイル名3、6を点群指定情報として管理サーバ5に対して送信する。
【0087】
図8は、本実施形態に係る教師データ設定画面の説明図である。
図8は、
図4に示したシーケンス図のステップS5において、端末装置3のディスプレイ308に表示される表示画面1000を示し、
図6に示した表示画面1000や
図7に示した表示画面1000と切り替え表示される。
【0088】
表示画面1000は、教師データ設定画面1204を含み、教師データ設定画面1204は、データ受付画面1214、設定ボタン1230、およびキャンセルボタン1235を含む。
【0089】
データ受付画面1214は、除外対象となる複数または1つの種類の教師データを指定するデータ指定操作を受け付ける画面であり、
図4に示したシーケンス図のステップS3で読み出された教師データ名を選択可能に表示しており、ユーザは、データ指定操作としてレ点を付けることによりファイル名を選択可能である。ここで、1つの種類の教師データは、1つのカテゴリに対応する。1つの種類の教師データは、例えば、床という種類の教師データであり、1つの種類の教師データは、複数の教師データ、例えば、様々な形状の床のデータを含んでもよい。
【0090】
すなわち、受付部32は、データ受付画面1214に対する複数または1つの種類の教師データを指定するデータ指定操作を受け付けて、データ受付画面1214で受け付けられた教師データ定操作に基づき、
図8の例では、床、壁、天井、ドア、机および椅子が除外対象となる教師データとして指定される。
【0091】
そして、受付部32が、設定ボタン1230に対するユーザの操作を受け付けることにより、送受信部31は、
図9の例では、床、壁、天井、ドア、机および椅子をデータ指定情報として管理サーバ5に対して送信する。
【0092】
図9は、本実施形態に係る操作画面の説明図である。
図9は、
図4に示したシーケンス図のステップS10において、端末装置3のディスプレイ308に表示される表示画面1000を示す。
【0093】
表示画面1000は、操作画面1300を含み、操作画面1300は、識別結果表示画面1310、実行ボタン1330、およびキャンセルボタン1335を含む。さらに、識別結果表示画面1310は、処理継続指示ボタン1312および再設定指示ボタン1314を含む。
【0094】
識別結果表示画面1310は、
図4のステップS24での識別結果を表示する。
図9の例では、特定点群としての点群ファイル名4の点群中で、教師データとしての椅子に対応する点群が識別されたことを示す識別結果が表示されている。
【0095】
処理継続指示ボタン1312は、教師データの再設定不要で処理の継続を指示する処理継続指示操作を受け付ける画面であり、受付部32が、処理継続指示ボタン1312および実行ボタン1330に対するユーザの操作を受け付けることにより、送受信部31は、処理の継続を指示する処理継続指示情報を管理サーバ5に対して送信する。
【0096】
再設定指示ボタン1314は、教師データの再設定を指示する再設定指示操作を受け付ける画面であり、受付部32が、再設定指示ボタン1314および実行ボタン1330に対するユーザの操作を受け付けることにより、送受信部31は、教師データの再設定を指示する再設定指示情報を管理サーバ5に対して送信する。
【0097】
図10は、本実施形態に係る判断結果表示画面の説明図である。
図9は、
図4に示したシーケンス図のステップS13において、端末装置3のディスプレイ308に表示される表示画面1000を示す。
【0098】
表示画面1000は、判断結果表示画面1400を含み、判断結果表示画面1400は、対象点群名表示画面1410A、B、特定点群位置表示画面1420A、B、および対象点群表示画面1430A、Bを含む。
【0099】
対象点群名表示画面1410A、Bは、対象点群のファイル名を表示し、特定点群位置表示画面1420A、Bは、対象点群における特定点群の位置をXYZ座標で表示する。
【0100】
対象点群表示画面1430A、Bは、対象点群1440A、Bと、対象点群1440A、Bにおける特定点群1450A、Bの位置を示す特定点群識別画像1460A、Bと、を重畳して表示する。
【0101】
●まとめ●
[第1態様]
以上説明したように、本発明の一実施形態に係る点群処理装置の一例である管理サーバ5は、教師データに基づき、三次元点群を示す対象点群中の教師データに対応する所定の三次元点群を識別する識別手段の一例である処理部53と、対象点群から識別手段により識別された所定の三次元点群を除外した三次元点群を示す除外点群中に、特定の三次元点群を示す特定点群が含まれるかを判断する判断部55と、を備える。
【0102】
[第2態様]
本発明の一実施形態に係る管理サーバ5は、指定された複数または1つのカテゴリデータに基づき、三次元点群を示す対象点群中の複数または1つのカテゴリデータに対応する所定の三次元点群を識別する処理部53と、対象点群から識別手段により識別された所定の三次元点群を除外した三次元点群を示す除外点群中に、特定の三次元点群を示す特定点群が含まれるかを判断する判断部55と、を備える。
【0103】
これにより、特定点群が、対象点群中に含まれるかを容易に判断することができる。
【0104】
すなわち、対象点群から所定の三次元点群を除外した除外点群に対して特定点群が含まれるかを判断することにより、対象点群全てに対して特定点群が含まれるかを判断する場合に比べて、特定点群が含まれるかを容易に判断することができる。
【0105】
[第3態様]
第1態様または第2態様において、判断部55は、さらに、対象点群における特定点群の位置を判断する。
【0106】
これにより、教師データに対応しない特定点群の、対象点群における位置を容易に判断することができる。
【0107】
[第4態様]
第1態様~第3態様の何れかにおいて、判断部55の判断結果を外部装置の一例である端末装置3へ送信する送信手段の一例である送受信部51を備える。
【0108】
これにより、教師データに対応しない特定点群が対象点群中に含まれるかの判断結果や、教師データに対応しない特定点群の対象点群における位置の判断結果を、端末装置3側で確認することができる。
【0109】
[第5態様]
点群処理装置の他の例である管理サーバ5の機能を一体化した端末装置3は、第1態様~第3態様の何れかにおいて、判断部55の判断結果をディスプレイ308に表示させる表示制御部34を備える。
【0110】
これにより、教師データに対応しない特定点群が対象点群中に含まれるかの判断結果や、教師データに対応しない特定点群の対象点群における位置の判断結果を、ディスプレイ308に表示させて確認することができる。
【0111】
[第6態様]
第1態様~第5態様の何れかにおいて、対象点群は、複数または1つの三次元点群を指定する点群指定操作を受け付ける対象点群受付画面1212で受け付けられた点群指定操作に基づき設定される。
【0112】
[第7態様]
第1態様~第6態様の何れかにおいて、特定点群は、複数または1つの三次元点群を特定する点群特定操作を受け付ける特定点群受付画面1210で受け付けられた点群特定操作に基づき設定される。
【0113】
これにより、点群指定操作に基づき設定され特定点群が、点群指定操作に基づき指定された対象点群中に含まれるかを容易に判断することができる。
【0114】
[第8態様]
第1態様~第7態様の何れかにおいて、識別手段は、複数または1つの種類の教師データを指定するデータ指定操作を受け付けるデータ受付画面1214で受け付けられたデータ指定操作に基づき、複数または1つの種類の教師データに対応する所定の三次元点群を識別する。
【0115】
これにより、対象点群からデータ指定操作に基づき指定された所定の三次元点群を除外した除外点群に対して、特定点群が含まれるかを判断することができる。
【0116】
[第9態様]
第1態様~第8態様の何れかにおいて、処理部53は、教師データに基づき、特定点群中の所定の三次元点群を識別する第2の識別手段としても機能する。
【0117】
これにより、特定点群中に除外すべき所定の三次元点群が含まれるかを確認することができる。
【0118】
[第10態様]
第9態様において、第2の識別手段の識別結果を端末装置3へ送信する送受信部51を備える。
【0119】
これにより、特定点群中に除外すべき所定の三次元点群が含まれるかを、端末装置3側で確認することができる。
【0120】
[第11態様]
管理サーバ5の機能を一体化した端末装置3は、第9態様において、第2の識別手段の識別結果をディスプレイ308に表示させる表示制御部34を備える。
【0121】
これにより、特定点群中に除外すべき所定の三次元点群が含まれるかを、ディスプレイ308に表示させて確認することができる。
【0122】
[第12態様]
本発明の一実施形態に係る点群処理方法は、教師データに基づき、三次元点群を示す対象点群中の教師データに対応する所定の三次元点群を識別する識別ステップと、対象点群から識別手段により識別された所定の三次元点群を除外した三次元点群を示す除外点群中に、特定の三次元点群を示す特定点群が含まれるかを判断する判断ステップと、をコンピュータにより実行する。
【0123】
[第13態様]
本発明の一実施形態に係る点群処理方法は、指定された複数または1つのカテゴリデータに基づき、三次元点群を示す対象点群中の複数または1つのカテゴリデータに対応する所定の三次元点群を識別する識別ステップと、対象点群から識別手段により識別された所定の三次元点群を除外した三次元点群を示す除外点群中に、特定の三次元点群を示す特定点群が含まれるかを判断する判断ステップと、をコンピュータにより実行する。
【0124】
[第14態様]
本発明の一実施形態に係るプログラムは、コンピュータに、第12態様または第13態様の点群処理方法を実行させる。
【0125】
[第15態様]
本発明の一実施形態に係る点群処理システム1は、管理サーバ5と、管理サーバ5と通信可能な端末装置3を備え、管理サーバ5は、教師データに基づき、三次元点群を示す対象点群中の教師データに対応する所定の三次元点群を識別する処理部53と、対象点群から識別手段により識別された所定の三次元点群を除外した三次元点群を示す除外点群中に、特定の三次元点群を示す特定点群が含まれるかを判断する判断部55と、判断部55の判断結果を端末装置3へ送信する送受信部51と、を備え、端末装置3は、管理サーバ5から送信された判断結果を受信する受信手段の一例である送受信部31と、判断結果をディスプレイ308に表示させる表示制御部34と、を備える。
【0126】
[第16態様]
本発明の一実施形態に係る点群処理システム1は、管理サーバ5と、管理サーバ5と通信可能な端末装置3を備え、管理サーバ5は、指定された複数または1つのカテゴリデータに基づき、三次元点群を示す対象点群中の指定された複数または1つのカテゴリデータに対応する所定の三次元点群を識別する処理部53と、対象点群から識別手段により識別された所定の三次元点群を除外した三次元点群を示す除外点群中に、特定の三次元点群を示す特定点群が含まれるかを判断する判断部55と、判断部55の判断結果を端末装置3へ送信する送受信部51と、を備え、端末装置3は、管理サーバ5から送信された判断結果を受信する受信手段の一例である送受信部31と、判断結果をディスプレイ308に表示させる表示制御部34と、を備える。
【符号の説明】
【0127】
1 点群処理システム
100 通信ネットワーク
3 端末装置(外部装置の一例)
31 送受信部(受信手段の一例)
32 受付部(受付手段の一例)
34 表示制御部(表示制御手段の一例)
39 記憶・読出部(記憶制御手段の一例)
308 ディスプレイ(表示部の一例)
3000 記憶部
5 管理サーバ(点群処理装置の一例)
51 送受信部(送信手段の一例)
53 処理部(点群処理手段の一例)
55 判断部(判断手段の一例)
57 生成部
59 記憶・読出部(記憶制御手段の一例)
5000 記憶部
5001 ユーザ情報管理DB(ユーザ情報管理手段の一例)
5002 点群管理DB(点群管理手段の一例)
5003 教師データ管理DB(教師データ管理手段の一例)
5004 点群処理管理DB(点群処理管理手段の一例)
1000 表示画面
1200 特定点群設定画面
1210 特定点群受付画面
1250 特定点群表示画面
1202 対象点群設定画面
1212 対象点群受付画面
1252 対象点群表示画面
1204 教師データ設定画面
1214 データ受付画面
1230 設定ボタン
1235 キャンセルボタン
1300 操作画面
1310 識別結果表示画面
1312 ボタン
1314 ボタン
1330 実行ボタン
1335 キャンセルボタン
1350 特定点群表示画面
1400 判断結果表示画面
1410A、B 対象点群名表示画面
1420A、B 特定点群位置表示画面
1430A、B 対象点群表示画面
1440A、B 対象点群
1450A、B 特定点群
1460A、B 特定点群識別画像