(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-26
(45)【発行日】2022-08-03
(54)【発明の名称】画像処理装置、画像処理方法、画像処理用プログラム
(51)【国際特許分類】
G06T 19/00 20110101AFI20220727BHJP
G01S 17/89 20200101ALI20220727BHJP
【FI】
G06T19/00 A
G01S17/89
(21)【出願番号】P 2020201723
(22)【出願日】2020-12-04
(62)【分割の表示】P 2016181696の分割
【原出願日】2016-09-16
【審査請求日】2020-12-18
(73)【特許権者】
【識別番号】000220343
【氏名又は名称】株式会社トプコン
(74)【代理人】
【識別番号】100096884
【氏名又は名称】末成 幹生
(72)【発明者】
【氏名】森川 直樹
(72)【発明者】
【氏名】伊藤 忠之
【審査官】板垣 有紀
(56)【参考文献】
【文献】特開2016-079009(JP,A)
【文献】国際公開第2012/141235(WO,A1)
【文献】特開2013-092888(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 19/00
G01S 17/89
(57)【特許請求の範囲】
【請求項1】
点群データの各点のディスプレイ上への3D表示を行う点群データ表示制御部と、
前記点群データを取得した対象物を構成する面に係る面の方程式の算出、および前記面の方程式に基づく前記面の法線の算出を行う面方向算出部と、
前記3D表示された前記点群データから切り取られる平坦な部分を表示する
厚みのある矩形形状を有する切り取り範囲表示を前記ディスプレイ上に表示する切り取り範囲表示制御部と
を備え、
前記面の方程式の算出は、指定を受けた部分の点の取得、該点およびその周囲の複数の点にフィッティングする面の方程式を求めることで行なわれ、
前記切り取り範囲表示制御部は、前記切り取り範囲表示の法線の方向を前記面方向算出部が算出した前記面の前記法線の方向に一致させる画像処理装置。
【請求項2】
点群データの各点のディスプレイ上への3D表示を行う点群データ表示制御ステップと、
前記点群データを取得した対象物を構成する面に係る面の方程式の算出、および前記面の方程式に基づく前記面の法線の算出を行う面方向算出ステップと、
前記3D表示された前記点群データから切り取られる平坦な部分を表示する
厚みのある矩形形状を有する切り取り範囲表示を前記ディスプレイ上に表示する切り取り範囲表示制御ステップと
を有し
前記面の方程式の算出は、指定を受けた部分の点の取得、該点およびその周囲の複数の点にフィッティングする面の方程式を求めることで行なわれ、
前記切り取り範囲表示制御ステップでは、前記切り取り範囲表示の法線の方向を前記面方向算出
ステップで算出した前記面の前記法線の方向に一致させる処理が行なわれる画像処理方法。
【請求項3】
コンピュータに読み取らせて実行させるプログラムであって、
コンピュータを
点群データの各点のディスプレイ上への3D表示を行う点群データ表示制御部と、
前記点群データを取得した対象物を構成する面に係る面の方程式の算出、および前記面の方程式に基づく前記面の法線の算出を行う面方向算出部と、
前記3D表示された前記点群データから切り取られる平坦な部分を表示する
厚みのある矩形形状を有する切り取り範囲表示を前記ディスプレイ上に表示する切り取り範囲表示制御部と
して動作させ、
前記面の方程式の算出は、指定を受けた部分の点の取得、該点およびその周囲の複数の点にフィッティングする面の方程式を求めることで行なわれ、
前記切り取り範囲表示制御部は、前記切り取り範囲表示の法線の方向を前記面方向算出部が算出した前記面の前記法線の方向に一致させる画像処理用プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、点群データの画像処理技術に関する。
【背景技術】
【0002】
レーザスキャナやステレオ写真計測によって得られる点群データが知られている(例えば特許文献1や2を参照)。
【先行技術文献】
【特許文献】
【0003】
【文献】国際公開番号WO2011/070927号公報
【文献】特開2012-230594号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
点群データをPC等のディスプレイ上に3D表示させると、対象物の点群によって測定対象物の三次元形状が表示される。点群データの主な活用方法として、点群データから三次元モデルを得る技術がある。三次元モデルは、対象物の輪郭線をデータで表したので、CADソフト上で扱う三次元データと親和性が高い。
【0005】
点群データをそのまま画像表示すると、対象物が点の集合により3D表示される。しかしながら、三次元モデル化されていない生データの段階では、対象物の輪郭が把握し難く、どの部分が対象物(例えば、建物)の縁やエッジの部分であるのかが、一見して把握し難い。面の向きの違いによって、点の色を変える等して、点群の3D表示の立体感を把握し易くする工夫がされているが、それでも上記の問題がある。まして、何ら処理を行っていない生データの場合は、上記の問題は顕在化する。
【0006】
具体的な一例を説明する。
図2(A)には、立方体形状の対象物の点群データを3D表示(斜視図表示)した例が記載されている。
図2(A)のように、単に点で表示された場合、遠近感が把握し難く、どの部分が立方体形状の縁であるのか判別し難い。
【0007】
図2(B)には、三次元モデル化し、立方体形状の縁の部分を抽出し、それを点群データに重ねて表示した例が示されている。この場合、立体感を把握し易い。しかしながら、
図2(B)は、三次元モデル化のための処理を行った後で得られる表示であり、三次元モデル化の前の段階で点群データを扱う際には、
図2(B)の表示は行えない。
【0008】
このような背景おいて、本発明は、3D表示された点群データから対象物の立体構造を把握し易くする技術の提供を目的とする。
【課題を解決するための手段】
【0009】
請求項1に記載の発明は、点群データの各点のディスプレイ上への3D表示を行う点群データ表示制御部と、前記点群データを取得した対象物を構成する面に係る面の方程式の算出、および前記面の方程式に基づく前記面の法線の算出を行う面方向算出部と、前記3D表示された前記点群データから切り取られる平坦な部分を表示する厚みのある矩形形状を有する切り取り範囲表示を前記ディスプレイ上に表示する切り取り範囲表示制御部とを備え、前記面の方程式の算出は、指定を受けた部分の点の取得、該点およびその周囲の複数の点にフィッティングする面の方程式を求めることで行なわれ、前記切り取り範囲表示制御部は、前記切り取り範囲表示の法線の方向を前記面方向算出部が算出した前記面の前記法線の方向に一致させる画像処理装置である。
【0010】
請求項2に記載の発明は、点群データの各点のディスプレイ上への3D表示を行う点群データ表示制御ステップと、前記点群データを取得した対象物を構成する面に係る面の方程式の算出、および前記面の方程式に基づく前記面の法線の算出を行う面方向算出ステップとを有し、前記3D表示された前記点群データから切り取られる平坦な部分を表示する厚みのある矩形形状を有する切り取り範囲表示を前記ディスプレイ上に表示する切り取り範囲表示制御ステップと、前記面の方程式の算出は、指定を受けた部分の点の取得、該点およびその周囲の複数の点にフィッティングする面の方程式を求めることで行なわれ、前記切り取り範囲表示制御ステップでは、前記切り取り範囲表示の法線の方向を前記面方向算出ステップで算出した前記面の前記法線の方向に一致させる処理が行なわれる画像処理方法である。
【0011】
請求項3に記載の発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータを点群データの各点のディスプレイ上への3D表示を行う点群データ表示制御部と、前記点群データを取得した対象物を構成する面に係る面の方程式の算出、および前記面の方程式に基づく前記面の法線の算出を行う面方向算出部と、前記3D表示された前記点群データから切り取られる平坦な部分を表示する厚みのある矩形形状を有する切り取り範囲表示を前記ディスプレイ上に表示する切り取り範囲表示制御部として動作させ、前記面の方程式の算出は、指定を受けた部分の点の取得、該点およびその周囲の複数の点にフィッティングする面の方程式を求めることで行なわれ、前記切り取り範囲表示制御部は、前記切り取り範囲表示の法線の方向を前記面方向算出部が算出した前記面の前記法線の方向に一致させる画像処理用プログラムである。
【発明の効果】
【0012】
本発明によれば、3D表示された点群データから対象物の立体構造を把握し易くする技術が得られる。
【図面の簡単な説明】
【0013】
【
図2】画面表示された点群データの一例を示す概念図である。
【
図3】画面表示された点群データの一例を示す概念図である。
【
図4】画面表示された点群データの一例を示す概念図である。
【
図5】加工した点群データの3D表示の図面代用写真である。
【
図6】
図5の点群データの3D表示(強度表示)とその一部断面表示である。
【
図7】点群データの3D表示の図面代用写真である。
【
図8】点群データの3D表示の図面代用写真である。
【
図9】点群データの3D表示の図面代用写真である。
【
図10】点群データの3D表示の図面代用写真である。
【
図11】点群データの3D表示の図面代用写真である。
【
図12】点群データの3D表示の図面代用写真である。
【発明を実施するための形態】
【0014】
図1には、画像処理装置100が示されている。画像処理装置100は、点群データの処理を行うための装置である。通常は、専用のハードウェアではなく、PC(パーソナルコンピュータ)に画像処理装置100の機能を実現するアプリケーションソフトウェアをインストールし、当該アプリケーションソフトウェア起動することで、PCにより画像処理装置100がソフトウェア的に実現される。
【0015】
PCを利用した場合、
図1に図示する各機能部は、ソフトウェア的に構成される。なお、
図1に示す各機能部を専用の演算回路によって構成してもよい。また、ソフトウェア的に構成された機能部と、専用の演算回路によって構成された機能部が混在していてもよい。例えば、図示する各機能部は、CPU(Central Processing Unit)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)などのPLD(Programmable Logic Device)などの電子回路により構成される。
【0016】
各機能部を専用のハードウェアで構成するのか、CPUにおけるプログラムの実行によりソフトウェア的に構成するのかは、要求される演算速度、コスト、消費電力等を勘案して決定される。例えば、特定の機能部をFPGAで構成すれば、処理速度の上では優位であるが高コストとなる。他方で、CPUでプログラムを実行することで特定の機能部を実現する構成は、ハードウェア資源を節約できるので、コスト的に優位となる。しかしながら、CPUで機能部を実現する場合、処理速度は、専用のハードウェアに比較して見劣りする。なお、機能部を専用のハードウェアで構成することとソフトウェア的に構成することは、上述した違いはあるが、特定の機能を実現するという観点からは、等価である。
【0017】
画像処理装置100は、点群データ取得部101、点群データ表示制御部102、マーカ表示制御部103、被指定点群抽出部104、被指定点群表示制御部105を備えている。点群データ取得部101は、三次元レーザスキャナが計測した点群データを三次元レーザスキャナから適当な通信手段を介して取得する。点群データは、ステレオ写真測量の原理を用いて、撮影画像中から抽出した多数の特徴点の三次元座標を求める手法により得ることもできる。
【0018】
点群データ表示制御部102は、点群データをPCのディスプレイ等の適当な画像表示装置に表示する。点群データは、そのまま点の表示として表示してもよいし、表示色の変更やノイズ成分の除去等の各種の画像処理を施したものを表示してもよい。
【0019】
マーカ表示制御部103は、3D表示された点群データを特定の平面で切断するためのマーカ表示の制御を行う。
図3には、立方体の測定対象物(建物を想定)の点群データ150と、上記のマーカ表示の一例であるマーカ200が示されている。
【0020】
マーカ200は、作業者の操作(例えば、マウスの操作)によって、X方向(特定の水平方向)に移動可能である。マーカ200を移動させることで、3D表示された点群データをY-Z平面(Zは鉛直方向、YはX方向に直交する水平方向)で切り取る位置(X軸上における位置)を指定できる。
【0021】
図3における方位の設定としては、X方向を南北方向(または東西方向)、Y方向を東西方向(または南北方向)に設定し、Z方向を鉛直方向に設定する態様が挙げられる。この場合、切断面と方位の関係が把握し易い。また、点群データ150の対象が建物の場合に、建物の壁の延在方向に合わせて、XYZ軸の方向を設定する態様も可能である。
図3には、この場合の一例が示されている。
【0022】
図4には、
図3と別にディスプレイ上に同時に表示されるサブ画面の一例が示されている。サブ画面は、主画面と別のディスプレイ上に表示してもよいし、主画面と切り替えて表示できる形態でもよい。
図3におけるマーカ200をX軸上で動かしてゆき、マーカ200を含むY-Z平面が点群データ150と重なると、その重なった部分(Y-Z平面で切り取られる点群データ)が
図4のように表示される。
図4(A)には、
図3の立方体の点群データ150のX軸上における縁の部分をY-Z平面で切り取った場合の面状の点群データ151が示されている。この場合。点群データ150のX軸上における手前の端面がY-Z平面によって切り取られ、この切り取られた面状の部分が表示される。
【0023】
図3におけるマーカ200を
図4(A)の状態から更にX軸正方向に移動させると、点群データ150のY-Z平面による切断面の位置が変化する。この場合の一例が
図4(B)に示されている。この場合、点群データ150の基なる立方体形状の対象物の内部の点群は取得されていないので、枠状の点群が切断面の点群として得られる。
【0024】
図3の点群データ150をY-Z平面で切断し、
図4の点群データ151,152を抽出する処理は、以下のようにして行われる。まず、点群データ150を構成する各点の三次元座標位置は、既知である。他方で、マーカ200で指定されるY―Z平面の座標は、点群データ150を記述する座標系での面の方程式により指定できる。よって、点群データ150におけるマーカ200で指定されるY―Z平面と交わる(あるいは近接する)点群を抽出することができる。厳密には、点群は離散して分布しているので、閾値を設定し、この閾値の範囲で上記Y-Z平面に近接する点の抽出が行われる。
【0025】
図4(A)および(B)に示すように、マーカ200を利用して3D表示された点群データを切断し、その切断面に存在する点群を別画面に表示させることで、点群データの立体配置状態を把握し易くなる。例えば、マーカ200をX軸方向に移動させることで、点群データ150のY-Z平面で切り取られる点群データ150の縁の部分が次々と表示され、その表示履歴を追うことで、点群データ150の基なる測定対象物の立体形状(縁の部分)を把握し易くなる。
【0026】
マーカ200の移動方向は、作業者が希望する方向に設定できる。また例えば、マーカ200を自動で移動させ、次々に現れる切断面の点群表示を時間軸上に並べた複数のサムネイル画像で表示することで、点群データの立体分布状態を把握し易くするといったUI表示も可能である。
【0027】
上記の例では、切り取りに用いるY―Z平面に厚みがない場合を示したが、切り取りに用いるY―Z平面に厚みがあってもよい。この場合、X軸方向にも点群が分布したものが切り取られる。
【0028】
被指定点群抽出部104は、点群データを特定の平面で切断した切断面における点群データを抽出する。例えば、
図3の3D表示された点群データ150から、
図4の点群データ151,152を切り取り抽出する処理が被指定点群抽出部104で行われる。
【0029】
被指定点群表示制御部105は、被指定点群抽出部104で抽出された点群データの画面表示の制御を行う。例えば、
図4の表示制御が被指定点群表示制御部105によって行われる。
【0030】
以上述べたように、画像処理装置100は、点群データの3D表示を行う点群データ表示制御部102と、前記3D表示された前記点群データの切断面を指定するマーカ表示を行うマーカ表示制御部103と、前記点群データにおける前記切断面に存在する点群を別画面に表示する被指定点群表示制御部105とを備えている。
【0031】
この構成によれば、測定対象物の縁の部分が抽出され、表示されるので、点群データの立体分布状態の把握が容易となる。例えば、建物を対象とした点群データであれば、三次元モデルの作成を行わなくても当該建物の立体形状の把握が容易となる。
【0032】
図5は、測定対象物の点群データを加工したものをディスプレイ上に3D表示させたものである。
図5の点群データは、点に色を付けて点群画像として見やすいように加工したものである。この処理は、点群データの取得と同時にカメラによって撮影された写真画像と、点群データとを重ね合わせ、写真画像に基づいて、対応する領域の点に色を付けることで行われる。
【0033】
図6の左には、
図5の基となる点群データを反射光の強度に対応させて濃淡をつけて表示した点群画像が示され、
図6の右には、左画面に示される帯状のラインで切断した断面部分の点群を切断面に垂直な方向から見たものが示されている。
図6に示すように、3D表示された点群データの一部を切断(
図6(A)参照)し、その切断面の点群を切断面に垂直な方向から見た状態で表示(
図6(B)参照)することで、対象物の輪郭を把握し易くなる。また、
図6左側の点群画像に示されるライン(切断面を決めるライン)の幅は、選択可能であり、このラインの幅を広くすることで、切断面に垂直な方向における幅を持った領域から点を抽出できる。
【0034】
また、マーカ200とは別の機能を有するマーカである「切り取り範囲表示」の表示も行われる。「切り取り範囲表示」は、3D表示された点群データの切り取られる部分(切断する部分)の範囲を示すマーカである。「切り取り範囲表示」の表示制御もマーカ表示制御部103で行われる。
図7には、やや厚みのある平坦な矩形状の「切り取り範囲表示」が点群表示画面上に表示された一例が示されている。マーカ200の表示と「切り取り範囲表示」は、いずれか一方のみを表示することもできるし、両方を同時に表示することもできる。なお、
図7は、点に濃淡を付けて点群画像として見やすいように加工したものである。この処理は、点群データの取得と同時にカメラによって撮影された写真画像と、点群データとを重ね合わせ、写真画像に基づいて、対応する領域の点に濃淡を付けることで行われる。
【0035】
図7に示すように、「切り取り範囲表示」の表示は、点群データの全体が表示されている画面上で行われる。こうすることで、切り取る部分を視覚的に把握することが容易となる。「切り取り表示範囲」の位置および大きさは指定することができる。例えば、
図7の「切り取り表示範囲」を左クリックし、マウスを動かすと、その位置が移動する。また、「切り取り表示範囲」を右クリックし、マウスを動かすと、大きさが変更できる。大きさ変更は直交する3軸方向について独立して可能である。これらの制御もマーカ表示制御部103で行われる。
【0036】
また、
図7には、切り取られた部分がカラー表示されている例が示されている。全体をモノクロ階調表示とし、切り取られた部分をカラー表示とすることで、切り取られる部分を立体的に把握し易くなる。
図8には、
図7の「切り取り範囲表示」で切り取られた部分のみを表示した画面が示されている。
【0037】
「切り取り範囲表示」を回転させることもできる。点群データの各点は、三次元座標が判っているので、「切り取り範囲表示」を回転させることで、切り取られる点が変わり、切り取られる部分の表示(例えば、
図8の表示)も変化する。
【0038】
「切り取り範囲表示」を対象物の面の向きに対応させて表示させるモードも可能である。この一例を
図11に示す。
図11の例では、対象物の面の法線と「切り取り範囲表示」の面の法線とを一致させて「切り取り範囲表示」を行う場合が示されている。対象物の面に着目して点群データを取り扱う場合が多々ある。このような場合に、「切り取り範囲表示」を対象物の面に合わせて表示させると便利である。
【0039】
「切り取り範囲表示」の面の向き(法線の向き)を対象物の面の向き(法線に向き)に合わせる処理は、以下のようにして行われる。この処理は、面方向算出部106で行われる。この処理では、まず
図9の状態で対象物の面の法線と一致させた「切り取り範囲表示」を行わせたい対象物の部分を指定する。
図9の例でいうと、例えば建物の右側の壁面部分を指定する。この操作は、例えばマウス操作によって行われる。
【0040】
次に、指定された部分の点を取得し、更にその取得された点(指定点)の周囲の複数の点を取得する。例えば、指定された点を中心とした15点×15点といった矩形領域の点を取得する。なお、取得する点の範囲や取得の方法(例えば、連続の点でなく、5点間隔や10点間隔で取得する等)は任意に設定可能である。
【0041】
次に、上記の指定点およびその周囲の複数の点で構成される点群にフィッティングする面の方程式を算出する。そして、算出された面の法線を算出し、この法線を対象物の指定された部分の面の法線として取得する。次いで、この指定された部分の面の法線に合わせて「切り取り範囲表示」の向きを調整する。すなわち、上記方法で算出された指定部分の法線と「切り取り範囲表示」の法線とが一致するように「切り取り範囲表示」の向きの調整が行われる。この向きの調整は、マーカ表示制御部103で行われる。こうして、例えば
図11に示すような、対象物の面の向きに合わせた「切り取り範囲表示」の表示が行われる。
【0042】
例えば、
図9の状態では、「切り取り範囲表示」によって建物を斜めに切断する状態なので、切り取られた点群のみを表示した
図10の表示は、今一つ視覚的に把握し難い。これに対して、対象物の面の法線に合わせて「切り取り範囲表示」を設定する処理では、
図11の右側および切り取られた点群のみを表示した
図12の表示から判るように、対象物を視覚的に把握し易い点群表示が可能となる。
【0043】
(本明細書中で開示されている発明)
本明細書には、以下の発明が開示されている。第1の開示されている発明は、点群データの3D表示を行う第1の点群データ表示制御部と、前記3D表示された前記点群データの切断面を指定するマーカ表示を行うマーカ表示制御部と、前記点群データにおける前記切断面に存在する点群を別画面に表示する第2の点群データ表示制御部とを備えることを特徴とする画像処理装置である。
【0044】
第2の開示されている発明は、第1の開示されている発明において、前記マーカ表示は、前記切断面に垂直な方向に移動させることが可能であり、前記切断面の前記移動により、前記点群データの中から前記切断面によって切り取られる新たな点群の抽出が行われることを特徴とする。
【0045】
第3の開示されている発明は、第1または第2の開示されている発明において、前記切断面に存在する点群として、前記切断面に垂直な方向における特定の範囲におけるものが抽出されることを特徴とする。
【0046】
第4の開示されている発明は、第1~第3の開示されている発明のいずれか一つにおいて、前記切断面で切り取られる点群データの表示の色彩を前記切断面で切り取られない点群データの表示の色彩と異ならせる処理が行なわれることを特徴とする。
【0047】
第5の開示されている発明は、第1~第4の開示されている発明のいずれか一つにおいて、前記マーカ表示は、前記切断面の範囲を示し、前記マーカ表示の位置および大きさの一方または両方の変更が可能なことを特徴とする。
【0048】
第6の開示されている発明は、第1~第5の開示されている発明のいずれか一つにおいて、前記点群データの面の方向に合わせて前記切断面の向きが設定されることを特徴とする。
【0049】
第7の開示されている発明は、点群データの3D表示を行う第1の点群データ表示制御ステップと、前記3D表示された前記点群データの切断面を指定するマーカ表示を行うマーカ表示制御ステップと、前記点群データにおける前記切断面に存在する点群を別画面に表示する第2の点群データ表示制御ステップとを備えることを特徴とする画像処理方法である。
【0050】
第8の開示されている発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータを点群データの3D表示を行う第1の点群データ表示制御部と、前記3D表示された前記点群データの切断面を指定するマーカ表示を行うマーカ表示制御部と、前記点群データにおける前記切断面に存在する点群を別画面に表示する第2の点群データ表示制御部として動作させることを特徴とする画像処理用プログラムである。