特許 6868992 画像処理装置、画像処理方法および画像処理用プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6868992

(24)【登録日】2021年4月15日

(45)【発行日】2021年5月12日

(54)【発明の名称】画像処理装置、画像処理方法および画像処理用プログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20210426BHJP

   H04N 13/275 20180101ALI20210426BHJP

   H04N 13/361 20180101ALI20210426BHJP

   G09G 5/36 20060101ALI20210426BHJP

   G09G 5/02 20060101ALI20210426BHJP

【ＦＩ】

   G06T19/00 A

   H04N13/275

   H04N13/361

   G09G5/36 510V

   G09G5/36 510B

   G09G5/02 B

【請求項の数】6

【全頁数】7

(21)【出願番号】特願2016-188223(P2016-188223)

(22)【出願日】2016年9月27日

(65)【公開番号】特開2018-55246(P2018-55246A)

(43)【公開日】2018年4月5日

【審査請求日】2019年8月1日

(73)【特許権者】

【識別番号】000220343

【氏名又は名称】株式会社トプコン

(74)【代理人】

【識別番号】100096884

【弁理士】

【氏名又は名称】末成 幹生

(72)【発明者】

【氏名】森川 直樹

(72)【発明者】

【氏名】伊藤 忠之

【審査官】 山▲崎▼ 雄介

(56)【参考文献】

【文献】 特開２０１４−１３７２４４（ＪＰ，Ａ）

【文献】 特開２０１０−１１２７２９（ＪＰ，Ａ）

【文献】 特開２０１２−０６３８６６（ＪＰ，Ａ）

【文献】 特開２０１４−１１００４３（ＪＰ，Ａ）

【文献】 特開２０１２−０３７４９１（ＪＰ，Ａ）

【文献】 特開２０１４−０３５７０２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００−１９／２０

Ｇ０９Ｇ ５／００−５／４０

Ｈ０４Ｎ １３／００−１７／０６

(57)【特許請求の範囲】

【請求項1】

複数の視点から得られた点群データを統合した統合点群データを３Ｄ表示すると共に、前記複数の視点から得られた複数の点群データの中の一つを３Ｄ表示させることが可能な表示制御部を備え、
前記複数の点群データは、レーザースキャナにより取得され、
前記複数の点群データに含まれる視点の異なる２つの点群データ同士の位置合わせを行う画面において、
前記レーザースキャナを表示し、前記位置合わせの良否を識別可能な第１のマークとターゲットを表示する第２のマークが表示され、
前記第１のマークで示されるレーザースキャナの位置と前記第２のマークの位置とが合った時に前記第２のマークの色が変わることを特徴とする画像処理装置。

【請求項2】

前記統合点群データを３Ｄ表示したものと、前記複数の視点から得られた複数の点群データの中の一つを３Ｄ表示したものとが階層表示されることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記統合点群データの３Ｄ表示において、前記複数の視点から得られた前記複数の点群データのそれぞれは、識別可能な状態で３Ｄ表示されることを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記複数の視点から得られた前記複数の点群データのそれぞれは、異なる色に着色されることを特徴とする請求項３に記載の画像処理装置。

【請求項5】

複数の視点から得られた点群データを統合した統合点群データを３Ｄ表示すると共に、前記複数の視点から得られた複数の点群データの中の一つを３Ｄ表示させ、
前記複数の点群データは、レーザースキャナにより取得され、
前記複数の点群データに含まれる視点の異なる２つの点群データ同士の位置合わせを行う画面において、
前記レーザースキャナを表示し、前記位置合わせの良否を識別可能な第１のマークとターゲットを表示する第２のマークが表示され、
前記第１のマークで示されるレーザースキャナの位置と前記第２のマークの位置とが合った時に前記第２のマークの色が変わることを特徴とする画像処理方法。

【請求項6】

コンピュータに読み取らせて実行させるプログラムであって、
コンピュータを、複数の視点から得られた点群データを統合した統合点群データを３Ｄ表示すると共に、前記複数の視点から得られた複数の点群データの中の一つを３Ｄ表示させることが可能な表示制御部として動作させ、
前記複数の点群データは、レーザースキャナにより取得され、
前記複数の点群データに含まれる視点の異なる２つの点群データ同士の位置合わせを行う画面において、
前記レーザースキャナを表示し、前記位置合わせの良否を識別可能な第１のマークとターゲットを表示する第２のマークが表示され、
前記第１のマークで示されるレーザースキャナの位置と前記第２のマークの位置とが合った時に前記第２のマークの色が変わることを特徴とする画像処理用プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、点群データの画像処理技術に関する。

【背景技術】

【0002】

レーザスキャナやステレオ写真計測によって得られる点群データが知られている（例えば特許文献１や２を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開番号ＷＯ２０１１/０７０９２７号公報

【特許文献2】特開２０１２−２３０５９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

点群データをＰＣ等のディスプレイ上に３Ｄ表示させると、点群により測定対象物の三次元形状が表示される。点群データの主な活用方法として、点群データから三次元モデルを得る技術がある。三次元モデルは、対象物の輪郭線を表示したもので、ＣＡＤソフト上で扱う三次元データと親和性が高い。

【0005】

点群データは、視点から死角となる部分は取得できない。そのため複数の視点から点群データを取得し、それらを位置合わせして統合する作業が必要である。この際、各点群データと統合された点群データの関係が視覚的に把握できると便利である。

【0006】

そこで、本発明は、複数の点群データとそれらが統合された点群データとの関係を視覚的に把握し易い画面表示を行う技術の提供を目的とする。

【課題を解決するための手段】

【0007】

請求項１に記載の発明は、複数の視点から得られた点群データを統合した統合点群データを３Ｄ表示すると共に、前記複数の視点から得られた複数の点群データの中の一つを３Ｄ表示させることが可能な表示制御部を備え、前記複数の点群データは、レーザースキャナにより取得され、前記複数の点群データに含まれる視点の異なる２つの点群データ同士の位置合わせを行う画面において、前記レーザースキャナを表示し、前記位置合わせの良否を識別可能な第１のマークとターゲットを表示する第２のマークが表示され、前記第１のマークで示されるレーザースキャナの位置と前記第２のマークの位置とが合った時に前記第２のマークの色が変わることを特徴とする画像処理装置である。

【0008】

請求項２に記載の発明は、請求項１に記載の発明において、前記統合点群データを３Ｄ表示したものと、前記複数の視点から得られた複数の点群データの中の一つを３Ｄ表示したものとが階層表示されることを特徴とする。

【0009】

請求項３に記載の発明は、請求項１または２に記載の発明において、前記統合点群データの３Ｄ表示において、前記複数の視点から得られた前記複数の点群データのそれぞれは、識別可能な状態で３Ｄ表示されることを特徴とする。

【0010】

請求項４に記載の発明は、請求項３に記載の発明において、前記複数の視点から得られた前記複数の点群データのそれぞれは、異なる色に着色されることを特徴とする。

【0012】

請求項５に記載の発明は、複数の視点から得られた点群データを統合した統合点群データを３Ｄ表示すると共に、前記複数の視点から得られた複数の点群データの中の一つを３Ｄ表示させ、前記複数の点群データは、レーザースキャナにより取得され、前記複数の点群データに含まれる視点の異なる２つの点群データ同士の位置合わせを行う画面において、前記レーザースキャナを表示し、前記位置合わせの良否を識別可能な第１のマークとターゲットを表示する第２のマークが表示され、前記第１のマークで示されるレーザースキャナの位置と前記第２のマークの位置とが合った時に前記第２のマークの色が変わることを特徴とする画像処理方法である。

【0013】

請求項６に記載の発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータを、複数の視点から得られた点群データを統合した統合点群データを３Ｄ表示すると共に、前記複数の視点から得られた複数の点群データの中の一つを３Ｄ表示させることが可能な表示制御部として動作させ、前記複数の点群データは、レーザースキャナにより取得され、前記複数の点群データに含まれる視点の異なる２つの点群データ同士の位置合わせを行う画面において、前記レーザースキャナを表示し、前記位置合わせの良否を識別可能な第１のマークとターゲットを表示する第２のマークが表示され、前記第１のマークで示されるレーザースキャナの位置と前記第２のマークの位置とが合った時に前記第２のマークの色が変わることを特徴とする画像処理用プログラムである。

【発明の効果】

【0014】

本発明によれば、複数の点群データとそれらが統合された点群データとの関係を視覚的に把握し易い画面表示を行う技術が得られる。

【図面の簡単な説明】

【0015】

【図1】実施形態のブロック図である。

【図2】表示画面の一例を示す図面代用写真である。

【図3】表示画面の一例を示す図面代用写真である。

【図4】表示画面の一例を示す図面代用写真である。

【発明を実施するための形態】

【0016】

図１には、画像処理装置１００が示されている。画像処理装置１００は、点群データの処理を行うための装置である。通常は、専用のハードウェアではなく、ＰＣ（パーソナルコンピュータ）に画像処理装置１００の機能を実現するアプリケーションソフトウェアをインストールし、当該アプリケーションソフトウェア起動することで、画像処理装置１００がソフトウェア的に実現される。

【0017】

ＰＣを利用した場合、図１に図示する各機能部は、ソフトウェア的に構成される。なお、図１に示す各機能部を専用の演算回路によって構成してもよい。また、ソフトウェア的に構成された機能部と、専用の演算回路によって構成された機能部が混在していてもよい。例えば、図示する各機能部は、ＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などのＰＬＤ（Programmable Logic Device）などの電子回路により構成される。

【0018】

各機能部を専用のハードウェアで構成するのか、ＣＰＵにおけるプログラムの実行によりソフトウェア的に構成するのかは、要求される演算速度、コスト、消費電力等を勘案して決定される。例えば、特定の機能部をＦＰＧＡで構成すれば、処理速度の上では優位であるが高コストとなる。他方で、ＣＰＵでプログラムを実行することで特定の機能部を実現する構成は、ハードウェア資源を節約できるので、コスト的に優位となる。しかしながら、ＣＰＵで機能部を実現する場合、処理速度は、専用のハードウェアに比較して見劣りする。機能部を専用のハードウェアで構成することとソフトウェア的に構成することは、上述した違いはあるが、特定の機能を実現するという観点からは、等価である。

【0019】

画像処理装置１００は、点群データ記憶部１０１、操作内容受付部１０２、画像データ表示制御部１０３、三次元モデル作成部１０４を備えている。点群データ記憶部１０１は、三次元レーザスキャナが計測した点群データを記憶する。点群データは、ステレオ写真測量の原理を用いて、撮影画像中から抽出した多数の特徴点の三次元座標を求める手法により得ることもできる。

【0020】

操作内容受付部１０２は、画像処理装置１００を操作する作業者の操作内容に係るデータの受付を行う。例えば、当該作業者は、画像処理装置１００として動作するＰＣを操作して各種の作業を行うが、この際における作業者によるＰＣの操作内容が操作内容受付部１０２で受け付けられる。

【0021】

画像データ表示制御部１０３は、点群データをＰＣや適当なディスプレイ（例えば、液晶ディスプレイ）上に表示するための制御を行う。画面表示は、２Ｄ表示および３Ｄ表示が可能である。

【0022】

図２には、画像データ表示制御部１０３で行われる処理によって得られた画面表示の一例が示されている。図２には３分割された画面が示されている。中央上画面は、鉛直上方から見たマップ表示であり、ここでは、対象物（建物）を囲む４方の４つの視点からレーザスキャンを行い４群の点群データが得られた場合が示されている。

【0023】

左下の画面は、上記４群の点群データを統合（一つの座標系上で記述）した統合点群データの３Ｄ表示である。ここで、４つの視点毎に色を変えて点群を表示した例が示され、統合点群データと各点群データの関係が認識し易いようにされている。

【0024】

図２右下の点群データは、図２左下の統合点群データを構成する４群の点群データの一つ（１群）の３Ｄ表示である。この場合、左側の４色の画面が上位の階層の点群データ（統合点群データ）であり、右側の緑色の点群データが下位の階層の点群データ（統合点群データを構成する４群の点群データの中の一つ）である。図２のＵＩ画面では、左側のツリー表示された各画面の識別表示をクリックすることで、他の視点から得られた点群データの３Ｄ表示を適宜選択できる。

【0025】

図２の画面表示を行うことで、上位階層の点群データ（統合された点群データ）と下位階層の点群データ（各視点から得た点群データ）の関係が視覚的に把握し易くなる。特に、上位の階層の統合された点群データと、その下位の階層の複数の点群データのツリー構造が視覚的に把握し易くなるので、特定の点群データの視点の変更の検討等を行う場合に便利となる。

【0026】

図３および図４には、画像データ表示制御部１０３で行われる処理によって得られた画面表示の一例が示されている。点群データの取得に際、予め測定対象物に複数の位置合わせ用のマーカを配置しておき、このマーカを利用して、視点の異なる２つの点群データの位置合わせ（レジストレーション）が行われる。

【0027】

図３，４において、スキャナー（ステーション）が▲表示され、ターゲットは○で表示されている。ターゲット単体では黄色の○表示され、レジストレーションに使用され、スキャナーの位置と合わされた時、オレンジに色が変わる。また、レジストレーションの位置合わせがずれている場合、図３に示す様に△表示が○表示の中央からずれて表示され、位置合わせが出来ていないことが明確に示される。また、位置合わせができると中央から円周に向けた線が表示され、位置合わせができたことを作業者が認識できるようにされている。

【0028】

以上の様に、スキャナーのレジストレーションをする際に、正確な位置合わせが出来ているかを視覚的に判断できるように表示が工夫されている。これらの表示制御が画像データ表示制御部１０３で行われる。

【0029】

三次元モデル作成部１０４は、点群データに基づく三次元モデルの作成を行う。点群データに基づき三次元モデルを作成する技術については、国際公開番号ＷＯ２０１１/０７０９２７号公報、特開２０１２−２３０５９４号公報、特開２０１４−３５７０２号公報に記載された技術を利用できる。

【図1】

【図2】

【図3】

【図4】