IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

<>
  • 特許-表示装置、表示方法及び表示プログラム 図1
  • 特許-表示装置、表示方法及び表示プログラム 図2
  • 特許-表示装置、表示方法及び表示プログラム 図3
  • 特許-表示装置、表示方法及び表示プログラム 図4
  • 特許-表示装置、表示方法及び表示プログラム 図5
  • 特許-表示装置、表示方法及び表示プログラム 図6
  • 特許-表示装置、表示方法及び表示プログラム 図7
  • 特許-表示装置、表示方法及び表示プログラム 図8
  • 特許-表示装置、表示方法及び表示プログラム 図9
  • 特許-表示装置、表示方法及び表示プログラム 図10
  • 特許-表示装置、表示方法及び表示プログラム 図11
  • 特許-表示装置、表示方法及び表示プログラム 図12
  • 特許-表示装置、表示方法及び表示プログラム 図13
  • 特許-表示装置、表示方法及び表示プログラム 図14
  • 特許-表示装置、表示方法及び表示プログラム 図15
  • 特許-表示装置、表示方法及び表示プログラム 図16
  • 特許-表示装置、表示方法及び表示プログラム 図17
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-20
(45)【発行日】2023-11-29
(54)【発明の名称】表示装置、表示方法及び表示プログラム
(51)【国際特許分類】
   G06T 17/05 20110101AFI20231121BHJP
   G01S 7/51 20060101ALI20231121BHJP
【FI】
G06T17/05
G01S7/51
【請求項の数】 10
(21)【出願番号】P 2022507050
(86)(22)【出願日】2020-03-10
(86)【国際出願番号】 JP2020010334
(87)【国際公開番号】W WO2021181525
(87)【国際公開日】2021-09-16
【審査請求日】2022-08-12
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】小野 善将
(72)【発明者】
【氏名】辻 聡
(72)【発明者】
【氏名】鈴木 茂央
(72)【発明者】
【氏名】安部 淳一
(72)【発明者】
【氏名】安倍 次朗
【審査官】三沢 岳志
(56)【参考文献】
【文献】特開2019-053721(JP,A)
【文献】米国特許出願公開第2011/0072397(US,A1)
【文献】特開2008-009895(JP,A)
【文献】特開2019-145072(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 17/05
G01S 7/51
(57)【特許請求の範囲】
【請求項1】
3次元光センサにより測定された測定点群データを含む3次元空間において、前記測定点群データを2次元表示するための視点から前記測定点群データ内の対象点群データまでの中間領域の中間点群データを検出する検出手段と、
前記検出された中間点群データに基づいて、前記視点から前記対象点群データが視認可能となるように、前記測定点群データまたは前記対象点群データの表示態様を設定する設定手段と、
前記設定した表示態様にしたがって、前記測定点群データ及び前記対象点群データを2次元表示する表示手段と、
を備える、表示装置。
【請求項2】
前記対象点群データが複数ある場合、いずれかの対象点群データを選択する選択手段をさらに備え、
前記検出手段は、前記選択された対象点群データに基づいて、前記中間点群データを検出する、
請求項1に記載の表示装置。
【請求項3】
前記選択手段は、前記対象点群データを表示すべき優先順位にしたがって、前記対象点群データを選択する、
請求項2に記載の表示装置。
【請求項4】
前記対象点群データは、前記測定点群データの異常部分のデータであり、
前記選択手段は、前記対象点群データの異常レベルにしたがって、前記対象点群データを選択する、
請求項2に記載の表示装置。
【請求項5】
前記対象点群データの異常レベルは、前記3次元空間における前記対象点群データの体積に基づいている、
請求項4に記載の表示装置。
【請求項6】
前記対象点群データは、異常解析装置が前記測定点群データの異常を解析した結果を示すデータであり、
前記選択手段は、前記異常解析装置が付与した解析結果の信頼度にしたがって、前記対象点群データを選択する、
請求項2に記載の表示装置。
【請求項7】
前記選択手段は、入力されるユーザ操作に応じて、前記対象点群データを選択する、
請求項2に記載の表示装置。
【請求項8】
前記設定手段は、前記表示態様として、前記中間領域に前記中間点群データが存在しないように、前記視点の位置を設定する、
請求項1乃至7のいずれか一項に記載の表示装置。
【請求項9】
3次元光センサにより測定された測定点群データを含む3次元空間において、前記測定点群データを2次元表示するための視点から前記測定点群データ内の対象点群データまでの中間領域の中間点群データを検出し、
前記検出された中間点群データに基づいて、前記視点から前記対象点群データが視認可能となるように、前記測定点群データまたは前記対象点群データの表示態様を設定し、
前記設定した表示態様にしたがって、前記測定点群データ及び前記対象点群データを2次元表示する、
表示方法。
【請求項10】
3次元光センサにより測定された測定点群データを含む3次元空間において、前記測定点群データを2次元表示するための視点から前記測定点群データ内の対象点群データまでの中間領域の中間点群データを検出し、
前記検出された中間点群データに基づいて、前記視点から前記対象点群データが視認可能となるように、前記測定点群データまたは前記対象点群データの表示態様を設定し、
前記設定した表示態様にしたがって、前記測定点群データ及び前記対象点群データを2次元表示する、
処理をコンピュータに実行させるための表示プログラム
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示装置、表示方法及び表示プログラムが格納された非一時的なコンピュータ可読媒体に関する。
【背景技術】
【0002】
光を用いて測定物までの距離と形状を測定する3次元光センサが知られている。3次元光センサは、ToF(Time of Flight)方式を用いることで、広範囲にわたって測定物の距離と形状を取得できるため、インフラ設備の点検やセキュリティ監視等に利用されている。このような監視では、3次元光センサの測定結果である3次元の点群データを表示装置に2次元表示することで監視が行われている。
【0003】
関連する技術として、例えば特許文献1~2が知られている。特許文献1には、3次元光センサが生成した点群データを3次元モデル上に投影し、3次元モデルを可視化することが記載されている。特許文献2には、カメラによって撮像された撮像画像を空間モデルにマッピングすることで、3次元空間における任意の仮想視点から見た画像を表示することが記載されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特表2006-503379号公報
【文献】特開2005-268847号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記のように関連する技術では、3次元光センサが生成した点群データの3次元モデルを可視化することや、カメラ画像を任意の視点から見た画像に変換することを可能としている。しかしながら、関連する技術では、3次元光センサが測定した測定点群データを2次元表示する際に、監視対象等の対象点群データの表示方法が考慮されていないため、測定点群データと対象点群データを適切に2次元表示することが困難な場合があるという問題がある。
【0006】
本開示は、このような課題に鑑み、測定点群データと対象点群データを適切に2次元表示することが可能な表示装置、表示方法及び表示プログラムが格納された非一時的なコンピュータ可読媒体を提供することを目的とする。
【課題を解決するための手段】
【0007】
本開示に係る表示装置は、3次元光センサにより測定された測定点群データを含む3次元空間において、前記測定点群データを2次元表示するための視点から前記測定点群データ内の対象点群データまでの中間領域の中間点群データを検出する検出手段と、前記検出された中間点群データに基づいて、前記視点から前記対象点群データが視認可能となるように、前記測定点群データまたは前記対象点群データの表示態様を設定する設定手段と、前記設定した表示態様にしたがって、前記測定点群データ及び前記対象点群データを2次元表示する表示手段と、を備えるものである。
【0008】
本開示に係る表示方法は、3次元光センサにより測定された測定点群データを含む3次元空間において、前記測定点群データを2次元表示するための視点から前記測定点群データ内の対象点群データまでの中間領域の中間点群データを検出し、前記検出された中間点群データに基づいて、前記視点から前記対象点群データが視認可能となるように、前記測定点群データまたは前記対象点群データの表示態様を設定し、前記設定した表示態様にしたがって、前記測定点群データ及び前記対象点群データを2次元表示するものである。
【0009】
本開示に係る表示プログラムが格納された非一時的なコンピュータ可読媒体は、3次元光センサにより測定された測定点群データを含む3次元空間において、前記測定点群データを2次元表示するための視点から前記測定点群データ内の対象点群データまでの中間領域の中間点群データを検出し、前記検出された中間点群データに基づいて、前記視点から前記対象点群データが視認可能となるように、前記測定点群データまたは前記対象点群データの表示態様を設定し、前記設定した表示態様にしたがって、前記測定点群データ及び前記対象点群データを2次元表示する、処理をコンピュータに実行させるための表示プログラムが格納された非一時的なコンピュータ可読媒体である。
【発明の効果】
【0010】
本開示によれば、測定点群データと対象点群データを適切に2次元表示することが可能な表示装置、表示方法及び表示プログラムが格納された非一時的なコンピュータ可読媒体を提供することができる。
【図面の簡単な説明】
【0011】
図1】実施の形態に係る表示装置の概要を示す構成図である。
図2】実施の形態1に係る監視システムの構成例を示す構成図である。
図3】実施の形態1に係る表示装置の画面表示例を示す図である。
図4】実施の形態1に係る表示装置の構成例を示す構成図である。
図5】実施の形態1に係る表示装置の基本動作例を示すフローチャートである。
図6】実施の形態1に係る表示装置の画面表示例を示す図である。
図7】実施の形態1に係る表示装置の具体的な動作例を示すフローチャートである。
図8】実施の形態1に係る表示装置の動作を説明するための図である。
図9】実施の形態1に係る表示装置の画面表示例を示す図である。
図10】実施の形態2に係る表示装置の具体的な動作例を示すフローチャートである。
図11】実施の形態2に係る表示装置の動作を説明するための図である。
図12】実施の形態2に係る表示装置の画面表示例を示す図である。
図13】実施の形態3に係る表示装置の具体的な動作例を示すフローチャートである。
図14】実施の形態3に係る表示装置の画面表示例を示す図である。
図15】実施の形態4に係る表示装置の具体的な動作例を示すフローチャートである。
図16】実施の形態4に係る表示装置の画面表示例を示す図である。
図17】実施の形態に係るコンピュータのハードウェアの概要を示す構成図である。
【発明を実施するための形態】
【0012】
以下、図面を参照して実施の形態について説明する。各図面においては、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略される。
【0013】
(実施の形態の概要)
図1は、実施の形態に係る表示装置の概要を示している。図1に示すように、実施の形態に係る表示装置10は、検出部11、設定部12、表示部13を備えている。
【0014】
検出部11は、3次元光センサにより測定された測定点群データを含む3次元空間において、測定点群データを2次元表示するための視点から測定点群データ内の対象点群データまでの中間領域の中間点群データ(測定点群データでもある)を検出する。設定部12は、検出部11により検出された中間点群データに基づいて、視点から対象点群データが視認可能となるように、測定点群データまたは対象点群データの表示態様を設定する。表示部13は、設定部12が設定した表示態様にしたがって、測定点群データ及び対象点群データを2次元表示する。
【0015】
このように、実施の形態では、3次元光センサにより測定された測定点群データと対象点群データとを2次元表示する際に、3次元空間における視点と対象点群データの間の中間点群データの検出に応じて、視点から対象点群データが視認可能となるように、測定点群データまたは対象点群データの表示態様を設定する。これにより、測定点群データと対象点群データを適切に2次元表示し、測定点群データを表示した状態で、ユーザがはっきりと対象点群データを把握することが可能となる。
【0016】
(実施の形態1)
以下、図面を参照して実施の形態1について説明する。図2は、本実施の形態に係る監視システム1の構成例を示している。本実施の形態に係る監視システム1は、3次元光センサで取得した3次元の点群データを使って監視対象の施設を監視するシステムである。図2に示すように、本実施の形態に係る監視システム1は、表示装置100、2つの3次元光センサ200(200a及び200b)、異常解析装置300を備えている。なお、表示装置100と異常解析装置300を一つの装置としてもよい。
【0017】
3次元光センサ200は、ToF方式により監視対象(測定対象)までの距離を測定し、測定した結果に基づいて点群データ(測定点群データ)を生成する3次元センサである。点群データは、測定範囲の各測定点において、監視対象からの反射光により得られた3次元空間の位置情報及び輝度情報を有する。3次元光センサ200は、具体的には3D-LiDAR(Light Detection and Ranging)である。
【0018】
3次元光センサ200a及び200bは、異なる測定位置に設置され、設置された測定位置から監視対象を測定し、それぞれ測定点群データPD1及びPD2を生成する。異なる位置に設置された2つの3次元光センサ200により測定することで、点群データが正確に得られない(光が届かない)領域の発生を抑え、測定精度を向上することができる。なお、2つに限らず、さらに複数の3次元光センサを備えていてもよい。
【0019】
異常解析装置300は、3次元光センサ200a及び200bの測定結果である測定点群データPD1及びPD2を取得し、測定点群データPD1及びPD2(監視対象)の異常を解析する。例えば、異常解析装置300は、3次元光センサ200a及び200bから、定期的に測定点群データPD1及びPD2を取得し、測定点群データPD1及びPD2の時間的変化を解析する。異常解析装置300は、前回取得した測定点群データPD1及びPD2と今回取得した測定点群データPD1及びPD2との差分を求め、差分が所定の基準以上の場合、異常ありと判定し、差分が大きい異常箇所を特定する。異常解析装置300は、異常と判定された箇所の点群データである異常点群データAD、測定点群データPD1及びPD2を表示装置100へ出力する。
【0020】
表示装置100は、3次元光センサ200a及び200bの測定結果及び異常解析装置300の解析結果を表示することで、監視者(ユーザ)が監視対象の異常を監視する監視装置である。表示装置100は、3次元光センサ200a及び200bの測定結果である測定点群データPD1及びPD2に基づいた、監視対象(構造物)全体の3次元データである背景点群データBD(測定点群データ)を表示画面W1に2次元表示するとともに、同じ表示画面W1に異常解析装置300の解析結果である異常点群データAD(対象点群データ)を2次元表示する。
【0021】
図3は、表示画面W1の表示例を示している。図3に示すように、表示装置100は、2次元の表示画面W1に3次元の異常点群データADと背景点群データBDを含めて表示する。そうすると、図3に示すように、異常点群データADが手前の点群(背景点群データBD)に隠れてしまい、奥にある異常点群データADが表示画面W1を監視する監視者から見えない(2次元表示画面に表示されない)、もしくは見え難い場合がある。このように、例えば、複数の測定点で測定した点群データをまとめて表示する際、表示方法によっては、異常点群データADが隠れる恐れがある。そこで、本実施の形態では、異常と判定された異常点群データADの3次元位置情報や重要度、背景点群データBDの3次元位置情報に基づいて、2次元表示画面上に異常点群データADが隠れて表示されることを抑止する。
【0022】
図4は、本実施の形態に係る表示装置100の構成例を示している。図4に示すように、本実施の形態に係る表示装置100は、入力部101、取得部102、記憶部103、表示部104、重要度設定部105、点群検出部106、表示設定部107を備えている。なお、各部(ブロック)の構成は一例であり、後述の方法(動作)が可能であれば、その他の各部で構成されてもよい。また、表示装置100は、例えば、サーバやパーソナルコンピュータ等のコンピュータ装置で実現されるが、1つの装置で実現してもよいし、複数の装置で実現してもよい。
【0023】
入力部101は、表示装置100を操作するユーザ(監視者)から入力された情報を取得する入力インタフェースである。入力部101は、キーボードやマウス、タッチパネル等の入力装置から、ユーザの操作に応じた情報が入力される。
【0024】
取得部102は、異常解析装置300や3次元光センサ200a及び200bとデータの入出力可能に接続されており、異常解析装置300から測定点群データPD1及びPD2と異常点群データADを取得する。なお、3次元光センサ200a及び200bから、測定点群データPD1及びPD2を取得してもよい。また、取得部102は、測定点群データPD1及びPD2に基づいて、背景点群データBDを生成する生成部でもある。なお、背景点群データBDを、異常解析装置300や他の装置から取得してもよい。背景点群データBDは、測定点群データPD1及びPD2を含む監視対象(測定対象)の測定点群データである。
【0025】
記憶部103は、表示装置100の動作(処理)に必要なデータやプログラムを記憶する記憶部(格納部)である。記憶部103は、例えば、フラッシュメモリなどの不揮発性メモリやハードディスク装置等である。例えば、記憶部103は、取得部102が取得した点群データや表示パラメータ、3次元光センサ200a及び200bの測定条件等を記憶する。
【0026】
表示部104は、表示装置100の各部が処理したデータ等を、表示設定部107の表示設定にしがたい表示画面W1に表示する表示部である。表示部104、例えば、液晶ディスプレイや有機ELディスプレイ等のディスプレイ装置である。表示部104は、GUI(Graphical User Interface)により、表示画面W1に異常点群データADと背景点群データBDを表示してもよい。
【0027】
重要度設定部105は、取得部102が取得した異常点群データADの重要度を設定する。例えば、複数の異常点群データADを取得し、各異常点群データADに対し重要度を設定する。重要度は、異常点群データADの異常レベル(異常度)であり、検出された異常箇所が実際に異常である確率(異常解析装置が付与した信頼度)や、監視や表示を必要とする度合い(表示すべき優先順位)であるとも言える。なお、異常解析装置300や他の装置が重要度を設定し、設定された重要度を取得してもよい。さらに、重要度設定部(選択部)105は、異常点群データADが複数ある場合、設定した重要度に基づいて、表示する異常点群データADを選択する。例えば、重要度が最も大きい異常点群データADを選択する。重要度が閾値よりも大きい異常点群データADを選択してもよい。なお、重要度に限らず、ユーザの操作に応じて、表示する異常点群データADを選択してもよい。
【0028】
点群検出部106は、3次元空間における背景点群データBDのフリースペースを検出する。点群検出部106は、2次元表示のための視点の位置と異常点群データADとの間の中間領域において、背景点群データBD(中間点群データ)の有無を検出する。点群検出部106は、重要度に基づいて選択された異常点群データADと視点との間の背景点群データBDを検出する。点群検出部106は、3次元空間における異常点群データADと背景点群データBDの位置関係に基づいて、2次元表示において異常点群データADが視認されるか否か(隠れるか否か)を検出するとも言える。
【0029】
表示設定部107は、点群検出部106の検出結果に応じて、異常点群データADまたは背景点群データBDを表示画面W1に表示するための表示設定を行う(表示設定を決定する)。表示設定とは、点群データの表示方法(見え方)を示す表示態様(表示モード)の設定であり、表示に必要な表示パラメータ等の設定を含む。表示設定部107は、異常点群データADが監視者から視認可能となるように、異常点群データADまたは背景点群データBDの表示態様を設定する。本実施の形態では、表示態様(表示モード)の一例として、異常点群データADが見やすい(視認可能な)位置に視点を設定する(視点切替モードと言う)。
【0030】
視点切替モードでは、異常点群データADが見やすい視点とするため、異常点群データADと視点の間の中間領域に背景点群データBD(中間点群データ)が存在しないように視点の位置を設定する。また、3次元光センサの測定点(測定位置)に基づいて、視点の位置を設定し、例えば、いずれかの3次元光センサの測定点に近い位置の視点を選択する。さらに、3次元空間において背景点群データBDを回転させる回転中心点の位置を異常点群データADの位置に基づいて決定し、例えば回転中心点を異常点群データADの重心の位置とする。また、視点から見て異常点群データADを含む所定の範囲が表示領域となるように視点を設定し、例えば、異常点群データADを含む背景点群データBDの全体が表示領域となるように視点を設定する。
【0031】
図5は、本実施の形態に係る表示装置100の基本動作を示している。この基本動作は他の実施の形態にも適用可能である。図5に示すように、まず、表示装置100は、背景点群データBDを取得する(S101)。3次元光センサ200a及び200bが監視対象を測定して測定点群データPD1及びPD2を生成すると、異常解析装置300が異常解析のために測定点群データPD1及びPD2を取得し、さらに表示装置100の取得部102が異常解析装置300から測定点群データPD1及びPD2を取得する。取得部102は、複数の測定点群データPD1及びPD2から表示画面W1に表示するための背景点群データBDを生成する。例えば、3次元光センサ200aの位置及び測定点群データPD1の位置の関係から求まる各データ(点データ)の3次元位置と、3次元光センサ200bの位置及び測定点群データPD2の位置の関係から求まる各データの3次元位置とに基づいて、監視対象の3次元データである背景点群データBDを生成する。
【0032】
また、表示装置100は、異常点群データADを取得し(S102)、異常点群データADの重要度を設定するとともに、表示する異常点群データADを選択する(S103)。異常解析装置300が測定点群データPD1及びPD2を解析し異常点群データADを生成すると、表示装置100の取得部102が異常解析装置300から異常点群データADを取得する。さらに、表示装置100の重要度設定部105は、取得された異常点群データADの重要度を設定する。例えば、重要度設定部105は、複数の異常点群データADを取得すると、各異常点群データADの3次元空間における体積を求め、求めた体積に基づいて重要度を設定する。重要度設定部105は、体積が大きい異常点群データADの重要度を高くし、体積が小さい異常点群データADの重要度を低く設定する。また、異常解析装置300が解析時に異常点群データADに対し信頼度を付与し、重要度設定部105は、付与された信頼度に基づいて、異常点群データADの重要度を設定してもよい。例えば、異常の検出される期間が長い場合、付与される信頼度は大きく設定される。
【0033】
さらに、重要度設定部105は、複数の異常点群データADが取得されている場合、設定された重要度に基づいて、表示すべき異常点群データADを選択する。例えば、重要度設定部105は、最も高い重要度の異常点群データADを選択する。
【0034】
続いて、表示装置100は、2次元表示のための表示設定を決定する(S104)。背景点群データBD及び異常点群データADが取得され、表示する異常点群データADが選択されると、表示設定部107は、選択された高い重要度の異常点群データADが監視者から視認可能となるように異常点群データADまたは背景点群データBDの表示態様を決定する。
【0035】
続いて、表示装置100は、決定された表示設定にしたがって表示画面W1に2次元表示を行う(S105)。表示装置100の表示部104は、決定された表示設定(表示態様)にしたがって異常点群データAD及び背景点群データBDを表示画面W1に表示する。図6は、異常点群データADの重要度にしたがって表示する表示例である。例えば、重要度=10の異常点群データADと重要度=2の異常点群データADがある場合、重要度=10の異常点群データADが見やすくなるよう表示する。図6は、表示態様を視点切替モードに設定した例であり、重要度=10の異常点群データADが見やすい視点を選択し、異常点群データAD周辺を拡大した状態で表示画面W1に表示している。
【0036】
図7は、本実施の形態に係る表示装置100の具体的な動作例であり、表示態様を視点切替モードに設定する場合の動作を示している。図7に示すように、表示装置100は、図5のS101及びS102と同様、背景点群データBDを取得するとともに(S111)、異常点群データADを取得する(S112)。
【0037】
続いて、表示装置100は、背景点群データBDの全体を表示可能な視点の候補を抽出する(S113)。表示設定部107は、2次元表示のための視点の候補として、異常点群データADを含む背景点群データBDの全体を表示画面W1に表示可能な視点を抽出する。視点が異常点群データADに近すぎると、監視対象のどの部分に異常があるのか把握することができない。このため、背景点群データBDの全体を表示可能な視点を視点候補とする。なお、監視対象における異常箇所の位置が把握できればよいため、背景点群データBDの全てを表示可能な視点を抽出してもよいし、異常点群データADの周辺の所定の範囲を表示可能な視点を抽出してもよい。
【0038】
また、表示装置100は、背景点群データBDのフリースペースを特定する(S114)。点群検出部106は、3次元空間における背景点群データBDの中でデータ(点データ)のないフリースペースを検出する。例えば、点群検出部106は、点群データに対し領域の特徴を分析する分析ツール(タグ付けツール)を使用して、フリースペースを検出する。点群データを分析ツールに入力すると、例えば、図8のように、3次元空間における点群データの各領域に分析結果が付与される。図8において、“Occupied”の領域は、物体がある領域、すなわち、点群データが得られている領域(反射光が検出された領域)である。“Free”の領域は、何も物体が無い領域(フリースペース)、すなわち、視点と点群データの間に点群データがない領域である。“Unknown”の領域は、“Occupied”と“Free”のどちらか分からない領域、すなわち、“Occupied”の裏側で点群データが得られていない(照射光が届かない)領域である。なお、分析ツールを使用せずにフリースペースを検出してもよい。例えば、3次元空間における視点の座標と異常点群データADの座標から、視点と異常点群データADの間の中間領域を特定し、特定した中間領域内の背景点群データBDを検出する。
【0039】
また、表示装置100は、異常点群データADに基づいて回転中心点(焦点)を決定する(S115)。表示設定部107は、異常点群データADが見やすいように点群データを回転させるため、例えば異常点群データADの重心を回転中心点とする。なお、重心に限らず、異常点群データADに含まれる点を回転中心点としてもよい。また、複数の異常点群データADがある場合、図5と同様、重要度に基づいて回転中心とする異常点群データADを選択する。
【0040】
続いて、表示装置100は、異常点群データADまでの中間領域がフリースペースとなる視点候補を抽出する(S116)。点群検出部106は、S114で特定したフリースペースの情報をもとに、3次元空間においてS113で候補とした視点から異常点群データADまでの中間領域がフリースペースか否か(中間領域に点群データがあるか否か)判定し、中間領域がフリースペースとなる視点候補を抽出する。このとき、S115で決定した回転中心点を中心として、3次元空間で異常点群データAD及び背景点群データBDを回転させて、中間領域における点群データを検出する。
【0041】
続いて、表示装置100は、3次元光センサの測定位置に最も近い視点を選択する(S117)。表示設定部107は、異常点群データADまでの中間領域がフリースペースであるとして抽出された視点候補が複数ある場合、3次元光センサ200a及び200bの測定位置と視点候補の位置との距離を求め、3次元光センサ200aまたは200bの測定位置に最も近い視点を選択する。通常、監視対象を測定する場合、最も監視しやすい(見やすい)位置に3次元光センサを設置していると想定されるため、3次元光センサの位置に最も近い視点を選択する。
【0042】
続いて、表示装置100は、選択された視点にしたがって表示画面W1に2次元表示を行う(S118)。表示部104は、S115で決定された回転中心とS117で決定された視点にしたがって異常点群データAD及び背景点群データBDを表示画面W1に表示する。図9は、視点切替モードにより、異常点群データADを中心として視点の位置を移動して表示する表示例である。図9に示すように、視点移動前は、異常点群データADと視点との間に背景点群データBDがあるため、異常点群データADを見ることができない。これに対し、視点移動後は、上記処理により視点を移動することにより、異常点群データADと視点との間に背景点群データBDがないため、異常点群データADをはっきりと視認することができる。
【0043】
以上のように、本実施の形態では、異常点群データを含めて背景点群データを2次元表示する際に、異常点群データが見やすいように表示態様を設定することで、監視者が異常箇所をはっきりと把握可能とする。例えば、複数の異常箇所が検出された場合に、異常の重要度に応じて選択された異常点群データを表示することで、監視者が監視すべき異常箇所を優先的に表示することができる。また、表示態様の一例として、視点切替モードにより視点の位置を適切に設定することで、異常点群データを確実に視認可能とすることができる。
【0044】
(実施の形態2)
以下、図面を参照して実施の形態2について説明する。本実施の形態は、実施の形態1に係る表示装置100の他の具体的な動作例として、表示態様を、背景点群データまたは異常点群データの表示パラメータを、視点から異常点群データまでの点群密度に応じて設定する(点群表示調整モードと言う)。表示態様の設定以外については実施の形態1と同様である。
【0045】
本実施の形態に係る表示装置100の表示設定部107は、異常点群データADを視認可能とする表示態様の一例として、点群表示調整モードにより、背景点群データBDまたは異常点群データADの表示パラメータ、例えば透明度・サイズ・密度等を、視点から異常点群データADまでの背景点群データBDの点群密度に応じて変更する。透明度は、2次元表示における点群データの表示を透明化させる度合いであり、透明度が大きいほど背面側のデータが透けて見えるようになる。サイズは、2次元表示における点群データの各点を示す円の大きさである。密度は、2次元表示における点群データの各点を示す円の面密度である。
【0046】
図10は、本実施の形態に係る表示装置100の具体的な動作例であり、表示態様を点群表示調整モードに設定する場合の動作を示している。図10に示すように、表示装置100は、図5のS101及びS102と同様、背景点群データBDを取得するとともに(S201)、異常点群データADを取得する(S202)。また、表示装置100は、2次元表示のための視点を設定する(S203)。視点は予め設定されていてもよいし、ユーザ(監視者)が任意に選択してもよい。
【0047】
続いて、表示装置100は、視点から異常点群データADまでの中間領域に含まれる背景点群データBDを抽出する(S204)。点群検出部106は、図7のS116と同様、3次元空間においてS203で設定された視点から異常点群データADまでの中間領域を特定し、特定した中間領域に背景点群データBDがあるか否か(フリースペースか否か)判定し、中間領域に含まれる背景点群データBDを抽出する。例えば、実施の形態1と同様、分析ツールにより得られるフリースペースの情報を用いてもよい。
【0048】
続いて、表示装置100は、抽出された背景点群データBDの2次元表示画面に占める面密度を算出する(S205)。表示設定部107は、異常点群データADの見やすい表示パラメータを決めるため、中間領域で抽出された背景点群データBDの点群密度を求める。例えば、図11に示すように、視点と異常点群データADの間の中間領域における背景点群データBDを(仮想的な)2次元表示画面に投影し、2次元表示画面上に投影された点群の密度(面密度)を求める。なお、3次元空間における中間領域の点群データの3次元密度を求めてもよい。
【0049】
続いて、表示装置100は、算出された面密度に応じて、背景点群データBDまたは異常点群データADの表示設定を決定する(S206)。表示設定部107は、点群表示調整モードにより、異常点群データADが見やすくなるように、算出された面密度に応じて、背景点群データBDまたは異常点群データADの表示パラメータを設定する。点群表示調整モードでは、背景点群データBDと異常点群データADのいずれかの表示パラメータのみの設定を変更してもよいし、両方の設定を変更してもよい。例えば、表示設定部107は、表示パラメータとして、点群データの透明度・サイズ・密度を変更する。透明度・サイズ・密度のいずれかの設定のみを変更してもよいし、任意のいくつかの設定を組み合わせて変更してもよい。また、透明度・サイズ・密度以外の表示パラメータを設定してもよい。
【0050】
背景点群データBDまたは異常点群データADの透明度・サイズ・密度を変更することで、異常点群データADを目立つように表示できる。例えば、中間領域の面密度が高いほど、背景点群データBDの透明度を高くしてもよいし、また、背景点群データBDのサイズを小さくしてもよいし、さらに、背景点群データBDのデータを間引いて密度を低くしてもよい。逆に、中間領域の面密度が高いほど、異常点群データADの透明度を低くしてもよいし、また、異常点群データADのサイズを大きくしてもよいし、さらに、異常点群データADのデータを増やして密度を高くしてもよい。
【0051】
背景点群データBDの表示パラメータを変更する場合、中間領域の背景点群データBDや異常点群データADの周辺(近傍)の所定範囲の背景点群データBDのみの設定を変更してもよいし、背景点群データBDの全体の設定を変更してもよい。背景点群データBDまたは異常点群データADの表示パラメータの設定を徐々に変更させて表示(グラデーション表示)してもよい。異常点群データADに近づくにしたがって、背景点群データBDの表示パラメータを変更してもよい。例えば、異常点群データADに近いほど、背景点群データBDの透明度を高くしてもよいし、また、背景点群データBDのサイズを小さくしてもよいし、さらに、背景点群データBDのデータを間引いて密度を低くしてもよい。位置に応じて表示パラメータを変化させる他に、表示する時間の経過にしたがって、背景点群データBDや異常点群データADの表示パラメータを徐々に変化させてもよい。また、グラデーション表示に限らず、背景点群データBDを明滅表示してもよい。さらに、異常点群データADの重要度に基づいて、背景点群データBDまたは異常点群データADの表示パラメータの設定を変更してもよい。
【0052】
続いて、表示装置100は、決定された表示設定にしたがって表示画面W1に2次元表示を行う(S207)。表示部104は、S203で設定された視点とS206で決定された表示設定にしたがって異常点群データAD及び背景点群データBDを表示画面W1に表示する。図12は、点群表示調整モードにより、背景点群データBDの密度を変更して表示する表示例である。図12に示すように、設定変更前は、異常点群データADと視点との間に背景点群データBDがあるため、異常点群データADが見ることができない。これに対し、設定変更後は、上記処理により背景点群データBDのデータを間引いて密度を低くすることにより、異常点群データADをはっきりと視認することができる。
【0053】
以上のように、本実施の形態では、実施の形態1における表示態様の他の例として、点群表示調整モードにより背景点群データまたは異常点群データの透明度・サイズ・密度等の表示パラメータを適切に設定したり、背景点群データを明滅表示したりすることで、異常点群データを確実に視認可能とすることができる。
【0054】
(実施の形態3)
以下、図面を参照して実施の形態3について説明する。本実施の形態は、実施の形態1に係る表示装置100の他の具体的な動作例として、表示態様を、異常点群データを中心に異常点群データを含む背景点群データを回転して表示するよう設定する(回転表示モードと言う)。表示態様の設定以外については実施の形態1と同様である。
【0055】
本実施の形態に係る表示装置100の表示設定部107は、異常点群データADを視認可能とする表示態様の一例として、回転モードにより、回転表示のための回転中心や回転方向、回転速度等の回転パラメータを設定する。例えば、回転表示している状態で監視者が回転パラメータを指定できるようにしてもよいし、異常点群データADが見やすいように回転速度等を変更してもよい。
【0056】
図13は、本実施の形態に係る表示装置100の具体的な動作例であり、表示態様を回転表示モードに設定する場合の動作(回転速度を変更する動作)を示している。図13に示すように、表示装置100は、図7のS111、S112、S114及びS115と同様、背景点群データBDを取得し(S301)、異常点群データADを取得し(S302)、フリースペースを特定し(S303)、回転中心点を決定する(S304)。
【0057】
続いて、表示装置100は、背景点群データBDの全体を表示可能な回転中心点からの距離を決定する(S305)。表示設定部107は、背景点群データBDを回転表示するため、背景点群データBDの全体(異常点群データADを含む所定の範囲)を表示画面W1に表示可能な回転中心点からの距離を決定する。回転中心点からの距離とは、回転表示の際の回転中心点と視点の間の距離である。
【0058】
続いて、表示装置100は、図7のS116と同様、異常点群データADまでの中間領域がフリースペースとなる視点候補を抽出し(S306)、さらに、抽出した視点候補に基づいて、回転表示の各回転角における回転速度を決定する(S307)。表示設定部107は、回転表示の際に、異常点群データADを見やすく表示するため、抽出した視点候補に対応する回転角(視点から回転中心を見た時の3次元空間における点群データの角度)の回転速度が変わるように設定する。例えば、中間領域に背景点群データBDが存在しない回転角では回転速度を遅くするよう設定する。
【0059】
続いて、表示装置100は、決定された設定にしたがって表示画面W1に回転表示を行う(S308)。表示部104は、S304で決定された回転中心、S305で決定された距離、S307で決定された回転速度にしたがって、異常点群データAD及び背景点群データBDを表示画面W1に回転表示する。図14は、回転表示モードにより、異常点群データADを中心として回転表示する表示例である。図14に示すように、回転角A~Cのように異常点群データAD及び背景点群データBDを繰り返し回転して表示する。なお、回転方向は例えば水平方向であるが、その他の任意の方向を設定してもよい。回転角Aでは、異常点群データADと視点との間に背景点群データBDがあるため、異常点群データADを見ることができない。一方、異常点群データADを中心に背景点群データBDを回転させることで、回転角Bや回転角Cでは視点の角度が変わり、回転角Aよりも異常点群データADが見やすくなる。例えば、回転角Bは、異常点群データADと視点との間の中間に背景点群データBDがないため、異常点群データADを視認することができ、さらに、回転角Bにおいて回転速度を遅くすることで、異常点群データADをはっきりと把握することができる。
【0060】
以上のように、本実施の形態では、実施の形態1における表示態様の他の例として、回転表示モードにより異常点群データを中心に背景点群データを回転表示することで、視点が変わり続けるため異常点群データを視認可能とすることができ、さらに、回転速度等の回転パラメータを適切に設定することで、異常点群データを確実に視認可能とすることができる。
【0061】
(実施の形態4)
以下、図面を参照して実施の形態4について説明する。本実施の形態は、実施の形態1~3で説明した表示態様をユーザ(監視者)により選択可能とする例である。なお、実施の形態1~3の全ての表示態様を含んでもよいし、実施の形態1~3から任意に選択された複数の表示態様を含んでもよい。
【0062】
図15は、本実施の形態に係る表示装置100の具体的な動作例であり、実施の形態1~3の視点切替モード、点群表示調整モード、回転表示モードを選択する動作である。図15に示すように、表示装置100は、図5のS101及びS102と同様、背景点群データBDを取得するとともに(S401)、異常点群データADを取得する(S402)。
【0063】
続いて、表示装置100は、各異常点群データADに対して表示設定を決定する(S403)。表示設定部107は、複数の異常点群データADを取得した場合、それぞれの異常点群データADについて、実施の形態1~3の処理を行い、表示設定を決定する。すなわち、図7のS113~S117により視点切替モードの表示設定を決定し、図10のS204~S206により点群表示調整モードの表示設定を決定し、図13のS303~S307により回転表示モードの表示設定を決定する。
【0064】
続いて、表示装置100は、表示画面W1に重要度を付随した情報を表示する(S404)。表示部104は、デフォルトの表示設定、あるいは、S403で決定されたいずれかの表示設定にしたがい異常点群データAD及び背景点群データBDを表示画面W1に表示し、さらに、吹き出し表示等により、異常点群データADの重要度等を異常点群データADに関連付けて表示する。
【0065】
続いて、ユーザが操作すると(S405)、表示装置100は、ユーザの操作に応じて各異常点群データに対する表示設定を選択する(S406)。S404で表示した画面に対して、ユーザが入力操作を行うことで、ユーザが表示したい異常点群データADを選択し、さらに視点切替モード、点群表示調整モード、回転表示モードの中から表示態様を選択する。そうすると、表示設定部107は、選択された異常点群データADと表示態様にしたがい、S403で決定した表示設定から異常点群データADが見やすい表示態様の設定を選択する。
【0066】
続いて、表示装置100は、選択された表示設定にしたがって表示画面W1に2次元表示を行う(S407)。表示部104は、ユーザにより選択された異常点群データADを実施の形態1~3のいずれかの表示態様にしたがって異常点群データAD及び背景点群データBDを表示画面W1に表示する。図16は、ユーザが表示態様を選択して表示する表示例である。図16に示すように、ユーザ操作前、異常点群データADを含む背景点群データBDを表示し、その異常点群データADに識別情報(重要度でもよい)を関連付けて表示する。この例では、GUIの一例として、2つの異常点群データAD(ALERT♯1、ALERT#2)に吹き出しを表示する。ユーザがこの吹き出しにクリックなどの所定の操作を行うと、さらに、実施の形態1~3の表示態様の視点切替モード、点群表示調整モード、回転表示モードが選択可能となり、ユーザはその中から所望の表示態様を選択する。例えば、ユーザが「ALERT♯1」をクリックし、さらに視点切替モードを選択すると、実施の形態1と同様、「ALERT♯1」の異常点群データADを見やすいように視点を変更し異常点群データAD及び背景点群データBDを表示する。なお、吹き出し表示に限らず、識別情報(重要度)を関連付けた異常点群データADの一覧を、表示画面とは別欄に表示しても良い。
【0067】
以上のように、本実施の形態では、実施の形態1~3における異常点群データを視認可能とする表示態様をユーザが選択可能とした。これにより、ユーザが実際に表示を確認しながら、異常点群データを見やすい表示態様を選択できるため、さらに、異常点群データの視認性を向上することができる。
【0068】
なお、上述の実施形態における各構成は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、1つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。各装置及び各機能(処理)を、図17に示すような、CPU(Central Processing Unit)等のプロセッサ21及び記憶装置であるメモリ22を有するコンピュータ20により実現してもよい。例えば、メモリ22に実施形態における方法を行うためのプログラムを格納し、各機能を、メモリ22に格納されたプログラムをプロセッサ21で実行することにより実現してもよい。
【0069】
これらのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0070】
また、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上記実施の形態を適宜組み合わせてもよい。実施の形態1の視点切替モードと実施の形態2の点群表示調整モードを組み合わせて、視点を異常点群データが見える位置に設定しつつ、さらに、背景点群データまたは異常点群データの表示パラメータを変更して、異常点群データが目立つように表示してもよい。実施の形態2の点群表示調整モードと実施の形態3の回転表示モードを組み合わせて、背景点群データまたは異常点群データの表示パラメータを変更して、異常点群データが目立つように表示した状態で、背景点群データ及び異常点群データを回転表示してもよい。
【0071】
以上、実施の形態を参照して本開示を説明したが、本開示は上記実施の形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。
【0072】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
3次元光センサにより測定された測定点群データを含む3次元空間において、前記測定点群データを2次元表示するための視点から前記測定点群データ内の対象点群データまでの中間領域の中間点群データを検出する検出手段と、
前記検出された中間点群データに基づいて、前記視点から前記対象点群データが視認可能となるように、前記測定点群データまたは前記対象点群データの表示態様を設定する設定手段と、
前記設定した表示態様にしたがって、前記測定点群データ及び前記対象点群データを2次元表示する表示手段と、
を備える、表示装置。
(付記2)
前記対象点群データが複数ある場合、いずれかの対象点群データを選択する選択手段をさらに備え、
前記検出手段は、前記選択された対象点群データに基づいて、前記中間点群データを検出する、
付記1に記載の表示装置。
(付記3)
前記選択手段は、前記対象点群データを表示すべき優先順位にしたがって、前記対象点群データを選択する、
付記2に記載の表示装置。
(付記4)
前記対象点群データは、前記測定点群データの異常部分のデータであり、
前記選択手段は、前記対象点群データの異常レベルにしたがって、前記対象点群データを選択する、
付記2に記載の表示装置。
(付記5)
前記対象点群データの異常レベルは、3次元空間における前記対象点群データの体積に基づいている、
付記4に記載の表示装置。
(付記6)
前記対象点群データは、異常解析装置が前記測定点群データの異常を解析した結果を示すデータであり、
前記選択手段は、前記異常解析装置が付与した解析結果の信頼度にしたがって、前記対象点群データを選択する、
付記2に記載の表示装置。
(付記7)
前記選択手段は、入力されるユーザ操作に応じて、前記対象点群データを選択する、
付記2に記載の表示装置。
(付記8)
前記設定手段は、前記表示態様として、前記中間領域に前記中間点群データが存在しないように、前記視点の位置を設定する、
付記1乃至7のいずれかに記載の表示装置。
(付記9)
前記設定手段は、前記3次元光センサの測定位置に基づいて、前記視点の位置を設定する、
付記8に記載の表示装置。
(付記10)
前記設定手段は、3次元空間において前記測定点群データを回転させる回転中心点の位置を前記対象点群データの位置とし、前記視点の位置を設定する、
付記8または9に記載の表示装置。
(付記11)
前記設定手段は、前記視点から見て前記対象点群データを含む所定の範囲を表示領域に設定する、
付記8乃至10のいずれかに記載の表示装置。
(付記12)
前記設定手段は、前記測定点群データの全体を含む範囲を前記表示領域に設定する、
付記11に記載の表示装置。
(付記13)
前記設定手段は、前記表示態様として、前記測定点群データまたは前記対象点群データの表示パラメータを設定する、
付記1乃至7のいずれかに記載の表示装置。
(付記14)
前記設定手段は、前記検出された中間点群データの密度に応じて、前記測定点群データまたは前記対象点群データの表示パラメータを設定する、
付記13に記載の表示装置。
(付記15)
前記表示パラメータは、前記測定点群データまたは前記対象点群データの透明度、サイズ、または密度を含む、
付記13または14に記載の表示装置。
(付記16)
前記設定手段は、前記対象点群データの近傍における前記測定点群データの表示パラメータを設定する、
付記13乃至15のいずれかに記載の表示装置。
(付記17)
前記設定手段は、前記対象点群データに近づくにしたがって前記測定点群データの表示パラメータを変化させる、
付記13乃至15のいずれかに記載の表示装置。
(付記18)
前記設定手段は、表示する時間の経過にしたがって、前記測定点群データまたは前記対象点群データの表示パラメータを変化させる、
付記13乃至15のいずれかに記載の表示装置。
(付記19)
前記設定手段は、前記表示態様として、前記測定点群データを明滅表示するよう設定する、
付記1乃至7のいずれか一項に記載の表示装置。
(付記20)
前記設定手段は、前記表示態様として、前記対象点群データの位置を中心として前記測定点群データ及び前記対象点群データを回転表示するよう設定する、
付記1乃至7のいずれか一項に記載の表示装置。
(付記21)
前記設定手段は、前記回転表示において、前記中間領域に前記中間点群データが存在しない回転角の場合、回転速度を遅くするよう設定する、
付記20に記載の表示装置。
(付記22)
前記設定手段は、入力されるユーザ操作に応じて、前記表示態様を設定する、
付記1乃至21のいずれか一項に記載の表示装置。
(付記23)
3次元光センサにより測定された測定点群データを含む3次元空間において、前記測定点群データを2次元表示するための視点から前記測定点群データ内の対象点群データまでの中間領域の中間点群データを検出し、
前記検出された中間点群データに基づいて、前記視点から前記対象点群データが視認可能となるように、前記測定点群データまたは前記対象点群データの表示態様を設定し、
前記設定した表示態様にしたがって、前記測定点群データ及び前記対象点群データを2次元表示する、
表示方法。
(付記24)
前記対象点群データが複数ある場合、いずれかの対象点群データを選択し、
前記検出では、前記選択された対象点群データに基づいて、前記中間点群データを検出する、
付記23に記載の表示方法。
(付記25)
3次元光センサにより測定された測定点群データを含む3次元空間において、前記測定点群データを2次元表示するための視点から前記測定点群データ内の対象点群データまでの中間領域の中間点群データを検出し、
前記検出された中間点群データに基づいて、前記視点から前記対象点群データが視認可能となるように、前記測定点群データまたは前記対象点群データの表示態様を設定し、
前記設定した表示態様にしたがって、前記測定点群データ及び前記対象点群データを2次元表示する、
処理をコンピュータに実行させるための表示プログラム。
(付記26)
前記対象点群データが複数ある場合、いずれかの対象点群データを選択し、
前記検出では、前記選択された対象点群データに基づいて、前記中間点群データを検出する、
付記25に記載の表示プログラム。
【符号の説明】
【0073】
1 監視システム
10 表示装置
11 検出部
12 設定部
13 表示部
20 コンピュータ
21 プロセッサ
22 メモリ
100 表示装置
101 入力部
102 取得部
103 記憶部
104 表示部
105 重要度設定部
106 点群検出部
107 表示設定部
200、200a、200b 3次元光センサ
300 異常解析装置
AD 異常点群データ
BD 背景点群データ
PD1、PD2 測定点群データ
W1 表示画面
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17