IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

<>
  • 特許-表示装置、表示方法及びプログラム 図1
  • 特許-表示装置、表示方法及びプログラム 図2
  • 特許-表示装置、表示方法及びプログラム 図3
  • 特許-表示装置、表示方法及びプログラム 図4
  • 特許-表示装置、表示方法及びプログラム 図5
  • 特許-表示装置、表示方法及びプログラム 図6
  • 特許-表示装置、表示方法及びプログラム 図7
  • 特許-表示装置、表示方法及びプログラム 図8
  • 特許-表示装置、表示方法及びプログラム 図9
  • 特許-表示装置、表示方法及びプログラム 図10
  • 特許-表示装置、表示方法及びプログラム 図11
  • 特許-表示装置、表示方法及びプログラム 図12
  • 特許-表示装置、表示方法及びプログラム 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-05-07
(45)【発行日】2025-05-15
(54)【発明の名称】表示装置、表示方法及びプログラム
(51)【国際特許分類】
   G06T 19/00 20110101AFI20250508BHJP
【FI】
G06T19/00 A
【請求項の数】 9
(21)【出願番号】P 2023552423
(86)(22)【出願日】2021-10-04
(86)【国際出願番号】 JP2021036688
(87)【国際公開番号】W WO2023058098
(87)【国際公開日】2023-04-13
【審査請求日】2024-03-26
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】安倍 次朗
【審査官】鈴木 明
(56)【参考文献】
【文献】特開2018-088139(JP,A)
【文献】国際公開第2021/044628(WO,A1)
【文献】特開2021-143875(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 19/00
(57)【特許請求の範囲】
【請求項1】
細長い測定対象物の三次元座標値を含む三次元データを用いて生成された点群画像を表示し、前記生成された三次元画像のうちの少なくとも長手方向に対応する一次元方向の全体を表示するグローバル表示部と、
前記三次元データのうち長手方向に対応する一次元位置を指定するための位置指定部と、
前記位置指定部によって前記指定される一次元位置に基づいて前記三次元データのうちの細部画像を生成し表示するローカル表示部と
を備える、表示装置。
【請求項2】
前記測定対象物は、50m以上の細長い形状である、請求項1に記載の表示装置。
【請求項3】
前記ローカル表示部は、前記三次元データのうち一次元方向に対応する指定された位置から当該一次元方向における所定範囲の三次元画像を表示する、請求項1又は2に記載の表示装置。
【請求項4】
前記ローカル表示部は、前記三次元データのうち一次元方向に対応する指定された位置における少なくとも二次元画像を表示する、請求項1~3のいずれか一項に記載の表示装置。
【請求項5】
前記一次元位置に対応して、前記測定対象物の異常箇所を表示する異常箇所表示部を更に備える、請求項1~のいずれか一項に記載の表示装置。
【請求項6】
前記三次元データは、前記測定対象物の測定時刻を示すタイムスタンプ情報を有し、
前記一次元位置は、前記タイムスタンプ情報に変換可能な位置であり、
前記グローバル表示部は、前記位置指定部により指定された一次元位置に基づいて、対応するタイムスタンプ情報を表示する、請求項1~のいずれか一項に記載の表示装置。
【請求項7】
前記三次元データは、前記測定対象物の測定時刻を示す第1のタイムスタンプ情報を有し、
撮影時刻を示す第2のタイムスタンプ情報を有する時系列データを表示する時系列データ表示部を更に備え、
前記時系列データ表示部は、前記位置指定部が指定する一次元位置に基づいて、前記ローカル表示部が表示する前記細部画像の前記第1のタイムスタンプ情報と同一又は近似の前記第2のタイムスタンプ情報を有する時系列データを表示する、請求項1~のいずれか一項に記載の表示装置。
【請求項8】
細長い測定対象物の三次元座標値を含む三次元データを用いて生成された点群画像を表示し、前記生成された三次元画像のうちの少なくとも長手方向に対応する一次元方向の全体を表示し、
前記三次元データのうち長手方向に対応する一次元位置を指定し、
前記指定される一次元位置に基づいて前記三次元データのうちの細部画像を生成し表示する、表示方法。
【請求項9】
細長い測定対象物の三次元座標値を含む三次元データを用いて生成された点群画像を表示し、前記生成された三次元画像のうちの少なくとも長手方向に対応する一次元方向の全体を表示する処理と、
前記三次元データのうち長手方向に対応する一次元位置を指定する処理と、
前記指定される一次元位置に基づいて前記三次元データのうちの細部画像を生成し表示する処理を、コンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、表示装置、表示方法及びプログラム等に関し、特に、LiDAR(Light Detection and Ranging)などのセンサにより測定された点群データを表示するための表示装置、表示方法及びプログラム等に関する。
【背景技術】
【0002】
LiDARなどのセンサは、測定対象物の各測定点にレーザを照射し、レーザを照射してから、受光するまでの時間に基づいて、各測定点までの距離を算出することができる。こうしたセンサを移動しながら利用して、導水路やトンネルなど測定対象物までの距離やその形状を得ることができる。
【0003】
例えば、特許文献1では、プラントなどの施設を表す三次元データを表示する三次元データ表示装置が開示されている。この三次元データ表示装置は、仮想空間に三次元データおよびアバターを配置し、三次元データによって表される施設内でアバターを歩行(ウォークスルー)または飛行(フライスルー)により移動させることで、注目点の全体の外観を二次元データにレンダリングすることができる。
【先行技術文献】
【特許文献】
【0004】
【文献】国際公開第2017/203792号
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、導水路やトンネルなどの細長い形状の測定対象物の全体を表示する場合、測定対象物のうちの異常箇所などが見えにくいという問題がある。一方、異常箇所のみ細部を表示した場合、当該異常箇所が細長い形状の測定対象物全体のうちのどの位置にあるかが認識し難い。
【0006】
本開示は、このような問題点を解決するためになされたものであり、測定対象物の全体と所望の細部を表示可能な表示装置、表示方法及びプログラム等を提供することを目的とする。
【課題を解決するための手段】
【0007】
本開示の第1の態様にかかる表示装置は、測定対象物の三次元座標値を含む三次元データを用いて生成された点群画像を表示するグローバル表示部と、
前記三次元データにおける一次元位置を指定するための位置指定部と、
前記位置指定部によって前記指定される一次元位置に基づいて前記三次元データのうちの細部画像を生成し表示するローカル表示部と
を備える。
【0008】
本開示の第2の態様にかかる表示方法は、
測定対象物の三次元座標値を含む三次元データを用いて生成された点群画像を表示し、
前記三次元データにおける一次元位置を指定し、
前記指定される一次元位置に基づいて前記三次元データのうちの細部画像を生成し表示する。
【0009】
本開示の第3の態様にかかる非一時的コンピュータ可読媒体は、測定対象物の三次元座標値を含む三次元データを用いて生成された点群画像を表示する処理と、
前記三次元データにおける一次元位置を指定する処理と、
前記指定される一次元位置に基づいて前記三次元データのうちの細部画像を生成し表示する処理を、コンピュータに実行させるプログラムを格納している。
【発明の効果】
【0010】
本開示により、測定対象物の全体と所望の細部を表示可能な表示装置、表示方法及びプログラム等を提供することができる。
【図面の簡単な説明】
【0011】
図1】実施形態1にかかる表示装置の構成を示すブロック図である。
図2】実施形態1にかかる表示方法を示すフローチャートである。
図3】実施形態2にかかる移動体に搭載したセンサでトンネルの内壁を測定する例を示す図である。
図4】実施形態2にかかるグラフィカルユーザインタフェースの例を説明する図である。
図5】実施形態2にかかる表示システムの構成を示すブロック図である。
図6】実施形態2にかかる表示方法を示すフローチャートである。
図7】他の実施形態にかかるグラフィカルユーザインタフェースの例を説明する図である。
図8】更に他の実施形態にかかるグラフィカルユーザインタフェースの例を説明する図である。
図9】実施形態3にかかる移動体に搭載したセンサ及びカメラでトンネルの内壁を測定する例を示す図である。
図10】実施形態3にかかるグラフィカルユーザインタフェースの例を説明する図である。
図11】実施形態3にかかる表示システムの構成を示すブロック図である。
図12】実施形態3にかかる表示方法を示すフローチャートである。
図13】いくつかの実施形態における表示装置又は情報処理装置のハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【0012】
以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。
【0013】
<実施形態1>
図1は、実施形態1にかかる情報処理装置の構成を示すブロック図である。
表示装置100は、プロセッサ、メモリ、GUI(Graphical User Interface)などを有するコンピュータにより実現される。表示装置10は、測定対象物を測定するセンサからの点群データを用いて生成された点群画像を表示するために使用されうる。センサは、測定点までの距離を測定するレーダセンサ(例えば、LiDAR(Light Detection and Ranging))であり得る。具体的には、表示装置10は、グローバル表示部11と、位置指定部12と、ローカル表示部13と、を備える。
【0014】
グローバル表示部11は、測定対象物の三次元座標値(x軸、y軸、およびz軸上の座標値)を含む三次元データを用いて生成された点群画像をグラフィカルに表示する。グローバル表示部11は、前記生成された点群画像の少なくとも一次元方向(例えば、長手方向、すなわち、x軸方向)の全体を表示する。また、グローバル表示部11は、前記生成された点群画像の他の一次元方向(例えば、z軸方向)の全体を表示してもよい。表示される点群画像は、二次元画像であってもよいし、三次元画像であってもよい。
【0015】
位置指定部12は、三次元データにおける特定の一次元位置(例えば、x軸上の座標値)を指定する。位置指定部12は、ユーザ入力(例えば、マウスによるカーソル位置指定、又はタッチパネルへのタッチ入力など)を受け付けて、三次元データのうち長手方向(例えば、x軸方向)に対応する位置を指定することができる。いくつかの実施形態では、一次元方向は、測定対象物を測定するためのセンサを搭載した移動体の移動方向に対応することができる。
【0016】
ローカル表示部13は、前記位置指定部によって前記指定される一次元位置に基づいて前記三次元データのうちの細部画像を生成し表示する。ローカル表示部13は、測定対象物の三次元座標値(x軸、y軸、およびz軸上の座標値)を含む三次元データと、指定された一次元位置(例えば、x軸の座標値)と、を用いて、ローカルデータ(細部画像)を作成し、表示することができる。いくつかの実施の形態では、ローカル表示部13は、前記三次元データのうち一次元方向に対応する指定された位置から当該一次元方向における所定範囲(例えば、指定位置座標値のプラスマイナス閾値の範囲)の三次元点群画像(例えば、異常箇所を含む斜視点群画像)を表示することができる。他の実施の形態では、ローカル表示部13は、前記三次元データのうち一次元方向に対応する指定された位置(例えば、x軸の座標値)における少なくとも二次元画像(例えば、指定位置座標値におけるy軸およびz軸の断面図)を表示することができる。
【0017】
図2は、実施形態1にかかる表示方法を示すフローチャートである。
グローバル表示部11は、測定対象物の三次元座標値を含む三次元データを用いて生成された点群画像を表示する(ステップS11)。位置指定部12は、三次元データにおける一次元位置を指定する(ステップS12)。ローカル表示部13は、前記指定される一次元位置に基づいて前記三次元データのうちの細部画像を生成し表示する(ステップS13)。また、本実施形態に係るプログラムは、コンピュータに図2に示すような表示方法を実行させるためのプログラムである。
【0018】
以上説明した実施形態1にかかる表示装置、表示方法およびプログラムは、測定対象物の全体と所望の細部を同時に表示することができ、それによって、異常箇所などの点検・分析等に好適なGUIをユーザに提供することができる。
【0019】
<実施形態2>
図3は、実施形態2にかかる、センサにより導水路内の異常を検知する例を説明する図である。図3では、LiDARであるセンサ5(測距センサとも呼ばれる)を搭載した移動体2(例えば、車両、水面ドローンなど)が導水路内を(図3の矢印の方向に)進行しながら、当該センサからレーザを様々な方向に向けて導水路の内壁(測定対象物6)に照射させる。その後、当該センサは測定対象物からのレーザの反射光を受光する。センサは、非常に短い周期でほぼ連続的にレーザを照射してもよい。あるいは、移動体2が任意の位置まで移動し、各位置でレーザを照射してもよい。センサは、周囲方向に多数のレーザを照射してから反射光を受光するまでの時間に基づいて、各測定点までの距離を測定する。あるいは、センサは、反射光の輝度値を取得することができ、それにより測定対象物の材質(例えば、金属か、織物か、など)を推定することができる。このように、センサ5は、センサ5により測定された複数の測定点における測定データを含む点群データを取得することができる。例えば、測定データは、各測定点におけるx軸、y軸、およびz軸上の座標値を含み得る。図示するように、導水路は、細長い形状であり、その長さは、50m以上、100m以上、300m以上、又は1km以上などであり得る。
【0020】
本例では、取得した点群データに基づいて、導水路の内壁などの異常箇所を検知する。例えば、センサにより測定される距離の相違、すなわち、異常箇所(例えば、凹み、穴、ひび)の形状から判別することができる。既知の異常箇所検出プログラムを用いて異常箇所を検出することができる。
【0021】
図4は、実施形態2にかかるグラフィカルユーザインタフェースの例を説明する図である。このGUIは、取得した三次元データを用いて生成された点群画像を表示し、異常箇所の点検や分析するのに使用され得る。GUIは、グローバル表示領域4110と、一次元位置指定表示領域4120と、ローカル表示領域4130を含む。グローバル表示領域4110には、測定された三次元データを用いて生成された点群画像が表示される。点群画像は、測定対象物の導水路の長手方向における両端が表示されるように、一次元方向(x軸方向)の全体を表示する。図4のグローバル表示領域4110には、導水路6の上面視した点群画像の全体が表示されている。なお、グローバル表示領域に示される画像は、例示に過ぎず、側面図又は下面図であってもよい。表示される点群画像は、二次元画像であってもよいし、三次元画像であってもよい。
【0022】
一次元位置指定表示領域4120は、グローバル表示領域4110に表示された点群画像の長手方向(x軸方向)の両端に対応する長さのスライダバー4121を表示する。スライダ4122は、ユーザの指定入力により、スライダバー4121に沿って移動することができる。いくつかの実施形態では、一次元位置指定表示領域は、グローバル表示領域と重なって表示されてもよい。なお、いくつかの実施形態では、このスライダバーの方向は、点群データを取得するセンサを搭載した移動体2の移動方向に対応し得る。
【0023】
ローカル表示領域4130は、指定された一次元位置に基づいて測定対象物の三次元データのうちの細部画像を生成し表示する。細部画像は、図4に示すように、三次元データのうち一次元方向に対応する指定された位置(例えば、x軸の座標値)における少なくとも二次元画像(例えば、指定位置座標値におけるy軸およびz軸の断面図)を表示する。他の実施の形態では、三次元データのうち一次元方向に対応する指定された位置から当該一次元方向における所定範囲(例えば、指定位置座標値のプラスマイナス閾値の範囲)の三次元点群画像(例えば、異常箇所を含む斜視点群画像)を表示することができる。
【0024】
図5は、実施形態2にかかる表示システムの構成を示すブロック図である。
表示システム1は、三次元データ用データベース50と表示装置100を含み得る。表示装置100は、グローバル表示部110、位置指定部120、ローカルデータ生成部131、ローカルデータ用データベース150、およびローカル表示部130を含み得る。いくつかの実施形態では、表示装置100に三次元データ用データベース50が含まれる場合もある。
【0025】
三次元データ用データベース50は、前述したように移動体2を移動させてセンサ5(例えば、LiDAR)により取得した三次元データを格納する。三次元データ用データベース50は、各測定点におけるx軸、y軸、およびz軸上の座標値を含み得る生の測定データ、又は測定データに基づいて生成された点群画像を格納することができる。
【0026】
グローバル表示部110は、測定対象物の三次元座標値(x軸、y軸、およびz軸上の座標値)を含む三次元データを用いて、生成された点群画像を表示する。グローバル表示部110は、図4に示したように、前記生成された点群画像の少なくとも一次元方向(例えば、x軸方向)の全体を表示する。表示される点群画像は、二次元画像であってもよいし、三次元画像であってもよい。いくつかの実施形態では、表示装置100は、各測定点におけるx軸、y軸、およびz軸上の座標値を含み得る生の測定データを元に、点群画像(グローバルデータ)を生成するグローバルデータ生成部を含む場合もある。
【0027】
位置指定部120は、三次元データの座標値範囲又はグローバル表示部の表示形状に基づき、目盛りを決定する。ここで、目盛りは、三次元データのうち、例えば、長手方向における最大値および最小値に基づいて、グローバル表示部110に表示された点群画像と対応する一次元位置(対応付け)を示すものである。言い換えれば、目盛りの決定は、グローバル表示部110に表示された点群画像に対応するようにスライダバーの位置を定量化するものである。位置指定部120は、三次元データにおける特定の一次元位置(例えば、x軸上の座標値)を指定する。位置指定部120は、ユーザ入力(例えば、テンキーパッドによる数値入力、マウスによるカーソル位置指定、又はタッチパネルへのタッチ入力などによるスライダバーの指定)を受け付けて、三次元データのうち長手方向(例えば、x軸方向)に対応する位置を指定することができる。
【0028】
ローカルデータ生成部131は、位置指定部によって前記指定される一次元位置に基づいて前記三次元データのうちの細部画像(ローカルデータ)を生成する。ローカルデータ生成部131は、測定対象物の三次元座標値(x軸、y軸、およびz軸上の座標値)を含む三次元データと、指定された一次元位置(例えば、x軸の座標値)と、を用いて、ローカルデータ(細部画像)を作成することができる。いくつかの実施形態では、前記三次元データのうち一次元方向に対応する指定された位置から当該一次元方向における所定範囲(例えば、指定位置座標値プラスマイナス閾値の範囲)の三次元点群画像(例えば、異常箇所を含む斜視点群画像)が生成され得る。他の実施形態では、三次元データのうち一次元方向に対応する指定された位置(例えば、x軸の座標値)における少なくとも二次元画像(例えば、指定位置座標値におけるy軸およびz軸の断面図)が生成され得る。生成された画像には、異常箇所を分かりやすく色付けするなど、様々な加工が施されてもよい。
【0029】
ローカルデータ用データベース150は、ローカルデータ生成部131により生成されたローカルデータ(細部画像データ)を格納する。いくつかの実施形態では、ローカルデータ用データベース150は、表示装置100の外部に有線又は無線ネットワークを介して設けられる場合もある。
【0030】
ローカル表示部130は、前記位置指定部120によって前記指定される一次元位置に基づいて生成された前記細部画像を表示する。いくつかの実施形態では、ローカル表示部130は、前記三次元データのうち一次元方向に対応する指定された位置から当該一次元方向における所定範囲(例えば、指定位置座標値プラスマイナス閾値の範囲)の三次元点群画像(例えば、異常箇所を含む斜視点群画像)を表示することができる。他の実施の形態では、ローカル表示部130は、前記三次元データのうち一次元方向に対応する指定された位置(例えば、x軸の座標値)における少なくとも二次元画像(例えば、指定位置座標値におけるy軸およびz軸の断面図)を表示することができる。ローカル表示部130に表示された画像には、異常箇所を分かりやすく色付けするなど、様々な加工が施されてもよい。
【0031】
図6は、実施形態2にかかる表示方法を示すフローチャートである。
表示装置100は、三次元データ用データベース50から三次元データを読み込む(ステップS101)と、次いで、当該三次元データは、グローバル表示部110、位置指定部120及びローカルデータ生成部131によって受信される。グローバル表示部110は、三次元データを用いて生成された点群画像を表示する(ステップS102)。位置指定部120は、三次元データの座標値範囲(最大値と最小値)又はグローバル表示部110に表示された点群画像の表示形状などに基づいて、目盛りを決定する(ステップS103)。なお、ステップS102とステップS103は、同時に行われてもよいし、どちらかが先に行われてもよい。
【0032】
更に位置指定部120は、ユーザ入力を受け付けて、一次元位置(例えば、図4のスライダバーの位置)を指定する(ステップS104)。ユーザは、グローバル表示領域4110に表示された画像に対応し得るスライダバー4120から、細部を表示したい箇所を選択することができる。
【0033】
ローカルデータ生成部131は、三次元データと、ユーザ入力により指定された一次元位置と、前述した目盛りに基づいて、ローカルデータ(細部画像データ)を生成する(ステップS105)。生成されたローカルデータは、ローカルデータ用データベース150に格納され得る。ローカル表示部130は、生成されたローカルデータ(細部画像データ)を表示する(ステップS106)。ローカル表示部130は、指定された一次元位置に対応するローカルデータをローカルデータ用データベース150から取得して、表示してもよい。また、本実施形態に係るプログラムは、コンピュータに図6に示すような表示方法を実行させるためのプログラムである。
【0034】
以上説明した実施形態2にかかる表示装置、表示方法およびプログラムは、細長い形状の測定対象物の全体と所望の細部を同時に表示することができ、それによって、異常箇所などの点検・分析等に好適なGUIをユーザに提供することができる。
【0035】
図7は、他の実施形態にかかるグラフィカルユーザインタフェースの例を説明する図である。
図7のGUIは、取得した三次元データを用いて生成された点群画像を表示し、異常箇所の点検や分析するのに使用され得る。GUIは、グローバル表示領域4110と、一次元位置指定表示領域4120と、ローカル表示領域4130を含む。グローバル表示領域4110には、測定された三次元データを用いて生成された点群画像が表示される。点群画像は、測定対象物の導水路の長手方向における両端が表示されるように、一次元方向(x軸方向)の全体を表示する。図7のグローバル表示領域4110には、導水路6の上面視した点群画像の全体が表示されている。
【0036】
一次元位置指定表示領域4120は、グローバル表示領域4110に表示された点群画像の長手方向(x軸方向)の両端に対応する長さのスライダバー4121を表示する。スライダ4122は、ユーザの指定入力により、スライダバー4121に沿って移動することができる。この実施形態における一次元位置指定表示領域4120では、スライダバー4121上に、1つ以上の異常箇所を示す一次元位置4123が表示される。異常箇所は、三次元データに対して既知の異常箇所検出アルゴリズムを実行することで、検出され得る。こうして検出された1つ以上の異常箇所の一次元位置(図7の例では3箇所)を予めスライダバー4121上に表示しておく。こうすることで、ユーザは、スライダバー上の異常箇所にスライダを移動させることで、容易にローカル表示領域4130に異常箇所の細部画像を表示させて、確認することができる。いくつかの実施形態では、一次元位置指定表示領域は、グローバル表示領域と重なって表示されてもよい。
【0037】
ローカル表示領域4130は、指定される一次元位置に基づいて測定対象物の三次元データのうちの細部画像を生成し表示する。細部画像は、図7に示すように、三次元データのうち一次元方向に対応する指定された位置(例えば、x軸の座標値)における少なくとも二次元画像(例えば、指定位置座標値におけるy軸およびz軸の断面図)を表示する。他の実施の形態では、三次元データのうち一次元方向に対応する指定された位置から当該一次元方向における所定範囲(例えば、指定位置座標値のプラスマイナス閾値の範囲)の三次元点群画像(例えば、異常箇所を含む斜視点群画像)を表示することができる。
【0038】
図8は、更に他の実施形態にかかるグラフィカルユーザインタフェースの例を説明する図である。
図8のGUIは、取得した三次元データを用いて生成された点群画像を表示し、異常箇所の点検や分析するのに使用され得る。本実施形態では、一次元位置としてタイムスタンプ情報を利用する。タイムスタンプ情報は、移動体が移動しながら、レーザを測定対象物に照射し、測定データを取得した時刻を含み得る。
【0039】
GUIは、グローバル表示領域4110と、一次元位置指定表示領域4120と、ローカル表示領域4130を含む。グローバル表示領域4110には、測定された三次元データを用いて生成された点群画像が表示される。点群画像は、測定対象物の導水路の長手方向における両端が表示されるように、一次元方向(x軸方向)の全体を表示する。図8のグローバル表示領域4110には、導水路6の上面視した点群画像の全体が表示されている。また、グローバル表示領域4110には、後述する一次元位置指定表示領域4120のスライダバー4121におけるスライダ4122の位置に対応する時刻の移動体2の現在位置4111が表示される。また、移動体2の現在位置4111までの経路4112も表示される。
【0040】
一次元位置指定表示領域4120は、移動体が移動しながら、レーザを測定対象物に照射し、測定データを取得した時刻を示すスライダバー4121を表示する。本実施形態におけるスライダバー4121の長さは、必ずしも、グローバル表示部に表示された点群画像の横幅と対応していなくてもよい。スライダ4122は、ユーザの指定入力により、スライダバー4121に沿って移動することができる。
【0041】
ローカル表示領域4130は、指定される一次元位置(タイムスタンプ情報)に基づいて測定対象物の三次元データのうちの細部画像を生成し表示する。細部画像は、図8に示すように、三次元データのうち一次元方向に対応する指定された位置(タイムスタンプ情報)における少なくとも二次元画像(例えば、タイムスタンプ情報に対応するx座標値におけるy軸およびz軸の断面図)を表示する。他の実施の形態では、三次元データのうち一次元方向に対応する指定された位置から当該一次元方向における所定範囲(例えば、タイムスタンプ情報に対応するx座標値のプラスマイナス閾値の範囲)の三次元点群画像(例えば、異常箇所を含む斜視点群画像)を表示することができる。
【0042】
<実施形態3>
図9は、実施形態3にかかる、センサ及びカメラにより導水路内の異常を検知する例を説明する図である。図9では、LiDARであるセンサ5とビデオカメラなどのカメラ4を搭載した移動体2(例えば、車両、水面ドローンなど)が導水路内を(図9の矢印の方向に)進行しながら、カメラ4で動画を撮影するとともに、当該センサ5からレーザを導水路の内壁(測定対象物6)に照射させる。センサ5とカメラ4は、それぞれ取得した時刻を示すタイムスタンプ情報を含み得る。その後、当該センサは測定対象物からのレーザの反射光を受光する。センサは、非常に短い周期でほぼ連続的にレーザを照射してもよい。あるいは、移動体2が任意の位置まで移動し、各位置でレーザを照射してもよい。センサは、周囲方向に多数のレーザを照射してから反射光を受光するまでの時間に基づいて、各測定点までの距離を測定する。あるいは、センサは、反射光の輝度値を取得することができ、それにより測定対象物の材質(例えば、金属か、織物か、など)を推定することができる。このように、センサ5は、センサ5により測定された複数の測定点における測定データを含む点群データを取得することができる。例えば、測定データは、各測定点におけるx軸、y軸、およびz軸上の座標値を含み得る。図示するように、導水路は、細長い形状であり、その長さは、50m以上、100m以上、300m以上、又は1km以上などであり得る。カメラ4は、移動体2の全方位(360度)を撮影することができる天球カメラであってもよい。あるいは、カメラ4は、LiDARであるセンサ5のレーザの放射方向を撮影するビデオカメラ又はスチルカメラであってもよい。
【0043】
本例では、取得した点群データおよびカメラの撮影画像に基づいて、導水路の内壁などの異常箇所を検知する。例えば、センサにより測定される距離の相違、すなわち、異常箇所(例えば、凹み、穴、ひび)の形状から判別することができる。既知の異常箇所検出プログラムを用いて異常箇所を検出することができる。
【0044】
図10は、実施形態3にかかるグラフィカルユーザインタフェースの例を説明する図である。このGUIは、取得した三次元データを用いて生成された点群画像を表示し、異常箇所の点検や分析するのに使用され得る。GUIは、グローバル表示領域4110と、一次元位置指定表示領域4120と、ローカル表示領域4130、時系列データ表示領域4180を含む。グローバル表示領域4110には、測定された三次元データを用いて生成された点群画像が表示される。点群画像は、測定対象物の導水路の長手方向における両端が表示されるように、一次元方向(x軸方向)の全体を表示する。図10のグローバル表示領域4110には、導水路6の上面視した点群画像の全体が表示されている。
【0045】
一次元位置指定表示領域4120は、グローバル表示領域4110に表示された点群画像の長手方向(x軸方向)の両端に対応する長さのスライダバー4121を表示する。スライダ4122は、ユーザの指定入力により、スライダバー4121に沿って移動することができる。いくつかの実施形態では、一次元位置指定表示領域は、グローバル表示領域と重なるように表示されてもよい。
【0046】
ローカル表示領域4130は、指定される一次元位置に基づいて測定対象物の三次元データのうちの細部画像を生成し表示する。細部画像は、図10に示すように、三次元データのうち一次元方向に対応する指定された位置(例えば、x軸の座標値)における少なくとも二次元画像(例えば、指定位置座標値におけるy軸およびz軸の断面図)を表示する。他の実施の形態では、三次元データのうち一次元方向に対応する指定された位置から当該一次元方向における所定範囲(例えば、指定位置座標値のプラスマイナス閾値の範囲)の三次元点群画像(例えば、異常箇所を含む斜視点群画像)を表示することができる。
【0047】
時系列データ表示領域4180は、カメラ4で撮影した画像を表示する。一次元位置指定部120により指定されたスライダバー4121におけるスライダ4122の位置に対応するタイムスタンプ情報と同一又は近似のタイムスタンプ情報を有する時系列データを表示することができる。カメラ4が移動体2の全方位(360度)を撮影することができるいくつかの実施形態では、時系列データ表示領域4180に表示される画像は、ユーザの操作により、様々な向きの画像に変更することができる。
【0048】
図11は、実施形態2にかかる表示システムの構成を示すブロック図である。
表示システム1は、三次元データ用データベース50と表示装置100と時系列データ用データベース250とを含み得る。表示装置100は、グローバル表示部110、位置指定部120、ローカルデータ生成部131、ローカルデータ用データベース150、ローカル表示部130および時系列データ表示部180を含み得る。
【0049】
三次元データ用データベース50は、前述したように移動体を移動させてセンサにより取得した三次元データを格納する。三次元データ用データベース50は、各測定点におけるx軸、y軸、およびz軸上の座標値とタイムスタンプ情報を含み得る生の測定データ、又は測定データに基づいて生成された点群画像を格納することができる。
【0050】
グローバル表示部110は、測定対象物の三次元座標値(x軸、y軸、およびz軸上の座標値)を含む三次元データを用いて、生成された点群画像を表示する。グローバル表示部110は、図4に示したように、前記生成された点群画像の少なくとも一次元方向(例えば、x軸方向)の全体を表示する。表示される点群画像は、二次元画像であってもよいし、三次元画像であってもよい。いくつかの実施形態では、表示装置100は、各測定点におけるx軸、y軸、およびz軸上の座標値を含み得る生の測定データを元に、点群画像(グローバルデータ)を生成するグローバルデータ生成部を含む場合もある。
【0051】
位置指定部120は、三次元データの座標値範囲又はグローバル表示部の表示形状に基づき、目盛りを決定する。目盛りは、三次元データのうち、例えば、長手方向における最大値および最小値に基づいて、グローバル表示部110に表示された点群画像と対応する一次元位置(対応付け)を示すものである。言い換えれば、目盛りの決定は、グローバル表示部110に表示された点群画像に対応するようにスライダバーの位置を定量化するものである。位置指定部120は、三次元データにおける特定の一次元位置(例えば、x軸上の座標値)を指定する。位置指定部120は、ユーザ入力(例えば、マウスによるカーソル位置指定、又はタッチパネルへのタッチ入力などによるスライダバーの指定)を受け付けて、三次元データのうち長手方向(例えば、x軸方向)に対応する位置を指定することができる。
【0052】
ローカルデータ生成部131は、位置指定部によって前記指定される一次元位置に基づいて前記三次元データのうちの細部画像(ローカルデータ)を生成する。ローカルデータ生成部131は、測定対象物の三次元座標値(x軸、y軸、およびz軸上の座標値)を含む三次元データと、指定された一次元位置(例えば、x軸の座標値)と、を用いて、ローカルデータ(細部画像)を作成することができる。
【0053】
ローカルデータ用データベース150は、ローカルデータ生成部131により生成されたローカルデータ(細部画像データ)を格納する。
【0054】
ローカル表示部130は、前記位置指定部によって前記指定される一次元位置に基づいて生成された前記三次元データのうちの細部画像を表示する。いくつかの実施の形態では、ローカル表示部130は、前記三次元データのうち一次元方向に対応する指定された位置から当該一次元方向における所定範囲(例えば、指定位置座標値プラスマイナス閾値の範囲)の三次元点群画像(例えば、異常箇所を含む斜視点群画像)を表示することができる。他の実施の形態では、ローカル表示部130は、前記三次元データのうち一次元方向に対応する指定された位置(例えば、x軸の座標値)における少なくとも二次元画像(例えば、指定位置座標値におけるy軸およびz軸の断面図)を表示することができる。
【0055】
時系列データ用データベース250は、移動体2に搭載されたカメラ4で撮影された時系列データを格納する。時系列データは、カメラ4で撮影された時刻を含むタイムスタンプ情報を含む。いくつかの実施形態では、表示装置100は、時系列データ用データベース250を含む場合がある。
【0056】
時系列データ表示部180は、ローカル表示部130に表示された画像のタイムスタンプ情報と同一又は近似のタイムスタンプ情報を有する時系列データを読み出し、当該時系列データを表示する。同一又は近似のタイムスタンプ情報とは、取得した時刻が同一又は比較的近い(例えば、タイムスタンプ情報が示す時刻プラスマイナス数秒又は数ミリ秒以内の範囲)ことを意味する。
【0057】
図12は、実施形態3にかかる表示方法を示すフローチャートである。
表示装置100は、三次元データ用データベース50からタイムスタンプ情報を含む三次元データを読み込む(ステップS201)と、次いで、当該三次元データは、グローバル表示部110、位置指定部120及びローカルデータ生成部131によって受信される。グローバル表示部110は、三次元データを用いて生成された点群画像を表示する(ステップS202)。位置指定部120は、三次元データの座標値範囲(最大値と最小値)、グローバル表示部110に表示された点群画像の表示形状、及びタイムスタンプ情報の範囲などのうち少なくとも1つに基づいて、目盛りを決定する(ステップS203)。なお、ステップS202とステップS203は、同時に行われてもよいし、どちらが先に行われてもよい。
【0058】
更に位置指定部120は、ユーザ入力を受け付けて、一次元位置(例えば、図10のスライダバーの位置)を指定する(ステップS204)。ユーザは、グローバル表示領域4110に表示された画像に対応し得るスライダバー4120から、細部を表示したい箇所を選択することができる。
【0059】
ローカルデータ生成部131は、三次元データと、ユーザ入力により指定された一次元位置と、目盛りに基づいて、ローカルデータ(細部画像データ)を生成する(ステップS205)。ローカル表示部130は、生成されたローカルデータ(細部画像データ)を表示する(ステップS206)。さらに、時系列データ表示部180は、表示されたローカルデータとタイムスタンプ情報が同一又は近似の時系列データを、時系列データ用データベース250から取得し、当該時系列データを表示する(ステップS207)。また、本実施形態に係るプログラムは、コンピュータに図12に示すような表示方法を実行させるためのプログラムである。
【0060】
以上説明した実施形態3によれば、前述した実施形態のグローバル表示とローカル表示に加えて、カメラで撮影した時系列データのシーンを表示することができ、それによって、異常箇所などの点検・分析等により一層好適なGUIをユーザに提供することができる。
【0061】
図13は、表示装置100のハードウェア構成例を示すブロック図である。図13を参照すると、表示装置100は、ネットワーク・インターフェース1201、プロセッサ1202、及びメモリ1203を含む。ネットワーク・インターフェース1201は、通信システムを構成する他のネットワークノード装置と通信するために使用される。ネットワーク・インターフェース1201は、無線通信を行うために使用されてもよい。例えば、ネットワーク・インターフェース1201は、IEEE 802.11 seriesにおいて規定された無線LAN通信、もしくは3GPP(3rd Generation Partnership Project)において規定されたモバイル通信を行うために使用されてもよい。もしくは、ネットワーク・インターフェース1201は、例えば、IEEE 802.3 seriesに準拠したネットワークインターフェースカード(NIC)を含んでもよい。
【0062】
プロセッサ1202は、メモリ1203からソフトウェア(コンピュータプログラム)を読み出して実行することで、上述の実施形態においてフローチャートもしくはシーケンスを用いて説明された表示装置100の処理を行う。プロセッサ1202は、例えば、マイクロプロセッサ、MPU(Micro Processing Unit)、又はCPU(Central Processing Unit)であってもよい。プロセッサ1202は、複数のプロセッサを含んでもよい。
【0063】
メモリ1203は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ1203は、プロセッサ1202から離れて配置されたストレージを含んでもよい。この場合、プロセッサ1202は、図示されていないI/Oインタフェースを介してメモリ1203にアクセスしてもよい。
【0064】
図13の例では、メモリ1203は、ソフトウェアモジュール群を格納するために使用される。プロセッサ1202は、これらのソフトウェアモジュール群をメモリ1203から読み出して実行することで、上述の実施形態において説明された表示装置100の処理を行うことができる。
【0065】
図13を用いて説明したように、表示装置100等が有するプロセッサの各々は、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む1又は複数のプログラムを実行する。
【0066】
<その他の実施形態>
尚、上述の実施形態では、ハードウェアの構成として説明したが、これに限定されるものではない。本開示は、任意の処理を、CPUにコンピュータプログラムを実行させることにより実現することも可能である。以上で説明した複数の例は、適宜組み合わせて実施されることもできる。
【0067】
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、DVD(Digital Versatile Disc)、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0068】
なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施形態を適宜組み合わせて実施されてもよい。
【0069】
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
(付記1)
測定対象物の三次元座標値を含む三次元データを用いて生成された点群画像を表示するグローバル表示部と、
前記三次元データにおける一次元位置を指定するための位置指定部と、
前記位置指定部によって前記指定される一次元位置に基づいて前記三次元データのうちの細部画像を生成し表示するローカル表示部と
を備える、表示装置。
(付記2)
前記位置指定部は、前記三次元データのうち長手方向に対応する位置を指定する、付記1に記載の表示装置。
(付記3)
前記グローバル表示部は、前記生成された三次元画像の少なくとも一次元方向の全体を表示する、付記1又は2に記載の表示装置。
(付記4)
前記ローカル表示部は、前記三次元データのうち一次元方向に対応する指定された位置から当該一次元方向における所定範囲の三次元画像を表示する、付記1~3のいずれか一項に記載の表示装置。
(付記5)
前記ローカル表示部は、前記三次元データのうち一次元方向に対応する指定された位置における少なくとも二次元画像を表示する、付記1~3のいずれか一項に記載の表示装置。
(付記6)
前記一次元位置に対応して、前記測定対象物の異常箇所を表示する異常箇所表示部を更に備える、付記1~5のいずれか一項に記載の表示装置。
(付記7)
前記三次元データは、前記測定対象物の測定時刻を示すタイムスタンプ情報を有し、
前記一次元位置は、前記タイムスタンプ情報に変換可能な位置であり、
前記グローバル表示部は、前記位置指定部により指定された一次元位置に基づいて、対応するタイムスタンプ情報を表示する、付記1~6のいずれか一項に記載の表示装置。
(付記8)
前記三次元データは、前記測定対象物の測定時刻を示す第1のタイムスタンプ情報を有し、
撮影時刻を示す第2のタイムスタンプ情報を有する時系列データを表示する時系列データ表示部を更に備え、
前記時系列データ表示部は、前記位置指定部が指定する一次元位置に基づいて、前記ローカル表示部が表示する前記細部画像の前記第1のタイムスタンプ情報と同一又は近似の前記第2のタイムスタンプ情報を有する時系列データを表示する、付記1~7のいずれか一項に記載の表示装置。
(付記9)
測定対象物の三次元座標値を含む三次元データを用いて生成された点群画像を表示し、
前記三次元データにおける一次元位置を指定し、
前記指定される一次元位置に基づいて前記三次元データのうちの細部画像を生成し表示する、表示方法。
(付記10)
測定対象物の三次元座標値を含む三次元データを用いて生成された点群画像を表示する処理と、
前記三次元データにおける一次元位置を指定する処理と、
前記指定される一次元位置に基づいて前記三次元データのうちの細部画像を生成し表示する処理を、コンピュータに実行させるプログラムを格納した非一時的なコンピュータ可読媒体。
【0070】
以上、実施形態(及び実施例)を参照して本願発明を説明したが、本願発明は上記実施形態(及び実施例)に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【0071】
1 表示システム
2 移動体
4 カメラ
5 センサ
6 測定対象物
10 表示装置
11 グローバル表示部
12 位置指定部
13 ローカル表示部
50 三次元データ用データベース
100 表示装置
110 グローバル表示部
120 位置指定部
130 ローカル表示部
131 ローカルデータ生成部
150 ローカルデータ用データベース
180 時系列データ表示部
250 時系列データ用データベース
1201 ネットワーク・インターフェース
1202 プロセッサ
1203 メモリ
4110 グローバル表示領域
4120 一次元位置指定表示領域
4130 ローカル表示領域
4180 時系列データ表示領域
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13