特許 7282325 表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-19

(45)【発行日】2023-05-29

(54)【発明の名称】表示システム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20230522BHJP

   G01S 13/88 20060101ALI20230522BHJP

【ＦＩ】

G06T19/00 600

G01S13/88

【請求項の数】 3

(21)【出願番号】P 2018236468

(22)【出願日】2018-12-18

(65)【公開番号】P2020098481

(43)【公開日】2020-06-25

【審査請求日】2021-11-19

(73)【特許権者】

【識別番号】591080678

【氏名又は名称】株式会社中電工

(73)【特許権者】

【識別番号】512085887

【氏名又は名称】株式会社バイステック

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】大地 秀二

(72)【発明者】

【氏名】網本 和也

(72)【発明者】

【氏名】藤井 英郎

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開２０１４－１２２８０５（ＪＰ，Ａ）

【文献】特開２００７－２２８３１５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０１Ｓ １３／８８

(57)【特許請求の範囲】

【請求項1】

壁裏の敷設物を検出する敷設物検出装置と、
前記敷設物検出装置による検出箇所の位置情報を検出する位置情報検出装置と、
前記敷設物検出装置により検出された敷設物と、前記位置情報検出装置により検出された位置情報とが関連付いた敷設物情報を記憶する記憶装置と、
前記記憶装置により記憶された敷設物情報を重畳表示する透過型の頭部装着式表示装置と、
前記記憶装置により記憶された敷設物情報のうち、前記頭部装着式表示装置を通じた視界に対応した敷設物情報を前記頭部装着式表示装置に表示させる制御装置と、を備え、
前記頭部装着式表示装置は、ディスプレイを有するスマートグラスとして構成され、
前記制御装置は、
前記スマートグラスの向きを検出するとともに、該検出結果に基づいて、前記ディスプレイ越しの視界を推定し、
前記記憶装置により記憶された敷設物情報のうち、前記ディスプレイ越しの視界内に収まる敷設物情報を選択するとともに、該選択した敷設物情報を前記ディスプレイに表示させる
ことを特徴とする表示システム。

【請求項2】

請求項１に記載された表示システムにおいて、
前記敷設物検出装置には、超広帯域無線を用いたレーダセンサが含まれる
ことを特徴とする表示システム。

【請求項3】

請求項１又は２に記載された表示システムにおいて、
前記敷設物検出装置は、前記頭部装着式表示装置の向きに対応した敷設物情報を前記頭部装着式表示装置に表示させる
ことを特徴とする表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

ここに開示する技術は、表示システムに関する。

【背景技術】

【0002】

ユーザが装着して用いる表示装置として、いわゆる頭部装着式表示装置（ヘッドマウントディスプレイ：ＨＭＤ）が広く知られている。このＨＭＤは、外光を透過させずに情報のみをユーザに視認させる非透過型のＨＭＤと、外光を透過させつつ、情報を重畳表示する透過型のＨＭＤと、に大別される。

【0003】

上記のように分類されるＨＭＤのうち、特に透過型のＨＭＤは、ユーザの視界を損なわないという利点を活かすべく、作業支援用の表示システムに用いられる場合がある。この場合、ユーザによる作業を妨げることなく、その作業を支援するための情報をユーザに視認させることができる。

【0004】

このような観点から創作された技術として、例えば特許文献１には、例えば道路を掘削する際に、ガス管や水道管の破損防止に資する表示システムが開示されている。具体的に、前記特許文献１に係る表示システムは、ＧＰＳやＡＲマーカを用いてＨＭＤの現在位置を取得するとともに、ガス管や水道管の配管構造を示す画像データを格納したデータベースから、取得された現在位置に対応する配管の画像を読み出す。そうして読み出した配管の画像を透過型のＨＭＤに表示させることにより、作業者に配管の位置等を把握させることができる。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１６－１９４７６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、建造物の壁内に埋め込まれた配管など、壁裏の敷設物を保守点検する場合には、敷設物が設けられた壁のうち、点検対象とされた敷設物周辺の部位を施工したり、点検対象ではない敷設物を避けつつ施工したりすることが求められる。

【0007】

このような要求に応えるためには、予め、敷設物の位置関係を作業者に把握させることが考えられる。そのための方策としては、保守点検に先立って設計図面を用意することが挙げられるものの、この方法は手間がかかり不都合である。

【0008】

そこで、設計図面を用意する代わりに、前記特許文献１に係る表示システムを用いることが考えられる。ところが、この表示システムを機能させるためには、配管構造を示す画像データが不可欠である。

【0009】

前記特許文献１に係る表示システムは、設計図面を示す電子データ（いわゆる設計データ）が現存しており、これを画像データとして利用可能な場合には有用であるものの、比較的古い建造物を工事する場合のように、そうした設計データが存在しない場合には機能せず、作業支援に何ら寄与しない、ということに本願発明者らは気付いた。

【0010】

ここに開示する技術は、かかる点に鑑みてなされたものであり、その目的とするところは、設計データが存在しない場合においても、敷設物の位置関係を作業者に把握させることにある。

【課題を解決するための手段】

【0011】

本開示は表示システムに係る。この表示システムは、壁裏の敷設物を検出する敷設物検出装置と、前記敷設物検出装置による検出箇所の位置情報を検出する位置情報検出装置と、前記敷設物検出装置により検出された敷設物と、前記位置情報検出装置により検出された位置情報とが関連付いた敷設物情報を記憶する記憶装置と、前記記憶装置により記憶された敷設物情報を重畳表示する透過型の頭部装着式表示装置と、前記記憶装置により記憶された敷設物情報のうち、前記頭部装着式表示装置を通じた視界に対応した敷設物情報を前記頭部装着式表示装置に表示させる制御装置と、を備える。

【0012】

ここで、「頭部装着式表示装置を通じた視界」とは、例えば頭部装着式表示装置におけるディスプレイ越しの視界をいう。

【0013】

前記の構成によれば、制御装置は、記憶装置に記憶された敷設物情報のうち、頭部装着式表示装置を通じた視界に対応した敷設物情報を表示させる。よって、作業者の視界が変動したとしても、そうした変動を反映した敷設物情報を作業者に視認させることができる。そのため、作業者は、広い範囲を見渡しながら作業を行うことができる。このことは、作業効率を確保する上で有効である。

【0014】

また、前記の構成は、設計図面等を示す電子データを必要としない。したがって、設計データが存在しない場合においても、敷設物の位置関係を作業者に把握させることが可能になる。

【0015】

さらに、前記の構成によれば、敷設物情報を記憶装置に記憶させることで、作業対象のチェック結果を記録として残すことができる。記録の手間が省けるため、作業効率を確保する上で有利になる。

【0016】

また、前記敷設物検出装置には、超広帯域無線を用いたレーダセンサが含まれる、としてもよい。

【0017】

一般に、超広帯域無線は透過性に優れる。よって、超広帯域無線を用いることで、壁裏の敷設物を精度よく検出することが可能になる。

【0018】

また、前記敷設物検出装置は、前記頭部装着式表示装置の向きに対応した敷設物情報を前記頭部装着式表示装置に表示させる、としてもよい。

【0019】

前記の構成によれば、制御装置は、記憶装置に記憶された敷設物情報のうち、頭部装着式表示装置の向きに対応した敷設物情報を表示させる。例えば作業者が周囲を見渡したとき等、作業者の視界が変動したときには、その変動に応じて頭部装着式表示装置の向きが変わることになる。よって、頭部装着式表示装置の向きに対応した敷設物情報を頭部装着式表示装置に表示させることで、作業者の視界に対応した敷設物情報を作業者に視認させることが可能になる。

【0020】

また、前記頭部装着式表示装置は、スマートグラスとして構成されている、としてもよい。

【0021】

一般的なスマートグラスは、工事用のヘルメットに装着することができる。よって、前記の構成によれば、工事に際して利便性が向上する。

【発明の効果】

【0022】

以上説明したように、前記表示システムによれば、設計データが存在しない場合においても、敷設物の位置関係を作業者に把握させることが可能になる。

【図面の簡単な説明】

【0023】

【図1】図１は、表示システムの概略を例示する図である。

【図2】図２は、表示システムの構成を例示するブロック図である。

【図3】図３は、敷設物情報の取得手順を例示する図である。

【図4】図４は、敷設物情報の表示態様を例示する図である。

【発明を実施するための形態】

【0024】

以下、本開示の実施形態を図面に基づいて説明する。なお、以下の説明は例示である。

【0025】

＜表示システムの概略＞
図１は、表示システムＳの概略を例示する図であり、図２は、表示システムＳの構成を例示するブロック図である。図１～図２に示すように、表示システムＳは、敷設物センサ１、スマートグラス２及びコントローラ３を備えており、敷設物センサ１による検出結果をコントローラ３に記憶させるとともに、その記憶内容をスマートグラス２に表示させることができる。スマートグラス２における表示内容は、このスマートグラス２を装着した作業者によって視認される。

【0026】

以下、表示システムＳを成す各要素について順番に説明をする。

【0027】

－敷設物センサ－
敷設物センサ１は、超広帯域無線を用いたレーダセンサとして構成されており、建築物の壁に押し当てることで、壁裏の敷設物を検出することができる。ここで、敷設物センサ１による検出箇所（いわゆる「センサ位置」）は、後述のスマートグラス２によって特定される。

【0028】

この敷設物センサ１は、本実施形態における「敷設物検出装置」に相当する。敷設物検出装置としての敷設物センサ１による検出結果は、適宜、コントローラ３の記憶装置３２に無線又は有線で送信される。

【0029】

－スマートグラス－
スマートグラス２は、透過型の頭部装着式表示装置を例示しており、種々の情報を重畳表示するためのディスプレイ２１と、距離を計測するためのステレオカメラ２２と、ディスプレイ２１の姿勢を検出するための９軸センサ２３と、を有している。

【0030】

具体的に、ディスプレイ２１は、左右一対の表示装置として構成されており、コントローラ３からの信号に基づいて拡張現実（Augmented Reality：ＡＲ）コンテンツを表示させることができる。ディスプレイ２１上に表示されるＡＲコンテンツは、ディスプレイ２１越しに視覚される実空間に重畳されることになる。

【0031】

ステレオカメラ２２は、左右一対のレンズを備えた構成とされており、各レンズを通じて結像する光学像に基づいて、被写体との距離を計測することができる。ここでの被写体には、少なくとも、前述の敷設物センサ１、ひいては敷設物センサ１による検出箇所と、後述のＡＲマーカ４と、が含まれる。

【0032】

９軸センサ２３は、いわゆるジャイロスコープを備えた構成とされており、スマートグラス２の姿勢を検出することができる。ステレオカメラ２２による検出結果と、９軸センサ２３による検出結果とを組み合わせることで、敷設物センサ１による検出箇所の位置情報を三次元的に検出することが可能になる。

【0033】

ステレオカメラ２２及び９軸センサ２３は、本実施形態における「位置情報検出装置」に相当する。ステレオカメラ２２及び９軸センサ２３による検出結果は、適宜、コントローラ３に送信される。

【0034】

－コントローラ－
コントローラ３は、種々の処理を行うプロセッサ３１と、前述の記憶装置３２と、を有しており、敷設物センサ１及びスマートグラス２のそれぞれに対して電気的に接続されている。コントローラ３は、本開示における「制御装置」に相当する。

【0035】

プロセッサ３１は、敷設物センサ１により検出された敷設物と、ステレオカメラ２２及び９軸センサ２３により検出された位置情報（具体的には、敷設物センサ１による検出箇所の位置情報）と、が関連付いた敷設物情報を生成し、そうして生成した敷設物情報を記憶装置３２に記憶させる。すなわち、本実施形態に係る敷設物情報は、３次元空間における座標毎に与えられる情報であり、いわゆる「センシング空間」において定めることができる。

【0036】

このセンシング空間と、ディスプレイ２１越しに視覚される現実の空間（以下、「実空間」ともいう）との相対的な位置関係は、例えば、実空間上にＡＲマーカ４を配置することで決定することができる。この場合、前述のステレオカメラ２２がＡＲマーカ４を検出することで、実空間におけるＡＲマーカ４の位置が検出されるとともに、そのＡＲマーカ４に対する相対座標として、センシング空間における座標を定めることができる。

【0037】

記憶装置３２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、揮発性若しくは不揮発性のメモリから成り、プロセッサ３１によって生成された敷設物情報を記憶することができる。記憶装置３２における記憶内容は、プロセッサ３１によって適宜、読み込まれるようになっている。

【0038】

前述のスマートグラス２は、記憶装置３２により記憶された敷設物情報を景色に重ねて重畳表示することが出来る。すなわち、スマートグラス２は、ＡＲコンテンツとして敷設物情報を選択し、これを実空間に重畳することができる。ここで、スマートグラス２における敷設物情報の表示態様は、コントローラ３によって制御される。

【0039】

具体的に、コントローラ３は、記憶装置３２により記憶された敷設物情報のうち、スマートグラス２を通じた視界（具体的には、スマートグラス２のディスプレイ２１越しの視界）に対応した敷設物情報をスマートグラス２に表示させる。

【0040】

さらに詳しくは、コントローラ３は、９軸センサ２３による検出結果に基づいてスマートグラス２の向きを検出するとともに、そうして検出されたスマートグラス２の向きに基づいて、ディスプレイ２１越しの視界を推定する。そして、コントローラ３は、記憶装置３２により記憶された敷設物情報のうち、そうして推定された視界内に収まる敷設物情報を選択し、それをディスプレイ２１に表示させる。

【0041】

このように、本実施形態に係るスマートグラス２は、ディスプレイ２１越しに視覚される実空間に対し、敷設物情報が定められたセンシング空間を重ね合わせて表示することができる。実空間とセンシング空間とを重ね合わせた複合現実（Mixed Reality：ＭＲ）空間を作業者に提供することで、敷設物の保守点検に際して、種々の作業支援を実現することが可能になる。

【0042】

＜敷設物情報の取得手順＞
図３は、敷設物情報の取得手順を例示する図である。図３の鎖線に示すように、壁裏には配管状の敷設物が設けられているものとする。

【0043】

図３の上段に示すように、作業者は、点検対象となる壁Ｗの表面にＡＲマーカ４を取り付けるとともに、壁Ｗの表面に敷設物センサ１を近づける。

【0044】

そして、図３の中段及び下段に示すように、作業者は、壁Ｗの表面全体を沿わせるように敷設物センサ１を移動させる。これにより、壁裏の敷設物Ｐが検出される。敷設物の検出と並行して、スマートグラス２のステレオカメラ２２が敷設物センサ１を追跡することで、敷設物センサ１による検出箇所の位置情報が三次元的に検出される。コントローラ３は、敷設物センサ１により検出された敷設物と、スマートグラス２により検出された位置情報とが関連付いた敷設物情報Ｉを記憶装置３２に記憶させる。

【0045】

＜敷設物情報の表示態様＞
図４は、敷設物情報Ｉの表示態様を例示する図である。図４において例示される敷設物情報Ｉは、図３に例示した敷設物情報Ｉに等しい。

【0046】

図４の上段に示すように、作業者Ｍの視線が紙面右側を指向しているときには、紙面右側の壁Ｗが視界Ｖ１に収まることになる。この場合、コントローラ３は、記憶装置３２に記憶された敷設物情報Ｉのうち、視界Ｖ１に対応した敷設物情報Ｉ１をディスプレイ２１に表示させる。

【0047】

一方、図４の下段に示すように、作業者Ｍが首を振って周囲を見渡した結果、その視線が紙面左側を指向したときには、紙面左側の壁Ｗが視界Ｖ２に収まることになる。この場合、コントローラ３は、記憶装置３２に記憶された敷設物情報Ｉのうち、視界Ｖ２に対応した敷設物情報Ｉ２をディスプレイ２１に表示させる。

【0048】

このように、コントローラ３は、記憶装置３２に記憶された敷設物情報Ｉのうち、スマートグラス２を通じた視界Ｖ１，Ｖ２に対応した敷設物情報Ｉ１，Ｉ２を表示させる。よって、作業者Ｍの視界が変動したとしても、そうした変動を反映した敷設物情報Ｉ１，Ｉ２を作業者Ｍに視認させることができる。そのため、作業者Ｍは、広い範囲を見渡しながら作業を行うことができる。このことは、作業効率を確保する上で有効である。

【0049】

また、本実施形態に係る表示システムＳは、設計図面等を示す電子データを必要としない。したがって、設計データが存在しない場合においても、敷設物の位置関係を作業者Ｍに把握させることが可能になる。

【0050】

一方、３Ｄ－ＣＡＤデータ等の設計データが仮に存在した場合には、その設計データと、敷設物情報Ｉとを比較することで、設計図面と実際の敷設物との相違点を把握することが可能になる。

【0051】

さらに、本実施形態に係る表示システムＳによれば、敷設物情報Ｉを記憶装置３２に記憶させることで、敷設物のチェック結果を記録として残すことができる。記録の手間が省けるため、作業効率を確保する上で有利になる。

【0052】

また一般に、超広帯域無線は透過性に優れる。よって、超広帯域無線を用いたレーダセンサとして敷設物センサ１を構成することで、壁裏の敷設物を精度よく検出することが可能になる。

【0053】

また、図４に示すように、コントローラ３は、記憶装置３２に記憶された敷設物情報Ｉのうち、スマートグラス２の向きに対応した敷設物情報Ｉ１，Ｉ２を表示させる。例えば作業者Ｍが周囲を見渡したとき等、その作業者Ｍの視界が変動したときには、視界の変動に応じてスマートグラス２の向きが変わることになる。よって、スマートグラス２の向きに対応した敷設物情報Ｉ１，Ｉ２をスマートグラス２に表示させることで、作業者Ｍの視界Ｖ１，Ｖ２に対応した敷設物情報Ｉ１，Ｉ２を作業者Ｍに視認させることが可能になる。

【0054】

また、頭部装着式表示装置としてのスマートグラス２は、工事用のヘルメットに装着することができる。よって、工事に際して利便性が向上する。

【0055】

《他の実施形態》
前記実施形態では、ステレオカメラ２２及び９軸センサ２３により検出される位置情報は、３次元的な位置情報として検出されるように構成されていたが、この構成には限定されない。例えば、２次元的な位置情報として検出されるように構成してもよい。

【0056】

また前記実施形態は、ＡＲマーカ４を用いた構成とされていたが、この構成には限定されない。例えば、ステレオカメラ２２によって撮像可能な物体を特徴点とし、それをＡＲマーカの代わりに用いてもよい。

【符号の説明】

【0057】

１ 敷設物センサ（敷設物検出装置）
２ スマートグラス（頭部装着式表示装置）
２２ ステレオカメラ（位置情報検出装置）
２３ ９軸センサ（位置情報検出装置）
３ コントローラ（制御装置）
３２ 記憶装置
Ｉ 敷設物情報
Ｉ１ 敷設物情報
Ｉ２ 敷設物情報
Ｓ 表示システム
Ｖ１ 視界
Ｖ２ 視界
Ｗ 壁

【図1】

【図2】

【図3】

【図4】