特開 2024-52149 表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024052149

(43)【公開日】2024-04-11

(54)【発明の名称】表示システム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240404BHJP

   G06F 3/048 20130101ALI20240404BHJP

   G06F 3/038 20130101ALI20240404BHJP

【ＦＩ】

G06T19/00 600

G06F3/048

G06F3/038 310A

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022158660

(22)【出願日】2022-09-30

(71)【出願人】

【識別番号】519250327

【氏名又は名称】株式会社ＸＭＡＴ

(71)【出願人】

【識別番号】504157024

【氏名又は名称】国立大学法人東北大学

(71)【出願人】

【識別番号】899000057

【氏名又は名称】学校法人日本大学

(74)【代理人】

【識別番号】100098394

【弁理士】

【氏名又は名称】山川 茂樹

(72)【発明者】

【氏名】面 政也

(72)【発明者】

【氏名】岩城 一郎

(72)【発明者】

【氏名】前島 拓

(72)【発明者】

【氏名】井上 憲司

(72)【発明者】

【氏名】大橋 雄二

(72)【発明者】

【氏名】吉川 彰

【テーマコード（参考）】

5B050

5B087

5E555

【Ｆターム（参考）】

5B050AA03

5B050BA06

5B050BA09

5B050BA12

5B050BA13

5B050CA08

5B050DA01

5B050EA04

5B050EA19

5B050EA26

5B050FA02

5B087AA09

5E555AA06

5E555BE17

5E555CA42

5E555CB65

5E555DA08

5E555DA13

5E555DC25

5E555EA22

5E555FA00

(57)【要約】

【課題】多くの手間を必要とせずに、作業者などが存在していても正確な測量などが実施できるようにする。
【解決手段】表示制御回路１１０は、記憶装置１０７が記憶する表示内容を、基準位置および位置検出装置１０２が検出する自装置の位置の変化に適合させて拡大縮小することで、拡張現実により表示装置１０３に表示する。視線検出機構１０４は、表示装置１０３を視認する使用者の視線を検出する。視線位置特定回路１１１は、表示装置１０３に拡張現実による表示の中で、基準位置を基点とした視線検出機構１０４が検出した視線の位置を特定する。照射方向制御機構１０６は、照射装置１０５の位置から視線位置特定回路１１１が特定した視線の位置の方向に、照射装置１０５が照射する光ビームの照射方向を制御する。
【選択図】 図１

【特許請求の範囲】

【請求項1】

自装置の前面の撮像対象を撮像するカメラと、
自装置の位置を検出する位置検出装置と、
人体に装着可能な表示装置と、
前記表示装置を視認する使用者の視線を検出する視線検出機構と、
光ビームを照射する照射装置と、
表示内容を記憶する記憶装置と、
前記カメラが撮像した前記撮像対象の映像の中より設定されている記号を検出する画像処理回路と、
前記画像処理回路が検出した前記記号の位置を基準位置とする基準設定回路と、
前記記憶装置が記憶する前記表示内容を、前記基準位置および前記位置検出装置が検出する自装置の位置の変化に適合させて拡大縮小することで、拡張現実により前記表示装置に表示する表示制御回路と、
前記表示装置に拡張現実による表示の中で、前記基準位置を基点とした前記視線検出機構が検出した視線の位置を特定する視線位置特定回路と、
前記照射装置の位置から前記視線位置特定回路が特定した視線の位置の方向に、前記照射装置が照射する光ビームの照射方向を制御する照射方向制御機構と
を備える表示システム。

【請求項2】

請求項１記載の表示システムにおいて、
前記視線検出機構が検出する視線の位置が、設定されている時間、設定されている領域内に存在している注視状態を検出する注視状態検出回路を備え、
前記照射装置は、前記注視状態検出回路が注視状態を検出すると、光ビームの照射を開始する
ことを特徴とする表示システム。

【請求項3】

請求項２記載の表示システムにおいて、
前記注視状態検出回路が注視状態を検出した時に、前記視線検出機構が検出する視線の位置を特定する注視位置特定回路を備え、
前記照射方向制御機構は、前記注視位置特定回路が特定した位置に前記照射装置が照射する光ビームの照射方向を固定する
ことを特徴とする表示システム。

【請求項4】

請求項１記載の表示システムにおいて、
前記照射方向制御機構は、前記位置検出装置が検出する位置を前記照射装置の位置とすることを特徴とする表示システム。

【請求項5】

請求項１記載の表示システムにおいて、
前記照射装置は、前記照射装置の位置を検出する位置検出機構を備え、
前記照射方向制御機構は、前記位置検出機構が検出する位置を前記照射装置の位置とすることを特徴とする表示システム。

【請求項6】

請求項１～５のいずれか１項に記載の表示システムにおいて、
前記表示装置は、ヘッドマウントディスプレイから構成されていることを特徴とする表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、拡張現実により情報を表示する表示システムに関する。

【背景技術】

【0002】

土木・建築・建造や、これらに伴って実施される完成検査・保守点検においては、正確な測量が欠かせない。この種の測量では、トータルステーションやレーザー距離計などを用いて測量を実施し、位置や高さ情報を取得し、必要に応じて墨出しを行い、基準線を書き出す作業を行う。また、主に建造部内部においては、レーザー墨出し器を用いて、壁面や天井面、床面にレーザー墨出し線を描く技術が知られている（特許文献１）。また、プロジェクションマッピングを用いて、コンクリート構造物の削孔位置を投影する技術が知られている（特許文献２）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１８９３７８号公報

【特許文献2】特開２０１９－１４８０９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した技術では、次に示す問題があった。まず、プロジェクションマッピングを用いる技術では、投影機が固定であり、同様に、レーザー墨出し器においては、レーザー照射器が固定されている。このため、例えば、投影面とレーザー照射器との間に障害物が存在すると、投影面に表示すべき基準線等位置が表示されない。特に、壁面や床面などに対して、検査や削孔などの作業を行う場合、作業者自身が障害物となり、投影すべき位置画像が描画されなくなり、検査や削孔位置の特定が困難になる。

【0005】

また、レーザー墨出し器の多くは、基準線が多くても３本であり、マトリクス状に複数の測定位置を指示することができない。また、プロジェクションマッピング技術は、事前に投影位置を決定し、決定した投影位置に対する投影面を正確に計測し、計測した距離情報・凹凸情報に応じた画像を事前に用意する必要があり、多くの手間を要するという問題がある。

【0006】

本発明は、以上のような問題点を解消するためになされたものであり、多くの手間を必要とせずに、作業者などが存在していても正確な測量などが実施できるようにすることを目的とする。

【課題を解決するための手段】

【0007】

本発明に係る表示システム、自装置の前面の撮像対象を撮像するカメラと、自装置の位置を検出する位置検出装置と、人体に装着可能な表示装置と、表示装置を視認する使用者の視線を検出する視線検出機構と、光ビームを照射する照射装置と、表示内容を記憶する記憶装置と、カメラが撮像した撮像対象の映像の中より設定されている記号を検出する画像処理回路と、画像処理回路が検出した記号の位置を基準位置とする基準設定回路と、記憶装置が記憶する表示内容を、基準位置および位置検出装置が検出する自装置の位置の変化に適合させて拡大縮小することで、拡張現実により表示装置に表示する表示制御回路と、表示装置に拡張現実による表示の中で、基準位置を基点とした視線検出機構が検出した視線の位置を特定する視線位置特定回路と、照射装置の位置から視線位置特定回路が特定した視線の位置の方向に、照射装置が照射する光ビームの照射方向を制御する照射方向制御機構とを備える。

【0008】

上記表示システムの一構成例において、視線検出機構が検出する視線の位置が、設定されている時間、設定されている領域内に存在している注視状態を検出する注視状態検出回路を備え、照射装置は、注視状態検出回路が注視状態を検出すると、光ビームの照射を開始する。

【0009】

上記表示システムの一構成例において、注視状態検出回路が注視状態を検出した時に、視線検出機構が検出する視線の位置を特定する注視位置特定回路を備え、照射方向制御機構は、注視位置特定回路が特定した位置に照射装置が照射する光ビームの照射方向を固定する。

【0010】

上記表示システムの一構成例において、照射方向制御機構は、位置検出装置が検出する位置を照射装置の位置とする。

【0011】

上記表示システムの一構成例において、照射装置は、照射装置の位置を検出する位置検出機構を備え、照射方向制御機構は、位置検出機構が検出する位置を照射装置の位置とする。

【0012】

上記表示システムの一構成例において、表示装置は、ヘッドマウントディスプレイから構成されている。

【発明の効果】

【0013】

以上説明したように、本発明によれば、拡張現実によりに表示されている表示内容を視認している使用者の視線を検出し、検出した視線の位置の方向に、光ビームを照射するので、多くの手間を必要とせずに、作業者などが存在していても正確な測量や作業などが実施できる。

【図面の簡単な説明】

【0014】

【図1】図１は、本発明の実施の形態に係る表示システムの構成を示す構成図である。

【図2】図２は、本発明の実施の形態に係る表示装置の画像処理回路１０８、基準設定回路１０９、表示制御回路１１０、視線位置特定回路１１１、注視状態検出回路１１２、注視位置特定回路１１３のハードウエア構成を示す構成図である。

【発明を実施するための形態】

【0015】

以下、本発明の実施の形態に係る表示システムについて図１を参照して説明する。この表示システムは、カメラ１０１、位置検出装置１０２、表示装置１０３、視線検出機構１０４、照射装置１０５、照射方向制御機構１０６、記憶装置１０７、画像処理回路１０８、基準設定回路１０９、表示制御回路１１０、視線位置特定回路１１１を備える。

【0016】

カメラ１０１は、自装置の前面の撮像対象を撮像する。位置検出装置１０２は、自装置の位置を検出する。位置検出装置１０２は、例えば、ＧＰＳ（Global Positioning System）や距離センサと、加速度センサやジャイロセンサによる慣性計測機能を備え、ＧＰＳにより検出された位置情報と、完成計測機能による相対的な移動量を検出する。

【0017】

表示装置１０３は、人体に装着可能とされている。表示装置１０３は、例えば、ヘッドマウントディスプレイから構成することができる。また、表示装置１０３は、透過型のディスプレイから構成することもできる。表示装置１０３は、透明または半透明の状態で、複数の表示内容の画像を表示可能とされ、表示装置１０３を通して視認される対象となる構造体に、拡張現実による情報（複数の表示内容）を重畳表示することができる。

【0018】

視線検出機構１０４は、表示装置１０３を視認する使用者の視線を検出する。視線検出機構１０４は、例えば、光源と、複数の光検出器とを備え、眼球からの反射光量の変化を複数の光検出器で検出し、複数の光検出器の検出結果を比較することで、視線位置を検出する。複数の光検出器への入射光量は、角膜の位置によりそれぞれ変化するので、複数の光検出器の検出結果を比較することで視線方向を検出することができる。

【0019】

照射装置１０５は、光ビームを照射する。照射装置１０５は、例えば、よく知られたレーザービームポインタから構成することができる。照射装置１０５が照射して対象面に投影されるビーム形状は、例えば、点（円）とすることができる。また、ビーム形状は、十文字形状など任意の形状とすることができる。また、任意の文字列が投影されるものとすることもできる。

【0020】

記憶装置１０７は、表示内容を記憶する。画像処理回路１０８は、カメラ１０１が撮像した撮像対象の映像の中より設定されている記号を検出する。撮像対象は、例えばトンネル、橋、堤防、建築物などの鉄筋コンクリート製の構造体である。記号は、例えば、撮像対象の構造体に貼り付けられたマトリクス型２次元コードとすることができる。また、記号は、構造体に設けられたＡＲマーカとすることができる。また、対象となる構造体の中の特定箇所の形状を、記号として設定しておくこともできる。この場合、画像処理回路１０８は、カメラ１０１が撮像した映像の中より、設定されている形状に一致する形状を検出する。

【0021】

基準設定回路１０９は、画像処理回路１０８が検出した記号の位置を基準位置とする。表示制御回路１１０は、記憶装置１０７が記憶する表示内容を、基準位置および位置検出装置１０２が検出する自装置の位置の変化に適合させて拡大縮小することで、拡張現実により表示装置１０３に表示する。

【0022】

視線位置特定回路１１１は、表示装置１０３に拡張現実による表示の中で、基準位置を基点とした視線検出機構１０４が検出した視線の位置を特定する。照射方向制御機構１０６は、照射装置１０５の位置から視線位置特定回路１１１が特定した視線の位置の方向に、照射装置１０５が照射する光ビームの照射方向を制御する。照射方向制御機構１０６は、位置検出装置１０２が検出する位置を照射装置１０５の位置とする。また、照射装置１０５が、照射装置１０５の位置を検出する位置検出機構を備える構成とすることで、照射方向制御機構１０６は、位置検出機構が検出する位置を照射装置１０５の位置とすることができる。

【0023】

また、この表示システムは、注視状態検出回路１１２を備えることができる。注視状態検出回路１１２は、視線検出機構１０４が検出する視線の位置が、設定されている時間、設定されている領域内に存在している注視状態を検出する。注視状態検出回路１１２が注視状態を検出することにより、照射装置１０５に、光ビームの照射を開始させることができる。

【0024】

また、この表示システムは、注視位置特定回路１１３を備えることができる。注視位置特定回路１１３は、注視状態検出回路１１２が注視状態を検出した時に、視線検出機構１０４が検出する視線の位置を特定する。注視位置特定回路１１３を備えることで、照射方向制御機構１０６は、注視位置特定回路１１３が特定した位置に照射装置１０５が照射する光ビームの照射方向を固定することができる。

【0025】

上述した実施の形態に係る表示装置の画像処理回路１０８、基準設定回路１０９、表示制御回路１１０、視線位置特定回路１１１、注視状態検出回路１１２、注視位置特定回路１１３は、図２に示すように、ＣＰＵ（Central Processing Unit；中央演算処理装置）３０１と主記憶装置３０２と外部記憶装置３０３とネットワーク接続装置３０４となどを備えたコンピュータ機器とし、主記憶装置３０２に展開されたプログラムによりＣＰＵ３０１が動作する（プログラムを実行する）ことで、上述した各機能が実現されるようにすることができる。ネットワーク接続装置３０４は、ネットワーク３０５に接続する。また、各機能（回路）は、複数のコンピュータ機器に分散させることもできる。

【0026】

例えば、実施の形態に係る表示システムは、記憶装置１０７、画像処理回路１０８、基準設定回路１０９、表示制御回路１１０、視線位置特定回路１１１、注視状態検出回路１１２、注視位置特定回路１１３を備える小型のコンピュータと、カメラ１０１、位置検出装置１０２、表示装置１０３（ヘッドマウントディスプレイ）、視線検出機構１０４、照射装置１０５、照射方向制御機構１０６を備えるヘッドセットから構成することができる。また、照射装置１０５、照射方向制御機構１０６は、ヘッドセットに設ける必要な無く、別のユニットとして、ヘッドセットが装着される使用者の、ヘルメット、肩、胸などに装着可能とする構成とすることができ、また、使用者の手に保持する構成とすることもできる。

【0027】

例えば、使用者に装着されたヘッドセットのカメラ１０１は、使用者の前面の構造体を撮影し、画像処理回路１０８が、カメラ１０１が撮像した構造体の映像の中より設定されている記号を検出する。画像処理回路１０８が記号の位置を検出すると、基準設定回路１０９が、検出されて記号の位置を基準位置とする。基準設定回路１０９が基準位置を決定すると、表示制御回路１１０が、記憶装置１０７が記憶する表示内容を、基準位置および位置検出装置１０２が検出する自装置の位置の変化に適合させて拡大縮小することで、拡張現実により表示装置１０３に表示する。

【0028】

例えば、拡張現実により構造体の分割した複数の分割領域毎に複数の表示内容が表示される。構造体は、例えば、鉄筋コンクリートから構成されている。表示内容は、複数の分割領域の箇所を識別する識別情報である。例えば、マトリクス状に配列された分割領域の各々の箇所を識別する識別情報である。また、複数の表示内容は、複数の分割領域毎の、構造体の表面側からの測定による複数の測定結果である。測定は、例えば、塩分濃度、剥離、ひび、空洞を含む構造体の劣化状態の測定であり、複数の測定結果の各々は、塩分濃度、剥離、ひび、空洞を含む構造体の劣化状態を示すものである。

【0029】

また、複数の表示内容は、複数の分割領域の配置情報を基に複数の分割領域の各々に相対的に対応させて、拡張現実により表示される。表示制御回路１１０は、例えば、複数の表示内容を、対応する配置情報とともに、表示装置１０３に表示することができる。
ヘッドセットを装着する使用者は、現実空間と合致するよう表示装置に表示（投影）された画像により、あたかも実空間に位置画像が配置されているかのような認識を得る。本システムは、位置検出装置１０２により、使用者が移動しても、使用者自身は実空間と投影画像の位置ずれをほとんど認識できない。

【0030】

また、使用者が画像内の特定の測定位置を注視すると、この状態が視線検出機構１０４により検出され、注視している位置が視線位置特定回路１１１により特定される。注視位置が特定されると、照射方向制御機構１０６が、照射装置１０５の位置から視線位置特定回路１１１が特定した視線の位置の方向に、照射装置１０５が照射する光ビームの照射方向を制御する。この結果、照射装置１０５が照射する光ビーム（レーザービーム）が、使用者の注視した位置に照射される。照射した光ビームにより、例えば、構造体における測定あるいは削孔などの作業すべき位置を、作業者に輝点として指し示すことができる。作業者は、光ビームによる輝点を参照することで、所用の作業が実施できる。

【0031】

照射方向制御機構１０６が、特定された視線の位置の方向に、照射装置１０５が照射する光ビームの照射方向を制御するので、使用者が目的の箇所を注視している限り、使用者が移動しても、同一の箇所に光ビームが照射される（自動追尾）。

【0032】

また、光ビームは、視線位置特定回路１１１により特定された視線位置に常時照射してもよく、また、注視状態検出回路１１２により注視状態が検出されたら照射してもよい。また、注視位置特定回路１１３により、注視位置特定回路１１３が特定した位置に照射装置１０５が照射する光ビームの照射方向が固定することで、使用者が目的の箇所より視線をずらしても、同一の箇所に光ビームを照射することができる。また、使用者による特定の視線移動による操作の検出に基づいて、光ビームの照射を停止することができる。

【0033】

また、画像処理回路１０８は、処理対象の映像の中より、人や動物を検出する画像認識機能を備えることができる。画像処理回路１０８が、カメラ１０１が撮像した撮像対象の映像の中より人や動物を検出し、検出した対象が視線検出機構１０４により検出された視線の上に配置されている場合、照射装置１０５による光ビームの照射を停止する構成としてもよい。

【0034】

また、拡張現実により複数の表示内容を表示する場合、視線検出機構１０４が検出した使用者の視線に対応する表示内容に関連付けられている情報を、設定されている送信対象者（例えば、作業者）に送信することができる。

【0035】

また、記憶装置１０７は、ネットワーク（例えば無線ネットワーク）で接続されたサーバに備えられているものとすることができる。サーバにおいて、記憶装置１０７に記憶されている表示内容が変更（更新）されると、変更された表示内容が、表示装置１０３に表示される画像に直ちに反映される。

【0036】

また、作業者が対象物に対して実施する測定あるいは削孔などの作業機器と本システムとを、ネットワークを介して接続することができる。例えば、作業機器がネットワークを介して接続するサーバに作業内容を送信している場合、サーバに送信された作業な要を本システムで取得することができる。また、作業機器と本システムとを、Ｗｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信により接続可能とすることができる。この場合、作業機器における作業内容を、無線通信により本システムで取得することができる。例えば、作業機器において、測定あるいは作業が完了するごとに、この完了情報を本システムで取得し、主とした情報を表示内容に組み合わせて表示装置１０３に表示させることができる。

【0037】

以上に説明したように、本発明によれば、拡張現実によりに表示されている表示内容を視認している使用者の視線を検出し、検出した視線の位置の方向に、光ビームを照射するので、多くの手間を必要とせずに、作業者などが存在していても正確な測量や作業などが実施できるようになる。

【0038】

本発明によれば、障害物などにより測定箇所など指示指定をしようとする箇所の画像が遮られることがなくなる。また、本発明によれば、例えば、拡張現実により表示する表示内容を、マトリクス状に複数表示できるので、既存のレーザー墨出し器では実現が困難なマトリクス状の測定（作業）箇所の表示が可能となる。また、本発明によれば、プロジェクションマッピングに必要となる膨大な準備作業が不要となり、ＡＲマーカなどの記号の設置位置と表示すべき表示内容を設定する簡単な準備作業のみで、容易に測定箇所の特定を行うことができる。また、使用者が注視している箇所の表示内容に関連付けられている情報（例えば、測定位置を表すラベル）と、測定結果を紐づけることが可能となる。これにより、例えば、拡張現実の表示において測定済みかどうかの判定ができるようになり、測定箇所が重複するなどの問題がなくなる。

【0039】

上記の実施形態の一部または全部は、以下の付記のようにも記載されるが、以下には限られない。

【0040】

［付記１］
自装置の前面の撮像対象を撮像するカメラと、
自装置の位置を検出する位置検出装置と、
人体に装着可能な表示装置と、
前記表示装置を視認する使用者の視線を検出する視線検出機構と、
光ビームを照射する照射装置と、
表示内容を記憶する記憶装置と、
前記カメラが撮像した前記撮像対象の映像の中より設定されている記号を検出する画像処理回路と、
前記画像処理回路が検出した前記記号の位置を基準位置とする基準設定回路と、
前記記憶装置が記憶する前記表示内容を、前記基準位置および前記位置検出装置が検出する自装置の位置の変化に適合させて拡大縮小することで、拡張現実により前記表示装置に表示する表示制御回路と、
前記表示装置に拡張現実による表示の中で、前記基準位置を基点とした前記視線検出機構が検出した視線の位置を特定する視線位置特定回路と、
前記照射装置の位置から前記視線位置特定回路が特定した視線の位置の方向に、前記照射装置が照射する光ビームの照射方向を制御する照射方向制御機構と
を備える表示システム。

【0041】

［付記２］
付記１記載の表示システムにおいて、
前記視線検出機構が検出する視線の位置が、設定されている時間、設定されている領域内に存在している注視状態を検出する注視状態検出回路を備え、
前記照射装置は、前記注視状態検出回路が注視状態を検出すると、光ビームの照射を開始する
ことを特徴とする表示システム。

【0042】

［付記３］
付記２記載の表示システムにおいて、
前記注視状態検出回路が注視状態を検出した時に、前記視線検出機構が検出する視線の位置を特定する注視位置特定回路を備え、
前記照射方向制御機構は、前記注視位置特定回路が特定した位置に前記照射装置が照射する光ビームの照射方向を固定する
ことを特徴とする表示システム。

【0043】

［付記４］
付記１～３のいずれか１項に記載の表示システムにおいて、
前記照射方向制御機構は、前記位置検出装置が検出する位置を前記照射装置の位置とすることを特徴とする表示システム。

【0044】

［付記５］
付記１～４のいずれか１項に記載の表示システムにおいて、
前記照射装置は、前記照射装置の位置を検出する位置検出機構を備え、
前記照射方向制御機構は、前記位置検出機構が検出する位置を前記照射装置の位置とすることを特徴とする表示システム。

【0045】

［付記６］
付記１～５のいずれか１項に記載の表示システムにおいて、
前記表示装置は、ヘッドマウントディスプレイから構成されていることを特徴とする表示システム。

【0046】

なお、本発明は以上に説明した実施の形態に限定されるものではなく、本発明の技術的思想内で、当分野において通常の知識を有する者により、多くの変形および組み合わせが実施可能であることは明白である。

【符号の説明】

【0047】

１０１…カメラ、１０２…位置検出装置、１０３…表示装置、１０４…視線検出機構、１０５…照射装置、１０６…照射方向制御機構、１０７…記憶装置、１０８…画像処理回路、１０９…基準設定回路、１１０…表示制御回路、１１１…視線位置特定回路、１１２…注視状態検出回路、１１３…注視位置特定回路。

【図1】

【図2】