特許 7395137 ヘッドマウント型温度分布認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-01

(45)【発行日】2023-12-11

(54)【発明の名称】ヘッドマウント型温度分布認識装置

(51)【国際特許分類】

   G01J 5/48 20220101AFI20231204BHJP

   G01J 5/00 20220101ALI20231204BHJP

   G01N 25/72 20060101ALI20231204BHJP

   G06T 19/00 20110101ALI20231204BHJP

   G06F 3/01 20060101ALI20231204BHJP

【ＦＩ】

G01J5/48 A

G01J5/00 101Z

G01N25/72 Z

G06T19/00 600

G06F3/01 510

【請求項の数】 9

(21)【出願番号】P 2019224955

(22)【出願日】2019-12-12

(65)【公開番号】P2021092521

(43)【公開日】2021-06-17

【審査請求日】2022-12-06

(73)【特許権者】

【識別番号】000141060

【氏名又は名称】株式会社関電工

(73)【特許権者】

【識別番号】518175544

【氏名又は名称】株式会社ポケット・クエリーズ

(74)【代理人】

【識別番号】100109715

【弁理士】

【氏名又は名称】塩谷 英明

(72)【発明者】

【氏名】森 公一

(72)【発明者】

【氏名】▲土▼田 崇

(72)【発明者】

【氏名】榊原 宏行

(72)【発明者】

【氏名】佐々木 宣彦

(72)【発明者】

【氏名】佐藤 雄介

【審査官】小澤 瞬

(56)【参考文献】

【文献】特開２０１０－１９７１５３（ＪＰ，Ａ）

【文献】国際公開第２０１９／２０３３５１（ＷＯ，Ａ１）

【文献】特開平０９－０２１７０４（ＪＰ，Ａ）

【文献】特開２００４－２３３８７７（ＪＰ，Ａ）

【文献】特開２００１－３１２７１８（ＪＰ，Ａ）

【文献】特開２０１９－１２１３６２（ＪＰ，Ａ）

【文献】特許第６４００８６３（ＪＰ，Ｂ１）

【文献】特開平０５－０６０６１７（ＪＰ，Ａ）

【文献】特開２０１７－１９４３００（ＪＰ，Ａ）

【文献】特開２００２－３６６９５３（ＪＰ，Ａ）

【文献】米国特許第０６５６００２９（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｊ ５／００ － Ｇ０１Ｊ ５／９０

Ｇ０６Ｔ １９／００

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

ヘッドマウント型温度分布認識装置と、
前記ヘッドマウント型温度分布認識装置と通信ネットワークを介して接続される管理サーバと、を備えるシステムであって、
前記ヘッドマウント型温度分布認識装置は、
ユーザの頭部に装着可能なヘッドマウント部と、
前記ヘッドマウント部を装着したユーザの視線の方向に略一致するように配置された、少なくとも、対象空間における熱源から発せられる赤外線を検出するためのサーモセンサ及び該対象空間における３次元形状を認識するための空間認識センサとを含むセンサと、
前記ユーザの視線の前方に配置されたディスプレイと、
前記センサと前記ディスプレイとを制御するコントローラとを備え、
前記コントローラは、
前記サーモセンサから出力される第１のデータと、前記空間認識センサから出力される第２のデータとに基づいて、前記対象空間におけるサーモグラフィを含む画像データを生成し、生成した前記画像データに基づく画像が前記ディスプレイに表示されるように制御を行い、
前記空間認識センサの前方での前記ユーザのエアタップジェスチャをユーザ入力として受け付けて、該受け付けたユーザ入力に応じて前記ディスプレイに所定のメニューが表示されるように制御を行い、
電気設備の位置情報を記録したマーカを前記センサが読み取った場合に、前記電気設備の位置情報を取得して、前記電気設備が設置された位置又は方向が前記ディスプレイに表示されるように制御を行い、前記位置情報を前記第１のデータ及び／又は前記画像データとともに前記管理サーバに送信し、
前記管理サーバは、
前記ヘッドマウント型温度分布認識装置からリアルタイムで送信される温度データ及びイメージデータに基づいて、同一種類の複数の電気部品の間で所定の温度差が生じ、高い温度を示す該電気部品を発熱異常であると判断して、前記ユーザに指示を行い、前記ヘッドマウント型温度分布認識装置から受信した前記第１のデータ及び／又は前記画像データを前記位置情報に関連付けて記憶装置に蓄積し、蓄積された前記第１のデータ及び／又は前記画像データを建物内の地理的情報に関連付けて表示する、
システム。

【請求項2】

前記コントローラは、
前記サーモセンサから出力される第１のデータに基づいて、温度分布データを生成する温度データ処理部と、
前記空間認識センサから出力される第２のデータに基づいて、空間姿勢データを生成する空間姿勢推定部と、
前記温度分布データに基づくサーモグラフィが、前記空間姿勢データに基づく前記対象空間におけるオブジェクトに一致するように、前記サーモグラフィを含む前記画像データを生成する画像データ生成部と、
を備える、
請求項１記載のシステム。

【請求項3】

前記コントローラは、前記所定のメニューに対する前記エアタップジェスチャに従って、前記サーモグラフィにおける表示温度の範囲を設定可能に構成され、
前記画像データ生成部は、設定された前記表示温度の範囲に従った前記サーモグラフィを含む前記画像データを生成する、
請求項２記載のシステム。

【請求項4】

前記コントローラは、前記サーモセンサから出力される第１のデータに示される温度が所定の警告温度以上である場合に、前記ユーザに知らせるように構成される、
請求項３に記載のシステム。

【請求項5】

前記画像データ生成部は、前記所定の警告温度より低い温度が前記サーモグラフィにおいて不可視状態になるように、前記画像データを生成する、
請求項４に記載のシステム。

【請求項6】

前記サーモセンサは、前記ヘッドマウント部に着脱可能に取り付けられる、
請求項１乃至５の何れか一項に記載のシステム。

【請求項7】

前記センサは、前記ユーザによって立体的なサーモグラフィが知覚されるように、前記ユーザの両眼視差に対応するように配置された一対の前記サーモセンサを含む、
請求項１乃至６の何れか一項に記載のシステム。

【請求項8】

ヘッドマウント型温度分布認識装置と、
前記ヘッドマウント型温度分布認識装置と通信ネットワークを介して接続される管理サーバと、を備えるシステムであって、
前記ヘッドマウント型温度分布認識装置は、
ユーザの頭部に装着可能なヘッドマウント部と、
前記ヘッドマウント部を装着したユーザの視線の方向に略一致するように配置された、少なくとも、対象空間における熱源から発せられる赤外線を検出するためのサーモセンサ及び該対象空間における３次元形状を認識するための空間認識センサとを含むセンサと、
前記ユーザの視線の前方に配置されたディスプレイと、
前記センサと前記ディスプレイとを制御するコントローラとを備え、
前記コントローラは、
前記サーモセンサから出力される第１のデータと、前記空間認識センサから出力される第２のデータとに基づいて、前記対象空間におけるサーモグラフィを含む画像データを生成し、生成した前記画像データに基づく画像が前記ディスプレイに表示されるように制御を行い、
電気設備の位置情報を記録したマーカを前記センサが読み取った場合に、前記電気設備の位置情報を取得して、前記電気設備が設置された位置又は方向が前記ディスプレイに表示されるように制御を行い、前記位置情報を前記第１のデータ及び／又は前記画像データとともに前記管理サーバに送信し、
前記管理サーバは、
前記ヘッドマウント型温度分布認識装置からリアルタイムで送信される温度データ及びイメージデータに基づいて、同一種類の複数の電気部品の間で所定の温度差が生じ、高い温度を示す該電気部品を発熱異常であると判断して、前記ユーザに指示を行い、前記ヘッドマウント型温度分布認識装置から受信した前記第１のデータ及び／又は前記画像データを前記位置情報に関連付けて記憶装置に蓄積し、蓄積された前記第１のデータ及び／又は前記画像データを、建物内の地理的情報に関連付けて表示する、
システム。

【請求項9】

前記マーカは、バーコード又はＲＦタグである、
請求項１又は８に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ヘッドマウント型温度分布認識装置に関し、特に、複合現実（ＭＲ：Mixed Reality）技術を用いたヘッドマウント型温度分布認識装置に関する。

【背景技術】

【0002】

一般に、建物や構造物の火災において、電気設備（配線器具、電気機器、電灯、及び電話等並びにそれらの電気部品等）に起因する出火原因の割合は、全体の２割弱となっている。また、建物火災には至らないまでも、電源ケーブル等が焼け焦げて、煙や異臭を発生し、騒ぎになることも多い。このような電気設備に起因する火災を防ぐためには、電気設備の過熱異常を早期に発見する必要がある。

【0003】

電気設備の過熱異常を発見するため、例えば年１回の定期点検や日常的な巡視点検が行われている。典型的には、定期点検では、該設備への電気の供給を止めて、耐電圧や絶縁抵抗を測定する。また、日常的な巡視点検では、電気設備を稼働させたまま電流や電圧を測定する。更に、このような点検では、サーモガンやサーモカメラを用いて、発熱被疑箇所の温度分布を熱画像（サーモグラフィ）として可視化することも行われる。

【0004】

ところで、近年、複合現実と呼ばれる技術を用いた各種のデバイスが提案されている。複合現実とは、現実空間と仮想空間とを混合し、現実のモノと仮想的なモノとがリアルタイムで融合し合う空間を構築する技術である。下記特許文献１は、複合現実技術を利用したヘッドマウントディスプレイ（integrated head mounted eyepiece）を開示している。

【0005】

また、下記特許文献２は、熱画像形成カメラによる熱画像を表示するディスプレイをユーザの片目で視認させるように構成した頭部搭載型スマートデバイス（ＨＭＳＤ）が開示されている。

【先行技術文献】

【特許文献】

【0006】

【文献】米国特許出願公開公報２０１９／００２５５８７

【文献】特表２０１７－５１９９９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

電気設備の技術向上と普及により人々の生活が便利で豊かになる一方で、電気火災により人命や財産が失われ、世の中の重要設備や貴重な文化遺産が焼失する事態に直面している。火災による損失は規模が大きいことから、電気火災をゼロにすることが求められるが、前述のように火災全体に占める電気火災の割合は少なくない。

【0008】

電気設備特有の火災原因の一つとして、電源ケーブル等の接続の施工不良がある。例えば、三相三線式の電源ケーブルの接続を現場作業員が手作業で一つずつ行う中で、電源端子圧着の不十分やネジ止めの締付不足により施工不良となることが稀にある。この施工不良箇所が高抵抗となり、通電後に予測できないタイミングで過熱が発生する場合がある。すなわち、該電源接続部は、時間の経過と共に温度が上昇し、ケーブル被覆の耐熱温度を超えることで、発煙、発火し、周囲の可燃物へ延焼して火災を拡大する。

【0009】

したがって、電気設備の点検は非常に重要であるが、該設備への電気の供給を止めて、耐電圧や絶縁抵抗を測定する定期的な点検方法では、電気設備を物理的に直接触って、接続不良やネジ締付ゆるみを発見して是正することができる一方で、通電時に発熱している異常箇所は、停電により常温に戻っており、容易に発見することができない。

【0010】

また、過去の電気火災の事例を見ると、現場施工後、通電してすぐに発熱、発煙する事例もあれば、数か月あるいは数年後に過熱に至るような潜伏期間をもつ事例もある。年に１回の定期点検では、これらの潜伏する過熱箇所を漏れなく事前に発見することは時間的に不可能であり、日常的な設備巡視を行うことにより防げた電気火災事故が多いことが分かる。

【0011】

しかるに、電気設備を稼働させたまま電流や電圧を測定する日常的な点検方法では、点検者は、電気設備内の電気部品等に接近して作業する必要があるため、感電等の危険と常に隣り合わせである。実際、作業員の思い込みや不注意により誤って通電中の電気設備に触れて感電し、火傷や死亡に至る重大な災害が起きている。

【0012】

また、サーモガンやサーモカメラを用いて、発熱被疑箇所の温度分布を熱画像（サーモグラフィ）として可視化して異常箇所がないか点検する方法では、点検者は、電気設備内の電気部品等に接近する必要はなく、安全に発熱箇所を判別することができるが、実際の現場では、点検者がサーモガン等を手に持って発熱被疑箇所に狙いをつけながら、周囲を探し回る必要があり、電気設備の中に潜むわずかな異常箇所の見逃しも起こっていた。

【0013】

また、点検者は、発熱箇所の温度測定に至るまでは、サーモガンを手に持って、段差のある現場を歩いたり、脚立等を用いて高所に上がったり、扉を開けたりする必要があり、手持ちタイプのサーモガン等では、手が塞がってしまうため、転倒した場合にケガが重篤化するといった安全性に課題があった。

【0014】

更に、現状、熱画像診断で使用するサーモガンやサーモグラフィは市販され、容易に入手できるものの、電気設備の測定・点検のための技法を習得するには、専門的な知識と経験が必要であり、使い勝手が必ずしも良くなかった。また、熱画像固有の問題点として、表示された熱画像が現実のどの部分を示しているのか分かりにくかった。

【0015】

そこで、本発明は、出火原因となり得る電気設備の異常発熱を、的確、安全、及び／又は容易に発見するための装置を提案することを目的とする。

【0016】

より具体的には、本発明の目的の一つは、出火原因となり得る電気設備に点検者が接近することなく、該電気設備の異常発熱を、的確、安全、及び／又は容易に把握し得るヘッドマウント型温度分布認識装置を提供することである。

【課題を解決するための手段】

【0017】

上記課題を解決するための本発明は、以下に示す発明特定事項乃至は技術的特徴を含んで構成される。

【0018】

ある観点に従う本発明は、ユーザの頭部に装着可能なヘッドマウント部と、前記ヘッドマウント部を装着したユーザの視線の方向に略一致するように配置された、少なくとも、対象空間における熱源から発せられる赤外線を検出するためのサーモセンサ及び該対象空間における３次元形状を認識するための空間認識センサとを含むセンサと、前記ユーザの視線の前方に配置されたディスプレイと、前記センサと前記ディスプレイとを制御するコントローラとを備えるヘッドマウント型温度分布認識装置である。前記ヘッドマウント型温度分布認識装置において、前記コントローラは、前記サーモセンサから出力される第１のデータと、前記空間認識センサから出力される第２のデータとに基づいて、前記対象空間におけるサーモグラフィを含む画像データを生成する。また、前記コントローラは、生成した前記画像データに基づく画像が前記ディスプレイに表示されるように制御を行う。

【0019】

また、前記コントローラは、前記サーモセンサから出力される第１のデータに基づいて、温度分布データを生成する温度データ処理部と、前記空間認識センサから出力される第２のデータに基づいて、空間姿勢データを生成する空間姿勢推定部と、前記温度分布データに基づくサーモグラフィが、前記空間姿勢データに基づく前記対象空間におけるオブジェクトに一致するように、前記サーモグラフィを含む前記画像データを生成する画像データ生成部とを備え得る。

【0020】

また、前記コントローラは、前記サーモグラフィにおける表示温度の範囲を設定可能に構成され得る。そして、前記画像データ生成部は、設定された前記表示温度の範囲に従った前記サーモグラフィを含む前記画像データを生成し得る。

【0021】

また、前記コントローラは、前記サーモセンサから出力される第１のデータに示される温度が所定の警告温度以上である場合に、前記ユーザに知らせるように構成され得る。

【0022】

また、前記画像データ生成部は、前記所定の警告温度より低い温度が前記サーモグラフィにおいて不可視状態になるように、前記画像データを生成し得る。

【0023】

また、前記サーモセンサは、前記ヘッドマウント部に着脱可能に取り付けられ得る。また、前記センサは、前記ユーザによって立体的なサーモグラフィが知覚されるように、前記ユーザの両眼視差に対応するように配置された一対の前記サーモセンサを含み得る。

【0024】

また、前記コントローラは、同一種類の複数の電気部品（例えば、三相の電源接続部）に対するサーモグラフィにおいて、前記複数の電気部品の間で所定の温度差があると判断する場合に、高い温度を示す該電気部品を発熱異常であると判断し得る。また、前記コントローラは、発熱異常であると判断する場合に、ユーザに警告するように構成され得る。

【0025】

なお、本開示において、「手段」とは、単に物理的手段を意味するものではなく、その手段が有する機能をソフトウェアによって実現する場合も含む。また、１つの手段が有する機能が２つ以上の物理的手段により実現されても、２つ以上の手段の機能が１つの物理的手段により実現されてもよい。

【0026】

また、本開示において、「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物を含み、各装置や機能モジュールが物理的に単一の物として構成されるか又は別体の物として構成されるかは問わない。

【発明の効果】

【0027】

本発明によれば、点検者は、出火原因となり得る電気設備の異常発熱を早期に、また、的確、安全、及び／又は容易に発見することができるようになる。

【0028】

本発明の他の技術的特徴、目的、及び作用効果乃至は利点は、添付した図面を参照して説明される以下の実施形態により明らかにされる。

【図面の簡単な説明】

【0029】

【図1】本発明の一実施形態に係るヘッドマウント型温度分布認識装置の外観構成の一例を示す図である。

【図2】本発明の一実施形態に係るヘッドマウント型温度分布認識装置の機能構成の一例を示すブロックダイアグラムである。

【図3】本発明の一実施形態に係るヘッドマウント型温度分布認識装置の動作モードの一例を説明するための図である。

【図4】本発明の一実施形態に係るヘッドマウント型温度分布認識装置のディスプレイに表示されたサーモグラフィの一例を示す図である。

【図5】本発明の一実施形態に係るヘッドマウント型温度分布認識装置のディスプレイに表示されたメニューウィンドウの一例を示す図である。

【図6】本発明の一実施形態に係るヘッドマウント型温度分布認識装置のディスプレイに表示された表示設定画面の一例を示す図である。

【図7】本発明の一実施形態に係るヘッドマウント型温度分布認識装置のディスプレイに表示された温度設定画面の一例を示す図である。

【図8】本発明の一実施形態に係るヘッドマウント型温度分布認識装置のディスプレイに表示されたモード設定画面の一例を示す図である。

【図9】本発明の一実施形態に係るヘッドマウント型温度分布認識装置のディスプレイに表示されたサーモグラフィの温度マスク有り／無しの一例を示す図である。

【図10】本発明の一実施形態に係るヘッドマウント型温度分布認識装置のディスプレイに表示された画像記録中のサーモグラフィの一例を示す図である。

【図11】本発明の一実施形態に係るヘッドマウント型温度分布認識装置の使用例を説明するための図である。

【図12】本発明の一実施形態に係るヘッドマウント型温度分布認識装置の使用例を説明するための図である。

【発明を実施するための形態】

【0030】

以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。本発明は、その趣旨を逸脱しない範囲で種々変形（例えば各実施形態を組み合わせる等）して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。

【0031】

図１は、本発明の一実施形態に係るヘッドマウント型温度分布認識装置の外観構成の一例を示す図である。同図に示すように、本実施形態のヘッドマウント型温度分布認識装置１は、例えば、人の頭部に装着可能なヘッドマウント型ウェアラブルデバイスである。ヘッドマウント型温度分布認識装置１は、例えば、ヘッドマウント部１０と、種々のコンピューティング処理を行うコントローラ２０（図２参照）と、ディスプレイ機能を有するメガネ型のディスプレイ３０と、各種のセンサ４０とを備える。ヘッドマウント型温度分布認識装置１は、センサ４０ａにより撮像され、コントローラ２０により画像処理されたサーモグラフィをディスプレイ３０にユーザが視認可能に表示することにより、インタラクティブな複合現実（ＭＲ）空間を提供できるように構成されている。

【0032】

ヘッドマウント部１０は、ヘッドマウント型温度分布認識装置１をユーザの頭部に安定的に装着することができるように構成される。本例では、ヘッドマウント部１０は、作業現場での使用を想定してヘルメット形状を有するが、これに限られず、例えば、頭部を周縁方向に取り囲むヘッドバンドないしはフレーム等によって構成されても良い。

【0033】

コントローラ２０は、ヘッドマウント型温度分布認識装置１の動作を統括的に制御するコンピューティングデバイスである。当業者にとって自明なように、コントローラ２０は、プロセッサ及びメモリ等を含むチップモジュールを含み構成される。コントローラ２０は、物理的に、それ単体で構成されても良いし、いくつかの別体で構成されても良い。例えば、コントローラ２０は、後述する温度分布データの処理を行う第１のコントローラと、ユーザに複合現実を提供するための処理を行う第２のコントローラとから構成されても良い。本例では、ヘッドマウント部１０の後方にコントローラ２０が設けられているが、ヘッドマウント部１０の内部に収納されるように設けられても良い。

【0034】

ディスプレイ３０は、例えば、ヘッドマウント部１０を装着したユーザが視認可能な画像を表示するメガネ型ないしはゴーグル型の透過型ディスプレイである。ユーザは、ディスプレイ３０を通して、視線方向の現実空間（視野空間）の状況を視認することができるとともに、コントローラ２０の制御の下、ディスプレイ３０に表示された画像を重畳的に視認することができる。

【0035】

センサ４０は、コントローラ２０の制御の下で動作することにより、赤外線や可視光線等の各種の物理量を検出する複数のセンサ素子を含み構成される。センサ４０は、パッシブセンサ又はアクティブセンサであるかを問わない。本例では、センサ４０は、例えば、熱源からの赤外線を検出するサーモセンサ４０ａと、可視光を検出する可視光センサ（イメージセンサ）４０ｂ及び／又は深度センサとを含み、更に、図示されていないが、３次元加速度センサや地磁気センサ、ＧＰＳセンサ等を含み得る。また、センサ４０は、赤外線の発光によるアクティブ赤外線センサ（図示せず）を含み得る。サーモセンサ４０ａは、例えばスナップフィットを用いて着脱可能に設けられている。これにより、ユーザは、脱離したサーモセンサ４０ａを長軸のシャフトの先端に取り付けることにより、例えば天井裏等の死角領域における温度分布の状態を確認することができる。センサ４０は、単体で又は適宜の組み合わせにより、例えばアイトラッカーや画像認識センサ、空間認識センサ、ＴＯＦ（Time of Flight）による測距センサ（深度センサ）等を構成する（図２参照）。

【0036】

センサ４０は、例えば、人間の両眼視差を利用した立体表示を可能とするように一対の構成で設けられても良い。すなわち、両目の間隔だけ離して配置された２つのサーモセンサ４０ａがとらえた熱画像は、右目と左目でわずかに異なる像となる。したがって、これをＭＲ映像として見ると、対象物の両眼視差を脳が立体的に知覚して、現場をよりリアルに感じられ、発熱箇所の特定を容易にして点検巡視効果を向上させることになる。

【0037】

一例として、複数のサーモセンサ４０ａが、ヘッドマウント部１０の前方に一対で設けられている。他の例として、複数のサーモセンサ４０ａが、ユーザの前方のみならず、左右及び／又は上方向の熱源の温度を検出するために、ヘッドマウント部１０に設けられても良い。これにより、温度の検出方向の死角を減らすことができ、電気設備の異常発熱の監視を効果的に行うことができるようになる。したがって、従来のサーモガン等では単一方向の狭い視野角でしか測定できないが、本例のように複数のサーモセンサ４０ａを同時に一括的に運用することにより、検知エリアを拡大し、異常箇所の見落としを防止することができるようになる。

【0038】

また、同図には明示されていないが、ヘッドマウント型温度分布認識装置１は、ユーザインターフェースとして機能するスピーカやバイブレータを含み得る（図２参照）。スピーカやバイブレータは、例えば、ヘッドマウント部１０に取り付けられる。コントローラ２０の制御の下、スピーカは、所定の警告音や音声ガイダンスを出力し、また、バイブレータは、振動する。

【0039】

図２は、本発明の一実施形態に係るヘッドマウント型温度分布認識装置１の機能構成の一例を示すブロックダイアグラムである。同図では、ヘッドマウント型温度分布認識装置１の各種の構成要素（コンポーネント）のうち、本開示に特に関連するコンポーネントが示されている。かかるコンポーネントは、図１に示したコンポーネントそのもの、或いは、例えば、コントローラ２０のプロセッサが、所定の制御プログラムを実行することにより、各種のハードウェア資源と協働して、実現され得る。

【0040】

同図を参照して、センサ４０は、例えば、サーモセンサ４２（図１の符号４２ａに対応する。）と、空間認識センサ４４と、３次元加速度センサ４６とを含むが、これに限られない。サーモセンサ４２は、例えば、長波長赤外線（ＬＷＩＲ）センサモジュールであり得る。サーモセンサ４２は、対象空間における熱源から発せられる長波長赤外線を画素アレイにより検出することにより、非接触で温度データを収集し、コントローラ２０に出力する。

【0041】

空間認識センサ４４は、例えば、可視光センサ及び深度センサを含み得る。空間認識センサ４４は、対象空間における３次元形状を認識するために、対象空間において観測される可視光線を画素アレイにより検出することにより、イメージデータを収集し、コントローラ２０に出力する。また、空間認識センサ４４は、対象空間における奥行き方向（物体までの距離）をＴＯＦ技術に従って測定することにより深度データ（距離データ）を収集し、出力し得る。更に、空間認識センサ４４は、ヘッドマウント型温度分布認識装置１に対する入力として、ユーザのジェスチャ（例えばエアタップ）を検出し得る。

【0042】

３次元加速度センサ４６は、例えば、ヘッドマウント型温度分布認識装置１を装着したユーザの動きの変化を３次元加速度データとして検出し、コントローラ２０に出力する。３次元加速度センサ４６による３次元加速度データは、空間認識センサ４４からの出力と相俟って、ユーザの視線方向等の推定に供される。

【0043】

なお、同図に示されていないが、例えば、センサ４０は、ユーザの視認方向を特定するために、ユーザの眼の動きを赤外線発光により観測するセンサ（アイトラッカー）を含んでも良い。

【0044】

コントローラ２０は、上述したように、ヘッドマウント型温度分布認識装置１の動作を統括的に制御するコンピューティングデバイスである。同図では、コントローラ２０の機能構成として、入力制御部２１０と、温度データ処理部２２０と、空間姿勢推定部２３０と、ユーザ入力処理部２４０と、データ記憶部２５０と、画像データ生成部２６０と、出力制御部２７０と、通信インターフェース部２８０といったコンポーネントが示されている。

【0045】

入力制御部２１０は、センサ４０から出力される各種のデータを受け付けるインターフェース回路を含み構成される。すなわち、入力制御部２１０は、サーモセンサ４０ａから出力される温度データを温度データ処理部２２０に出力し、また、空間認識センサ４４から出力されるイメージデータ及び／又は深度データを空間姿勢推定部２３０に出力する。また、入力制御部２１０は、３次元加速度センサ４６から出力される３次元加速度データを空間姿勢推定部２３０に出力する。

【0046】

温度データ処理部２２０は、サーモセンサ４０ａから出力される温度データに基づいて、温度分布データを生成する。温度分布データは、例えば、対象空間における温度の高低の分布を示すデータである。温度分布データに基づいて、その温度の高低の分布を色の分布などによって２次元又は３次元画像化したものがサーモグラフィ（温度分布図）である。温度データ処理部２２０は、後述するように、例えば、所定の設定条件に従い、特定の範囲内の温度のみに基づく温度分布データを生成し得る。温度データ処理部２２０は、電気設備の異常発熱等を視覚的に容易に区別することができるように、例えば、１２０度以上の温度による温度分布データを生成する。温度データ処理部２２０は、生成した温度分布データを画像データ生成部２６０に出力する。また、温度データ処理部２２０により生成された温度分布データは、データ記憶部２５０に記録され得る。記録された温度分布データは、例えば通信インターフェース部２８０を介して、外部のデバイスに出力され得る。

【0047】

空間姿勢推定部２３０は、空間認識センサ４４から出力されるイメージデータ及び深度データ、並びに３次元加速度センサ４６から出力される加速度データ等に基づいて、対象空間におけるユーザの姿勢、視線方向、及び／又はジェスチャを推定ないしは特定する。例えば、空間姿勢推定部２３０は、空間認識センサ４４からリアルタイムで出力される一連のイメージデータ及び深度データ、及びこれに同期する一連の加速度データに基づいて、対象空間内のオブジェクト（例えば床や壁等）を認識し、その位置関係の変位を算出し、ユーザの姿勢及び／又は視線方向、すなわち、ヘッドマウント型温度分布認識装置１の姿勢及び／又は向き（例えばロール、ピッチ及びヨー）を推定し、これを空間姿勢データとして出力する。また、空間姿勢推定部２３０は、空間認識センサ４４の前方でのユーザのジェスチャ（例えばユーザの指の動き（エアタップ）等）を推定し、これを空間姿勢データとして画像データ生成部２６０に出力する。また、空間姿勢推定部２３０は、推定したユーザの姿勢、向き及び／又はジェスチャに関する空間姿勢データをユーザ入力処理部２４０及び画像データ生成部２６０に出力する。空間姿勢データは、イメージデータ、深度データ、及び／又は３次元加速度データ等を含み得る。

【0048】

ユーザ入力処理部２４０は、空間姿勢推定部２３０から出力されるジェスチャに関する空間姿勢データを解釈し、これをユーザ入力として受け付ける。ユーザ入力処理部２４０は、受け付けたユーザ入力に応じた所定の処理を行う。一例として、ユーザ入力処理部２４０は、ディスプレイ３０に表示されたメニュー呼出しアイコンに対するユーザのエアタップに従い、ディスプレイ３０にメニューを表示するための制御命令を生成し、これを画像データ生成部２６０に出力する。他の例として、ユーザ入力処理部２４０は、ディスプレイ３０に表示されたメニューアイコン中の設定アイコンに対するユーザのエアタップに従い、各種のパラメータの設定処理を実行する。

【0049】

データ記憶部２５０は、コントローラ２０における各種のデータや設定データを保持する。一例として、データ記憶部２５０は、温度データ処理部２２０から出力される温度分布データを保持し得る。他の例として、データ記憶部２５０は、空間認識センサ４４から出力されるイメージデータ及び深度データ、並びに３次元加速度センサ４６から出力される加速度データ等を保持し得る。また、他の例として、データ記憶部２５０は、コントローラ２０の動作設定に関するパラメータ（設定データ）を保持し得る。

【0050】

画像データ生成部２６０は、温度データ処理部２２０から出力される温度分布データ、空間姿勢推定部２３０から出力される空間姿勢データ、及び／又はユーザ入力処理部２４０から出力される各種の制御命令に基づいて、対象空間に対応する画像データを生成する。すなわち、画像データ生成部２６０は、空間姿勢データが示すヘッドマウント型温度分布認識装置１の姿勢及び／又は向きに基づく対象空間に対して、温度分布データが示すサーモグラフィを重畳的に配置した画像データを生成する。

【0051】

すなわち、画像データ生成部２６０は、空間認識センサ４４によって得られる該物体への深度データに基づき、対象空間に対応する画像データに基づく熱画像が、該物体の裏側や周囲の構造物に隠れることなく、該物体の少し手前の位置に配置されて表示されるように、画像データを生成する。これにより、ユーザは、該熱画像を的確かつ容易に把握することができるようになる。

【0052】

また、画像データ生成部２６０は、空間姿勢データに基づき、ユーザが見やすい投影高さと角度になるように、これらを自動的に調節し、画像データを生成する。これにより、ユーザは、画像データに正対して表示内容を明瞭に見ることができるようになる。

【0053】

例えば、画像データ生成部２６０は、イメージデータ及び深度データに基づいて、対象空間におけるオブジェクトの３次元形状及び／又はエッジを検出し、３次元形状及び／又はエッジに一致するように、サーモグラフィを重畳的に配置する画像データ生成処理を行うことも可能である。例えば、対象空間におけるあるオブジェクト（例えば電気設備等）が所定の温度を有している場合に、画像データ生成部２６０は、ユーザが視認している該オブジェクトの輪郭に一致するように、該物体に対応する温度分布を含むサーモグラフィを重畳的に配置した画像データを生成する。言い換えれば、温度分布データに基づくサーモグラフィは、空間姿勢データに基づく対象空間におけるオブジェクトに一致する。また、画像データ生成部２６０は、ユーザ入力処理部２４０から出力される制御命令に基づいて、種々のオブジェクト（例えばメニュー呼出しアイコンや設定アイコン等）に関する画像データを生成する。画像データ生成部２６０は、生成した画像データを出力制御部２７０に出力する。

【0054】

出力制御部２７０は、ディスプレイ３０やスピーカ５２、バイブレータ５４といった各種の出力装置を制御するインターフェース回路である。出力制御部２７０は、例えば、画像データ生成部２６０により生成された画像データに基づく画像ないしは映像（以下、単に「画像」という。）がディスプレイ３０に表示されるように、画像信号を生成し、ディスプレイ３０の表示制御を行う。また、出力制御部２７０は、温度データ処理部２２０から出力される警告音発生命令に従ってスピーカ５２を鳴動させ、或いは、バイブレータ５４を振動させる。

【0055】

ディスプレイ３０は、出力制御部２７０の制御の下、画像データ生成部２６０により生成された画像データに基づく画像を表示する。本開示において、ディスプレイ３０には、例えばサーモグラフィやメニューアイコン等がユーザに視認可能なように表示される。

【0056】

通信インターフェース部２８０は、ヘッドマウント型温度分布認識装置１が図示しない外部デバイスと有線及び／又は無線通信するためのインターフェース回路を含み構成される。通信インターフェース部２８０は、例えば、ＵＳＢやＢｌｕｅｔｏｏｔｈ（登録商標）、又はＷｉＦｉ（登録商標）等の各種の通信インターフェース規格に準拠して構成される。例えば、ヘッドマウント型温度分布認識装置１は、ＵＳＢマスストレージとして動作することにより、通信インターフェース部２８０を介してコンピューティングデバイスと通信を行う。或いは、ヘッドマウント型温度分布認識装置１は、コンピューティングデバイスとペアリングを行い、Ｂｌｕｅｔｏｏｔｈによる通信を行う。他の例として、通信インターフェース部２８０は、ＲＦタグから発信される電波を受信し得るように構成される。

【0057】

図３は、本発明の一実施形態に係るヘッドマウント型温度分布認識装置１の動作モードの一例を説明するための図である。同図に示すように、ヘッドマウント型温度分布認識装置１の動作モードは、例えば、サーモ監視モード３１０、表示設定モード３２０、温度設定モード３３０、撮影モード３４０、及び再生モード３５０等を含み得る。

【0058】

サーモ監視モード３１０は、ヘッドマウント型温度分布認識装置１のメインモードであり、例えば、ヘッドマウント型温度分布認識装置１の起動により最初に動作するモードである。サーモ監視モード３１０では、ヘッドマウント型温度分布認識装置１は、コントローラ２０の制御の下、サーモセンサ４０ａによって検出される温度データに基づくサーモグラフィをディスプレイ３０に表示して、これにより、ユーザにＭＲ空間を提供する。図４は、サーモ監視モードで動作するヘッドマウント型温度分布認識装置１のディスプレイ３０に表示されたサーモグラフィ画面の一例を示している。同図に示す例では、サーモグラフィ画面４００の略中央に設けられたサーモグラフィ表示領域４０１に、サーモセンサ４０ａによって検出された温度データに基づくサーモグラフィが表示される。また、温度ゲージ４０２は、サーモグラフィで示される色分布に応じた温度を示すインジケータである。サーモ監視モード３１０において、ユーザは、例えばメニュー呼出しアイコン４０３をエアタップ等のジェスチャによって選択をすることにより、図５に示すようなメニューウィンドウ５０１を表示させ、他の動作モードを選択し得る。例えば、ユーザは、サーモ監視モード３１０を一時的にＯＦＦにすることができる。

【0059】

表示設定モード３２０は、例えば、ディスプレイ３０に表示されるサーモグラフィ画面に対する各種の表示設定を行うための動作モードである。図６は、表示設定モード３２０でのヘッドマウント型温度分布認識装置１のディスプレイ３０に表示された表示設定画面の一例を示している。表示設定モード３２０では、ユーザは、ディスプレイ３０に表示された表示設定画面６００に対してエアタップ等により、サーモグラフィ表示領域４０１の形状やサイズ等を設定し得る。

【0060】

温度設定モード３３０は、例えば、サーモグラフィにおいて示される温度の範囲を設定するための動作モードである。図７は、温度設定モード３３０でのヘッドマウント型温度分布認識装置１のディスプレイ３０に表示された温度設定画面の一例を示す図である。温度設定モード３３０では、ユーザは、ディスプレイ３０に表示された温度設定画面７００に対してジェスチャ入力することにより、サーモグラフィにおける表示温度の範囲（下限値及び／又は上限値）を設定し得る。

【0061】

ユーザは、温度設定画面７００において、警告音を発生させる温度の範囲値を設定し得る。例えば、ユーザは、サーモセンサ４０ａによって検出される温度が点検対象機器の運用上限温度８０度以上である場合に、警告音が鳴るように設定し得る。また、サーモセンサ４０ａによって検出される温度が所定の下限値を超える場合にも、その温度に応じて警告音の音程が変化するように設定し得る。更に他の例として、警告音の代わりに又はこれに追加して、音声が出力されても良い。ユーザにおいて発見したい異常箇所は、巡視対象全体からするとわずかな部分ないしは領域であるため、画像に加えて警告音を発することは、視覚に加えて、聴覚を用いた巡視となり、見落とし防止効果が大きくなる。

【0062】

ヘッドマウント型温度分布認識装置１は、ユーザが、図８に示すように、サーモグラフィの表示のＯＮ／ＯＦＦ及び警告音のＯＮ／ＯＦＦの組み合わせを選択し得るモード設定画面８００が用意されても良い。モード設定画面８００では、ユーザは、警告音が鳴る温度（警告温度）より低い温度は、サーモグラフィにおいて不可視状態となるように（マスクされるように）設定し得る。例えば、図９（ａ）は、サーモ監視モードにおいて、通常（マスク無し）のサーモグラフィであるのに対して、同図（ｂ）は、温度マスク設定がされた場合のサーモグラフィである。すなわち、同図（ｂ）では、警告温度以下の領域は、サーモグラフィが表示されない。これにより、不要な画像を視界から排除して巡視ルートの見通しを確保し、点検作業時の歩行安全性を向上させることができるようになる。また、巡視する現場は、段差や昇降箇所、一時的に設置した設備が足元や頭上にあるなど、転倒災害や接触損傷の恐れがある場所が不規則に散在しているところ、ユーザは、これらを回避しながら巡視点検を行うことができるようになる。

【0063】

撮影モード３４０は、例えば動画撮影モードと静止画撮影モードとを含み得る。動画撮影モードでは、ユーザは、イメージセンサによる動画を撮影し得る。撮影モードでは、例えば、ユーザに撮影中であることを知らせるために、図１０に示すように、ディスプレイ３０にカメラアイコン１０１０が重畳的に表示される。なお、撮影された動画データや静止画データは、例えばデータ記憶部２５０に保持される。

【0064】

再生モード３５０は、撮影モードで撮影された動画データや静止画データに基づく画像をディスプレイ３０に表示する動作モードである。再生モードでは、コントローラ２０の制御の下、データ記憶部２５０から読み出され再生される動画や静止画がディスプレイに表示される。

【0065】

なお、上述した各種の設定モードにおける設定は、ディスプレイ３０に表示された画面に対する入力に代えて、例えば、ヘッドマウント型温度分布認識装置１と通信可能に接続された外部のコンピューティングデバイスから、キーボードやマウス等の通常の入力デバイスにより、行われても良い。

【0066】

次に、本実施形態のヘッドマウント型温度分布認識装置１の使用例について説明する。ここでは、ヘッドマウント型温度分布認識装置１を装着したユーザが建物内の電気設備を点検する例について説明する。

【0067】

ユーザは、日常的に、ヘッドマウント型温度分布認識装置１を装着し、サーモ監視モードで動作させながら、建物内を巡回する。巡回中、ユーザは、電気設備が取り付けられている箇所に視線方向を合わせる。今、例えば図１１（ａ）に示すように、ユーザは、建物内の通路で天井を見上げたとする。そうすると、ユーザが見ている透過型ディスプレイ３０には、同図（ｂ）に示すように、サーモグラフィ画面４００が重畳的に表示されたＭＲ空間が提供される。もし、ケーブル等の電気設備が異常発熱している場合、ディスプレイ３０に表示されるサーモグラフィ画面４００には、高温を示すサーモグラフィが示されることになる。

【0068】

また、電源接続部の異常発熱も、本実施形態のヘッドマウント型温度分布認識装置１を用いて容易に発見し得る。例えば図１２（ａ）は、ユーザが、サーモ監視モードをＯＦＦにした状態で三相の電源接続部を視認した様子を示している。この状態では、ユーザは、三相の電源接続部が異常発熱を起こしているか否かが判別しづらい。これに対して、ユーザが、サーモ監視モードをＯＮにした状態で三相の電源接続部を視認すると、ディスプレイ３０に表示されたサーモグラフィ画面４００には、一相の電源接続部（図中、真ん中の電源接続部）が高温を示すサーモグラフィが示されることになる。すなわち、ヘッドマウント型温度分布認識装置１は、三相の電源接続部のうちの一相のみがある一定以上の温度（機器の運用上限温度に至らずに許容温度値以下であっても、一相の電源接続部が他の三相と比べて高い温度）を示したＭＲ空間をユーザに提供することにより、ユーザは、該一相の電源接続部の異常発熱を容易に認識することができるようになる。とりわけ、熱画像を含むＭＲ空間において、三相の電源接続部の温度差（例えば１℃～数℃程度又はそれ以上）を検知できることは、温度差が生じ始める初期の段階での微かな過熱を発見することになり、早期に火災の兆候を検知し、見逃し防止に大きく貢献することになる。

【0069】

以上のとおり、本実施形態によれば、ヘッドマウント型温度分布認識装置１を装着したユーザは、その視認方向にある対象空間を、リアルタイムで、サーモグラフィが重畳表示されたＭＲ空間として認識することができるようになる。また、ヘッドマウント型温度分布認識装置１は、ユーザの頭部に装着されているので、ユーザは、両手を塞がれることなく、所定の作業をすることができる。とりわけ、本実施形態によれば、ユーザは両手を空けて作業や移動が可能なため、誤って転倒した場合であっても、とっさに手をついて受け身を取ることで、身体への重大な衝撃を軽減することができる。

【0070】

また、本実施形態によれば、ヘッドマウント型温度分布認識装置１は、ユーザに、サーモグラフィの表示温度設定を可能にし、異常発熱である温度の範囲を設定したり、正常な温度である部分については、サーモグラフィが不可視状態となるように設定したりすることができる。更に、本実施形態によれば、ヘッドマウント型温度分布認識装置１は、警告機能の動作はそのままで、サーモグラフィをオフとして透過状態にすることができるので、ユーザは、必要なときだけサーモグラフィを投影することとして、視界を確保することができ、したがって、作業安全性が向上する。

【0071】

更に、本実施形態によれば、ヘッドマウント型温度分布認識装置１は、センサ４０により検出された温度データやイメージデータ等をデータ記憶部２５０にログとして記録することができる。

【0072】

（応用例）
本実施形態のヘッドマウント型温度分布認識装置１は、以下のように、様々に変形され、及び／又は、応用され得る。

【0073】

（応用例１）
ヘッドマウント型温度分布認識装置１は、例えばＢｌｕｅｔｏｏｔｈ等の近距離通信によって外部のコンピューティングデバイスに接続され、更に、通信ネットワークを介して、中央監視室の管理サーバ（図示せず）に接続される。中央監視室では、例えば管理者が、ヘッドマウント型温度分布認識装置１からリアルタイムで送信される温度データ及び／又はイメージデータ等をチェックし、ヘッドマウント型温度分布認識装置１を装着したユーザに、音声や文字メッセージ等で指示を出し得る。

【0074】

また、中央監視室の管理サーバは、ヘッドマウント型温度分布認識装置１から送信される温度データ及び／又はイメージデータ等を大容量記憶装置に蓄積する。管理サーバは、蓄積した温度データ及び／又はイメージデータ等を教示データとして、ディープラーニングによるＡＩ学習を行う。例えば、三相の電源接続部において、一つの電源接続部に緩みがあると抵抗値が上がり過熱する。したがって、三相の電源接続部の見た目が同じであっても一相だけ温度差が生じている熱画像パターンをビッグデータとして蓄積すると、ＡＩ学習により、温度上昇が生じている電源接続部を容易に特定することができるようになる。

【0075】

とりわけ、電気設備現場では似たような形状の機器が多数並んでおり、異常箇所の発見を見過ごしてしまう要因となっている。熱画像データから温度差のある箇所を認識して、過熱異常を初期段階で発見し、見落とし防止効果の向上が期待される。

【0076】

（応用例２）
建物内の点検対象である電気設備（被疑箇所）を見落としなく定期的に監視できるように、例えば、建物内にマーカが取り付けられている。マーカは、例えば、バーコードやＲＦタグであり、電気設備の位置情報を記録している。ヘッドマウント型温度分布認識装置１を装着したユーザは、例えばセンサ４０によりバーコードを読み取らせ、又は通信インターフェース部２８０によりＲＦタグからの電波を受信することにより、ヘッドマウント型温度分布認識装置１は、コントローラ２０の制御の下、該マーカに関連付けられた電気設備の位置情報を取得する。ヘッドマウント型温度分布認識装置１は、取得した位置情報に従い、マーカに関連付けられた電気設備が設置された位置ないしは方向をディスプレイ３０に表示することにより、ユーザを誘導する。これにより、ユーザは、建物内の電気設備の位置を容易に知ることができ、見落としがなくなり、監視強化に繋がることになる。

【0077】

また、ヘッドマウント型温度分布認識装置１は、取得した位置情報を、温度データ及び／又はイメージデータとともに、管理サーバに送信し得る。管理サーバは、受信した温度データ及び／又はイメージデータを位置情報に関連付けて記憶装置に蓄積し得る。管理サーバは、例えば、蓄積された温度データ及び／又はイメージデータを、建物内の地理的情報上に、関連付けて表示し得る。

【0078】

或いは、ヘッドマウント型温度分布認識装置１は、空間姿勢データに基づき、サーモ画像を撮影した地点のＸＹＺ座標と撮影方向とを記録するように構成され得る。例えば、ヘッドマウント型温度分布認識装置１は、該装置の電源が投入された地点を座標原点として設定し、ユーザの移動／動作に伴って、現在座標を算出し、記録する。また、ヘッドマウント型温度分布認識装置１は、ユーザが該物体を直視する方角と傾きとを記録し得る。これにより、ユーザは、ヘッドマウント型温度分布認識装置１を装着して、現場で巡視点検作業を行った後、事務所において、点検作業記録書を作成する際に、これらのデータを活用することができるようになる。

【0079】

上記各実施形態は、本発明を説明するための例示であり、本発明をこれらの実施形態にのみ限定する趣旨ではない。本発明は、その要旨を逸脱しない限り、さまざまな形態で実施することができる。

【0080】

例えば、本明細書に開示される方法においては、その結果に矛盾が生じない限り、ステップ、動作又は機能を並行して又は異なる順に実施しても良い。説明されたステップ、動作及び機能は、単なる例として提供されており、ステップ、動作及び機能のうちのいくつかは、発明の要旨を逸脱しない範囲で、省略でき、また、互いに結合させることで一つのものとしてもよく、また、他のステップ、動作又は機能を追加してもよい。

【0081】

また、本明細書では、さまざまな実施形態が開示されているが、一の実施形態における特定のフィーチャ（技術的事項）を、適宜改良しながら、他の実施形態に追加し、又は該他の実施形態における特定のフィーチャと置換することができ、そのような形態も本発明の要旨に含まれる。

【符号の説明】

【0082】

１…ヘッドマウント型温度分布認識装置
１０…ヘッドマウント部
２０…コントローラ
２１０…入力制御部
２２０…温度データ処理部
２３０…空間姿勢推定部
２４０…ユーザ入力処理部
２５０…データ記憶部
２６０…画像データ生成部
２７０…出力制御部
２８０…通信インターフェース部
３０…ディスプレイ
４０…センサ
４０ａ，４２…サーモセンサ
４０ｂ…可視光センサ
４４…空間認識センサ
４６…３次元加速度センサ
５２…スピーカ
５４…バイブレータ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】