特許 6348445 設備点検端末及び設備点検システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6348445

(24)【登録日】2018年6月8日

(45)【発行日】2018年6月27日

(54)【発明の名称】設備点検端末及び設備点検システム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20180618BHJP

   G06F 3/0488 20130101ALI20180618BHJP

【ＦＩ】

   G06T19/00 600

   G06F3/0488

【請求項の数】4

【全頁数】10

(21)【出願番号】特願2015-78294(P2015-78294)

(22)【出願日】2015年4月7日

(65)【公開番号】特開2016-200855(P2016-200855A)

(43)【公開日】2016年12月1日

【審査請求日】2017年12月7日

(73)【特許権者】

【識別番号】507214083

【氏名又は名称】メタウォーター株式会社

(74)【代理人】

【識別番号】110000774

【氏名又は名称】特許業務法人 もえぎ特許事務所

(72)【発明者】

【氏名】西川 圭三

【審査官】 村松 貴士

(56)【参考文献】

【文献】 特開２０１４−１２３１９３（ＪＰ，Ａ）

【文献】 特開２００４−１２６８６９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０４８ − ３／０４８９

(57)【特許請求の範囲】

【請求項1】

下記のＡ，Ｂ，Ｃを含む、端末モニターに表示された作業対象の所定位置にＡＲ作業支援情報を正確に表示させるシステム。
Ａ：作業対象に係るＡＲ作業支援情報であるＡＲ画像データ、及び前記作業対象に係る静止画像を半透明化した半透明静止画像データに、作業対象を一意に識別可能とするユニーク識別情報が対応している画像データテーブルを記憶するテーブル記憶部。
Ｂ：端末からの信号に基づいて、前記ユニーク識別情報に対応する作業対象に係るＡＲ画像データ又は前記作業対象に係る半透明静止画像データを前記テーブル記憶部より抽出し、前記端末に返信する通信制御部。
Ｃ：撮像手段と、
タッチ操作が可能で、前記撮像手段で撮影している現実空間のリアルタイム画像を表示可能なモニター画面と、
前記半透明静止画像又はＡＲ画像を前記リアルタイム画像に重合させて表示する重合表示手段と、
少なくとも前記リアルタイム画像に重合させる画像データとして前記半透明静止画像から前記ユニーク識別情報に対応する前記ＡＲ画像データへの切換えを実行するタッチ入力画面を、前記モニター画面に表示する入力画面表示手段と、
を備えた端末。

【請求項2】

さらに、前記リアルタイム画像中の作業対象のマーカーに表示された前記ユニーク識別情報を読み取るユニーク識別情報読取手段と、前記ユニーク識別情報読取手段によって読み取られたユニーク識別情報の前記制御部への送信を実行するタッチ入力画面を、前記モニター画面に表示する入力画面表示手段を備えた請求項１記載のシステム。

【請求項3】

構成Ａのテーブル記憶部及び構成Ｂの通信制御部が構成Ｃの端末に内蔵されている請求項１又は２記載のシステム。

【請求項4】

タッチ操作が可能で、撮像手段で撮影している現実空間のリアルタイム画像を表示可能なモニター画面を備えた端末を用いて、前記モニター画面に表示されたリアルタイム画像中の作業対象の所定の位置にＡＲ作業支援情報を正確に表示させる作業支援情報表示方法であって、
当該作業対象に係るＡＲ作業支援情報であるＡＲ画像データ、及び当該作業対象に係る静止画像を半透明化した半透明静止画像データに、作業対象を一意に識別可能とするユニーク識別情報を対応させた画像データテーブルを、予めテーブル記憶部に記憶しておくステップと、
タッチ入力画像の操作により、作業対象の前記半透明静止画像を前記テーブル記憶部から抽出し、抽出した半透明静止画像を、撮像手段で撮影している現実空間のリアルタイム画像と重合して、前記モニター画面に表示させるステップと、
前記作業対象の半透明静止画像に作業支援情報表示端末の撮像手段の方向及び位置を変えて、モニター上のリアルタイム画像を前記半透明静止画像に一致させるステップと、
リアルタイム画像が前記半透明静止画像と一致した状態で、モニター上のタッチ入力画像の操作により、前記半透明静止画像と同じユニーク識別情報に対応するＡＲ画像を前記半透明静止画像に換えて前記モニターに表示されているリアルタイム画像に重合させて表示せるステップ、
からなる作業支援情報表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＡＲ画像を現実空間のリアルタイム画像における適切な位置に表示させる方法および係る機能を有する端末に関する。

【背景技術】

【0002】

経験豊富な技術者が保有する知識、ノウハウなどの技術を後継者に効率よく継承させること、あるいは、設備の起動や終了のための作業手順をＯ＆Ｍ要員などに正確に実行させることは、慢性的な技術者不足に悩む企業にとって重要な課題である。通常、技術や手順を習得させるには、マニュアルや手順書などが利用されるが、これらの情報は各現場に保管されることが多く作業者によるアクセスが必ずしも容易とはいえず、また長年にわたるノウハウが蓄積されるので内容も膨大且つ多岐にわたることから、作業実行者が必要とする作業を正確に実行するには、その都度マニュアルや手順書などを精査しなければならず効率が悪かった。
その点、当該技術に習熟した技術者が、実際の作業対象の施設で、直接、作業実行者に作業手順を指導することができれば、正確かつ効率的に技術を継承すること可能であり、Ｏ＆Ｍ要員であっても正確に作業を実行することができる。

【0003】

近年、スマートフォン等のような、撮像手段を備える携帯通信端末が普及し、ＡＲ技術を利用し、このような端末で撮影した実画像上に各種情報をリアルタイムで重畳させるサービスが実現されている(特許文献１)。

【0004】

このような、ＡＲ技術を利用し、モバイル端末やデータグラスを使用してプラントの機器の監視を行うことも提案されている（特許文献２，３）。
そこで、作業対象の設備の前で、携帯通信端末のモニターに表示した設備の画像上に、ＡＲ技術を利用し、その設備の作業手順情報が表示できれば、技術に習熟した技術者が実際の設備により直接、作業者に指導するのと同等な効果が得られ、作業者は、誤りなく作業手順を実行することができる。

【0005】

ＡＲ技術では、実画像と付加される情報が対応することが必要であり、特に実画像中に複数の被写体が存在する場合には、それぞれの被写体と付加される情報が正確に対応していることが不可欠である。
位置合わせの方法としては、撮影されたリアルタイムの画像上で画像認識を行い、ネットワーク上のサーバやデータベースに蓄積されている種々の実写画像と照合することによって、リアルタイムの画像の位置情報の特定を行うことが提案されている（特許文献４）が、精度を上げるためには膨大な量のデータベースを必要とした。

【0006】

特に、付加情報が設備の作業手順情報の場合には、作業手順情報の表示箇所は、実画面上の作業手順が実施される個所と完全に一致していないと、必要な操作を正確に行うことができない。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００８−５１０２５４号公報

【特許文献2】特表２００３−５２４８１４号公報

【特許文献3】特開２０１２−１５５４０３号公報

【特許文献4】特開２００９−２３０２５５号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明は、ＡＲ技術を利用して、端末のモニターに表示される、作業対象となる設備の画像上に、当該設備の作業支援情報を正確な位置に、簡便な方法で表示させることができる端末及び表示方法を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明の実施態様は、以下の通りである。
〔１〕下記のＡ，Ｂ，Ｃを含む、端末モニターに表示された作業対象の所定位置に作業支援情報を正確に表示させるシステム。
Ａ：作業対象に係る作業を支援する情報を示すＡＲ画像データ、及び前記作業対象に係る静止画像を半透明化した半透明静止画像データに、作業対象を一意に識別可能とするユニーク識別情報が対応している画像データテーブルを記憶するテーブル記憶部。
Ｂ：端末からの信号に基づいて、前記ユニーク識別情報に対応する作業対象に係るＡＲ画像データ又は前記作業対象に係る半透明静止画像データを前記テーブル記憶部より抽出し、前記端末に返信する通信制御部。
Ｃ：撮像手段と、タッチ操作が可能で、前記撮像手段で撮影している現実空間のリアルタイム画像を表示可能なモニター画面と、前記半透明静止画像又はＡＲ画像を前記リアルタイム画像に重合させて表示する重合表示手段と、少なくとも前記リアルタイム画像に重合させる画像データとして前記半透明静止画像から前記ＡＲ画像データへの切換えを実行するタッチ入力画面を、前記モニター画面に表示する入力画面表示手段と、
を備えた端末。
〔２〕さらに、前記リアルタイム画像中の作業対象のマーカーに表示された前記ユニーク識別情報を読み取るユニーク識別情報読取手段と、前記ユニーク識別情報読取手段によって読み取られたユニーク識別情報の前記制御部への送信を実行するタッチ入力画面を、前記モニター画面に表示する入力画面表示手段を備えた〔１〕のシステム。
〔３〕構成Ａのテーブル記憶部及び構成Ｂの通信制御部が構成Ｃの端末に内蔵されている〔１〕又は〔２〕のシステム。

【0010】

〔４〕タッチ操作が可能で、撮像手段で撮影している現実空間のリアルタイム画像を表示可能なモニター画面を備えた端末を用いて、前記モニター画面に表示されたリアルタイム画像中の当該作業対象の所定の位置に作業支援情報を正確に表示させる作業支援情報表示方法であって、当該作業対象に係る作業を支援する情報を示すＡＲ画像データ、及び当該作業対象に係る静止画像を半透明化した半透明静止画像データに、作業対象を一意に識別可能とするユニーク識別情報を対応させた画像データテーブルを、予めテーブル記憶部に記憶しておくステップと、タッチ入力画像の操作により、作業対象の前記半透明静止画像を前記テーブル記憶部から抽出し、抽出した半透明静止画像を、撮像手段で撮影している現実空間のリアルタイム画像と重合して、前記作業支援情報表示端末のモニターに表示させるステップと、前記作業対象の半透明静止画像に作業支援情報表示端末の撮像手段の方向及び位置を変えて、モニター上のリアルタイム画像を前記半透明静止画像に一致させるステップと、リアルタイム画像が前記半透明静止画像と一致した状態で、モニター上のタッチ入力画像の操作により、前記半透明静止画像と同じユニーク識別情報に対応するＡＲ画像を前記半透明静止画像に換えて前記モニターに表示されているリアルタイム画像に重合させて表示せるステップ、からなる作業支援情報表示方法。

【0011】

作業対象に係る設備の作業手順を、ＡＲ技術を利用して本発明の端末に表示させるには、予め作業対象のＡＲ作業支援情報であるＡＲ画像と作業対象の半透明静止画像を作成しておく必要がある。

【0012】

ＡＲ作業支援情報とは、例えば、作業対象ごとに各作業場所における作業手順を示す各画像に対し、予め作成したシナリオ、例えば、表示順序、コメントや注意事項などの付加情報を関連付けしたＡＲ画像情報である。この作業対象ごとのＡＲ画像情報に作業対象を一意的に識別可能とするユニーク識別情報を対応させたテーブルを作成してデータベースとし、テーブル記憶部に保存する。
また、作業対象ごとに作業場所（作業視点）を案内する画像や前記半透明静止画像も前記ユニーク識別情報と対応させたテーブルとして前記テーブル記憶部に保存しておく。

【0013】

前記ＡＲ画像を、作業対象の施設の特定場所のリアルタイム画像に表示させる場合の位置情報は、前記半透明静止画像を基準として設定される。これにより、リアルタイム画像が半透明静止画像と一致したときの位置をセットし、半透明静止画像に代えてＡＲ画像をモニター上のリアルタイム画像に重畳して表示すれば、リアルタイム画像の所定位置に正確にＡＲ情報が表示される。

【0014】

作業の開始時に、端末に作業対象のメニュー画面を表示させ、作業者が作業を行うべき作業対象を前記メニュー画面から選択してタッチ入力することにより、当該作業対象に対応するユニーク識別情報を通信制御部に送信する。通信制御部は、受信した前記ユニーク識別情報に対応する作業対象の半透明静止画像を前記テーブル記憶部より抽出し、前記端末に返信する。このとき受信したユニーク識別情報に関連するＡＲ作業支援情報であるＡＲ画像データも抽出し、端末の制御部の一時メモリに保存するようにしてもよい。

【0015】

前記端末は、重合表示手段を備え、前記撮像手段によって撮影している現実空間のリアルタイム画像を前記モニターに表示するとともに、前記重合表示手段により、通信制御部から送信されてきた前記半透明静止画像を、前記リアルタイム画像に重合させて表示する。

【0016】

このとき、作業対象の場所情報もモニター画面に表示させれば、作業者は、この場所情報に基づいて、作業対象の設置場所に確実に行き着くことができ、設置場所では、モニターに表示された作業対象の前記半透明静止画像を基に、現実の作業対象の位置を確認することができる。

【0017】

このように静止画像は半透明で、端末に表示された施設のリアルタイム画像に重畳して表示されるので、作業者は、端末に表示される作業対象の半透明の静止画像とリアルタイム画像が一致するよう端末の撮像方向をあるいは撮影位置を調整し、リアルタイム画像とＡＲ画像が一致したところで、半透明の静止画像を前記作業支援情報のＡＲ画像に切り換える。

【0018】

リアルタイム画像と半透明静止画像との一致の判定は、作業者が目視によって行い、リアルタイム画像と半透明静止画像とが一致した場合、作業者がモニター上に作成したタッチ入力画面を操作することによって、半透明静止画像からＡＲ画像への切換えが実行される。

【0019】

前記半透明静止画像を撮影した場所にマークを付しておき、作業者はマークが付された場所から作業対象を撮影すれば、リアルタイム画像と半透明静止画像とを容易に一致させることができる。

【0020】

作業者によるタッチ入力画面の操作によって、半透明静止画像からＡＲ画像への切換え指令信号が前記通信制御部に送信される。前記指令信号を受信した通信制御部は、作業の開始時に作業者によって選択された作業対象に対応するユニーク識別情報に基づき、前記テーブル記憶部からＡＲ作業支援情報であるＡＲ画像データを抽出し、一括または順次、端末に返信する。また、前記ＡＲ作業支援情報が予め端末の一次記憶部に記憶されている場合には、前記指令信号により、ＡＲ画像は一次記憶部から直接モニターに表示させることができる。

【0021】

さらに、予め作業対象の施設の近傍に前記ユニーク識別情報を表示したマーカーを設置しておけば、作業者による前記タッチ入力操作により、このユニーク識別情報が表示されたマーカーの画像も得られるので、得られた画像から端末が内蔵するユニーク識別情報読取手段によりユニーク識別情報を読取り、作業者が作業の開始時に選択した作業対象が、現実の作業対象か否かを確認することができる。このような構成を採用することにより、同型の作業対象が存在する場合などで作業対象を取り違えた場合でも、間違いを未然に正すことができる。なお、マーカーとしては、ＱＲコードやバーコードが利用できる。

【0022】

また、作業対象に内在する構成部材の作業を行う場合にも、本発明のシステム及び作業支援情報表示方法が適用できる。例えば、作業支援情報により、作業対象に内在する構成部材の作業を行うため、当該構成部材のカバーを開いたり、当該構成部材を作業対象から引き出すなどの作業を作業者が行う場合、端末のモニターに、予め前記作業後の半透明画像、すなわち、カバーが開いた状態、若しくは構成部材を引き出した状態の半透明静止画像を表示させ、作業者の作業ガイドとして利用したり、あるいは、作業者が作業を行った後に、前記作業後の半透明画像を表示させれば、作業者が行った作業が確実に行われたか否かを確認することができる。いずれの場合も、最終的にリアルタイム画像と前記作業後の半透明静止画像が一致することを確認して、作業者が端末のモニター画面を操作することにより、前記半透明画像に代えて作業対象に内在する前記構成部材の作業支援情報ＡＲ画面を表示させる。
もし、リアルタイム画像と前記作業後の半透明静止画像が一致しない場合は、必要に応じ、前工程の作業支援情報ＡＲ画面に戻り、作業をやり直せばよい。

【0023】

さらに、作業対象に内在する構成部材の作業を行うため、前記構成部材を作業対象から取り出す必要がある場合にも、取り出された構成部材の半透明静止画像を端末のモニターに表示させ、リアルタイムの構成部材の画像と前記半透明の静止画像とが一致するように端末の撮像手段の撮影方向、あるいは取り出された構成部材を動かし、両者が一致した時点で、端末のモニター上の操作により、前記前記半透明の静止画像をＡＲ画像に切り換えることにより、前記構成部材の必要な個所に作業支援情報を正確に表示させることができる。

【0024】

前記作業後の半透明画像を端末のモニターに表示させる場合、作業者が端末モニター上のタッチ操作で行ってもよいが、作業者が作業を行った後に表示させるのであれば、作業後に露出する構成部材の表面にマーカーを付しておき、端末でこのマーカーの情報を、ユニーク識別情報読取手段により読取り、読み取ったユニーク識別情報に基づき、自動的に端末のモニターに表示させることもできる。

【0025】

なお、本発明において「リアルタイム画像と半透明静止画像との一致」とは、半透明静止画像をＡＲ画像に切り換えたときに、当該ＡＲ画像が、モニター上のリアルタイム画像の所定の位置に表示され、作業の誤認を生じさせない限度で「一致」していることをいう。

【0026】

上記テーブル記憶部と通信制御部を独立して設置する場合には、作業者が操作する端末、前記テーブル記憶部、及び通信制御部は、各々インターネット接続されている必要があるが、前記テーブル記憶部と通信制御部を端末に内蔵させておけば、インターネット環境の整っていない作業現場でも、本発明を実施することができる。

【発明の効果】

【0027】

本発明のシステムを使用すれば、実際の作業対象の設備をモニターに表示しながら、その設備の作業手順がモニター上の設備の作業対象箇所に表示されるので、誰でも正確に作業対象に必要な作業を実施することができる。さらに、長年にわたって習得されたノウハウも、実際の施設と関連付けて表示されるので、技術を効率的に後継者に移管することができる。
さらに、従来、各現場に保管されていたマニュアルや手順書などがデータベース化されるのでアクセスが容易となり情報が共有できる。

【図面の簡単な説明】

【0028】

【図1】図１は、本発明のシステムの概要を示す。

【図2】図２は、本発明のテーブル記憶部に記憶される画像データの例を示す。

【図3】図３は、本発明の方法を実施するフロー図である。

【発明を実施するための形態】

【0029】

＜本発明のシステムの概要＞
本発明のシステムの概要を図１に示す。本発明のシステムは、リアルタイム表示手段５、入力画像表示手段６、ユニーク識別情報読取手段７、重合表示手段８、操作画像表示手段９を含む主制御部１０、現実空間のリアルタイム画像を撮影する撮像手段１１、及び当該撮像手段１１で撮影した画像を表示する、タッチ操作可能なモニター１２を備えた端末２、及び当該端末２とネットワーク１で接続されたテーブル記憶部３及び通信制御部４を備えている。
テーブル記憶部３と通信制御部４を本発明の端末２に内蔵させる場合には、テーブル記憶部３は端末のメモリを使用し、通信制御部４は端末の主制御部１０に組み込めばよい。

【0030】

本発明の端末２としては、汎用のスマートフォンやタブレット端末が利用でき、これらの端末２は、通常、撮像手段１１やリアルタイム表示手段５、タッチ操作可能なモニター１２を備えている。

【0031】

＜作業支援情報の作成＞
作業対象の現場に保存されているマニュアルや手順書などを基に、作業対象名、手順名称、作業コメント、注意事項などをリンクさせたＡＲガイドのシナリオを作成し、当該シナリオに沿って、作業現場で作業対象の手順の全項目の写真を撮影する。

【0032】

次いで、撮影された写真ごとに、シナリオにリンクされた必要な作業支援情報、例えば、操作手順、作業コメント、注意事項などを登録したＡＲ画像を作成する。操作手順を示すＡＲ画像としては、作業者が間違いなく当該作業を実施することを支援する、操作方向を示す矢印、操作の音声ガイド、操作の動作を示す動画などが考えられる。操作手順のように、作業対象の施設の作業場所と関連深いＡＲ作業支援情報は、現実空間のリアルタイム画像における作業対象の所定個所に表示されるように、前記半透明静止画像の位置情報を基準とした位置情報を登録し、作業コメントや注意事項のように、作業場所よりも作業手順に関連する情報は、モニターの特定位置に表示されるように位置情報を登録する。

【0033】

必要な情報が登録されたＡＲ画像や、作業対象を特定の位置から撮影した写真を半透明化した静止画像は、ユニーク識別情報とリンクさせ、Ｅｘｉｔｆ情報などを基にして手順番号順に前記テーブル記憶部３に記憶させる。写真データの半透明化は、市販のソフトが利用できる。さらに、半透明静止画像には、作業対象の設置場所の情報をリンクさせておけば、前記半透明静止画像をモニターに表示させる際に、係る設置場所の情報もモニターに表示させることができる。

【0034】

図２は、テーブル記憶部に記憶される画像データの内容を模式的に示したものであり、ユニーク識別情報にとリンクした、作業対象名と画像データがファイリングされている。

【0035】

＜作業支援情報の利用法＞
本発明の方法を実施する各ステップを、図３に示す。
ステップ１：作業者は、作業の開始に当たり、モニター上に作業メニュー画面を表示させ、このメニュー画面から作業すべき作業対象を画面のタッチ操作により選択し、選択した作業対象に対応するユニーク識別情報を通信制御部に送信する。

【0036】

ステップ２：通信制御部が、作業者の端末から送信されたユニーク識別情報を受信すると、前記ユニーク識別情報に対応する作業対象の半透明静止画像を前記テーブル記憶部から抽出し、抽出した半透明静止画像を、前記ユニーク識別情報を発信した作業者の端末に返信する。

【0037】

ステップ３：作業者の端末のモニターには、返信された半透明静止画像が、現実空間のリアルタイム画像に重合して表示される。

【0038】

ステップ４：作業者は、現実空間からモニター上の半透明静止画像と一致する作業対象の施設を確認し、その方向に端末の撮像手段を向け、モニター上の半透明静止画像とリアルタイム画像が一致したとき、モニター画面をタッチ操作する。この場合、半透明静止画像を撮影した場所にマークを付しておき、作業者もこのマークされた場所から端末で作業対象を撮影することにより、前記半透明静止画像とリアルタイム画像の一致率が上がる。

【0039】

ステップ５：上記の操作により、モニター上の半透明静止画像がＡＲ作業支援情報に切り替わる。特定の作業対象に複数の作業（図２における「作業手順Ａ」と「作業手順Ｂ」）が存在する場合は、メニュー画面をモニターに表示させ、作業者に必要な作業を選択させる。

【0040】

作業が特定されると、モニターにはリアルタイム画像に重畳して、ＡＲ作業支援情報が表示される。作業者は、モニター上に表示された作業コメントや注意事項を確認しつつ、ＡＲ作業支援情報に従って順次操作を実行すれば、誰でも、正確に作業対象の作業を実行することができる。
ＡＲ作業支援情報が複数のＡＲ画像（図３における「作業手順Ａ１」「作業手順Ａ２」）が存在する場合は、表示画面に「進む」及び「戻り」スイッチをモニター上に表示させ、作業者がこのスイッチ画面をタッチすることにより、必要な画面を表示させる。

【符号の説明】

【0041】

１ ネットワーク
２ 端末
３ テーブル記憶部
４ 通信制御部
５ リアルタイム表示手段
６ 入力画像表示手段
７ ユニーク識別情報読取手段
８ 重合表示手段
９ 操作画像表示手段
１０ 主制御部
１１ 撮像手段
１２ モニター

【図1】

【図2】

【図3】