知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-26
(45)【発行日】2024-01-10
(54)【発明の名称】点検作業順表示装置および点検作業支援システム
(51)【国際特許分類】
G06Q 10/20 20230101AFI20231227BHJP
【ＦＩ】
G06Q10/20
【請求項の数】
12
(21)【出願番号】P 2021121015
(22)【出願日】2021-07-21
(65)【公開番号】P2023016589
(43)【公開日】2023-02-02
【審査請求日】2022-01-06
(73)【特許権者】
【識別番号】521514059
【氏名又は名称】東芝デジタルエンジニアリング株式会社
(74)【代理人】
【識別番号】100090169
【弁理士】
【氏名又は名称】松浦 孝
(74)【代理人】
【識別番号】100074147
【弁理士】
【氏名又は名称】本田 崇
(74)【代理人】
【識別番号】100124497
【弁理士】
【氏名又は名称】小倉 洋樹
(72)【発明者】
【氏名】山下 幸夫
(72)【発明者】
【氏名】石川 秀一
【審査官】谷川 智秀
(56)【参考文献】
【文献】特開２０２０－１２３２８５（ＪＰ，Ａ）
【文献】特開２０１７－０８１６８５（ＪＰ，Ａ）
【文献】特開２０１７－１４３３８７（ＪＰ，Ａ）
【文献】国際公開第２０１７／１５８７１８（ＷＯ，Ａ１）
【文献】国際公開第２０１４／０９７４１３（ＷＯ，Ａ１）
【文献】特開平０９－３０５２１８（ＪＰ，Ａ）
【文献】「三次元モデルＡＲを用いた保守点検作業支援技術」を開発，[online]，三菱電機株式会社，2016年11月07日，pp.1-2，[2023年3月8日検索],インターネット＜URL:http://www.mitsubishielectric.co.jp/news/2016/pdf/1107.pdf＞
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｑ １０／００－９９／００
(57)【特許請求の範囲】
【請求項1】
点検対象装置に対する所定内容の点検作業について与えられた点検作業識別情報毎に、点検作業を行うべき点検対象装置における点検対象作業箇所を含む点検対象装置録画画像と、点検対象作業箇所に対する点検作業順情報とが対応付けられて記憶された点検作業データベースと、点検者の顔の前方を撮像するカメラと、
画像を表示するための点検者用表示装置と、
画像を表示するための指示者用表示装置と、
前記点検作業データベースから、与えられた点検作業識別情報に対応する点検対象装置録画画像と点検作業順情報を取り出すデータベースアクセス手段と、
前記データベースアクセス手段により取り出された点検対象装置録画画像と前記カメラにより現時点に得られる点検対象装置現時点画像とを比較して、点検対象装置現時点画像における点検対象作業箇所を特定する点検対象作業箇所特定手段と、
前記データベースアクセス手段により取り出された点検作業順情報に基づき点検作業の順番を示す順番符号画像を作成し、この順番符号画像を、前記点検対象作業箇所特定手段が特定した点検対象装置現時点画像における点検対象作業箇所の該当点検対象作業箇所に位置変更して表示用順番符号画像を作成する表示用順番符号画像作成手段と、
前記表示用順番符号画像作成手段により作成された表示用順番符号画像と前記カメラにより現時点に得られる点検対象装置現時点画像とに基づき、点検対象装置現時点画像における点検対象作業箇所の該当点検対象作業箇所に前記表示用順番符号画像を付した点検用画像を作成する点検用画像作成手段と、
前記点検用画像を前記点検者用表示装置に表示する制御を行う点検者用表示制御手段と、
前記点検用画像を前記指示者用表示装置に表示する制御を行う指示者用表示制御手段と
を具備し、
前記指示者用表示制御手段と前記点検者用表示制御手段は、点検対象作業箇所が複数の場合に点検用画像を表示するときには、表示当初の点検用画像において前記複数の点検対象作業箇所全てに表示用順番符号画像を付して表示を行い、点検作業の完了情報が入力される毎に、この点検作業が完了となった点検対象作業箇所に付されていた表示用順番符号画像を消去した表示用順番符号画像へ変更して表示を実行することを特徴とする点検作業支援システム。
【請求項2】
前記指示者用表示制御手段と前記点検者用表示制御手段は、点検対象作業箇所が複数の場合に点検用画像を表示するときには、表示当初の点検用画像において前記複数の点検対象作業箇所中の第１番目に点検作業を行うべき点検対象作業箇所についてのみ表示用順番符号画像を付して表示を行い、この点検対象作業箇所についての点検作業の完了情報が入力されると、この点検作業が完了となった点検対象作業箇所に付されていた表示用順番符号画像を消去し、次に点検作業を行うべき点検対象作業箇所についてのみ表示用順番符号画像を付して表示を実行するモードを有することを特徴とする請求項１に記載の点検作業支援システム。
【請求項3】
前記点検作業データベースには、点検対象作業箇所に対する点検作業順情報と点検作業内容情報が対応付けられて記憶されており、前記表示用順番符号画像の表示の際に、前記点検作業データベースから該当する点検作業内容情報を読出し、点検作業内容の文字画像情報に変換する文字画像変換手段を備え、
前記点検者用表示制御手段による表示制御により前記点検者用表示装置へ表示させ、また前記指示者用表示制御手段による表示制御により前記指示者用表示装置へ表示させることを特徴とする請求項１または２に記載の点検作業支援システム。
【請求項4】
点検者の識別番号に対応して、点検者が過去に行った点検作業の対象である点検対象装置と点検対象作業箇所により決定される点検作業識別情報と、点検回数情報が記憶された点検者点検履歴データベースを備え、前記データベースアクセス手段は、当該点検作業を行う点検者の識別番号に基づき前記点検者点検履歴データベースから対応する点検者が過去に行った点検作業の対象である点検対象装置と点検対象作業箇所により決定される点検作業識別情報、点検回数情報を得るものであり、
前記表示用順番符号画像作成手段は、前記表示用順番符号画像を作成するに際し前記点検者点検履歴データベースから得られた情報に基づき、所定回数以上の点検回数の場合に、予め定められた点検対象装置と点検対象作業箇所に対応する表示用順番符号画像の作成をスキップすることを特徴とする請求項１乃至３のいずれか１項に記載の点検作業支援システム。
【請求項5】
点検者の視線を検出する視線検出手段と、前記カメラから現時点に得られる点検対象装置現時点画像と前記点検者の視線に基づき前記表示用順番符号画像を表示すべき点検対象作業箇所から所定距離を超えて目による視点が外れているか否か検出する視点外れ検出手段と、
前記点検者用表示制御手段と前記指示者用表示制御手段は、前記視点外れ検出手段により視点が外れていることが検出された場合には、表示制御により表示用順番符号画像の表示を停止させる表示制御を行い、視点が外れていないことが検出された場合には、表示用順番符号画像を表示させる表示制御を行うモードを有することを特徴とする請求項１乃至４のいずれか１項に記載の点検作業支援システム。
【請求項6】
前記視点外れ検出手段により視点が外れていることが検出された場合には、視点の移動に応じて移動した位置に、「表示用順番符号画像を表示すべき点検対象作業箇所から所定距離を超えて目による視点が外れていることを示す」ズレ位置画像を作成するズレ位置画像作成手段を具備し、前記点検者用表示制御手段と前記指示者用表示制御手段は、視点が外れていることが検出された場合には、表示制御により表示用順番符号画像の表示を停止させると共に、前記ズレ位置画像を表示することを特徴とする請求項５に記載の点検作業支援システム。
【請求項7】
点検者の視線を検出する視線検出手段と、前記表示用順番符号画像を表示すべき点検対象作業箇所に表示する正規位置ポイント画像であって、点検対象作業箇所であることを示す正規位置ポイント画像と、前記視線検出手段により検出された視線に基づき求められた視線の位置に表示する実際視点ポイント画像であって、点検者が目視している点検対象作業箇所を示す実際視点ポイント画像とを作成する視点ポイント画像作成手段と、
を具備し、
前記点検者用表示制御手段と前記指示者用表示制御手段は、正規視線ポイント画像と実際視線ポイント画像とを表示制御する表示モードを有することを特徴とする請求項１乃至５のいずれか１項に記載の点検作業支援システム。
【請求項8】
点検作業の順番を示す順番符号画像を所望の点検対象作業箇所の画像に付して表示するための作成指示を指示者が行うための入力手段を具備し、前記入力手段から点検作業の順番を示す順番符号画像の作成指示が入力されると、前記表示用順番符号画像作成手段は、前記入力に基づく順番符号画像に基づき、点検対象装置の現時点画像における該当点検対象作業箇所に付した如くなるように当該点検対象装置における点検作業の順番を示す表示用順番符号画像を作成し、
前記点検者用表示制御手段と前記指示者用表示制御手段は、前記表示用順番符号画像作成手段により作成された表示用順番符号画像を表示制御するモードを有することを特徴とする請求項１乃至７のいずれか１項に記載の点検作業支援システム。
【請求項9】
前記点検者用表示装置は、前記点検者の視線の前方を透かして目視することができると共に画像を表示する画面を有するものであり、前記点検者用表示制御手段は、前記表示用順番符号画像作成手段により作成された表示用順番符号画像のみを前記点検者用表示装置の前記画面に表示する制御を行うことを特徴とする請求項１乃至８のいずれか１項に記載の点検作業支援システム。
【請求項10】
１または複数の点検対象作業箇所を含む点検対象装置に対し、前記１または複数の点検対象作業箇所の点検作業を順に行う場合の点検作業順である点検順を表示する点検作業順表示装置において、前記１または複数の点検対象作業箇所を含む前記点検対象装置を撮像するカメラと、
前記点検順に応じて点検する点検対象作業箇所の情報が記憶されたデータベースを参照すると共に、前記点検対象作業箇所の各々を予め録画した録画画像と、前記カメラにより現時点に撮像した現時点画像との比較に基づき、表示画面上における、点検順毎の前記点検対象作業箇所の位置情報を特定する特定手段と、
前記点検順に応じて、前記特定手段により特定された前記点検対象作業箇所の位置情報に対応して前記点検作業順を示す点検順指示マークを表示画面に表示すると共に、点検対象作業箇所に関して点検作業の完了情報が入力される毎に、この点検作業が完了となった点検対象作業箇所に付されていたマークを消去した表示とする点検順表示制御手段と、
を具備することを特徴とする点検作業順表示装置。
【請求項11】
前記点検順表示制御手段は、点検順の第１番である点検対象作業箇所のみの位置情報に対応して前記点検作業順を示す点検順指示マークを表示画面に表示することを特徴とする請求項１０に記載の点検作業順表示装置。
【請求項12】
前記点検順表示制御手段は、１または複数の点検対象作業箇所についての所定点検作業内容をいくつか行うことを１単位として、前記１単位内で行う全点検対象作業箇所について点検順指示マークを表示し、点検順指示マークが表示された点検対象作業箇所に関して点検作業の完了情報が入力される毎に、完了情報に対応する点検対象作業箇所の点検順指示マークをブリンク表示した後に表示を停止し、点検順指示マークを順次減少させる表示を行うことを特徴とする請求項１０に記載の点検作業順表示装置。【発明の詳細な説明】
【技術分野】
【0001】
この発明は、各種の工場や発電所等の施設や設備を点検する際の点検作業順表示装置および点検作業支援システムに関するものである。
【背景技術】
【0002】
従来の点検作業支援システムとしては、特許文献１～３に記載されているものが知られている。特許文献１に記載の点検支援装置は、点検設備について定められた点検箇所に、点検箇所の点検に関する情報を投影するための投影画像を生成し、生成した投影画像をプロジェクタに出力する構成を有している。このプロジェクタは、点検支援装置から出力された投影画像を点検設備に投影することによって、点検者による点検作業の効率を向上させている。
【0003】
特許文献２には、設備の点検結果が入力されたとしても、設備の点検漏れを判定し、設備の点検漏れを防止することができる点検支援システムおよび点検支援方法が開示されている。このシステムは、移動可能な端末から設備の点検結果情報を入力して設備の点検を行う点検支援システムである。このシステムでは、端末の端末位置情報を取得して格納する端末位置ＤＢと、設備の設備位置情報を格納する設備位置ＤＢと、端末から設備の点検結果情報が入力されると、端末の端末位置情報の軌跡に、設備の設備位置情報が含まれているか否かを判定して、含まれていないと判定すると設備の点検漏れが発生したとして判定する判定部とを備えている。
【0004】
引用文献３には、点検支援装置が示されている。この装置は、ＩＰネットワークＮＷを介して互いに通信可能に接続された複数の点検支援装置の各々は、無線ネットワークを介して接続された点検端末と、機器の点検に関する点検支援情報の送受信を行うように構成された送受信部と、送受信部で受信した点検支援情報のデータ形式を変換するように構成されたデータ変換部と、他の点検支援装置との間で、データ形式が変換された点検支援情報を中継するように構成された通信処理部とを備える。この構成によって、中央監視装置を介さずに現場の作業員同士で通信することができる点検支援技術を提供している。
【先行技術文献】
【特許文献】
【0005】
【文献】２０１６－１７０４９５号公報
【文献】２０１６－２１２７６７号公報
【文献】２０２０－１１９２７２号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記の特許文献１～３のシステムは、点検順についても考慮がされているものの、点検者が動いている等の事情で、点検作業を行うべき点検対象装置における点検対象作業箇所を適切に把握できない状況があることの考慮はなされていない。
【0007】
本発明は、点検者が動いていたり、経験の浅い者であったりして、点検作業を行うべき点検対象装置における点検対象作業箇所を適切に把握できない状況が生じる場合にも、適切に点検作業ができるようにする。
【課題を解決するための手段】
【0008】
本実施形態に係る点検作業支援システムは、点検対象装置に対する所定内容の点検作業について与えられた点検作業識別情報毎に、点検作業を行うべき点検対象装置における点検対象作業箇所を含む点検対象装置録画画像と、点検対象作業箇所に対する点検作業順情報とが対応付けられて記憶された点検作業データベースと、点検者の顔の前方を撮像するカメラと、画像を表示するための点検者用表示装置と、画像を表示するための指示者用表示装置と、前記点検作業データベースから、与えられた点検作業識別情報に対応する点検対象装置録画画像と点検作業順情報を取り出すデータベースアクセス手段と、前記データベースアクセス手段により取り出された点検対象装置録画画像と前記カメラにより現時点に得られる点検対象装置現時点画像とを比較して、点検対象装置現時点画像における点検対象作業箇所を特定する点検対象作業箇所特定手段と、前記データベースアクセス手段により取り出された点検作業順情報に基づき点検作業の順番を示す順番符号画像を作成し、この順番符号画像を、前記点検対象作業箇所特定手段が特定した点検対象装置現時点画像における点検対象作業箇所の該当点検対象作業箇所に位置変更して表示用順番符号画像を作成する表示用順番符号画像作成手段と、前記表示用順番符号画像作成手段により作成された表示用順番符号画像と前記カメラにより現時点に得られる点検対象装置現時点画像とに基づき、点検対象装置現時点画像における点検対象作業箇所の該当点検対象作業箇所に前記表示用順番符号画像を付した点検用画像を作成する点検用画像作成手段と、前記点検用画像を前記点検者用表示装置に表示する制御を行う点検者用表示制御手段と、前記点検用画像を前記指示者用表示装置に表示する制御を行う指示者用表示制御手段とを具備し、前記指示者用表示制御手段と前記点検者用表示制御手段は、点検対象作業箇所が複数の場合に点検用画像を表示するときには、表示当初の点検用画像において前記複数の点検対象作業箇所全てに表示用順番符号画像を付して表示を行い、点検作業の完了情報が入力される毎に、この点検作業が完了となった点検対象作業箇所に付されていた表示用順番符号画像を消去した表示用順番符号画像へ変更して表示を実行することを特徴とする。
【0009】
本実施形態に係る点検作業順表示装置は、１または複数の点検対象作業箇所を含む点検対象装置に対し、前記１または複数の点検対象作業箇所の点検作業を順に行う場合の点検作業順である点検順を表示する点検作業順表示装置において、前記１または複数の点検対象作業箇所を含む前記点検対象装置を撮像するカメラと、前記点検順に応じて点検する点検対象作業箇所の情報が記憶されたデータベースを参照すると共に、前記点検対象作業箇所の各々を予め録画した録画画像と、前記カメラにより現時点に撮像した現時点画像との比較に基づき、表示画面上における、点検順毎の前記点検対象作業箇所の位置情報を特定する特定手段と、前記点検順に応じて、前記特定手段により特定された前記点検対象作業箇所の位置情報に対応して前記点検作業順を示す点検順指示マークを表示画面に表示すると共に、点検対象作業箇所に関して点検作業の完了情報が入力される毎に、この点検作業が完了となった点検対象作業箇所に付されていたマークを消去した表示とする点検順表示制御手段と、を具備することを特徴とする。
【図面の簡単な説明】
【0010】
【図1】本発明の実施形態に係る点検作業支援システムの構成図。
【図2】本発明の実施形態に係る点検作業支援システムの要部であるサーバコンピュータの一実施形態の構成図。
【図3】本発明の実施形態に係る点検作業支援システムの要部であるサーバコンピュータの外部記憶装置に記憶されている情報内容を示す図。
【図4】本発明の実施形態に係る点検作業支援システムの要部であるサーバコンピュータの外部記憶装置に記憶されている点検作業データベースの内容の一例を示す図。
【図5】本発明の実施形態に係る点検作業支援システムにより点検する点検対象装置の録画画像の第１の例を示す図。
【図6】本発明の実施形態に係る点検作業支援システムにより点検する点検対象装置の録画画像の第２の例を示す図。
【図6A】本発明の実施形態に係る点検作業支援システムにより点検する点検対象装置の点検対象作業箇所に関する点検内容の一例に係るテーブルを示す図。
【図7】図７（ａ）は、図４の点検作業データベースの一番上の欄に記載されている点検作業識別情報に対応する点検作業内容情報を示す図であり、図７（ｂ）は、図４の点検作業データベースにおける上から２番目の欄に記載されている点検作業識別情報に対応する点検作業内容情報を示す図であり、図７（ｃ）は、図４の点検作業データベースにおける上から３番目の欄に記載されている点検作業識別情報に対応する点検作業内容情報を示す図
【図8】本発明の実施形態に係るシステムの指示者が使用するパーソナルコンピュータの構成ブロック図。
【図9】本発明の実施形態に係るシステムの点検者が保持するエッジコンピュータの構成図。
【図10】本発明の実施形態に係るシステムの要部のウェアラブル端末であるリモートビューワの構成ブロック図。
【図11】本発明の第１の実施形態のパーソナルコンピュータのＣＰＵが実現する各手段を示す図。
【図12】第１の実施形態のエッジコンピュータのＣＰＵが実現する手段を示す図。
【図13】本発明の第１の実施形態に係る点検作業支援システムの動作を示すフローチャート。
【図14】図１４（ａ）は、本発明の第１の実施形態に係る点検作業支援システムの動作を示すフローチャートのステップＳ１０４において作成された表示用順番符号画像を示す図であり、図１４（ｂ）は、本発明の第１の実施形態に係る点検作業支援システムの動作を示すフローチャートのステップＳ１０５において作成された点検用画像を示す図。
【図15】本発明の第２の実施形態に係る点検作業支援システムの表示制御により、表示用順番符号画像の表示の際に、点検作業内容情報を表示制御することにより得られる画像の一例を示す図。
【図16】本発明の第２の実施形態に係る点検作業支援システムの表示制御により表示される画像の一例を示す図。
【図17】本発明の第２の実施形態に係る点検作業支援システムの表示制御により表示される画像の一例を示す図。
【図18】本発明の第３の実施形態に係る点検作業支援システムの表示制御により表示される画像の一例を示す図。
【図19】本発明の第３の実施形態に係る点検作業支援システムの表示制御により表示される画像の一例を示す図。
【図20】本発明の第３の実施形態に係る点検作業支援システムの表示制御により表示される画像の一例を示す図。
【図21】本発明の第３の実施形態に係る点検作業支援システムの表示制御により表示される画像の一例を示す図。
【図22】本発明の実施形態に係る点検作業支援システムの要部であるサーバコンピュータの外部記憶装置に記憶されている点検者点検履歴データベースの内容の一例を示す図。
【図23】本発明の第５の実施形態に係る点検作業支援システムの表示制御により表示される画像の一例を示す図。
【図23A】本発明の第６の実施形態に係る点検作業支援システムの表示制御により表示される画像の一例を示す図。
【図24】本発明の本実施形態に係る点検作業支援システムにより好適な処理を行うことが可能な点検対象装置と点検者との関係を示す図。
【図25】本発明の第８の実施形態に係る点検作業支援システムの動作を示すフローチャート。
【図26】本発明の第８の実施形態に係る点検作業支援システムの表示制御により表示される画像の一例を示す図。
【図27】本発明の第８の実施形態に係る点検作業支援システムの表示制御により表示される画像の一例を示す図。
【図28】本発明の第８の実施形態に係る点検作業支援システムの表示制御により表示される画像の一例を示す図。
【図29】本発明の実施形態に係る点検作業支援システムの要部であるサーバコンピュータの外部記憶装置に記憶されている点検順重みデータベースの記憶内容の一例を示す図。
【図30】本発明の実施形態に係る点検作業支援システムの要部であるサーバコンピュータの外部記憶装置に記憶されている点検作業優先度テーブルの記憶内容の一例を示す図。
【図31】本発明の第９の実施形態においてサーバコンピュータのＣＰＵが実現する点検作業順情報更新手段を示す図。
【図32】本発明の実施形態に係る点検作業支援システムの要部であるサーバコンピュータの外部記憶装置に記憶されている点検作業優先度テーブルの記憶内容の一例を示す図。
【図33】本発明の実施形態に係る点検作業支援システムの要部であるサーバコンピュータの外部記憶装置に記憶されている関連情報テーブルの記憶内容の一例を示す図。
【図34】本発明の第１０の実施形態におけるサーバコンピュータの外部記憶装置に記憶されている緊急時点検情報セットを示す図。
【図35】本発明の第１０の実施形態における緊急時の点検モードの動作を説明するフローチャートである。
【図36】本発明の実施形態に係る点検作業順表示装置のＣＰＵ２１、ＣＰＵ３１が実現する手段を示す図。
【発明を実施するための形態】
【0011】
以下添付図面を参照して、本発明に係る点検作業支援システムの実施形態を説明する。各図において同一の構成要素には、同一の符号を付して重複する説明を省略する。図１には、実施形態に係る点検作業支援システムの構成図が示されている。点検作業支援システムには、サーバコンピュータ１０と、点検者４が所持するエッジコンピュータ３０と、指示者３が使用するパーソナルコンピュータ２０とが通信ネットワーク１を介して接続されたシステムである。サーバコンピュータ１０は、クラウドコンピューティングシステムであってもよく、パーソナルコンピュータ２０はワークステーションなどと称されるコンピュータであってもよい。
【0012】
図２は、サーバコンピュータ１０の一実施形態の構成図である。サーバコンピュータ１０はＣＰＵ１１が主メモリ１２内のプログラムやデータによってサーバコンピュータ１０の統括制御を行うもので、パーソナルコンピュータ２０やエッジコンピュータ３０に対し点検作業支援のための情報及びデータ等の提供、パーソナルコンピュータ２０やエッジコンピュータ３０から送られてくる点検結果情報の編集・保存などを行うものである。
【0013】
ＣＰＵ１１には、バス１３を介して外部記憶インタフェース１４、通信インタフェース１５が接続されている。外部記憶インタフェース１４には、外部記憶装置１６が接続されており、通信インタフェース１５は通信ネットワーク１に接続されている。サーバコンピュータ１０には、図２に示す構成以外に、例えばデータやコマンドを与えるための入力装置や必要な情報の表示を行うための表示装置などが設けられていてもよい。
【0014】
図３は、外部記憶装置１６に記憶されている情報内容を示す図である。外部記憶装置１６には、点検作業データベース１６１、点検者点検履歴データベース１６２、点検順重みデータベース１６３、関連情報テーブル１６４が記憶されている。本実施形態では、点検対象装置に対する所定内容の点検作業について点検作業識別情報が与えられている。例えば、装置Ａのａａ機能に関する点検作業、同じ装置Ａのａ１ａ機能に関する点検作業、別の装置Ｂのｂｂ機能に関する点検作業、更に別の装置Ｃのｃｃｃ機能に関する点検作業、・・・という作業毎に識別番号が与えられる。
【0015】
点検作業データベース１６１には、点検作業識別情報毎に、点検作業を行うべき点検対象装置における点検対象作業箇所を含む点検対象装置録画画像と、点検対象作業箇所に対する点検作業順情報とが対応付けられて記憶されている。図４は、点検作業データベース１６１の内容の一例を示している。一番上の欄には、点検作業識別情報である点検作業ＩＤが０００１に対応して、点検対象装置名が〇〇装置であり、点検対象作業箇所名が、第１スイッチ、第２スイッチ、第３スイッチ、第４スイッチ、・・・とあり、点検順が１、３、４、２、・・・であり、点検内容が、ＯＮ、ＯＮ、ＯＦＦ、ＯＮ、・・・であることが記憶され、点検対象作業箇所を含む点検対象装置録画画像が記憶されていることを示している。上から２番目の欄には、点検作業識別情報である点検作業ＩＤが０００２に対応して、点検対象装置名が〇〇装置であり、点検対象作業箇所名が、第１電流計、第１電圧計、第３電流計、第４スイッチ、・・・とあり、点検順が１、２、４、３、・・・であり、点検内容が、読取、読取、読取、ＯＮ、・・・であることが記憶され、点検対象作業箇所を含む点検対象装置録画画像が記憶されていることを示している。更に、上から３番目の欄には、点検作業識別情報である点検作業ＩＤが０００３に対応して、点検対象装置名が××装置であり、点検対象作業箇所名が、第１ランプ、第１電圧計、第２温度計、第１スイッチ、・・・とあり、点検順が４、２、１、３、・・・であり、点検内容が、点灯確認、読取、読取、ＯＮ、・・・であることが記憶され、点検対象作業箇所を含む点検対象装置録画画像が記憶されていることを示している。点検作業データベース１６１には、以下同様に情報が記憶されている。なお、点検対象作業箇所については、点検対象装置録画画像中の位置情報が、例えば、第１スイッチ、第２スイッチ、第３スイッチ、第４スイッチ、・・・や第１電流計、第１電圧計、第３電流計、第４スイッチ、・・・について記憶されており、パーソナルコンピュータ２０から点検作業識別情報を用いてサーバコンピュータ１０へ要求することによりパーソナルコンピュータ２０へ送られてくる。
【0016】
図５は、点検対象装置録画画像の第１の例を示す。この画像は、例えば電源パネルの画像であり、符号４１は第１メインスイッチ、符号４２は第２メインスイッチ、符号４１１～４１８は第１副スイッチ～第８副スイッチである。これらの点検内容は、スイッチのＯＮやＯＦＦの確認、或いはスイッチをＯＮやＯＦＦに切り換えを行ったときに切り換えた通りに動作するかの確認をするなどである。
【0017】
図６は、点検対象装置録画画像の第２の例を示す。この画像は、例えばある装置の計器パネルの画像である。符号７１１～７１４はアナログ電圧計やアナログ電流計、符号７１５、７１６はアナログ圧力計やアナログ回転数計である。符号７２１～７２４は符号７１１～７１６のアナログ機器のディジタル値表示器である。また、符号７３１～７３４は状態ランプであり、符号７４１はメインスイッチであり、符号７５１はスライドスイッチであり、符号７６１～７６４はアナログ機器７１１～７１６には現れない当該装置の所要部位の温度や圧力等の物理量の測定結果等を表示するディジタル値表示器である。これらの点検内容は、計器のアナログ値とディジタル値の読取と数値範囲確認、状態ランプの状態（色）の読取などである。図５、図６の点検対象装置録画画像で示された点検対象装置の点検対象作業箇所に関する点検内容の一例を図６Ａに示す。このテーブルは、サーバコンピュータ１０に備えられており、点検の際にパーソナルコンピュータ２０へダウンロードされ、指示者３がこれを見ることができる。一方、点検者４が点検を行って点検内容を音声により入力したものを指示者３がパーソナルコンピュータ２０の画面において確認し、点検対象装置の異常・正常を判定し、パーソナルコンピュータ２０の外部記憶装置２４１に点検報告書として記憶することができる。点検報告書には、点検者名、指示者名、日時、点検対象装置及び点検対象作業箇所、点検の内容（オン・オフ操作の内容や、オン・オフの状態、計器の数値、正常・異常等）が含まれる。この報告書は適当なときに、サーバコンピュータ１０へ送られ、点検履歴情報として残され、活用される。
【0018】
上記図５と図６の例は、一例に過ぎず、例えば回転や移動やスライドなどの動きがある機器の動作状態の画像や取り外して点検する必要がある部品の画像など様々なものが記憶される。また、図５や図６の例では、一方向から撮像した画像となっているが、点検する点検対象作業箇所を多方向から撮像した複数の画像とすることもできる。
【0019】
また、上記点検作業データベース１６１には、点検対象作業箇所に対する点検作業順情報と点検作業内容情報が対応付けられて記憶されており、後に説明する表示用順番符号画像の表示の際に、上記点検作業データベース１６１から該当する点検作業内容情報を読出し、点検作業内容の文字画像情報に変換して用いられる。点検作業内容情報は、文字情報であっても良く、これを音声に変換して聞くこともできる。図７（ａ）は、図４の点検作業データベース１６１の一番上の欄に記載されている点検作業識別情報に対応する点検作業内容情報を示し、図７（ｂ）は、図４の点検作業データベース１６１における上から２番目の欄に記載されている点検作業識別情報に対応する点検作業内容情報を示し、図７（ｃ）は、図４の点検作業データベース１６１における上から３番目の欄に記載されている点検作業識別情報に対応する点検作業内容情報を示す。
【0020】
即ち、図７（ａ）は点検作業ＩＤが０００１の点検作業内容情報として、「手順１：○○装置の第１スイッチをＯＮにする。」こと、「手順２：第４スイッチをＯＮにする。」こと、「手順３：第２スイッチをＯＮにする。」こと、「手順４：第３スイッチをＯＮにする。」こと、が記憶されている。
【0021】
また、図７（ｂ）は点検作業ＩＤが０００２の点検作業内容情報として、「手順１：○○装置の第１電流計の値を読み取る。」こと、「手順２：第１電圧計の値を読み取る。」こと、「手順３：第４スイッチをＯＮにする。」こと、「手順４：第３電流計の値を読み取る。」こと、が記憶されている。
【0022】
また、図７（ｃ）は点検作業ＩＤが０００３の点検作業内容情報として、「手順１：××装置の第２温度計の値を読み取る。」こと、「手順２：第１電圧計の値を読み取る。」こと、「手順３：第１スイッチをＯＮにする。」こと、「手順４：第１ランプの点灯を確認する。」こと、が記憶されている。以下、上記点検作業データベース１６１に点検作業内容情報が記憶されている限りにおいて、様々な情報が記憶されている。
【0023】
図８は、パーソナルコンピュータ２０の構成ブロック図である。パーソナルコンピュータ２０は点検作業の際に、点検者４に指示を与える指示者３が用いるコンピュータである。パーソナルコンピュータ２０は、ＣＰＵ２１が主メモリ２２内のプログラムやデータを用いて各部を制御して点検作業の情報を取り込み出力し編集等するように機能する。ＣＰＵ２１は、バス２３を介して外部記憶インタフェース２４、入力インタフェース２５、２６、表示インタフェース２７、通信インタフェース２８が接続されている。
【0024】
外部記憶インタフェース２４には、外部記憶装置２４１が接続され、入力インタフェース２５には、キーボードやタッチパネルなどの入力装置２５１とマウスなどのポインティングデバイス２５２が接続されている。また、入力インタフェース２６には、スピーカ２６１とマイクロフォン２６２が接続されており、音声の送受を行うことが可能である。表示インタフェース２７には、ＬＣＤなどの表示装置２７１が接続されており、画像を表示することが可能である。通信インタフェース２８は通信ネットワーク１が接続されており、サーバコンピュータ１０、エッジコンピュータ３０と通信することが可能である。
【0025】
図９は、点検者４が保持するエッジコンピュータ３０の構成図である。エッジコンピュータ３０は、ＣＰＵ３１が主メモリ３２内のプログラムやデータを用いて各部を制御して点検作業の情報をパーソナルコンピュータ２０との間で送受し、また点検作業の情報をリモートビューワ４０から出力し又入力するように機能する。ＣＰＵ３１は、バス３３を介して外部記憶インタフェース３４、通信インタフェース３５、３６が接続されている。
【0026】
外部記憶インタフェース３４には、外部記憶装置３４１が接続され、外部記憶装置３４１には各種データやプログラムを記憶しておくことができる。通信インタフェース３５には、点検者４が装着するウェアラブル端末であるリモートビューワ４０が接続されている。通信インタフェース３６には、通信ネットワーク１が接続されている。
【0027】
図１０は、ウェアラブル端末であるリモートビューワ４０の構成ブロック図である。この実施形態では、ＣＰＵ５１が主メモリ５２に記憶されているプログラムを実行して各部を制御し、点検作業に必要な画像の表示や撮像により得られる点検対象装置の画像等や点検結果の音声等をエッジコンピュータ３０へ送信するなどを行う。ＣＰＵ５１には、バス５３を介して入力インタフェース５４、５５、５６、表示インタフェース５７、通信インタフェース５８が接続されている。
【0028】
入力インタフェース５４には、マイクロフォン５４１とスピーカ５４２が接続され音声入出力が可能となっている。入力インタフェース５５には、点検者４の顔の前方を撮像するカメラ５５１が備えられており、点検対象装置の点検対象作業箇所を撮像してエッジコンピュータ３０へ画像を送信可能に構成されている。入力インタフェース５６には、点検者４の瞳を撮像する視線検出用カメラ５６１が接続されており、点検者４の視線検出に用いられる瞳画像が取得される。表示インタフェース５７には表示装置５７１が接続されている。表示装置５７１は、眼鏡型のウェアラブル端末における眼鏡の一方のレンズに相当する位置に配置された透明のパネルであり、点検者４の視線の前方を透かして目視することができると共に画像を表示する画面となっている。通信インタフェース５８にはケーブル６が接続され、エッジコンピュータ３０と通信が可能とされている。
【0029】
以上のようなハードウエア構成を有する点検作業支援システムでは、パーソナルコンピュータ２０のＣＰＵ２１が主メモリ２２に記憶されたプログラムに基づき図１１に示す如き手段として動作し、エッジコンピュータ３０のＣＰＵ３１が主メモリ３１に記憶されたプログラムに基づき図１２に示す如き手段として動作を行う。
【0030】
＜第１の実施形態＞
第１の実施形態では、パーソナルコンピュータ２０のＣＰＵ２１が、図１１のデータベースアクセス手段２０１、点検対象作業箇所特定手段２０２、表示用順番符号画像作成手段２０３、点検用画像作成手段２０４、指示者用表示制御手段２２１として動作する。また、エッジコンピュータ３０のＣＰＵ３１が、図１２の点検者用表示制御手段３１１として動作する。
第１の実施形態では、パーソナルコンピュータ２０のＣＰＵ２１が、図１１のデータベースアクセス手段２０１、点検対象作業箇所特定手段２０２、表示用順番符号画像作成手段２０３、点検用画像作成手段２０４、指示者用表示制御手段２２１として動作する。また、エッジコンピュータ３０のＣＰＵ３１が、図１２の点検者用表示制御手段３１１として動作する。
【0031】
データベースアクセス手段２０１は、上記点検作業データベース１６１から、与えられた点検作業識別情報に対応する点検対象装置録画画像と点検作業順情報を取り出すものである。点検対象作業箇所特定手段２０２は、上記データベースアクセス手段２０１により取り出された点検対象装置録画画像と上記カメラ５５１により現時点に得られる点検対象装置現時点画像とを比較して、点検対象装置現時点画像における点検対象作業箇所を特定するものである。表示用順番符号画像作成手段２０３は、上記データベースアクセス手段２０１により取り出された点検作業順情報に基づき点検作業の順番を示す順番符号画像を作成し、この順番符号画像を、上記点検対象作業箇所特定手段２０２が特定した点検対象装置現時点画像における点検対象作業箇所の該当点検対象作業箇所に位置変更して表示用順番符号画像を作成するものである。点検用画像作成手段２０４は、上記表示用順番符号画像作成手段２０３により作成された表示用順番符号画像と上記カメラ５５１により現時点に得られる点検対象装置現時点画像とに基づき、点検対象装置現時点画像における点検対象作業箇所の該当点検対象作業箇所に上記表示用順番符号画像を付した点検用画像を作成するものである。
【0032】
点検者用表示制御手段３１１は、上記点検用画像を点検者用表示装置であるリモートビューワ４０の表示装置５７１に表示する制御を行うものである。指示者用表示制御手段２２１は、上記点検用画像をパーソナルコンピュータ２０の指示者用表示装置である表示装置２７１に表示する制御を行うものである
【0033】
図１３は、第１の実施形態に係る点検作業支援システムの動作を示すフローチャートである。以下、このフローチャートに沿ってＣＰＵ２１による動作を説明する。点検作業を開始しようと指示者３が点検作業支援を開始するとＣＰＵ２１は、パーソナルコンピュータ２０からサーバコンピュータ１０へアクセスし、点検対象装置に対する所定内容の点検作業について与えられた点検作業識別情報を用いて点検作業データベース１６１から、この点検作業識別情報に対応する点検対象装置録画画像と点検作業順情報の読み出しを行う（Ｓ１０１）。このとき、点検者４のリモートビューワ４０及びエッジコンピュータ３０は動作しており、カメラ５５１により撮像された画像をパーソナルコンピュータ２０へ送ってきている。
【0034】
そこで、ＣＰＵ２１は点検作業データベース１６１から取り出された点検対象装置録画画像と上記カメラ５５１により現時点に得られる点検対象装置現時点画像とを比較して、点検対象装置現時点画像における点検対象作業箇所を特定する（Ｓ１０２）。点検対象装置録画画像は、図５や図６に示されるような画像であるので、点検者４は予め点検対象装置の前に立ちカメラ５５１による撮像を行うので、例えば、点検対象装置録画画像が図５に示すようであれば、概ね図５に示すような点検対象装置現時点画像が得られる。
【0035】
既に説明したように、点検対象作業箇所についても位置情報が送られてきており、点検対象装置録画画像と上記カメラ５５１により現時点に得られる点検対象装置現時点画像が概ね一致したとき、点検対象装置現時点画像における点検対象作業箇所を特定する。この結果、例えば、第１スイッチ、第２スイッチ、第３スイッチ、第４スイッチ、・・・や第１電流計、第１電圧計、第３電流計、第４スイッチ、・・・等、点検対象作業箇所が点検対象装置現時点画像において特定される。
【0036】
次に、ＣＰＵ２１は点検作業データベース１６１から得られている点検作業順情報に基づき点検作業の順番を示す順番符号画像を作成し（Ｓ１０３）、この順番符号画像を、上記で特定した点検対象装置現時点画像における点検対象作業箇所の該当点検対象作業箇所に位置変更して表示用順番符号画像を作成する（Ｓ１０４）。従って、例えば、第１スイッチ、第２スイッチ、第３スイッチ、第４スイッチ、・・・や第１電流計、第１電圧計、第３電流計、第４スイッチ、・・・等、点検対象作業箇所に付する表示用順番符号画像（本実施例では、〇内に数字が記載された画像とする）が、上記点検対象装置現時点画像における点検対象作業箇所の位置に位置変更されて〇内に数字が記載された表示用順番符号画像がそれぞれ作成されることになる。図１４（ａ）は、上記ステップＳ１０４において作成された表示用順番符号画像である。
【0037】
次に、ＣＰＵ２１は、表示用順番符号画像と上記カメラ５５１により現時点に得られる点検対象装置現時点画像とに基づき、点検対象装置現時点画像における点検対象作業箇所の該当点検対象作業箇所に上記表示用順番符号画像を付した点検用画像を作成する（Ｓ１０５）。ここでは、図５の画像における該当点検対象作業箇所に表示用順番符号画像が付された如くの点検用画像が作成される。上記点検用画像をパーソナルコンピュータ２０の指示者用表示装置である表示装置２７１に表示する制御並びに上記点検用画像を点検者用表示装置であるリモートビューワ４０の表示装置５７１に表示する制御が実行される（Ｓ１０６）。斯くして、図１４（ｂ）に示す点検用画像が表示装置２７１に表示され、図１４（ａ）に示す表示用順番符号画像が表示装置５７１に表示される。斯くして、表示用順番符号画像のみ（図１４（ａ）のように、〇内に数字が記載された画像のみ）が表示装置５７１に表示される結果、点検者４は目視している実際の点検対象装置における該当する点検対象作業箇所に表示用順番符号画像が付されている如く見えることになり、点検作業をスムーズに進めることが可能である。図１４（ｂ）においては、作業順１位を示す〇内に数字１が記載された表示用順番符号画像Ｍ１、作業順２位を示す〇内に数字２が記載された表示用順番符号画像Ｍ２、作業順３位を示す〇内に数字３が記載された表示用順番符号画像Ｍ３、作業順４位を示す〇内に数字４が記載された表示用順番符号画像Ｍ４が表示されている。
【0038】
図４に示した点検作業データベース１６１の内容の一例にも明らかな通り、１つの点検作業識別情報に対して、点検対象作業箇所が４か所程度とは限らない。例えば、点検対象作業箇所が数十か所に上る場合には、１回の表示により表示される表示用順番符号画像に含まれている全ての箇所の点検が終了する毎に、指示者３がパーソナルコンピュータ２０の入力装置２５1などから表示されている分の点検終了を入力し、次の点検箇所の表示用順番符号画像の表示に移行することができる。この場合、１回の表示用順番符号画像の表示で４か所乃至５か所程度の点検対象作業箇所に対応する表示用順番符号画像の表示を行うようにすることができる。
【0039】
本実施形態では、表示用順番符号画像の表示の際に、図１１の文字画像変換手段２０５が動作する。文字画像変換手段２０５は、上記表示用順番符号画像の表示の際に、点検作業データベース１６１から該当する点検作業内容情報を読出し、点検作業内容の文字画像情報に変換する。既に図７（ａ）～図７（ｃ）を用いて説明した如く、点検作業データベース１６１の各点検作業識別情報に対応して点検作業内容情報が記憶されており、ステップＳ１０１の読出しのときにパーソナルコンピュータ２０に到来している。文字画像変換手段２０５は、点検作業内容情報から点検作業内容の文字画像情報を作成する。この文字画像情報は、点検作業内容情報が図７（ａ）～図７（ｃ）に示したようであれば、同じく図７（ａ）～図７（ｃ）に示した如くである。
【0040】
指示者用表示制御手段２２１と点検者用表示制御手段３１１は、上記のように作成された文字画像情報を、上記表示用順番符号画像または点検用画像の表示の際に、表示制御により上記点検者用表示装置であるリモートビューワ４０の表示装置５７１へ表示させ、また表示制御により上記指示者用表示装置である表示装置２７１へ表示させる。従って、図１４（ａ）に示す如き表示用順番符号画像の表示の際に、または図１４（ｂ）に示す如き点検用画像の表示の際に、図７（ａ）に示したような点検作業内容情報を表示制御することにより、図１５に示すような画像が目視できることになり、作業内容を一目瞭然に把握可能である。
【0041】
なお、前述の通り、１つの点検作業識別情報に対して、点検対象作業箇所が数十か所に上り、表示用順番符号画像の表示が複数回に亘って行われる場合には、各回の表示により表示される点検作業内容に応じて点検作業内容情報を追従させて表示することは言うまでもない。本実施形態では、点検作業内容の文字画像情報に変換して用いられ、更に、点検作業内容情報は、文字情報であっても良く、これを音声に変換して聞くこともできる。音声情報への変換の機能は、パーソナルコンピュータ２０が備えるものとし、パーソナルコンピュータ２０のスピーカ２６１から出力し、リモートビューワ４０のスピーカ５４２から出力させる。また、点検作業データベース１６１の点検作業内容情報には、必要な注意事項情報が付加されていても良い。例えば、図７（ａ）の手順３の「第２スイッチをＯＮにする。」に、「第２スイッチと第３スイッチは似ているスイッチなので、スイッチの下部に付されたプレートでスイッチ名を確認のこと」などの注意事項情報が付されることがある。この注意事項情報は、点検作業内情報の近くに文字情報として表示し、及び／または音声として出力するようにしても良い。
【0042】
＜第２の実施形態＞
第２の実施形態では、上記指示者用表示制御手段２２１と上記点検者用表示制御手段３１１は、上記データベースアクセス手段２０１により取り出された点検作業順情報に基づき作成された点検用画像における全ての中において１回で表示すべき順番符号画像を全て含んだ点検用画像を各回の当初において表示制御し、１つの順番の点検対象作業箇所に関して点検作業の完了情報が入力される毎に、該当の点検対象作業箇所の順番符号画像を消去した順番符号画像へ変更する表示制御を実行するモードを有する。
第２の実施形態では、上記指示者用表示制御手段２２１と上記点検者用表示制御手段３１１は、上記データベースアクセス手段２０１により取り出された点検作業順情報に基づき作成された点検用画像における全ての中において１回で表示すべき順番符号画像を全て含んだ点検用画像を各回の当初において表示制御し、１つの順番の点検対象作業箇所に関して点検作業の完了情報が入力される毎に、該当の点検対象作業箇所の順番符号画像を消去した順番符号画像へ変更する表示制御を実行するモードを有する。
【0043】
点検対象作業箇所が数十か所に上るために、何回かに分けて表示する場合の各回の最初では、その回に含まれる点検対象作業箇所に対応する〇内に数字１が記載された表示用順番符号画像の全てが各回の当初において表示される。例えば、図１４（ｂ）または図１５に示されるように４か所全てに表示用順番符号画像が表示される。点検者４が点検作業内容通りの手順１の点検を行った場合に、これを見ていた指示者３が入力装置２５１またはマイクロフォン２６２から点検作業の完了情報が入力（例えば、手順１はオーケーなどの音声入力）を行えば、これを音声認識機能を用いて認識し、指示者用表示制御手段２２１へ伝えて該当の点検対象作業箇所の順番符号画像を消去した順番符号画像へ変更する表示制御を実行する。この場合には、図１６に示されるように手順１の点検対象作業箇所の順番符号画像を消去した順番符号画像へ変更する表示制御を実行される。点検作業内容の文字画像情報が付加された図１５の表示から図１７に示す如く、手順１の点検作業内容の文字画像情報が消去された画像が表示される。以下、同様に表示が進行し、点検作業が進行して行くことになる。
【0044】
＜第３の実施形態＞
第３の実施形態では、上記指示者用表示制御手段２２１と上記点検者用表示制御手段３１１は、上記データベースアクセス手段２０１により取り出された点検作業順情報に基づき作成された点検用画像であって全ての順番符号画像を含んだ点検用画像を、点検作業の第１番目を示す順番符号画像に変更して表示制御し、１つの点検対象作業箇所の点検作業が完了する毎に、完了に係る点検対象作業箇所の順番符号画像を消去し、次の点検対象作業箇所の順番符号画像へ変更する表示制御を実行するモードを有する。
第３の実施形態では、上記指示者用表示制御手段２２１と上記点検者用表示制御手段３１１は、上記データベースアクセス手段２０１により取り出された点検作業順情報に基づき作成された点検用画像であって全ての順番符号画像を含んだ点検用画像を、点検作業の第１番目を示す順番符号画像に変更して表示制御し、１つの点検対象作業箇所の点検作業が完了する毎に、完了に係る点検対象作業箇所の順番符号画像を消去し、次の点検対象作業箇所の順番符号画像へ変更する表示制御を実行するモードを有する。
【0045】
本実施形態では、点検対象作業箇所が数十か所に上る場合においても、上記データベースアクセス手段２０１により取り出された点検作業順情報に基づき作成された点検用画像であって全ての順番符号画像を含んだ点検用画像を作成して用いる。上記指示者用表示制御手段２２１と上記点検者用表示制御手段３１１は、全ての順番符号画像を点検作業の第１番目を示す順番符号画像に変更して表示制御する。図１６と同じ点検対象作業箇所を有する場合には、手順１の点検対象作業箇所の順番符号画像のみが含まれた図１８に示すような点検用画像が最初に表示される。また、点検作業内容の文字画像情報が付加された場合には図１９に示すように表示される。
【0046】
点検者４が点検作業内容通りの手順１の点検を行った場合に、これを見ていた指示者３が入力装置２５１またはマイクロフォン２６２から点検作業の完了情報の入力（例えば、手順１はオーケーなどの音声入力）を行えば、これを音声認識機能を用いて認識し、指示者用表示制御手段２２１へ伝えて該当の点検対象作業箇所の順番符号画像を消去し次の順番符号画像へ変更する表示制御を実行する。この場合には、図２０に示されるように手順１の点検対象作業箇所の順番符号画像を消去し次の手順２の点検対象作業箇所の順番符号画像へ変更する表示制御が実行される。点検作業内容の文字画像情報が付加された図１９の表示から図２１に示す如く、手順１の点検作業内容の文字画像情報が消去され次の手順２の点検対象作業箇所の順番符号画像へ変更した画像が表示される。以下、同様に表示が進行し、点検作業が進行して行くことになる。
【0047】
＜第４の実施形態＞
この第４の実施形態では、点検者点検履歴データベース１６２に記憶された情報を用いる。点検者点検履歴データベース１６２には、図２２に示されるように点検者の識別番号に対応して、点検者が過去に行った点検作業の対象である点検対象装置と点検対象作業箇所により決定される点検作業識別情報と、点検回数情報が記憶されている。図４に示される点検作業データベース１６１には、点検作業識別情報である点検作業ＩＤに対応して、点検対象作業箇所名が記憶されており、点検回数が所定回以上の点検者に対し表示する順番符号画像の作成を省略するマーク△が点検作業順の欄に付されている。一般的に、最初に操作するスイッチは点検回数の多いことにより点検者４が記憶していると思われるため、図４では、点検の最初に操作するスイッチに対応する点検作業順の欄にマーク△が付されている。勿論、これは一例であり、他にも点検者４の記憶に残ると思われる点検作業順の欄にマーク△が付される等、様々な理由により点検作業順の欄にマーク△が付されている。本実施形態において、表示用順番符号画像作成手段２０３は、上記順番符号画像を作成するに際し上記点検者点検履歴データベース１６２から得られた情報に基づき、所定回数以上の点検回数の場合に、予め定められた点検対象装置と点検対象作業箇所に対応する順番符号画像の作成をスキップする。これにより、映し出される画面が多くの表示用順番符号画像により煩雑になる状態を防ぐことができる。図２２Ａは、スキップなしでは図１５に示すように表示されるものにおいて、手順１の順番符号画像の作成をスキップした場合の表示例である。本実施形態において、表示用順番符号画像を含む点検用画像をパーソナルコンピュータ２０の指示者用表示装置である表示装置２７１に表示する制御並びに点検者用表示装置であるリモートビューワ４０の表示装置５７１に表示する制御は、基本的に図１３に示したフローチャートに示した第２の実施形態の動作処理によってなされることは言うまでもない。
この第４の実施形態では、点検者点検履歴データベース１６２に記憶された情報を用いる。点検者点検履歴データベース１６２には、図２２に示されるように点検者の識別番号に対応して、点検者が過去に行った点検作業の対象である点検対象装置と点検対象作業箇所により決定される点検作業識別情報と、点検回数情報が記憶されている。図４に示される点検作業データベース１６１には、点検作業識別情報である点検作業ＩＤに対応して、点検対象作業箇所名が記憶されており、点検回数が所定回以上の点検者に対し表示する順番符号画像の作成を省略するマーク△が点検作業順の欄に付されている。一般的に、最初に操作するスイッチは点検回数の多いことにより点検者４が記憶していると思われるため、図４では、点検の最初に操作するスイッチに対応する点検作業順の欄にマーク△が付されている。勿論、これは一例であり、他にも点検者４の記憶に残ると思われる点検作業順の欄にマーク△が付される等、様々な理由により点検作業順の欄にマーク△が付されている。本実施形態において、表示用順番符号画像作成手段２０３は、上記順番符号画像を作成するに際し上記点検者点検履歴データベース１６２から得られた情報に基づき、所定回数以上の点検回数の場合に、予め定められた点検対象装置と点検対象作業箇所に対応する順番符号画像の作成をスキップする。これにより、映し出される画面が多くの表示用順番符号画像により煩雑になる状態を防ぐことができる。図２２Ａは、スキップなしでは図１５に示すように表示されるものにおいて、手順１の順番符号画像の作成をスキップした場合の表示例である。本実施形態において、表示用順番符号画像を含む点検用画像をパーソナルコンピュータ２０の指示者用表示装置である表示装置２７１に表示する制御並びに点検者用表示装置であるリモートビューワ４０の表示装置５７１に表示する制御は、基本的に図１３に示したフローチャートに示した第２の実施形態の動作処理によってなされることは言うまでもない。
【0048】
＜第５の実施形態＞
第５の実施形態では、パーソナルコンピュータ２０のＣＰＵ２１が、図１１に示す点検者の視線を検出する視線検出手段２０６、視点外れ検出手段２０７として機能する。視線検出用カメラ５６１により、点検者４の瞳を撮像した瞳画像がリモートビューワ４０から送られ、エッジコンピュータ３０を介してパーソナルコンピュータ２０のＣＰＵ２１が受け取る。主メモリ２２または外部記憶装置２４１には、通常時の瞳画像、最も左側へ瞳が移動したときの瞳画像、最も右側へ瞳が移動したときの瞳画像、最も上方へ瞳が移動したときの瞳画像、最も下側へ瞳が移動したときの瞳画像を記憶しておく。そして、現在得られた瞳画像とこれら記憶されている瞳画像を比較し、どの程度左右へ移動しているか又どの程度上下へ移動しているかを検出する。例えば、通常の瞳画像の位置と最も右側へ移動した位置との中間点、１／３右へ移動した位置、３／４右へ移動した位置等のように移動の程度を検出する。上下方向についても同様である。また、瞳の位置が左右に最大で何度移動するか移動角度を当該点検者の情報として得て点検者識別番号に対応させて例えば記憶しておき、通常時の瞳の位置を中心として何度左右へ振れたかまた何度上下へ振れたかを示す触れ角度を検出する。点検者４の通常の立ち位置を点検対象装置５の前面から例えば０．５ｍとして、半径０．５ｍで上記の触れ角度の移動がなされたとして、視線の先が点検対象装置５に突き当たる位置を「目による視点」とする。視線検出用カメラ５６１の画像の中心を本来の視点とし、「目による視点」との距離を検出し、所定距離を超えているか検出する。即ち、ＣＰＵ２１は、視線検出用カメラ５６１から現時点に得られる点検対象装置現時点画像と上記点検者４の視線に基づき上記表示用順番符号画像を表示すべき点検対象作業箇所から所定距離を超えて目による視点が外れているか否か検出する視点外れ検出手段２０７として機能する。
第５の実施形態では、パーソナルコンピュータ２０のＣＰＵ２１が、図１１に示す点検者の視線を検出する視線検出手段２０６、視点外れ検出手段２０７として機能する。視線検出用カメラ５６１により、点検者４の瞳を撮像した瞳画像がリモートビューワ４０から送られ、エッジコンピュータ３０を介してパーソナルコンピュータ２０のＣＰＵ２１が受け取る。主メモリ２２または外部記憶装置２４１には、通常時の瞳画像、最も左側へ瞳が移動したときの瞳画像、最も右側へ瞳が移動したときの瞳画像、最も上方へ瞳が移動したときの瞳画像、最も下側へ瞳が移動したときの瞳画像を記憶しておく。そして、現在得られた瞳画像とこれら記憶されている瞳画像を比較し、どの程度左右へ移動しているか又どの程度上下へ移動しているかを検出する。例えば、通常の瞳画像の位置と最も右側へ移動した位置との中間点、１／３右へ移動した位置、３／４右へ移動した位置等のように移動の程度を検出する。上下方向についても同様である。また、瞳の位置が左右に最大で何度移動するか移動角度を当該点検者の情報として得て点検者識別番号に対応させて例えば記憶しておき、通常時の瞳の位置を中心として何度左右へ振れたかまた何度上下へ振れたかを示す触れ角度を検出する。点検者４の通常の立ち位置を点検対象装置５の前面から例えば０．５ｍとして、半径０．５ｍで上記の触れ角度の移動がなされたとして、視線の先が点検対象装置５に突き当たる位置を「目による視点」とする。視線検出用カメラ５６１の画像の中心を本来の視点とし、「目による視点」との距離を検出し、所定距離を超えているか検出する。即ち、ＣＰＵ２１は、視線検出用カメラ５６１から現時点に得られる点検対象装置現時点画像と上記点検者４の視線に基づき上記表示用順番符号画像を表示すべき点検対象作業箇所から所定距離を超えて目による視点が外れているか否か検出する視点外れ検出手段２０７として機能する。
【0049】
上記指示者用表示制御手段２２１と上記点検者用表示制御手段３１１は、上記視点外れ検出手段２０７により視点が外れていることが検出された場合には、表示制御により表示用順番符号画像の表示を停止させる表示制御を行い、視点が外れていないことが検出された場合には、表示用順番符号画像を表示させる表示制御を行うモードを有する。視点が外れていないことが検出された場合には、例えば図１５に示すように点検対象装置の点検対象作業箇所に表示用順番符号画像を加えて表示が行われる。視点が外れていることが検出された場合には、例えば図２３に示すように表示用順番符号画像が削除され、点検対象装置の点検対象作業箇所のみの表示が行われる。更に、視線が戻され、視点が外れていないことが検出された場合には、再び図１５に示すように点検対象装置の点検対象作業箇所に表示用順番符号画像を加えて表示が行われる。
【0050】
＜第６の実施形態＞
第６の実施形態は、第５の実施形態と同様に、パーソナルコンピュータ２０のＣＰＵ２１が、点検者の視線を検出する視線検出手段２０６、視点外れ検出手段２０７として機能する。また、パーソナルコンピュータ２０のＣＰＵ２１が、図１１に示すズレ位置画像作成手段２０８として機能する。ズレ位置画像作成手段２０８は、上記視点外れ検出手段２０７により視点が外れていることが検出された場合には、視点の移動に応じて移動した位置にズレ位置画像を作成する。ズレ位置画像作成手段２０８は、視線検出用カメラ５６１の画像の中心を本来の視点とし、この本来の視点と「目による視点」との距離を検出し、この距離に相当する位置にズレ位置画像を作成する。視点が外れていないことが検出された場合に表示される表示用順番符号画像が、〇内に数字が記載されたものであるのに対し、ズレ位置画像は、特に制限はないが、破線の〇とすることができる。
第６の実施形態は、第５の実施形態と同様に、パーソナルコンピュータ２０のＣＰＵ２１が、点検者の視線を検出する視線検出手段２０６、視点外れ検出手段２０７として機能する。また、パーソナルコンピュータ２０のＣＰＵ２１が、図１１に示すズレ位置画像作成手段２０８として機能する。ズレ位置画像作成手段２０８は、上記視点外れ検出手段２０７により視点が外れていることが検出された場合には、視点の移動に応じて移動した位置にズレ位置画像を作成する。ズレ位置画像作成手段２０８は、視線検出用カメラ５６１の画像の中心を本来の視点とし、この本来の視点と「目による視点」との距離を検出し、この距離に相当する位置にズレ位置画像を作成する。視点が外れていないことが検出された場合に表示される表示用順番符号画像が、〇内に数字が記載されたものであるのに対し、ズレ位置画像は、特に制限はないが、破線の〇とすることができる。
【0051】
この第６の実施形態では、上記指示者用表示制御手段２２１と上記点検者用表示制御手段３１１は、視点が外れていることが検出された場合には、表示制御により表示用順番符号画像の表示を停止させると共に、上記ズレ位置画像を表示する。従って、視点が外れていないことが検出された場合には、例えば図１５に示すように点検対象装置の点検対象作業箇所に表示用順番符号画像を加えて表示が行われる。視点が外れていることが検出された場合には、例えば図２３Ａに示すように表示用順番符号画像が削除され、ズレた位置にズレ位置画像のみの表示が行われる。
【0052】
＜第７の実施形態＞
第７の実施形態は、第５の実施形態と同様に、パーソナルコンピュータ２０のＣＰＵ２１が、点検者の視線を検出する視線検出手段２０６として機能すると共に、図１１に示すように視点ポイント画像作成手段２０９として機能する。視点ポイント画像作成手段２０９は、表示用順番符号画像を表示すべき点検対象作業箇所に表示する正規位置ポイント画像と、上記視線検出手段２０６により検出された視線に基づき求められた視点の位置に表示する実際視点ポイント画像とを作成する。
第７の実施形態は、第５の実施形態と同様に、パーソナルコンピュータ２０のＣＰＵ２１が、点検者の視線を検出する視線検出手段２０６として機能すると共に、図１１に示すように視点ポイント画像作成手段２０９として機能する。視点ポイント画像作成手段２０９は、表示用順番符号画像を表示すべき点検対象作業箇所に表示する正規位置ポイント画像と、上記視線検出手段２０６により検出された視線に基づき求められた視点の位置に表示する実際視点ポイント画像とを作成する。
【0053】
図２４は本実施形態に係る点検作業支援システムにより好適な処理を行うことが可能な点検対象装置５と点検者４との関係を示す図である。点検対象装置５は、同様の機器が複数段重ねられたラック構造を有する。このため、点検者４が直ちに点検対象作業箇所を見つけ難い。図１３を用いて説明した通り、点検作業を開始するために、指示者３は、パーソナルコンピュータ２０からサーバコンピュータ１０へアクセスし、点検対象装置に対する所定内容の点検作業について与えられた点検作業識別情報を用いて点検作業データベース１６１から、この点検作業識別情報に対応する点検対象装置録画画像と点検作業順情報の読み出しを行う（Ｓ１０１）。例えば、パーソナルコンピュータ２０の外部記憶装置２４１には、本実施形態のモードを実行すべき点検作業識別情報が記憶されており、上記の読出しが完了すると、外部記憶装置２４１の該当エリアを検索し、本実施形態のモードを実行すべき点検作業識別情報であるか検出する。
【0054】
本実施形態のモードを実行すべき点検作業識別情報である場合には、ＣＰＵ２１は、点検者の視線を検出する視線検出手段２０６として機能し、点検作業データベース１６１から取り出された点検対象装置録画画像と上記カメラ５５１により現時点に得られる点検対象装置現時点画像とを比較して、点検対象装置現時点画像における点検対象作業箇所を特定する（Ｓ１０２）。図２４の例では、点検対象装置５の上から４段目が点検対象作業箇所であると特定する。即ち、表示用順番符号画像を表示すべき点検対象作業箇所に表示する正規位置ポイント画像ＰＳを作成する。上記点検者用表示制御手段３１１と上記指示者用表示制御手段２２１は、上記正規視線ポイント画像ＰＳを点検対象作業箇所（点検対象作業箇所に）に表示するよう表示制御する。また、視点ポイント画像作成手段２０９は、上記視線検出手段２０６により検出された視線に基づき求められた視点の位置に表示する実際視点ポイント画像ＰＲを作成する。上記点検者用表示制御手段３１１と上記指示者用表示制御手段２２１は、実際視線ポイント画像ＰＲを求められた視点の位置に表示する表示制御する。
【0055】
立位の状態の点検者４Ａであれば、正規位置ポイント画像ＰＳは点検対象装置５の上から４段目に表示され、実際視点ポイント画像ＰＲは点検対象装置５の例えば上から２段目に表示される。正規の点検対象作業箇所と目視している位置が異なっていることに気付き、しゃがみ込んだ状態に点検者４Ｂが移行すると、実際視点ポイント画像ＰＲはしゃがみ込み動作に追従して、正規位置ポイント画像ＰＳと同じ点検対象装置５の上から４段目に表示される。このモードにより点検者４が点検対象作業箇所を探す時間と手間を少なくすることが可能である。
【0056】
＜第８の実施形態＞
第８の実施形態では、点検作業の順番を示す順番符号画像の作成指示を指示者が行うための入力手段を具備し、表示用順番符号画像を指示者３の入力に基づき作成する。この順番符号画像から、表示用順番符号画像作成手段２０３は、入力に係る点検対象作業箇所に付した如くなるように表示用順番符号画像を作成する。上記点検者用表示制御手段３１１と上記指示者用表示制御手段２２１は、上記表示用順番符号画像作成手段２０３により作成された表示用順番符号画像を表示制御するモード（順番画像入力モード）を有する。
第８の実施形態では、点検作業の順番を示す順番符号画像の作成指示を指示者が行うための入力手段を具備し、表示用順番符号画像を指示者３の入力に基づき作成する。この順番符号画像から、表示用順番符号画像作成手段２０３は、入力に係る点検対象作業箇所に付した如くなるように表示用順番符号画像を作成する。上記点検者用表示制御手段３１１と上記指示者用表示制御手段２２１は、上記表示用順番符号画像作成手段２０３により作成された表示用順番符号画像を表示制御するモード（順番画像入力モード）を有する。
【0057】
図２５は、第８の実施形態に係る点検作業支援システムの動作を示すフローチャートである。以下、このフローチャートに沿ってＣＰＵ２１による動作を説明する。点検作業を開始しようと指示者３による作業がなされると、ＣＰＵ２１は、パーソナルコンピュータ２０から「順番画像入力モード」を指定し、サーバコンピュータ１０へアクセスし、点検対象装置に対する所定内容の点検作業について与えられた点検作業識別情報を用いて点検作業データベース１６１から、識別情報に対応する点検対象装置録画画像と点検作業内容情報の読み出し、点検対象装置録画画像をパーソナルコンピュータ２０の表示装置２７１に表示する（Ｓ２０１）。
【0058】
点検対象装置録画画像に重ねて点検作業内容情報（文字情報）を表示する（Ｓ２０２）。これにより、例えば図２６のような表示がなされる。次に、指示者３が点検作業内容情報にしたがって該当の点検対象作業箇所に点検作業の番号を入力するので、表示された点検対象作業箇所に点検作業の順番を示す順番符号画像の入力を得る（Ｓ２０３）。例えば、図２７のように手書き入力がなされる。
【0059】
次に、上記順番符号画像を使用して点検対象装置現時点画像における点検対象作業箇所の該当点検対象作業箇所に付した如くの表示用順番符号画像を作成する（Ｓ２０４）。例えば、図２８のように表示用順番符号画像が作成される。更に、点検用画像をパーソナルコンピュータ２０の表示装置２７１とリモートビューワ４０の表示装置５７１に表示用順番符号画像を表示する制御が実行される（Ｓ２０５）。表示は、図２８と変わらない。なお、本実施形態では、表示用順番符号画像を作成する場合に手書きのものからパーソナルコンピュータ２０が有するフォントの文字等に変更したが、手書きの画像をそのまま用いても良い。また、本実施形態の順番画像入力モードにおいては、順番画像のみならず文字や矢印などの図形を入力してパーソナルコンピュータ２０の表示装置２７１とリモートビューワ４０の表示装置５７１に表示することも可能である。更に本実施形態において点検者４による点検対象作業箇所の点検作業が完了すると、第２および第３実施形態のように指示者３単独によるオーケーなどの音声入力に基づいて点検対象作業箇所の表示用順番符号画像をその都度消去させてもよいし、指示者３の他点検者４による両者のオーケーなどの音声入力が揃った時点で点検対象作業箇所の表示用順番符号画像をその都度消去させてもよい。また更に、本実施形態において指示者３による手書き画像および表示用順番符号画像が一定時間後に点滅しその後自動的に消滅してもよい。これは自動的に消滅させる理由は表示している状態で視線を移動させた場合に誤認識させないためである。すなわち、点検作業中はスイッチ等の計器を触ったり、夏場は汗を拭いたりとこれらの場合に点検者４の頭が揺れ一点を視認できないことが多い。つまり、指示者３が指示した表示用順番符号画像の位置がずれ適切なそれまで示していた点検対象作業箇所以外を示してしまうことがある。このような事態を引き起こさないように、例えば２秒など表示用順番符号画像の一定時間経過後に表示用順番符号画像を消滅（点滅後に消滅を含む）させることで誤認識を生じさせないようにさせている。
【0060】
＜第９の実施形態＞
第９の実施形態では、上記点検対象装置５が交換可能な機器（部品）を含み、この機器が点検対象作業箇所となっている場合に、サーバコンピュータ１０において上記点検対象装置５毎の機器毎に交換の履歴を含む点検順重み情報を用い、この点検順重み情報に基づき、点検対象作業箇所に対する点検作業順情報を更新するものである。本実施形態では、サーバコンピュータ１０が図３に示すように、点検順重みデータベース１６３を備える。点検順重みデータベース１６３は、上記点検対象装置５が交換可能な機器（部品）を含み、この機器が点検対象作業箇所となっている場合に、上記点検対象装置５毎の機器毎に交換の履歴を含む点検順重み情報を記憶したものである。
第９の実施形態では、上記点検対象装置５が交換可能な機器（部品）を含み、この機器が点検対象作業箇所となっている場合に、サーバコンピュータ１０において上記点検対象装置５毎の機器毎に交換の履歴を含む点検順重み情報を用い、この点検順重み情報に基づき、点検対象作業箇所に対する点検作業順情報を更新するものである。本実施形態では、サーバコンピュータ１０が図３に示すように、点検順重みデータベース１６３を備える。点検順重みデータベース１６３は、上記点検対象装置５が交換可能な機器（部品）を含み、この機器が点検対象作業箇所となっている場合に、上記点検対象装置５毎の機器毎に交換の履歴を含む点検順重み情報を記憶したものである。
【0061】
図２９は、点検順重みデータベース１６３の記憶内容の一例を示すものである。点検順重みデータベース１６３には、点検対象装置１～ｎの計器（機器）Ａ～Ｄ毎の点検履歴が記憶されており、ここでは、設置日、累計交換回数、最新取替日が記憶されている。この実施形態では、累計交換回数が点検順重み情報となっており、累計交換回数が多いほど点検順が早く設定される。本実施形態では、図３１に示す点検作業順情報更新手段２１０がサーバコンピュータ１０に備えられている。点検作業順情報更新手段２１０は、上記点検順重みデータベース１６３の点検順重み情報に基づき、点検対象作業箇所に対する点検作業順情報を更新する。図３０は、点検作業順情報を更新するために作成される点検作業優先度テーブルを示す。図２９の重み情報である累計交換回数に基づき、点検作業順情報更新手段２１０は上記点検作業優先度テーブルにおいて、例えば、点検対象装置１では計器Ａに重み情報である０を設定し、計器Ｂに重み情報である０を設定し、計器Ｃに重み情報である３を設定し、計器Ｄに重み情報である１を設定し、点検対象装置２では計器Ａに重み情報である２を設定し、計器Ｂに重み情報である０を設定し、計器Ｃに重み情報である１を設定し、計器Ｄに重み情報である０を設定し、・・・、点検対象装置ｎ－１では計器Ａに重み情報である２を設定し、計器Ｂに重み情報である３を設定し、計器Ｃに重み情報である０を設定し、計器Ｄに重み情報である４を設定し、点検対象装置ｎでは計器Ａに重み情報である４を設定し、計器Ｂに重み情報である２を設定し、計器Ｃに重み情報である０を設定し、計器Ｄに重み情報である１を設定して、図３０に示す点検作業優先度テーブルができあがる。この点検作業優先度テーブルの優先度に基づき、図４の点検作業データベース１６１における点検対象作業箇所に対する点検作業順情報が更新されて記憶される。この前提として、点検者４による点検結果の情報は、サーバコンピュータ１０へ送っており、これに基づきサーバコンピュータ１０において点検順重みデータベース１６３が作成されるものである。
【0062】
＜第１０の実施形態＞
第１０の実施形態は、第９の実施形態を発展させたものである。本実施形態では、サーバコンピュータ１０の外部記憶装置１６には、上記点検履歴の情報以外に、上記点検対象装置毎の機器間に少なくとも劣化に関する関連がある場合の関連状況情報が記憶された関連情報テーブル１６４が備えられている。図３２は、この関連情報テーブル１６４の内容の一例を示すものである。図３２の例では、点検対象装置１においては計器Ｃと計器Ｂが関連しており、点検対象装置２においては関連状況情報が存在せず、・・・、点検対象装置ｎ－１においては計器Ｂと計器Ｄが関連しており、点検対象装置ｎにおいては計器Ａと計器Ｄが関連していることが示されている。
第１０の実施形態は、第９の実施形態を発展させたものである。本実施形態では、サーバコンピュータ１０の外部記憶装置１６には、上記点検履歴の情報以外に、上記点検対象装置毎の機器間に少なくとも劣化に関する関連がある場合の関連状況情報が記憶された関連情報テーブル１６４が備えられている。図３２は、この関連情報テーブル１６４の内容の一例を示すものである。図３２の例では、点検対象装置１においては計器Ｃと計器Ｂが関連しており、点検対象装置２においては関連状況情報が存在せず、・・・、点検対象装置ｎ－１においては計器Ｂと計器Ｄが関連しており、点検対象装置ｎにおいては計器Ａと計器Ｄが関連していることが示されている。
【0063】
上記点検作業順情報更新手段２１０は、上記点検対象作業箇所に対する点検作業順情報を更新する場合に、上記関連情報テーブル１６４の関連状況情報を参照して更新を行う。具体的には、まず、図３０の点検作業優先度テーブルを、上記関連情報テーブルの関連状況情報を参照して更新する。更新の規則として、「関連状況情報により関連あるとされている機器（計器）間においては、大きな重み情報は設定されている機器と小さな重み情報が設定されている機器との間で、重み情報の差を１とする」、が設定されているものとする。この規則により図３０の点検作業優先度テーブルを更新すると、図３３に示すように更新される。即ち、点検対象装置１においては計器Ｂの重み情報が関連する計器Ｃに応じて２に引き上げられており、点検対象装置ｎ－１においては計器Ｂと計器Ｄの重み情報の差が１であるため更新されておらず、点検対象装置ｎにおいては計器Ｄの重み情報が関連する計器Ａに応じて３に引き上げられている。このように更新された点検作業優先度テーブルの優先度に基づき、図４の点検作業データベース１６１における点検対象作業箇所に対する点検作業順情報が更新されて記憶される。
【0064】
上記いずれの実施形態においても、点検者用表示装置である表示装置５７１は、眼鏡型のウェアラブル端末における眼鏡の一方のレンズに相当する位置に配置された透明のパネルであり、点検者４の視線の前方を透かして目視することができると共に画像を表示する画面となっている。そこで、前記点検者用表示制御手段３１１は、上記表示用順番符号画像作成手段２０３により作成された表示用順番符号画像のみを上記点検者用表示装置の前記画面である表示装置５７１に表示する制御を行うようにしても良い。表示用順番符号画像のみ（図１４（ａ）のように、〇内に数字が記載された画像のみ）が表示装置５７１に表示される結果、点検者４は目視している実際の点検対象装置における該当する点検対象作業箇所に表示用順番符号画像が付されている如く見えることになり、点検作業をスムーズに進めることが可能である。この実施形態において図３３のように更新された点検作業データベース１６１に基づいた作業順序が、点検対象作業箇所に対する表示用順番符号画像として表示装置５７１に表示される。これにより、どの計器から点検すれば故障前の交換すべき計器を効率的に見つけられるかが事前に把握でき、また、仮に計器が故障し、その計器を交換したい場合であっても行き当たりばったり端から壊れた計器を探すのではなく、故障した計器がどれなのか事前に当たりを付けて作業に取り掛かることができる。こうすることによって、未熟な点検者で作業に慣れていない場合であってもベテラン点検者のように的確に作業ができ、またオペレーション内容を忘れていたり、指示を的確に出せないような指示者３であっても頼ることなく点検者４は的確な作業が可能となる。
【0065】
＜第１１の実施形態＞
第１１の実施形態は、停電があった場合に復旧したようなときの点検に対応するものであり、本実施形態に係る点検作業支援システムは緊急時の点検モードを実行する。図３４は、サーバコンピュータ１０の外部記憶装置１６に記憶されている緊急時点検情報セットを示す。緊急時点検セットとしては、当該点検作業支援システムにおいて点検する施設をいくつかのエリアに分けて、緊急時点検を実行し易いようにした施設内エリア地図Ｍと、順次にどのエリアでどのような点検を行えばよいかを記述した作業情報テーブルＳＳが備えられている。施設内エリア地図Ｍは、施設の平面図において、４つのエリアに分けられた地図となっている。４つのエリアの境界は廊下や通路により仕切られており、エリア１～４がどこであるのかは点検者４と指示者３において既知である。
第１１の実施形態は、停電があった場合に復旧したようなときの点検に対応するものであり、本実施形態に係る点検作業支援システムは緊急時の点検モードを実行する。図３４は、サーバコンピュータ１０の外部記憶装置１６に記憶されている緊急時点検情報セットを示す。緊急時点検セットとしては、当該点検作業支援システムにおいて点検する施設をいくつかのエリアに分けて、緊急時点検を実行し易いようにした施設内エリア地図Ｍと、順次にどのエリアでどのような点検を行えばよいかを記述した作業情報テーブルＳＳが備えられている。施設内エリア地図Ｍは、施設の平面図において、４つのエリアに分けられた地図となっている。４つのエリアの境界は廊下や通路により仕切られており、エリア１～４がどこであるのかは点検者４と指示者３において既知である。
【0066】
作業情報テーブルＳＳには、作業の順位に対応して、４つのエリアの中どのエリアであるかを示すエリア情報と、作業識別情報が記憶されている。点検作業識別情報は、既に図４を用いて説明したように、点検対象装置に対する所定内容の点検作業について与えられるもので、点検作業データベース１６１には、点検作業識別情報毎に、点検作業を行うべき点検対象装置における点検対象作業箇所を含む点検対象装置録画画像と、点検対象作業箇所に対する点検作業順情報とが対応付けられて記憶されている。従って、図３４の作業識別情報を入力して、点検作業データベース１６１から対応する点検作業を行うべき点検対象装置における点検対象作業箇所を含む点検対象装置録画画像と、点検対象作業箇所に対する点検作業順情報とを取り出すことができる。
【0067】
本実施形態に係る点検作業支援システムは緊急時の点検モードを実行する。図３５は、この緊急時の点検モードの動作を説明するフローチャートである。以下、このフローチャートに沿ってＣＰＵ２１による動作を説明する。緊急時の点検モードを実行しようと指示者３による作業がなされるとＣＰＵ２１は、取得したから「緊急時の点検モード」を入力して指定し、サーバコンピュータ１０へアクセスして、施設内エリア地図Ｍと作業情報テーブルＳＳを取得することができる（Ｓ３０１）。取得した施設内エリア地図Ｍと作業情報テーブルＳＳは、パーソナルコンピュータ２０の表示装置２７１に表示される。そこで、緊急時の点検モードの作業順ポインタｉを１として、作業情報テーブルＳＳの第ｉ番目の作業情報のエリア２を指示者３が読み、点検者４へこのエリア２へ点検に向かうようマイクロフォン２６２から音声で指示を与える（Ｓ３０２）。
【0068】
次に作業情報テーブルＳＳの順位ｉ位の作業識別情報（順位１位においては、００３０）をパーソナルコンピュータ２０から入力し点検作業データベース１６１へアクセスし、点検作業識別情報に対応する点検対象装置録画画像と点検作業内容情報を読み出し、点検対象装置録画画像等をパーソナルコンピュータ２０の表示装置２７１とリモートビューワ４０の表示装置５７１へ表示がなされる（Ｓ３０３）。指示者３は表示された点検対象装置の点検対象作業箇所を認識し、点検者４に対して当該点検対象装置の点検対象作業箇所に向かうようマイクロフォン２６２から音声で指示を与える（Ｓ３０４）。
【0069】
指示者３は当該点検対象装置の点検対象作業箇所へ到着したことの連絡が点検者４からなされたか待ち（Ｓ３０５）、ＹＥＳとなると第１の実施形態と同様にして点検順に沿って点検者に点検させ、サポートする（Ｓ３０６）。点検者４から順位ｉ位の点検が終了したことの報告を待ち（Ｓ３０７）、ＹＥＳとなると、ポインタｉが最終であるか（つまり、作業情報テーブルＳＳの最終順まで終了したか）を確認し（Ｓ３０８）、ＮＯであればポインタｉを１歩進して（Ｓ３０９）、ステップＳ３０３へ戻って処理を続ける。ステップＳ３０８においてＹＥＳとなると緊急時の点検モードの動作を終了する。斯くして、停電後の復旧作業などの広範囲に亘る緊急時の点検モードの動作を誤ることなく適切にスムーズに実行することが可能である。
【0070】
＜点検作業順表示装置＞
本発明においては、図１に示した点検作業支援システムの要部により点検作業順表示装置が構成される。本実施形態に係る点検作業順表示装置は、１または複数の点検対象作業箇所を含む点検対象装置に対し、いくつかの点検対象作業箇所の点検作業を順に行う場合の点検作業順を表示する。本実施形態に係る点検作業順表示装置は、１または複数の点検対象作業箇所を含む点検対象装置を撮像するカメラ５５１を備える。カメラ５５１は、リモートビューワ４０に備えられており、点検者４の顔の前方を撮像するものであるが、点検作業の際には１または複数の点検対象作業箇所を含む点検対象装置を撮像することになる。ＣＰＵ２１、ＣＰＵ３１によって、図３６に示すように、特定手段７１と、点検順表示制御手段７２が実現される。
本発明においては、図１に示した点検作業支援システムの要部により点検作業順表示装置が構成される。本実施形態に係る点検作業順表示装置は、１または複数の点検対象作業箇所を含む点検対象装置に対し、いくつかの点検対象作業箇所の点検作業を順に行う場合の点検作業順を表示する。本実施形態に係る点検作業順表示装置は、１または複数の点検対象作業箇所を含む点検対象装置を撮像するカメラ５５１を備える。カメラ５５１は、リモートビューワ４０に備えられており、点検者４の顔の前方を撮像するものであるが、点検作業の際には１または複数の点検対象作業箇所を含む点検対象装置を撮像することになる。ＣＰＵ２１、ＣＰＵ３１によって、図３６に示すように、特定手段７１と、点検順表示制御手段７２が実現される。
【0071】
特定手段７１は、点検順に応じて、点検すべき点検対象作業箇所の位置情報を特定するものである。点検順表示制御手段７２は、点検順に応じて、上記特定手段７１により特定された点検対象作業箇所の位置情報に対応して点検作業順を示す点検順指示マークを表示画面に表示するものである。表示画面は、パーソナルコンピュータ２０の表示装置２７１の表示画面とリモートビューワ４０の表示装置５７１の表示画面とすることができる。
【0072】
第１の実施形態では、例えば図１４（ａ）に示した如く、〇内に数値を配したものを表示用順番符号画像としたが、形状は任意の枠内に点検の順番番号を付したものが表示用順番符号画像であり、これを本実施形態では点検順指示マークという。この場合、点検順指示マークは、１または複数の点検対象作業箇所を含む点検対象装置に対するいくつかの点検対象作業箇所についての所定点検作業内容をいくつか行うことを１単位として、１単位内で１つの点検対象作業箇所について行う点検作業に対し、順に一つの番号が割り当てられたものである。従って、１単位には数個の点検作業が含まれていることもあり、また数十の点検作業が含まれていることもあり、この点検作業の数だけ順位付けされた番号が用意される。本実施形態では、１単位の点検作業を開始すると、点検順指示マークを該当点検対象作業箇所に対応させて表示するようにする。該当の点検作業箇所に対応させて表示とは、１または複数の点検対象作業箇所を含む点検対象装置を撮像するカメラの現在の画像の該当点検対象作業箇所の位置に表示することと、透明なレンズをスクリーンとして、このスクリーンの所定位置に点検順マークを表示して、点検者４が目視している実際の点検対象装置における該当する点検対象作業箇所に点検順マークが付されている如く見えるように表示することを含むものである。
【0073】
特定手段７１は一例として、点検順に応じて点検する点検対象作業箇所の情報が記憶されたデータベース（図４に示した点検作業データベース１６１）を参照すると共に、各点検対象作業箇所を予め録画した録画画像と、上記カメラ５５１により現時点に撮像した現時点画像との比較に基づき、上記表示画面上における、点検順毎の点検対象作業箇所の位置情報を特定する。この一例は、前述した第１の実施形態の構成と動作により実現することができる。
【0074】
特定手段７１は２つ目の例として、指示者３が表示画面において入力した位置を検出し、この位置の位置情報を点検順毎の点検対象作業箇所の位置情報として特定する。この例は、第８の実施形態において図２７に示した如く手書き入力がなされ、この位置情報を検出することにより、位置情報を特定することができる。また、点検順に関しては、入力された数字を文字認識して点検順を検出するようにしても良い。
【0075】
本実施形態では、第１の表示手法として、上記点検順表示制御手段７２は、１つの順番の点検対象作業箇所に関して点検作業の完了情報が入力される毎に、現在表示中の点検順指示マークをブリンク表示した後に表示を停止し、次の順の点検順指示マークを表示画面に表示する。この第１の表示手法は、第３の実施形態における表示手法と概ね同一である。即ち、第３の実施形態と概ね同様に、点検順の点検順指示マークを表示し、１つの順番の点検対象作業箇所に関して点検作業の完了情報が入力される毎に、例えば、オーケーなどの音声入力を行えば、これを音声認識機能を用いて認識し、点検順表示制御手段７２へ伝えて該当の点検順指示マークを消去し次の順の点検順指示マークへ変更する表示制御を実行する。本実施形態では点検順指示マークを消去するに際し、その点検順指示マークをブリンク表示し、その後にブリンク表示の点検順指示マークを消去し、次の順の点検順指示マークを表示画面に表示する。以下、同様に前述の１単位に含まれる点検作業の数の処理が繰り返される。
【0076】
本実施形態における第２の表示手法として、上記点検順表示制御手段７２は、いくつかの点検対象作業箇所についての所定点検作業内容をいくつか行うことを１単位として、１単位内行う全点検対象作業箇所について点検順指示マークを表示し、１つの順番の点検対象作業箇所に関して点検作業の完了情報が入力される毎に、完了情報に対応する点検対象作業箇所の点検順指示マークをブリンク表示した後に表示を停止し、点検順指示マークを順次減少させる表示を行う。この第２の表示手法は、第２の実施形態における表示手法と概ね同一である。第２の実施形態と概ね同様に、最初に点検作業の数の点検順指示マークを全て表示し、１つの順番の点検対象作業箇所に関して点検作業の完了情報が入力される毎に、例えば、オーケーなどの音声入力を行えば、これを音声認識機能を用いて認識し、点検順表示制御手段７２へ伝えて点検作業が完了した点検順指示マークを消去した画面へ変更する表示制御を実行する。従って、点検順指示マークは当初の数から１ずつ消されてゆく。本実施形態では点検順指示マークを消去するに際し、消去対象の点検順指示マークをブリンク表示し、その後にブリンク表示の点検順指示マークを消去し、残りの点検順指示マークのみを表示画面に表示する。以下、同様に前述の１単位に含まれる点検作業の数の処理が繰り返される。
【0077】
本発明に係る複数の実施形態を説明したが、これらの実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0078】
１…通信ネットワーク、２…中継インタフェース、３…指示者、４…点検者、２０…パーソナルコンピュータ、３０…エッジコンピュータ、４０…リモートビューワ、７１…特定手段、７２…点検順表示制御手段、１６１…点検作業データベース、１６２…点検者点検履歴データベース、１６３…点検順重みデータベース、１６４…関連情報テーブル、２０１…データベースアクセス手段、２０２…点検対象作業箇所特定手段、２０３…表示用順番符号画像作成手段、２０４…点検用画像作成手段、２０５…文字画像変換手段、２０６…視線検出手段、２０７…視点外れ検出手段、２０８…ズレ位置画像作成手段、２０９…視点ポイント画像作成手段、２１０…点検作業順情報更新手段、２２１…指示者用表示制御手段、５６１…視線検出用カメラ、３１１…点検者用表示制御手段
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図6A】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図22A】
【図23】
【図23A】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】