IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

7149354保守作業支援システム、保守作業支援方法、および、保守作業支援プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-09-28
(45)【発行日】2022-10-06
(54)【発明の名称】保守作業支援システム、保守作業支援方法、および、保守作業支援プログラム
(51)【国際特許分類】
   G06T 19/00 20110101AFI20220929BHJP
   G06F 3/01 20060101ALI20220929BHJP
   G06F 3/04845 20220101ALI20220929BHJP
【FI】
G06T19/00 600
G06F3/01 510
G06F3/04845
【請求項の数】 17
(21)【出願番号】P 2021010629
(22)【出願日】2021-01-26
(65)【公開番号】P2021157781
(43)【公開日】2021-10-07
【審査請求日】2021-02-02
【審判番号】
【審判請求日】2022-02-16
(31)【優先権主張番号】P 2020058371
(32)【優先日】2020-03-27
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】511265154
【氏名又は名称】SPPテクノロジーズ株式会社
(74)【代理人】
【識別番号】100124039
【弁理士】
【氏名又は名称】立花 顕治
(72)【発明者】
【氏名】平村 建夫
(72)【発明者】
【氏名】花田 克司
【合議体】
【審判長】五十嵐 努
【審判官】樫本 剛
【審判官】新井 寛
(56)【参考文献】
【文献】特開2018-125795(JP,A)
【文献】国際公開第2014/097413(WO,A1)
【文献】国際公開第2000/055815(WO,A1)
【文献】国際公開第2019/176007(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 19/00
(57)【特許請求の範囲】
【請求項1】
複数の部品を含む機器ユニットに関する情報を表示する表示装置を含む保守作業支援システムであって、
前記表示装置は、
前記機器ユニットの図面に関する情報である図面情報を表示する図面表示部と、
前記機器ユニットの実機に関する画像情報である実機画像情報を表示するユニット表示部と、
前記図面表示部および前記ユニット表示部の表示状態を制御する制御部と、を備え、
前記制御部は、前記表示装置を操作する保守作業者が前記実機画像情報における任意の部品と、前記図面情報における任意の部品との対応関係を把握できない状況下において、
前記図面情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの前記任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部の表示状態を制御する第1表示制御、および、
前記実機画像情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの前記任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部の表示状態を制御する第2表示制御、の少なくとも一方を実行する
保守作業支援システム。
【請求項2】
複数の部品を含む機器ユニットに関する情報を表示する表示装置を含む保守作業支援システムであって、
前記表示装置は、
前記機器ユニットの図面に関する情報である図面情報を表示する図面表示部と、
前記機器ユニットの実機に関する画像情報である実機画像情報を表示するユニット表示部と、
前記図面表示部および前記ユニット表示部の表示状態を制御する制御部と、を備え、
前記制御部は、前記表示装置を操作する保守作業者が前記実機画像情報と前記図面情報との対応関係を把握できない状況下において、
前記図面情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部の表示状態を制御する第1表示制御、および、
前記実機画像情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部の表示状態を制御する第2表示制御、の少なくとも一方を実行する
保守作業支援システム。
【請求項3】
複数の部品を含む機器ユニットに関する情報を表示する表示装置を含む保守作業支援システムであって、
前記表示装置は、
前記機器ユニットの図面に関する情報である図面情報を表示する図面表示部と、
前記機器ユニットの実機に関する画像情報である実機画像情報を表示するユニット表示部と、
前記図面表示部および前記ユニット表示部の表示状態を制御する制御部と、を備え、
前記図面情報における前記複数の部品の配置と、前記実機画像情報における前記複数の部品の配置とは、各々の配置の対応関係が異なり、
前記図面情報における前記複数の部品と前記実機画像情報における前記複数の部品とは、対応付けられており、
前記制御部は、
前記図面情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部の表示状態を制御する第1表示制御、および、
前記実機画像情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部の表示状態を制御する第2表示制御、の少なくとも一方を実行する
保守作業支援システム。
【請求項4】
複数の部品を含む機器ユニットに関する情報を表示する表示装置を含む保守作業支援システムであって、
前記表示装置は、
前記機器ユニットの図面に関する情報である図面情報を表示する図面表示部と、
前記機器ユニットの実機に関する画像情報である実機画像情報を表示するユニット表示部と、
前記図面表示部および前記ユニット表示部の表示状態を制御する制御部と、を備え、
前記図面情報は、複数の図面を含み、
前記制御部は、
前記実機画像情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記複数の図面のうちの前記任意の部品に関連する図面を抽出し、前記任意の部品に対応する図面情報を特定できるように前記図面表示部の表示状態を制御する表示制御を実行する
保守作業支援システム。
【請求項5】
前記ユニット表示部は、前記実機画像情報を実空間と座標系が一致するように規定される仮想空間に表示し、
前記実機画像情報は、前記機器ユニットに含まれる前記複数の部品の相対的な位置関係が一致するように規定される複数の機器オブジェクトを含み、
前記図面情報は、前記複数の部品に対応する複数の図面オブジェクトを含み、
前記機器オブジェクトの前記複数の部品と前記図面オブジェクトの前記複数の部品とは、対応付けられ、
前記制御部は、
前記複数の図面オブジェクトのうちの任意の図面オブジェクトが選択された場合、前記第1表示制御において、前記複数の機器オブジェクトのうちの前記任意の図面オブジェクトと対応する機器オブジェクトを特定できるように前記ユニット表示部の表示状態を制御し、
前記複数の機器オブジェクトのうちの任意の機器オブジェクトが選択された場合、前記第2表示制御において、前記複数の図面オブジェクトのうちの前記任意の機器オブジェクトと対応する図面オブジェクトを特定できるように、前記図面表示部の表示状態を制御する
請求項1~3のいずれか一項に記載の保守作業支援システム。
【請求項6】
前記図面情報は、前記複数の部品の部品名称、および、前記複数の部品のそれぞれに設定される記号の少なくとも一方を含む複数の部品固有情報を含み、
前記制御部は、前記複数の部品固有情報のうちの任意の部品固有情報が選択された場合に、前記第1表示制御において、前記ユニット表示部に表示される前記実機画像情報のうちの前記任意の部品固有情報に対応する部品を特定できるように前記ユニット表示部の表示状態を制御する
請求項1~3、または、5のいずれか一項に記載の保守作業支援システム。
【請求項7】
前記図面情報は、複数の図面を含み、
前記制御部は、前記実機画像情報において前記任意の部品が選択された場合に、前記第2表示制御において、前記複数の図面のうちの前記任意の部品に関連する図面を抽出する
請求項1~3、5、または、6のいずれか一項に記載の保守作業支援システム。
【請求項8】
前記制御部は、
前記図面情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において前記任意の部品と接続される接続部品を特定できるように、前記ユニット表示部の表示状態を制御する第3表示制御を実行する
請求項1~のいずれか一項に記載の保守作業支援システム。
【請求項9】
前記制御部は、前記接続部品が選択された場合に、前記第3表示制御において、前記任意の部品、前記接続部品、および、前記任意の部品と前記接続部品との接続ルートを特定できるように、前記ユニット表示部の表示状態を制御する
請求項に記載の保守作業支援システム。
【請求項10】
複数の部品を含む機器ユニットに関する情報を表示装置に表示する保守作業支援方法であって、
前記機器ユニットの図面に関する情報である図面情報を前記表示装置の図面表示部に表示するステップと、
前記機器ユニットの実機に関する画像情報である実機画像情報を前記表示装置のユニット表示部に表示するステップと、を備え、
前記表示装置を操作する保守作業者が前記実機画像情報における任意の部品と、前記図面情報における任意の部品との対応関係を把握できない状況下において、
前記図面情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの前記任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部を表示するステップ、および、
前記実機画像情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの前記任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部を表示するステップ、の少なくとも一方を実行する
保守作業支援方法。
【請求項11】
複数の部品を含む機器ユニットに関する情報を表示装置に表示させる保守作業支援プログラムであって、
前記機器ユニットの図面に関する情報である図面情報を前記表示装置の図面表示部に表示するステップと、
前記機器ユニットの実機に関する画像情報である実機画像情報を前記表示装置のユニット表示部に表示するステップと、をコンピュータに実行させ、
前記表示装置を操作する保守作業者が前記実機画像情報における任意の部品と、前記図面情報における任意の部品との対応関係を把握できない状況下において、
前記図面情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの前記任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部を表示するステップ、および、
前記実機画像情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの前記任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部を表示するステップ、の少なくとも一方を前記コンピュータに実行させる
保守作業支援プログラム。
【請求項12】
複数の部品を含む機器ユニットに関する情報を表示する保守作業支援方法であって、
前記機器ユニットの図面に関する情報である図面情報を図面表示部に表示するステップと、
前記機器ユニットの実機に関する画像情報である実機画像情報をユニット表示部に表示するステップと、を備え、
前記図面情報における前記複数の部品の配置と、前記実機画像情報における前記複数の部品の配置とは、各々の配置の対応関係が異なり、
前記図面情報における前記複数の部品と前記実機画像情報における前記複数の部品とは、対応付けられており、
前記図面情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部を表示するステップ、および、
前記実機画像情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部を表示するステップ、の少なくとも一方を実行する
保守作業支援方法。
【請求項13】
複数の部品を含む機器ユニットに関する情報を表示装置に表示させる保守作業支援プログラムであって、
前記機器ユニットの図面に関する情報である図面情報を図面表示部に表示するステップと、
前記機器ユニットの実機に関する画像情報である実機画像情報をユニット表示部に表示するステップと、をコンピュータに実行させ、
前記図面情報における前記複数の部品の配置と、前記実機画像情報における前記複数の部品の配置とは、各々の配置の対応関係が異なり、
前記図面情報における前記複数の部品と前記実機画像情報における前記複数の部品とは、対応付けられており、
前記図面情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部を表示するステップ、および、
前記実機画像情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部を表示するステップ、の少なくとも一方を前記コンピュータに実行させる
保守作業支援プログラム。
【請求項14】
複数の部品を含む機器ユニットに関する情報を表示装置に表示する保守作業支援方法であって、
前記機器ユニットの図面に関する情報である図面情報を前記表示装置の図面表示部に表示するステップと、
前記機器ユニットの実機に関する画像情報である実機画像情報を前記表示装置のユニット表示部に表示するステップと、を備え、
前記表示装置を操作する保守作業者が前記実機画像情報と前記図面情報との対応関係を把握できない状況下において、
前記図面情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部を表示するステップ、および、
前記実機画像情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部を表示するステップ、の少なくとも一方を実行する
保守作業支援方法。
【請求項15】
複数の部品を含む機器ユニットに関する情報を表示装置に表示させる保守作業支援プログラムであって、
前記機器ユニットの図面に関する情報である図面情報を前記表示装置の図面表示部に表示するステップと、
前記機器ユニットの実機に関する画像情報である実機画像情報を前記表示装置のユニット表示部に表示するステップと、をコンピュータに実行させ、
前記表示装置を操作する保守作業者が前記実機画像情報と前記図面情報との対応関係を把握できない状況下において、
前記図面情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部を表示するステップ、および、
前記実機画像情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部を表示するステップ、の少なくとも一方を前記コンピュータに実行させる
保守作業支援プログラム。
【請求項16】
複数の部品を含む機器ユニットに関する情報を表示装置に表示する保守作業支援方法であって、
前記機器ユニットの図面に関する情報である図面情報を前記表示装置の図面表示部に表示するステップと、
前記機器ユニットの実機に関する画像情報である実機画像情報を前記表示装置のユニット表示部に表示するステップと、を備え、
前記図面情報は、複数の図面を含み、
前記実機画像情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記複数の図面のうちの前記任意の部品に関連する図面を抽出し、前記任意の部品に対応する図面情報を特定できるように前記図面表示部を表示するステップを実行する
保守作業支援方法。
【請求項17】
複数の部品を含む機器ユニットに関する情報を表示装置に表示させる保守作業支援プログラムであって、
前記機器ユニットの図面に関する情報である図面情報を前記表示装置の図面表示部に表示するステップと、
前記機器ユニットの実機に関する画像情報である実機画像情報を前記表示装置のユニット表示部に表示するステップと、をコンピュータに実行させ、
前記図面情報は、複数の図面を含み、
前記実機画像情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記複数の図面のうちの前記任意の部品に関連する図面を抽出し、前記任意の部品に対応する図面情報を特定できるように前記図面表示部を表示するステップを前記コンピュータに実行させる
保守作業支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、保守作業支援システム、保守作業支援方法、および、保守作業支援プログラムに関する。
【背景技術】
【0002】
特許文献1は、表示装置を備える図面投影システムを開示している。この図面投影システムの表示装置は、建築物の設計図を現実空間に重畳して投影する。この図面投影システムによれば、建設現場における墨出しが不要となるため、建設現場における作業効率が高められる。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2018-163466号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば、産業用機器等を構成する複数の部品を含む機器ユニットにおいては、部品点数が多く、また、図面の種類および数も多く、さらには、図面上の部品の配置と実機の部品の配置とが必ずしも一致していない。このため、図面上の部品と実機の部品との対応関係を容易に把握できず、機器ユニットの保守作業を効率的に実施できない。
【0005】
本発明の目的は、機器ユニットの保守作業を効率的に実施できる保守作業支援システム、保守作業支援方法、および、保守作業支援プログラムを提供することである。
【課題を解決するための手段】
【0006】
(1)本発明に関する保守作業支援システムは、複数の部品を含む機器ユニットに関する情報を表示する表示装置を含む保守作業支援システムであって、前記表示装置は、前記機器ユニットの図面に関する情報である図面情報を表示する図面表示部と、前記機器ユニットの実機に関する画像情報である実機画像情報を表示するユニット表示部と、前記図面表示部および前記ユニット表示部の表示状態を制御する制御部と、を備え、前記制御部は、前記図面情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部の表示状態を制御する第1表示制御、および、前記実機画像情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部の表示状態を制御する第2表示制御、の少なくとも一方を実行する。
【0007】
上記保守作業支援システムによれば、図面情報において、任意の部品が選択された場合に第1表示制御が実行される。第1表示制御では、任意の部品に対応する実機画像情報がユニット表示部に表示されるため、図面上の任意の部品と実機に搭載されている任意の部品との対応関係を容易に把握できる。また、実機画像情報において任意の部品が選択された場合に第2表示制御が実行される。第2表示制御では、任意の部品に対応する図面情報が図面表示部に表示されるため、実機に搭載されている任意の部品と図面上の任意の部品との対応関係を容易に把握できる。また、数多い図面の中から該当する図面を抽出することができる。このため、機器ユニットの保守作業を効率的に実施できる。さらには、保守作業者が任意の部品を選択することにより、ある決まったルール(特定の方式)に従うことなく、実機の部品と図面上の部品との対応関係を部品毎に適切に把握できる。
【0008】
(2)好ましい例では(1)に記載の保守作業支援システムにおいて、ユーザが前記実機画像情報における前記任意の部品と、前記図面情報における前記任意の部品との対応関係を把握できない状況下において、前記制御部は、前記第1表示制御および前記第2表示制御の少なくとも一方を実行する。
【0009】
上記保守作業支援システムによれば、例えば、機器ユニットを構成する複数の部品の数が多く、実機画像情報における任意の部品と、図面情報における任意の部品との対応関係が把握できない状況下においても、機器ユニットの保守作業を効率的に実施できる。
【0010】
(3)本発明に関する保守作業支援システムは、複数の部品を含む機器ユニットに関する情報を表示する表示装置を含む保守作業支援システムであって、前記表示装置は、前記機器ユニットの図面に関する情報である図面情報を表示する図面表示部と、前記機器ユニットの実機に関する画像情報である実機画像情報を表示するユニット表示部と、前記図面表示部および前記ユニット表示部の表示状態を制御する制御部と、を備え、前記図面情報における前記複数の部品の配置と、前記実機画像情報における前記複数の部品の配置とは、各々の配置の対応関係が異なり、前記図面情報における前記複数の部品と前記実機画像情報における前記複数の部品とは、対応付けられており、前記制御部は、前記図面情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部の表示状態を制御する第1表示制御、および、前記実機画像情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部の表示状態を制御する第2表示制御、の少なくとも一方を実行する。
【0011】
上記保守作業支援システムによれば、図面情報における前記複数の部品の配置と、前記実機画像情報における前記複数の部品の配置とは、各々の配置の対応関係が異なる場合であっても、上記(1)に記載の保守作業支援システムに準じた効果が得られる。
【0012】
(4)好ましい例では(1)~(3)のいずれか一項に記載の保守作業支援システムにおいて、前記ユニット表示部は、前記実機画像情報を実空間と座標系が一致するように規定される仮想空間に表示し、前記実機画像情報は、前記機器ユニットに含まれる前記複数の部品の相対的な位置関係が一致するように規定される複数の機器オブジェクトを含み、前記図面情報は、前記複数の部品に対応する複数の図面オブジェクトを含み、前記機器オブジェクトの前記複数の部品と前記図面オブジェクトの前記複数の部品とは、対応付けられ、前記制御部は、前記複数の図面オブジェクトのうちの任意の図面オブジェクトが選択された場合、前記第1表示制御において、前記複数の機器オブジェクトのうちの前記任意の図面オブジェクトと対応する機器オブジェクトを特定できるように前記ユニット表示部の表示状態を制御し、前記複数の機器オブジェクトのうちの任意の機器オブジェクトが選択された場合、前記第2表示制御において、前記複数の図面オブジェクトのうちの前記任意の機器オブジェクトと対応する図面オブジェクトを特定できるように、前記図面表示部の表示状態を制御する。
【0013】
上記保守作業支援システムによれば、図面情報において、任意の図面オブジェクトが選択された場合に第1表示制御が実行され、任意の図面オブジェクトと対応する機器オブジェクトがユニット表示部に表示される。このため、図面上の任意の部品と実機に搭載されている任意の部品との対応関係を容易に把握できる。また、実機画像情報において、任意の機器オブジェクトが選択された場合に第2表示制御が実行され、任意の機器オブジェクトと対応する図面オブジェクトが図面表示部に表示される。このため、実機に搭載されている任意の部品と図面上の任意の部品との対応関係を容易に把握できる。このため、機器ユニットの保守作業を効率的に実施できる。
【0014】
(5)好ましい例では(1)~(4)のいずれか一項に記載の保守作業支援システムにおいて、前記図面情報は、前記複数の部品の部品名称、および、前記複数の部品のそれぞれに設定される記号の少なくとも一方を含む複数の部品固有情報を含み、前記制御部は、前記複数の部品固有情報のうちの任意の部品固有情報が選択された場合に、前記第1表示制御において、前記ユニット表示部に表示される前記実機画像情報のうちの前記任意の部品固有情報に対応する部品を特定できるように前記ユニット表示部の表示状態を制御する。
【0015】
上記保守作業支援システムによれば、任意の部品固有情報が選択された場合に、任意の部品に対応する実機画像情報がユニット表示部に表示される。このため、部品固有情報に基づいて選択された図面上の任意の部品と実機に搭載されている任意の部品との対応関係を容易に把握できる。
【0016】
(6)好ましい例では(1)~(5)のいずれか一項に記載の保守作業支援システムにおいて、前記図面情報は、複数の図面を含み、前記制御部は、前記実機画像情報において前記任意の部品が選択された場合に、前記第2表示制御において、前記複数の図面のうちの前記任意の部品に関連する図面を抽出する。
上記保守作業支援システムによれば、図面枚数が多い場合であっても、任意の部品を図面上で容易に見つけることができる。
【0017】
(7)好ましい例では(1)~(6)のいずれか一項に記載の保守作業支援システムにおいて、前記制御部は、前記図面情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において前記任意の部品と接続される接続部品を特定できるように、前記ユニット表示部の表示状態を制御する第3表示制御を実行する。
上記保守作業支援システムによれば、接続部品を容易に確認できるため、利便性が高められる。
【0018】
(8)好ましい例では(7)に記載の保守作業支援システムにおいて、前記制御部は、前記接続部品が選択された場合に、前記第3表示制御において、前記任意の部品、前記接続部品、および、前記任意の部品と前記接続部品との接続ルートを特定できるように、前記ユニット表示部の表示状態を制御する。
上記保守作業支援システムによれば、任意の部品、接続部品、および、任意の部品と前記接続部品との接続ルートを容易に確認できるため、利便性が高められる。
【0019】
(9)本発明に関する保守作業支援方法は、複数の部品を含む機器ユニットに関する情報を表示する保守作業支援方法であって、前記機器ユニットの図面に関する情報である図面情報を図面表示部に表示するステップと、前記機器ユニットの実機に関する画像情報である実機画像情報をユニット表示部に表示するステップと、を備え、前記図面情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部を表示するステップ、および、前記実機画像情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部を表示するステップ、の少なくとも一方を実行する。
上記保守作業支援方法によれば、上記(1)に記載の保守作業支援システムと同様の効果が得られる。
【0020】
(10)本発明に関する保守作業支援プログラムは、複数の部品を含む機器ユニットに関する情報を表示装置に表示させる保守作業支援プログラムであって、前記機器ユニットの図面に関する情報である図面情報を図面表示部に表示するステップと、前記機器ユニットの実機に関する画像情報である実機画像情報をユニット表示部に表示するステップと、をコンピュータに実行させ、前記図面情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部を表示するステップ、および、前記実機画像情報において、前記表示装置を操作する保守作業者によって前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部を表示するステップ、の少なくとも一方を前記コンピュータに実行させる。
上記保守作業支援プログラムによれば、上記(1)に記載の保守作業支援システムと同様の効果が得られる。
【0021】
(11)本発明に関する保守作業支援方法は、複数の部品を含む機器ユニットに関する情報を表示する保守作業支援方法であって、前記機器ユニットの図面に関する情報である図面情報を図面表示部に表示するステップと、前記機器ユニットの実機に関する画像情報である実機画像情報をユニット表示部に表示するステップと、を備え、前記図面情報における前記複数の部品の配置と、前記実機画像情報における前記複数の部品の配置とは、各々の配置の対応関係が異なり、前記図面情報における前記複数の部品と前記実機画像情報における前記複数の部品とは、対応付けられており、前記図面情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部を表示するステップ、および、前記実機画像情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部を表示するステップ、の少なくとも一方を実行する。
上記保守作業支援方法によれば、上記(3)に記載の保守作業支援システムと同様の効果が得られる。
【0022】
(12)本発明に関する保守作業支援プログラムは、複数の部品を含む機器ユニットに関する情報を表示装置に表示させる保守作業支援プログラムであって、前記機器ユニットの図面に関する情報である図面情報を図面表示部に表示するステップと、前記機器ユニットの実機に関する画像情報である実機画像情報をユニット表示部に表示するステップと、をコンピュータに実行させ、前記図面情報における前記複数の部品の配置と、前記実機画像情報における前記複数の部品の配置とは、各々の配置の対応関係が異なり、前記図面情報における前記複数の部品と前記実機画像情報における前記複数の部品とは、対応付けられており、前記図面情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記実機画像情報において、前記任意の部品に対応する実機画像情報を特定できるように前記ユニット表示部を表示するステップ、および、前記実機画像情報において、前記複数の部品のうちの任意の部品が選択された場合に、前記図面情報において、前記任意の部品に対応する図面情報を特定できるように前記図面表示部を表示するステップ、の少なくとも一方を前記コンピュータに実行させる。
上記保守作業支援プログラムによれば、上記(3)に記載の保守作業支援システムと同様の効果が得られる。
【発明の効果】
【0023】
本発明に関する保守作業支援システム、保守作業支援方法、および、保守作業支援プログラムによれば、機器ユニットの保守作業を効率的に実施できる。
【図面の簡単な説明】
【0024】
図1A】実施形態の保守作業支援システムが備える表示装置の用途を説明するための図。
図1B】機器ユニットを模式的に示す図。
図2A図1Bの機器ユニットの第1図面を示す図。
図2B図1Bの機器ユニットの第2図面を示す図。
図3A図1Aの表示装置を含む保守作業支援システムを示す図。
図3B図3Aの表示装置の構成を示すブロック図。
図3C図3Bの表示部の構成を示す図。
図3D図3Aのサーバの構成を示すブロック図。
図4A】接続関係に関するデータベースを模式的に示す図。
図4B】部品位置に関するデータベースを模式的に示す図。
図4C】配線経路に関するデータベースを模式的に示す図。
図5図2Aの図面情報を簡略化した図面オブジェクトを示す図。
図6A図5の図面オブジェクトをさらに簡略化した図。
図6B図3Cのユニット表示部に表示される機器オブジェクトを示す図。
図7A】第1表示制御の処理手順の一例を示すフローチャート。
図7B】第1表示制御において、任意の図面オブジェクトが選択された状態の表示部を示す図。
図7C】第1表示制御において、任意の図面オブジェクトに対応する機器オブジェクトが表示された状態の表示部を示す図。
図8A】第2表示制御の処理手順の一例を示すフローチャート。
図8B】第2表示制御において、任意の機器オブジェクトが選択された状態の表示部を示す図。
図8C】第2表示制御において、任意の機器オブジェクトに対応する図面オブジェクトが表示された状態の表示部を示す図。
図9A】第3表示制御の処理手順の一例を示すフローチャート。
図9B】第3表示制御において、任意の図面オブジェクト、任意の図面オブジェクトに対応する機器オブジェクト、ならびに、接続部品に対応する図面オブジェクトおよび機器オブジェクトの候補が表示された状態の表示部を示す図。
図9C】第3表示制御において、任意の図面オブジェクト、任意の図面オブジェクトに対応する機器オブジェクト、ならびに、接続部品に対応する図面オブジェクトおよび機器オブジェクトが表示された状態の表示部を示す図。
図10】機器オブジェクトの表示位置の補正動作の一例を示すフローチャート。
【発明を実施するための形態】
【0025】
以下、本発明に係る保守作業支援システム、保守作業支援方法、および、保守作業支援プログラムの一実施形態について、図面を参照して説明する。図1Aは、保守作業支援システム20(図3A参照)が備える表示装置10の用途を説明するための図である。
【0026】
<1.概要>
表示装置10は、例えば、産業用機器80が備える機器ユニット82の保守作業のために用いられる。本実施形態における保守作業とは、例えば、装置エラー履歴あるいは該当部品自体のアラーム信号を保守作業者90が直接確認することによって、故障部品を特定したのち、該当する図面を抽出して該当部品の部品名称、交換パーツの在庫確認、材質確認等を行う作業を含む。あるいは、熟練者の支援により、対象の図面および推定される故障部品の助言を受けた上で、保守作業者90が図面を元に実機の該当部品を探し出し、該当部品自体のアラーム信号の有無確認や導通チェック等による故障診断を行う作業を含む。あるいは、保守作業者90が熟練者である場合には、保守作業者90自身の経験に基づき故障部位を推定した上で適切な図面を抽出し、図面を元に実機の該当部品を探し出す作業を含む。なお、本実施形態の保守作業には、計測は含まれない。本実施形態では、例えば、機器ユニット82の施工時に、機器オブジェクト50(図6B参照)の輪郭情報と対応する部品の輪郭を保守作業者90が目視によって比較することで、該当部品の施工時の変形、および、部品間違い(仕様違い)による形状異常を、計測することなく発見できる。
【0027】
産業用機器80としては、基板処理装置を挙げることができる。基板処理装置は、例えば、半導体製造装置、MEMS(Micro Electro Mechanical Systems)製造装置、または、液晶パネル製造装置である。その他の産業用機器80としては、射出成型装置、化学プラントの反応槽・蒸留塔・熱交換器、ボイラ・原動機、および、動力伝導装置等を挙げることができる。産業用機器80は、装置本体81、および、機器ユニット82を備える。機器ユニット82は、例えば、装置本体81の制御盤、配電盤、分電盤、圧空・ガスユニット、ポンプユニット、または、チラー(冷却または温度調節)ユニットである。機器ユニット82は、装置本体81に収容される。別の例では、機器ユニット82は、装置本体81から離れた場所に配置され、装置本体81に接続される。
【0028】
図1Bは、機器ユニット82の実機を模式的に示す図である。機器ユニット82は、例えば、複数の部品A1~A16を含む。複数の部品A1~A16は、例えば、ブレーカを含む。複数の部品A1~A16は、接続部材83を介して接続される場合がある。接続部材83は、例えば、電気配線、圧空配管、冷却水配管、ガス配管、排気配管、油圧配管、または、冷媒配管である。接続部材83は、ダクト84に収容される。
【0029】
図2Aおよび図2Bは、機器ユニット82に関する図面である。機器ユニット82の図面は、例えば、複数の図面を含む。図2Aに示される第1図面FAは、部品A1~A9に関する図面である。図2Bに示される第2図面FBは、部品A10~A16に関する図面である。機器ユニット82に関する図面は、さらに複数の図面を含む場合があるが、説明の簡略化のため、本実施形態では第1図面FAおよび第2図面FBのみを記載している。
【0030】
機器ユニット82の保守作業において、図1Aに示される保守作業者90は、機器ユニット82の各図面FA、FBを参照しながら、機器ユニット82の保守作業を実施する。一方、図1Bと、図2Aおよび図2Bとを比較すると、実機における部品A1~A16の配置と、各図面FA、FBに記載される部品A1~A16の配置とが異なる。このため、機器ユニット82の保守作業においては、保守作業者90は、実機における部品A1~A16と各図面FA、FBにおける部品A1~A16との対応関係を容易に把握できない。表示装置10は、保守作業者90が保守作業を容易に実施できるように構成される。以下では、表示装置10を含む保守作業支援システムについて詳細に説明する。
【0031】
<2-1.保守作業支援システム全体の構成>
図3Aは、保守作業支援システム20(以下では、「システム20」という)を示す図である。システム20は、表示装置10およびサーバ30を含む。表示装置10は、例えば、ウェアラブル端末、タブレット端末、スマートフォン、または、パーソナルコンピュータである。本実施形態では、表示装置10はウェアラブル端末である。より詳細には、表示装置10は、光学シースルー型のヘッドマウントディスプレイであり、拡張現実(AR:Augmented Reality)機能が搭載されたスマートグラスである。スマートグラスは、公知のものを利用することができ、例えば、マイクロソフト社製のHoloLens(登録商標)である。保守作業者90は、保守作業を実施する際に両手を使用できるため、保守作業を効率的に実施できる。別の例では、表示装置10は、仮想現実機能が搭載されたビデオシースルー型のヘッドマウントディスプレイである。この別の例でも、保守作業者90は、保守作業を実施する際に両手を使用できるため、保守作業を効率的に実施できる。システム20において、表示装置10は、保守作業者90(図1A参照)が表示装置10を介して視認している機器ユニット82に関する情報(以下では、「機器ユニット情報」という)をサーバ30に要求し、機器ユニット情報をサーバ30から受信する。表示装置10は、サーバ30から受信した機器ユニット情報を表示する。機器ユニット情報は、図面情報および実機画像情報を含む。図面情報は、機器ユニット82の図面に関する情報である。実機画像情報は、機器ユニット82の実機に関する情報である。
【0032】
<2-2.表示装置のハードウェア構成>
図3Bは、本実施形態に係る表示装置10の構成の一例を示すブロック図である。表示装置10は、制御部11、カメラ12、表示部13、各種センサ14、通信部15、および、記憶部16を含む。制御部11、カメラ12、表示部13、各種センサ14、通信部15、および、記憶部16は、バス17を介して電気的に接続される。
【0033】
制御部11は、CPU(Central Processing Unit)11A、RAM(Random Access Memory)11B、および、ROM(Read Only Memory)11C等を含む。制御部11は、情報処理に応じて各構成要素の制御を行なうように構成される。
【0034】
カメラ12は、例えば、RGB(Red Green Blue)カメラである。カメラ12は、例えば、ユーザの視線に対応する動画像を撮影する。カメラ12は、CCD(Charge Coupled Device)イメージセンサ、または、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等のイメージセンサを含むカメラモジュールである。
【0035】
表示部13は、例えば、メガネのレンズ型の液晶ディスプレイである。表示部13は、ユーザのジェスチャーを検出するセンサを含んでいてもよい。保守作業者90(図1A参照)は、表示部13に表示されるARカーソルをジェスチャー等によって操作してコマンドを選択する。表示部13は、ユーザによって選択されたコマンドに基づく情報を制御部11に送信する。制御部11は、ユーザによって選択されたコマンドに基づく制御を実行する。表示部13は、サーバ30から送信される機器ユニット情報を表示する。
【0036】
図3Cに示されるように、表示部13は、図面情報を表示する図面表示部13A、および、実機画像情報を表示するユニット表示部13Bを含む。本実施形態では、1つの表示部13に図面表示部13Aおよびユニット表示部13Bが設けられる。なお、図3Cは、表示部13において、図面表示部13Aおよびユニット表示部13Bが設けられる位置の一例を示したものであり、表示部13における図面表示部13Aおよびユニット表示部13Bの位置は、任意に変更可能である。別の例では、図面表示部13Aとユニット表示部13Bとは、異なる表示部に設けられる。例えば、ユニット表示部13Bは、表示部13の全体または一部に設けられ、図面表示部13Aは、表示部13から離れた位置に設置される大型の液晶ディスプレイ、プロジェクターによってスクリーン表示される画像、スマートフォン、または、ラップトップ型パーソナルコンピュータのモニターに設けられる。
【0037】
図3Bに示される各種センサ14は、例えば、距離画像センサ、加速度センサ、および、ジャイロセンサを含む。距離画像センサは、表示装置10と機器ユニット82(図1A参照)との間の距離を検出する。加速度センサは、表示装置10の加速度を検出する。ジャイロセンサは、表示装置10の角速度を検出する。
【0038】
通信部15は、ネットワークを介して、表示装置10の外部に設けられる外部装置と通信する。外部装置は、例えば、サーバ30(図3A参照)である。通信部15は、例えば、有線LAN(Local Area Network)モジュールまたは無線LANモジュールである。
【0039】
記憶部16は、例えば、ハードディスクドライブおよびソリッドステートドライブ等の補助記憶装置である。記憶部16は、例えば、制御プログラム16Aを記憶するように構成される。制御部11が制御プログラム16Aを実行することによって、表示装置10の各種制御が行なわれる。
【0040】
制御部11は、例えば、公知のSLAM(Simultaneous Localization And Mapping)を行なうように構成される。制御部11は、カメラ12による撮影画像、および、各種センサ14の検出結果に基づいて、空間認識、および、表示装置10の位置(以下では、「自己位置」という)の推定を実行する。具体的には、例えば、制御部11は、距離画像センサによって検出される周辺の環境の複数の特徴点までの距離に基づいて、空間認識を実行する。その後、表示装置10を装着した保守作業者90が移動すると、制御部11は、加速度センサおよびジャイロセンサ等によって検出される移動量および移動方向に基づいて、自己位置の推定、ならびに、周辺の環境の空間認識を実行する。制御部11は、これらの空間認識および自己位置の推定を繰り返し実行することによって、常に三次元空間を把握することができる。
【0041】
<2-3.サーバのハードウェア構成>
図3Dは、本実施形態に係るサーバ30の構成の一例を示すブロック図である。サーバ30は、例えば、汎用コンピュータによって実現される。サーバ30は、制御部31、通信部32、および、記憶部33を含む。制御部31、通信部32、および、記憶部33は、バス34を介して電気的に接続される。
【0042】
制御部31は、CPU31A、RAM31B、および、ROM31C等を含み、情報処理に応じて各構成要素の制御を行なうように構成される。通信部32は、ネットワークを介して、サーバ30の外部に設けられた外部装置と通信するように構成される。外部装置は、例えば、表示装置10(図3B参照)である。通信部32は、例えば、有線LANモジュールまたは無線LANモジュールで構成される。
【0043】
記憶部33は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置である。記憶部33は、例えば、制御プログラム33A、データベースD1、データベースD2、および、データベースD3を記憶するように構成される。
【0044】
図4Aは、データベースD1を模式的に示す図である。データベースD1は、機器ユニット82における部品A1~A16同士の接続関係を管理する。データベースD1は、機器ユニット82毎、および、各部品A1~A16の接続関係の種類毎に設けられる。
【0045】
データベースD1は、項目として、例えば、「部品ID」、「部品名称」、「接続先部品ID」、「接続先部品名称」および「配線番号」を含む。なお、配線番号の項目は、接続部材83(図1B参照)に応じて変更される。接続部材83が、例えば、圧空配管である場合、図4Aに示される配線番号の項目は、配管番号となる。
【0046】
「部品ID」は、機器ユニット82に含まれている各部品A1~A16に個別に割り当てられたIDである。「部品名称」は、各部品A1~A16の名称を示す。「接続先部品ID」は、接続先の部品A1~A16に割り当てられている「部品ID」である。「接続先部品名称」は、接続先の部品A1~A16の名称を示す。「配線番号」は、部品A1~A16間を接続する配線に割り当てられた番号である。なお、部品A1~A16が機器ユニット82の外部の装置(以下では、「ユニット外部装置」という)に接続されている場合には、例えば、「接続先部品ID」に外部装置に割り当てられたIDが対応付けられ、「接続先部品名称」にユニット外部装置の名称が対応付けられてもよい。ユニット外部装置は、例えば、装置本体81である。データベースD1を参照することによって、部品A1~A16間の接続関係、または、部品A1~A16とユニット外部装置との接続関係を把握できる。
【0047】
図4Bは、データベースD2を模式的に示す図である。データベースD2は、機器ユニット82に含まれる各部品A1~A16の位置情報を管理する。例えば、データベースD2は、各機器ユニット82に付されたARマーカを基準点とする各部品A1~A16の相対的な位置情報を管理する。データベースD2は、機器ユニット82毎に設けられる。別の例では、データベースD2は、産業用機器80毎に付されたARマーカを基準点とする各部品A1~A16の相対的な位置情報を管理する。この場合、データベースD2は、産業用機器80毎に設けられる。
【0048】
データベースD2は、項目として、例えば、「部品ID」、「部品名称」および「基準点に対する部品の座標」を含む。「部品ID」および「部品名称」は、それぞれデータベースD1における「部品ID」および「部品名称」と同一である。「基準点に対する部品の座標」は、各機器ユニット82に付されたARマーカを基準点とする各部品A1~A16の相対的な位置座標を示す。データベースD2を参照することによって、機器ユニット82に付されたARマーカに対する各部品A1~A16の相対的な位置を把握することができる。
【0049】
図4Cは、データベースD3を模式的に示す図である。データベースD3は、機器ユニット82に含まれる各部品A1~A16間の配線等の接続ルートを示す情報を管理する。例えば、データベースD3は、各機器ユニット82に付されたARマーカを基準点として各配線等が通過する相対的な位置情報を管理する。データベースD3は、機器ユニット82毎、および、各部品A1~A16の接続ルートの種類毎に設けられる。
【0050】
データベースD3は、項目として、例えば、「配線番号」および「基準点に対する配線経路」を含む。なお、データベースD3が例えば、圧空配管の観点での配管経路を管理する場合には、「配線番号」が「配管番号」となり、「基準点に対する配線経路」が「基準点に対する配管経路」になる。
【0051】
「配線番号」は、データベースD1における「配線番号」と同一である。「基準点に対する配線経路」は、各機器ユニット82に付されたARマーカを基準点として各配線等が通過する複数の相対的な位置座標を示す。データベースD3を参照することによって、機器ユニット82に付されたARマーカに対する各配線等の経路を把握することができる。
【0052】
<2-4.表示装置の動作モード>
表示装置10の動作モードは、対応部品確認モード、および、接続ルート確認モードを含む。対応部品確認モードは、図面表示部13A(図3C参照)に表示される図面情報に含まれる部品A1~A16と、ユニット表示部13B(図3C参照)に表示される実機画像情報に含まれる部品A1~A16との対応関係を特定できるように、制御部11が表示部13の表示状態を制御するモードである。接続ルート確認モードは、ユニット表示部13Bに表示される実機画像情報に含まれる部品A1~A16の接続ルートを特定できるように、ユニット表示部13Bの表示状態を制御部11が制御するモードである。
【0053】
<2-5.対応部品確認モード>
対応部品確認モードが選択される場合、制御部11は、第1表示制御または第2表示制御を実行する。第1表示制御は、図面表示部13Aに表示される図面情報において、複数の部品A1~A16のうちの任意の部品が選択された場合に実行される。制御部11は、第1表示制御では、ユニット表示部13Bに表示される実機画像情報において、図面情報において選択された任意の部品に対応する実機画像情報を特定できるようにユニット表示部13Bの表示状態を制御する。
【0054】
第2表示制御は、ユニット表示部13Bに表示される実機画像情報において、複数の部品A1~A16のうちの任意の部品が選択された場合に実行される。制御部11は、第2表示制御では、図面表示部13Aに表示される図面情報において、実機画像情報において選択された任意の部品に対応する図面情報を特定できるように図面表示部13Aの表示状態を制御する。
【0055】
図5は、対応部品確認モードにおいて、図面表示部13Aに表示される図面情報の一例である。図6Aは、図5の例をさらに簡略化した図面情報の一例である。図5および図6Aに示される図面情報は、複数の部品A1~A16に対応する複数の図面オブジェクト40を備える。図面オブジェクト40は、機器ユニット82毎に準備される。なお、図5では、図面の簡略化のため、複数の部品A1~A9に対応する図面オブジェクト40のみを示している。また、図6Aでは、図面簡略化のため、部品A1、A3、A4、A15に対応する図面オブジェクトのみを示している。図面表示部13Aに表示される図面情報は、表示装置10が移動した場合であっても、図面表示部13Aに固定された状態、いわゆる、表示画面固定モードで表示される。対応部品確認モードにおいて、保守作業者90は、図面情報に基づいて対応する実機画像情報を把握したい場合、複数の図面オブジェクト40のうちの1または複数の図面オブジェクト40を選択する。図面オブジェクト40の選択方法は、任意に設定可能である。図面オブジェクト40の選択方法は、例えば、図面オブジェクト40のハンドトラッキングまたはアイトラッキングである。なお、本実施形態において、オブジェクト等の選択方法は、ハンドトラッキングまたはアイトラッキングを用いることができる。図面表示部13Aは、好ましくは、位置およびサイズの少なくとも一方を任意に変更できるように構成される。図面表示部13Aのサイズの変更は、図面表示部13Aのサイズの拡大および縮小を含む。さらに好ましくは、図面表示部13Aは、サイズを維持した状態で、図面情報の拡大および縮小、ならびに、スクロールできるように構成される。
【0056】
図6Bは、対応部品確認モードにおいて、ユニット表示部13Bに表示される実機画像情報の一例である。実機画像情報は、データベースD2(図4B参照)に基づいて、機器ユニット82に含まれる複数の部品A1~A16の相対的な位置関係が一致するように規定される複数の機器オブジェクト50を含む。複数の機器オブジェクト50は、例えば、AR画像である。ユニット表示部13Bは、AR画像である実機画像情報を実空間と座標系が一致するように規定される仮想空間に表示する、いわゆる、世界座標系固定モードで表示する。複数の機器オブジェクト50の複数の部品A1~A16と、複数の図面オブジェクト40の複数の部品A1~A16とは、対応付けられている。複数の機器オブジェクト50は、機器ユニット82毎に準備される。対応部品確認モードにおいて、保守作業者90は、実機画像情報に基づいて対応する図面情報を把握したい場合、複数の機器オブジェクト50のうちの1または複数の機器オブジェクト50を選択する。複数の機器オブジェクト50のサイズは、任意に設定可能である。本実施形態では、複数の機器オブジェクト50のサイズは、対応する部品A1~A16と実質的に同じサイズである。
【0057】
図面オブジェクト40および機器オブジェクト50は、例えば、サーバ30の記憶部33(図3D参照)に記憶される。対応部品確認モードが選択されている状態において、例えば、カメラ12によって機器ユニット82に付されたARマーカ(図示略)が撮影される。表示装置10の制御部11は、カメラ12によって撮影されたARマーカに基づいて、複数の機器ユニット82のうちから、撮影された機器ユニット82を特定する。制御部11は、特定した機器ユニット82に関する図面オブジェクト40および機器オブジェクト50を要求する信号をサーバ30に送信するように通信部15を制御する。サーバ30の制御部31は、制御部11によって特定された機器ユニット82に関する図面オブジェクト40および機器オブジェクト50を表示装置10に送信するように、通信部32を制御する。
【0058】
制御部11は、複数の図面オブジェクト40のうちの任意の図面オブジェクト40が選択された場合、第1表示制御において、複数の機器オブジェクト50のうちの任意の図面オブジェクト40と対応する機器オブジェクト50を特定できるようにユニット表示部13Bの表示状態を制御する。制御部11は、複数の機器オブジェクト50のうちの任意の機器オブジェクト50が選択された場合、第2表示制御において、複数の図面オブジェクト40のうちの任意の機器オブジェクト50と対応する図面オブジェクト40を特定できるように、図面表示部13Aの表示状態を制御する。以下では、第1表示制御および第2表示制御の詳細について説明する。
【0059】
<2-6.第1表示制御>
図7Aを参照して、第1表示制御の処理手順の一例について説明する。第1表示制御は、表示装置10の動作モードとして対応部品確認モードが選択されており、かつ、図面表示部13Aに表示される図面情報において、複数の部品A1~A16のうちの任意の部品に対応する図面オブジェクト40が選択されたことに基づいて開始される。
【0060】
S11では、制御部11は、選択された図面オブジェクト40(以下では、「図面オブジェクト41X」という)に対応する機器オブジェクト50(以下では、「機器オブジェクト51X」という)を抽出する。なお、任意の図面オブジェクト41Xが選択された状態では、図7Bに示されるように、選択された任意の図面オブジェクト41Xは、他の図面オブジェクト40に対して強調表示される。強調表示の一例はハイライト表示である。
【0061】
S12では、制御部11は、抽出した機器オブジェクト51Xを特定できるように、ユニット表示部13Bの表示状態を制御する。一例では、図7Cに示されるように、選択された図面オブジェクト41Xに対応する機器オブジェクト51Xが他の機器オブジェクト50に対して強調表示される。強調表示の一例は、ハイライト表示である。
【0062】
<2-7.第2表示制御>
図8Aを参照して、第2表示制御の処理手順の一例について説明する。第2表示制御は、表示装置10の動作モードとして対応部品確認モードが選択されており、かつ、ユニット表示部13Bに表示される実機画像情報において、複数の部品A1~A16のうちの任意の部品に対応する機器オブジェクト50が選択されたことに基づいて開始される。
【0063】
S21では、制御部11は、選択された機器オブジェクト50(以下では、「機器オブジェクト52X」という)に対応する部品が含まれる図面を抽出する。S22では、制御部11は、選択された機器オブジェクト52Xに対応する図面オブジェクト40(以下では、「図面オブジェクト42X」という)を抽出する。なお、任意の機器オブジェクト52Xが選択された状態では、図8Bに示されるように、選択された任意の機器オブジェクト52Xは、他の機器オブジェクト50に対して強調表示される。強調表示の一例は、ハイライト表示である。
【0064】
S22では、制御部11は、抽出した図面オブジェクト42Xを特定できるように、図面表示部13Aの表示状態を制御する。一例では、図8Cに示されるように、選択された機器オブジェクト52Xに対応する図面オブジェクト42Xが他の図面オブジェクト40に対して強調表示される。強調表示の一例は、ハイライト表示である。
【0065】
<2-8.接続ルート確認モード>
接続ルート確認モードが選択される場合、制御部11は、第3表示制御を実行する。第3表示制御では、制御部11は、図面情報において、複数の部品A1~A16のうちの任意の部品が選択された場合に、実機画像情報において任意の部品と接続される接続部品70を特定できるように、ユニット表示部13Bの表示状態を制御する。また、図1Bに示されるように、機器ユニット82では、複数の接続部材83がダクト84に収容されているため、選択された任意の部品と接続部品70との接続ルート、換言すれば、接続部材83のルートを特定することは困難である。接続ルート確認モードでは、接続ルートを容易に確認することもできる。接続ルート確認モードにおいて、保守作業者90は、複数の部品A1~A16の接続ルートを確認したい場合、複数の図面オブジェクト40から任意の図面オブジェクト40を選択する。制御部11は、接続部品70が選択された場合に、第3表示制御において、選択された任意の部品、接続部品70、および、選択された任意の部品と接続部品70との接続ルートが特定できるように、ユニット表示部13Bの表示状態を制御する。
【0066】
<2-9.第3表示制御>
図9Aを参照して、第3表示制御の処理手順の一例について説明する。第3表示制御は、表示装置10の動作モードとして接続ルート確認モードが選択されていることに基づいて開始される。
【0067】
S31では、制御部11は、図面表示部13Aに表示される図面情報において、任意の図面オブジェクト40(以下では、「図面オブジェクト43X」という)が選択されたか否かを判定する。S31が否定判定の場合、制御部11は、S31の判定処理を繰り返し実行する。S31が肯定判定の場合、制御部11は、S32の処理を実行する。
【0068】
S32では、制御部11は、選択された任意の図面オブジェクト43Xを他の図面オブジェクト40に対して強調表示する。同様に、制御部11は、図面オブジェクト43Xに対応する機器オブジェクト50(以下では、「機器オブジェクト53Xという」)を他の機器オブジェクト50に対して強調表示する。S32における強調表示の一例は、ハイライト表示である。
【0069】
S33では、制御部11は、接続部品70に対応する図面オブジェクト40(以下では、「図面オブジェクト43Y」という)を他の図面オブジェクト40に対して強調表示する。同様に、制御部11は、図面オブジェクト43Yに対応する機器オブジェクト50(以下では、「機器オブジェクト53Y」という)を他の機器オブジェクト50に対して強調表示する。S33における強調表示の一例は、破線表示である。S33が完了した場合、例えば、図9Bに示されるように、図面オブジェクト43Xおよび機器オブジェクト53Xがハイライト表示される。また、図面オブジェクト43Yおよび機器オブジェクト53Yがハイライト表示かつ破線表示される。図9Bでは、複数の図面オブジェクト43Yおよび機器オブジェクト53Yが存在する場合を例示している。また、S33において、図面オブジェクト43Xと図面オブジェクト43Yとの接続関係を示す線分を破線等で強調表示してもよい。なお、接続部品70にユニット外部装置が含まれる場合、制御部11は、接続部品70にユニット外部装置が含まれることが把握できるように、例えば、「Tоユニット外部装置」等と表示されるように、表示部13の表示状態を制御する。
【0070】
S34では、制御部11は、接続部品70に対応する複数の図面オブジェクト43Yが存在するか否かを判定する。S34が否定判定の場合、換言すれば、接続部品70に対応する図面オブジェクト43Yが1つの場合、制御部11は、S36の処理を実行する。一方、S34が肯定判定の場合、制御部11は、S35の処理を実行する。
【0071】
S35では、制御部11は、接続部品70に対応する1つの図面オブジェクト43Yが選択されたか否かを判定する。S35が否定判定の場合、制御部11は、S35の判定処理を繰り返し実行する。S35が肯定判定の場合、制御部11は、S36の処理を実行する。
【0072】
S36では、制御部11は、1つの図面オブジェクト43X、1つの図面オブジェクト43Y、1つの機器オブジェクト53X、および、1つの機器オブジェクト53Yを強調表示する。S37では、制御部11は、図9Cに示されるように、機器オブジェクト53Xと機器オブジェクト53Yとの接続ルート60を強調表示する。強調表示の一例は、他の線分と異なる色の線分による表示である。なお、S36では、図面オブジェクト43Xと図面オブジェクト43Yとの接続関係を示す線分を強調表示してもよい。
【0073】
<2-10.機器オブジェクトの表示位置の補正動作>
図10は、機器オブジェクト50の表示位置の補正動作を示すフローチャートである。このフローチャートに示される処理は、第1表示制御、第2表示制御、または、第3表示制御が実行される前に実行される。
【0074】
S41では、制御部11は、ユニット表示部13Bに表示される機器オブジェクト50のいずれかの表示位置の補正指示が例えば、ジェスチャーを介して行なわれたか否かを判定する。例えば、保守作業者90は、実空間における機器ユニット82の部品A1~A16の位置と、部品A1~A16に対応する機器オブジェクト50の表示位置とのずれが大きい場合に、補正指示を行う。
【0075】
S41が否定判定の場合、換言すれば、補正指示がない場合、制御部11は、S41の判定処理を繰り返し実行する。S41が肯定判定の場合、S42では、制御部11は、補正指示の対象となった機器オブジェクト50の表示位置を保守作業者90の指示に従って補正する。表示装置10によれば、たとえば、機器オブジェクト50が部品A1~A16上に正しく表示されていない場合であっても、保守作業者90の指示に従って機器オブジェクト50の表示位置を補正できる。
【0076】
<3.本実施形態の効果>
以上のように構成された保守作業支援システム20では、次の効果を得ることができる。
<3-1>
図面情報において、任意の部品が選択された場合に第1表示制御が実行される。第1表示制御では、任意の部品に対応する実機画像情報がユニット表示部13Bに表示されるため、図面上の任意の部品と実機に搭載されている任意の部品との対応関係を容易に把握できる。このため、機器ユニット82の保守作業を効率的に実施できる。
【0077】
<3-2>
実機画像情報において、任意の部品が選択された場合に第2表示制御が実行される。第2表示制御では、任意の部品に対応する図面情報が図面表示部13Aに表示されるため、実機に搭載されている任意の部品と、図面上の任意の部品との対応関係を容易に把握できる。このため、機器ユニット82の保守作業を効率的に実施できる。
【0078】
<3-3>
図面情報において、任意の図面オブジェクト40が選択された場合に第1表示制御が実行され、任意の図面オブジェクト40と対応する機器オブジェクト50がユニット表示部13Bに表示される。このため、図面上の任意の部品と実機に搭載されている任意の部品との対応関係を容易に把握できる。このため、機器ユニット82の保守作業を効率的に実施できる。
【0079】
<3-4>
実機画像情報において、任意の機器オブジェクト50が選択された場合に第2表示制御が実行され、任意の機器オブジェクト50と対応する図面オブジェクト40が図面表示部13Aに表示される。このため、実機に搭載されている任意の部品と図面上の任意の部品との対応関係を容易に把握できる。このため、機器ユニット82の保守作業を効率的に実施できる。
【0080】
<3-5>
制御部11は、第3表示制御を実行するため、接続部品70を容易に確認できる。このため、利便性が高められる。
【0081】
<3-6>
第3表示制御においては、任意の部品、接続部品70、および、任意の部品と接続部品70との接続ルートを容易に確認できる。このため、利便性が高められる。
【0082】
<4.変形例>
上記実施形態は本発明に関する保守作業支援システム、保守作業支援方法、および、保守作業支援プログラムが取り得る形態の例示であり、その形態を制限することを意図していない。本発明に関する保守作業支援システム、保守作業支援方法、および、保守作業支援プログラムは、実施形態に例示された形態とは異なる形態を取り得る。その一例は、実施形態の構成の一部を置換、変更、もしくは、省略した形態、または、実施形態に新たな構成を付加した形態である。以下に実施形態の変形例の一例を示す。
【0083】
<4-1>
上記実施形態では、実機画像情報における複数の部品A1~A16の配置と、図面情報における複数の部品A1~A16の配置との関係について、各々の配置の対応関係が異なる場合について主に説明してきたが、各々の配置の対応関係が一致している場合にも保守作業支援システム20を適用可能である。例えば、産業用機器の機器ユニット82の機械図面を参照したい場合、実機における複数の部品の配置と図面における複数の部品の配置との対応関係は概ね一致している。しかし、機器ユニット82の種類によっては、部品点数が非常に多く、実機における複数の部品の配置と図面における複数の部品の配置との対応関係を容易に把握することが困難である。この変形例でも、初めは実機画像情報における任意の部品と、この任意の部品に対応する図面情報の部品との対応関係が把握できていない状況であるが、制御部11が表示状態を制御することにより、両者の対応関係を容易に把握することができる。具体的には、上記実施形態と同様に、制御部11が第1表示制御および第2表示制御の少なくとも一方を実行することにより実現可能である。これにより、機器ユニット82の保守作業を効率的に実施できる。
【0084】
<4-2>
上記実施形態では、機器オブジェクト50のサイズは、対応する部品A1~A16と実質的に同じサイズであるが、機器オブジェクト50のサイズを機器オブジェクト50の輪郭情報に基づいて、拡大できるように構成されてもよい。機器オブジェクト50の輪郭情報は、機器オブジェクト50のサイズ情報、および、座標に対する配置情報を含む情報である。機器オブジェクト50の輪郭情報は、データベースD2に格納されていてもよく、他のデータベースに格納されていてもよい。この変形例では、機器ユニット82に含まれる部品A1~A16のサイズが比較的小さい場合であっても、機器オブジェクト50を拡大できるため、機器オブジェクト50を容易に選択できる。
【0085】
<4-3>
上記実施形態では、実機画像情報として機器オブジェクト50を用いたが、実機画像情報は、任意に変更可能である。変形例の表示装置10は、実機画像情報として、部品A1~A16の輪郭情報および位置情報に基づいて規定される実機画像情報を用いる。部品A1~A16の輪郭情報は、各部品A1~A16のサイズ情報、および、座標に対する配置情報を含む情報である。輪郭情報は、例えば、データベースD2に格納されていてもよく、他のデータベースに格納されていてもよく、カメラ12による撮影画像の解析を通じて生成されてもよい。部品A1~A16の位置情報は、データベースD2に基づいて生成される。
【0086】
<4-4>
上記実施形態では、対応部品確認モードにおいて、機器オブジェクト50は、ハンドトラッキングまたはアイトラッキングによって選択されたが、機器オブジェクト50の選択方法は、任意に変更できる。変形例の表示装置10では、例えば、機器オブジェクト50に対応する部品の名称を保守作業者90が読み上げた音声情報に基づいて、機器オブジェクト50が選択される。別の変形例では、例えば、保守作業者90が機器オブジェクト50に記載される部品の文字情報を視認することに基づいて、機器オブジェクト50が選択される。この変形例では、例えば、一定時間、特定の機器オブジェクトの文字情報が視認されていることが検出された場合に、その機器オブジェクト50が選択される。さらに別の変形例では、ARカーソルを用いて、任意の機器オブジェクト50が囲まれることによって、機器オブジェクト50が選択される。
【0087】
<4-5>
上記実施形態では、対応部品確認モードにおいて、図面オブジェクト40は、ハンドトラッキングまたはアイトラッキングによって選択されたが、図面オブジェクト40の選択方法は、任意に変更できる。変形例の表示装置10では、図面情報は、複数の部品の部品名称、および、複数の部品のそれぞれに設定される記号の少なくとも一方を含む複数の部品固有情報を含む。制御部11は、複数の部品固有情報のうちの任意の部品固有情報が選択された場合に、第1表示制御において、ユニット表示部13Bに表示される実機画像情報のうちの任意の部品固有情報に対応する部品を特定できるようにユニット表示部13Bの表示状態を制御する。部品固有情報の認識は、音声情報および文字情報の少なくとも一方に基づいて実施される。さらに別の変形例では、ARカーソルを用いて、任意の図面オブジェクト40が囲まれることによって、図面オブジェクト40が選択される。
【0088】
<4-6>
上記実施形態では、図面表示部13Aは、図面情報を表示画面固定モードで表示したが、図面表示部13Aを表示画面固定モードおよび世界座標系固定モードのいずれで表示するかを選択できるように構成してもよい。上記実施形態で説明したように、ユニット表示部13Bは、機器ユニット82に重畳するように実機画像情報であるAR画像を表示する。保守作業者90の視線が変更された場合、換言すれば、表示装置10の位置が変更された場合、制御部11は、実機画像情報が機器ユニット82に重畳される状態が維持されるようにユニット表示部13Bを移動するため、移動したユニット表示部13Bと図面表示部13Aとが重なる場合がある。このような場合に、この変形例では、図面表示部13Aの表示モードを世界座標系固定モードに変更することによって、図面表示部13Aを表示部13の外に移動させることができる。表示部13の外は、例えば機器ユニット82が存在しない視線方向に位置する三次元空間である。この変形例では、ユニット表示部13Bを確認しているときに、図面表示部13Aを確認したい場合に、機器ユニット82が存在しない視線方向を向くことで図面表示部13Aを容易に確認できるため、保守作業の作業効率が高められる。
【0089】
<4-7>
表示装置10の制御部11は、カメラ12によって撮影されたARマーカに基づいて、複数の機器ユニット82のうちから、撮影された機器ユニット82を特定した。しかし、機器ユニット82の特定方法は、任意に変更可能である。変形例の表示装置10は、例えば、産業用機器80毎にARマーカが設けられる場合、ARマーカに基づいて特定した産業用機器80に含まれる複数の機器ユニット82から保守作業を実施する機器ユニット82を選択するためのメニュー画面を表示部13に表示する。保守作業者90は、メニュー画面から保守作業を実施する機器ユニット82を選択する。なお、産業用機器80に含まれる機器ユニット82が1つである場合、メニュー画面の表示は省略される。
【0090】
<4-8>
上記実施形態では、各種センサ14の検出結果に基づいて、制御部11が機器ユニット82に対する表示装置10の位置を算出していたが、機器ユニット82に対する表示装置10の位置を算出するための構成は、任意に変更可能である。一例では、カメラ12としてステレオカメラが採用される場合、制御部11は、ステレオカメラが撮影した画像情報に基づいて、機器ユニット82に対する表示装置10の位置を算出することができる。
【0091】
<4-9>
第2表示制御のS22では、制御部11は、機器オブジェクト52Xに対応する部品が含まれる図面から図面オブジェクト42Xを抽出したが、図面オブジェクト42Xの抽出は、保守作業者90が実施してもよい。この変形例では、機器オブジェクト52Xに対応する部品が含まれる図面が複数存在する場合、ページ送り機能が設けられることが好ましい。なお、第1表示制御においても、特定された機器ユニット82に関する図面が複数存在する場合、ページ送り機能が設けられることが好ましい。なお、図面は決まったページ順に表示するように予め設定されており、複数の図面が抽出された場合、ページの若い順から順に表示されるように構成されていることが好ましい。また、図面の種類は予め保守作業者90が選択することも可能である。
【0092】
<4-10>
上記実施形態においては、データベースD1、D2、D3、図面情報、および、実機画像情報は、サーバ30で管理されているが、データベースD1、D2、D3は、必ずしもサーバ30で管理されている必要はない。データベースD1、D2、D3、図面情報、および、実機画像情報は、例えば、記憶部16に記憶されていてもよい。
【0093】
<4-11>
上記実施形態において、表示装置10の表示部13に表示される画像は、例えば、保守作業者90とは離れた場所にいる支援者に共有されてもよい。すなわち、表示装置10は、いわゆる遠隔保守支援に用いられてもよい。この場合に、支援者に共有される画像においては、支援者に共有すべきでない領域が含まれなくてもよい。この変形例では、保守作業を実施する機器ユニット82が特定された場合、第1表示制御において、支援者が図面表示部13Aに表示する図面情報を指定することが好ましい。例えば、特定された機器ユニット82に対応する図面が複数存在する場合、これらの図面から保守作業者90が必要な図面を選択する場合よりも、熟練者である支援者が必要な図面を指定することによって、保守作業に要する時間を短縮できる。
【符号の説明】
【0094】
10…表示装置、11…制御部、13A…図面表示部、13B…ユニット表示部、20…保守作業支援システム、40…図面オブジェクト、50…機器オブジェクト、60…接続ルート。
図1A
図1B
図2A
図2B
図3A
図3B
図3C
図3D
図4A
図4B
図4C
図5
図6A
図6B
図7A
図7B
図7C
図8A
図8B
図8C
図9A
図9B
図9C
図10