特開 2023-124133 配線接続作業支援システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023124133

(43)【公開日】2023-09-06

(54)【発明の名称】配線接続作業支援システム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20230830BHJP

   G09B 19/00 20060101ALI20230830BHJP

   G06Q 50/04 20120101ALI20230830BHJP

【ＦＩ】

G06T19/00 600

G09B19/00 Z

G06Q50/04

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2022027735

(22)【出願日】2022-02-25

(71)【出願人】

【識別番号】000221616

【氏名又は名称】東日本旅客鉄道株式会社

(74)【代理人】

【識別番号】110001254

【氏名又は名称】弁理士法人光陽国際特許事務所

(72)【発明者】

【氏名】▲高▼麗 龍一

(72)【発明者】

【氏名】小林 農

【テーマコード（参考）】

5B050

5L049

【Ｆターム（参考）】

5B050BA13

5B050DA04

5B050EA07

5B050EA13

5B050EA19

5B050FA05

5B050FA14

5L049CC03

(57)【要約】

【課題】ウェアラブルグラスの表示部に表示するターゲットマークの位置にズレが生じることのない配線接続作業支援システムを提供する。
【解決手段】頭部装着型表示装置および端末装置を備え、複数の差込み口を有する端子台へ配線の端部を接続する作業を支援する配線接続作業支援システムにおいて、頭部装着型表示装置の記憶手段または端末装置の記憶部には、端子台の表面に設けられ複数の差込み口を囲む枠形状を少なくとも有する基準マーカーに対する各差込み口の相対位置情報が記憶され、映像処理手段は撮像手段により取得された映像に基づいて基準マーカーを認識する手段と、端末装置により指示された差込み口の相対位情報を頭部装着型表示装置の記憶手段又は端末装置の記憶部より取得し、相対位情報と基準マーカーとに基づいて映像内における作業対象の差込み口の位置にターゲットマークの画像を重ねて表示する画像合成手段とを備えるようにした。
【選択図】図３

【特許請求の範囲】

【請求項1】

撮像手段と、無線通信手段と、透過型表示装置と、前記撮像手段により取得された映像を画像処理する機能を備えた映像処理手段と、記憶手段とを有する頭部装着型表示装置および前記頭部装着型表示装置へデータを送信可能な端末装置を備え、複数の差込み口を有する端子台へ配線の端部を接続する作業を支援する配線接続作業支援システムであって、
前記頭部装着型表示装置の記憶手段または前記端末装置の記憶部には、前記端子台の表面に設けられ前記複数の差込み口を囲む枠形状を少なくとも有する基準マーカーに対する各差込み口の相対位置情報が記憶され、
前記映像処理手段は、
前記撮像手段により取得された映像に基づいて前記基準マーカーを認識する手段と、
前記端末装置により指示された差込み口の相対位情報を前記頭部装着型表示装置の記憶手段または前記端末装置の記憶部より取得し、取得した前記相対位置情報と認識した前記基準マーカーとに基づいて前記映像内における作業対象の差込み口の位置にターゲットマークの画像を重ねて表示する画像合成手段と、を備えていることを特徴とする配線接続作業支援システム。

【請求項2】

前記基準マーカーは、前記端子台の地色および接続される配線の色と異なる色で着色されていることを特徴とする請求項１に記載の配線接続作業支援システム。

【請求項3】

前記複数の差込み口はマトリックス状に配設されており、
前記基準マーカーは「田」の字状をなすように形成されていることを特徴とする請求項１または２に記載の配線接続作業支援システム。

【請求項4】

前記端子台は他の複数の端子台とともに１つの制御盤に配設され、前記制御盤には当該制御盤の識別情報を含む２次元コードが付記されており、
前記映像処理手段は、前記映像に含まれる前記２次元コードを解読するコード解読手段を備え、
前記端末装置より作業対象の端子台の位置情報を受信して当該位置情報に基づいて前記画像合成手段が前記映像における作業対象の端子台の位置に目印となる画像を重ねて表示するように構成されていることを特徴とする請求項１～３のいずれかに記載の配線接続作業支援システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、端子台への配線の接続作業を支援する配線接続作業支援システムに関し、例えばリレーが接続されるジャック板へ信号配線の端部を接続する作業を支援する配線接続作業支援システムに利用して有効な技術に関する。

【背景技術】

【0002】

従来、端子台としてのジャック板へ配線端部を接続する作業を支援する配線接続作業支援システムとしては、撮像手段および表示手段と無線通信手段を備えたウェアラブルグラス（頭部装着型表示装置）を作業者が頭部に装着し、ウェアラブルグラスの撮像手段で撮影した映像画像に、配線端部を差し込む位置を示すマークを重ねて表示手段に表示するようにしたＡＲ表示（拡張現実）を行うようにしたものがある。

【0003】

かかるシステムにおいては、ウェアラブルグラスが無線通信により受信した配線作業指示情報をもとに、配線端部を差し込む予定位置を示すターゲットマークをＡＲ表示させるため、例えば予め配線差込み箇所の相対位置情報を記憶させたＡＲマーカーを情報兼基準マーカーとしてジャック板の配線差込み口の外側に付設し、撮像手段で撮影した映像画像をウェアラブルグラスに搭載されたマイクロプロセッサで画像処理して基準マーカーを認識し、基準マーカーに対する相対位置情報に基づいて差込み箇所を示すターゲットマークを表示させることが行われる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１４－２０３３８２号公報

【特許文献2】特開２０１６－６２０２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記従来のＡＲ表示技術においては、基準マーカーと配線箇所との相対位置関係から差込み箇所を示すターゲットマークを表示させているため、ウェアラブルグラスの撮像手段で撮影した画像上の基準マーカーの位置関係（角度、距離）によっては、ターゲットマークの表示位置に数ミリ程度のズレが生じてしまう場合がある。
また、基準マーカーをシールに印刷して貼付する場合、シールを高精度で所定位置に貼付するのが困難であり、貼付位置精度が悪いと、ウェアラブルグラスでのターゲットマークの表示位置にズレが生じてしまう。 さらに、作業対象がジャック板の場合、複数の配線ケーブルが接続されるため、基準マーカーの一部が既接続の配線ケーブルによって隠れてしまう可能性があり、その場合にはウェアラブルグラスの撮像手段で基準マーカーの情報を読み取ることができないという課題があった。

【0006】

なお、従来、タブレット型端末装置にカメラで撮影した映像画像に仮想オブジェクトを重ねて表示するＭＲ表示装置に関する発明として、例えば特許文献１に記載されているものがある。この特許文献１には、映像画像からマーカー画像を認識し、マーカー画像ごとに規定された仮想オブジェクトを表示するための表示情報を参照して、そのマーカー画像に関連付けられた仮想オブジェクトと表示位置とを特定して、そのマーカー画像に関連付けられた仮想オブジェクトを、映像画像の表示情報で規定された表示位置にＭＲ（複合現実）表示する技術が記載されている。
特許文献１の発明は、映像画像に仮想オブジェクトを重ねて表示するＭＲ表示装置に関するものであるが、マーカーを利用しているため、端子台へ配線端部を接続する作業を支援するシステムに適用する場合には、前述したのと同様に、マーカーの付設位置精度が悪いと仮想オブジェクトの表示位置に数ミリ程度のズレが生じるという課題がある。

【0007】

また、グラス型ウェアラブル端末の装着者の視野内に、カメラで撮影した映像画像に重ねて表示し、コンテンツサーバより受信した各作業工程の作業支援情報を表示するようにした作業工程学習支援システムに関する発明が特許文献２に記載されている。
しかしながら、特許文献２の発明は、料理の作業手順をテキストデータでウェアラブル端末にＡＲ表示するというもので、位置を示すマークをＡＲ表示することについては記載されておらず、配線接続作業支援システムに適用した場合には差込み位置を視覚的に示すことができないという課題がある。

【0008】

本発明は上記のような背景のもとになされたもので、ウェアラブルグラスの表示部に表示するターゲットマークの位置にズレが生じることのない配線接続作業支援システムを提供することを目的とする。
本発明の他の目的は、基準マーカーとなる画像の一部が配線によって隠れてしまっても正しい位置を把握して配線差込み位置を示すターゲットマークをＡＲ表示させることができる配線接続作業支援システムを提供することにある。

【課題を解決するための手段】

【0009】

上記課題を解決するために、本出願に係る発明は、
撮像手段と、無線通信手段と、透過型表示装置と、前記撮像手段により取得された映像を画像処理する機能を備えた映像処理手段と、記憶手段とを有する頭部装着型表示装置および前記頭部装着型表示装置へデータを送信可能な端末装置を備え、複数の差込み口を有する端子台へ配線の端部を接続する作業を支援する配線接続作業支援システムにおいて、
前記頭部装着型表示装置の記憶手段または前記端末装置の記憶部には、前記端子台の表面に設けられ前記複数の差込み口を囲む枠形状を少なくとも有する基準マーカーに対する各差込み口の相対位置情報が記憶され、
前記映像処理手段は、
前記撮像手段により取得された映像に基づいて前記基準マーカーを認識する手段と、
前記端末装置により指示された差込み口の相対位情報を前記頭部装着型表示装置の記憶手段または前記端末装置の記憶部より取得し、取得した前記相対位置情報と認識した前記基準マーカーとに基づいて前記映像内における作業対象の差込み口の位置にターゲットマークの画像を重ねて表示する画像合成手段と、を備えるようにしたものである。

【0010】

上記のように構成された配線接続作業支援システムによれば、端子台の表面に設けられた着色領域からなる基準マーカーと当該基準マーカーに対する相対位情報とに基づいて、端子台を撮影した映像内における作業対象の差込み口の位置にターゲットマークの画像を重ねて表示するため、ターゲットマークの位置にズレが生じることがない。また、基準マーカーは複数の差込み口を囲む枠形状を少なくとも有するため、差込み口の大きさよりもずっと大きなマーカーを基準にして作業対象の差込み口の位置にターゲットマークが表示されることとなるので、ターゲットマークの表示位置の精度を高めることができる。

【0011】

ここで、望ましくは、前記基準マーカーは、前記端子台の地色および接続される配線の色と異なる色で着色されているように構成する。
このような構成によれば、基準マーカーの色が周囲の色と異なるため、画像処理によって基準マーカーを確実に認識することができる。

【0012】

また、望ましくは、前記複数の差込み口はマトリックス状に配設されており、
前記基準マーカーは「田」の字状をなすように形成されているようにする。
かかる構成によれば、端子台に複数の配線が接続されている状態においても、基準マーカーを確実に認識することができる。

【0013】

さらに、望ましくは、前記端子台は他の複数の端子台とともに１つの制御盤に配設され、前記制御盤には当該制御盤の識別情報を含む２次元コードが付記されており、
前記映像処理手段は、前記映像に含まれる前記２次元コードを解読するコード解読手段を備え、
前記端末装置より作業対象の端子台の位置情報を受信して当該位置情報に基づいて前記画像合成手段が前記映像における作業対象の端子台の位置に目印となる画像を重ねて表示するように構成する。

【0014】

上記のような構成によれば、作業対象の端子台の位置に目印となる画像が表示されるため、作業者は容易に作業対象の端子台を見つけることができるとともに、誤った端子台に配線が接続されてしまうのを回避することができる。

【発明の効果】

【0015】

本発明に係る配線接続作業支援システムによれば、ウェアラブルグラスの表示部に表示するターゲットマークの位置にズレが生じることのないようにすることができる。また、基準マーカーとなる画像の一部が配線によって隠れてしまっても正しい位置を把握して配線差込み位置を示すターゲットマークをＡＲ表示させることができることができるという効果がある。

【図面の簡単な説明】

【0016】

【図1】（Ａ）は本発明に係る配線接続作業支援システムによる支援作業の対象となるＡ形ジャック板の一構成例を示す正面図、（Ｂ）は（Ａ）のジャック板に基準マーカーを設けた状態を示す正面図、（Ｃ）は（Ｂ）のジャック板を撮影した映像画像に位置を示すマークを重ねて表示したＡＲ表示画像を示す図である。

【図2】本発明に係る配線接続作業支援システムを構成するウェアラブルグラスの構成例を示すブロック図である。

【図3】実施形態の配線接続作業支援システムにおけるジャック板への配線端部の接続作業の手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0017】

以下、図面を参照しながら本発明に係る配線接続作業支援システムの一実施形態について説明するが、先ず、実施形態に係る配線接続作業支援システムによる支援作業の対象となる端子台の一例としてのＡ形ジャック板の構成について、図１を用いて説明する。
Ａ形ジャック板１０は、鉄道設備用の器具箱内に設置され踏切遮断機などの制御に使用されるＪＲＳ規格Ａ形の直流リレーを取り付けるための端子台であり、前面にリレーが装着されるソケットが設けられ、背面には、図１（Ａ）に示すように、配線の端部（プラグ）を差し込むための複数の差込み口１２がマトリックス状に並んで配設されたジャック部１１が設けられており、各差込み口１２の内部に接続用の端子が固定されている。

【0018】

また、図１（Ａ）に示すＡ形ジャック板１０は、ジャック部１１の横に基板部１３が設けられ、この基板部１３は他の複数の基板部とともに１つの配電盤に配設され、図示しないが、配電盤には当該配電盤の識別情報を含むＡＲマーカーのような２次元コードを印刷したシールが貼布されている。
さらに、ジャック板１０の周縁部には、当該ジャック板１０を配電盤等に固定するための固定用ネジ１５を挿通する複数のネジ穴が設けられている。なお、配電盤には、一般に、図１に示すようなジャック板１０が複数個取り付けられている。

【0019】

実施形態におけるジャック板１０は、ジャック部１１の格子状をなす枠体の表面に、枠体を形成する絶縁素材（合成樹脂）が持つ本来の色すなわち枠体の地色とは異なる色の塗料が、図１（Ｂ）に示すように、枠いっぱいに「田」の字を表わすように塗布されている。本実施形態に係る配線接続作業支援システムにおいては、この塗料で表記された「田」の字のパターンＰを、差込み口１２の位置を特定するための基準マーカーとして利用して、図１（Ｃ）に示すように、配線接続作業で配線の端部を差し込む差込み口１２を指示する長方形状のマークＭを表示する位置を決定し、後述のウェアラブルグラスの前面の透過型表示部に表示するようにシステムが構成されている。

【0020】

さらに、本実施形態のジャック板１０においては、当該ジャック板に複数の配線が接続されている状態においても、ジャック板１０を撮影した画像を処理することで上記基準マーカー（パターンＰ）を確実に認識できるようにするため、当該基準マーカーの色として、当該ジャック板１０に接続する配線ケーブルの色とも異なる色が選択されている。
なお、基準マーカーの色の選択方法としては、円周方向に色相、半径方向に彩度をとって表したカラーチャートを利用して、使用する複数の配線ケーブルの色から比較的離れている色すなわち色相および彩度の差が大きい色を選択する方法を採用すると良い。具体的には、例えば使用する配線ケーブルの色が白と赤と青と緑の４色の場合には、オレンジ色または紫色を基準マーカーの色として選択することが考えられる。

【0021】

上記のように、枠いっぱいに「田」の字状のパターンＰを表記するように、配線ケーブルの色と異なる色の塗料をジャック板の表面に塗布しそれを基準マーカーとして使用するようにしたことにより、既に複数の配線ケーブルが接続されているジャック板に別の配線ケーブルを接続するに際して、ジャック板や基準マーカーの一部が既接続の配線ケーブルによって隠されていたとしても、ジャック板を撮影した映像画像から基準マーカーを画像処理で比較的正確に認識することができるという利点がある。

【0022】

図２には、本発明に係る配線接続作業支援システムを構成するウェアラブルグラスの構成例を示すブロック図が示されている。
図２に示すように、本実施形態で使用するウェアラブルグラス２０は、グラスの前方を撮影する映像カメラ２１、図示しない作業管理用のコンピュータと無線通信を行うための無線通信器２２、映像カメラ２１からの映像信号を処理するデータ処理部（映像処理手段）２３、映像カメラ２１により撮影した映像を表示する透過型表示部（ディスプレイ）２４、アプリケーション・プログラムや配線端部の差込み位置を指示するターゲットマークの画像データなどを記憶する記憶部２５、電源電圧を供給する電池２６などを備えている。

【0023】

データ処理部２３は、マイクロプロセッサ（ＣＰＵ）とＣＰＵが実行するプログラムを記憶するＲＯＭのような不揮発性記憶装置と、ＲＡＭのような読み出し書き込み可能な記憶装置とから構成され、映像カメラ２１からの映像信号を画像処理して作業対象のジャック板の表面に設けられた基準となる着色枠（基準枠）を判別する着色枠判別部３１や、無線通信器２２を介して映像カメラ２１の撮影画像データを作業管理用のコンピュータ（ＰＣ）へ送信したり作業指示情報を受信したりする送受信処理部３２を備えている。

【0024】

また、データ処理部２３は、配電盤上に貼布されているＡＲマーカーのような２次元コードの画像を変換処理して他のジャック板と区別するための識別情報等を解読するコード解読部３３、解読された情報に基づいて接続作業を行う差込み口の基準枠に対する相対位置を判定するとともに記憶部２５より差込み口のマーク画像を読み込む差込み口マーク表示位置判定部３４、読み込まれた差込み口のマーク画像を映像カメラ２１の撮影画像の判定された位置に重ねた画像を生成してウェアラブルグラス前面の透過型表示部２４に表示させる画像合成処理部３５等を備える。

【0025】

次に、本実施形態の配線接続作業支援システムによる支援を受けて行う配線接続作業の具体的な手順の一例について、図３のフローチャートを用いて説明する。なお、以下の説明では、作業対象の配電盤には複数のジャック板が取り付けられているとともに、配電盤の所定位置には当該配電盤の識別情報を含む２次元コードを印刷したシールが貼付されている。また、配電盤のある現場から離れた場所に設置されている端末装置としての作業支援用ＰＣの記憶装置には、上記配電盤を含む複数の配電盤それぞれに設けられているジャック板の種類を示す情報および配電盤上における各ジャック板の位置情報、各ジャック板における配線接続を行うべき差込み口の相対位置情報がリスト形式で記憶されているものとする。

【0026】

配線接続を行う作業者が作業対象の配電盤のある現場に到着し、ウェアラブルグラス２０を頭部に装着して電源スイッチをオンすると、映像カメラ２１に電源が供給されて撮影が開始され、ウェアラブルグラス２０は撮影した映像画像を遠隔地にある作業支援用ＰＣへ送信する（ステップＳ１１）。

【0027】

一方、ウェアラブルグラス２０より送信された映像画像を受信した作業支援用ＰＣは、受信した配電盤の映像画像をモニタ上に表示する（ステップＳ２１）。そして、記憶装置内の当該配電盤上に配設されているジャック板のリストをモニタ上に表示し、モニタ上に表示されているリストの中から作業対象のジャックおよび配線接続作業を行う差込み口がオペレータ（作業支援担当者）により選択されると、作業支援用ＰＣは当該ジャック板の識別情報、配電盤上での位置情報および配線接続作業を行う差込み口の相対位置情報（基準マーカーに対する位置）をウェアラブルグラス２０へ送信する（ステップＳ２２）。なお、このとき、作業支援用ＰＣは、選択された差込み口へ端部を接続するケーブルに関する情報（例えば色、あるいはケーブルに取り付けられている荷札等に記されている番号などの情報）を合わせて送信するようにしても良い。

【0028】

すると、ジャック板の識別情報および位置情報を受信したウェアラブルグラス２０は、配電盤が視野内にあり配電盤が撮影されると、その映像画像内に映り込んでいる２次元コードを解読し、配電盤上の２次元コード（シール）を基準とした作業対象のジャック板の位置情報を取得し、取得した位置情報に基づいて作業対象のジャック板の位置を示すマーク（目印となる画像）を生成し、前面の表示部に表示する（ステップＳ１２）。この映像を見た作業者が作業対象のジャック板に近寄ることで、拡大したジャック板の映像が表示部に表示されるようになる。

【0029】

作業支援用ＰＣより送信された差込み口の相対位置情報を受信したウェアラブルグラス２０は、基準マーカーを認識して選択された差込み口の位置を算出し当該差込み口を指示するターゲットマークを表示部に表示する（ステップＳ１３）。その後、この映像を見た作業者が、ターゲットマークが表示されている差込み口へケーブルの端部を差し込む作業を行うと、その作業中の映像が作業支援用ＰＣへ送信される（ステップＳ１４）。
作業支援用ＰＣ側では、受信した映像を見て差込み作業の終了を確認すると、次に差込みを行う差込み口があるか判定し（ステップＳ２３）、次の差込み口がありその差込み口が選択されると、ステップＳ２２へ戻って次に選択された差込み口の相対位置情報をウェアラブルグラス２０へ送信する。また、次の差込み口がない、すなわち作業対象のジャック板に関して必要なすべて差込み口へのケーブルの接続作業が終了すると、ステップＳ２２へ戻って、次の作業対象のジャック板の識別情報および位置情報をウェアラブルグラス２０へ送信し、上記処理を繰り返す。

【0030】

上記のような手順に従った処理を実行可能な本実施形態の配線接続作業支援システムによれば、ジャック板を搭載した配電盤のある現場から離れた場所にある作業支援用ＰＣから現場の作業者に対して適切な指示を与えて、ジャック板への配線ケーブルの接続作業を実施することができるため、作業効率が向上する。また、２次元コードのシールを基準するのではなく、ジャック板の枠体そのものを基準マーカーとしてターゲットマークの位置を指定するため、位置精度の高いターゲットマークを、作業者が装着しているウェアラブルグラスの表示部において映像画像に重ねて表示することができる。その結果、迅速にケーブルの接続作業を実施できるとともに、誤った差込み口へのケーブルの接続を防止することができる。

【0031】

以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、種々の変形や変更が可能である。例えば、上記実施形態では、ジャック板の枠体の表面に「田」の字を表記するように配線ケーブルの色と異なる色の塗料を塗布して基準マーカーとすると説明したが、差込み口の数が少ないジャック板においてはジャック板の枠体の表面に「口」の字あるいは「十」の字を表記するように塗料を塗布するようにしても良い。

【0032】

また、前記実施形態においては、制御盤におけるジャック板の位置情報および作業内容を記したリストやジャック板における基準マーカーに対する各差込み口の相対位置情報を示したリストが作業支援用ＰＣの記憶部に記憶されていると説明したが、基準マーカーに対する各差込み口の相対位置情報はウェアラブルグラスの記憶部に記憶されていても良い。また、ジャック板の識別情報や制御盤の識別情報は、ＡＲマーカーでなくバーコードに変換されて表記されていても良い。

【符号の説明】

【0033】

１０ ジャック板
１１ ジャック部
１２ 差込み口
１３ 基板部
１５ 固定用ネジ
２０ ウェアラブルグラス
２１ 映像カメラ
２２ 無線通信器
２３ データ処理部（映像処理手段）
２４ 透過型表示部（ディスプレイ）
２５ 記憶部

【図1】

【図2】

【図3】