特開 2024-172446 遠隔監視制御装置および遠隔監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024172446

(43)【公開日】2024-12-12

(54)【発明の名称】遠隔監視制御装置および遠隔監視システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20241205BHJP

   B61L 23/00 20060101ALI20241205BHJP

   B61K 13/00 20060101ALI20241205BHJP

【ＦＩ】

H04N7/18 J

H04N7/18 U

H04N7/18 K

B61L23/00 Z

B61K13/00 Z

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023090170

(22)【出願日】2023-05-31

(71)【出願人】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(71)【出願人】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】川崎 要二

(72)【発明者】

【氏名】宮川 裕史

(72)【発明者】

【氏名】宮田 淳一

【テーマコード（参考）】

5C054

5H161

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054CD00

5C054DA07

5C054EA05

5C054FA00

5C054FC12

5C054FD03

5C054FD07

5C054FE28

5C054HA30

5H161AA01

5H161MM12

5H161NN10

(57)【要約】

【課題】 周囲の状況を把握し易い遠隔監視制御装置および遠隔監視システムを提供する。
【解決手段】 実施形態によれば、遠隔監視制御装置は、第１の無線通信部と第２の無線通信部と制御部とを備える。第１の無線通信部は、列車に設置した全方位カメラが撮影した映像データを受信する。第２の無線通信部は、ヘッドマウントディスプレイと通信する。制御部は、ヘッドマウントディスプレイを装着したオペレータの視線方向を判定し、第１の無線通信部により受信した全方位カメラが撮影した映像データからオペレータの視線方向に基づいて生成した視野映像をヘッドマウントディスプレイに表示させる。
【選択図】図３

【特許請求の範囲】

【請求項1】

列車に設置した全方位カメラが撮影した映像データを受信する第１の無線通信部と、
ヘッドマウントディスプレイと通信する第２の無線通信部と、
前記ヘッドマウントディスプレイを装着したオペレータの視線方向を判定し、前記第１の無線通信部により受信した前記全方位カメラが撮影した映像データから前記オペレータの視線方向に基づいて生成した視野映像を前記ヘッドマウントディスプレイに表示させる制御部と、
を備える遠隔監視制御装置。

【請求項2】

前記第２の無線通信部は、前記ヘッドマウントディスプレイから前記オペレータの動きを検知するセンサからの出力を受信し、
前記制御部は、前記第２の無線通信部により前記ヘッドマウントディスプレイから受信する前記センサからの出力に基づいて前記オペレータの視線方向を判定する、
請求項１に記載の遠隔監視制御装置。

【請求項3】

前記第１の無線通信部は、前記列車の先頭部に設置した第１全方位カメラが撮影した第１映像データと前記列車の後尾部に設置した第２全方位カメラが撮影した第２映像データとを受信し、
前記制御部は、前記列車の進行方向に応じて選択した第１映像データ又は第２映像データから前記視野映像を生成する、
請求項１に記載の遠隔監視制御装置。

【請求項4】

前記第１の無線通信部は、前記列車に設けた車内システムから車両情報を受信し、
前記制御部は、前記視野映像とともに前記車両情報を前記ヘッドマウントディスプレイに表示させる、
請求項１に記載の遠隔監視制御装置。

【請求項5】

前記制御部は、前記第１の無線通信部により受信した前記全方位カメラが撮影した映像データから前記列車の周囲における異常状態を検出した場合に、前記異常状態を示す通知を前記ヘッドマウントディスプレイに表示させる、
請求項１乃至４の何れか１項に記載の遠隔監視制御装置。

【請求項6】

車内システムと遠隔検視制御装置とを有する遠隔監視システムであって、
前記車内システムは、
列車に設置された全方位カメラと、
前記全方位カメラが撮影した映像データを地上に設置した遠隔監視制御装置に送信する無線通信装置と、を有し、
前記遠隔監視制御装置は、
前記車内システムから前記全方位カメラが撮影した映像データを受信する第１の無線通信部と、
ヘッドマウントディスプレイと通信する第２の無線通信部と、
前記ヘッドマウントディスプレイを装着したオペレータの視線方向を判定し、前記第１の無線通信部により受信した前記全方位カメラが撮影した映像データを前記オペレータの視線方向に基づいて生成した視野映像を前記ヘッドマウントディスプレイに表示させる制御部と、
を備える遠隔監視システム。

【請求項7】

前記第２の無線通信部は、前記ヘッドマウントディスプレイから前記オペレータの動きを検知するセンサからの出力を受信し、
前記制御部は、前記第２の無線通信部により前記ヘッドマウントディスプレイから受信する前記センサからの出力に基づいて前記オペレータの視線方向を判定する、
請求項６に記載の遠隔監視システム。

【請求項8】

前記第１の無線通信部は、前記列車の先頭部に設置した第１全方位カメラが撮影した第１映像データと前記列車の後尾部に設置した第２全方位カメラが撮影した第２映像データとを受信し、
前記制御部は、前記列車の進行方向に応じて選択した第１映像データ又は第２映像データから前記視野映像を生成する、
請求項６に記載の遠隔監視システム。

【請求項9】

前記第１の無線通信部は、前記列車に設けた車内システムから車両情報を受信し、
前記制御部は、前記視野映像とともに前記車両情報を前記ヘッドマウントディスプレイに表示させる、
請求項６に記載の遠隔監視システム。

【請求項10】

前記制御部は、前記第１の無線通信部により受信した前記全方位カメラが撮影した映像データから前記列車の周囲における異常状態を検出した場合に、前記異常状態を示す通知を前記ヘッドマウントディスプレイに表示させる、
請求項６乃至９の何れか１項に記載の遠隔監視システム。

【請求項11】

さらに、疑似運転台を有する遠隔監視システムであって、
前記疑似運転台は、
前記遠隔監視制御装置と通信する第１の通信インターフェースと、
前記オペレータによる運転操作が入力される操作部と、を有し、
前記遠隔監視制御装置は、
前記疑似運転台と通信する第２の通信インターフェースを有し、
前記制御部は、前記疑似運転台の操作部により入力された運転操作に応じた前記列車を構成する車両に対する制御指令を前記第１の無線通信部により前記列車の主幹制御器を含む前記車内システムへ送信する、
請求項６に記載の遠隔監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、遠隔監視制御装置および遠隔監視システムに関する。

【背景技術】

【0002】

従来、鉄道などの列車における周囲の状況を遠隔監視する鉄道車両用の遠隔監視システムがある。従来の遠隔監視システムは、列車の進行方向にある軌道内を撮像するように撮影方向を固定したカメラが撮像した映像を映像送信装置によって遠隔地にある監視室に配信し、映像送信装置から配信された映像を遠隔監視制御装置が監視室に設置した表示装置に表示する。これにより、監視室にいるオペレータが列車の進行方向における軌道内の様子を監視する。

【0003】

しかしながら、従来の遠隔監視システムは、カメラの撮影方向が固定されるため、監視室で表示装置に表示する映像が特定の方向の映像となってしまい、監視室にいるオペレータが所定方向以外の映像を確認することができない。実際の列車の運転席にいる運転者は、列車の進行方向だけでなく、列車の周辺状況を視認することで安全を確保したり状況に応じた運転操作を行ったりできる。すなわち、従来の遠隔監視システムは、遠隔地に設置した監視室でオペレータが確認できる映像が実際に列車に乗車する運転者の視野で確認できる映像とは異なるため、監視室のオペレータが列車周囲の状況などを把握し難いことがあるという問題がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００２－２３４４４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、上記の課題に鑑みて為されたもので、周囲の状況を把握し易い遠隔監視制御装置および遠隔監視システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

実施形態によれば、遠隔監視制御装置は、第１の無線通信部と第２の無線通信部と制御部とを備える。第１の無線通信部は、列車に設置した全方位カメラが撮影した映像データを受信する。第２の無線通信部は、ヘッドマウントディスプレイと通信する。制御部は、ヘッドマウントディスプレイを装着したオペレータの視線方向を判定し、第１の無線通信部により受信した全方位カメラが撮影した映像データからオペレータの視線方向に基づいて生成した視野映像をヘッドマウントディスプレイに表示させる。

【図面の簡単な説明】

【0007】

【図1】図１は、実施形態に係る遠隔監視制御装置を含む遠隔監視システムの構成例を示す図である。

【図2】図２は、実施形態に係る遠隔監視システムにおける車内システムの構成例を説明するためのブロック図である。

【図3】図３は、実施形態に係る遠隔監視システムにおける遠隔監視制御装置、ヘッドマウントディスプレイおよび疑似運転台の構成例を示すブロック図である。

【図4】図４は、実施形態に係る遠隔監視制御装置の動作例を説明するためのフローチャートである。

【発明を実施するための形態】

【0008】

以下、図面を参照して実施形態について説明する。
図１は、実施形態に係る遠隔監視制御装置１３を含む遠隔監視システム１の構成例を示す図である。
図１に示すように、遠隔監視システム１は、車内システム２、遠隔監視制御装置１３、ヘッドマウントディスプレイ（ＨＭＤ）１４、および、疑似運転台１５などにより構成される。

【0009】

車内システム２は、列車を構成する車両内に設置される各種の装置で構成されるシステムである。車内システム２は、遠隔監視制御装置１３と通信する無線通信装置２１（図２参照）を含む各種の装置により構成される。また、車内システム２は、列車に設置される複数の全方位カメラ１１Ａ、１１Ｂを有する。図１に示す構成例において、列車の先頭部には全方位カメラ１１Ａが設置され、列車の後尾部には全方位カメラ１１Ｂが設置される。ここでは、先頭部から前方に移動する方向を列車の進行方向とし、その反対を後進方向とするものとする。

【0010】

全方位カメラ１１Ａ、１１Ｂは、設置位置から全方位の映像を撮影するカメラである。全方位カメラ１１Ａ、１１Ｂは、車外の周囲における映像を撮影できる位置に設置される。本実施形態では、列車の先頭部に設置する全方位カメラ１１Ａを第１全方位カメラと称するものとする。第１全方位カメラ１１Ａは、列車の前方を含む列車の先頭部を中心とした全方位の映像を撮影する。また、列車の後尾部に設置する全方位カメラ１１Ｂを第２全方位カメラと称するものとする。第２全方位カメラ１１Ｂは、列車の後方を含む列車の後尾部を中心とした全方位の映像を撮影する。

【0011】

車内システム２は、全方位カメラ１１Ａ、１１Ｂで撮影した映像データを車両内に設置した映像処理装置２２（図２参照）によって処理した後に無線通信装置２１により地上側の遠隔監視制御装置１３へ送信する。また、車内システム２は、当該列車を構成する車両の状態を示す各種の情報を含む車両情報を遠隔監視制御装置１３へ送信する。さらに、車内システム２は、遠隔監視制御装置１３に接続する疑似運転台１５でオペレータが入力した列車の運転に関する指令を示す情報を遠隔監視制御装置１３から取得し、列車の運転に関する指令を出力する主幹制御器２４（図２参照）へ供給する。

【0012】

遠隔監視制御装置１３は、列車とは離れた地上側に設置される。遠隔監視制御装置１３は、列車を構成する車両に設置される車内システム２と無線通信により通信する。ヘッドマウントディスプレイ１４は、列車とは離れた地上側にいるオペレータが装着する。ヘッドマウントディスプレイ１４は、遠隔監視制御装置１３と無線通信によって通信する。疑似運転台１５は、オペレータが列車に運転に関する操作を行うための装置である。疑似運転台１５は、遠隔監視制御装置１３と有線又は無線で通信可能に設けられる。本実施形態において、遠隔監視制御装置１３、ヘッドマウントディスプレイ（ＨＭＤ）１４、および、疑似運転台１５は、地上に設けられたオペレータが駐在する監視室に設けられるものとする。

【0013】

遠隔監視制御装置１３は、列車の車内システム２から全方位カメラ１１Ａ、１１Ｂで撮影した映像データを無線通信により取得する。遠隔監視制御装置１３は、車内システム２から取得する映像データに基づいてヘッドマウントディスプレイ１４に表示する表示データを生成し、表示データをヘッドマウントディスプレイ１４へ供給する。遠隔監視制御装置１３は、列車の進行方向を基準として２つの全方位カメラのうち何れかの全方位カメラが撮影した映像を選択し、さらに、ヘッドマウントディスプレイ１４を装着するオペレータの視線方向を基準にオペレータの視界映像とする映像を生成する。

【0014】

ヘッドマウントディスプレイ１４は、遠隔監視制御装置１３から供給される表示データに基づく映像を表示する。ヘッドマウントディスプレイ１４は、装着者であるオペレータが視認する映像が当該オペレータの視界映像となるように表示する。また、ヘッドマウントディスプレイ１４は、加速度センサなどのセンサを有し、それらのセンサが検知する情報をオペレータの頭部又は視線の動きを示す情報（視線情報）として遠隔監視制御装置へ出力する。また、ヘッドマウントディスプレイ１４は、透過表示モードと非透過表示モードとを切り替える機能を有するものとしても良い。例えば、ヘッドマウントディスプレイ１４は、透過表示モードである場合に装着したオペレータが直接的に疑似運転台１５などを視認可能な状態で表示映像や各種の情報などの表示を行うことができる。

【0015】

また、遠隔監視制御装置１３は、２つの全方位カメラ１１Ａ、１１Ｂが撮影した映像データの他に、各種の表示灯情報やブレーキ圧などの車両情報、および、主幹制御器のノッチなどの主幹制御情報などを車内システム２から受信する。遠隔監視制御装置１３は、映像データから生成する表示データだけでなく、車両情報や主幹制御情報などをヘッドマウントディスプレイ１４に表示するようにしても良い。

【0016】

さらに、遠隔監視制御装置１３は、車内システム２から取得した全方位カメラ１１Ａ、１１Ｂが撮影した映像データを解析することにより列車の周囲における異常を検出する。例えば、遠隔監視制御装置１３は、全方位カメラ１１Ａ、１１Ｂが撮影した映像データから軌道における障害物を検出したり、駅を通過する前後のホームにおける異常状態などを検出したりするようにしても良い。遠隔監視制御装置１３は、列車の周囲における異常を検出した場合、ヘッドマウントディスプレイ１４に異常状態に対する注意喚起を促す案内などを表示させるようにしても良い。

【0017】

また、遠隔監視制御装置１３は、ヘッドマウントディスプレイ１４に表示する映像の撮影元とする全方位カメラを列車の進行方向によって切り替える。例えば、遠隔監視制御装置１３は、列車が前進している場合には先頭部に設置した第１全方位カメラ１１Ａが撮影した映像をヘッドマウントディスプレイ１４が表示する表示データとする。また、遠隔監視制御装置１３は、列車が後退している場合には後尾部に設置した第２全方位カメラ１１Ｂが撮影した映像をヘッドマウントディスプレイ１４に表示する表示データとする。

【0018】

なお、車内システム２は、列車の進行方向に応じて何れかの全方位カメラ１１Ａ、１１Ｂを選択し、選択した全方位カメラが撮影した映像データを遠隔監視制御装置１３に送信するようにしても良い。ここでは、遠隔監視制御装置１３は、各全方位カメラが撮影した映像データを受信し、車内システム２から取得する主幹制御器の情報を主に列車の進行方向に応じた映像データを選択するものとする。これにより、遠隔監視制御装置１３は、停車駅でのオーバーランによって列車が後進する場合などであっても、列車の後進方向（後尾）側の映像を即座にヘッドマウントディスプレイ１４に表示させることができる。

【0019】

疑似運転台１５は、実際の運転台を模した装置である。疑似運転台１５は、監視室にいるオペレータが列車に対して主幹制御指示を入力するための操作部と車両情報などを表示する表示部とを備える。疑似運転台１５の操作部で入力した主幹制御指示（力行又はブレーキノッチ、前進又は後進の運転操作）を示す情報（主幹制御情報）は、遠隔監視制御装置１３を経由して車内システム２（列車の主幹制御器）に送信される。また、疑似運転台１５の表示部は、遠隔監視制御装置１３を経由して得られる列車における各種の表示灯情報やブレーキ圧などの車両情報を表示する。

【0020】

次に、実施形態に係る遠隔監視システム１における車内システム２の構成について説明する。
図２は、実施形態に係る遠隔監視システム１における車内システム２の構成例を示すブロック図である。
図２に示すように、車内システム２は、第１全方位カメラ１１Ａ、第２全方位カメラ１１Ｂ、無線通信装置２１、映像処理装置２２、車両情報装置２３、および、主幹制御器２４などにより構成される。

【0021】

全方位カメラ（第１全方位カメラ）１１Ａは、当該車内システム２が設けられる列車の先頭部を中心とした全方位の映像を撮影する。全方位カメラ（第２全方位カメラ）１１Ｂは、当該車内システム２が設けられる列車の後尾部を中心とした全方位の映像を撮影する。第１全方位カメラ１１Ａおよび第２全方位カメラ１１Ｂは、車両内に設置した映像処理装置２２に接続される。第１全方位カメラ１１Ａおよび第２全方位カメラ１１Ｂは、映像処理装置２２へ送信される。

【0022】

映像処理装置２２は、第１全方位カメラ１１Ａおよび第２全方位カメラ１１Ｂが撮影した映像を処理する装置である。映像処理装置２２は、第１全方位カメラ１１Ａ、第２全方位カメラ１１Ｂ、および、無線通信装置２１に接続される。映像処理装置２２は、第１全方位カメラ１１Ａが撮影した映像および第２全方位カメラ１１Ｂが撮影した映像のデータを取得する。映像処理装置２２は、取得した映像データに対して所定の画像処理を施す。例えば、映像処理装置２２は、第１全方位カメラ１１Ａおよび１１Ｂから取得する映像データを無線通信用に符号化する処理を行う。映像処理装置２２は、符号化処理などの画像処理を施した映像データを無線通信装置２１を介して遠隔監視制御装置１３へ送信する。

【0023】

無線通信装置２１は、遠隔監視制御装置１３と無線通信するための通信インターフェースを含む。無線通信装置２１は、映像処理装置２２で画像処理した映像データを遠隔監視制御装置１３へ無線通信により送出する。また、無線通信装置２１は、車両情報装置および主幹制御器にも接続される。無線通信装置２１は、車両情報装置２３から出力される車両情報を無線通信により遠隔監視制御装置１３へ送出する。また、無線通信装置２１は、疑似運転台１５でオペレータが入力した運転操作に応じた主幹制御情報を遠隔監視制御装置１３から受信し、受信した主幹制御情報を主幹制御器２４へ供給する。

【0024】

車両情報装置２３は、速度、ノッチ、故障情報などの当該車両に関する各種の車両情報を管理する。車両情報装置２３は、車内システム２において無線通信装置２１に接続され、車両情報装置２３は、車両情報を無線通信装置２１により遠隔監視制御装置１３へ送出する。

【0025】

主幹制御器２４は、力行又はブレーキノッチ、前進又は後進の操作に応じた制御指令を車両の駆動制御装置へ出力する。本実施形態に係る車内システム２において、主幹制御器２４は、車両内に設置された運転台で入力された運転操作に応じた制御指令を出力するだけでなく、遠隔監視制御装置１３から受信する主幹制御情報に応じて制御指令を出力する機能も有するものとする。

【0026】

次に、実施形態に係る遠隔監視システム１における遠隔監視制御装置１３の構成について説明する。
図３は、実施形態に係る遠隔監視システム１における遠隔監視制御装置１３、ヘッドマウントディスプレイ（ＨＭＤ）１４、および、疑似運転台１５の構成例を示すブロック図である。
図３に示すように、遠隔監視制御装置１３は、制御部３１、無線通信部３２、および、無線通信部３３を有する。

【0027】

制御部３１は、ＣＰＵなどのプロセッサ、メモリ、各種のインターフェースを備えるコンピュータで構成される。プロセッサは、例えば、ＣＰＵである。メモリは、ＲＯＭなどの不揮発性メモリ、ＲＡＭなどの揮発性メモリ、ＮＶＭなどの書き換え可能な不揮発性メモリなどの記憶装置で構成される。制御部３１は、プロセッサがメモリに記憶したプログラムを実行することにより種々の処理機能を実現する。

【0028】

無線通信部３２は、車内システム２の無線通信装置２１と無線通信を行う通信インターフェース（第１の無線通信部）である。無線通信部３２は、車内システム２とデータ通信ができるものであれば良く、別途設けた通信設備を介して車内システム２とのデータ通信を行うものであっても良い。無線通信部３２は、車内システム２から全方位カメラ１１Ａ、１１Ｂが撮影した映像データを受信する。本実施形態において、無線通信部３２は、車内システム２の映像処理装置が符号化などの画像処理を施した映像データを受信する。また、無線通信部３２は、車内システム２の無線通信装置２１から送出される車両情報装置２３から車両情報などを受信する。

【0029】

無線通信部３３は、ヘッドマウントディスプレイ１４と無線通信を行うための通信インターフェース（第２の無線通信部）である。無線通信部３３は、ヘッドマウントディスプレイ１４が備える無線通信方式に対応する通信インターフェースを含むものであれば良い。無線通信部３３は、制御部３１から出力されるヘッドマウントディスプレイ１４に表示させるデータをヘッドマウントディスプレイ１４に送出する。また、無線通信部３３は、ヘッドマウントディスプレイ１４に設置した各種のセンサが検知するオペレータの視線方向を判定（推定）するための情報（視線検知情報）をヘッドマウントディスプレイ１４から受信し、受信した視線検知情報を制御部３１へ供給する。

【0030】

通信インターフェース３４は、疑似運転台１５と接続するためのインターフェース（第２の通信インターフェース）である。通信インターフェース３４は、有線で疑似運転台１５と通信接続するインターフェースであっても良いし、無線で疑似運転台１５と通信接続するインターフェースであっても良い。

【0031】

図３に示す構成例において、制御部３１は、映像復号部３５、視線判定部３６、映像解析部３７、および、表示映像生成部３８などの処理機能を有する。
映像復号部３５は、車内システム２から取得する符号化された映像データを復号化する。すなわち、映像復号部３５は、無線通信部３３で受信したデータから全方位カメラ１１Ａ、１１Ｂが撮影した映像データを復元する処理を行う。

【0032】

視線判定部３６は、ヘッドマウントディスプレイ１４から取得する視線検知情報に基づいてヘッドマウントディスプレイ１４を装着しているオペレータの視線方向を判定し、オペレータの視線方向を示す情報を表示映像生成部３８へ供給する。なお、オペレータの視線方向は、ヘッドマウントディスプレイ１４が各種のセンサ情報が判定するようにしても良い。この場合、視線判定部３６は、無線通信部３３を介してヘッドマウントディスプレイ１４から視線方向を示す情報を取得し、取得した視線方向を示す情報を表示映像生成部３８へ供給するようにしても良い。

【0033】

映像解析部３７は、全方位カメラ１１Ａ、１１Ｂが撮影した映像データに基づいて列車の周囲における異常を検出する。例えば、映像解析部３７は、列車が前進している場合、第１全方位カメラ１１Ａが撮影した映像データ（第１映像データ）から列車の前方にある障害物などを異常状態として検出するだけでなく、第２全方位カメラ１１Ｂが撮影した映像データ（第２映像データ）から列車の後方に生じた異常状態を検出することもできる。これにより、映像解析部３７は、例えば、列車が駅を通過した後に通過した駅のホームから転落した人や物を異常状態として検出することもできる。また、映像解析部３７は、列車の軌道上の障害物だけでなく、全方位カメラが撮影する映像から列車の周囲の気象状況などを検出したり、列車の軌道外から軌道内に接近してくるものを検出したりすることもできる。

【0034】

表示映像生成部３８は、全方位カメラ１１Ａ、１１Ｂの映像データからヘッドマウントディスプレイ１４に表示する表示映像を生成する。表示映像生成部３８は、列車の進行方向に応じてヘッドマウントディスプレイ１４に表示させる映像データとして第１全方位カメラ１１Ａの映像データ又は第２全方位カメラ１１Ｂの映像データの何れかを選択する。また、表示映像生成部３８は、視線判定部３６が判定するヘッドマウントディスプレイ１４を装着しているオペレータの視線方向に基づいて映像データから当該オペレータの視界の映像となる表示映像（視野映像）を生成する。

【0035】

また、表示映像生成部３８は、全方位カメラ１１Ａ、１１Ｂからの映像データを基に生成する表示映像とともに、車内システム２から取得する車両情報をヘッドマウントディスプレイ１４に表示させる。また、表示映像生成部３８は、映像解析部３７で列車（車両）内および列車周辺における異常状態を検出した場合にオペレータの注意を喚起する案内をヘッドマウントディスプレイ１４に表示させる。

【0036】

次に、実施形態に係る遠隔監視システム１におけるヘッドマウントディスプレイ１４の構成について説明する。
図３に示すように、実施形態に係る遠隔監視システム１におけるヘッドマウントディスプレイ（ＨＭＤ）１４は、制御部４０、無線通信部４１、表示部４２および視線検知部４３などを有する。

【0037】

制御部４０は、プロセッサ、メモリ、各種のインターフェースを備えるコンピュータで構成される。プロセッサは、ＣＰＵなどのプログラムを実行する演算処理部である。メモリは、ＲＯＭ、ＲＡＭおよびＮＶＭなどの各種の記憶装置で構成される。制御部４０は、プロセッサがメモリに記憶したプログラムを実行することにより各部の制御および種々の処理機能を実現する。

【0038】

無線通信部４１は、遠隔監視制御装置１３と無線通信を行うための通信インターフェースである。無線通信部４１は、例えば、遠隔監視制御装置１３との通信可能となる通信方式であれば良く、例えば、ブルートゥース（登録商標）などであっても良い。無線通信部４１は、遠隔監視制御装置１３からの表示映像のデータを受信し、視線検知部４３としての各種のセンサが検知する視線検知情報を遠隔監視制御装置１３へ送出する。

【0039】

表示部４２は、当該装置を頭部に装着したオペレータが視認可能な映像を表示する。表示部４２は、無線通信部４１により遠隔監視制御装置１３から受信する表示映像をオペレータの視界の映像として表示する。

【0040】

視線検知部４３は、オペレータの頭部の動きを検知するモーションセンサや視線の向きを検知するセンサなどを有する。視線検知部４３は、無線通信部４１により遠隔監視制御装置１３へ送出するオペレータの視線を示す視線検知情報を出力する。また、視線検知部４３は、各種のセンサが検知する信号に基づいてオペレータの視線方向を判断し、視線方向の判断結果を視線検知情報として出力するようにしても良い。

【0041】

次に、実施形態に係る遠隔監視システム１における疑似運転台１５の構成について説明する。
図３に示すように、実施形態に係る遠隔監視システム１における疑似運転台１５は、制御部５１、表示部５２、操作部５３および通信インターフェース５４などを有する。
制御部５０は、プロセッサ、メモリ、各種のインターフェースを備えるコンピュータで構成される。プロセッサは、ＣＰＵなどのプログラムを実行する演算処理部である。メモリは、ＲＯＭ、ＲＡＭおよびＮＶＭなどの各種の記憶装置で構成される。制御部４０は、プロセッサがメモリに記憶したプログラムを実行することにより各部の制御および種々の処理機能を実現する。

【0042】

表示部５２は、車両情報などを表示する。例えば、表示部５２は、各種の表示灯情報やブレーキ圧などの各種の車両情報を表示するディスプレイで構成する。また、表示部５２は、実際の車両の運転台に設けられる表示灯や計器類を模した表示器で構成するようにしても良い。

【0043】

操作部５３は、車両に対する運転操作を入力するための操作機器で構成する。オペレータは、操作部５３を用いて力行又はブレーキノッチ、前進又は後進の運転操作などの運転操作を行う。制御部５０は、操作部５３を用いた運転操作に応じた主幹制御情報を遠隔監視制御装置１３を経由して車内システム２（車両の主幹制御器）へ送信する主幹制御設定部として機能する。

【0044】

通信インターフェース５４は、遠隔監視制御装置１３と接続するためのインターフェース（第１の通信インターフェース）である。通信インターフェース５４は、有線で遠隔監視制御装置１３と接続するインターフェースであっても良いし、無線で遠隔監視制御装置１３と接続するインターフェースであっても良い。

【0045】

次に、実施形態に係る遠隔監視システム１における遠隔監視制御装置１３の動作について説明する。
図４は、実施形態に係る遠隔監視システム１における遠隔監視制御装置１３の動作例を説明するためのフローチャートである。
車内システム２は、列車に設置した全方位カメラ１１Ａ、１１Ｂで撮影した映像データを映像処理装置によって符号化し、符号化した映像データを無線通信装置２１により地上側の遠隔監視制御装置１３へ送信する。

【0046】

ここでは、車内システム２は、第１全方位カメラ１１Ａが撮影した映像データと第２全方位カメラ１１Ｂが撮影した映像データとの両方を符号化して所定の周期で遠隔監視制御装置１３へ送信するものとする。ただし、車内システム２は、第１全方位カメラ１１Ａが撮影した映像データと第２全方位カメラ１１Ｂが撮影した映像データとの何れかを列車の進行方向に応じて選択し、選択した映像データを符号化して所定の周期で遠隔監視制御装置１３へ送信するようにしても良い。

【0047】

遠隔監視制御装置１３は、無線通信部３２により符号化された全方位カメラ１１Ａおよび１１Ｂで撮影した映像データを受信する（ステップＳＴ１１）。遠隔監視制御装置１３の制御部３１は、無線通信部３２が受信する符号化された映像データで映像復号部３５により復号化する（ステップＳＴ１２）。

【0048】

制御部３１は、車内システム２からの車両情報に基づいて列車の進行方向を特定し、進行方向に応じて第１全方位カメラ１１Ａが撮影した映像データと第２全方位カメラ１１Ｂが撮影した映像データとのうち何れかをヘッドマウントディスプレイ１４に表示する表示映像として選択する（ステップＳＴ１３）。例えば、制御部３１は、列車が前進している場合には第１全方位カメラ１１Ａが撮影した映像データを表示映像として選択し、列車が後進している場合には第２全方位カメラ１１Ｂが撮影した映像データを表示映像として選択する。

【0049】

また、遠隔監視制御装置１３は、無線通信部３３によりヘッドマウントディスプレイ１４を装着したオペレータの視線方向を特定するための視線検知情報をヘッドマウントディスプレイ１４から取得する。制御部３１は、ヘッドマウントディスプレイ１４から視線検知情報を取得すると、視線判定部３６により取得した視線検知情報に基づいてオペレータの視線方向を判定（推定）する（ステップＳＴ１４）。ここで、制御部３１は、ヘッドマウントディスプレイ１４から装着者であるオペレータの視線方向を示す情報を取得するようにしても良い。

【0050】

制御部３１は、視線判定部３６によりオペレータの視線方向を特定すると、オペレータの視線方向を基準としてオペレータの視野に映ると想定される視野映像を表示映像生成部３８により生成する（ステップＳ１５）。例えば、表示映像生成部３８は、オペレータの視線方向を基準に所定の視野角に入る映像を選択した全方位カメラ１１Ａ又は１１Ｂの映像から切り出すことにより視野映像を生成する。これにより、表示映像生成部３８は、当該オペレータが運転席又は全方位カメラの設置位置にいると仮定した場合のオペレータの視界に入る仮想的な映像を視野映像として生成できる。

【0051】

制御部３１は、表示映像生成部３８により視野映像を生成するとともに、無線通信部３２を介して車内システム２から当該列車の車両情報を受信する。制御部３１は、表示映像生成部３８により映像データから生成する視野映像に当該列車の車両情報を重畳する（ステップＳ１５）。これにより、制御部３１は、視野映像とともに車両情報をヘッドマウントディスプレイ１４に表示させる。例えば、制御部３１は、車内システム２から取得する車両情報から表示すべき所定の情報を抽出し、抽出した情報を視野映像に重ねてヘッドマウントディスプレイ１４に表示させる。

【0052】

さらに、制御部３１は、映像解析部３７による異常検出処理を実行する。例えば、制御部３１は、映像データから列車の周囲における異常状態の有無を検出する。異常検出処理は、異常状態として、軌道内における障害物を検出しても良いし、人や物などの軌道内への進入又は接近を検出しても良いし、軌道周囲における天候などの環境の異常を検出しても良い。なお、異常検出処理においては、視野映像として表示する映像データに限らず、ヘッドマウントディスプレイ１４に表示しない方の映像データからも異常を検出するようにしても良い。例えば、制御部３１は、進行方向の映像を視野映像としてヘッドマウントディスプレイ１４に表示させながら、列車が通過した直後（進行方向とは逆側）の軌道又は軌道周辺における異常を検出するようにしても良い。

【0053】

制御部３１は、異常検出処理によって異常が検出されない場合（ステップＳＴ１７、ＮＯ）、無線通信部３３により全方位カメラ１１Ａ又は１１Ｂが撮影した映像データから生成した視野映像に車両情報を重畳した表示映像をヘッドマウントディスプレイ１４に送信する（ステップＳ１９）。

【0054】

制御部３１は、映像解析部３７による異常検出処理によって異常が検出された場合（ステップＳＴ１７、ＹＥＳ）、異常状態であることを示す通知（異常通知）を視野映像に重畳する（ステップＳＴ１８）。異常通知としては、検出した異常状態を報知する情報であっても良いし、異常状態に対する注意喚起を知らせる情報であっても良い。異常が検出された場合、制御部３１は、無線通信部３３により視野映像に車両情報と異常検出処理によって異常を示す異常通知とを重畳した表示映像をヘッドマウントディスプレイ１４に送信する（ステップＳＴ１９）。これにより、制御部３１は、視野映像とともに車両情報および異常検知をヘッドマウントディスプレイ１４に表示させる。

【0055】

なお、上述した動作例では、遠隔監視制御装置１３が車両情報および異常通知を視野映像に重畳した表示映像をヘッドマウントディスプレイ１４に供給するものとしたが、遠隔監視制御装置１３は、全方位カメラの映像から生成した視野映像、車両情報および異常通知をそれぞれヘッドマウントディスプレイ１４へ送信するようにしても良い。この場合、ヘッドマウントディスプレイ１４は、制御部４０が視野映像に車両情報および異常通知を重ねて表示部４２に表示するようにすれば良い。

【0056】

以上のように、実施形態に係る遠隔監視システムは、列車の先頭部と後尾部とにそれぞれ設置した全方位カメラが撮影した映像データを遠隔監視制御装置に無線通信により送信する。遠隔監視制御装置は、ヘッドマウントディスプレイを装着したオペレータの動きを検出するセンサの出力に応じて装着したオペレータの視線方向を判定し、全方位カメラが撮影した映像をオペレータの視線方向に基づく仮想現実的な視野映像に変換してヘッドマウントディスプレイに表示させる。

【0057】

これにより、オペレータは、特定方向の映像に限定されず、視線方向の移動に応じた視野における映像をヘッドマウントディスプレイで見ることができ、進行方向だけでなく自身の動きに応じて表示される列車の周囲の映像を確認できる。

【0058】

また、実施形態に係る遠隔監視制御装置は、列車の進行方向に応じて全方位カメラを選択し、選択した全方位カメラが撮影した映像から視野映像を生成する。これにより、オペレータは、先頭部周辺の映像だけでなく、後進する場合には後尾部の周辺の映像も容易に確認することができる。

【0059】

また、遠隔監視制御装置は、車内システムから取得する各種の車両情報（速度、ノッチ、故障情報など）を視野映像とともにヘッドマウントディスプレイに表示させる。これにより、オペレータは、視線方向に応じて視野映像だけでなく、当該列車における各種の車両情報もヘッドマウントディスプレイを装着した状態で容易に確認することができる。

【0060】

また、遠隔監視制御装置は、全方位カメラの映像データから異常状態（障害物等）を検出した場合、ヘッドマウントディスプレイに注意を喚起するための異常通知を表示させる。これにより、オペレータは、視線方向に応じて視野映像だけでなく、当該列車や当該列車の周囲で検出された異常状態に対する注意喚起をヘッドマウントディスプレイを装着した状態で確認することができる。

【0061】

さらに、遠隔監視システムは、ヘッドマウントディスプレイ１４を装着したオペレータが車両に対する運転操作を行う疑似運転台を有する。疑似運転台は、オペレータによる運転操作に基づく力行ノッチ指令およびブレーキノッチ指令などの制御指令を示す主幹制御情報を遠隔監視制御装置へ送信する。遠隔監視制御装置は、疑似運転台からの主幹制御情報を無線通信によって車内システム２における主幹制御器２４へ送信する。これにより、オペレータは、ヘッドマウントディスプレイで実際の車両の周囲における映像を自身の視野で視認しながら遠隔地に設けた疑似運転台で当該車両に対する運転操作を行うことができる。

【0062】

また、上述した実施形態に係る遠隔監視システム１は、以下のように変形して実施することも可能である。
全方位カメラ１１Ａは、実際の車両の運転台に設置されている各種の表示灯、計器、スイッチ類を撮影できる位置に設置するようにしても良い。また、車内システム２は、実際の車両の運転台に設置されている機器（表示灯、計器、スイッチ類）を撮影できる設置した第３の全方位カメラを含む構成としても良い。実際の車両の運転台を撮影する全方位カメラを設けた場合、遠隔監視制御装置１３の制御部３１は、全方位カメラが撮影した映像から実際の車両の運転台における各種表示や設定状態を抽出してヘッドマウントディスプレイ１４に表示するようにしても良い。これにより、ヘッドマウントディスプレイ１４を装着したオペレータは、実際の車両の運転台に表示されている情報を遠隔において目視で確認できる。

【0063】

また、遠隔監視制御装置１３の制御部３１は、映像解析部３７によって実際の車両の運転台に設置されている機器（表示灯、計器、スイッチ類）を撮影できる全方位カメラが撮影する映像を解析することで、車内システム２などに不具合が生じている可能性があることを異常状態として検出するようにしても良い。例えば、映像解析部３７は、全方位カメラが撮影した映像から実際の車両の運転台に設置されている機器が表示している情報（車両の設置機器が示す情報）を検出する。制御部３１は、映像データから検出した車両の設置機器が示す情報と車内システム２から取得する車両情報とが相違する場合、車内システム２などに不具合（異常状態）が生じている可能性があると判断し、注意喚起や警告などのヘッドマウントディスプレイ１４に表示させるようにしても良い。これにより、遠隔監視制御装置１３は、車内システム２などに不具合が生じている可能性があることなどをオペレータに報知することが可能となる。

【0064】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0065】

１…遠隔監視システム、２…車内システム、１１Ａ…全方位カメラ（第１全方位カメラ）、１１Ｂ…全方位カメラ（第２全方位カメラ）、１３…遠隔監視制御装置、１４…ヘッドマウントディスプレイ（ＨＭＤ）、１５…疑似運転台、２１…無線通信装置、２２…映像処理装置、２３…車両情報装置、２４…主幹制御器、３１…制御部、３２…無線通信部、３３…無線通信部、３４…通信インターフェース、３５…映像復号部、３８…表示映像生成部、３７…映像解析部、３６…視線判定部、４０…制御部、４１…無線通信部、４２…表示部、４３…視線検知部、５１…制御部、５２…表示部、５３…操作部、５４…通信インターフェース。

【図1】

【図2】

【図3】

【図4】