(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024018247
(43)【公開日】2024-02-08
(54)【発明の名称】呼接続サーバ、集約サーバ、遠隔作業支援システム、遠隔作業支援方法、プログラム
(51)【国際特許分類】
H04L 65/102 20220101AFI20240201BHJP
H04L 12/66 20060101ALI20240201BHJP
【FI】
H04L65/102
H04L12/66
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022121453
(22)【出願日】2022-07-29
(71)【出願人】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(71)【出願人】
【識別番号】598076591
【氏名又は名称】東芝インフラシステムズ株式会社
(74)【代理人】
【識別番号】110001737
【氏名又は名称】弁理士法人スズエ国際特許事務所
(72)【発明者】
【氏名】田代 太一
(72)【発明者】
【氏名】稲村 浩之
(72)【発明者】
【氏名】飯田 康隆
【テーマコード(参考)】
5K030
【Fターム(参考)】
5K030HB01
5K030HB02
5K030HB06
5K030HD03
5K030KA05
(57)【要約】
【課題】遠隔作業支援の呼接続サーバ、集約サーバ、遠隔作業支援システム、遠隔作業支援方法、プログラムを提供することを目的とする。
【解決手段】実施形態に係る呼接続サーバは、クローズドな第1ネットワークに接続される作業現場端末とデータを送受信する第1インターフェースと、オープンな第2ネットワークに接続される遠隔支援端末とデータを送受信する第2インターフェースと、コンピュータで実行される遠隔支援アプリケーション処理部と、Webサービスを提供するWebサーバとを備え、前記遠隔支援アプリケーション処理部は、前記作業現場端末と前記遠隔支援端末とを呼接続する呼接続処理と、前記作業現場端末と前記遠隔支援端末とのデータ通信を中継する中継処理と、Webコンテンツを生成するWebコンテンツ生成処理を含み、前記Webサーバは、前記Webコンテンツを前記遠隔支援端末に提供する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
クローズドな第1ネットワークに接続される作業現場端末とデータを送受信する第1インターフェースと、
オープンな第2ネットワークに接続される遠隔支援端末とデータを送受信する第2インターフェースと、
遠隔支援アプリケーション処理部と、
Webサービスを提供するWebサーバとを備え、
前記遠隔支援アプリケーション処理部は、
前記作業現場端末と前記遠隔支援端末とを呼接続する呼接続処理と、
前記作業現場端末と前記遠隔支援端末とのデータ通信を中継する中継処理と、
Webコンテンツを生成するWebコンテンツ生成処理を含み、
前記Webサーバは、前記Webコンテンツを遠隔支援端末に提供する呼接続サーバ。
【請求項2】
前記遠隔支援アプリケーション処理部は、前記遠隔支援端末から受信した優先度情報に基づいて前記データ通信のための通信容量を決定するネットワークスライシング処理を備える請求項1に記載の呼接続サーバ。
【請求項3】
前記遠隔支援アプリケーション処理部は、前記遠隔支援端末が前記優先度情報を設定可能なWeb画面を生成する処理を備える請求項2に記載の呼接続サーバ。
【請求項4】
前記作業現場端末に関する情報である端末リスト情報を備え、
前記端末リスト情報には、通信可能である作業現場端末を特定する現場端末情報が含まれる請求項1乃至請求項3のいずれか1項に記載の呼接続サーバ。
【請求項5】
前記端末リスト情報は、特定の作業現場端末に紐づけて、前記特定の作業現場端末を支援する支援端末情報と、前記特定の作業現場端末が通信中であるか否かを判断できる接続状態情報とが含まれる請求項4に記載の呼接続サーバ。
【請求項6】
第3ネットワークに接続される請求項2に記載の呼接続サーバとデータを送受信する第3インターフェースと、
オープンな第2ネットワークに接続される遠隔支援端末とデータを送受信する第2インターフェースと、
集約サーバ遠隔支援アプリケーション処理部と、
Webサービスを提供する第2Webサーバとを備え、
前記集約サーバ遠隔支援アプリケーション処理部は、
前記作業現場端末と前記遠隔支援端末との呼接続処理を中継する呼接続中継処理と、
前記作業現場端末と前記遠隔支援端末とのデータ通信を中継するデータ通信中継処理とを備え、
前記第2Webサーバは、前記呼接続サーバの遠隔支援アプリケーション処理部が生成するWebコンテンツを受信し、前記Webコンテンツを前記遠隔支援端末に提供する集約サーバ。
【請求項7】
請求項1に記載の呼接続サーバと、
クローズドな第1ネットワークと、
オープンな第2ネットワークと、
前記第1ネットワークに接続される1以上の作業現場端末と、
前記第2ネットワークに接続される1以上の遠隔支援端末とを備える遠隔作業支援システムであって、
前記遠隔支援端末は、Webブラウザから前記呼接続サーバのWebサーバにアクセスして、前記呼接続サーバの遠隔支援アプリケーション処理部を制御して、前記作業現場端末とデータ通信をする遠隔作業支援システム。
【請求項8】
請求項6に記載の集約サーバと、
1以上の呼接続サーバと、
クローズドな第1ネットワークと、
オープンな第2ネットワークと、
前記第1ネットワークに接続される1以上の作業現場端末と、
前記第2ネットワークに接続される1以上の遠隔支援端末とを備える遠隔作業支援システムであって、
前記呼接続サーバは、
前記作業現場端末と前記遠隔支援端末との呼接続処理を中継する呼接続中継処理と、
前記作業現場端末と前記遠隔支援端末とのデータ通信を中継するデータ通信中継処理とを備え、
前記遠隔支援端末は、Webブラウザから前記集約サーバのWebサーバにアクセスして、前記呼接続サーバの遠隔支援アプリケーション処理部を制御して、前記作業現場端末とデータ通信をする遠隔作業支援システム。
【請求項9】
請求項7に記載の遠隔作業支援システムにおける遠隔作業支援方法であって、
遠隔支援端末は、Webブラウザから呼接続サーバのWebサーバにアクセスして、前記呼接続サーバの遠隔支援アプリケーション処理部を制御して、前記作業現場端末とデータ通信をする遠隔作業支援方法。
【請求項10】
請求項1の呼接続サーバにおいてコンピュータで実行される遠隔支援アプリケーションのプログラムであって、
前記作業現場端末と前記遠隔支援端末とを呼接続する呼接続処理と、
前記作業現場端末と前記遠隔支援端末とのデータ通信を中継する中継処理と、
Webコンテンツを生成するWebコンテンツ生成処理を含むプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明の実施形態は、遠隔作業支援の呼接続サーバ、集約サーバ、遠隔作業支援システム、遠隔作業支援方法、プログラムに関する。
【背景技術】
【0002】
工事や点検などの現場作業を作業に不慣れな人員や新人などが行う場合、これまではベテランが側について作業指示などの作業支援を行っていた。このような場合、作業する人員に常に別の支援者が付き添う必要があることから人的リソースが増加するという問題があった。また、支援者が複数の離れた箇所の作業現場で支援を行う場合、支援者がそれぞれの現場に移動するための時間的コスト・金銭的コストが必要となっていた。さらに、近年、感染症のリスク拡大に伴い、「人流の抑制」、「二人の作業の削減」に対するニーズが拡大してきている。現状、遠隔から現場の作業者を支援するには電話などでの音声のみの指示などが主であり、現場状況が把握しづらく適切な支援がしづらいという問題があった。
【0003】
この問題に対し、近年、カメラ機能を搭載したVR(Virtual Reality)/MR(Mixed Reality)グラスなどを用い、仮想現実/複合現実といった技術により、遠隔の支援者が現場のリアルタイムな状況を詳細に把握したり、現場作業者に支援映像を送ったりする遠隔作業支援システムが注目を浴びている。さらに、5Gやローカル5Gといった、低遅延・広帯域な通信が普及してきており、特に工場などの作業現場においては、干渉の可能性が低く、現場の電波環境や目的に応じた調整が可能なローカル5Gを用いたシステム構築が検討されてきている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、支援者は、現場作業者と離れた位置から支援をするために、どこからでも現場作業者と通信を可能とする例えばインターネットのようなオープンなネットワークを用いることが望ましく、ローカル5Gのような作業現場のクローズドなネットワークと組み合わせたシステムが望まれる。
【0006】
本発明が解決しようとする課題は、オープンなネットワークとクローズドなネットワークを用いて遠隔作業支援を行うための呼接続サーバ、集約サーバ、遠隔作業支援システム、遠隔作業支援方法、プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
実施形態に係る呼接続サーバは、クローズドな第1ネットワークに接続される作業現場端末とデータを送受信する第1インターフェースと、オープンな第2ネットワークに接続される遠隔支援端末とデータを送受信する第2インターフェースと、コンピュータで実行される遠隔支援アプリケーション処理部と、Webサービスを提供するWebサーバとを備え、前記遠隔支援アプリケーション処理部は、前記作業現場端末と前記遠隔支援端末とを呼接続する呼接続処理と、前記作業現場端末と前記遠隔支援端末とのデータ通信を中継する中継処理と、Webコンテンツを生成するWebコンテンツ生成処理を含み、前記Webサーバは、前記Webコンテンツを前記遠隔支援端末に提供する。
【図面の簡単な説明】
【0008】
【
図1】
図1は、第1の実施形態に係る遠隔作業支援システムの構成図である。
【
図2】
図2は、第1の実施形態に係る遠隔作業支援システムにおける通信経路の一例を示す図である。
【
図3】
図3は、第1の実施形態に係る呼接続サーバの処理を示すフローチャートである。
【
図4】
図4は、第1の実施形態に係る遠隔支援端末に表示される作業支援コミュニケーションツールアプリケーション画面の一例である。
【
図5】
図5は、第1の実施形態に係る作業現場端末に表示される作業支援コミュニケーションツールアプリケーション画面の一例である。
【
図6】
図6は、変形例1に係る遠隔作業支援システムの構成図である。
【
図7】
図7は、変形例1に係る作業現場端末1がNAT変換を行うルータ配下に存在する場合のIPアドレス変換の一例を示す。
【
図8】
図8は、第2の実施形態に係る遠隔作業支援システムの構成図である。
【
図9】
図9は、第2の実施形態に係る遠隔作業支援システムにおける通信経路の第1の例を示す図である。
【
図10】
図10は、第2の実施形態に係る遠隔支援端末に表示される作業支援コミュニケーションツールアプリケーション画面の第1の例である。
【
図11】
図11は、第2の実施形態に係る呼接続サーバの処理を示すフローチャートである。
【
図12】
図12は、第2の実施形態に係る遠隔作業支援システムにおける通信経路の第2の例を示す図である。
【
図13】
図13は、第2の実施形態に係る作業現場端末間の通信時の呼接続サーバの処理を示すフローチャートである。
【
図14】
図14は、第2の実施形態に係る遠隔支援端末に表示される作業支援コミュニケーションツールアプリケーション画面の第2の例である。
【
図15】
図15は、第2の実施形態に係る遠隔支援端末に表示される作業支援コミュニケーションツールアプリケーション画面の第2の例から操作された場合の呼接続サーバの処理を示すフローチャートである。
【
図16】
図16は、変形例2に係る遠隔作業支援システムの第1の構成図である。
【
図17】
図17は、変形例2に係る遠隔作業支援システムの第2の構成図である。
【
図18】
図18は、変形例2に係る遠隔作業支援システムの第3の構成図である。
【
図19】
図19は、第3の実施形態に係る遠隔支援端末に表示される作業支援コミュニケーションツールアプリケーション画面の第1の例である。
【
図20】
図20は、第3の実施形態に係る呼接続サーバの処理を示すフローチャートである。
【
図21】
図21は、第3の実施形態に係る呼接続サーバが管理する端末リスト情報の例である。
【
図22】
図22は、第3の実施形態に係る遠隔作業支援システムにおいて遠隔支援端末と作業現場端末に割り当てられたシステムリソースの例を示すイメージ図である。
【
図23】
図23は、第4の実施形態に係る遠隔作業支援システムの構成図である。
【
図24】
図24は、第4の実施形態に係る遠隔作業支援システムにおける通信経路の第1の例を示す図である。
【
図25】
図25は、第4の実施形態に係る遠隔作業支援システムのデータベースの第1の例を示す図である。
【
図26】
図26は、第4の実施形態に係る集約サーバの処理を示すフローチャートである。
【
図27】
図27は、第4の実施形態に係る呼接続サーバの処理を示すフローチャートである。
【
図28】
図28は、第4の実施形態に係る遠隔作業支援システムにおける通信経路の第2の例を示す図である。
【
図29】
図29は、第4の実施形態に係る作業現場端末間の通信時における、要求する側の呼接続サーバの処理を示すフローチャートである。
【
図30】
図30は、第4の実施形態に係る作業現場端末間の通信時の集約サーバの処理を示すフローチャートである。
【
図31】
図31は、第4の実施形態に係る作業現場端末間の通信時において、要求される側の呼接続サーバの処理を示すフローチャートである。
【
図32】
図32は、第4の実施形態に係る遠隔作業支援システムのデータベースの第2の例を示す図である。
【発明を実施するための形態】
【0009】
以下、図面を参照しながら、本発明の実施形態について説明する。
(第1の実施形態)
本実施形態における遠隔作業支援システムは、クローズドなネットワークに接続される作業現場端末1と外部ネットワークに接続される遠隔支援端末3との間で接続処理・中継処理を行う呼接続サーバ2を備える。以降、作業現場端末1の操作者を作業者、遠隔支援端末3の操作者を支援者と称することもある。
【0010】
図1は、第1の実施形態に係る遠隔作業支援システムの構成図を示し、作業現場端末1がクローズドなネットワーク4Aに存在し、遠隔支援端末3に専用のアプリケーションをインストール不要とする遠隔作業支援システムの構成例を示す図である。
【0011】
遠隔作業支援システムは、作業現場端末1、呼接続サーバ2、遠隔支援端末3、BS40を含む。
【0012】
作業現場端末1は、例えば、VR/MRグラスやPC端末またはスマートフォンなどの端末であり、CPUやメモリを含むコンピュータを備える。作業現場端末1はカメラ・マイク部13、作業支援クライアント部11、作業支援コミュニケーション部12を備える。作業現場端末1は、クローズドなネットワーク4Aに接続され、遠隔支援端末3と各種通信をする。また作業現場端末1は、呼接続サーバ2の作業支援コミュニケーションツールアプリケーション21に対応する作業現場端末アプリケーションプログラムがインストールされている。作業支援クライアント部11、作業支援コミュニケーション部12は、作業現場端末アプリケーションプログラムに含まれていてもよい。
【0013】
作業支援クライアント部11は、呼接続サーバ2の作業支援コミュニケーションツールアプリケーション21からの命令に基づいて、作業支援コミュニケーション部12を制御したり、作業支援コミュニケーションツールアプリケーション21へデータを出力したりする。
【0014】
作業支援コミュニケーション部12は、通話接続機能、音声通話機能、映像表示機能、チャット機能、ファイル転送機能などを備え、遠隔支援端末3と機能に応じたデータ通信をする。作業支援コミュニケーション部12の上記機能を総称してコミュニケーション手段と称する。通話接続機能、音声通話機能、映像表示機能、チャット機能、ファイル転送機能は、通常のPCなどに備えられる機能であってもよいが、これらの機能を利用するためのアプリケーション画面を表示部15に表示することでもよい。
【0015】
カメラ・マイク部13は、例えば、カメラやマイクなどのセンサを含み、音声、動画像などのデータを取得し、作業支援コミュニケーション部12に取得したデータを出力する。カメラ・マイク部13は、例えば作業者が現場の状況を撮影したり、作業者自身の作業状況を撮影したりするのに利用される。なおカメラ・マイク部13は、周辺装置としてケーブル等で作業現場端末1と接続されることでもよい。
【0016】
I/F部14は、ネットワーク4Aに接続され、データ通信をするインターフェースであり、ネットワーク4Aが備える通信手段に応じた通信手段を備える。
【0017】
表示部15は、動画像、テキストなどを表示するモニタであり、通常のPCなどのディスプレイである。作業現場端末1がVR/MRグラスである場合は、表示部15は、グラス用ディスプレイ等であってもよい。また、仮想現実/複合現実のオブジェクトを視点映像に含めてVR/MRグラスに表示することでもよい。仮想現実/複合現実のオブジェクトは、VR/MRグラスの外部から入力されてもよいし、MRグラス内部のストレージ(例えば記憶部25に相当)に保存された情報(例えば手順書PDFなど)を仮想現実/複合現実のオブジェクトとして表示部15にさせることでもよい。
【0018】
呼接続サーバ2は、作業現場端末1と遠隔支援端末3との通信を中継するためサーバであり、例えばCPUやメモリを含むコンピュータを備える。呼接続サーバ2は、クローズドなネットワーク4A(BS40を介する)と外部のネットワーク4Bとに接続される。呼接続サーバ2は、作業支援コミュニケーションツールアプリケーション21、Webサーバ機能を備えるWebサーバ22、ストリーム中継機能を備えるストリーム中継部23、呼接続機能を備える呼接続部24を含む。
【0019】
また呼接続サーバ2には、作業現場端末アプリケーションプログラムに対応するアプリケーションプログラム(呼接続サーバアプリケーションプログラムと称する)がインストールされている。作業支援コミュニケーションツールアプリケーション21、ストリーム中継部23、呼接続部24は、呼接続サーバアプリケーションプログラムに含まれていてもよい。
【0020】
作業支援コミュニケーションツールアプリケーション21のアプリケーション機能をWebコンテンツ化してWebサーバ22に登録し、Webサーバ22が公開する。なお、Webコンテンツ化(Web表示画面など)は、ユーザーなどが事前にHTML生成などによってWebコンテンツ生成したり、作業支援コミュニケーションツールアプリケーション21が生成したりするなど任意の方法でよい。またWebサーバ22が、例えば作業支援コミュニケーションツールアプリケーション21からアプリケーション機能に関するデータを取得するなどして、Webコンテンツ化を実施することでもよい。
【0021】
Webサーバ22がWebコンテンツを公開することにより、呼接続サーバ2にWebアクセス可能な端末(遠隔操作端末3に相当)に対して作業支援システムの機能を提供する。
【0022】
記憶部25は、各種データが格納される不揮発性メモリを含む記憶装置を示す。記憶部25には、作業現場端末1から取得した接続可能な端末に関する情報(端末リスト情報と称する)が格納される。
【0023】
I/F部26-1は、呼接続サーバ2をBS40に接続し、データ通信をするインターフェースであり、BS40が備える通信手段に応じた通信手段を備える。
【0024】
I/F部26-1は、ネットワーク4Bに接続され、データ通信をするインターフェースであり、ネットワーク4Bが備える通信手段に応じた通信手段を備える。
【0025】
遠隔支援端末3は、モニタなどを備えたPC端末またはスマートフォンなどの端末であり、呼接続サーバ2を介して作業現場端末1と通信をする。遠隔支援端末3は、CPUやメモリを含むコンピュータを備える。遠隔支援端末3はブラウザ部31、作業支援コミュニケーション部32、カメラ・マイク部33を備える。遠隔支援端末3は、外部のネットワーク4Bに接続され、呼接続サーバ2、作業現場端末1などと通信をする。
【0026】
遠隔支援端末3は、PCなどが通常に備えるブラウザ機能(ブラウザ部31)を介して、呼接続サーバ2が提供するWebサーバ22にアクセスして、作業支援コミュニケーションツールアプリケーション21にアクセスする。そのため遠隔支援端末3は、専用のアプリケーションソフトのインストールを不要とし、汎用端末による遠隔作業支援システムの利用を可能とする。
【0027】
ブラウザ部31は、PCなどが通常に備えるブラウザ機能であり、呼接続サーバ2のWebサーバ22が提供する各種Webデータを受信し、表示部35のブラウザに表示する。例えば遠隔支援端末3の操作者は、表示部35に表示されたブラウザから呼接続サーバ3の作業支援コミュニケーションツールアプリケーション21へアクセスする。
【0028】
作業支援コミュニケーション部32は、作業現場端末1との通信接続機能の他、作業現場端末1の作業支援コミュニケーション部12が備える機能と同様の機能、すなわち通話接続機能、音声通話機能、映像表示機能、チャット機能、ファイル転送機能などを備え、作業現場端末1と機能に応じたデータ通信をする。
【0029】
支援者は、遠隔支援端末3から、作業内容を把握可能な画像・手順書などを例えば、ファイル転送機能を用いて電子ファイルで送信したり、映像表示機能を用いて映像を送信したりすることが可能である。一方、現場の作業者は、作業現場端末1のファイル転送機能を用いて電子ファイルを受信したり、映像表示機能を用いて映像を受信したりし、表示部15に表示させて確認する。
【0030】
遠隔支援端末3の作業支援コミュニケーション部32は、呼接続サーバ2の作業支援コミュニケーションツールアプリケーション21が提供する画面であり、アプリケーションに係る実際の処理は呼接続サーバ2が実施する。
【0031】
カメラ・マイク部33は、例えば、カメラやマイクなどのセンサを含み、音声、動画像などのデータを取得し、作業支援コミュニケーション部32などを介して、作業現場端末1に取得したデータを送信する。遠隔支援者が、作業現場の作業者の支援をするために、例えば、カメラ・マイク部33で作業方法などを撮影して作業現場端末1に送信する。
【0032】
I/F部34は、ネットワーク4Bに接続され、データ通信をするインターフェースであり、ネットワーク4Bが備える通信手段に応じた通信手段を備える。
【0033】
表示部35は、モニタ、ディスプレイなどであり、ブラウザ部31が出力するブラウザやWebデータなどを表示する。例えば、遠隔支援端末3の利用者は、表示部35に表示されたブラウザを通じて、呼接続サーバの作業支援コミュニケーションツールアプリケーション21にアクセスする。また、遠隔支援端末3がVR/MRグラスである場合は、表示部35は、グラス用ディスプレイ等であってもよい。
【0034】
ネットワーク4Aは、作業現場端末1、BS40が接続されるネットワークである。本実施形態におけるネットワーク4Aは、イントラネットなどクローズド(closed)なネットワークを想定する。以降、ネットワーク4Aにおいて用いられる通信手段を通信手段4Aと称する。すなわち、作業現場端末1、BS40は、通信手段4Aを備える。通信手段4Aは、有線無線に限定されず、例えば、イーサーネット、BlueTooth(登録商標)、WiFi(登録商標)、5G通信(5th Generation通信)に基づいたローカル5Gなど任意の通信方式でもよい。
【0035】
ネットワーク4Bは、呼接続サーバ2、遠隔支援端末3が接続されるネットワークを示す。本実施形態におけるネットワーク4Bは、インターネットなどのオープン(open)なネットワークを想定する。以降、ネットワーク4Bにおいて用いられる通信手段を通信手段4Bと称する。すなわち、呼接続サーバ2、遠隔支援端末3は、通信手段4Bを備える。通信手段4Bは、有線無線に限定されず、例えば、イーサーネット、BlueTooth(登録商標)、WiFi(登録商標)、5G通信(5th Generation通信)に基づいたローカル5Gなど任意の通信方式でもよい。
【0036】
BS40は、通信手段4A及び呼接続サーバ2のI/F部26-1とのインターフェースを備えた基地局である。BS40は、通信手段4Aによりネットワーク4Aを介して作業現場端末1が出力した各種データを受信し、呼接続サーバ2へ出力する。BS40は、通信手段4Aに応じて、例えば、WiFiのアクセスポイント、ローカル5Gの基地局など称してもよい。
【0037】
以下に、本実施形態の遠隔操作システムの動作例を示す。
【0038】
図2は、第1の実施形態に係る遠隔作業支援システムにおける通信経路の一例を示す図である。
【0039】
呼接続サーバ2は、予め作業現場端末1の作業支援クライアント部11を介して、ネットワーク4Aに接続される現場端末のリストである端末リスト情報を記憶部25に格納して管理する。端末リスト情報251は、端末リスト情報の例であり、項目「現場端末」に示される作業現場端末に関する端末情報を行ごとに示す。項目「現場端末」の端末情報は、作業現場端末の識別番号、作業現場端末の名称など作業現場端末を特定する任意の情報であってよい。呼接続サーバ2は、端末リスト情報251を参照することで、例えば作業現場端末1がネットワーク4Aを接続されていることや、作業現場端末1が通信可能であることなどを認識する。
【0040】
また端末リスト情報は、端末リスト情報2512のように、端末リスト情報251に現場端末と接続している「支援端末」や「接続状態」の情報を追加してもよい。端末リスト情報2512は、「作業現場端末1」が「遠隔支援端末3」と「接続中」であることを示している。呼接続サーバ2は、状態の変化などが生じた場合に端末リスト情報2512を更新するなどして記憶部25に格納して管理する。
【0041】
遠隔支援端末3は、ブラウザ部31によりネットワーク4Bを介して呼接続サーバ2のWebサーバ22にデータアクセスし(通信DC1)、作業支援コミュニケーションツールアプリケーション21を介して作業現場端末1との接続要求を実行する(通信DC2)。作業現場端末1と遠隔支援端末3とのシグナリング通信は、呼接続サーバ2の呼接続部24を仲介して実施され、作業現場端末1の作業支援コミュニケーション部12と遠隔支援端末3の作業支援コミュニケーション部32とを呼接続処理し、通信を確立する(通信SC1、SC2)。通信が確立された作業現場端末1と遠隔支援端末3は、音声・映像などのストリーミングデータ通信などを相互に疎通開始する(通信DC3)。クローズドなネットワーク4Aと外部のインターネット4Bとを介して疎通するため、データ通信DC3は呼接続サーバ2のストリーム中継部23を中継する形で相互に伝送される。
【0042】
図3は、第1の実施形態に係る呼接続サーバの処理を示すフローチャートである。
【0043】
遠隔支援端末3の操作者が、表示部35に表示されるブラウザから作業支援コミュニケーションツールアプリケーション(URLなど)にアクセスする。Webサーバ22は、ブラウザ部31からネットワーク4Bを介してアクセスがあると(ステップS101のYes)、作業支援コミュニケーションツールアプリケーション21からアプリケーション画面データを取得し、遠隔支援端末3のブラウザ部31へ出力する(ステップS102)。遠隔支援端末3においては、表示部35に作業支援コミュニケーションツールアプリケーション21のアプリケーション画面が表示される。
【0044】
遠隔支援端末3の操作者が、表示部35のアプリケーション画面から作業現場端末1へ接続要求をすると、作業支援コミュニケーションツールアプリケーション21は、Webサーバ22を介して接続要求を受信する(ステップS103のYes)。作業支援コミュニケーションツールアプリケーション21は、記憶部25の端末リスト情報を確認し、接続要求された作業現場端末1への接続ができるか否かを確認する(ステップS104、ステップS105)。
【0045】
ステップS105において、作業支援コミュニケーションツールアプリケーション21は、接続要求された作業現場端末1がネットワーク4Aに存在しかつ接続可能な状態であることを確認すると、作業現場端末1に対して接続要求を実施する(ステップS105のYes、ステップS106)。
【0046】
作業現場端末1において作業支援クライアント部11は、作業支援コミュニケーションツールアプリケーション21からの接続要求を受信すると、接続を許可するなどを示す接続許可の応答を送信する。作業支援コミュニケーションツールアプリケーション21は、作業現場端末1から接続許可の応答を受信すると、遠隔支援端末3に接続許可の応答を出力するなどし、作業現場端末1と遠隔支援端末3との呼接続が完了する(ステップS107のYes)。ステップS107のYesの後、呼接続サーバ2のストリーム中継部23が中継処理をして、作業現場端末1と遠隔支援端末3とが各種通信を実施する(ステップS108)。呼接続サーバ2は、作業現場端末1に対する端末リスト情報を更新する(S109)。端末リスト情報2512は、S109において更新後の端末リスト情報の例であり、項目「現場端末」の「作業現場端末1」に対する項目「支援端末」を「遠隔支援端末3」、項目「接続状態」を「接続中」として更新した例である。
【0047】
以上の手順により、クローズドなネットワークであるネットワーク4A、オープンなネットワークであるネットワーク4Bにそれぞれ接続される作業現場端末1と遠隔支援端末3との通信が可能となる。
【0048】
図4は、第1の実施形態に係る遠隔支援端末に表示される作業支援コミュニケーションツールアプリケーション画面の一例である。
【0049】
遠隔支援端末3の表示部35に表示される遠隔支援端末画面351にはブラウザ310が表示され、ブラウザ310は、作業現場端末カメラ映像表示画面301、作業現場端末接続選択画面302、チャット表示画面303、転送ファイル選択画面304を含む。ブラウザ310に表示される各画面のデータは、呼接続サーバ2の作業支援コミュニケーションツールアプリケーション21が提供する。
【0050】
遠隔支援端末3の作業現場端末カメラ映像表示画面301には、接続している作業現場端末1のカメラ・マイク部13で撮影されたリアルタイム映像が表示される。作業現場端末接続選択画面302には、接続可能な作業現場端末1の一覧3021が表示され、作業現場端末1ごとに接続(通話)と切断を制御するボタンが配置され、ボタンの押下などにより、該当する作業現場端末1との通信が接続または切断される。
図4の一覧3021は、作業現場端末1-1、1-2の2台が表示されている例であるが、呼接続サーバ2の作業支援コミュニケーションツールアプリケーション21は、端末リスト情報を参照して、通信可能な1以上の作業現場端末1を一覧3021に表示させることでもよい。
【0051】
遠隔支援端末3の操作者が、作業現場端末接続選択画面302から接続要求したい作業現場端末1の通話ボタンを押下すると、作業支援コミュニケーション部32は、作業現場端末1への接続要求を実行する。
【0052】
チャット表示画面303にはチャット入力欄3031や投稿されたチャットを表示するチャット一覧表示欄を含む。転送ファイル選択画面304では、作業現場端末1へ転送するファイルを選択し送信する機能が提供される。チャット表示画面303、転送ファイル選択画面304とも、呼接続サーバ2のストリーム中継部23を介して作業現場端末1の作業支援コミュニケーション部12とデータのやり取りをする。
【0053】
図5は、第1の実施形態に係る作業現場端末に表示される作業支援コミュニケーションツールアプリケーション画面の一例である。
【0054】
表示部15に表示される作業現場端末画面10には、作業現場端末カメラ視点映像表示画面101、作業支援コミュニケーションツール表示画面102が表示される。作業現場端末カメラ視点映像表示画面101には、作業現場端末1に搭載されたカメラ・マイク部13で撮影したリアルタイム映像を表示する。すなわち作業現場端末カメラ視点映像表示画面101には、作業者視点で撮影したリアルタイム映像を表示することができる。作業現場端末1がVR/MRグラスである場合、表示画面101には、グラス用ディスプレイ等を透過して見る実映像が表示されることでもよい。より具体的に、例えばMRグラスのディスプレイには通常、カメラで撮影した映像を表示しているのではなく、半透明なグラスディスプレイを通して実環境の映像がそのまま見えており、その上にオブジェクトやウインドウが重なって表示される。
【0055】
作業支援コミュニケーションツール表示画面102は、遠隔作業支援システムで提供されるコミュニケーション手段で得られる各種情報を表示するウインドウ表示である。コミュニケーション手段で得られる情報としては、対向側である遠隔支援端末3の映像情報、チャット情報、画像や手順書などのファイル表示などを選択して表示できる。作業支援コミュニケーションツール表示画面102は、作業現場端末カメラ視点映像表示画面101上に必要に応じて複数配置することでもよい。
(変形例1)
本変形例は、第1の実施形態の変形例であり、作業現場端末1がルータ15を介してネットワーク4Aに接続しており、NAT(Network Address Translation)変換などが行われることによって、作業現場端末1が保持するIPアドレスと、対向からアクセスするIPアドレスが異なる場合の構成実現例を示す。
【0056】
図6は、第1の変形例に係る遠隔作業支援システムの構成図である。
【0057】
呼接続サーバ2の呼接続機能は、NATによるIPアドレス変換を考慮し、アクセス可能な作業現場端末1や遠隔支援端末3の情報を、それぞれ遠隔支援端末3や作業現場端末1に伝えたり、作業現場端末1や遠隔支援端末3が出力する映像・音声のストリーミング映像を呼接続サーバ2のストリーム中継部33を介して転送したりすることで、NAT変換環境下で作業現場端末1と遠隔支援端末3とを接続する。
【0058】
端末リスト情報251Aは、呼接続サーバ2が記憶部25に格納しているデータベースの例であり、行ごとに、「現場端末」と「現場端末に割り振られているIPアドレス」と現場端末に接続されている「ルータ15のIPアドレス」とが格納されている。例えば、データ251A1は、作業現場端末1AにはIPアドレス(192.168.1.100/24)が割り振られ、IPアドレス(128.100.100.2/16)が割り振られたルータ15と接続されていることを示す。
【0059】
図7は、作業現場端末1がNAT変換を行うルータ配下に存在する場合のIPアドレス変換の一例を示す。
【0060】
呼接続サーバ2がIPアドレスと宛先を適切に変換し中継することで、作業現場端末1と遠隔支援端末3が直接通信不可である場合でも遠隔作業支援システムを提供することが可能となる。
図7に示す例では、作業現場端末1、遠隔支援端末3には、IPアドレス192.168.1.100/24、10.255.255.10/8がそれぞれ割り振られ、呼接続サーバ2には、10.255.255.1/8、128.100.100.1/16の2つのIPアドレスが割り振られる。またルータ15には、128.100.100.2/16、192.168.1.1/24の2つのIPアドレスが割り振られる。
【0061】
呼接続サーバ2は、10.255.255.1/8で遠隔支援端末3(10.255.255.10/8)とIP通信し、128.100.100.1/16でルータ15(128.100.100.2/16)とIP通信する。また、ルータ15は、192.168.1.1/24で作業現場端末1(192.168.1.100/24)とIP通信する。
【0062】
以上の手順により、クローズドなネットワークであるネットワーク4Aにルータ15を介して接続される作業現場端末1と、オープンなネットワークであるネットワーク4Bに接続される遠隔支援端末3との通信が可能となる。
(第2の実施形態)
本実施形態においては、外部ネットワークに1以上の遠隔支援端末が接続され、同一のクローズドなネットワークに1以上の作業現場端末が接続されるマルチ接続に対応した遠隔作業支援システムの例を示す。
【0063】
図8は、第2の実施形態に係る遠隔作業支援システムの構成図であり、作業者、支援者ともに複数存在する場合に、任意の作業現場端末1と任意の遠隔支援端末3とが接続するマルチ接続の場合の例である。
【0064】
作業現場端末1-1~作業現場端末1-mが備える機能は、
図1に示した作業現場端末1の機能と同様であり、それぞれ特に区別しない場合は、作業現場端末1と総称する。また遠隔支援端末3-1~遠隔支援端末3-nが備える機能は、
図1に示した遠隔支援端末3の機能と同様であり、それぞれ特に区別しない場合は、遠隔支援端末3と総称する。本実施形態においては、作業現場端末1-1~作業現場端末1-m(m:作業者数)、遠隔支援端末3-1~遠隔支援端末3-n(n:遠隔支援端末数)が相互に通信を行う。
【0065】
図9は、第2の実施形態に係る遠隔作業支援システムにおける通信経路の第1の例を示す図であり、
図8の構成図に通信経路を示した図である。
【0066】
図9において、呼接続サーバ2は、予め作業現場端末1-1、1-2それぞれの作業支援クライアント部11を介して接続可能な端末の情報を取得し、端末リスト情報を生成し、管理する。端末リスト情報251Bは、端末リスト情報の一例であり、ネットワーク4Aに接続されている複数の作業現場端末1が含まれる。遠隔支援端末3-1はブラウザ機能によりネットワーク4Bを介して呼接続サーバ2のWebサーバ22にデータアクセスし、作業支援コミュニケーションツールアプリケーション21を介して作業現場端末1-1、1-2との接続要求を実行する(通信DC20、DC21、DC22-1、DC22-2)。作業現場端末1-1、1-2と遠隔支援端末3-1とのシグナリング通信は、呼接続サーバ2の呼接続部24を仲介して実施され、作業現場端末1-1、1-2の作業支援コミュニケーション部12と遠隔支援端末3-1の作業支援コミュニケーション部32とを呼接続処理し、通信を確立する(通信SC21、SC22-1、SC22-2)。
【0067】
図10は、第2の実施形態に係る遠隔支援端末に表示される作業支援コミュニケーションツールアプリケーション画面の第1の例であり、
図4に示した例との差異は、作業現場端末カメラ映像表示画面301が複数になった点である。
【0068】
遠隔支援端末画面351のブラウザ310は、作業現場端末カメラ映像表示画面301-1~301-m(m:作業者数)、作業現場端末接続選択画面302、チャット表示画面303、転送ファイル選択画面304を含む。作業現場端末カメラ映像表示画面301-1~301-mには、接続している作業現場端末1-1~1-mのカメラで撮影されたリアルタイム映像がそれぞれ画面レイアウト上に個別に表示される。作業現場端末カメラ映像表示画面301の表示サイズは調整可能とし、表示する作業現場端末1が多く存在する場合は、作業現場端末カメラ映像表示画面301-1~301-mを映像の画像サイズを小型化したサムネイル映像表示にして全てを並べて表示する形としてもよい。
【0069】
図11は、第2の実施形態に係る呼接続サーバの処理を示すフローチャートである。
【0070】
呼接続サーバ2の処理は、
図3に示した処理と基本的には同様であり、同様の部分の説明は省略する。
図3との主な差異は、遠隔支援端末3の操作者が、表示部35に表示されるブラウザから、複数の作業現場端末1-1、1-2に対して接続要求を実施する点である。遠隔支援端末3の操作者は、複数の作業現場端末1-1、1-2への接続要求の際、
図10の作業現場端末接続選択画面3021において、作業現場端末1-1、1-2の通話ボタンを連続で押下してもよいし、1つの通話ボタンを押下して呼接続されたことを確認してから次の通話ボタンを押下することでもよい。
図11は、操作者が作業現場端末1-1、1-2の通話ボタンを連続で押下する場合の処理例である。
【0071】
呼接続サーバ2は、連続的に作業現場端末1-1、1-2への接続要求を受信する(ステップS203)。1つの作業現場端末1に対する処理を実施した後、再度ステップS203に戻り、作業現場端末1への接続要求が残っていたら、ステップS204以下の処理を繰り返す(ステップS205のNo、S207のNo、S209)。S209において呼接続サーバ2は、
図10に示すデータベースである端末リスト情報251Bを更新する。より具体的には、呼接続サーバ2は、作業現場端末1への処理結果に応じて端末リスト情報251Bの「現場端末」に紐づけられる項目「支援端末」、「接続状態」を更新する。
【0072】
以上の手順により、クローズドなネットワークであるネットワーク4A、オープンなネットワークであるネットワーク4Bにそれぞれ接続される1以上の作業現場端末1と遠隔支援端末3との通信が可能となる。また、任意の遠隔支援端末3は、同様に
図11に示すフローチャートの処理により、任意の作業現場端末1に接続できる。
【0073】
図12は、第2の実施形態に係る遠隔作業支援システムにおける通信経路の第2の例を示す図である。
【0074】
図12において、通信が確立された作業現場端末1-1、1-2と遠隔支援端末3-1は、音声・映像などのストリーミングデータ通信などを相互に疎通開始する(通信DC23-1、DC23-2)。クローズドなネットワーク4Aと外部のインターネット4Bとを介して疎通するため、データ通信は呼接続サーバ2のストリーム中継部23を中継する形で相互に伝送される。
【0075】
このとき、呼接続サーバ2のストリーム中継部23がマルチにストリーム転送を行うことで、作業現場端末1-1、1-2の間もお互いの音声・映像を相互に送受信することができ、各作業現場端末1は必要に応じてマイクや映像のON/OFFを設定可能とすることでもよい。マルチ接続でのチャット機能では、各作業現場端末1は、全体投稿/特定宛先を指定して送信を選択する。またマルチ接続でのファイル転送機能は、各作業現場端末1は、指定したファイルを指定した宛先に送信する。また、遠隔支援端末3が複数存在する場合にも、呼接続サーバ2のストリーム中継部23を介して、複数の作業現場端末1や複数の遠隔支援端末3の間で映像・音声の疎通を行う。
【0076】
端末リスト情報251B2は、作業現場端末1-1、1-2が、それぞれ「支援端末」である遠隔支援端末3-1と接続中であることを示す。
【0077】
図13は、第2の実施形態に係る作業現場端末間の通信時の呼接続サーバの処理を示すフローチャートである。
【0078】
作業現場端末1-1、1-2は、それぞれ遠隔支援端末3-1と呼接続がされ、音声・映像などのストリーミングデータ通信を実施しているものとする。例えば、作業現場端末1-1の操作者が、作業現場端末1-2とストリーミングデータ通信をするため、作業現場端末1-1から作業現場端末1-2への接続要求を出力する。
【0079】
呼接続サーバ2は、作業現場端末1-1からの作業現場端末1-2への接続要求を受信すると、作業現場端末1-1と作業現場端末1-2との呼接続を確立する(ステップS221のYes、S222)。呼接続を確立すると、作業現場端末1-1と作業現場端末1-2とでストリーミングデータ通信が開始され、呼接続サーバ2は、作業現場端末1-1と作業現場端末1-2とのストリーミングデータ通信の中継処理を開始する(ステップS223)。呼接続サーバ2は、作業現場端末1-1に対する端末リスト情報を更新する(S224)。
【0080】
図12の端末リスト情報251B3は、S224において更新後の端末リスト情報の例であり、作業現場端末1-1が、作業現場端末1-2と接続中であることを示す。なお、端末リスト情報251B3において作業現場端末1-2は項目「支援端末」に示したが、「接続中現場端末」などの項目を増やして、「現場端末」である作業現場端末1-1、1-2に紐づけられた「接続中現場端末」をそれぞれ作業現場端末1-2、1-1として更新することでもよい。
【0081】
以上の手順により、遠隔支援端末3は、複数の作業現場端末1と各種データ通信が可能となり、また異なる作業現場端末1間での各種データ通信が可能となる。
【0082】
図14は、第2の実施形態に係る遠隔支援端末に表示される作業支援コミュニケーションツールアプリケーション画面の第2の例である。
【0083】
遠隔支援端末画面351は、指定した作業現場端末1の映像を拡大して表示する作業現場端末カメラ映像選択端末表示画面301と、表示する作業現場端末1を選択して切り替える作業現場端末カメラ映像画面選択タブ305-1~305-m(特に区別しない場合は、作業現場端末カメラ映像画面選択タブ305と称する)とを備える。例えば、作業現場端末カメラ映像画面選択タブ305-1は、作業現場端末1-1のタブとし、作業現場端末305-mは、作業現場端末1-mのタブとする。
【0084】
表示したい作業現場端末1の作業現場端末カメラ映像画面選択タブ305を選択して拡大表示することで、接続中の作業現場端末1が多く存在する場合に、状況に応じて必要な映像表示に切り替えて作業支援を行うことが可能となる。また、作業現場端末カメラ映像画面選択タブ305は、タブの代わりに映像の画像サイズを小型化したサムネイル映像表示にし、サムネイル映像を閲覧して詳細を確認したい端末をクリックして拡大表示する方法を取っても良い。それ以外の表示画面は
図11と同様である。
【0085】
図15は、第2の実施形態に係る遠隔支援端末に表示される作業支援コミュニケーションツールアプリケーション画面の第2の例から操作された場合の呼接続サーバの処理を示すフローチャートである。
【0086】
作業現場端末1-1、1-2は、それぞれ遠隔支援端末3-1と呼接続がされ、遠隔支援端末3-1の操作者は、遠隔支援端末画面351の作業現場端末カメラ映像選択端末表示画面301-1で作業現場端末1-1からの映像を視聴しているものとする。遠隔支援端末3-1の操作者は、作業現場端末カメラ映像選択端末表示画面301-1を作業現場端末1-2からの映像に切り替えるために、作業現場端末カメラ映像画面選択タブ305-2をクリックするなどして選択する。遠隔支援端末3-1は、作業現場端末カメラ映像画面選択タブ305-2が選択されたことを示すタブ選択情報を呼接続サーバ2へ出力する。
【0087】
呼接続サーバ2は、タブ選択情報を受信すると、遠隔支援端末3-1への出力データとして作業現場端末1-2から受信しているストリーミングデータを選択して出力する(ステップS241のYes、S242)。呼接続サーバ2は、作業現場端末1-2から受信するストリーミングデータの中継処理をする(ステップS243)。ステップS243の後、呼接続サーバ2は、作業現場端末1-2に対する端末リスト情報を更新することでもよい(S244)。
【0088】
端末リスト情報は、例えば「現場端末」に紐づけて「ストリーム出力」などの項目を増やしてもよい。その場合、S244においては、作業現場端末1-1に対する「ストリーム出力」を「停止中」とし、作業現場端末1-2に対する「ストリーム出力」を「出力中」などとして端末リスト情報を更新することでもよい。
【0089】
なお上記においては、呼接続2は、作業現場端末1-1、1-2双方から常にストリーミングデータを受信している例を示したが、受信したタブ選択情報に基づいて、選択された作業現場端末1からストリーミングデータを受信するようにしてもよい。
【0090】
以上の手順により、遠隔支援端末3は、複数の作業現場端末1と各種データ通信が可能となり、また異なる作業現場端末1間での各種データ通信が可能となる。
(変形例2)
本変形例は、第2の実施形態の変形例であり、第2の実施形態による処理が適用可能なシステム形態の例である。
【0091】
図16は、変形例2に係る遠隔作業支援システムの第1の構成図である。
【0092】
図16は、1台の作業現場端末に対して支援者が複数存在する場合であり、作業現場端末1と遠隔支援端末3-1~遠隔支援端末3-n(n:遠隔支援端末数)が相互に通信を行う場合の一例であり、
図3や
図11と同様の処理が適用可能である。
【0093】
図17は、変形例2に係る遠隔作業支援システムの第2の構成図である。
【0094】
図17は、複数の作業者に対して支援者を行う場合であり、作業現場端末1-1~作業現場端末1-m(m:作業者数)と遠隔支援端末3が相互に通信を行う場合の一例であり、
図3や
図11と同様の処理が適用可能である。
【0095】
図18は、変形例2に係る遠隔作業支援システムの第3の構成図である。
【0096】
図18は、複数の作業現場端末1が異なるネットワーク4Aに存在し、同時に複数の遠隔支援端末34Bが異なるネットワーク4Bに存在するマルチ接続の一例であり、
図3や
図11と同様の処理が適用可能である。1つの呼接続サーバ2がBS40-1、BS40-2を介してそれぞれネットワーク4A-1、4A-2に接続し、複数の作業現場端末1がネットワーク4A-1、4A-2に存在する場合においても、呼接続サーバ2のストリーム中継部23を介してネットワーク4Aが単一のネットワークである場合と同様にデータ通信の中継を行うことでマルチ接続が可能となる。
【0097】
本実施形態により、インターネットの先から汎用的な端末を用いて、クローズドなネットワークに存在する現場作業者を遠隔支援することができ、かつ人数や組み合わせを自由に変更することが可能となる。
(第3の実施形態)
本実施形態においては、作業現場端末の通信品質などの優先度を考慮する例を示す。遠隔作業支援システムの構成は、
図1の構成とし、ネットワーク4Aをローカル5Gとする。
【0098】
図19は、第3の実施形態に係る遠隔支援端末に表示される作業支援コミュニケーションツールアプリケーション画面の第1の例である。
【0099】
図19は、通信品質の優先度を考慮した遠隔作業支援システムにおける、遠隔支援端末側の端末画面の一例であり、
図11との差異は、作業現場端末接続選択画面302Cのみである。作業現場端末接続選択画面302Cでは、通信をする作業現場端末1の優先度をドロップダウンリスト3022から選択できる。
【0100】
大容量ネットワークであるローカル5Gが提供するネットワークインフラであるネットワーク4Aを仮想的に分割して多重化する技術であるネットワークスライシングを活用し、遠隔作業支援システムにおける作業現場端末1に優先度の重みづけを行い、優先度に基づいた通信品質を確保する。遠隔支援端末3から作業現場端末1に対して、作業現場端末選択画面302Cなどで優先度を設定できるようにし、割り当てられた優先度に応じてネットワーク4A、上位の有線区間、呼接続サーバのハードウェアリソースなどを確保する。優先度の設定は、高/中/低のような優先度設定をドロップダウンリスト3023などから選択する方式、割り当てを希望する通信帯域を直接設定する方式などにより設定する。ドロップダウンリスト3023は、例えば、選択枠3022をクリックすると表示されるようにしてもよい。
【0101】
優先度には、ネットワーク4A上の通信容量における優先度と、システム全体としての優先度が考えられる。ネットワーク4A上の通信容量における優先度をスライシング優先度と称することにする。また、システム全体としての優先度をシステム優先度と称することにする。上記に示したネットワークスライシングによる優先度は、システム優先度に相当する。ドロップダウンリスト3023により選択できる優先度は、スライシング優先度、システム優先度いずれでもよい。
【0102】
図20は、第3の実施形態に係る呼接続サーバの処理を示すフローチャートである。
【0103】
遠隔支援端末3-1の操作者は、作業現場端末1-2と接続するため、遠隔支援端末画面のドロップダウンリスト3022から優先度「中」を指定して、作業現場端末1-2の通話ボタンを押下して接続要求する。ここでは優先度をスライシング優先度とする例を示す。呼接続サーバ2は、優先度情報とともに作業現場端末1-2への接続要求を受信する(ステップS301のYes)と、記憶部25に格納している端末リスト情報を確認する(ステップS302)。
【0104】
図21は、第3の実施形態に係る呼接続サーバが管理する端末リスト情報の例である。
【0105】
端末リスト情報251Cは、項目「現場端末」に示されるネットワーク4Aに接続されている作業現場端末について、行ごとに「現場端末」の「通話状態」、通話している「支援端末」、「優先度」、「ネットワークスライシングリソース割り当て」が紐づけられたデータベースの例である。例えばデータ2511Cの例では、「作業現場端末1-2」がネットワークスライシングリソース「5Mbps」、優先度「中」で「遠隔支援端末3-1」と「通話中」であることを示している。
【0106】
ローカル5Gのネットワークスライシングでは、作業現場端末1に設定した優先度(スライシング優先度に相当)に応じて通信リソースの確保を行い、作業現場端末1が音声・映像などのデータ送信をするためにネットワーク4A、上位の有線区間、呼接続サーバのハードウェアにおいて割り当て可能な通信帯域(
図21の「ネットワークスライシングリソース割り当て」に相当)が確保される。
【0107】
ネットワークスライシングリソース割り当ては、作業現場端末1からの要求をもとにネットワーク4Aのローカル5G内でBS40などが決定してもよいし、遠隔支援端末3からシステム優先度としてスライシング優先度をBS40、作業現場端末1などに指定することでもよい。
【0108】
図20に戻り、呼接続サーバ2は、受信した優先度情報と端末リスト情報の作業現場端末1-2に対するデータとを比較する(ステップS303)。ステップS303において、例えば
図21のデータ2511Cのように、受信した優先度情報と端末リスト情報の作業現場端末1-2に対する優先度情報データとが「中」で一致した場合(ステップS303のNo)、作業現場端末1-2と遠隔操作端末3との呼接続を確立し(ステップS306)、作業現場端末1-2と遠隔操作端末3とがストリームデータ通信を開始すると、呼接続サーバ2は中継を開始する(ステップS307)。
【0109】
一方、ステップS303において、端末リスト情報の作業現場端末1-2に対する優先度が「中」以外に設定されており、受信した優先度と異なっていた場合(ステップS303のYes)、優先度を変更する処理を実施する。より具体的に呼接続サーバ2は、記憶部25のデータベース(端末リスト情報251Cとは別のデータでもよい)から、優先度「中」と紐づけられた「ネットワークスライシングリソース割り当て」を取得し、ネットワーク4Aにおいてスライシングにより割り当てられる通信容量(スライシング通信容量と称する)を決定する(ステップS304)。呼接続サーバ2は、決定したスライシング通信容量をBS40や作業現場端末1-2に通知する(ステップS305)。
【0110】
作業現場端末1-2は、通知されたスライシング通信容量に応じて、出力する映像データなどの画質や品質などを決定してもよい。作業現場端末1-2と遠隔支援端末3-1との呼接続が確立されると(ステップS306)、作業現場端末1-2と遠隔操作端末3とがストリームデータ通信を開始し、呼接続サーバ2は中継を開始する(ステップS307)。ステップS307において、作業現場端末1-2と遠隔操作端末3とのストリームデータ通信が開始したら、呼接続サーバ2は、端末リスト情報を更新する(ステップS308)。
図21のデータ2511Cは、ステップS308による端末リスト情報更新後のデータの例である。
【0111】
図22は、第3の実施形態に係る遠隔作業支援システムにおいて遠隔支援端末と作業現場端末に割り当てられたシステムリソースの例を示すイメージ図であり、
図21の端末リスト情報における「優先度」を、スライシング優先度を含めたシステム優先度として設定してシステムリソースを割り当てた場合の例である。
【0112】
作業現場端末1-1、1‐5は、最大の優先度「高」を設定したことにより、遠隔支援端末3-1、3-3とのネットワークスライシングリソースを含めた通信帯域(システム通信帯域と称する)として20Mbpsを確保している例である。システム通信帯域は、1つの作業現場端末1と1つの遠隔支援端末3とが呼接続サーバ2を介して接続する際に確保するシステムの通信帯域と理解することもできる。作業現場端末1-2は、優先度「中」を設定したことにより、遠隔支援端末3-1とのシステム通信帯域5Mbpsを確保している例である。また作業現場端末1-3は、優先度「低」を設定したことにより遠隔支援端末3-2とのシステム通信帯域1Mbpsを確保している例である。
【0113】
作業現場端末1に対し優先度をより高く設定してシステム通信帯域を大きくすることで、高精細・低遅延な映像・音声通信により遠隔支援端末3とのコミュニケーションの品質が高まり、柔軟な作業支援が可能となる。なお、システム優先度の設定段階や、それに応じたリソース(帯域)割り当て(スライシング優先度に相当)は自由に設定・変更してもよい。
【0114】
優先度は、作業支援コミュニケーション部12、32が備えるコミュニケーション手段の機能ごとの優先度であってもよい。例えば、重要なコミュニケーション手段には、高い優先度を設定し、大きなシステム通信帯域を確保する。機能ごとの優先度は、作業現場端末1、遠隔支援端末3からでも設定できるようにして、呼接続サーバ2が管理する端末リストに「機能ごとの優先度」を格納するようにしてもよい。作業現場端末1、遠隔支援端末3は、ブラウザなどから「機能ごとの優先度」を設定すると、設定された機能に対して優先度に基づいた通信容量が割り当てられるようにしてもよい。
(第4の実施形態)
本実施形態においては、遠隔作業支援システムの各機能を仮想化し、システムの任意の箇所に呼接続サーバ2を配置することで機能分散を図る例を示す。本実施例の遠隔作業支援システムは、例えばネットワーク4Aが複数あるような広域での設置を想定した例である。本実施形態により、例えば複数の県や国にまたがるような広域遠隔作業支援システムなどが実現できる。
【0115】
図23は、第4の実施形態に係る遠隔作業支援システムの構成図であり、現場に機能を分散配置して実現する場合における遠隔作業支援システムの一例である。
【0116】
図23における
図18との主な違いは、ネットワーク4Cと集約サーバ5とが追加され、呼接続サーバ2の変形である呼接続サーバ2Dが複数設置された点であり、
図18と同様の機能については説明を省略する。
【0117】
呼接続サーバ2D-1、2D-2(区別しない場合は、呼接続サーバ2Dと称する)は、呼接続サーバ2と同様の機能を備えるが、Webサーバ22がない。またI/F部26D-2は、ネットワーク4Cに接続されるインターフェースである。
【0118】
ネットワーク4Cは、ネットワーク4Aのようなクローズドなネットワークでもよいし、ネットワーク4Bのようなオープンなネットワークでもよい。ネットワーク4Cにおいて用いられる通信手段を通信手段4Cと称する。すなわち、呼接続サーバ2D、集約サーバ5は、通信手段4Cを備える。通信手段4Cは、有線無線に限定されず、例えば、イーサーネット、BlueTooth(登録商標)、WiFi(登録商標)、公衆回線網など任意の通信方式でもよい。
【0119】
集約サーバ5は、呼接続サーバ2と遠隔支援端末3との通信を中継するサーバであり、例えばCPUやメモリを含むコンピュータを備える。集約サーバ5は、外部のネットワーク4Bと上位ネットワークであるネットワーク4Cに接続され、Webサーバ51、サーバ連携中継部52、サーバ連携呼接続部53を備える。Webサーバ51は、
図1の呼接続サーバ2のWebサーバ22の機能と同様のWebサーバである。サーバ連携中継部52、サーバ連携呼接続部53は、それぞれ遠隔支援端末3と呼接続サーバ2のデータのやり取りを仲介、連携する。
【0120】
集約サーバ5は、各呼接続サーバ2Dの作業支援コミュニケーションツールアプリケーション21Dから各種作業支援機能のコンテンツデータを取得するWebサーバ51を備え、Webサーバ51を介してWebコンテンツ化した各種作業支援機能を外部ネットワーク4Bの先に存在する遠隔支援端末3へ公開する。集約サーバ5は、各呼接続サーバアプリケーションプログラムの情報を集約・統合するアプリケーションプログラム(集約サーバアプリケーションプログラムと称する)がインストールされている。Webサーバ51、サーバ連携中継部52、サーバ連携呼接続部53は、集約サーバアプリケーションプログラムに含まれていてもよい。なお、集約サーバ5には集約サーバアプリケーションプログラムをインストールせず、集約サーバはあくまでWebサーバで情報を集約して公開する機能を持つのみとすることでもよい。
【0121】
サーバ連携呼接続部53は、各呼接続サーバ2Dの呼接続部24Dと連携して、シグナリングの処理を中継制御する。サーバ連携中継部52は、各呼接続サーバ2Dのストリーム中継部22Dと連携してデータストリーミングを中継して、異なる呼接続サーバ2Dの配下に存在する1以上の作業現場端末1と、外部ネットワーク4Bの遠隔支援端末3との通信を確立する。
【0122】
図24は、第4の実施形態に係る遠隔作業支援システムにおける通信経路の第1の例を示す図であり、現場に機能を分散配置して実現する場合における遠隔作業支援システムの通信確立までの通信経路の一例を示す図である。
【0123】
遠隔支援端末3は、表示部35に表示されるブラウザ機能によりネットワーク4Bを介して集約サーバ5のWebサーバ51にアクセスすると、作業支援コミュニケーションツールアプリケーション21Dが提供するアプリケーション画面がブラウザに表示される。集約サーバ5のWebサーバ51は、複数の呼接続サーバ2Dの作業支援コミュニケーションツールアプリケーション21Dと連携し、呼接続サーバ2Dが予め収集した接続可能な端末リスト情報を集約する。
【0124】
図25は、第4の実施形態に係る遠隔作業支援システムのデータベースの第1の例を示す図である。
【0125】
端末リスト情報251D-1は、呼接続サーバ2D-1が記憶部25に格納するデータベースの例であり、端末リスト情報251D-2は、呼接続サーバ2D-2が記憶部25に格納するデータベースの例である。また、端末リスト情報541は、集約サーバ5が記憶部54に格納するデータベースの例であり、各呼接続サーバ2Dが持っている端末リスト情報251D(251D-1、251D-2)から必要なデータを集約して生成する。
【0126】
図24に戻り、遠隔支援端末3のユーザーは、アプリケーション画面の接続要求を実行すると(通信DC40)、Webサーバ51は、受信した接続要求を呼接続サーバ2D上の作業支援コミュニケーションツールアプリケーション21Dに出力する(通信DC41、DC42-1、DC41-2)。
【0127】
作業現場端末1と遠隔支援端末3とのシグナリング通信は、集約サーバ5のサーバ連携呼接続部53、呼接続サーバ2Dの呼接続部24Dを仲介して実施され(通信SC41、SC42-1、SC41-2)、作業現場端末1の作業支援コミュニケーション部12と遠隔支援端末3の作業支援コミュニケーション部32とを呼接続処理し、通信を確立する(通信SC43-1、SC43-2)。
【0128】
図26は、第4の実施形態に係る集約サーバの処理を示すフローチャートである。
【0129】
以下、遠隔支援端末3-1が、集約サーバ5を介して、呼接続サーバ2D-1に接続される作業現場端末1-1に接続する場合の集約サーバ5の処理について説明するが、同様の処理で作業現場端末1-2との接続も可能である。
【0130】
遠隔支援端末3-1の操作者が、表示部35に表示されるブラウザから、作業支援コミュニケーションツールアプリケーションにアクセスする。集約サーバ5のWebサーバ51は、ブラウザ部31からネットワーク4Bを介してアクセスがあると(ステップS401のYes)、呼接続サーバ2D-1の作業支援コミュニケーションツールアプリケーション21Dからアプリケーション画面データを取得し、遠隔支援端末3-1のブラウザ部31へ送信する(ステップS402)。遠隔支援端末3-1においては、表示部35に作業支援コミュニケーションツールアプリケーション21Dが提供するアプリケーション画面が表示される。
【0131】
遠隔支援端末3-1の操作者が、表示部35のアプリケーション画面から作業現場端末1-1へ接続要求をすると、Webサーバ51は接続要求を受信する(ステップS403のYes)。サーバ連携呼接続部53は、記憶部54に格納されている端末リスト情報に接続要求された作業現場端末1-1があるかどうかを確認する(ステップS404)。ステップS404において、端末リスト情報に接続要求された作業現場端末1-1が存在する場合、サーバ連携呼接続部53は、接続要求を呼接続サーバ2D-1に転送する(ステップS405のYes、ステップS406)。
【0132】
ステップS406の後、サーバ連携呼接続部53は、呼接続サーバ2D-1から作業現場端末1-1との接続許可の情報などを受信すると、遠隔支援端末3-1に接続許可情報を送信し、作業現場端末1-1と遠隔支援端末3-1との呼接続を確立する(ステップS407のYes)。
【0133】
ステップS407のYesの後、サーバ連携中継部52は、呼接続サーバ2D-1と遠隔支援端末3-1との間で、作業現場端末1-1と遠隔支援端末3-1とが実施する各種通信の中継を開始する(ステップS408)。集約サーバ5は、端末リスト情報の作業現場端末1-1に関する情報を更新する(S409)。
図25の端末リスト541は、S409における集約サーバ5による端末リスト情報の更新例である。
【0134】
図27は、第4の実施形態に係る呼接続サーバの処理を示すフローチャートである。
【0135】
以下、呼接続サーバ2D-1の処理について説明するが、呼接続サーバ2D-2の処理についての同様である。
【0136】
呼接続サーバ2D-1において、作業支援コミュニケーションツールアプリケーション21Dは、集約サーバ5のWebサーバ51からアプリケーションへの接続要求を受信すると、アプリケーションの画面データを出力する(ステップ451のYes、ステップS452)。
【0137】
遠隔支援端末3-1の操作者が、表示部35に表示されたアプリケーション画面から作業現場端末1-1へ接続要求をすると、呼接続サーバ2D-1の呼接続部24Dは、集約サーバ5のサーバ連携呼接続部53から接続要求を受信する(ステップS453のYes)。呼接続部24Dは、作業現場端末1-1に対して接続要求を出力し(ステップS454)、作業現場端末1-1から接続許可の情報などを受信すると(ステップS455のYes)、接続許可の情報をサーバ連携呼接続部53に出力する(ステップS456)。
【0138】
ステップS456の後、ストリーム中継部22Dは、サーバ連携中継部52と作業現場端末1-1との間で、作業現場端末1-1と遠隔支援端末3-1とが実施する各種通信データの中継を開始する(ステップS457)。ステップS457の後、呼接続サーバ2D-1は、記録部25の端末リスト情報の作業現場端末1-1に関する情報を更新してもよい。
図25の端末リスト251D-1は、呼接続サーバ2D-1における端末リスト情報の更新例である。
【0139】
以上の手順により、クローズドなネットワークであるネットワーク4A-1に接続される接続される作業現場端末1-1とオープンなネットワークであるネットワーク4B-1に接続される遠隔支援端末3-1との通信が可能となる。
【0140】
集約サーバ5を設置することにより、同様の手順で、任意の呼接続サーバ2Dを介して任意のクローズドなネットワークに接続される任意の作業現場端末1と任意の遠隔支援端末3との通信が可能となる。
【0141】
図28は、第4の実施形態に係る遠隔作業支援システムにおける通信経路の第2の例を示す図であり、現場に機能を分散配置して実現する場合における遠隔作業支援システムのデータストリーミング通信の通信経路の一例を示す図である。
【0142】
通信が確立された作業現場端末1-1、1-2と遠隔支援端末3-1は、音声・映像などのストリーミングデータ通信などを相互に疎通開始する(通信DC46-1、DC46-2)。クローズドなネットワーク4A-1、4A-2を介して、各呼接続サーバ2Dのストリーム中継機能を介して上位ネットワーク4Cにストリーミングが伝送される。上位ネットワークCを介して各呼接続サーバ2Dからのストリーミングデータを受信した集約サーバ5は、サーバ連携中継部52介して外部ネットワーク4Bに接続する遠隔支援端末3へストリーミングを転送処理することにより、任意の遠隔支援端末3と任意の作業現場端末1との間のストリーミングが相互に伝送される。
【0143】
またサーバ連携中継部52は、異なる呼接続サーバ2Dの配下に存在する作業支援端末1間で相互にストリーミングを中継して転送処理を行うことにより、作業現場端末1の間のストリーミングが相互に伝送される。
【0144】
図29は、第4の実施形態に係る作業現場端末間の通信時における、要求する側の呼接続サーバの処理を示すフローチャートである。
【0145】
作業現場端末1-1、1-2は、それぞれ遠隔支援端末3-1と呼接続がされ、音声・映像などのストリーミングデータ通信を実施しているものとする。例えば、作業現場端末1-1の操作者が、作業現場端末1-2とストリーミングデータ通信をするため、作業現場端末1-1から作業現場端末1-2への接続要求を出力する。
【0146】
呼接続サーバ2D-1は、作業現場端末1-1からの作業現場端末1-2への接続要求を受信すると、作業現場端末1-2の接続許可確認を集約サーバ5へ出力する(ステップS421のYes、S422)。呼接続サーバ2D-1は、S422の後、集約サーバ5から作業現場端末1-2の接続許可を受信すると(ステップS423のYes)、作業現場端末1-1へ接続許可の情報を転送する(ステップS424)。ステップS424の後、作業現場端末1-1と作業現場端末1-2との呼接続が確立すると、作業現場端末1-1と作業現場端末1-2とでストリーミングデータ通信が開始され、呼接続サーバ2D-1は、作業現場端末1-1と作業現場端末1-2とのストリーミングデータ通信の中継処理を開始する(ステップS425)。呼接続サーバ2D-1は、作業現場端末1-1に対する端末リスト情報を更新する(S426)。
【0147】
図30は、第4の実施形態に係る作業現場端末間の通信時の集約サーバの処理を示すフローチャートである。
【0148】
集約サーバ5は、呼接続サーバ2D-1から作業現場端末1-1による作業現場端末1-2への接続要求を受信すると、端末リストで作業現場端末1-2が接続される呼接続サーバ2Dなどを確認する(ステップS471のYes、S472)。ステップS472における端末リストには、例えば「現場端末」ごとに接続する「呼接続サーバ」が紐づけられて格納されている。
【0149】
ステップS472により、作業現場端末1-2が接続される呼接続サーバ2Dが呼接続サーバ2D-2であることを確認すると、呼接続サーバ2D-2へ接続許可確認を出力する(ステップS473)。集約サーバ5は、S473の後、呼接続サーバ2D-2から作業現場端末1-2の接続許可を受信すると、呼接続サーバ2D-1へ作業現場端末1-2による接続許可の情報を転送する(ステップS474のYes、ステップS475)。ステップS475の後、作業現場端末1-1と作業現場端末1-2との呼接続が確立すると、作業現場端末1-1と作業現場端末1-2とでストリーミングデータ通信が開始され、サーバ連携中継部52は、作業現場端末1-1と作業現場端末1-2とのストリーミングデータ通信の中継処理を開始する(ステップS476)。集約サーバ5は、作業現場端末1-1、1-2に対する端末リスト情報を更新する(S477)。
【0150】
図31は、第4の実施形態に係る作業現場端末間の通信時において、要求される側の呼接続サーバの処理を示すフローチャートである。
【0151】
呼接続サーバ2D-2は、集約サーバ5から作業現場端末1-2への接続要求を受信すると、作業現場端末1-2が接続可能であるかどうかを確認する(ステップS491のYes、S492)。S492の後、作業現場端末1-2から接続可能であることを示す接続許可を受信すると、集約サーバ5へ接続許可の情報を出力する(ステップS493)。ステップS493の後、作業現場端末1-1と作業現場端末1-2との呼接続が確立すると、作業現場端末1-1と作業現場端末1-2とでストリーミングデータ通信が開始され、呼接続サーバ2D-2は、作業現場端末1-1と作業現場端末1-2とのストリーミングデータ通信の中継処理を開始する(ステップS494)。呼接続サーバ2D-2は、作業現場端末1-2に対する端末リスト情報を更新する(S495)。
【0152】
図32は、第4の実施形態に係る遠隔作業支援システムのデータベースの一例を示す図である。
【0153】
端末リスト情報252D-1は、呼接続サーバ2D-1の記憶部25に格納されるデータベースの例であり、
図30のフローチャートのステップS425における更新後の端末リスト情報の例である。より具体的に端末リスト情報252D-1は、作業現場端末1-1が、遠隔支援端末3-1と接続中であり、また作業現場端末1-2と呼接続が確立していることを示す。
【0154】
端末リスト情報251D-2は、呼接続サーバ2D-2の記憶部25に格納されるデータベースの例であり、
図31のフローチャートのステップS495における更新後の端末リスト情報の例である。より具体的に端末リスト情報251D-2は、作業現場端末1-2が、遠隔支援端末3-1と接続中であり、また作業現場端末1-1と呼接続が確立して通信が可能であることを示す。
【0155】
端末リスト情報541は、集約サーバ5の記憶部54に格納されるデータベースの例であり、
図30のフローチャートのステップS477における更新後の端末リスト情報の例である。端末リスト情報541は、端末リスト情報251D-1の情報と端末リスト情報251D-2の情報とを集約した情報であり、本遠隔支援システムに接続される全ての作業現場端末1に関する情報が格納されていることでもよい。
【0156】
なお、端末リスト情報541において、「呼接続サーバ」、「ネットワーク」などの列項目を増やして、「現場端末」ごとに接続している「呼接続サーバ」、「ネットワーク」などの情報を紐づけて追加してもよい。
【0157】
以上の手順により、遠隔支援端末3は、異なるネットワーク及び異なる呼接続サーバ2Dに接続された複数の作業現場端末1と各種データ通信が可能となり、また異なる作業現場端末1間での各種データ通信が可能となる。
【0158】
本実施形態によれば、より現場に近い箇所に個々の呼接続サーバ2Dを配置し、上位ネットワーク4Cにそれら呼接続サーバ2Dを集約して連携制御する集約サーバ5を配置することで、集約サーバ5と複数の呼接続サーバ2Dで仮想的に広域遠隔作業支援システムの呼接続サーバを実現する。
【0159】
本実施形態のようなシステム構成とすることで、画像処理や機械学習などのエッジAIなどに代表される、より処理負荷の重い処理を現場作業側(例えば呼接続サーバ2D側)にリソース配置し、上位の集約サーバ5は処理結果やストリームの転送のみを担うことで、柔軟なシステム構築を行うことが可能となる。またネットワーク4A、4B、4Cの通信帯域の使用状況に応じてサーバ群の配置箇所を現場側、クラウド側に動的に再配置するようにしてもよい。現場側(例えばネットワーク4A)で一次データ処理を行い、上位ネットワーク4Cから外部ネットワーク4Bに伝送する情報を加工・削減などすることにより、外部ネットワーク4Bの通信帯域が細い場合の対処が可能となる。
【0160】
また、一次処理を行う場合に生データを現場にローカル保存することで、加工・削減して上位に送信した情報をもとに異常などを検出した場合、必要に応じて現場のローカルデータを遡ってデータ検証を行うといったことも可能となり、通信リソースや情報保持、および物理的なリソース配置の柔軟性が向上する。
【0161】
以上の実施形態、変形例の特徴は以下のようにも示される。
(A-1)クローズドなネットワークに接続して作業者が使用する作業現場端末と、外部ネットワークに接続して支援者が使用する遠隔支援端末と、クローズドなネットワークと外部ネットワークとの間で接続処理・中継処理を行う呼接続サーバとで構成され、呼接続サーバを介して作業現場端末と遠隔支援端末との間で通信を確立し、音声・映像・ファイル・チャットなどのコミュニケーションツールを提供するとともに、作業の手順書などを作業者端末に提供することを可能とする作業支援システム。
(A-2)作業現場端末、遠隔支援端末はそれぞれカメラとマイクを備え、音声や映像、チャット文字の相互コミュニケーションをリアルタイムに実現するシステム。
(A-3)クローズドなネットワークと外部ネットワークの間を中継し、複数の作業現場端末、複数の遠隔支援端末の間で、要求に応じた適切な組み合わせでの通信確立に向けたシグナリング処理を行う呼接続サーバを含むシステム。
(A-4)遠隔の支援者は、汎用のブラウザを用いて、Webサーバ上で公開されるWebコンテンツ型のシステムとして提供された遠隔作業支援システムにアクセスして現場作業者とのコミュニケーションツールを制御するシステム。
(A-5)現場作業者の視点映像が遅延なくリアルタイムに遠隔支援端末に表示され、作業現場端末がサポートする仮想現実/複合現実のオブジェクトも視点映像に含めて表示することで、遠隔の支援者が現場状況を適切に把握可能であるシステム。
(A-6)作業現場端末がグローバルIPアドレスを持たない場合でも、NAT変換などに対応してIPアドレスと宛先を適切に変換する中継機能を備えた呼接続サーバにより、外部インターネットの先にいる遠隔の支援者と通信することが可能なシステム。
(A-7)遠隔の支援者は、作業内容を把握可能な画像・手順書などの電子ファイルを作業者の端末に送信・表示することで作業指示することが可能なシステム。
(A-8)遠隔の支援者は、同時に複数の現場作業者とコミュニケーションすることが可能なシステム。
(A-9)現場作業者は、同時に複数の支援者とコミュニケーションすることが可能なシステム。
(A-10)異なる現場ネットワークに存在する複数の現場に存在する現場作業者との間で、呼接続サーバ2を介して通信を確立しコミュニケーションすることが可能なシステム。
(A-11)呼接続サーバ、Webサーバは仮想化されたアプリケーションサーバとして、現場側(ネットワーク4A)、クラウド側(ネットワーク4B、4C)のいずれにも配置可能なシステム。
(A-12)通信帯域の使用状況に応じてサーバ群の配置箇所を現場側、クラウド側に動的に再配置することが可能なシステム。
(A-13)処理能力の負荷状況に応じてサーバ機能に割り当てるリソースを動的に増減することが可能なシステム。
(A-14)作業現場端末との通信優先度を決定することが可能であり、遠隔作業支援システム内の他作業者通信との間でのネットワークスライシング機能により優先度に応じた通信品質を確保するシステム。
(A-15)広範囲な現場にネットワーク4Aや呼接続サーバを複数設置し、それらを統合して連携する集約サーバを備えることでネットワークの自由度を高めることが可能なシステム。
(A-16)他アプリケーションとの間で通信の優先度を決定する通信システムにおいて、重要な作業の間は優先度を高く設定し、通信の信頼性を高めるシステム。
【0162】
以上に述べた少なくとも1つの実施形態、変形例によれば、遠隔の支援者端末からのアクセスを汎用的、かつ多接続に対応可能な手法に変更するとともに、クローズドなネットワークと外部のネットワークとを中継する機能を備えることで遠隔支援者側の自由度を挙げることを可能とする遠隔作業支援システムを提供することができる。
【0163】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。また、フローチャート、シーケンスチャートなどに示す処理は、CPU、ICチップ、デジタル信号処理プロセッサ(Digital Signal ProcessorまたはDSP)などのハードウェアもしくはマイクロコンピュータを含めたコンピュータなどで動作させるソフトウェア(プログラムなど)またはハードウェアとソフトウェアの組み合わせによって実現してもよい。また請求項を制御ロジックとして表現した場合、コンピュータを実行させるインストラクションを含むプログラムとして表現した場合、及び前記インストラクションを記載したコンピュータ読み取り可能な記録媒体として表現した場合でも本発明の装置を適用したものである。また、使用している名称や用語についても限定されるものではなく、他の表現であっても実質的に同一内容、同趣旨であれば、本発明に含まれるものである。
【符号の説明】
【0164】
1…作業現場端末、2…呼接続サーバ、3…遠隔支援端末、4A…ネットワーク、4B…ネットワーク、40…BS、11…作業支援クライアント部、12…作業支援コミュニケーション部、13…カメラ・マイク部、14…I/F部、15…表示部、21…作業支援コミュニケーションツールアプリケーション、22…Webサーバ、23…ストリーム中継部、24…呼接続部、25…記憶部、26-1…I/F部、31…ブラウザ部、32…作業支援コミュニケーション部、33…カメラ・マイク部、34…I/F部、35…表示部、5…集約サーバ、51…Webサーバ、52…サーバ連携中継部、53…サーバ連携呼接続部、54…記憶部、55-1…I/F部。