IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ KDDI株式会社の特許一覧

特許7478713遠隔操作装置及びその制御方法、並びにプログラム
<>
  • 特許-遠隔操作装置及びその制御方法、並びにプログラム 図1
  • 特許-遠隔操作装置及びその制御方法、並びにプログラム 図2
  • 特許-遠隔操作装置及びその制御方法、並びにプログラム 図3
  • 特許-遠隔操作装置及びその制御方法、並びにプログラム 図4A
  • 特許-遠隔操作装置及びその制御方法、並びにプログラム 図4B
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-24
(45)【発行日】2024-05-07
(54)【発明の名称】遠隔操作装置及びその制御方法、並びにプログラム
(51)【国際特許分類】
   H04W 72/0457 20230101AFI20240425BHJP
   H04W 4/35 20180101ALI20240425BHJP
   H04W 24/02 20090101ALI20240425BHJP
   H04W 28/084 20230101ALI20240425BHJP
【FI】
H04W72/0457
H04W4/35
H04W24/02
H04W28/084
【請求項の数】 15
(21)【出願番号】P 2021139206
(22)【出願日】2021-08-27
(65)【公開番号】P2023032860
(43)【公開日】2023-03-09
【審査請求日】2023-07-27
(73)【特許権者】
【識別番号】000208891
【氏名又は名称】KDDI株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】市川 孝太郎
(72)【発明者】
【氏名】難波 忍
(72)【発明者】
【氏名】蕨野 貴之
【審査官】本橋 史帆
(56)【参考文献】
【文献】特表2019-518393(JP,A)
【文献】国際公開第2021/077129(WO,A1)
【文献】特表2018-508903(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04B 7/24- 7/26
H04W 4/00-99/00
3GPP TSG RAN WG1-4
SA WG1-4
CT WG1、4
(57)【特許請求の範囲】
【請求項1】
製品を扱うロボットの遠隔操作を行う遠隔操作装置であって、
製品を撮影する監視カメラ群からの映像伝送用のネットワークスライスである第1スライスと、前記ロボットの遠隔操作用のネットワークスライスである第2スライスとについての作成、削除及び設定を制御する制御手段であって、前記第1スライスに対する通信帯域及び通信遅延の設定について複数の設定レベルが予め定められており、前記複数の設定レベルのそれぞれに対して、前記監視カメラ群による撮影に関連する要件が対応付けられている、前記制御手段と、
前記複数の設定レベルのうちで現在選択されている設定レベルに対応付けられている前記要件で、前記監視カメラ群が製品を撮影した映像であって、前記ロボットの遠隔操作のために使用可能な映像を、前記第1スライスを用いて前記監視カメラ群から受信する受信手段と、
前記第2スライスを用いて、前記ロボットの遠隔操作のための通信を行う遠隔操作手段と、
前記遠隔操作が行われる間に、前記第1スライスで実際に使用されている通信帯域を測定して得られた測定値である実帯域を取得する取得手段と、を備え、
前記制御手段は、前記現在選択されている設定レベルと前記実帯域とに基づいて、前記第1スライスの設定についての前記設定レベルを動的に変更する
ことを特徴とする遠隔操作装置。
【請求項2】
前記制御手段は、前記第1スライスに対して設定されている通信帯域が前記実帯域に近づくように、前記設定レベルを動的に変更する
ことを特徴とする請求項1に記載の遠隔操作装置。
【請求項3】
前記制御手段は、前記遠隔操作手段による前記遠隔操作が行われる場合にのみ前記第2スライスを作成させ、前記遠隔操作が終了すると前記第2スライスを削除させる
ことを特徴とする請求項1又は2に記載の遠隔操作装置。
【請求項4】
前記受信手段によって受信された映像に基づいて、前記監視カメラ群により撮影された製品のうちで不良品を検出する検出手段を更に備え、
前記制御手段は、前記検出手段により不良品の検出に応じて、前記遠隔操作を可能にするために前記第2スライスを作成させ、前記遠隔操作による当該不良品の除去に応じて前記第2スライスを削除させる
ことを特徴とする請求項1乃至3のいずれか1項に記載の遠隔操作装置。
【請求項5】
前記制御手段は、前記第2スライスを作成させる際に、前記第1スライスの設定についての前記設定レベルを、前記複数の設定レベルのうちで、最も広い通信帯域に対応する第1設定レベルに変更する
ことを特徴とする請求項3又は4に記載の遠隔操作装置。
【請求項6】
前記制御手段は、前記第1スライスの設定についての前記設定レベルを前記第1設定レベルに変更した後、前記第1スライスに対して設定されている通信帯域が前記実帯域に近づくように、前記設定レベルを前記第1設定レベルから、より狭い通信帯域に対応する設定レベルに変更する
ことを特徴とする請求項5に記載の遠隔操作装置。
【請求項7】
前記制御手段は、前記第2スライスが作成されていない場合、前記第1スライスの設定についての前記設定レベルを、前記複数の設定レベルのうちで、最も狭い通信帯域に対応する設定レベルとする
ことを特徴とする請求項1乃至6のいずれか1項に記載の遠隔操作装置。
【請求項8】
前記制御手段は、前記第1スライスに対して設定されている通信帯域が前記実帯域に対して不足することが生じると、前記第1スライスの設定についての前記設定レベルを、前記複数の設定レベルのうちで、より広い通信帯域に対応する設定レベルに変更する
ことを特徴とする請求項1乃至7のいずれか1項に記載の遠隔操作装置。
【請求項9】
前記取得手段は更に、前記第1スライスの利用率を取得し、
前記制御手段は、前記第1スライスの前記利用率が所定値を上回ると、前記第1スライスの設定についての前記設定レベルを、前記複数の設定レベルのうちで、より広い通信帯域に対応する設定レベルに変更する
ことを特徴とする請求項1乃至8のいずれか1項に記載の遠隔操作装置。
【請求項10】
前記要件は、前記監視カメラ群に含まれる監視カメラのうちで使用する監視カメラの台数と、各監視カメラにより撮影される映像の解像度とを定めている
ことを特徴とする請求項1乃至9のいずれか1項に記載の遠隔操作装置。
【請求項11】
前記制御手段は、前記現在選択されている設定レベルに対応付けられている前記要件に従って前記監視カメラ群による製品の撮影が行われるよう、前記第1スライスを用いて前記監視カメラ群を制御する
ことを特徴とする請求項1乃至10のいずれか1項に記載の遠隔操作装置。
【請求項12】
前記遠隔操作装置は、無線アクセスネットワークに対してスライスの作成、削除及び設定を行う通信プラットフォームと通信可能であり、
前記制御手段は、前記通信プラットフォームによる前記第1スライス及び前記第2スライスの作成、削除及び設定を制御する
ことを特徴とする請求項1乃至11のいずれか1項に記載の遠隔操作装置。
【請求項13】
前記通信プラットフォームは、前記第1スライスで実際に使用されている通信帯域を測定する機能を有しており、
前記取得手段は、前記通信プラットフォームから前記実帯域を取得する
ことを特徴とする請求項12に記載の遠隔操作装置。
【請求項14】
製品を扱うロボットの遠隔操作を行う遠隔操作装置の制御方法であって、
製品を撮影する監視カメラ群からの映像伝送用のネットワークスライスである第1スライスと、前記ロボットの遠隔操作用のネットワークスライスである第2スライスとについての作成、削除及び設定を制御する制御工程と、ここで、前記第1スライスに対する通信帯域及び通信遅延の設定について複数の設定レベルが予め定められており、前記複数の設定レベルのそれぞれに対して、前記監視カメラ群による撮影に関連する要件が対応付けられており、
前記複数の設定レベルのうちで現在選択されている設定レベルに対応付けられている前記要件で、前記監視カメラ群が製品を撮影した映像であって、前記ロボットの遠隔操作のために使用可能な映像を、前記第1スライスを用いて前記監視カメラ群から受信する受信工程と、
前記第2スライスを用いて、前記ロボットの遠隔操作のための通信を行う遠隔操作工程と、
前記遠隔操作が行われる間に、前記第1スライスで実際に使用されている通信帯域を測定して得られた測定値である実帯域を取得する取得工程と、を含み、
前記制御工程では、前記現在選択されている設定レベルと前記実帯域とに基づいて、前記第1スライスの設定についての前記設定レベルを動的に変更する
ことを特徴とする遠隔操作装置の制御方法。
【請求項15】
遠隔操作装置が備えるコンピュータに、請求項14に記載の遠隔操作装置の制御方法の各工程を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、工場等に配置されたロボットの遠隔操作のためのネットワークスライシング技術に関するものである。
【背景技術】
【0002】
共有される共通の物理インフラストラクチャ上で複数の論理ネットワーク(ネットワークスライス)の構築を可能にするネットワークスライシング技術が知られている。ネットワークスライシングを利用したサービスの提供例として、ロボットに搭載されたカメラによって撮影された映像と、ロボットへの制御指示とを異なるネットワークスライス上で送信する実証実験が行われている(非特許文献1)。これにより、ロボットの利用用途に応じて遅延、容量及びセキュリティ等のネットワーク要件が異なるサービスの提供を実現している。
【先行技術文献】
【非特許文献】
【0003】
【文献】「エリクソンとNTTドコモ、ロボット向けネットワークスライシングのライブデモに成功」, 日本経済新聞, 2017年5月23日, [令和3年8月20日検索], インターネット<URL: https://www.nikkei.com/article/DGXLRSP445881_T20C17A5000000/>
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば、遠隔操作が行われるロボットにより不良品の除去を行う場合に、ロボットによる作業箇所や不良品の数及び形状等に応じて、遠隔操作に使用される映像を撮影するカメラの要件が変わる。それに伴い、撮影された映像を映像伝送用のネットワークスライス上で伝送するのに必要となる通信帯域及び通信遅延等の、ネットワークスライス要件も動的に変化する。
【0005】
しかし、上述の従来技術では、ネットワークスライスの設定は固定され、ネットワークスライス要件の動的な変化に対応できない。また、複数のカメラからの映像の伝送を可能にするためには、そのような映像伝送時に、ネットワークスライスで使用されている通信帯域の実際の使用状況に応じて、必要最低限の通信帯域が使用可能となるよう、ネットワークスライスの設定を動的に変更することが有効である。
【0006】
そこで、本発明は、使用される監視カメラ群による撮影に関連する要件とネットワークスライスの実際の使用状況とに応じて、動的にネットワークスライスの設定を変更する技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一態様に係る遠隔操作装置は、製品を扱うロボットの遠隔操作を行う遠隔操作装置であって、製品を撮影する監視カメラ群からの映像伝送用のネットワークスライスである第1スライスと、前記ロボットの遠隔操作用のネットワークスライスである第2スライスとについての作成、削除及び設定を制御する制御手段であって、前記第1スライスに対する通信帯域及び通信遅延の設定について複数の設定レベルが予め定められており、前記複数の設定レベルのそれぞれに対して、前記監視カメラ群による撮影に関連する要件が対応付けられている、前記制御手段と、前記複数の設定レベルのうちで現在選択されている設定レベルに対応付けられている前記要件で、前記監視カメラ群が製品を撮影した映像であって、前記ロボットの遠隔操作のために使用可能な映像を、前記第1スライスを用いて前記監視カメラ群から受信する受信手段と、前記第2スライスを用いて、前記ロボットの遠隔操作のための通信を行う遠隔操作手段と、前記遠隔操作が行われる間に、前記第1スライスで実際に使用されている通信帯域を測定して得られた測定値である実帯域を取得する取得手段と、を備え、前記制御手段は、前記現在選択されている設定レベルと前記実帯域とに基づいて、前記第1スライスの設定についての前記設定レベルを動的に変更することを特徴とする。
【発明の効果】
【0008】
本発明によれば、使用される監視カメラ群による撮影に関連する要件とネットワークスライスの実際の使用状況とに応じて、ネットワークスライスの設定を動的に変更することが可能になる。
【図面の簡単な説明】
【0009】
図1】通信システムの構成例を示す図
図2】遠隔操作装置のハードウェア構成例を示すブロック図
図3】映像伝送用スライスに対する設定レベルの例を示す図
図4A】、
図4B】遠隔操作装置によって実行される処理の手順を示すフローチャート
【発明を実施するための形態】
【0010】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。
【0011】
<システム構成>
図1は、一実施形態に係る通信システム構成例を示す図である。図1のネットワークは、それぞれネットワーク要件が異なる論理ネットワーク(ネットワークスライス)を作成可能な無線アクセスネットワークである。当該ネットワークは、ネットワークスライシング技術が適用されたネットワークであり、例えば第5世代(5G)ネットワークとして構成される。図1に示されるように、本実施形態では、監視カメラ群10、ロボット20、遠隔操作装置30、及びネットワーク(NW)コントローラ50がネットワークに接続されている。また、通信プラットフォーム(PF)40が、遠隔操作装置30(画像認識サーバ31及び遠隔操作サーバ32)及びNWコントローラ50と通信可能に接続されている。
【0012】
監視カメラ群10及びロボット20は、例えば、ある製品を生産するための工場内に配置される。監視カメラ群10は、複数の監視カメラを含み、各監視カメラは、生産ライン上で搬送される製品を撮影するように配置される。監視カメラ群10によって製品を撮影して得られた映像は、ネットワークを介して遠隔操作装置30へ伝送される。ロボット20は、工場内において生産ライン上で搬送される製品を扱うロボットであり、ネットワークを介して遠隔操作装置30による遠隔操作が行われるように構成される。
【0013】
本実施形態では、監視カメラ群10は、不良品の検出のための製品の撮影と、不良品が検出された場合に、ロボット20の遠隔操作による除去の対象となる不良品の撮影とに使用される。また、監視カメラ群10は、遠隔操作装置30(画像認識サーバ31)からの指示に従って、各監視カメラの動作状態及び各監視カメラの撮影画素数の変更できるように構成される。ロボット20は、不良品が検出された際に、遠隔操作装置30(遠隔操作サーバ32)からの遠隔操作により、生産ラインからの不良品の除去を行うように構成される。
【0014】
図1のネットワークにおいて、ネットワークスライスは、NWコントローラ50によって作成される。NWコントローラ50は、ネットワークに対して、ネットワークスライスの作成や削除、及び作成したネットワークスライスの設定(通信帯域及び通信遅延等の設定)を変更する機能を有する。なお、NWコントローラ50は、オーケストレータと称されてもよい。
【0015】
本実施形態では、製品を撮影する監視カメラ群10からの映像伝送用のネットワークスライスである映像伝送用スライス(第1スライス)と、ロボット20の遠隔操作用のネットワークスライスである遠隔操作用スライス(第2スライス)とが作成される。映像伝送用スライスは、監視カメラ群から送信される映像の伝送に使用される。遠隔操作用スライスは、遠隔操作装置30(遠隔操作サーバ32)によるロボット20の遠隔操作のための通信(制御信号の伝送等)に使用される。
【0016】
遠隔操作装置30は、製品を扱うロボット20の遠隔操作を行う遠隔操作装置の一例として機能する。遠隔操作装置30は、当該装置上で動作するサーバとして、画像認識サーバ31及び遠隔操作サーバ33を有する。
【0017】
画像認識サーバ31は、映像伝送用スライスを通じて、監視カメラ群10から送信される映像を受信し、受信した映像を表示デバイス206(図2)に表示する処理と、受信した映像に基づいて不良品の検出処理とを行う。画像認識サーバ31は更に、映像伝送用スライスを通じて、監視カメラ群10に含まれる各監視カメラの動作状態及び各監視カメラの撮影画素数を制御する。
【0018】
遠隔操作サーバ33は、遠隔操作用スライスを通じて、ロボット20の遠隔操作を行う。即ち、ロボット20の遠隔操作に必要なデータ又は信号は、遠隔操作用スライスを通じて、ロボット20と遠隔操作サーバ33との間で送受信される。
【0019】
通信PF40は、画像認識サーバ31からの指示に従って、NWコントローラ50へネットワークスライスの作成や削除及び設定のための指示を行う機能を有する。画像認識サーバ31は、通信PF40によるネットワークスライス(映像伝送用スライス及び遠隔操作用スライス)の作成や削除及び設定を制御するように構成される。このように、画像認識サーバ31は、映像伝送用スライス及び遠隔操作用スライスについての作成及び設定を制御する制御手段の一例として機能する。
【0020】
通信PF40は、図1のネットワークに作成されている各ネットワークスライスで実際に使用されている通信帯域(実帯域)及び、各ネットワークスライスの利用率を測定する機能を有する。本実施形態の画像認識サーバ31は、通信PF40によって測定された実帯域及び利用率を通信PF40から取得するように構成される。
【0021】
なお、通信PF40は、図1において遠隔操作装置30とは別の装置として図示されているが、遠隔操作装置30が通信PFを具備するように構成されてもよい。
【0022】
<遠隔操作装置のハードウェア構成>
遠隔操作装置30は、一例として、図2に示されるようなハードウェア構成を有する。具体的には、遠隔操作装置30は、CPU201、ROM202、RAM203、HDD等の記憶装置(ストレージ)204、通信デバイス205、表示デバイス206、及び操作部207を備える。
【0023】
遠隔操作装置30では、例えばROM202、RAM203及びストレージ204のいずれかに格納された、上述の画像認識サーバ31及び遠隔操作サーバ32の各機能を実現するプログラムがCPU201によって実行される。なお、CPU201は、ASIC(特定用途向け集積回路)、FPGA(フィールドプログラマブルゲートアレイ)、DSP(デジタルシグナルプロセッサ)等の1つ以上のプロセッサによって置き換えられてもよい。通信デバイス205は、CPU201による制御下で、外部装置との通信を行うための通信インタフェースである。遠隔操作装置30は、それぞれ接続先が異なる複数の通信デバイス305を有していてもよい。
【0024】
遠隔操作装置30において、表示デバイス206は、監視カメラ群10から受信される、ロボット20の遠隔操作に使用可能な映像の表示に用いられ、液晶ディスプレイ等で構成されうる。操作部207は、ユーザによる遠隔操作30の操作に用いられ、例えば、タッチパネル、キーボード、マウス等の入力デバイスで構成されうる。ユーザは、遠隔操作用スライスが作成されている間に、表示デバイス206に表示される、監視カメラ群10からの映像を確認しながら、操作部207を用いてロボット20の遠隔操作を行いうる。
【0025】
<映像伝送用スライスの設定レベルの例>
本実施形態では、映像伝送用スライスに対する通信帯域の設定(設定帯域)及び通信遅延の設定(設定遅延)について複数の設定レベルが定められている。図3は、映像伝送用スライスに対する設定レベルの例を示す図である。図3に例示されるように、複数の設定レベルのそれぞれに対して、監視カメラ群10による撮影に関連する要件(監視カメラ要件)が対応付けられている。
【0026】
図3の例では、設定レベル1~8が予め定められている。設定レベル1~8に対して、それぞれ映像伝送用スライスの通信帯域の設定が定められており、それぞれ異なる通信帯域(帯域幅)が定められている。設定レベル1は、最も広い通信帯域に対応する設定レベルであり、設定レベル8は、最も狭い通信帯域に対応する設定レベルである。また、設定レベル1の最も広い通信帯域の設定に合わせて、監視カメラ要件として最も高解像度の要件が設定レベル1に対応付けられている。一方、設定レベル8の最も狭い通信帯域の設定に合わせて、監視カメラ要件として最も低解像度の要件が設定レベル8に対応付けられている。
【0027】
画像認識サーバ31及び通信PF40は、図3に例示される、映像伝送用スライスの複数の設定レベルに関する情報を保持している。画像認識サーバ31は、複数の設定レベルのうちのいずれかの設定レベルを選択し、選択した設定レベルでの映像伝送用スライスの設定を通信PF40に指示しうる。通信PF40は、画像認識サーバ31からの指示に従って、選択された設定レベルで映像伝送用スライスの設定を行うよう、NWコントローラ50への指示を行いうる。
【0028】
また、画像認識サーバ31は、現在選択されている設定レベルに対応づけられている監視カメラ要件に従って監視カメラ群10による製品の撮影が行われるよう、映像伝送用スライスを用いて監視カメラ群10を制御する。図3に示されるように、監視カメラ要件は、監視カメラ群10に含まれる監視カメラのうちで使用する監視カメラの台数と、各監視カメラにより撮影される映像の解像度(撮影画素数)とを定めている。
【0029】
<処理手順>
図4A及び図4Bは、遠隔操作装置30によって実行される処理の手順を示すフローチャートである。図4A及び図4Bの各ステップの処理は、例えば、ROM202又はストレージ204に格納された制御プログラムをCPU201が読み出して実行することで、遠隔操作装置30において画像認識サーバ31又は遠隔操作サーバ32による処理として実現される。
【0030】
遠隔操作サーバ32によるロボット20の遠隔操作が行われていない定常状態において、遠隔操作スライスは作成されていない。S401で、画像認識サーバ31は、この定常状態において、監視カメラ群10が撮影した映像を、映像伝送用スライスを用いて監視カメラ群10から受信する。S402で、画像認識サーバ31は、上記の定常状態において、受信した映像に基づいて、監視カメラ群10により撮影された製品のうちで不良品を検出する検出処理を行う。
【0031】
画像認識サーバ31は、遠隔操作用スライスが作成されていない定常状態において、映像伝送用スライスの設定についての設定レベルを、複数の設定レベルのうちで最も狭い通信帯域に対応する(低解像度設定の)設定レベル8とする。これにより、映像伝送用スライスにおいて使用される通信リソースを節約しつつ、不良品の検出処理を行うことが可能になる。
【0032】
そのS403で、画像認識サーバ31は、検出処理により不良品を検出したか否かを判定し、検出していない場合にはS401へ処理を戻し、検出した場合にはS404へ処理を進める。本実施形態において、画像認識サーバ31は、遠隔操作サーバ32によるロボット20の遠隔操作が行われる場合にのみ遠隔操作用スライスを作成させ、ロボット20の遠隔操作が終了すると遠隔操作用スライスを削除させる制御を行う。より具体的には、以下で説明するように、画像認識サーバ31は、検出処理による不良品の検出に応じて、ロボット20の遠隔操作を可能にするために遠隔操作用スライスを作成させ、ロボット20の遠隔操作による当該不良品の除去に応じて遠隔操作用スライスを削除させる制御を行う。
【0033】
S404で、画像認識サーバ31は、遠隔操作用スライスの作成を通信PF40へ要求する。更にS405で、画像認識サーバ31は、図3に例示される複数の設定レベル(設定レベル1~8)のうちで、最も広い通信帯域に対応する設定レベル1を選択し、処理をS406へ進める。S406で、選択した設定レベルで映像伝送用スライスの設定変更を行うよう、通信PF40へ要求し、S407へ処理を進める。これにより、設定レベル1に対応付けられた監視カメラ要件に従って監視カメラ群10によって撮影された高解像度の映像を表示デバイス206でユーザが確認しながら、操作部207を用いて、不良品除去のためのロボット20の遠隔操作を行うことを可能にする。通信PF40は、画像認識サーバ31からのS404及びS406における要求に応じた処理(遠隔操作用スライスの作成処理及び映像伝送用スライスの設定変更処理)を行う。
【0034】
S407で、画像認識サーバ31は、映像伝送用スライスを用いて、監視カメラ群10に対して、選択した設定レベルに応じた監視カメラ要件の変更制御を行い、S408へ処理を進める。なお、S407では、画像認識サーバ31は、設定レベルの変更に応じて監視カメラ要件(監視カメラの使用台数及び撮影画素数)の変更が必要となる場合に限り、監視カメラ群10に対する変更制御を行えばよい。監視カメラ要件の変更が必要とならない場合には、監視カメラ群10に対する変更制御を行う必要はない。
【0035】
S408で、画像認識サーバ31は、通信PF40からの通知に基づいて、通信PF40に対して(S404及びS406において)要求した処理が通信PF40において成功したか否かを判定する。画像認識サーバ31は、通信PF40による処理が不成功となったことを示す通知を受信した場合(S408で「NO」)、S409で、不成功の原因が通信帯域の不足であったか否かを判定する。画像認識サーバ31は、不成功の原因が通信帯域の不足ではなかった場合にはS408へ処理を戻し、不成功の原因が通信帯域の不足であった場合にはS410へ処理を進める。
【0036】
S410で、画像認識サーバ31は、映像伝送用スライスに対して、設定レベルに対応する通信帯域の確保が可能になるよう、より狭い帯域の設定レベルを選択し直す。例えば、図3の例では、現在選択されている設定レベルが設定レベル1である場合、設定レベルの選択を設定レベル2へ変更する。その後、画像認識サーバ31は、S406へ処理を戻し、選択した設定レベルで映像伝送用スライスの設定変更を行うよう、再び通信PF40へ要求し、S407へ処理を進める。
【0037】
S408において、画像認識サーバ31は、通信PF40による処理が成功したことを示す通知を受信した場合(S408で「YES」)、S411へ処理を進める。S411で、画像認識サーバ31は、映像伝送用スライスを用いて、監視カメラ群10から映像を受信する。また、S412で、画像認識サーバ31は、映像伝送用スライスで実際に使用されている通信帯域を測定して得られた測定値である実帯域を、通信PF40から取得し、S413へ処理を進める。
【0038】
S413で、画像認識サーバ31は、取得された実帯域と、映像伝送用スライスに対して設定されている通信帯域(設定帯域)とを比較し、実帯域が設定帯域より少ないか否かを判定する。画像認識サーバ31は、実帯域が設定帯域より少ない場合には、S410へ処理を進め、設定帯域が実帯域に近づくように、映像伝送用スライスに対する設定レベルとして、より狭い帯域の設定レベルを選択し直す。その後、S408へ処理を戻し、上述の処理を繰り返す。このようにして、画像認識サーバ31は、映像伝送用スライスに対して設定されている通信帯域(設定帯域)が実帯域に近づくように、映像伝送用スライスに対する設定レベルを動的に変更する。
【0039】
一方、画像認識サーバ31は、実帯域が設定帯域より少なくない場合には、S413からS414へ処理を進める。S414で、遠隔操作サーバ32は、作成された遠隔操作用スライスを用いて、ロボット20の遠隔操作のための通信を行う。具体的には、遠隔操作サーバ32は、検出された不良品を生産ラインから除去するためのロボット20の遠隔操作を実行する。
【0040】
遠隔操作サーバ32による遠隔操作が行われる間に、画像認識サーバ31は、通信PF40からの実帯域の取得を継続する。S415で、画像認識サーバ31は、取得した実帯域に基づいて、映像伝送用スライスに対して設定されている通信帯域(設定帯域)が実帯域に対して不足することが生じているか否かを判定する。
【0041】
設定帯域が実帯域に対して不足してなければ、S416へ処理を進め、映像伝送用スライスの利用率が、所定の閾値を上回っているか否かを判定する。映像伝送用スライスの利用率は、通信PF40によって測定され、通信PF40から取得される。画像認識サーバ31は、映像伝送用スライスの利用率が所定の閾値を上回っていなければ、S418へ処理を進める。
【0042】
画像認識サーバ31は、設定帯域が実帯域に対して不足している場合、又は映像伝送用スライスの利用率が所定の閾値を上回っている場合には、S417へ処理を進める。これらは、映像伝送用スライスにおける通信帯域の不足又は利用率の上昇に起因して、監視カメラ群10からの映像に乱れ又は映像の伝送停止が生じ、ロボット20の遠隔操作の実行に影響(支障)が生じる場合に相当する。
【0043】
このような場合、S417で、画像認識サーバ31は、映像伝送用スライスに対して、より広い帯域の設定レベルを選択し直す。例えば、図3の例では、現在選択されている設定レベルが設定レベル4である場合、設定レベルの選択を設定レベル3へ変更する。その後、画像認識サーバ31は、S406へ処理を戻し、選択した設定レベルで映像伝送用スライスの設定変更を行うよう、再び通信PF40へ要求し、S407へ処理を進める。
【0044】
一方、S418で、画像認識サーバ31は、不良品除去のための遠隔操作が完了したか否かを判定し、不良品除去が完了していなければS414へ処理を戻し、不良品除去が完了するとS419へ処理を進める。
【0045】
不良品除去のためのロボット20の遠隔操作が終了すると、S419で、画像認識サーバ31は、遠隔操作用スライスの削除を通信PF40へ要求することで、遠隔操作用スライスを通信PF40に削除させる。遠隔操作装置30は、上述の定常状態に戻る。更にS420で、画像認識サーバ31は、映像伝送用スライスの低解像設定(設定レベル8)への設定変更を、通信PF40へ要求する。このようにして、映像伝送用スライスの設定レベルが、遠隔操作用スライスが作成されていない定常状態における設定レベル8に戻される。
【0046】
その後、S421で、画像認識サーバ31は、映像伝送用スライスを用いて、監視カメラ群10に対して、低解像設定(設定レベル8)に応じた監視カメラ要件の変更制御を行い、図4A及び図4Bの手順による処理を終了する。
【0047】
以上説明したように、本実施形態の遠隔操作装置30において、画像認識サーバ31は、製品を撮影する監視カメラ群10からの映像伝送用スライスと、ロボット20の遠隔操作用スライスとについての作成や削除及び設定を制御する。映像伝送用スライスに対する通信帯域及び通信遅延の設定について複数の設定レベルが予め定められており、当該複数の設定レベルのそれぞれに対して、監視カメラ群10による撮影に関連する要件が対応付けられている。
【0048】
画像認識サーバ31は、複数の設定レベルのうちで現在選択されている設定レベルに対応付けられている要件で、監視カメラ群10が製品を撮影した映像であって、ロボット20の遠隔操作のために使用可能な映像を、映像伝送用スライスを用いて監視カメラ群10から受信する。遠隔操作サーバ32は、遠隔操作用スライスを用いて、ロボット20の遠隔操作のための通信を行う。画像認識サーバ31は、ロボット20の遠隔操作が行われる間に、映像伝送用スライスで実際に使用されている通信帯域を測定して得られた測定値である実帯域を取得し、現在選択されている設定レベルと実帯域とに基づいて、映像伝送用スライスの設定についての設定レベルを動的に変更する。
【0049】
このように、本実施形態によれば、使用される監視カメラ群10による撮影に関連する要件とネットワークスライスの実際の使用状況とに応じて、ネットワークスライスの設定を動的に変更することが可能になる。
【0050】
なお、上述の実施形態では、工場内のロボット20の遠隔操作により不良品の除去を行う例について説明したが、本発明はこれに限定されない。例えば、本発明は、自動運転車の遠隔操作等への適用例も想定される。この例では、定常状態において、自動運転車に搭載されたカメラから遠隔の監視センター(遠隔操作装置)へ、映像伝送用スライスを用いて低解像度の設定レベルで映像が送信される。監視センターにおいて自動運転車の異常が検知された場合に、上述の実施形態と同様、最も高解像度の設定レベルを選択し、選択した設定レベルで映像伝送スライスの設定変更が通信PF40へ要求される。更に、遠隔操作用スライスの作成が、監視センターから通信PF40へ要求される。
【0051】
[その他の実施形態]
上述の実施形態に係る遠隔操作装置は、コンピュータを遠隔操作装置として機能させるためのコンピュータプログラムにより実現することができる。当該コンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて配布が可能なもの、又は、ネットワーク経由で配布が可能なものである。
【0052】
なお、本発明により、例えば、ロボットの遠隔操作に用いられる映像の伝送用のネットワークスライスの設定を動的に変更することが可能となることから、国連が主導する持続可能な開発目標(SDGs)の目標9「産業と技術革新の基盤をつくろう」に貢献することが可能となる。
【0053】
発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。
【符号の説明】
【0054】
10:監視カメラ群、20:ロボット、30:遠隔操作装置、31:画像認識サーバ、32:遠隔操作サーバ、40:通信PF、50:NWコントローラ
図1
図2
図3
図4A
図4B