特開 2024-147009 通信システム、情報処理装置、通信方法及び通信プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024147009

(43)【公開日】2024-10-16

(54)【発明の名称】通信システム、情報処理装置、通信方法及び通信プログラム

(51)【国際特許分類】

   H04L 41/5025 20220101AFI20241008BHJP

   H04L 41/5067 20220101ALI20241008BHJP

   H04L 45/302 20220101ALI20241008BHJP

【ＦＩ】

H04L41/5025

H04L41/5067

H04L45/302

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023059772

(22)【出願日】2023-04-03

(71)【出願人】

【識別番号】000232254

【氏名又は名称】日本電気通信システム株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】アウスト シュテファン

【テーマコード（参考）】

5K030

【Ｆターム（参考）】

5K030GA14

5K030HB02

5K030LB09

5K030MB01

(57)【要約】

【課題】ネットワークサービスに対するユーザの満足度を高めることが可能な通信システム、情報処理装置、通信方法及び通信プログラムを提供すること。
【解決手段】通信システム１００は、第１の通信装置１１０を用いて提供されたネットワークサービスに対するユーザの満足度を示す第１のスコアと、第２の通信装置１２０を用いて提供されたネットワークサービスに対するユーザの満足度を示す第２のスコアを算出するスコア算出部９１１と、スコア判定部９１２によって第１のスコアと第２のスコアが異なると判定された場合に、ネットワーク１３０を介して第１の通信装置１１０へ転送される第１の通信データの通信経路、又は、第１の通信装置１１０からネットワーク１３０を介して第２の通信装置１２０へ転送される第２の通信データの通信経路を、経路情報が規定する通信経路に変更する通信経路変更部９１３とを含む。
【選択図】図１５

【特許請求の範囲】

【請求項1】

第１の通信装置と、
第２の通信装置と、
前記第１の通信装置を用いて提供されたネットワークサービスに対するユーザの満足度を示す第１のスコアと、前記第２の通信装置を用いて提供されたネットワークサービスに対するユーザの満足度を示す第２のスコアを算出するスコア算出部と、
前記第１のスコアと前記第２のスコアが同じであるか否か判定するスコア判定部と、
前記第１のスコアと前記第２のスコアが異なると判定された場合に、既定の通信品質を充たす通信経路を示す経路情報に基づき、ネットワークを介して前記第１の通信装置へ転送される第１の通信データの通信経路、又は、前記第１の通信装置から前記ネットワークを介して前記第２の通信装置へ転送される第２の通信データの通信経路を、前記経路情報が規定する通信経路に変更する通信経路変更部と
を含む、
通信システム。

【請求項2】

前記通信経路変更部は、前記第１のスコアが前記第２のスコアよりも低いと判定された場合、前記第１の通信データの通信経路を、前記経路情報が規定する通信経路に変更する、請求項１に記載の通信システム。

【請求項3】

前記通信経路変更部は、前記第２のスコアが前記第１のスコアよりも低いと判定された場合、前記第２の通信データの通信経路を、前記経路情報が規定する通信経路に変更する、請求項１又は２に記載の通信システム。

【請求項4】

前記通信データには、触覚データ、音声データ及び映像データが含まれる、請求項３に記載の通信システム。

【請求項5】

前記ネットワークサービスには、遠隔医療に関するネットワークサービス、機械又は設備の遠隔操作に関するネットワークサービス、移動体装置の遠隔操作に関するネットワークサービス、複合現実又は仮想現実に関するネットワークサービスが含まれる、請求項３に記載の通信システム。

【請求項6】

第１の通信装置及び第２の通信装置とネットワークを介して通信する情報処理装置であって、
前記第１の通信装置を用いて提供されたネットワークサービスに対するユーザの満足度を示す第１のスコアと、前記第２の通信装置を用いて提供されたネットワークサービスに対するユーザの満足度を示す第２のスコアを算出するスコア算出部と、
前記第１のスコアと前記第２のスコアが同じであるか否か判定するスコア判定部と、
前記第１のスコアと前記第２のスコアが異なると判定された場合に、既定の通信品質を充たす通信経路を示す経路情報に基づき、前記情報処理装置から前記ネットワークを介して前記第１の通信装置へ転送される第１の通信データの通信経路、又は、前記第１の通信装置から前記ネットワークを介して前記第２の通信装置へ転送される第２の通信データの通信経路を、前記経路情報が規定する通信経路に変更する通信経路変更部と
を含む、情報処理装置。

【請求項7】

前記通信経路変更部は、前記第１のスコアが前記第２のスコアよりも低いと判定された場合、前記第１の通信データの通信経路を、前記経路情報が規定する通信経路に変更する、請求項６に記載の情報処理装置。

【請求項8】

前記通信経路変更部は、前記第２のスコアが前記第１のスコアよりも低いと判定された場合、前記第２の通信データの通信経路を、前記経路情報が規定する通信経路に変更する、請求項６又は７に記載の情報処理装置。

【請求項9】

コンピュータが、
第１の通信装置を用いて提供されたネットワークサービスに対するユーザの満足度を示す第１のスコアと、第２の通信装置を用いて提供されたネットワークサービスに対するユーザの満足度を示す第２のスコアを算出し、
前記第１のスコアと前記第２のスコアが同じであるか否か判定し、
前記第１のスコアと前記第２のスコアが異なると判定された場合に、既定の通信品質を充たす通信経路を示す経路情報に基づき、ネットワークを介して前記第１の通信装置へ転送される第１の通信データの通信経路、又は、前記第１の通信装置から前記ネットワークを介して前記第２の通信装置へ転送される第２の通信データの通信経路を、前記経路情報が規定する通信経路に変更する
通信方法。

【請求項10】

コンピュータに対し、
第１の通信装置を用いて提供されたネットワークサービスに対するユーザの満足度を示す第１のスコアと、第２の通信装置を用いて提供されたネットワークサービスに対するユーザの満足度を示す第２のスコアを算出させ、
前記第１のスコアと前記第２のスコアが同じであるか否か判定させ、
前記第１のスコアと前記第２のスコアが異なると判定された場合に、既定の通信品質を充たす通信経路を示す経路情報に基づき、ネットワークを介して前記第１の通信装置へ転送される第１の通信データの通信経路、又は、前記第１の通信装置から前記ネットワークを介して前記第２の通信装置へ転送される第２の通信データの通信経路を、前記経路情報が規定する通信経路に変更させる
通信プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＨＡＶ（Haptic Audio Video）マルチモーダル通信システムに関する。

【背景技術】

【0002】

従来、触覚データ、音声データ及び映像データ等の通信データを遣り取りするＨＡＶマルチモーダル通信システムが提案されている。このような通信システムの一例として、特許文献１は、マルチモーダル感覚データに基づいて、ロボットプラットフォームを遠隔制御するシステムを開示する。このシステムでは、ロボットプラットフォームを遠隔制御ステーションに通信接続し、ロボットプラットフォームのセンサを用いてマルチモーダル感覚データを取得し、マルチモーダル感覚データを送信し、遠隔制御ステーションからの遠隔制御命令をロボットプラットフォームで受信する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－８１５９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１が開示するシステムは、ＨＡＶマルチモーダル通信システムにおけるネットワークサービスに対するユーザの満足度を評価するものではないため、ネットワークサービスに対するユーザの満足度を高めることができないという課題があった。

【0005】

本開示の目的の一つは、上述した課題を鑑み、ネットワークサービスに対するユーザの満足度を高めることが可能な通信システム、情報処理装置、通信方法及び通信プログラムを提供することにある。

【課題を解決するための手段】

【0006】

例示的な一実施形態に係る通信システムは、
第１の通信装置と、
第２の通信装置と、
第１の通信装置を用いて提供されたネットワークサービスに対するユーザの満足度を示す第１のスコアと、第２の通信装置を用いて提供されたネットワークサービスに対するユーザの満足度を示す第２のスコアを算出するスコア算出部と、
第１のスコアと第２のスコアが同じであるか否か判定するスコア判定部と、
第１のスコアと第２のスコアが異なると判定された場合に、既定の通信品質を充たす通信経路を示す経路情報に基づき、ネットワークを介して第１の通信装置へ転送される第１の通信データの通信経路、又は、第１の通信装置からネットワークを介して第２の通信装置へ転送される第２の通信データの通信経路を、経路情報が規定する通信経路に変更する通信経路変更部とを含む。

【0007】

例示的な一実施形態に係る第１の通信装置及び第２の通信装置とネットワークを介して通信する情報処理装置は、
第１の通信装置を用いて提供されたネットワークサービスに対するユーザの満足度を示す第１のスコアと、第２の通信装置を用いて提供されたネットワークサービスに対するユーザの満足度を示す第２のスコアを算出するスコア算出部と、
第１のスコアと第２のスコアが同じであるか否か判定するスコア判定部と、
第１のスコアと第２のスコアが異なると判定された場合に、既定の通信品質を充たす通信経路を示す経路情報に基づき、情報処理装置からネットワークを介して第１の通信装置へ転送される第１の通信データの通信経路、又は、第１の通信装置からネットワークを介して第２の通信装置へ転送される第２の通信データの通信経路を、経路情報が規定する通信経路に変更する通信経路変更部とを含む。

【0008】

例示的な一実施形態に係る通信方法は、
コンピュータが、
第１の通信装置を用いて提供されたネットワークサービスに対するユーザの満足度を示す第１のスコアと、第２の通信装置を用いて提供されたネットワークサービスに対するユーザの満足度を示す第２のスコアを算出し、
第１のスコアと第２のスコアが同じであるか否か判定し、
第１のスコアと第２のスコアが異なると判定された場合に、既定の通信品質を充たす通信経路を示す経路情報に基づき、ネットワークを介して第１の通信装置へ転送される第１の通信データの通信経路、又は、第１の通信装置からネットワークを介して第２の通信装置へ転送される第２の通信データの通信経路を、経路情報が規定する通信経路に変更する。

【0009】

例示的な一実施形態に係る通信プログラムは、
コンピュータに対し、
第１の通信装置を用いて提供されたネットワークサービスに対するユーザの満足度を示す第１のスコアと、第２の通信装置を用いて提供されたネットワークサービスに対するユーザの満足度を示す第２のスコアを算出させ、
第１のスコアと第２のスコアが同じであるか否か判定させ、
第１のスコアと第２のスコアが異なると判定された場合に、既定の通信品質を充たす通信経路を示す経路情報に基づき、ネットワークを介して第１の通信装置へ転送される第１の通信データの通信経路、又は、第１の通信装置からネットワークを介して第２の通信装置へ転送される第２の通信データの通信経路を、経路情報が規定する通信経路に変更させる。

【発明の効果】

【0010】

本開示により、ネットワークサービスに対するユーザの満足度を高めることが可能な通信システム、情報処理装置、通信方法及び通信プログラムを提供することができる。

【図面の簡単な説明】

【0011】

【図1】例示的な一実施形態に係る通信システムを示す図である。

【図2】ＨＡＶマルチモーダル通信システムの時間に関連する支援を示す図である。

【図3】ＨＡＶデータの流れの監視と、ＡＰＩ（Application Programming Interface）サポートを示す図である。

【図4】ＱｏＥ（Quality of Experience）の推定アルゴリズムの一例を示す図である。

【図5】ＱｏＳ（Quality of Service）、ＱｏＥ及びＯＤＤ（Operational Design Domain）を含むＨＡＶマルチモーダル通信システムの一例を示す図である。

【図6】ＨＡＶマルチモーダル通信プラットフォームの詳細と流れの調整を示す図である。

【図7】ＨＡＶマルチモーダル通信プラットフォームにおけるポリシーの定義及び取り扱いについて説明する図である。

【図8】ＨＡＶマルチモーダル通信プラットフォームにおけるポリシーの取り扱いを説明する図である。

【図9】ＨＡＶマルチモーダル通信プラットフォームが実行する処理の一例を示す図である。

【図10】ネットワークサービスプロバイダの管理装置が実行する処理の一例を示す図である。

【図11】ＨＡＶマルチモーダル通信プラットフォームが実行する処理の他の例を示す図である。

【図12】ネットワークサービスプロバイダの管理装置が実行する処理の他の例を示す図である。

【図13】先行側（ローカル）におけるマルチモーダルＨＡＶプラットフォームのサービス構成を示す図である。

【図14】後続側（リモート）におけるマルチモーダルＨＡＶプラットフォームのサービス構成を示す図である。

【図15】例示的な一実施形態に係る管理装置が有する主要な構成要素を示す図である。

【図16】例示的な一実施形態に係る管理装置の構成を示す図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して、例示的な実施形態について説明する。図１は、例示的な一実施形態に係る通信システムを示す図である。図１に示す通信システムは、様々な触覚データ、音声データ及び映像データを通信する広域通信システムである。この通信システムは、先行システム１と、後続システム２とを含む。先行システム１と後続システム２との間で通信されるデータは、様々な通信パスを介して転送される。

【0013】

先行システム１は、ユーザ装置１１を含む。ユーザ装置１１は、触覚データ、音声データ及び映像データを処理する装置である。ユーザ装置１１は、通信機能を備える。触覚データ、音声データ及び映像データは、複数のセンサ、アクチュエータ及び入力装置等の装置が生成する。これらのデータは、ＨＡＶデータとしても称される。本実施形態では、ユーザ装置１１は、これらのデータに、時刻情報を示すタイムフレーム番号を、追加情報として付加する。

【0014】

ユーザ装置１１は、これらのＨＡＶデータを、広域エリアネットワークを介して、複数のデータストリームとして後続システム２に送信する。広域エリアネットワークの具体例としては、携帯電話ネットワーク等が挙げられる。

【0015】

後続システム２は、ジッター／バッファ２０と、ユーザ装置２１とを含む。ジッター／バッファ２０は、タイムフレーム番号を用いて、ＨＡＶデータストリームを修正及び再スケジューリングし、通信パスを介した受信データの正確性及び信頼性を改善する。

【0016】

ユーザ装置２１は、ＨＡＶデータを処理する装置である。ユーザ装置２１は、通信機能を備える。ユーザ装置２１は、受信したＨＡＶデータを再生する。

【0017】

図２は、ＨＡＶマルチモーダル通信システムの時間に関連する支援を示す図である。触覚データ、音声データ及び映像データは、通常、様々な種類のデータサンプリングスキームを有する。これらのデータは、人間によって様々に使用される。触覚は、瞬間的な知覚のために素早い送達を必要とする。一方、音声及び映像は、知覚における優位性が低い。したがって、触覚データ、音声データ及び映像データのサンプリングは異なり、使用に関するＨＡＶデータのサンプリングは、全体として異なる。

【0018】

通常、先行システム１のユーザ装置に相当する送信装置１０では、触覚データは１０００Ｈｚ（１ｍｓ）でサンプリングされる。一方、音声データは、２０ｍｓのサンプリングレートを必要とし、映像データは、３０ｍｓのサンプリングレートを必要とする。この非同期の問題を解決すべく、後続システム２のユーザ装置に相当する受信装置２１は、ＨＡＶデータの非同期を解決する機能を有する。ＨＡＶデータの遅延を調整すべく、ジッター／バッファ２０は、受信装置２１におけるＨＡＶデータの使用及び再生のために、ＨＡＶデータを保存し、図２に示すように、これらのＨＡＶデータのタイミングを同期させることにより、ＨＡＶデータの転送を支援する。

【0019】

図３は、ＨＡＶデータの流れの監視と、ＡＰＩサポートを示す図である。図３には、単一のＱｏｓセッションのための複数のＨＡＶデータの流れが示されている。例えば、サードパーティと携帯電話との間のネゴシエーション等のＱｏｓセッション情報は、静的である。一方、ＨＡＶトラフィック情報は、動的である。Ｑｏｓセッション情報及びＨＡＶトラフィック情報の双方は、Ｑｏｓに関連するアプリケーションを支援し、また、ＨＡＶに関連するアプリケーションに必要とされ得る。

【0020】

ＡＰＩは、本通信システムで必要とされる様々な情報を含み得る。図３に示すＰは、プロバイダネットワークに関連する情報である。Ｓは、セッションＩＤを示す。Ｑｏｓは、品質パラメータを示す。ｆ＿ＨＡＶは、流れに関連する情報、例えば、消費やドロップ等である。ｔ＿ＨＡＶは、トラフィックに関連する情報、例えば、低いトラフィック、高いトラフィック、ドロップ等である。ｆ＿ＨＡＶ及びｔ＿ＨＡＶの双方は、リアルタイムで監視され、報告される。図３に示すＡＰＩを用いて、携帯電話ネットワークの管理装置（図示せず）は、必要とされる情報を報告し、これらの情報は、サードパーティのサービスプロバイダが取得することができる。

【0021】

図４は、ＱｏＥの推定アルゴリズムの一例を示す図である。ＱｏＥの推定アルゴリズムでは、ＱｏＥ（ローカル）とＱｏＥ（リモート）との差分が算出される。ＱｏＥ（ローカル）及びＱｏＥ（リモート）が同一である場合、差分は０であり、これは、ローカルとリモートの性能が同じであることを意味し、ユーザが、ローカルで操作及び観察を行う場合、又は携帯電話ネットワークを介してリモートで操作及び観察を行う場合に、違いが無いことを意味する。これは、携帯電話システムがＨＡＶデータの転送に悪影響を及ぼさないため、ＨＡＶマルチモーダル通信システムの理想的な状態と言える。

【0022】

ＱｏＥ（ローカル）及びＱｏＥ（リモート）が同一で無い場合、ＱｏＥは、例えば、ポリシーを改善し、又は、ＱｏＳの設定を改善することにより、調整されるべきである。したがって、遠隔地におけるＨＡＶデータのＱｏＥ（ＱｏＥ＿ｒｅｍｏｔｅ）は、ＱｏＥ（ローカル）と通信パスの状態に依存する関数となる。これにより、ＨＡＶシステムが、ＱｏＥに関連するＱｏＳの設定を調整することができ、遅延が少なく、改善されたＨＡＶの同期、改善されたバッファリング等の最適なＨＡＶシステムのユーザ体験を提供することができる。ＱｏＥ処理は、携帯電話ネットワークによって支援され、又は、ＡＩに関連する処理を用いて支援され、ユーザ体験を自動的に単純化及び推定することができる。

【0023】

図５は、ＱｏＳ、ＱｏＥ及びＯＤＤを含むＨＡＶマルチモーダル通信システムの一例を示す図である。図５に示すＨＡＶマルチモーダル通信システムは、ＨＡＶマルチモーダル通信プラットフォーム５０と、携帯電話システム６０とを含む。

【0024】

ＨＡＶマルチモーダル通信プラットフォーム５０は、高信頼性のＨＡＶマルチモーダル通信に関連する構成要素を含む。これらの構成要素は、ＨＡＶに関連するアプリケーション５１の設計、実装及び実行を可能にする。アプリケーション５１には、遠隔医療を提供するためのアプリケーション、機械及び／又は設備の遠隔操作のためのアプリケーション、車両の遠隔操作を行うためのアプリケーション、複合現実（ＭＲ：Mixed Reality）／仮想現実（ＶＲ：Virtual Reality）を実現するためのアプリケーションが含まれる。アプリケーション５１は、セッションエンジン５２が管理するセッションを開始する。

【0025】

セッションエンジン５２は、プラットフォーム５０内における、セッションの開始及び停止、並びに、関連するリソース及び識別情報を管理する。

【0026】

アプリケーション５１は、ＱｏＥアシスタント５３及びＱｏＥエンジン５４に接続される。ＱｏＥアシスタント５３は、ＱｏＥが不十分な場合に、アプリケーション５１を支援する。そのため、リモートレンダリング、機械学習、ＣＮＮ（Convolutional Neural Network）、ＡＮＮ（Artificial Neural Network）等の追加の外部リソースが必要となる。これらの外部リソースは、サポートエンジン７０を介して提供される。したがって、費用が高いリソースの集中的な演算とレンダリングが外部で行われ、これらの結果がＨＡＶマルチモーダル通信プラットフォーム５０にフィードバックされる。

【0027】

ＱｏＥエンジン５４は、ＱｏＥに関連する情報を用いてアプリケーション５１を支援し、必要に応じて、ＱｏＳパラメータを修正する。これを実現すべく、プラットフォーム５０は、携帯電話ネットワーク内のポリシー予約部６３に接続される。これは、適合を伴う閉ループを提供し、サービスフロー管理部６２に関連する携帯電話の状態情報の頻繁な監視が報告され、ＱｏＳがオンデマンドで調整され得る。

【0028】

ＱｏＳポリシーブレーカ５５は、ＱｏＳインタフェースであり、後述するオペレータドメイン管理部に存在する。ＱｏＳポリシーブレーカ５５は、サービスプロバイダからのＱｏＳ要求を受信し、受信したＱｏＳ要求を一連のネットワークパラメータに変換して、必要なデータ通信パフォーマンスを特定する。ＱｏＳポリシーブレーカ５５は、ドメイン管理で利用可能及び予約可能なＱｏＳパラメータを検索する。ＱｏＳポリシーブレーカ５５は、受け入れ可能なメディアストリームと、受け入れられないメディアストリームの種類を指定することができる。使用するコーデックや必要な帯域幅等、ＨＡＶデータの特性に基づいて、いずれのＨＡＶセッションを受け入れるかを指定することができる。

【0029】

ＱｏＳポリシーブレーカ５５は、後述するＱｏＳ管理部に、必要なＱｏＳパフォーマンスを送信する。ＱｏＳポリシーブレーカ５５は、ＱｏＳ管理部からオファー及びアンサーの交換に関する情報を受け取る。

【0030】

アプリケーション５１は、調整部５６に接続される。調整部５６は、アプリケーション５１によって使用されるユーザ装置の設定を管理及び維持する。ＱｏＳハンドリング及び関連するトリガーイベントが、携帯電話ネットワークから調整部５６に報告され、ユーザ装置及び関連するＨＡＶの流れが監視される。

【0031】

調整部５６は、ＯＤＤウォッチドッグクライアント５７に接続される。ＯＤＤウォッチドッグクライアント５７は、車両操作及び医療応用に関連する規則的な操作制御に従う。ＯＤＤウォッチドッグクライアント５７は、携帯電話システム６０内のＯＤＤウォッチドッグ６１と通信する。また、ＯＤＤウォッチドッグクライアント５７は、他のリンクに関連する報告及び観測のメカニズムを使用し得る。

【0032】

サービスフロー管理部６２は、上記ＡＰＩを介して、携帯電話ネットワークの状態、フローの情報、トラフィックを、連続して報告する。したがって、要求されるネットワーク情報はアクセス可能であり、これを用いてポリシーやＱｏＳ設定を修正することにより、ＱｏＥ及びユーザ体験を向上させることができる。

【0033】

図６は、ＨＡＶマルチモーダル通信プラットフォーム５０の詳細と流れの調整を示す図である。図６に示すＨＡＶマルチモーダル通信プラットフォーム５０では、サードパーティ８０が、アプリケーションに関するサービスを提供する。サードパーティ８０は、携帯電話の操作者によって許可される。ＱｏＳポリシー８１に基づき携帯電話機能へのアクセスを可能にするようにポリシーが交換されるため、許可は必要である。サードパーティ８０は、これらのＱｏＳポリシーを決定し、高い周波数帯域、少ない遅延、マルチモーダルフローサポート等のネゴシエーションのために携帯電話に送信する。アプリケーション５１１～５１ｎは、バーチャル店舗（ストアフロント）５１０で提供される。各アプリケーション５１１～５１ｎは、先行のローカルのユーザ装置１１～１３に対応する調整部５６１と、後続の遠隔のユーザ装置２１～２３に対応する調整部５６２と関連する。これらの調整部５６１，５６２は、対応するユーザ装置の設定、センサ及びアクチュエータ、関連するＨＡＶデータフローを管理する。

【0034】

外部のレンダリングマシン７１及びＡＩ予測マシン７２が、演算能力を用いて、プラットフォーム５０を支援する。この演算能力には、レンダリングや予測の他、バーチャル店舗５１０内のアプリケーション５１１～５１ｎのために、プラットフォーム５０のオペレーションを支援し、高いレベルのＱｏＥを保証する他のＡＩサービス等が含まれる。

【0035】

図７は、ＨＡＶマルチモーダル通信プラットフォームにおけるポリシーの定義及び取り扱いについて説明する図である。図７に示すポリシーは、調整情報を含む。このポリシーは、複数の部分（ａ）～（ｃ）を含む。部分（ａ）は、ユーザ装置の情報と、関連するＨＡＶフローを含む。部分（ｂ）は、携帯電話ネットワークから提供される、５Ｇのハンドリング情報と、トリガーイベントを含む。部分（ｃ）は、データフローの情報と、関連するＨＡＶフローを含む。さらに、調整の支援は、ＨＡＶマルチモーダル通信に関連する携帯電話ネットワークから提供される。このポリシーは、サードパーティによって設定され、携帯電話ネットワークのプロバイダへ送信される。アプリケーションは、これらのＱｏＳ設定を用いてサードパーティのプロバイダによって支援される。また、アプリケーションは、最適なＱｏＥ性能のために、独立して複数のユーザ装置の間の他の調整を開始してもよい。

【0036】

図８は、ＨＡＶマルチモーダル通信プラットフォームにおけるポリシーの取り扱いを説明する図である。図８には、サードパーティ８０、認証部８３、マスターオペレータドメイン管理部８４、ＱｏＳ管理部８５、先行のローカルのユーザ装置１１、及び、後続の遠隔のユーザ装置２１が示されている。

【0037】

ステップＳ１でサードパーティ８０は、認証要求を、携帯電話プロバイダの認証部８３に送信する。ステップＳ２では、認証部８３が、サードパーティ８０の認証を行い、請求及び会計処理を行う。ステップＳ３では、認証部８３は、認証応答をサードパーティ８０に送信する。

【0038】

ステップＳ４では、サードパーティ８０は、ＱｏＳポリシーを定義する。ステップＳ５では、サードパーティ８０は、ポリシー要求を、マスターオペレータドメイン管理部８４に送信する。マスターオペレータドメイン管理部８４は、ポリシー要求を受信すると、ステップＳ６でＱｏＳ予約要求をＱｏＳ管理部８５に送信する。

【0039】

ＱｏＳ管理部８５は、ＱｏＳ予約要求を受信すると、ステップＳ７でＱｏＳ有効化信号をユーザ装置１１に送信し、ステップＳ８でＱｏＳ有効化信号をユーザ装置２１に送信する。ユーザ装置１１は、ＱｏＳ有効化信号を受信すると、ステップＳ９でＱｏＳを起動し、ステップＳ１０で確認応答をＱｏＳ管理部８５に送信する。ユーザ装置２１は、ＱｏＳ有効化信号を受信すると、ステップＳ１１でＱｏＳを起動し、ステップＳ１２で確認応答をＱｏＳ管理部８５に送信する。ＱｏＳ管理部８５は、ユーザ装置１１及びユーザ装置２１から確認応答を受信すると、ステップＳ１３で、ユーザ装置１１及びユーザ装置２１においてＱｏＳが起動された旨を示すＱｏＳ予約応答をサードパーティ８０に送信する。

【0040】

ステップＳ１４では、ユーザ装置１１がＱｏＳデータをＱｏＳ管理部８５に送信する。ステップＳ１５では、ユーザ装置２１がＱｏＳデータをＱｏＳ管理部８５に送信する。ＱｏＳ管理部８５は、ユーザ装置１１及びユーザ装置２１からＱｏＳデータを受信すると、ステップＳ１６でこれらのＱｏＳデータの状態を示すＱｏＳ状態情報を、サードパーティ８０に送信する。ステップＳ１７では、サードパーティ８０が、ＱｏＳ状態情報に基づき、ＱｏＳを監視する。

【0041】

図９は、ＨＡＶマルチモーダル通信プラットフォーム５０が実行する処理の一例を示す図である。

【0042】

ステップＳ２０では、プラットフォーム５０が、アプリケーションを開始する。ステップＳ２１では、プラットフォーム５０は、ＱｏＳポリシーが生成されているか否か判定する。ＱｏＳポリシーが生成されていると判定された場合（ＹＥＳ）、ステップＳ２３に処理が分岐する。一方、ポリシーが生成されていない判定された場合（ＮＯ）、プラットフォーム５０は、ユーザの指示に従い、ステップＳ２２でＱｏＳポリシーを生成する。なお、予め既定のＱｏＳポリシーを用意してもよい。ＱｏＳポリシーは、特定のネットワークサービスに関連する通信データの転送の優先順位を規定することができる。例えば、遠隔制御に関するアプリケーション、ゲームに関するアプリケーション、マルチメディアに関するアプリケーションが使用する通信データの転送を優先することができる。

【0043】

ステップＳ２３では、プラットフォーム５０は、ＱｏＳポリシーの承認要求及びＱｏＳポリシーを、サービスプロバイダの管理装置に送信する。ステップＳ２４では、プラットフォーム５０は、サービスプロバイダの管理装置からの応答に基づき、送信したＱｏＳポリシーが承認されたか否か判定する。ＱｏＳポリシーが承認されなかったと判定した場合（ＮＯ）、ステップＳ２５でプラットフォーム５０は、代わりのネットワークサービスプロバイダを選択する。一方、ＱｏＳポリシーが承認されたと判定した場合（ＹＥＳ）、ステップＳ２６に処理が分岐する。

【0044】

ステップＳ２６では、プラットフォーム５０は、ＱｏＳサービスをアプリケーションに提供する。ステップＳ２７では、プラットフォーム５０は、ＱｏＳサービスが終了したか否か判定する。ＱｏＳサービスが終了していないと判定した場合（ＮＯ）、ステップＳ２６に処理が戻る。一方、ＱｏＳサービスが終了したと判定した場合（ＹＥＳ）、ステップＳ２８でプラットフォーム５０は、ＱｏＳ予約終了通知を、ネットワークサービスプロバイダの管理装置に送信し、ステップＳ２０に処理が戻る。

【0045】

図１０は、ネットワークサービスプロバイダの管理装置が実行する処理の一例を示す図である。

【0046】

ステップＳ３０では、管理装置がＱｏＳサービスを提供する。ステップＳ３１では、管理装置は、プラットフォーム５０からＱｏＳポリシーの承認要求を受信したか否か判定する。ＱｏＳポリシーの承認要求を受信していない場合（ＮＯ）、ステップＳ３１の処理が再び実行される。一方、ＱｏＳポリシーの承認要求を受信した場合（ＹＥＳ）、ステップＳ３２に処理が分岐する。

【0047】

ステップＳ３２では、管理装置は、ＱｏＳポリシーの承認要求と共に受信したＱｏＳポリシーが承認されたか否か判定する。ＱｏＳポリシーは、ネットワークサービスプロバイダの管理装置のユーザが承認することができる。また、管理装置が、予め用意された承認可能なＱｏＳポリシーの情報に基づき、ＱｏＳポリシーの承認要求と共に受信したＱｏＳポリシーが承認可能なものであるか否か判定することもできる。

【0048】

ＱｏＳポリシーが承認されなかったと判定した場合（ＮＯ）、ステップＳ３１に処理が戻る。一方、ＱｏＳポリシーが承認されたと判定した場合（ＹＥＳ）、ステップＳ３３で管理装置は、ＱｏＳを予約する。ステップＳ３４では、管理装置は、ＱｏＳレポートをプラットフォーム５０に送信する。ステップＳ３５では、管理装置は、プラットフォーム５０からＱｏＳ予約終了通知を受信したか否か判定する。ＱｏＳ予約終了通知を受信していない場合（ＮＯ）、ステップＳ３４に処理が戻る。一方、ＱｏＳ予約終了通知を受信した場合（ＹＥＳ）、ステップＳ３０に処理が戻る。

【0049】

図１１は、ＨＡＶマルチモーダル通信プラットフォーム５０が実行する処理の他の例を示す図である。

【0050】

ステップＳ４０では、プラットフォーム５０が、送信側の通信装置を用いて提供されたネットワークサービスに対するユーザの満足度である第１のＱｏＥと、受信側の通信装置を用いて提供されたネットワークサービスに対するユーザの満足度である第２のＱｏＥとを取得する。ステップＳ４１では、プラットフォーム５０は、第１のＱｏＥに基づく第１のスコアと、第２のＱｏＥに基づく第２のスコアを算出する。

【0051】

ステップＳ４２では、プラットフォーム５０は、第１のスコアと第２のスコアが同じであるか否か判定する。第１のスコアと第２のスコアが同じであると判定された場合（ＹＥＳ）、ステップＳ４３に処理が分岐する。ステップＳ４３では、プラットフォーム５０が、ＨＡＶサービスが終了したか否か判定する。ＨＡＶサービスが終了していないと判定した場合（ＮＯ）、ステップＳ４０に処理が戻る。一方、ＨＡＶサービスが終了したと判定した場合（ＹＥＳ）、図１１の処理が終了する。

【0052】

ステップＳ４２において第１のスコアと第２のスコアが異なると判定された場合（ＮＯ）、ステップＳ４４に処理が分岐する。ステップＳ４４では、プラットフォーム５０が、ＨＡＶサービスが終了したか否か判定する。ＨＡＶサービスが終了したと判定した場合（ＹＥＳ）、図１１の処理が終了する。一方、ＨＡＶサービスが終了していないと判定した場合（ＮＯ）、ステップＳ４５でプラットフォーム５０が、通信経路を変更し、ステップＳ４０に処理が戻る。

【0053】

図１２は、ＨＡＶマルチモーダル通信プラットフォーム５０が実行する処理の他の例を示す図である。

【0054】

ステップＳ５０では、プラットフォーム５０が、ＯＤＤの種類が既定の重要なＯＤＤであるか否か判定する。既定の重要なＯＤＤには、例えば、遠隔医療のＯＤＤ、車両の遠隔制御のＯＤＤが含まれる。既定の重要なＯＤＤ以外のＯＤＤには、トレーニングのＯＤＤが含まれる。

【0055】

ＯＤＤの種類が既定の重要なＯＤＤでないと判定した場合（ＮＯ）、図１２の処理が終了する。一方、ＯＤＤの種類が既定の重要なＯＤＤであると判定した場合（ＹＥＳ）、ステップＳ５１でプラットフォーム５０が、ＯＤＤ境界が設定されているか否か判定する。ＯＤＤ境界は、認定プログラムの一部であり、アプリケーション、ネットワークサービス、又はデータフローの種類によって異なる。

【0056】

ＯＤＤ境界が設定されていると判定された場合（ＹＥＳ）、ステップＳ５３に処理が分岐する。一方、ＯＤＤ境界が設定されていないと判定された場合（ＮＯ）、ステップＳ５２で管理装置が、ＯＤＤ境界を設定する。管理装置は、各ネットワークサービスの安全に関する要件に基づいて、ＯＤＤ境界を設定することができる。この要件は、データベース内のシステムの証明書として予め保存される。

【0057】

ステップＳ５３では、プラットフォーム５０は、アプリケーションの種類に基づいて、ＯＤＤを実行すべきか否か判定する。具体的には、プラットフォーム５０は、ユーザが使用するアプリケーションが既定のアプリケーションである場合、ＯＤＤを実行すべきであると判定する。既定のアプリケーションは、例えば、ユーザの生命に関わるようなアプリケーションである。ＯＤＤを実行すべきでないと判定した場合（ＮＯ）、図１２の処理が終了する。一方、ＯＤＤを実行すべきと判定した場合（ＹＥＳ）、ステップＳ５４でプラットフォーム５０が、ウォッチドッグを開始し、図１２の処理が終了する。

【0058】

図１３は、先行側（ローカル）におけるマルチモーダルＨＡＶプラットフォームのサービス構成を示す図である。このサービス構成は、スタートページ／メニューと、アプリケーション設定情報（コンフィグレーション）と、ポリシー設定情報と、ＱｏＥ／ＱｏＳ設定情報と、ＯＤＤ設定情報とを含む。

【0059】

スタートページ／メニューは、遠隔医療、モビリティ及びトレーニング等のアプリケーションのカテゴリーを含む。各カテゴリーには、関連するアプリケーション、例えば、現在のアプリケーション及び代替のアプリケーション等が含まれる。

【0060】

また、スタートページ／メニューは、ＱｏＳ指標と、ＱｏＥ指標と、ＱｏＳレベル情報と、ＱｏＥレベル情報と、選択されたネットワークの指標と、先行の装置の設定情報と、後続の装置の設定情報とを含む。先行の装置の設定情報は、現在の先行の装置のハードウェア／ソフトウェアの設定情報である。後続の装置の設定情報は、現在の後続の装置のハードウェア／ソフトウェアの設定情報である。

【0061】

さらに、アプリケーションに関連する情報、例えば、ハードウェア／ソフトウェア設定情報、装置、センサ、アクチュエータに関する情報が、アプリケーション設定情報として登録される。さらに、要求されるシステム及びプラットフォームの設定に関するポリシーの設定情報が、ポリシー設定情報として登録される。さらに、ＱｏＳ及びＱｏＥに関連する情報が、ＱｏＳ及びＱｏＥ設定情報として登録される。さらに、ＯＤＤに関連する設定情報及び認証情報が、ＯＤＤ設定情報として登録される。

【0062】

図１４は、後続側（リモート）におけるマルチモーダルＨＡＶプラットフォームのサービス構成を示す図である。このサービス構成は、スタートページ／メニューと、アプリケーション設定情報（コンフィグレーション）と、ＱｏＥ／ＱｏＳ設定情報と、ＯＤＤ設定情報とを含む。スタートページ／メニューは、現在のアクティブなアプリケーションを含む。このアプリケーションは、先行の装置において制御されているアプリケーションである。アプリケーションは、ＱｏＳ指標と、ＱｏＥ指標と、選択されたネットワークの指標と、ＯＤＤ指標と、先行の装置の設定情報と、後続の装置の設定情報を示す。関連するシステムの設定及び情報が、アプリケーション設定情報として設定される。ＱｏＳ及びＱｏＥに関連する情報が、ＱｏＳ及びＱｏＥ設定情報として登録される。さらに、ＯＤＤに関連する設定情報及び認証情報が、ＯＤＤ設定情報として登録される。

【0063】

図１５は、例示的な一実施形態に係る通信システム１００が有する主要な構成要素を示す図である。通信システム１００は、管理装置９０と、第１の通信装置１１０と、第２の通信装置１２０とを含む。管理装置９０は、ＨＡＶマルチモーダル通信プラットフォームに相当する。第１の通信装置１１０は、ユーザ装置１１に相当する。第２の通信装置１２０は、ユーザ装置２１に相当する。管理装置９０、第１の通信装置１１０及び第２の通信装置１２０は、ネットワーク１３０を介して、相互にデータ通信をすることができる。ネットワーク１３０は、携帯電話ネットワークやインターネット等の広域ネットワークである。管理装置９０は、スコア算出部９１１と、スコア判定部９１２と、通信経路変更部９１３とを含む。

【0064】

図１６は、例示的な一実施形態に係る管理装置９０の構成を示す図である。管理装置９０の具体例として、サーバ等の情報処理装置が挙げられる。管理装置９０は、演算装置９１と、通信インタフェース（Ｉ／Ｆ）９２と、記憶装置９３とを備える。

【0065】

演算装置９１は、管理装置９０の全体制御を行う装置である。演算装置９１の具体例としては、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等の種々のプロセッサ等の集積回路が挙げられる。なお、演算装置９１が実行するプログラムを、ＦＰＧＡ（Field-Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等の集積回路が実行してもよい。

【0066】

通信インタフェース９２は、外部装置とデータを通信する装置である。記憶装置９３は、演算装置９１が実行するプログラム、演算装置９１が処理する情報等のデータが保存される。

【0067】

演算装置９１は、アプリケーション９１０と、スコア算出部９１１と、スコア判定部９１２と、通信経路変更部９１３とを実行する。

【0068】

アプリケーション９１０は、種々のネットワークサービスを提供するプログラムである。アプリケーション９１０が提供するネットワークサービスには、遠隔医療に関するネットワークサービス、機械又は設備の遠隔操作に関するネットワークサービス、車両等の移動体装置の遠隔操作に関するネットワークサービス、ゲームやメタバース等の複合現実又は仮想現実に関するネットワークサービスが含まれる。

【0069】

スコア算出部９１１は、第１の通信装置１１０を用いて提供されたネットワークサービスに対するユーザの満足度（ＱｏＥ）を示す第１のスコアと、第２の通信装置１２０を用いて提供されたネットワークサービスに対するユーザの満足度（ＱｏＥ）を示す第２のスコアを算出するプログラムである。具体的には、スコア算出部９１１は、通信データに対する複数のユーザのそれぞれの満足度を示す指標値の平均値を、第１のスコア及び第２のスコアとして算出することができる。この指標値は、ユーザが、種々の主観評価法に基づいて決定することができる。例えば、スコア算出部９１１は、第１の通信装置１１０を用いて提供されたネットワークサービスに関連する音声データ、映像データ及び／又は触覚データに対する複数のユーザのそれぞれが決定した指標値の平均値を、第１のスコアとして算出することができる。また、スコア算出部９１１は、第２の通信装置１２０を用いて提供されたネットワークサービスに関連する音声データ、映像データ及び／又は触覚データに対する複数のユーザのそれぞれが決定した指標値の平均値を、第２のスコアとして算出することができる。

【0070】

スコア判定部９１２は、第１のスコアと第２のスコアが同じであるか否か判定するプログラムである。

【0071】

通信経路変更部９１３は、第１のスコアと第２のスコアが異なると判定された場合に、管理装置９０からネットワーク１３０を介して第１の通信装置１１０へ転送される第１の通信データの通信経路、又は、第１の通信装置１１０からネットワーク１３０を介して第２の通信装置１２０へ転送される第２の通信データの通信経路を変更するプログラムである。

【0072】

具体的には、第１のスコアが第２のスコアよりも低い場合、換言すると、第１の通信装置１１０のユーザの満足度が、第２の通信装置１２０のユーザの満足度よりも低い場合、通信経路変更部９１３は、ネットワーク１３０における既定の通信品質を充たす通信経路を示す経路情報に基づき、管理装置９０からネットワーク１３０を介して第１の通信装置１１０へ転送される第１の通信データの通信経路を、経路情報が規定する通信経路に変更する。

【0073】

既定の通信品質を充たす通信経路を示す経路情報は、ネットワーク１３０の通信状況を監視する装置（図示せず）が、管理装置９０に提供することができる。既定の通信品質を充たす通信経路は、例えば、ベストエフォートに基づいて選択された通信経路、既定のサービス品質保証（ＳＬＡ：Service Level Agreement）に合致する通信経路等である。経路情報が示す通信経路には、管理装置９０からネットワーク１３０を介した第１の通信装置１１０への通信経路と、第１の通信装置１１０からネットワーク１３０を介した第２の通信装置１２０への通信経路が含まれる。

【0074】

管理装置９０は、通信経路変更部９１３によって変更された通信経路を介して、第１の通信装置１１０へ、アプリケーション９１０によるネットワークサービスに関連する通信データを送信する。

【0075】

また、第２のスコアが第１のスコアよりも低い場合、換言すると、第２の通信装置１２０のユーザの満足度が、第１の通信装置１１０のユーザの満足度よりも低い場合、通信経路変更部９１３は、ネットワーク１３０における既定の通信品質を充たす通信経路を示す経路情報に基づき、第１の通信装置１１０からネットワーク１３０を介して第２の通信装置１２０へ転送される第２の通信データの通信経路を、経路情報が規定する通信経路に変更する。通信経路変更部９１３は、変更された通信経路の情報を第１の通信装置１１０に送信する。第１の通信装置１１０は、管理装置９０から受信した変更された通信経路の情報に基づき、第１の通信装置１１０からネットワーク１３０を介して第２の通信装置１２０へ、アプリケーション９１０によるネットワークサービスに関連する通信データを送信する。

【0076】

この構成を採用することにより、第１の通信装置を用いて提供されたネットワークサービスに対するユーザの満足度と、第２の通信装置を用いて提供されたネットワークサービスに対するユーザの満足度が異なる場合、第１の通信データの通信経路、又は第２の通信データの通信経路が、既定の通信品質を充たす通信経路に変更される。これにより、通信品質を充たす通信経路を介して通信データが転送されるため、ネットワークサービスに対するユーザの満足度を高めることができる。

【0077】

また、通信経路変更部９１３は、第１のスコアが第２のスコアよりも低いと判定された場合、第１の通信データの通信経路を、経路情報が規定する通信経路に変更する。これにより、第１の通信データが、通信品質を充たす通信経路を介して転送されるため、第１の通信装置を用いて提供されたネットワークサービスに対するユーザの満足度を高めることができる。

【0078】

さらに、通信経路変更部９１３は、第２のスコアが第１のスコアよりも低いと判定された場合、第２の通信データの通信経路を、経路情報が規定する通信経路に変更する。これにより、第２の通信データが、通信品質を充たす通信経路を介して転送されるため、第２の通信装置を用いて提供されたネットワークサービスに対するユーザの満足度を高めることができる。

【0079】

上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disk（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、又はその他の形式の伝搬信号を含む。プロセッサ及びサーバは、コンピュータに相当する。

【0080】

本開示は、上述した実施形態に限られたものではなく、本開示の趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、図１６に示す管理装置９０が備えるプログラムを、複数の個別の情報処理装置が実行してもよい。換言すると、複数の個別の情報処理装置を含むシステムが、管理装置９０が備えるプログラムを含み得る。

【符号の説明】

【0081】

１ 先行システム
２ 後続システム
１０ 送信装置
１１ ユーザ装置
１２ ユーザ装置
１３ ユーザ装置
２０ バッファ
２１ ユーザ装置、受信装置
２２ ユーザ装置
２３ ユーザ装置
５０ ＨＡＶマルチモーダル通信プラットフォーム
５１０ バーチャル店舗
５１ アプリケーション
５１１ アプリケーション
５１２ アプリケーション
５１ｎ アプリケーション
５２ セッションエンジン
５３ ＱｏＥアシスタント
５４ ＱｏＥエンジン
５６ 調整部
５６１ 調整部
５６２ 調整部
５７ ＯＤＤウォッチドッグクライアント
６０ 携帯電話システム
６１ ＯＤＤウォッチドッグ
６２ サービスフロー管理部
６３ ポリシー予約部
７０ サポートエンジン
７１ レンダリングマシン
７２ ＡＩ予測マシン
８０ サードパーティ
８１ ＱｏＳポリシー
８３ 認証部
８４ マスターオペレータドメイン管理部
８５ ＱｏＳ管理部
１００ 通信システム
１１０ 第１の通信装置
１２０ 第２の通信装置
１３０ ネットワーク
９０ 管理装置
９１ 演算装置
９２ 通信インタフェース
９３ 記憶装置
９１０ アプリケーション
９１１ スコア算出部
９１２ スコア判定部
９１３ 通信経路変更部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】