知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024158091
(43)【公開日】2024-11-08
(54)【発明の名称】モバイル通信システムおよび通信方法
(51)【国際特許分類】
H04W 48/18 20090101AFI20241031BHJP
H04W 92/08 20090101ALI20241031BHJP
H04W 8/18 20090101ALI20241031BHJP
H04W 72/54 20230101ALI20241031BHJP
H04W 48/16 20090101ALI20241031BHJP
H04M 1/72 20210101ALI20241031BHJP
【ＦＩ】
H04W48/18
H04W92/08
H04W8/18
H04W72/54
H04W48/16 135
H04M1/72
【審査請求】有
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2023072960
(22)【出願日】2023-04-27
(11)【特許番号】
(45)【特許公報発行日】2023-05-31
(71)【出願人】
【識別番号】397036309
【氏名又は名称】株式会社インターネットイニシアティブ
(74)【代理人】
【識別番号】100118902
【弁理士】
【氏名又は名称】山本 修
(74)【代理人】
【識別番号】100106208
【弁理士】
【氏名又は名称】宮前 徹
(74)【代理人】
【識別番号】100196508
【弁理士】
【氏名又は名称】松尾 淳一
(74)【代理人】
【識別番号】100138759
【弁理士】
【氏名又は名称】大房 直樹
(72)【発明者】
【氏名】柿島 純
【テーマコード（参考）】
5K067
5K127
【Ｆターム（参考）】
5K067AA23
5K067DD43
5K067EE02
5K067EE10
5K067EE16
5K067HH21
5K127AA36
5K127BA03
5K127BB06
5K127BB22
5K127GA14
5K127GA22
5K127JA23
(57)【要約】
【課題】マルチプロファイルＳＩＭにおいて、携帯電話網の通信状況に応じて自動でプロファイルを切り替える。
【解決手段】モバイル通信システムは、マルチプロファイルＳＩＭを備えたユーザ端末と、ユーザ端末が通信可能な複数のモバイル事業者ネットワークと、ユーザ端末および複数のモバイル事業者ネットワークと接続されたＳＩＭプロファイル切替装置と、を備える。ＳＩＭプロファイル切替装置は、複数のモバイル事業者ネットワークの各々の通信状況に基づいて、強化学習における報酬を決定する報酬決定部を備える。ユーザ端末は、ユーザ端末の状態と報酬とに基づく強化学習により、最適なＳＩＭプロファイルの選択を学習するように構成された学習モデルと、学習モデルを用いて、ユーザ端末の状態に基づいてＳＩＭプロファイルを選択するＳＩＭプロファイル選択部とを備える。
【選択図】図７
【解決手段】モバイル通信システムは、マルチプロファイルＳＩＭを備えたユーザ端末と、ユーザ端末が通信可能な複数のモバイル事業者ネットワークと、ユーザ端末および複数のモバイル事業者ネットワークと接続されたＳＩＭプロファイル切替装置と、を備える。ＳＩＭプロファイル切替装置は、複数のモバイル事業者ネットワークの各々の通信状況に基づいて、強化学習における報酬を決定する報酬決定部を備える。ユーザ端末は、ユーザ端末の状態と報酬とに基づく強化学習により、最適なＳＩＭプロファイルの選択を学習するように構成された学習モデルと、学習モデルを用いて、ユーザ端末の状態に基づいてＳＩＭプロファイルを選択するＳＩＭプロファイル選択部とを備える。
【選択図】図７
【特許請求の範囲】
【請求項1】
マルチプロファイルＳＩＭを備えたユーザ端末と、前記ユーザ端末が通信可能な複数のモバイル事業者ネットワークと、前記ユーザ端末および前記複数のモバイル事業者ネットワークと接続されたＳＩＭプロファイル切替装置と、を備えるモバイル通信システムであって、
前記ＳＩＭプロファイル切替装置は、
前記複数のモバイル事業者ネットワークの各々についての通信状況を管理する通信状況管理部と、
前記複数のモバイル事業者ネットワークの各々の通信状況に基づいて、強化学習における報酬を決定する報酬決定部であって、前記報酬は、前記ユーザ端末が使用すべきＳＩＭプロファイルの選択に関連する、報酬決定部と、
前記報酬を前記ユーザ端末へ送信する送信部と、を備え、
前記ユーザ端末は、
前記ユーザ端末の状態と前記報酬とに基づく強化学習により、最適なＳＩＭプロファイルの選択を学習するように構成された学習モデルと、
前記学習モデルを用いて、前記ユーザ端末の状態に基づいてＳＩＭプロファイルを選択するＳＩＭプロファイル選択部と、
前記選択されたＳＩＭプロファイルを用いて前記複数のモバイル事業者ネットワークのうちの１つと通信する通信部と、を備える、
モバイル通信システム。
前記ＳＩＭプロファイル切替装置は、
前記複数のモバイル事業者ネットワークの各々についての通信状況を管理する通信状況管理部と、
前記複数のモバイル事業者ネットワークの各々の通信状況に基づいて、強化学習における報酬を決定する報酬決定部であって、前記報酬は、前記ユーザ端末が使用すべきＳＩＭプロファイルの選択に関連する、報酬決定部と、
前記報酬を前記ユーザ端末へ送信する送信部と、を備え、
前記ユーザ端末は、
前記ユーザ端末の状態と前記報酬とに基づく強化学習により、最適なＳＩＭプロファイルの選択を学習するように構成された学習モデルと、
前記学習モデルを用いて、前記ユーザ端末の状態に基づいてＳＩＭプロファイルを選択するＳＩＭプロファイル選択部と、
前記選択されたＳＩＭプロファイルを用いて前記複数のモバイル事業者ネットワークのうちの１つと通信する通信部と、を備える、
モバイル通信システム。
【請求項2】
前記報酬決定部は、前記ユーザ端末が現在使用しているＳＩＭプロファイルに対応するモバイル事業者ネットワークの通信状況が良好な場合は、当該ＳＩＭプロファイルに対する報酬値が最大となるように、前記報酬を決定する、請求項１に記載のモバイル通信システム。
【請求項3】
前記報酬決定部は、前記ユーザ端末が現在使用しているＳＩＭプロファイルに対応するモバイル事業者ネットワークの通信状況が良好でなく、他のモバイル事業者ネットワークの通信状況が良好である場合は、当該他のモバイル事業者ネットワークに対応するＳＩＭプロファイルに対する報酬値が最大となるように、前記報酬を決定する、請求項２に記載のモバイル通信システム。
【請求項4】
前記学習モデルは、前記ユーザ端末の状態ｓｔを入力とし、複数のＳＩＭプロファイルのうち各ＳＩＭプロファイルを選択する行動ａｔを行った場合における行動価値Ｑ（ｓｔ，ａｔ）を出力とする、深層強化学習に基づくニューラルネットワークにより構成されたモデルである、請求項１から３のいずれか１項に記載のモバイル通信システム。
【請求項5】
前記学習モデルは、前記ユーザ端末が現在使用しているＳＩＭプロファイルに対応するモバイル事業者ネットワークの通信状況が良好な場合は、前記ニューラルネットワークから出力される複数の行動価値のうち最大の行動価値を用いて、学習が行われる、請求項４に記載のモバイル通信システム。
【請求項6】
前記学習モデルは、前記ユーザ端末が現在使用しているＳＩＭプロファイルに対応するモバイル事業者ネットワークの通信状況が良好でなく、他のモバイル事業者ネットワークの通信状況が良好である場合は、前記ニューラルネットワークから出力される複数の行動価値のうち当該他のモバイル事業者ネットワークのＳＩＭプロファイルに対応する行動価値を用いて、学習が行われる、請求項５に記載のモバイル通信システム。
【請求項7】
マルチプロファイルＳＩＭを備えたユーザ端末と、前記ユーザ端末が通信可能な複数のモバイル事業者ネットワークと、前記ユーザ端末および前記複数のモバイル事業者ネットワークと接続されたＳＩＭプロファイル切替装置と、を備えるモバイル通信システムにおける通信方法であって、
前記ＳＩＭプロファイル切替装置が、前記複数のモバイル事業者ネットワークの各々についての通信状況を取得するステップと、
前記ＳＩＭプロファイル切替装置が、前記複数のモバイル事業者ネットワークの各々の通信状況に基づいて、強化学習における報酬を決定するステップであって、前記報酬は、前記ユーザ端末が使用すべきＳＩＭプロファイルの選択に関連する、ステップと、
前記ＳＩＭプロファイル切替装置が、前記報酬を前記ユーザ端末へ送信するステップと、
前記ユーザ端末が、前記ユーザ端末の状態と前記報酬とに基づく強化学習により、最適なＳＩＭプロファイルの選択を学習モデルに学習させるステップと、
前記ユーザ端末が、前記学習モデルを用いて、前記ユーザ端末の状態に基づいてＳＩＭプロファイルを選択するステップと、
前記ユーザ端末が、前記選択されたＳＩＭプロファイルを用いて前記複数のモバイル事業者ネットワークのうちの１つと通信するステップと、
を含む通信方法。
前記ＳＩＭプロファイル切替装置が、前記複数のモバイル事業者ネットワークの各々についての通信状況を取得するステップと、
前記ＳＩＭプロファイル切替装置が、前記複数のモバイル事業者ネットワークの各々の通信状況に基づいて、強化学習における報酬を決定するステップであって、前記報酬は、前記ユーザ端末が使用すべきＳＩＭプロファイルの選択に関連する、ステップと、
前記ＳＩＭプロファイル切替装置が、前記報酬を前記ユーザ端末へ送信するステップと、
前記ユーザ端末が、前記ユーザ端末の状態と前記報酬とに基づく強化学習により、最適なＳＩＭプロファイルの選択を学習モデルに学習させるステップと、
前記ユーザ端末が、前記学習モデルを用いて、前記ユーザ端末の状態に基づいてＳＩＭプロファイルを選択するステップと、
前記ユーザ端末が、前記選択されたＳＩＭプロファイルを用いて前記複数のモバイル事業者ネットワークのうちの１つと通信するステップと、
を含む通信方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、モバイル通信システムおよび通信方法に関する。特に、本発明は、マルチプロファイルＳＩＭにおけるプロファイルの切り替えに関する。
【背景技術】
【0002】
携帯電話端末やスマートフォンなどのユーザ端末が１枚のＳＩＭカードで複数の携帯電話網に接続することが可能なマルチプロファイルＳＩＭが開発されている（例えば非特許文献１参照）。マルチプロファイルＳＩＭは、１枚のＳＩＭカードの中に複数の通信事業者のプロファイル（携帯電話網に接続するための情報）を保持しており、ユーザ端末は、これら複数のプロファイルを切り替えて利用することができる。これにより、例えば通信障害時等に、ＳＩＭカード内のプロファイルを切り替えて異なる携帯電話網に接続することで、通信を確保することができる。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】「IIJ、1枚のSIMで複数の携帯電話網に接続できるマルチプロファイルSIMを開発」、［online］、株式会社インターネットイニシアティブ、［令和５年４月２４日検索］、インターネット＜https://www.iij.ad.jp/news/pressrelease/2022/1025.html＞
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来のマルチプロファイルＳＩＭでは、プロファイルの切り替えはユーザ端末の使用者が手動で行う必要があり、携帯電話網の通信状況に応じて自動でプロファイルを切り替えることは実現されていない。
【課題を解決するための手段】
【0005】
本発明の一態様によれば、マルチプロファイルＳＩＭを備えたユーザ端末と、前記ユーザ端末が通信可能な複数のモバイル事業者ネットワークと、前記ユーザ端末および前記複数のモバイル事業者ネットワークと接続されたＳＩＭプロファイル切替装置と、を備えるモバイル通信システムであって、前記ＳＩＭプロファイル切替装置は、前記複数のモバイル事業者ネットワークの各々についての通信状況を管理する通信状況管理部と、前記複数のモバイル事業者ネットワークの各々の通信状況に基づいて、強化学習における報酬を決定する報酬決定部であって、前記報酬は、前記ユーザ端末が使用すべきＳＩＭプロファイルの選択に関連する、報酬決定部と、前記報酬を前記ユーザ端末へ送信する送信部と、を備え、前記ユーザ端末は、前記ユーザ端末の状態と前記報酬とに基づく強化学習により、最適なＳＩＭプロファイルの選択を学習するように構成された学習モデルと、前記学習モデルを用いて、前記ユーザ端末の状態に基づいてＳＩＭプロファイルを選択するＳＩＭプロファイル選択部と、前記選択されたＳＩＭプロファイルを用いて前記複数のモバイル事業者ネットワークのうちの１つと通信する通信部と、を備える、モバイル通信システムが提供される。
【0006】
また、本発明の一態様によれば、前記報酬決定部は、前記ユーザ端末が現在使用しているＳＩＭプロファイルに対応するモバイル事業者ネットワークの通信状況が良好な場合は、当該ＳＩＭプロファイルに対する報酬値が最大となるように、前記報酬を決定するのであってよい。
【0007】
また、本発明の一態様によれば、前記報酬決定部は、前記ユーザ端末が現在使用しているＳＩＭプロファイルに対応するモバイル事業者ネットワークの通信状況が良好でなく、他のモバイル事業者ネットワークの通信状況が良好である場合は、当該他のモバイル事業者ネットワークに対応するＳＩＭプロファイルに対する報酬値が最大となるように、前記報酬を決定するのであってよい。
【0008】
また、本発明の一態様によれば、前記学習モデルは、前記ユーザ端末の状態ｓｔを入力とし、複数のＳＩＭプロファイルのうち各ＳＩＭプロファイルを選択する行動ａｔを行った場合における行動価値Ｑ（ｓｔ，ａｔ）を出力とする、深層強化学習に基づくニューラルネットワークにより構成されたモデルであるのであってよい。
【0009】
また、本発明の一態様によれば、前記学習モデルは、前記ユーザ端末が現在使用しているＳＩＭプロファイルに対応するモバイル事業者ネットワークの通信状況が良好な場合は、前記ニューラルネットワークから出力される複数の行動価値のうち最大の行動価値を用いて、学習が行われるのであってよい。
【0010】
また、本発明の一態様によれば、前記学習モデルは、前記ユーザ端末が現在使用しているＳＩＭプロファイルに対応するモバイル事業者ネットワークの通信状況が良好でなく、他のモバイル事業者ネットワークの通信状況が良好である場合は、前記ニューラルネットワークから出力される複数の行動価値のうち当該他のモバイル事業者ネットワークのＳＩＭプロファイルに対応する行動価値を用いて、学習が行われるのであってよい。
【0011】
また、本発明の一態様によれば、マルチプロファイルＳＩＭを備えたユーザ端末と、前記ユーザ端末が通信可能な複数のモバイル事業者ネットワークと、前記ユーザ端末および前記複数のモバイル事業者ネットワークと接続されたＳＩＭプロファイル切替装置と、を備えるモバイル通信システムにおける通信方法であって、前記ＳＩＭプロファイル切替装置が、前記複数のモバイル事業者ネットワークの各々についての通信状況を取得するステップと、前記ＳＩＭプロファイル切替装置が、前記複数のモバイル事業者ネットワークの各々の通信状況に基づいて、強化学習における報酬を決定するステップであって、前記報酬は、前記ユーザ端末が使用すべきＳＩＭプロファイルの選択に関連する、ステップと、前記ＳＩＭプロファイル切替装置が、前記報酬を前記ユーザ端末へ送信するステップと、前記ユーザ端末が、前記ユーザ端末の状態と前記報酬とに基づく強化学習により、最適なＳＩＭプロファイルの選択を学習モデルに学習させるステップと、前記ユーザ端末が、前記学習モデルを用いて、前記ユーザ端末の状態に基づいてＳＩＭプロファイルを選択するステップと、前記ユーザ端末が、前記選択されたＳＩＭプロファイルを用いて前記複数のモバイル事業者ネットワークのうちの１つと通信するステップと、を含む通信方法が提供される。
【発明の効果】
【0012】
本発明によれば、ユーザ端末は、ＳＩＭカードに保持された複数のＳＩＭプロファイルの中からモバイル事業者ネットワークの通信状況に応じた最適なＳＩＭプロファイルを選択して、通信を行うことができる。
【図面の簡単な説明】
【0013】
【図1】一実施形態に係るモバイル通信システムのネットワーク構成図である。
【図2】別の実施形態に係るモバイル通信システムのネットワーク構成図である。
【図3】ユーザ端末の状態の遷移を示す模式図である。
【図4】本発明の一実施形態に係る、ＳＩＭプロファイル切替装置およびユーザ端末の機能的構成を示すブロック図である。
【図5】学習モデルの一例（ＤＱＮ）を示す図である。
【図6】学習モデルの別の一例（Ｆｉｘｅｄ Ｔａｒｇｅｔ Ｑ－Ｎｅｔｗｏｒｋ）を示す図である。
【図7】本発明の一実施形態に係る、ＳＩＭプロファイル切替装置およびユーザ端末の動作を示すフローチャートである。
【発明を実施するための形態】
【0014】
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
【0015】
図１は、本発明の一実施形態に係るモバイル通信システム１０のネットワーク構成図である。モバイル通信システム１０は、ユーザ端末１００と、第１モバイル事業者ネットワークＭＮ１と、第２モバイル事業者ネットワークＭＮ２と、ＳＩＭプロファイル切替装置４００を備える。各モバイル事業者ネットワークＭＮ１、ＭＮ２は、それぞれ無線アクセスネットワーク２００とコアネットワーク３００とを備える。モバイル通信システム１０において、ユーザ端末１００は、モバイル事業者ネットワークＭＮ１、ＭＮ２の無線アクセスネットワーク２００およびコアネットワーク３００を介して、インターネット５００等のネットワークと通信することができる。なお、モバイル事業者ネットワークの数は２つに限定されず、任意であってよい。
【0016】
ユーザ端末１００は、携帯電話端末やスマートフォンなどの無線通信機器である。ユーザ端末１００は、１枚のＳＩＭカード１１０を備え、このＳＩＭカード１１０には複数のＳＩＭプロファイルが格納されている。ＳＩＭプロファイルは、ユーザ端末１００がモバイル事業者ネットワークに接続するための情報である。図１の例では、ユーザ端末１００は、ＳＩＭカード１１０に２つのＳＩＭプロファイルＳＰ１、ＳＰ２を有している。ＳＩＭプロファイルＳＰ１は第１モバイル事業者ネットワークＭＮ１に対応し、ＳＩＭプロファイルＳＰ２は第２モバイル事業者ネットワークＭＮ２に対応する。ユーザ端末１００は、ＳＩＭプロファイルＳＰ１を使用して第１モバイル事業者ネットワークＭＮ１に接続することができ、またＳＩＭプロファイルＳＰ２を使用して第２モバイル事業者ネットワークＭＮ２に接続することができる。なお、ＳＩＭカード１１０に保持されるＳＩＭプロファイルの数は２より多くてもよい。
【0017】
ＳＩＭプロファイル切替装置４００は、ユーザ端末１００におけるＳＩＭプロファイルの切り替えを制御する装置である。ＳＩＭプロファイル切替装置４００は、プロセッサおよびメモリを備えたコンピュータとして構成され、メモリに格納されたプログラムをプロセッサが読み出して実行することにより、所定の機能が実現される。ＳＩＭプロファイル切替装置４００の機能および動作については以下に詳述する。
【0018】
図１のモバイル通信システム１０において、第１モバイル事業者ネットワークＭＮ１および第２モバイル事業者ネットワークＭＮ２は、ともに第５世代（５Ｇ）通信規格に準拠する。無線アクセスネットワーク（ＮＧ－ＲＡＮ：Next Generation Radio Access Network）２００は、複数の基地局を含む。コアネットワーク３００は、ＡＭＦ（Access and Mobility Management Function）３０２、ＳＭＦ（Session Management Function）３０４、ＰＣＦ（Policy Control Function）３０６、ＵＤＭ（Unified Data Management）３０８、ＵＤＲ（Unified Data Repository）３１０、ＵＰＦ（User Plane Function）３１２の各ノードを備える。
【0019】
ＡＭＦ３０２は、モビリティ制御機能を提供し、位置登録、ページング、およびハンドオーバ等の移動制御を行うノードである。ＳＭＦ３０４は、セッション管理機能を提供し、セッションの保守、確立、変更および解放を行うノードである。ＰＣＦ３０６は、データ転送速度や遅延時間などの品質に関するポリシー制御機能を提供するノードである。ＵＤＭ３０８は、ユーザの契約情報や認証情報を管理するノードである。ＵＤＲ３１０は、ユーザ端末の識別番号や在圏情報を保持した加入者データベースを格納するノードである。ＵＰＦ３１２は、ユーザ端末との間でユーザデータを通信するノードである。これら各ノードは、５Ｇ通信規格に準拠するものであり、その詳細についての説明はここでは省略する。
【0020】
第１モバイル事業者ネットワークＭＮ１と第２モバイル事業者ネットワークＭＮ２のいずれか一方または両方は、第４世代（４Ｇ）通信規格に準拠するのであってもよい。図２は、第１モバイル事業者ネットワークＭＮ１が５Ｇ通信規格に準拠し、第２モバイル事業者ネットワークＭＮ２が４Ｇ通信規格に準拠するモバイル通信システム１０のネットワーク構成図である。図２のモバイル通信システム１０において、第２モバイル事業者ネットワークＭＮ２の無線アクセスネットワーク２００は、Ｅ－ＵＴＲＡＮ（Evolved Universal Terrestrial Radio Access Network）である。また第２モバイル事業者ネットワークＭＮ２のコアネットワーク３００は、ＭＭＥ（Mobility Management Entity）３１４、ＳＧＷ（Serving Gateway）３１６、ＰＧＷ－Ｕ（Packet data network Gateway-User Plane）３１８、ＰＧＷ－Ｃ（Packet data network Gateway-Control Plane）３２０、ＰＣＲＦ（Policy and Charging Rules Function）３２２、ＨＳＳ（Home Subscriber Server）３２４、およびＵＤＲ３２６の各ノードを含む。これらは４Ｇ通信規格に準拠するものであり、その詳細についての説明はここでは省略する。
【0021】
図３は、ユーザ端末１００の状態の遷移を示す模式図である。ユーザ端末１００の状態は、状態ｓ１から状態ｓ２へ、状態ｓ２から状態ｓ３へ、…、状態ｓｔ－１から状態ｓｔへ、状態ｓｔから状態ｓｔ＋１へと遷移する。各状態間において、ユーザ端末１００は、Ｎ個の行動ａ１、ａ２、…、ａＮをとり得る。例えば、ユーザ端末１００は、状態ｓｔ－１において行動ａ２を行って新たな状態ｓｔへと遷移し、次いで状態ｓｔにおいて行動ａ１を行ってさらに新たな状態ｓｔ＋１へと遷移することができる。ユーザ端末１００がとり得る行動は、複数のＳＩＭプロファイルの中から１つのＳＩＭプロファイルを選択することを含む。例えば、ユーザ端末１００の行動ａ１は、第１モバイル事業者ネットワークＭＮ１に対応するＳＩＭプロファイルＳＰ１を選択することに対応し、ユーザ端末１００の行動ａ２は、第２モバイル事業者ネットワークＭＮ２に対応するＳＩＭプロファイルＳＰ２を選択することに対応する（以下同様）のであってよい。なお、とり得る行動の数Ｎは、ユーザ端末１００のＳＩＭカード１１０に保持されているＳＩＭプロファイルの数と等しい。ユーザ端末１００の状態ｓｔは、例えば、３ＧＰＰ（登録商標）で規定されているRRC IDLE、RRC INACTIVE、RRC CONNECTED等を含むのであってよい。
【0022】
図４は、モバイル通信システム１０におけるＳＩＭプロファイル切替装置４００およびユーザ端末１００の機能的構成を示すブロック図である。ＳＩＭプロファイル切替装置４００は、ユーザ端末情報管理部４０２と、通信状況管理部４０４と、報酬決定部４０６と、送信部４０８とを備える。ユーザ端末１００は、学習モデル１０２と、ＳＩＭプロファイル選択部１０４と、通信部１０６とを備える。
【0023】
ＳＩＭプロファイル切替装置４００のユーザ端末情報管理部４０２は、ユーザ端末１００から、ユーザ端末１００の状態ｓｔと、ユーザ端末１００が選択した行動ａｉ（ｉは１、２、…、Ｎのいずれか）とを含むユーザ端末情報を取得するように構成される。ユーザ端末情報管理部４０２は、さらに、ユーザ端末１００のとり得る全ての状態と、各状態において各行動をとったときにユーザ端末１００が次にどの状態に遷移するかに関する情報（例えば図３に示されるような状態遷移図）を管理するように構成される。
【0024】
ＳＩＭプロファイル切替装置４００の通信状況管理部４０４は、モバイル通信システム１０における複数のモバイル事業者ネットワークの各々についての通信状況を管理するように構成される。例えば、通信状況管理部４０４は、モバイル事業者ネットワークＭＮ１とＭＮ２におけるそれぞれのＮＧ－ＲＡＮ２００、ＡＭＦ３０２、ＵＤＭ３０８、ＵＤＲ３１０、およびＵＰＦ３１２から、これら各装置のＣＰＵ使用率や、各モバイル事業者ネットワークのトラフィック量や障害発生情報などを含む各種情報を定期的に収集し、これらの収集した情報に基づいて、各モバイル事業者ネットワークＭＮ１、ＭＮ２の通信状況（例えば、通信帯域が逼迫し輻輳が発生しそうであるか否か等）を把握することができる。
【0025】
ＳＩＭプロファイル切替装置４００の報酬決定部４０６は、通信状況管理部４０４において特定された各モバイル事業者ネットワークの通信状況に基づいて、ユーザ端末１００における最適ＳＩＭプロファイルの学習のための報酬を決定するように構成される。具体的に、報酬決定部４０６は、通信状況が良好なモバイル事業者ネットワークのＳＩＭプロファイルを選択する行動に対して報酬値が高くなる（例えば最大となる）ように、報酬を決定する。
【0026】
例えば、報酬決定部４０６は、ユーザ端末１００が現在使用しているＳＩＭプロファイルが第１モバイル事業者ネットワークＭＮ１のＳＩＭプロファイルＳＰ１であり、且つ第１モバイル事業者ネットワークＭＮ１の通信状況が良好である場合には、ＳＩＭプロファイルＳＰ１を選択する行動である行動ａ１に対して報酬値“１”を有し、他の全ての行動ａｊ（ｊ≠１）に対しては報酬値“０”を持つように、報酬を決定するのであってよい。また例えば、報酬決定部４０６は、ユーザ端末１００が現在使用しているＳＩＭプロファイルが第１モバイル事業者ネットワークＭＮ１のＳＩＭプロファイルＳＰ１であるが、第１モバイル事業者ネットワークＭＮ１の通信状況が良好でなく第２モバイル事業者ネットワークＭＮ２の通信状況が良好である場合には、第２モバイル事業者ネットワークＭＮ２に対応するＳＩＭプロファイルＳＰ２を選択する行動である行動ａ２に対して報酬値“１”を有し、他の全ての行動ａｊ（ｊ≠２）に対しては報酬値“０”を持つように、報酬を決定するのであってよい。
【0027】
ＳＩＭプロファイル切替装置４００の送信部４０８は、報酬決定部４０６によって決定された報酬と、ユーザ端末１００が行動をとったことによる遷移後のユーザ端末１００の状態ｓｔ＋１とをユーザ端末１００へ送信するように構成される。遷移後のユーザ端末１００の状態ｓｔ＋１は、ユーザ端末情報管理部４０２において、現在の状態ｓｔおよび現在の状態ｓｔで選択した行動ａｉを指定することにより、特定することができる。
【0028】
なお、ＳＩＭプロファイル切替装置４００とユーザ端末１００との間の通信（ユーザ端末１００からＳＩＭプロファイル切替装置４００へのユーザ端末情報の送信、ならびにＳＩＭプロファイル切替装置４００からユーザ端末１００への報酬および遷移後の状態の送信）は、ユーザ端末１００が現在使用しているモバイル事業者ネットワークのＵ－ｐｌａｎｅ（ユーザプレーン）通信路を介して行われる。
【0029】
ユーザ端末１００の学習モデル１０２は、ユーザ端末１００の状態と、ＳＩＭプロファイル切替装置４００から与えられた報酬とに基づく強化学習により、最適なＳＩＭプロファイルの選択を学習するように構成される。例えば、学習モデル１０２として、図５に示されるように、ユーザ端末１００の状態ｓｔを入力層に入力し、状態ｓｔにおいてユーザ端末１００がとることが可能な全ての行動（複数のＳＩＭプロファイルのうちのいずれか１つのＳＩＭプロファイルの選択）ａｔのそれぞれについての行動価値Ｑ（ｓｔ，ａｔ）を出力層の各ノードから出力するように構成された、ＤＱＮ（Ｄｅｅｐ Ｑ－Ｎｅｔｗｏｒｋ）に基づくニューラルネットワークを適用することができる。また、学習モデル１０２は、図６に示されるように、図５と同様の構成の２つのニューラルネットワーク（メインネットワークとターゲットネットワーク）を用いたＦｉｘｅｄ Ｔａｒｇｅｔ Ｑ－Ｎｅｔｗｏｒｋに基づくものであってもよい。図５のＤＱＮおよび図６のＦｉｘｅｄ Ｔａｒｇｅｔ Ｑ－Ｎｅｔｗｏｒｋにおいて、出力層から出力される行動価値Ｑ（ｓｔ，ａｔ）とＳＩＭプロファイル切替装置４００から与えられる報酬とを用いてニューラルネットワークのパラメータ（重みおよび閾値）を更新することで、学習モデル１０２の学習が行われる。
【0030】
ユーザ端末１００のＳＩＭプロファイル選択部１０４は、学習モデル１０２の出力に基づいてＳＩＭプロファイルを選択するように構成される。例えば、ＳＩＭプロファイル選択部１０４は、ニューラルネットワークの出力層から出力される各行動ａｔに対する行動価値Ｑ（ｓｔ，ａｔ）のうち最大の行動価値に対応するＳＩＭプロファイルを、ユーザ端末１００が使用するＳＩＭプロファイルとして選択することができる。
【0031】
ユーザ端末１００の通信部１０６は、ＳＩＭプロファイル選択部１０４によって選択されたＳＩＭプロファイルを用いてモバイル事業者ネットワークのうちの１つと通信するように構成される。
【0032】
図７は、モバイル通信システム１０におけるＳＩＭプロファイル切替装置４００およびユーザ端末１００の動作を示すフローチャートである。以下では、ユーザ端末１００の学習モデル１０２がＦｉｘｅｄ Ｔａｒｇｅｔ Ｑ－Ｎｅｔｗｏｒｋに基づくニューラルネットワークとして構成される場合を例に説明を行う。なおユーザ端末１００は現在、複数のモバイル事業者ネットワークのうちのＪ番目のモバイル事業者ネットワークＭＮＪに対応するＳＩＭプロファイルＳＰＪを使用して、モバイル事業者ネットワークＭＮＪに接続し通信を行っているものとする。
【0033】
ステップ７０２において、ユーザ端末１００の学習モデル１０２を構成するメインネットワークの入力層にユーザ端末１００の状態ｓｔが入力される。状態ｓｔの入力を受け、学習モデル１０２は、ステップ７０４において、メインネットワークの出力層の各ノードから、ユーザ端末１００が状態ｓｔにおいてＳＩＭプロファイルＳＰ１～ＳＰＮ（ただし、Ｎは２以上の整数であり、ユーザ端末１００に装着されているＳＩＭカード１１０に保持されているＳＩＭプロファイルの総数を表す）をそれぞれ選択した場合の行動価値Ｑｍａｉｎ（ｓｔ，ａｉ）（ｉ＝１，２，…，Ｎ）を出力する。例えば、出力層のノード１からは、ユーザ端末１００がＳＩＭプロファイルＳＰ１を選択すなわち行動ａ１を行った場合の行動価値Ｑｍａｉｎ（ｓｔ，ａ１）が出力され、ノード２からは、ユーザ端末１００がＳＩＭプロファイルＳＰ２を選択すなわち行動ａ２を行った場合の行動価値Ｑｍａｉｎ（ｓｔ，ａ２）が出力され、以下同様である。なお、出力層のノード数はＳＩＭカード１１０内のＳＩＭプロファイルの数と同数である。
【0034】
ここで、ユーザ端末１００の学習モデル（メインネットワークおよびターゲットネットワーク）１０２は、ユーザ端末１００が現在使用しているＳＩＭプロファイルＳＰＪに対して最大の行動価値を出力するように学習が行われているものとする。続くステップ７０６において、ユーザ端末１００は、ステップ７０４で得られた全ての行動価値のうち最大の行動価値Ｑｍａｉｎ（ｓｔ，ａＪ）に対応する行動ａＪと、ユーザ端末１００の状態ｓｔとを含むユーザ端末情報を、現在使用しているモバイル事業者ネットワークのＵ－ｐｌａｎｅを介してＳＩＭプロファイル切替装置４００へ送信する。ステップ７０８において、ＳＩＭプロファイル切替装置４００のユーザ端末情報管理部４０２は、このユーザ端末情報を取得する。
【0035】
次にステップ７１０において、ＳＩＭプロファイル切替装置４００の通信状況管理部４０４は、モバイル通信システム１０における複数のモバイル事業者ネットワークの各々についての通信状況を判定する。ステップ７１２において、ＳＩＭプロファイル切替装置４００の報酬決定部４０６は、ユーザ端末情報管理部４０２からユーザ端末情報を、また通信状況管理部４０４から各モバイル事業者ネットワークの通信状況を取得し、ユーザ端末１００が現在使用しているモバイル事業者ネットワークの通信状況が良好であるか否かに応じて、ユーザ端末１００の学習モデル１０２を更新するための報酬Ｒｔ＋１を決定する。例えば、ユーザ端末１００が現在使用しているモバイル事業者ネットワークの通信状況が良好である場合は、そのモバイル事業者ネットワークのＳＩＭプロファイルを選択する行動ａＪに対する報酬値が最大となるように、またユーザ端末１００が現在使用しているモバイル事業者ネットワークの通信状況が良好でない場合は、通信状況が良好な別の（例えばＫ（≠Ｊ）番目の）モバイル事業者ネットワークのＳＩＭプロファイルを選択する行動ａＫに対する報酬値が最大となるように、報酬Ｒｔ＋１が決定される。
【0036】
次にステップ７１４において、ＳＩＭプロファイル切替装置４００の送信部４０８は、ステップ７１２で決定された報酬Ｒｔ＋１と、状態ｓｔにおいてユーザ端末１００が行動ａＪをとった場合における遷移後のユーザ端末１００の状態ｓｔ＋１とをユーザ端末１００へ送信する。さらにステップ７１６において、ユーザ端末１００の学習モデル１０２に対する更新指示（後述参照）が、ＳＩＭプロファイル切替装置４００からユーザ端末１００へ送信される。
【0037】
次にステップ７１８において、学習モデル１０２の更新に用いる行動価値を得るため、ユーザ端末１００の学習モデル１０２を構成するもう一方のニューラルネットワークであるターゲットネットワークの入力層に、ユーザ端末１００の次の状態ｓｔ＋１が入力される。この入力を受け、ステップ７２０において、学習モデル１０２のターゲットネットワークは、ステップ７０４におけるメインネットワークと同様に、その出力層の各ノードから、状態ｓｔ＋１に関する各行動ａｉの行動価値Ｑｔａｒｇｅｔ（ｓｔ＋１，ａｉ）を出力する。
【0038】
次にステップ７２２において、ターゲットネットワークから出力された行動価値を用いて、ユーザ端末１００の学習モデル１０２におけるメインネットワークの更新が行われる。更新は、ステップ７１６でＳＩＭプロファイル切替装置４００からユーザ端末１００へ送られた更新指示の内容に従う。更新指示の内容は、ＳＩＭプロファイル切替装置４００の報酬決定部４０６によって決定された報酬Ｒｔ＋１と連動している。具体的に、（Ａ）ユーザ端末１００が現在使用しているモバイル事業者ネットワークの通信状況が良好である場合は、ターゲットネットワークから出力された行動価値のうち最大の行動価値ｍａｘａｉＱｔａｒｇｅｔ（ｓｔ＋１，ａｉ）＝Ｑｔａｒｇｅｔ（ｓｔ＋１，ａＪ）が、メインネットワークの更新に用いられる（ｍａｘａｉは全てのとり得る行動ａｉに関する最大値を表す）。一方、（Ｂ）ユーザ端末１００が現在使用しているモバイル事業者ネットワークの通信状況が良好でない場合には、ターゲットネットワークから出力された行動価値のいずれが最大であるかにかかわらず、通信状況が良好なＫ番目のモバイル事業者ネットワークのＳＩＭプロファイルに対応する行動価値Ｑｔａｒｇｅｔ（ｓｔ＋１，ａＫ）が、メインネットワークの更新に用いられる。具体的な更新式は次のとおりである。メインネットワークは、次式の損失関数Ｅが最小になるように学習が行われる。
【0039】
【数1】
【0040】
ここで、γは時間割引率である。このように、ステップ７２２では、モバイル事業者ネットワークの通信状況に応じ、上式（１）または（２）に従って、ユーザ端末１００の学習モデル１０２におけるメインネットワークの更新（すなわちニューラルネットワークのパラメータの調整）が行われる。その後、再びステップ７０２から７２２が繰り返され、メインネットワークの学習が進む。また所定回数の繰り返しごとに、ステップ７２２の後のステップ７２４において、ターゲットネットワークのパラメータがメインネットワークのパラメータと同期される。
【0041】
このようにして学習された学習モデル１０２を用いて、ユーザ端末１００は使用するＳＩＭプロファイルの選択を行うことができる。具体的に、ステップ７０４に続いてステップ７２６へ進むことができ、このステップ７２６において、ユーザ端末１００のＳＩＭプロファイル選択部１０４は、ステップ７０４で得られた全ての行動価値Ｑｍａｉｎ（ｓｔ，ａｉ）の中から最大の行動価値を選択し、その最大の行動価値に対応するＳＩＭプロファイルを、最適なＳＩＭプロファイルと決定する。次いで、ステップ７２８において、ユーザ端末１００の通信部１０６は、ＳＩＭプロファイル選択部１０４によって選択されたＳＩＭプロファイルを用いて、そのＳＩＭプロファイルに対応するモバイル事業者ネットワークと通信する。こうして、ユーザ端末１００は、ＳＩＭカード１１０に保持された複数のＳＩＭプロファイルの中からモバイル事業者ネットワークの通信状況に応じた最適なＳＩＭプロファイルを選択して、通信を行うことができる。
【0042】
以上、本発明の実施形態を説明したが、本発明はこれに限定されず、その要旨を逸脱しない範囲内において様々な変更が可能である。
【符号の説明】
【0043】
１０ モバイル通信システム
１００ ユーザ端末
１０２ 学習モデル
１０４ ＳＩＭプロファイル選択部
１０６ 通信部
１１０ ＳＩＭカード
２００ 無線アクセスネットワーク
３００ コアネットワーク
４００ ＳＩＭプロファイル切替装置
４０２ ユーザ端末情報管理部
４０４ 通信状況管理部
４０６ 報酬決定部
４０８ 送信部
５００ インターネット
ＭＮ１、ＭＮ２ モバイル事業者ネットワーク
ＳＰ１、ＳＰ２ ＳＩＭプロファイル
１００ ユーザ端末
１０２ 学習モデル
１０４ ＳＩＭプロファイル選択部
１０６ 通信部
１１０ ＳＩＭカード
２００ 無線アクセスネットワーク
３００ コアネットワーク
４００ ＳＩＭプロファイル切替装置
４０２ ユーザ端末情報管理部
４０４ 通信状況管理部
４０６ 報酬決定部
４０８ 送信部
５００ インターネット
ＭＮ１、ＭＮ２ モバイル事業者ネットワーク
ＳＰ１、ＳＰ２ ＳＩＭプロファイル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
