知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024004320
(43)【公開日】2024-01-16
(54)【発明の名称】学習データ抽出装置、推論装置および学習データ抽出方法
(51)【国際特許分類】
H04W 88/18 20090101AFI20240109BHJP
H04W 92/24 20090101ALI20240109BHJP
H04W 24/08 20090101ALI20240109BHJP
【ＦＩ】
H04W88/18
H04W92/24
H04W24/08
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022103929
(22)【出願日】2022-06-28
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．３ＧＰＰ
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】榮 純明
(72)【発明者】
【氏名】多賀戸 裕樹
(72)【発明者】
【氏名】小梨 貴史
(72)【発明者】
【氏名】西岡 淳
(72)【発明者】
【氏名】棗田 昌尚
(72)【発明者】
【氏名】小林 佑嗣
(72)【発明者】
【氏名】児玉 純
(72)【発明者】
【氏名】市原 悦子
【テーマコード（参考）】
5K067
【Ｆターム（参考）】
5K067AA34
5K067AA44
5K067DD11
5K067EE10
5K067EE16
5K067LL01
5K067LL05
(57)【要約】
【課題】モバイルネットワークにおける正常状態のパターンを削減しつつ、異常検知を精度よく行えるように機械学習用データを抽出する。
【解決手段】学習データ抽出装置（１）は、Ｃプレーンを構成する複数の通信機器によって連携して処理されるネットワークサービス利用リクエストを発行する発行手段（１１）と、複数の通信機器に関する情報の時系列データを学習データ候補として取得する取得手段（１２）と、学習データ候補のうち、ネットワークサービス利用リクエストに対応する処理が正常終了した機械学習用データを抽出する抽出手段（１３）と、を備えている。
【選択図】図１
【解決手段】学習データ抽出装置（１）は、Ｃプレーンを構成する複数の通信機器によって連携して処理されるネットワークサービス利用リクエストを発行する発行手段（１１）と、複数の通信機器に関する情報の時系列データを学習データ候補として取得する取得手段（１２）と、学習データ候補のうち、ネットワークサービス利用リクエストに対応する処理が正常終了した機械学習用データを抽出する抽出手段（１３）と、を備えている。
【選択図】図１
【特許請求の範囲】
【請求項1】
コントロールプレーンを構成する複数の通信機器によって連携して処理されるネットワークサービス利用リクエストを発行する発行手段と、
前記ネットワークサービス利用リクエストに対応する処理を行う期間における、前記複数の通信機器に関する情報の時系列データを学習データ候補として取得する取得手段と、
前記学習データ候補のうち、前記ネットワークサービス利用リクエストに対応する処理が正常終了した機械学習用データを抽出する抽出手段と、
を備える学習データ抽出装置。
前記ネットワークサービス利用リクエストに対応する処理を行う期間における、前記複数の通信機器に関する情報の時系列データを学習データ候補として取得する取得手段と、
前記学習データ候補のうち、前記ネットワークサービス利用リクエストに対応する処理が正常終了した機械学習用データを抽出する抽出手段と、
を備える学習データ抽出装置。
【請求項2】
前記抽出手段は、
前記学習データ候補のうち、前記ネットワークサービス利用リクエストに対応する処理が異常終了した機械学習用データをさらに抽出し、
正常終了した前記機械学習用データ及び異常終了した前記機械学習用データに対し、前記ネットワークサービス利用リクエストに対する前記コントロールプレーンの状態を示すラベルを付与する、
請求項１に記載の学習データ抽出装置。
前記学習データ候補のうち、前記ネットワークサービス利用リクエストに対応する処理が異常終了した機械学習用データをさらに抽出し、
正常終了した前記機械学習用データ及び異常終了した前記機械学習用データに対し、前記ネットワークサービス利用リクエストに対する前記コントロールプレーンの状態を示すラベルを付与する、
請求項１に記載の学習データ抽出装置。
【請求項3】
前記抽出手段は、
前記学習データ候補のうち、前記ネットワークサービス利用リクエストに対する応答がなかった学習データ候補を、機械学習用データとして抽出しない、
請求項２に記載の学習データ抽出装置。
前記学習データ候補のうち、前記ネットワークサービス利用リクエストに対する応答がなかった学習データ候補を、機械学習用データとして抽出しない、
請求項２に記載の学習データ抽出装置。
【請求項4】
前記複数の通信機器に関する情報は、当該複数の通信機器のトラフィック情報である、請求項１または２に記載の学習データ抽出装置。
【請求項5】
前記複数の通信機器に関する情報は、当該複数の通信機器の処理に関する統計情報である、
請求項１または２に記載の学習データ抽出装置。
請求項１または２に記載の学習データ抽出装置。
【請求項6】
前記発行手段は、ネットワークサービスを利用する１又は複数の通信端末の動作状況に応じて、前記ネットワークサービス利用リクエストの発行状況を調整する、
請求項１または２に記載の学習データ抽出装置。
請求項１または２に記載の学習データ抽出装置。
【請求項7】
前記発行手段は、前記１又は複数の通信端末の前記ネットワークサービス利用リクエストの回数に応じて、当該ネットワークサービス利用リクエストの発行頻度を調整する、
請求項６に記載の学習データ抽出装置。
請求項６に記載の学習データ抽出装置。
【請求項8】
前記発行手段は、時刻情報に応じて、ネットワークサービス利用リクエストの発行状況を調整する、
請求項１または２に記載の学習データ抽出装置。
請求項１または２に記載の学習データ抽出装置。
【請求項9】
コントロールプレーンを構成する複数の通信機器によって連携して処理されるネットワークサービス利用リクエストに対応する処理を行う期間における、当該複数の通信機器に関する情報の時系列データを用いて機械学習を行い、学習済みモデルを生成する生成手段と、
前記学習済みモデルに時系列データを入力することにより、複数の通信機器の状態を判定する判定手段と、
を備える推論装置。
前記学習済みモデルに時系列データを入力することにより、複数の通信機器の状態を判定する判定手段と、
を備える推論装置。
【請求項10】
コントロールプレーンを構成する複数の通信機器によって連携して処理されるネットワークサービス利用リクエストを発行し、
前記ネットワークサービス利用リクエストに対応する処理を行う期間における、前記複数の通信機器に関する情報の時系列データを学習データ候補として取得し、
前記学習データ候補のうち、前記ネットワークサービス利用リクエストに対応する処理が正常終了した機械学習用データを抽出する、
学習データ抽出方法。
前記ネットワークサービス利用リクエストに対応する処理を行う期間における、前記複数の通信機器に関する情報の時系列データを学習データ候補として取得し、
前記学習データ候補のうち、前記ネットワークサービス利用リクエストに対応する処理が正常終了した機械学習用データを抽出する、
学習データ抽出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習データ抽出装置、推論装置および学習データ抽出方法に関する。
【背景技術】
【0002】
従来から、システムの異常検知を行う技術が開発されている。これに関連する技術として、下記の特許文献１および特許文献２に開示された発明がある。
【0003】
特許文献１には、監視対象内での通信、または、監視対象と監視対象が接続されているネットワークとの間での通信に異常があるか否かを検知する異常検知装置が実行する異常検知方法が開示されている。
【0004】
また、特許文献２に記載の異常検知モデル学習装置は、基地局における通信が正常であるときの基地局ごとの通信状態を示す少なくとも１項目以上の通信状態情報に基づいて、学習用の入力データを生成する学習用入力データ生成部と、入力データを次元削減アルゴリズムに入力し、次元削減アルゴリズムからの出力データと入力データとに基づいて、次元削減アルゴリズムのパラメータを更新して異常検知モデルの学習を行うモデル学習部と、を備えている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１９－１１０５１３号公報
【特許文献2】特開２０２１－０７８０７６号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献１は、工場、プラント、重要インフラ等の制御システムの異常検知に関するものである。制御システムは、モバイルネットワークとは異なり、正常時の状態が有限であるため、異常検知装置が異常検知を精度高く行うことができる。しかしながら、この技術を複雑なシステムであるモバイルネットワークに適用することはできない。
【0007】
また、特許文献２は、モバイルネットワークの異常検知に関するものであるが、コントロールプレーンおよびユーザプレーンを含んだモバイルネットワークにおける正常状態のパターンは無数にあるため、誤検知や見落としの発生が多くなる。そのため、モバイルネットワークにおける正常状態のパターンを削減しつつ、誤検知や見落としを減らす手法が必要とされる。
【0008】
本発明の一態様は、上記の問題に鑑みてなされたものであり、モバイルネットワークにおける正常状態のパターンを削減しつつ、異常検知を精度よく行えるように機械学習用データを抽出する技術を提供することを一目的とする。
【課題を解決するための手段】
【0009】
本発明の一態様に係る学習データ抽出装置は、コントロールプレーンを構成する複数の通信機器によって連携して処理されるネットワークサービス利用リクエストを発行する発行手段と、前記ネットワークサービス利用リクエストに対応する処理を行う期間における、前記複数の通信機器に関する情報の時系列データを学習データ候補として取得する取得手段と、前記学習データ候補のうち、前記ネットワークサービス利用リクエストに対応する処理が正常終了した機械学習用データを抽出する抽出手段と、を備えている。
【0010】
本発明の一態様に係る推論装置は、コントロールプレーンを構成する複数の通信機器によって連携して処理されるネットワークサービス利用リクエストに対応する処理を行う期間における、当該複数の通信機器に関する情報の時系列データを用いて機械学習を行い、学習済みモデルを生成する生成手段と、前記学習済みモデルに時系列データを入力することにより、複数の通信機器の状態を判定する判定手段と、を備えている。
【0011】
本発明の一態様に係る学習データ抽出方法は、コントロールプレーンを構成する複数の通信機器によって連携して処理されるネットワークサービス利用リクエストを発行し、前記ネットワークサービス利用リクエストに対応する処理を行う期間における、前記複数の通信機器に関する情報の時系列データを学習データ候補として取得し、前記学習データ候補のうち、前記ネットワークサービス利用リクエストに対応する処理が正常終了した機械学習用データを抽出する。
【発明の効果】
【0012】
本発明の一態様によれば、モバイルネットワークにおける正常状態のパターンを削減しつつ、異常検知を精度よく行えるように機械学習用データを抽出することができる。
【図面の簡単な説明】
【0013】
【図1】本発明の第１の例示的実施形態に係る学習データ抽出装置の構成例を示すブロック図である。
【図2】本発明の第１の例示的実施形態に係る学習データ抽出装置の処理方法の流れを示すフロー図である。
【図3】本発明の第１の例示的実施形態に係る学習データ抽出システムの構成例を示すブロック図である。
【図4】本発明の第１の例示的実施形態に係る推論装置の構成例を示すブロック図である。
【図5】本発明の第１の例示的実施形態に係る推論装置の処理方法の流れを示すフロー図である。
【図6】コントロールプレーンを構成する複数の通信機器を含んだモバイルネットワークを説明するための図である。
【図7】通信接続を説明するためのシーケンス図である。
【図8】ハンドオーバーを説明するためのシーケンス図である。
【図9】本発明の第２の例示的実施形態に係る学習データ抽出システムの構成例を示す図である。
【図10】ＲＲＣコネクションに関する統計情報の一例（その１）を示す図である。
【図11】ＲＲＣコネクションに関する統計情報の一例（その２）を示す図である。
【図12】無線通信に関する統計情報の一例（その１）を示す図である。
【図13】無線通信に関する統計情報の一例（その２）を示す図である。
【図14】各例示的実施形態に係る学習データ抽出装置として機能するコンピュータの構成を示すブロック図である。
【発明を実施するための形態】
【0014】
（発明の背景）
５Ｇ（第５世代移動通信システム）、６Ｇ（第６世代移動通信システム）の進展に伴い、モバイルネットワークの故障や異常の検知、原因特定が困難になっている。これは、機器の高度化、仮想化、接続端末数の増加、ＩｏＴ機器等の接続端末の種類の多様化等に起因している。
５Ｇ（第５世代移動通信システム）、６Ｇ（第６世代移動通信システム）の進展に伴い、モバイルネットワークの故障や異常の検知、原因特定が困難になっている。これは、機器の高度化、仮想化、接続端末数の増加、ＩｏＴ機器等の接続端末の種類の多様化等に起因している。
【0015】
また、閾値ベースの異常検知は従前から行われており、単純な異常検知に対して有効だ
が、複雑な異常検知には不十分である。そのため、機械学習ベースの異常検知が行われている。
が、複雑な異常検知には不十分である。そのため、機械学習ベースの異常検知が行われている。
【0016】
また、モバイルネットワーク等のインフラ系システムでは正常動作が当たり前であり、異常状態のデータ収集が大変なため、正常状態のデータで学習しそこからの乖離によって異常を検知するアプローチが存在する。
【0017】
〔例示的実施形態１〕
＜例示的実施形態１に係る学習データ抽出装置１＞
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。また、図中の各ブロックの入出力の接続点には、ポート乃至インタフェースを備える構成としてもよいが、これらの構成については図示を省略する。
＜例示的実施形態１に係る学習データ抽出装置１＞
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。また、図中の各ブロックの入出力の接続点には、ポート乃至インタフェースを備える構成としてもよいが、これらの構成については図示を省略する。
【0018】
図１は、本発明の第１の例示的実施形態に係る学習データ抽出装置１の構成例を示すブロック図である。本例示的実施形態に係る学習データ抽出装置１は、図１に示すように、発行手段１１と、取得手段１２と、抽出手段１３と、を備えている。
【0019】
発行手段１１は、コントロールプレーンを構成する複数の通信機器によって連携して処理されるネットワークサービス利用リクエストを発行する。コントロールプレーンは、３ＧＰＰ（第３世代移動通信システムパートナーシッププロジェクト）によって規定される５Ｇ（第５世代移動通信システム）コアネットワーク（以下、５ＧＣと記載する。）、４Ｇ（第４世代移動通信システム）コアネットワーク等のＣ－Ｐｌａｎｅに対応している。
【0020】
５ＧＣにおいては、通信の確立等の制御信号通信のためのＣプレーン（Control Plane
）と、ユーザデータ通信のためのＵプレーン（User Plane）とを分離して処理するアーキテクチャが採用されている。Ｕプレーン側はアプリケーションやサービスが無数にあり、その通信パターンは事実上無限にあるのに対して、Ｃプレーン側は３ＧＰＰ等で標準化された制御信号通信のため有限に収まる。本例示的実施形態においては、Ｃプレーンを構成する複数の通信機器に関する情報を学習、推論の対象とすることにより、正常時の状態のバリエーションを抑えている。
）と、ユーザデータ通信のためのＵプレーン（User Plane）とを分離して処理するアーキテクチャが採用されている。Ｕプレーン側はアプリケーションやサービスが無数にあり、その通信パターンは事実上無限にあるのに対して、Ｃプレーン側は３ＧＰＰ等で標準化された制御信号通信のため有限に収まる。本例示的実施形態においては、Ｃプレーンを構成する複数の通信機器に関する情報を学習、推論の対象とすることにより、正常時の状態のバリエーションを抑えている。
【0021】
ネットワークサービス利用リクエストは、例えば、ＲＲＣ（Radio Resource Control）コネクション、ハンドオーバー等のリクエストであり、このリクエストは、後述のようにＣプレーンを構成する複数の通信機器によって連携して処理される。
【0022】
取得手段１２は、ネットワークサービス利用リクエストに対応する処理を行う期間における、複数の通信機器に関する情報の時系列データを学習データ候補として取得する。複数の通信機器に関する情報は、例えば、複数の通信機器のトラフィック情報や、複数の通信機器の処理に関する統計情報等である。取得手段１２は、これらの情報を所定時間毎に取得して時系列データとし、学習データ候補とする。
【0023】
抽出手段１３は、学習データ候補のうち、ネットワークサービス利用リクエストに対応する処理が正常終了した機械学習用データを抽出する。ネットワークサービス利用リクエストに対する処理の正常終了とは、例えば、当該リクエストに対してエラーコードが返ってきて異常終了した場合や、当該リクエストに対する応答がなくタイムアウトした場合を
除外するものである。
除外するものである。
【0024】
抽出手段１３は、当該リクエストに対する処理が正常終了したときの学習データを、後述の推論装置が機械学習するための機械学習用データとして抽出する。なお、この機械学習用データは、異常検知のための教師無し学習のために使用される。また、当該リクエストに対する処理が異常終了したときの学習データを含めて、状態分類のための教師有り学習のために使用されてもよい。
【0025】
＜学習データ抽出装置１の効果＞
以上説明したように、本例示的実施形態に係る学習データ抽出装置１によれば、取得手段１２が、Ｃプレーンを構成する複数の通信機器に関する情報の時系列データを学習データ候補として取得し、抽出手段１３が、学習データ候補のうち、ネットワークサービス利用リクエストに対応する処理が正常終了した機械学習用データを抽出する。したがって、学習データ抽出装置１は、モバイルネットワークにおける正常状態のパターンを削減しつつ、異常検知を精度よく行えるように機械学習用データを抽出することができる。
以上説明したように、本例示的実施形態に係る学習データ抽出装置１によれば、取得手段１２が、Ｃプレーンを構成する複数の通信機器に関する情報の時系列データを学習データ候補として取得し、抽出手段１３が、学習データ候補のうち、ネットワークサービス利用リクエストに対応する処理が正常終了した機械学習用データを抽出する。したがって、学習データ抽出装置１は、モバイルネットワークにおける正常状態のパターンを削減しつつ、異常検知を精度よく行えるように機械学習用データを抽出することができる。
【0026】
＜学習データ抽出装置１による処理方法の流れ＞
以上のように構成された学習データ抽出装置１が実行する処理方法の流れについて、図２を参照して説明する。図２は、第１の例示的実施形態に係る学習データ抽出装置１の処理方法の流れを示すフロー図である。図２に示すように、処理方法Ｓ１は、ステップＳ１１～Ｓ１３を含む。
以上のように構成された学習データ抽出装置１が実行する処理方法の流れについて、図２を参照して説明する。図２は、第１の例示的実施形態に係る学習データ抽出装置１の処理方法の流れを示すフロー図である。図２に示すように、処理方法Ｓ１は、ステップＳ１１～Ｓ１３を含む。
【0027】
まず、発行手段１１は、コントロールプレーンを構成する複数の通信機器によって連携して処理されるネットワークサービス利用リクエストを発行する（Ｓ１１）。本例示的実施形態においては、Ｃプレーンを構成する複数の通信機器に関する情報を学習、推論の対象とすることにより、正常時の状態のバリエーションを抑えている。
【0028】
次に、取得手段１２は、ネットワークサービス利用リクエストに対応する処理を行う期間における、複数の通信機器に関する情報の時系列データを学習データ候補として取得する（Ｓ１２）。複数の通信機器に関する情報は、例えば、複数の通信機器のトラフィック情報や、複数の通信機器の処理に関する統計情報等である。取得手段１２は、これらの情報を所定時間毎に取得して時系列データとし、学習データ候補とする。
【0029】
最後に、抽出手段１３は、学習データ候補のうち、ネットワークサービス利用リクエストに対応する処理が正常終了した機械学習用データを抽出する（Ｓ１３）。ネットワークサービス利用リクエストに対する処理の正常終了とは、例えば、当該リクエストに対してエラーコードが返ってきて異常終了した場合や、当該リクエストに対する応答がなくタイムアウトした場合を除外するものである。
【0030】
＜学習データ抽出装置１の処理方法の効果＞
以上説明したように、本例示的実施形態に係る学習データ抽出装置１の処理方法によれば、Ｃプレーンを構成する複数の通信機器に関する情報の時系列データを学習データ候補として取得し、学習データ候補のうち、ネットワークサービス利用リクエストに対応する処理が正常終了した機械学習用データを抽出する。したがって、モバイルネットワークにおける正常状態のパターンを削減しつつ、異常検知を精度よく行えるように機械学習用データを抽出することができる。
以上説明したように、本例示的実施形態に係る学習データ抽出装置１の処理方法によれば、Ｃプレーンを構成する複数の通信機器に関する情報の時系列データを学習データ候補として取得し、学習データ候補のうち、ネットワークサービス利用リクエストに対応する処理が正常終了した機械学習用データを抽出する。したがって、モバイルネットワークにおける正常状態のパターンを削減しつつ、異常検知を精度よく行えるように機械学習用データを抽出することができる。
【0031】
＜例示的実施形態１に係る学習データ抽出システム１００＞
図３は、本発明の第１の例示的実施形態に係る学習データ抽出システム１００の構成例を示すブロック図である。本例示的実施形態に係る学習データ抽出システム１００は、図
３に示すように、発行手段１１と、取得手段１２と、抽出手段１３と、を備えている。
図３は、本発明の第１の例示的実施形態に係る学習データ抽出システム１００の構成例を示すブロック図である。本例示的実施形態に係る学習データ抽出システム１００は、図
３に示すように、発行手段１１と、取得手段１２と、抽出手段１３と、を備えている。
【0032】
発行手段１１、取得手段１２および抽出手段１３は、一例として、ネットワークＮを介して通信可能に構成されている。ここで、当該ネットワークＮの具体的構成は本例示的実施形態を限定するものではないが、一例として、無線ＬＡＮ（Local Area Network）、有線ＬＡＮ、ＷＡＮ（Wide Area Network）、公衆回線網、モバイルデータ通信網、又は、
これらのネットワークの組み合わせを用いることができる。
これらのネットワークの組み合わせを用いることができる。
【0033】
なお、学習データ抽出システム１００の各機能がクラウド上で実装されてもよい。例えば、発行手段１１が１つの装置であってもよく、取得手段１２と抽出手段１３とが１つの装置であってもよい。これらは、１つの装置内に実装されてもよいし、別々の装置に実装されてもよい。例えば、別々の装置に実装される場合、ネットワークＮを介して各部の情報が送受信されて処理が進められる。
【0034】
発行手段１１は、ネットワークＮを介して、コントロールプレーンを構成する複数の通信機器によって連携して処理されるネットワークサービス利用リクエストを発行する。本例示的実施形態においては、Ｃプレーンを構成する複数の通信機器に関する情報を学習、推論の対象とすることにより、正常時の状態のバリエーションを抑えている。
【0035】
取得手段１２は、ネットワークＮを介して、ネットワークサービス利用リクエストに対応する処理を行う期間における、複数の通信機器に関する情報の時系列データを学習データ候補として取得する。複数の通信機器に関する情報は、例えば、複数の通信機器のトラフィック情報や、複数の通信機器の処理に関する統計情報等である。取得手段１２は、これらの情報を所定時間毎に取得して時系列データとし、学習データ候補とする。
【0036】
抽出手段１３は、ネットワークＮを介して取得した学習データ候補のうち、ネットワークサービス利用リクエストに対応する処理が正常終了した機械学習用データを抽出する。ネットワークサービス利用リクエストに対する処理の正常終了とは、例えば、当該リクエストに対してエラーコードが返ってきて異常終了した場合や、当該リクエストに対する応答がなくタイムアウトした場合を除外するものである。
【0037】
以上説明したように、本例示的実施形態に係る学習データ抽出システム１００によれば、取得手段１２が、Ｃプレーンを構成する複数の通信機器に関する情報の時系列データを学習データ候補として取得し、抽出手段１３が、学習データ候補のうち、ネットワークサービス利用リクエストに対応する処理が正常終了した機械学習用データを抽出する。したがって、学習データ抽出システム１００は、モバイルネットワークにおける正常状態のパターンを削減しつつ、異常検知を精度よく行えるように機械学習用データを抽出することができる。
【0038】
＜例示的実施形態１に係る推論装置２＞
図４は、本発明の第１の例示的実施形態に係る推論装置２の構成例を示すブロック図である。本例示的実施形態に係る推論装置２は、図４に示すように、生成手段２１と、判定手段２２と、を備えている。
図４は、本発明の第１の例示的実施形態に係る推論装置２の構成例を示すブロック図である。本例示的実施形態に係る推論装置２は、図４に示すように、生成手段２１と、判定手段２２と、を備えている。
【0039】
生成手段２１は、コントロールプレーンを構成する複数の通信機器によって連携して処理されるネットワークサービス利用リクエストに対応する処理を行う期間における、当該複数の通信機器に関する情報の時系列データを用いて機械学習を行い、学習済みモデルを生成する。
【0040】
モデルは、一例として、ニューラルネットワークにディープラーニング（深層学習）を
行わせて生成されたモデルである。ここで、ニューラルネットワークとしては、ＣＮＮ（Convolutional Neural Network）やＲＮＮ（Recurrent Neural Network）等を挙げることができる。なお、当該モデルは、これらの構成に限定されるものではなく、ＳＶＭ（Support Vector Machine）等の他の機械学習であってもよいし、これら他の機械学習とニューラルネットワークとを組み合わせたものであってもよい。なお、モデルは、推論モデル、推定モデル、識別モデルなどとも表現され得るものである。
行わせて生成されたモデルである。ここで、ニューラルネットワークとしては、ＣＮＮ（Convolutional Neural Network）やＲＮＮ（Recurrent Neural Network）等を挙げることができる。なお、当該モデルは、これらの構成に限定されるものではなく、ＳＶＭ（Support Vector Machine）等の他の機械学習であってもよいし、これら他の機械学習とニューラルネットワークとを組み合わせたものであってもよい。なお、モデルは、推論モデル、推定モデル、識別モデルなどとも表現され得るものである。
【0041】
判定手段２２は、学習済みモデルに時系列データを入力することにより、複数の通信機器の状態を判定する。例えば、生成手段２１は、複数の通信機器に関する情報の時系列データを用いた機械学習により学習済みモデルを生成する。そして、判定手段２２は、学習済みモデルに対して、複数の通信機器に関する情報の現在の時系列データを入力することによって、複数の通信機器の状態を判定する。
【0042】
＜推論装置２の効果＞
以上説明したように、本例示的実施形態に係る推論装置２によれば、判定手段２２が、学習済みモデルに時系列データを入力することにより、複数の通信機器の状態を判定する。ここで、学習済みモデルは、Ｃプレーンを構成する複数の通信機器によって連携して処理されるネットワークサービス利用リクエストに対応する処理を行う期間における、当該複数の通信機器に関する情報の時系列データを用いた機械学習により生成されたモデルである。
以上説明したように、本例示的実施形態に係る推論装置２によれば、判定手段２２が、学習済みモデルに時系列データを入力することにより、複数の通信機器の状態を判定する。ここで、学習済みモデルは、Ｃプレーンを構成する複数の通信機器によって連携して処理されるネットワークサービス利用リクエストに対応する処理を行う期間における、当該複数の通信機器に関する情報の時系列データを用いた機械学習により生成されたモデルである。
【0043】
したがって、モバイルネットワークにおける正常状態のパターンが削減されており、生成されたモデルは、正常状態のパターンを十分に学習しているため、推論装置２は、異常検知を精度よく行うことができる。
【0044】
＜推論装置２による処理方法の流れ＞
以上のように構成された推論装置２が実行する処理方法の流れについて、図５を参照して説明する。図５は、本例示的実施形態に係る推論装置２の処理方法の流れを示すフロー図である。図５に示すように、推論装置２の処理方法Ｓ２は、ステップＳ２１～Ｓ２２を含む。
以上のように構成された推論装置２が実行する処理方法の流れについて、図５を参照して説明する。図５は、本例示的実施形態に係る推論装置２の処理方法の流れを示すフロー図である。図５に示すように、推論装置２の処理方法Ｓ２は、ステップＳ２１～Ｓ２２を含む。
【0045】
まず、生成手段２１が、コントロールプレーンを構成する複数の通信機器によって連携して処理されるネットワークサービス利用リクエストに対応する処理を行う期間における、当該複数の通信機器に関する情報の時系列データを用いて機械学習を行い、学習済みモデルを生成する（Ｓ２１）。
【0046】
そして、判定手段２２は、学習済みモデルに時系列データを入力することにより、複数の通信機器の状態を判定する（Ｓ２２）。
【0047】
〔例示的実施形態２〕
＜Ｃプレーンを構成する複数の通信機器＞
本発明の第２の例示的実施形態について説明する前に、Ｃプレーンを構成する複数の通信機器について説明する。図６は、Ｃプレーンを構成する複数の通信機器を含んだモバイルネットワークを説明するための図である。図６に示すように、モバイルネットワークは、ＵＥ（User Equipment）３１と、ｅＮｏｄｅＢ（基地局）３２と、ＭＭＥ（Mobility Management Entity）３３－１および３３－２と、ＳＧＷ（Serving GateWay）３４と、Ｐ
ＧＷ（Packet data network GateWay）３５と、ＰＣＲＦ（Policy and Charging Rule control Function）３６と、ＨＳＳ（Home Subscriber Server）３７とを含んでいる。なお、図６において、点線で示しているのがＣプレーンであり、実線で示しているのがＵプレーンである。
＜Ｃプレーンを構成する複数の通信機器＞
本発明の第２の例示的実施形態について説明する前に、Ｃプレーンを構成する複数の通信機器について説明する。図６は、Ｃプレーンを構成する複数の通信機器を含んだモバイルネットワークを説明するための図である。図６に示すように、モバイルネットワークは、ＵＥ（User Equipment）３１と、ｅＮｏｄｅＢ（基地局）３２と、ＭＭＥ（Mobility Management Entity）３３－１および３３－２と、ＳＧＷ（Serving GateWay）３４と、Ｐ
ＧＷ（Packet data network GateWay）３５と、ＰＣＲＦ（Policy and Charging Rule control Function）３６と、ＨＳＳ（Home Subscriber Server）３７とを含んでいる。なお、図６において、点線で示しているのがＣプレーンであり、実線で示しているのがＵプレーンである。
【0048】
ＵＥ３１は、スマートホン等の端末装置であり、ｅＵＴＲＡＮ（evolved Universal Terrestrial Radio Access Network）におけるｅＮｏｄｅＢ（基地局）３２に接続される。また、ｅＮｏｄｅＢ３２は、Ｓ１インタフェースを介してＥＰＣ（Evolved Packet Core
）に接続される。なお、各ノード間の点線および実線は、各ノード間のインタフェースを示している。
）に接続される。なお、各ノード間の点線および実線は、各ノード間のインタフェースを示している。
【0049】
ＥＰＣには、ＭＭＥ３３－１および３３－２と、ＳＧＷ３４と、ＰＧＷ３５とが配置されている。ＭＭＥ３３－１および３３－２は、ｅＮｏｄｅＢ（基地局）を収容し、モビリティ制御等を提供するノードである。
【0050】
ＳＧＷ３４は、３ＧＰＰアクセスシステムを収容する在圏パケットゲートウェイである。また、ＰＧＷ３５は、ＰＤＮとの接続点であり、ＩＰアドレスの割当てやＳＧＷ３４へのパケット転送等を行うゲートウェイである。以下、ＳＧＷとＰＧＷとを併せて、Ｓ／Ｐ－ＧＷと呼ぶ場合もある。
【0051】
Service Control & Data Baseには、ＰＣＲＦ３６と、ＨＳＳ３７とが配置されている
。ＰＣＲＦ３６は、ユーザデータ転送のＱｏＳ（Quality of Service）および課金のための制御を行うノードである。また、ＨＳＳ３７は、３ＧＰＰ移動通信ネットワークにおける加入者情報データベースであり、認証情報および在圏情報の管理を行う。
。ＰＣＲＦ３６は、ユーザデータ転送のＱｏＳ（Quality of Service）および課金のための制御を行うノードである。また、ＨＳＳ３７は、３ＧＰＰ移動通信ネットワークにおける加入者情報データベースであり、認証情報および在圏情報の管理を行う。
【0052】
図７は、通信接続を説明するためのシーケンス図である。まず、ＵＥ３１の電源が投入されると、セル選択が開始される。ｅＮｏｄｅＢ３２からＵＥ３１に対して報知情報（システム情報）が送信されると（Ｓ３１）、ＲＲＣ接続（無線コネクション）が行われる（Ｓ３２）。これによって、ＩｄｌｅモードからＲＲＣ Ｃｏｎｎｅｃｔｉｏｎモードに移行する。
【0053】
次に、ＵＥ３１とＨＳＳ３７との間で認証および位置登録が行われれると（Ｓ３３）、ＵＥ３１は、ＭＭＥ３３に対してサービス要求を送信する（Ｓ３４）。ＭＭＥ３３は、ＵＥ３１からサービス要求を受信すると、ＭＭＥ３３は、Ｓ／Ｐ－ＧＷ３４，３５に対して通信路設定要求を送信する（Ｓ３５）。通信路が設定されると、データ通信、ＶｏＩＰ通信等の通信が開始される（Ｓ３６）。
【0054】
図８は、ハンドオーバーを説明するためのシーケンス図である。ＵＥ３１とＳ／Ｐ－ＧＷ３４，３５との間でパケットデータの通信が行われているとき（Ｓ４１，Ｓ４２）、移動元ｅＮＢ３２－１によってＵＥ３１がセルを出そうであることが検出されると、周辺基地局測定制御が開始される（Ｓ４３）。
【0055】
移動元ｅＮＢ３２－１は、ＵＥ３１から周辺基地局測定結果を受信すると（Ｓ４４）、移動先ｅＮＢ３２－２に対してハンドオーバー（ＨＯ）要求を送信する（Ｓ４５）。そして、移動元ｅＮＢ３２－１は、ＵＥ３１に対してＨＯ指示を送信する（Ｓ４６）。そして、移動元ｅＮＢ３２－１が、移動先ｅＮＢ３２－２に対して未達パケットおよび端末情報を転送すると（Ｓ４７）、ＵＥ３１と移動先ｅＮＢ３２－２との間で同期処理が行われる（Ｓ４８）。
【0056】
次に、移動先ｅＮＢ３２－２は、ＭＭＥ３３に対してパス切り替え要求を送信する（Ｓ４９）。ＭＭＥ３３は、移動先ｅＮＢ３２－２からパス切り替え要求を受信すると、Ｓ／Ｐ－ＧＷ３４，３５に対して新ｅＮＢの通知を行う（Ｓ５０）。そして、パスの切り替えが行われると（Ｓ５１，Ｓ５２）、ＵＥ３１は、移動先ｅＮＢ３２－２を介してＳ／Ｐ－ＧＷ３４，３５との間でパケットデータの通信を継続する（Ｓ５３，Ｓ５４）。
【0057】
＜例示的実施形態２に係る学習データ抽出システム１００Ａの構成例＞
図９は、本発明の第２の例示的実施形態に係る学習データ抽出システム１００Ａの構成を示す図である。本例示的実施形態に係る学習データ抽出システム１００Ａは、アクティブプローブ４と、推論装置５と、Ｃプレーン６と、ＵＥ３１と、ＲＡＮ７１と、ＵＰＦ７２と、ＤＮ７３と、トラフィック／統計情報収集部７４と、ラベル生成／付与部７５と、学習データ抽出部７６と、前処理部７７と、を含んでいる。
図９は、本発明の第２の例示的実施形態に係る学習データ抽出システム１００Ａの構成を示す図である。本例示的実施形態に係る学習データ抽出システム１００Ａは、アクティブプローブ４と、推論装置５と、Ｃプレーン６と、ＵＥ３１と、ＲＡＮ７１と、ＵＰＦ７２と、ＤＮ７３と、トラフィック／統計情報収集部７４と、ラベル生成／付与部７５と、学習データ抽出部７６と、前処理部７７と、を含んでいる。
【0058】
アクティブプローブ４は、サービスリクエスト部４１と、リクエスト結果判定部４２と、リクエスト結果送信部４３とを含んでいる。サービスリクエスト部４１は、本例示的実施形態において発行手段を実現する構成である。トラフィック／統計情報収集部７４は、本例示的実施形態において取得手段を実現する構成である。学習データ抽出部７６は、本例示的実施形態において抽出手段を実現する構成である。
【0059】
ＲＡＮ７１は、ｎｅｗ ＲＡＴ（Radio Access Technology）を利用する基地局である
。また、ＲＡＮ７１は、非３ＧＰＰアクセスを利用する基地局であるＡＮ（Access Network）であってもよい。ＡＮは、例えば、ＷｉＦｉ（登録商標）のアクセスポイント等である。
。また、ＲＡＮ７１は、非３ＧＰＰアクセスを利用する基地局であるＡＮ（Access Network）であってもよい。ＡＮは、例えば、ＷｉＦｉ（登録商標）のアクセスポイント等である。
【0060】
５ＧＣは、ＡＭＦ（Access and Mobility Function）６１、ＳＭＦ（Session Management Function）６２、ＮＳＳＦ（Network Slice Selection Function）６３、ＮＥＦ（Network Exposure Function）６４、ＵＰＦ（User Plane Function）７２等のＮＦ（Network
Function）によって構成される。
Function）によって構成される。
【0061】
ＡＭＦ６１は、ＵＥ３１の認証、許可、モビリティ管理等を提供するＮＦであり、ＳＭＦ６２を制御する。また、ＳＭＦ６２は、ＵＥ３１のセッション管理、ＩＰアドレスの割当、データ転送のためのＵＰＦ７２の選択および制御等を担当するＮＦである。ＵＥ３１が複数のセッションを確立する場合、ＳＭＦ６２が、各セッションを独立して管理し、セッションごとに異なるファンクションを利用するために、ＡＭＦ６１は、異なるＳＭＦ６２を各セッションに割り当てることが可能である。５ＧＣにおいては、ＵＥ３１に関わる管理は１つのＡＭＦ６１で行われ、トラフィックは個別のネットワークスライスごとのＳＭＦ６２が取り扱う。
【0062】
ＮＳＳＦ６３は、単一の物理ネットワークに異なる特性の複数の論理ネットワーク、すなわちネットワークスライスを構築し、ネットワークスライスごとに特定の通信サービスを提供するＮＦである。
【0063】
ＮＥＦ６４は、グループやメンバーの追加や削除、各種変更などの一連の管理機能やグループデータを動的管理する機能を公開するＮＦである。
【0064】
ＵＰＦ７２は、ＤＮ（Data Network）７３への相互接続の外部ＰＤＵ（Protocol Data Unit）セッションポイントとして機能し、パケットルーティング、フォワーディング等を行うＮＦである。
【0065】
ＤＮ７３は、５ＧＣ外部のデータネットワークであり、インターネット等の広域ネットワーク、ＬＡＮ等の狭域ネットワークが含まれる。
【0066】
アクティブプローブ４とＲＡＮ７１との間の接続は、有線によって行われる。サービスリクエスト部４１は、図６～図８を用いて説明したＣプレーンを構成する複数の通信機器によって連携して処理されるネットワークサービス利用リクエストを発行する。このネッ
トワークサービス利用リクエストは、ＵＥ３１から発行されるものと同等のリクエストであり、ＵＥ３１によって利用される種々のリクエストが定期的にサービスリクエスト部４１から発行される。
トワークサービス利用リクエストは、ＵＥ３１から発行されるものと同等のリクエストであり、ＵＥ３１によって利用される種々のリクエストが定期的にサービスリクエスト部４１から発行される。
【0067】
リクエスト結果判定部４２は、ＲＡＮ７１を介して、ネットワークサービス利用リクエストに対する応答を受信する。ネットワークサービス利用リクエストに対応する処理が正常終了した場合には、正常終了したことがアクティブプローブ４に通知される。
【0068】
また、アクティブプローブ４は、ネットワークサービス利用リクエストに対応する処理が異常終了した場合には、エラーコードを付加した通知を受信する。リクエスト結果判定部４２は、このエラーコードを参照して、コントロールプレーンの異常状態を判別することができる。また、ネットワークサービス利用リクエストに対する応答がなかった場合、例えば、タイムアウトと判定される。
【0069】
リクエスト結果送信部４３は、リクエスト結果判定部４２による判定結果を、ラベル生成／付与部７５に送信する。この判定結果には、ネットワークサービス利用リクエストに対応する処理の正常終了、ネットワークサービス利用リクエストに対応する処理の異常終了、異常終了したときのコントロールプレーンの異常状態、ネットワークサービス利用リクエストに対する応答がない、等の情報が含まれる。
【0070】
トラフィック／統計情報収集部７４は、Ｃプレーン６内の各ＮＦを監視しており、複数の通信機器に関する情報を収集する。トラフィック／統計情報収集部７４は、複数の通信機器に関する情報として、例えば、当該複数の通信機器のトラフィック情報を収集する。トラフィック情報は、トラフィック（情報量）のサイズ、周期等のフロー情報である。
【0071】
また、トラフィック／統計情報収集部７４は、複数の通信機器に関する情報として、例えば、当該複数の通信機器の処理に関する統計情報を収集するようにしてもよい。統計情報は、ＲＲＣコネクションにおける累積成功数、成功率、平均処理時間、接続数等である。
【0072】
図１０および図１１は、ＲＲＣコネクションに関する統計情報の一例を示す図である。図１０の上図は、ＲＲＣコネクションにおける累積成功数を示しており、横軸を時刻、縦軸をその時刻における累積成功数としている。図１０の上図においては、ＭＴＡｃｃｅｓｓ、ＭＯＳｉｇｎａｌｉｎｇ、ＭＯＤａｔａそれぞれの累積成功数を示している。また、ＭＴＡｃｃｅｓｓは、アイドル状態の端末による呼び出し対応、ＭＯＳｉｇｎａｌｉｎｇは、端末による位置情報登録や接続メッセージ、ＭＯＤａｔａは、データ送信などによる端末のアイドル状態からの復帰を示している。
【0073】
図１０の下図は、ＲＲＣコネクションにおける成功率を示しており、横軸を時刻、縦軸をその時刻における成功率としている。図１０の下図においては、ＭＴＡｃｃｅｓｓ、ＭＯＳｉｇｎａｌｉｎｇ、ＭＯＤａｔａそれぞれの成功率を示している。
【0074】
図１１の上図は、ＲＲＣコネクションにおける平均処理時間を示しており、横軸を時刻、縦軸をその時刻における平均処理時間としている。図１１の上図においては、ＭＴＡｃｃｅｓｓ、ＭＯＳｉｇｎａｌｉｎｇ、ＭＯＤａｔａそれぞれの平均処理時間を示している。
【0075】
図１１の下図は、ＲＲＣコネクションにおける接続数を示しており、横軸を時刻、縦軸をその時刻における接続数としている。
【0076】
【0077】
図１２の下図は、利用される変調方式の比率を示しており、横軸を時刻、縦軸をその時刻における変調方式の比率としている。図１２の下図においては、４つの変調方式である、ＱＰＳＫ、１６ＱＡＭ、６４ＱＡＭ、２５６ＱＡＭの場合を示している。変調方式は、主に電波環境が悪くなると低い変調方式が使用されるため、端末が置かれている通信環境を表す指標となる。
【0078】
図１３の上図は、送信スロットの使用率を示しており、横軸を時刻、縦軸をその時刻における送信スロットの使用率としている。図１３の下図は、送信バイト数を示しており、横軸を時刻、縦軸をその時刻における送信バイト数としている。
【0079】
再び、図９の説明に戻る。トラフィック／統計情報収集部７４は、各時刻におけるトラフィック情報または図１０～図１３に示す統計情報の組み合わせを時系列データとして取得する。この時系列データは、学習データ抽出部７６によってネットワークサービス利用リクエストに対応する処理ごとに分けられて学習データ候補とされる。
【0080】
図９においては、ｎ回目のサービスリクエスト結果が失敗であり、リクエスト結果送信部４３は、ｎ回目のサービスリクエストが異常終了したこと、および異常終了したときのコントロールプレーンの異常状態（異常原因）に関する情報をラベル生成／付与部７５に送信する。また、ｎ＋１回目のサービスリクエスト結果が成功であり、リクエスト結果送信部４３は、ｎ＋１回目のサービスリクエストが正常終了したことをラベル生成／付与部７５に送信する。
【0081】
ラベル生成／付与部７５は、リクエスト結果送信部４３から受信したリクエスト結果に応じて、サービスリクエストごとにラベルを生成し、各サービスリクエストにラベルを付加する。例えば、ラベル生成／付与部７５は、リクエスト結果が成功であるか失敗であるかにを識別できるようにラベルを生成してもよいし、リクエスト結果が失敗の場合、そのときのＣプレーンの状態を識別できるようにラベルを生成してもよい。
【0082】
学習データ抽出部７６は、推論装置５によって教師無し学習が行われる場合、学習データ候補のうち、ネットワークサービス利用リクエストに対応する処理が正常終了した機械学習用データを抽出する。
【0083】
また、学習データ抽出部７６は、推論装置５によって教師有り学習が行われる場合、学習データ候補のうち、ネットワークサービス利用リクエストに対応する処理が異常終了した機械学習用データをさらに抽出し、正常終了した機械学習用データ及び異常終了した機械学習用データに対し、ネットワークサービス利用リクエストに対するコントロールプレーンの状態を示すラベルを付与するようにしてもよい。
【0084】
また、学習データ抽出部７６は、学習データ候補のうち、ネットワークサービス利用リクエストに対する応答がなかった学習データ候補を、機械学習用データとして抽出しないようにしてもよい。例えば、タイムアウト等の場合の学習データ候補が、ネットワークサービス利用リクエストに対する応答がなかった学習データ候補に相当する。
【0085】
前処理部７７は、学習データ抽出部７６によって抽出された機械学習用データを、推論装置５が処理可能な形式のデータに前処理し、前処理した機械学習用データを推論装置５に出力する。
【0086】
推論装置５は、特徴量変換部５１と、特徴量ＤＢ（データベース）５２と、特徴量検索部５３と、状態判定部５４とを含む。特徴量変換部５１は、本例示的実施形態において生成手段を実現する構成である。状態判定部５４は、本例示的実施形態において判定手段を実現する構成である。
【0087】
特徴量変換部５１は、前処理部７７によって前処理された後の機械学習用データを用いた機械学習によりモデルを生成する。例えば、時系列データから特徴量を抽出できるようにモデルの学習が行われる。そして、特徴量変換部５１は、モデルの機械学習が終了すると、機械学習によって生成されたモデルを用いて時系列データを特徴量に変換し、特徴量ＤＢ５２に蓄積する。
【0088】
また、時系列データと、ラベル生成／付与部７５によって付与されたラベルとを教師データとしてモデルに学習させるようにしてもよい。この場合、機械学習が終了したモデルを用いて、時系列データを、ネットワークサービス利用リクエストに対応する処理の正常終了／異常終了、異常終了したときのコントロールプレーンの異常状態、ネットワークサービス利用リクエストに対する応答がない、等に識別することができる。
【0089】
特徴量ＤＢ５２は、フラッシュメモリ等の不揮発性メモリや、ハードディスク等によって構成されており、特徴量変換部５１によって変換された特徴量を逐次記憶して蓄積する。この特徴量には、例えば、ネットワークサービス利用リクエストに対応する処理の正常終了、ネットワークサービス利用リクエストに対応する処理の異常終了、異常終了したときのコントロールプレーンの異常状態、ネットワークサービス利用リクエストに対する応答がない、等の情報が付加されてもよい。
【0090】
特徴量変換部５１は、機械学習されたモデルに対して、複数の通信機器に関する情報の現在の時系列データを入力することによって特徴量に変換する。そして、特徴量検索部５３は、特徴量ＤＢ５２に記憶される特徴量を検索する。
【0091】
状態判定部５４は、現在の時系列データの特徴量に近似している特徴量がある場合には、その特徴量に付加された情報を参照することによって、Ｃプレーンの現在の状態等を判定することができる。そして、状態判定部５４は、判定結果７８を出力する。
【0092】
＜サービスリクエスト部４１の別の例示的実施形態＞
また、サービスリクエスト部４１は、ネットワークサービスを利用する１又は複数のＵＥ３１の動作状況に応じて、ネットワークサービス利用リクエストの発行状況を調整するようにしてもよい。
また、サービスリクエスト部４１は、ネットワークサービスを利用する１又は複数のＵＥ３１の動作状況に応じて、ネットワークサービス利用リクエストの発行状況を調整するようにしてもよい。
【0093】
サービスリクエスト部４１は、例えば、１又は複数のＵＥ３１の動作状況を監視しており、ネットワークサービス利用リクエストの種類ごとの１又は複数のＵＥ３１の発行状況を取得する。そして、サービスリクエスト部４１は、ネットワークサービス利用リクエストの種類ごとの１又は複数のＵＥ３１の発行状況に応じて、自身が発行するネットワークサービス利用リクエストの発行状況を調整する。
【0094】
より具体的には、サービスリクエスト部４１は、１又は複数のＵＥ３１のネットワークサービス利用リクエストの回数に応じて、当該ネットワークサービス利用リクエストの発行頻度を調整する。例えば、サービスリクエスト部４１は、１又は複数のＵＥ３１のネットワークサービス利用リクエストの回数が多くなれば、自身が発行するネットワークサービス利用リクエストの発行回数を多くする。また、サービスリクエスト部４１は、１又は複数のＵＥ３１のネットワークサービス利用リクエストの回数が少なくなれば、自身が発
行するネットワークサービス利用リクエストの発行回数を少なくする。
行するネットワークサービス利用リクエストの発行回数を少なくする。
【0095】
また、サービスリクエスト部４１は、時刻情報に応じて、ネットワークサービス利用リクエストの発行状況を調整するようにしてもよい。時刻情報は、例えば、時刻、時期、暦上のイベント等である。サービスリクエスト部４１は、予め、時刻、時期、暦上のイベント等に対応する１又は複数のＵＥ３１のネットワークサービス利用リクエストの過去の発行状況を記憶しておき、現在の時刻、時期、暦上のイベント等に応じて、自身が発行するネットワークサービス利用リクエストの発行状況を調整する。
【0096】
＜学習データ抽出システム１００Ａの効果＞
以上説明したように、本例示的実施形態に係る学習データ抽出システム１００によれば、学習データ抽出部７６が、正常終了した機械学習用データ及び異常終了した機械学習用データに対し、ネットワークサービス利用リクエストに対するコントロールプレーンの状態を示すラベルを付与する。したがって、推論装置５は、時系列データを用いた機械学習により生成されたモデルを用いることにより、ネットワークサービス利用リクエストに対するコントロールプレーンの現在の状態を識別することができる。
以上説明したように、本例示的実施形態に係る学習データ抽出システム１００によれば、学習データ抽出部７６が、正常終了した機械学習用データ及び異常終了した機械学習用データに対し、ネットワークサービス利用リクエストに対するコントロールプレーンの状態を示すラベルを付与する。したがって、推論装置５は、時系列データを用いた機械学習により生成されたモデルを用いることにより、ネットワークサービス利用リクエストに対するコントロールプレーンの現在の状態を識別することができる。
【0097】
また、学習データ抽出部７６が、学習データ候補のうち、ネットワークサービス利用リクエストに対する応答がなかった学習データ候補を、機械学習用データとして抽出しないので、機械学習用データとしては不適切なデータを除外することができ、推論装置５は、より適切に機械学習が行えるようになる。
【0098】
また、サービスリクエスト部４１が、ネットワークサービスを利用する１又は複数の通信端末の動作状況に応じて、ネットワークサービス利用リクエストの発行状況を調整するので、自身が発行するネットワークサービス利用リクエストの発行状況（発行頻度）をより適切に調整することができる。
【0099】
また、サービスリクエスト部４１が、時刻情報に応じて、ネットワークサービス利用リクエストの発行状況を調整するので、時刻情報に起因する１又は複数の通信端末の動作状況に応じて、自身が発行するネットワークサービス利用リクエストの発行状況（発行頻度）をより適切に調整することができる。
【0100】
〔ソフトウェアによる実現例〕
学習データ抽出装置１、推論装置２、学習データ抽出システム１００、１００Ａの一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
学習データ抽出装置１、推論装置２、学習データ抽出システム１００、１００Ａの一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
【0101】
後者の場合、学習データ抽出装置１、推論装置２、学習データ抽出システム１００、１００Ａは、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータＣと記載する）を図１４に示す。コンピュータＣは、少なくとも１つのプロセッサＣ１と、少なくとも１つのメモリＣ２と、を備えている。メモリＣ２には、コンピュータＣを学習データ抽出装置１、推論装置２、学習データ抽出システム１００、１００Ａとして動作させるためのプログラムＰが記録されている。コンピュータＣにおいて、プロセッサＣ１は、プログラムＰをメモリＣ２から読み取って実行することにより、学習データ抽出装置１、推論装置２、学習データ抽出システム１００、１００Ａの各機能が実現される。
【0102】
プロセッサＣ１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Pr
ocessing Unit）、マイクロコントローラ、又は、これらの組み合わせなどを用いること
ができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive
）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせなどを用いることができ
る。
ocessing Unit）、マイクロコントローラ、又は、これらの組み合わせなどを用いること
ができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive
）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせなどを用いることができ
る。
【0103】
なお、コンピュータＣは、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭを更に備えていてもよい。また、コンピュータＣは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータＣは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。
【0104】
また、プログラムＰは、コンピュータＣが読み取り可能な、一時的でない有形の記録媒体Ｍに記録することができる。このような記録媒体Ｍとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータＣは、このような記録媒体Ｍを介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータＣは、このような伝送媒体を介してプログラムＰを取得することもできる。
【0105】
〔付記事項１〕
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
【0106】
〔付記事項２〕
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
【0107】
（付記１）
コントロールプレーンを構成する複数の通信機器によって連携して処理されるネットワークサービス利用リクエストを発行する発行手段と、
前記ネットワークサービス利用リクエストに対応する処理を行う期間における、前記複数の通信機器に関する情報の時系列データを学習データ候補として取得する取得手段と、
前記学習データ候補のうち、前記ネットワークサービス利用リクエストに対応する処理が正常終了した機械学習用データを抽出する抽出手段と、
を備える学習データ抽出装置。
コントロールプレーンを構成する複数の通信機器によって連携して処理されるネットワークサービス利用リクエストを発行する発行手段と、
前記ネットワークサービス利用リクエストに対応する処理を行う期間における、前記複数の通信機器に関する情報の時系列データを学習データ候補として取得する取得手段と、
前記学習データ候補のうち、前記ネットワークサービス利用リクエストに対応する処理が正常終了した機械学習用データを抽出する抽出手段と、
を備える学習データ抽出装置。
【0108】
（付記２）
前記抽出手段は、
前記学習データ候補のうち、前記ネットワークサービス利用リクエストに対応する処理が異常終了した機械学習用データをさらに抽出し、
正常終了した前記機械学習用データ及び異常終了した前記機械学習用データに対し、前記ネットワークサービス利用リクエストに対する前記コントロールプレーンの状態を示すラベルを付与する、
付記１に記載の学習データ抽出装置。
前記抽出手段は、
前記学習データ候補のうち、前記ネットワークサービス利用リクエストに対応する処理が異常終了した機械学習用データをさらに抽出し、
正常終了した前記機械学習用データ及び異常終了した前記機械学習用データに対し、前記ネットワークサービス利用リクエストに対する前記コントロールプレーンの状態を示すラベルを付与する、
付記１に記載の学習データ抽出装置。
【0109】
（付記３）
前記抽出手段は、
前記学習データ候補のうち、前記ネットワークサービス利用リクエストに対する応答がなかった学習データ候補を、機械学習用データとして抽出しない、
付記２に記載の学習データ抽出装置。
前記抽出手段は、
前記学習データ候補のうち、前記ネットワークサービス利用リクエストに対する応答がなかった学習データ候補を、機械学習用データとして抽出しない、
付記２に記載の学習データ抽出装置。
【0110】
（付記４）
前記複数の通信機器に関する情報は、当該複数の通信機器のトラフィック情報である、付記１または２に記載の学習データ抽出装置。
前記複数の通信機器に関する情報は、当該複数の通信機器のトラフィック情報である、付記１または２に記載の学習データ抽出装置。
【0111】
（付記５）
前記複数の通信機器に関する情報は、当該複数の通信機器の処理に関する統計情報である、
付記１または２に記載の学習データ抽出装置。
前記複数の通信機器に関する情報は、当該複数の通信機器の処理に関する統計情報である、
付記１または２に記載の学習データ抽出装置。
【0112】
（付記６）
前記発行手段は、ネットワークサービスを利用する１又は複数の通信端末の動作状況に応じて、前記ネットワークサービス利用リクエストの発行状況を調整する、
付記１または２に記載の学習データ抽出装置。
前記発行手段は、ネットワークサービスを利用する１又は複数の通信端末の動作状況に応じて、前記ネットワークサービス利用リクエストの発行状況を調整する、
付記１または２に記載の学習データ抽出装置。
【0113】
（付記７）
前記発行手段は、前記１又は複数の通信端末の前記ネットワークサービス利用リクエストの回数に応じて、当該ネットワークサービス利用リクエストの発行頻度を調整する、
付記６に記載の学習データ抽出装置。
前記発行手段は、前記１又は複数の通信端末の前記ネットワークサービス利用リクエストの回数に応じて、当該ネットワークサービス利用リクエストの発行頻度を調整する、
付記６に記載の学習データ抽出装置。
【0114】
（付記８）
前記発行手段は、時刻情報に応じて、ネットワークサービス利用リクエストの発行状況を調整する、
付記１または２に記載の学習データ抽出装置。
前記発行手段は、時刻情報に応じて、ネットワークサービス利用リクエストの発行状況を調整する、
付記１または２に記載の学習データ抽出装置。
【0115】
（付記９）
コントロールプレーンを構成する複数の通信機器によって連携して処理されるネットワークサービス利用リクエストに対応する処理を行う期間における、当該複数の通信機器に関する情報の時系列データを用いて機械学習を行い、学習済みモデルを生成する生成手段と、
前記学習済みモデルに時系列データを入力することにより、複数の通信機器の状態を判定する判定手段と、
を備える推論装置。
コントロールプレーンを構成する複数の通信機器によって連携して処理されるネットワークサービス利用リクエストに対応する処理を行う期間における、当該複数の通信機器に関する情報の時系列データを用いて機械学習を行い、学習済みモデルを生成する生成手段と、
前記学習済みモデルに時系列データを入力することにより、複数の通信機器の状態を判定する判定手段と、
を備える推論装置。
【0116】
（付記１０）
コントロールプレーンを構成する複数の通信機器によって連携して処理されるネットワークサービス利用リクエストを発行し、
前記ネットワークサービス利用リクエストに対応する処理を行う期間における、前記複数の通信機器に関する情報の時系列データを学習データ候補として取得し、
前記学習データ候補のうち、前記ネットワークサービス利用リクエストに対応する処理が正常終了した機械学習用データを抽出する、
学習データ抽出方法。
コントロールプレーンを構成する複数の通信機器によって連携して処理されるネットワークサービス利用リクエストを発行し、
前記ネットワークサービス利用リクエストに対応する処理を行う期間における、前記複数の通信機器に関する情報の時系列データを学習データ候補として取得し、
前記学習データ候補のうち、前記ネットワークサービス利用リクエストに対応する処理が正常終了した機械学習用データを抽出する、
学習データ抽出方法。
【0117】
（付記１１）
コントロールプレーンを構成する複数の通信機器によって連携して処理されるネットワークサービス利用リクエストを発行する発行手段と、
前記ネットワークサービス利用リクエストに対応する処理を行う期間における、前記複数の通信機器に関する情報の時系列データを学習データ候補として取得する取得手段と、
前記学習データ候補のうち、前記ネットワークサービス利用リクエストに対応する処理
が正常終了した機械学習用データを抽出する抽出手段と、
を備える学習データ抽出システム。
コントロールプレーンを構成する複数の通信機器によって連携して処理されるネットワークサービス利用リクエストを発行する発行手段と、
前記ネットワークサービス利用リクエストに対応する処理を行う期間における、前記複数の通信機器に関する情報の時系列データを学習データ候補として取得する取得手段と、
前記学習データ候補のうち、前記ネットワークサービス利用リクエストに対応する処理
が正常終了した機械学習用データを抽出する抽出手段と、
を備える学習データ抽出システム。
【0118】
（付記１２）
コンピュータに、
コントロールプレーンを構成する複数の通信機器によって連携して処理されるネットワークサービス利用リクエストを発行する処理と、
前記ネットワークサービス利用リクエストに対応する処理を行う期間における、前記複数の通信機器に関する情報の時系列データを学習データ候補として取得する処理と、
前記学習データ候補のうち、前記ネットワークサービス利用リクエストに対応する処理が正常終了した機械学習用データを抽出する処理と、
を実行させる、プログラム。
コンピュータに、
コントロールプレーンを構成する複数の通信機器によって連携して処理されるネットワークサービス利用リクエストを発行する処理と、
前記ネットワークサービス利用リクエストに対応する処理を行う期間における、前記複数の通信機器に関する情報の時系列データを学習データ候補として取得する処理と、
前記学習データ候補のうち、前記ネットワークサービス利用リクエストに対応する処理が正常終了した機械学習用データを抽出する処理と、
を実行させる、プログラム。
【0119】
（付記１３）
少なくとも１つのプロセッサを備え、前記プロセッサは、
コントロールプレーンを構成する複数の通信機器によって連携して処理されるネットワークサービス利用リクエストを発行する処理と、
前記ネットワークサービス利用リクエストに対応する処理を行う期間における、前記複数の通信機器に関する情報の時系列データを学習データ候補として取得する処理と、
前記学習データ候補のうち、前記ネットワークサービス利用リクエストに対応する処理が正常終了した機械学習用データを抽出する処理と、
を実行させる学習データ抽出装置。
少なくとも１つのプロセッサを備え、前記プロセッサは、
コントロールプレーンを構成する複数の通信機器によって連携して処理されるネットワークサービス利用リクエストを発行する処理と、
前記ネットワークサービス利用リクエストに対応する処理を行う期間における、前記複数の通信機器に関する情報の時系列データを学習データ候補として取得する処理と、
前記学習データ候補のうち、前記ネットワークサービス利用リクエストに対応する処理が正常終了した機械学習用データを抽出する処理と、
を実行させる学習データ抽出装置。
【0120】
なお、この学習データ抽出装置は、更にメモリを備えていてもよく、このメモリには、前記発行する処理と、前記取得する処理と、前記抽出する処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
【0121】
（付記１４）
少なくとも１つのプロセッサを備え、前記プロセッサは、
コントロールプレーンを構成する複数の通信機器によって連携して処理されるネットワークサービス利用リクエストに対応する処理を行う期間における、当該複数の通信機器に関する情報の時系列データを用いて機械学習を行い、学習済みモデルを生成する処理と、
前記学習済みモデルに時系列データを入力することにより、複数の通信機器の状態を判定する処理と、
を実行する推論装置。
少なくとも１つのプロセッサを備え、前記プロセッサは、
コントロールプレーンを構成する複数の通信機器によって連携して処理されるネットワークサービス利用リクエストに対応する処理を行う期間における、当該複数の通信機器に関する情報の時系列データを用いて機械学習を行い、学習済みモデルを生成する処理と、
前記学習済みモデルに時系列データを入力することにより、複数の通信機器の状態を判定する処理と、
を実行する推論装置。
【0122】
なお、この推論装置は、更にメモリを備えていてもよく、このメモリには、前記生成する処理と、前記判定する処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
【符号の説明】
【0123】
１ 学習データ抽出装置
２，５ 推論装置
４ アクティブプローブ
６ Ｃプレーン
１１ 発行手段
１２ 取得手段
１３ 抽出手段
２１ 生成手段
２２ 判定手段
３１ ＵＥ
４１ サービスリクエスト部
４２ リクエスト結果判定部
４３ リクエスト結果送信部
６１ ＡＭＦ
６２ ＳＭＦ
６３ ＮＳＳＦ
６４ ＮＥＦ
７１ ＲＡＮ
７２ ＵＰＦ
７３ ＤＮ
７４ トラフィック／統計情報収集部
７５ ラベル生成／付与部
７６ 学習データ抽出部
７７ 前処理部
１００，１００Ａ 学習データ抽出システム
２，５ 推論装置
４ アクティブプローブ
６ Ｃプレーン
１１ 発行手段
１２ 取得手段
１３ 抽出手段
２１ 生成手段
２２ 判定手段
３１ ＵＥ
４１ サービスリクエスト部
４２ リクエスト結果判定部
４３ リクエスト結果送信部
６１ ＡＭＦ
６２ ＳＭＦ
６３ ＮＳＳＦ
６４ ＮＥＦ
７１ ＲＡＮ
７２ ＵＰＦ
７３ ＤＮ
７４ トラフィック／統計情報収集部
７５ ラベル生成／付与部
７６ 学習データ抽出部
７７ 前処理部
１００，１００Ａ 学習データ抽出システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】