特表 2023-537348 分散通信システムにおける同期

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-08-31

(54)【発明の名称】分散通信システムにおける同期

(51)【国際特許分類】

   H04L 45/44 20220101AFI20230824BHJP

   H04L 7/00 20060101ALI20230824BHJP

【ＦＩ】

H04L45/44

H04L7/00 990

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023507763

(86)(22)【出願日】2021-06-29

(85)【翻訳文提出日】2023-03-30

(86)【国際出願番号】 IL2021050796

(87)【国際公開番号】W WO2022029755

(87)【国際公開日】2022-02-10

(31)【優先権主張番号】63/060,276

(32)【優先日】2020-08-03

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】519425187

【氏名又は名称】ドライブネッツ リミテッド

(74)【代理人】

【識別番号】100067736

【弁理士】

【氏名又は名称】小池 晃

(74)【代理人】

【識別番号】100192212

【弁理士】

【氏名又は名称】河野 貴明

(74)【代理人】

【識別番号】100200001

【弁理士】

【氏名又は名称】北原 明彦

(72)【発明者】

【氏名】コシャロフスキー，エリーザー

(72)【発明者】

【氏名】クライデン，アミール

(72)【発明者】

【氏名】サンドラー，エフゲニー

(72)【発明者】

【氏名】コーエン，ロン

【テーマコード（参考）】

5K030

5K047

【Ｆターム（参考）】

5K030LA15

5K030LE03

5K047AA18

5K047GG56

(57)【要約】

通信ネットワークにおいて使用される分散ルーティングシステムが提供され、前記分散ルーティングシステムが、複数のクラスタ要素を有する少なくとも１つのクラスタを含み、前記複数のクラスタ要素の中で通信トラフィックを転送する為に使用されるクラスタ要素が、前記クラスタ要素間で単一のクロックに同期され、その後、外部通信要素に同期される。任意で、通信トラフィックを転送する為に使用される全ての前記クラスタ要素が、ＩＥＥＥ１５８８標準及び／又は同期化イーサネット（Ｓｙｎｃ－Ｅ）を実装するように構成される。
【選択図】 図１

【特許請求の範囲】

【請求項1】

通信ネットワークにおいて使用される分散ルーティングシステムであって、前記分散ルーティングシステムが、複数のクラスタ要素を有する少なくとも１つのクラスタを含み、前記複数のクラスタ要素の中で通信トラフィックを転送する為に使用されるクラスタ要素が、前記クラスタ要素間で単一のクロックに同期され、その後、外部通信要素に同期されることを特徴とする分散ルーティングシステム。

【請求項2】

通信トラフィックを転送する為に使用される全ての前記クラスタ要素が、ＩＥＥＥ１５８８標準及び／又は同期化イーサネット（Ｓｙｎｃ－Ｅ）を実装するように構成されることを特徴とする請求項１に記載の分散ルーティングシステム。

【請求項3】

通信トラフィックを転送する為に使用される全ての前記クラスタ要素が、それらのアウトオブバンドネットワークをクラスタ内同期ネットワークとして使用することにより同期されるように構成されることを特徴とする請求項２に記載の分散ルーティングシステム。

【請求項4】

前記アウトオブバンドネットワークが複数のＬ２デバイスを含む場合、前記複数のＬ２デバイスはＬ２デバイス間で同期されることを特徴とする請求項３に記載の分散ルーティングシステム。

【請求項5】

前記分散ルーティングシステムがさらに、通信トラフィックを転送する為に使用される前記クラスタ要素に関連する専用タイミング装置を含み、前記クラスタ要素が、アウトオブバンド管理ネットワークに直接接続されることを特徴とする請求項１に記載の分散ルーティングシステム。

【請求項6】

通信トラフィックを転送する為に使用される前記クラスタ要素のネイティブ管理ポートが、同期に影響を与える為に必要な特性をサポートしないことを特徴とする請求項１に記載の分散ルーティングシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、包括的には、分散コンピューティングの分野に関する。より詳しくは、分散ルータの動作に関する。

【0002】

ＡＳＩＣ：特定用途向け集積回路(Application-Specific Integrated Circuit)
ｅＮＢ：進化型ノードＢ(Evolved Node B)
Ｌ２：レイヤ２(Layer 2)
ＯＯＢ：アウトオブバンド(Out of Band)
ＰＣＩ：周辺機器相互接続(Peripheral Component Interconnect)
ＰＴＰ：高精度時間プロトコル(Precision Time Protocol)
ＲＡＮ：無線アクセスネットワーク(Radio Access Network)
ＳＤＨ：同期デジタルハイアラーキ(Synchronous Digital Hierarchy)
ＳｏＣ：システムオンチップ(System on a Chip)
Ｓｙｎｃ－Ｅ：同期化イーサネット(Synchronous Ethernet)
ＴＯＤ：時刻(Time of Day)
ＮＣＭ：ネットワーククラスタ管理(Network Cluster Management)
制御プレーン(Control Plane)：データプレーンの管理等に使用する経路を決定する全ての機能及びプロセスに関する全てのアプリケーションを含有する論理層。この定義は、構成エンジン、ルーティングスタック、ルーティングプロトコル、スパニングツリー、Ｉｄｐ（ＩＤプロバイダ）、及びユーザ向けサービスを含有するが、限定はされない。
ＰＣＩｅ：ＰＣＩエクスプレスは高速シリアル拡張バス標準に関する用語である。そして、例えば、イーサネットハードウェア接続等の様々な接続の共通のマザーボードインタフェースである。ＰＣＩエクスプレスは、システムバスの高い最大スループット、低い入出力ピンカウント及び少ない物理的フットプリント、バス装置の良好な性能スケーリング、より詳細なエラー検出及び報告メカニズム（高度エラー報告(Advanced Error Reporting)、ＡＥＲ）、入出力仮想化のハードウェアサポート及びネイティブホットスワップ機能を含む。
ホワイトボックス：フォワーディングプレーン内のスイッチ及び／又はルータのためのオープン又は業界標準対応ハードウェアである商品。ホワイトボックスは、ユーザにネットワークの基礎的なハードウェア要素を提供する。

【背景技術】

【0003】

セルラシステムは、常に厳密な同期を必要とする。初期の実装は、同期処理のクロックソースとして（ＳＤＨ等の）伝送システムに依存する。しかしながら、ＲＡＮアーキテクチャ内のＳＤＨネットワークはパケット化されたネットワークにより置換されるので、ＳＤＨシステムは適用されなくなる。一方、無線技術における進歩及びｅＮＢユニットを含む分割無線システム(disaggregated radio system)を使用する傾向が、そのような分割無線システム内に実装可能なより精密なクロック分散システム(clock distribution system)の必要性を作り出した。

【0004】

クロック分散の業界標準技術は２つの主なプロトコルに基づいている。
ａ）高精度時間プロトコル（ＰＴＰ）は、コンピュータネットワークにわたってクロックを同期する為に使用されるプロトコルである。ローカルエリアネットワーク上で、サブマイクロ秒の範囲でクロックの正確性を達成するので、測定及び制御システムに適している。このアプローチは、位相及び時刻（ＴＯＤ）情報の配信にオプションを提供する。ＰＴＰは、ＩＥＥＥ１５８８ドメイン及び前記ドメイン内の各ネットワークセグメントの時間のマスタソースを選択する。クロックは、クロック自身及びそれらのマスタ間のオフセットを決定する。それらのマスタに正確に同期する為に、クロックは同期（Ｓｙｎｃ）メッセージのネットワーク通過時間を個別に決定しなければならない。通過時間は、各クロックからそのマスタへの往復時間を測定することにより間接的に決定され、クロックは通過時間を測定するように設計されたそれらのマスタとの交換を開始する。
ｂ）同期化イーサネット（Ｓｙｎｃ－Ｅ）は、イーサネット物理層上のクロック信号の転送を容易にするコンピュータネットワークのＩＴＵ－Ｔ標準である。その後、そのような信号は、外部クロックから追跡可能にされ、イーサネット物理層上の専用チャンネルを介して位相情報の配信にオプションを提供する。

【0005】

しかし、５Ｇセルラシステム等のシステムは、約ナノ秒（ｎｓ）の同期の正確性を必要とする。同様に、パケット化されたネットワーク上でそのような高精度レベルに達する為には、システムに属する全てのネットワークノードがクロック補正による影響を受けなければならない。

【0006】

従来技術のソリューションにおけるパケット同期処理は、転送ＡＳＩＣレベルで実行されていた。「システムオンチップ」（ＳｏＣ）装置と呼ばれる装置は、同期の問題に対処する時に非常によく作用する。しかしながら、単一のチップは転送できるトラフィックの量が限定されているので、マルチチップシステムが構築された。マルチチップを構築する現在のアプローチは、いくつかのラインカードを含有するシャーシケージを使用することによるものであり、各ラインカードは、専用ファブリックカードと相互接続する少数の転送チップを含む。

【0007】

全てのチップは関連するクロックを更新する必要があるので、そのようなシャーシケージ装置内に含まれる全てのチップは、それらのチップ間で非常に良好な相互同期レベルを有する必要がある。シャーシケージは、特別な設計を使用することにより製造された専有デバイスである。シャーシ内同期は、設計段階でシャーシケージの一部として設計される専用同期レーンを実装することにより達成される。

【0008】

分割及び分散システムは、そのコンポーネントが異なるネットワークのノード上に配置され、互いにメッセージを転送することによりそれらの動作を通信及び調整するシステムである。この概念を実装することは、ホワイトボックスネットワーク装置及び市販の既製のサーバ等のコモディティハードウェアの使用に依拠する。

【0009】

ホワイトボックスネットワーク装置は、スタンドアロン装置として動作した時には時間同期が可能であるが、それらが集合して分散クラスタを形成すると、様々なクラスタコンポーネント間の内部クロックを同期することは重大な課題となる。クラスタは通常、単一のデバイス（例えば、コンピュータ）よりも性能及び可用性を改善する為に展開され、通常、同等の速度及び可用性の個別のデバイスよりも費用効率が良いものである。しかしながら、クラスタコンピューティング技術は、いくつかの課題を提起する。これらの課題の内の２つが際立っており、１つ目は、アプリケーションの複雑性であり、２つ目は、クラスタ要素の同期である。

【0010】

アプリケーションの複雑性は、クラスタコンピューティングの分散性に起因するものである。例えば、ソリューションアーキテクチャは、手元のタスクがネットワーク要素間で分割されている時に、ネットワーク要素をどのように使用するかという問題を解決することができるものでなければならず、その上、顧客アプリケーション側からは、単一の論理ユニットと通信しているように見えることを保証しなければならない。

【0011】

一方、クラスタ要素の同期は、システムの一貫性に関するものである。要素間で共有される全てのデータユニットは、クラスタ全体のビヘイビアの一貫性を保証する為に同期されなければならない。

【0012】

したがって、ソリューションが必要であり、ソリューションは以下のことを保証する。
ａ．クラスタコンポーネントは、セルラネットワークの要件を満たす為に必要なレベルまで同期される。
ｂ．ソリューションは、コモディティハードウェア業者により既製のコンポーネントとして利用可能な標準コンポーネントに依拠するべきである。
ｃ．システムは、クロックメカニズムに関して単一のノードとして外部からは見えなければならない。

【発明の概要】

【発明が解決しようとする課題】

【0013】

本開示は、添付の特許請求の範囲を参照することによって要約することができる。

【0014】

本開示の目的は、通信トラフィックを転送するように構成されたクラスタ要素を同期する為の分散ルーティングシステムにおいて使用される新規のソリューションを提供することである。

【0015】

本開示の他の目的は、以下の説明から明らかになる。

【課題を解決するための手段】

【0016】

本開示の第１の実施形態によれば、通信ネットワークにおいて使用される分散ルーティングシステムが提供され、前記分散ルーティングシステムが、複数のクラスタ要素を有する少なくとも１つのクラスタを含み、前記複数のクラスタ要素の中で通信トラフィックを転送する為に使用されるクラスタ要素が、前記クラスタ要素間で単一のクロックに同期され、その後、前記クラスタ要素の全てが外部通信要素（例えば、顧客クロック）に同期される。

【0017】

本明細書及び特許請求の範囲で使用する「クラスタ」という用語は、一緒に動作する緩く又は密接に接続された１組のコンピューティングエンティティを示す為に使用され、それにより、多くの面において、クラスタは単一のシステムとして見られる。コンピュータクラスタは、各ノードセットにソフトウェアにより制御及びスケジュールされた同じタスクを実行させる。

【0018】

本発明の他の実施形態によると、通信トラフィックを転送する為に使用される全ての前記クラスタ要素が、ＩＥＥＥ１５８８標準及び／又は同期化イーサネット（Ｓｙｎｃ－Ｅ）を実装するように構成される。

【0019】

他の実施形態によると、通信トラフィックを転送する為に使用される全ての前記クラスタ要素が、それらのアウトオブバンドネットワークをクラスタ内同期ネットワークとして使用することにより同期されるように構成される。

【0020】

さらに他の実施形態によると、前記アウトオブバンドネットワークが複数のＬ２デバイスを含む場合、前記複数のＬ２デバイスはＬ２デバイス間で同期される。

【0021】

さらに他の実施形態によると、前記分散ルーティングシステムがさらに、通信トラフィックを転送する為に使用される前記クラスタ要素に関連する専用タイミング装置を含み、通信トラフィックを転送する為に使用される前記クラスタ要素が、アウトオブバンド管理ネットワークに直接接続される。

【0022】

さらに他の実施形態によると、通信トラフィックを転送する為に使用される前記クラスタ要素のネイティブ管理ポートが、同期に影響を与える為に必要な特性をサポートしないことを特徴とする。

【0023】

本明細書に組み込まれ、本明細書の一部を構成する添付の図面は、本開示のいくつかの実施形態を示し、以下の説明と共に、本明細書に開示されるこれらの実施形態の原理を説明するために使用される。

【図面の簡単な説明】

【0024】

【図1】本開示の１つの実施形態による分散ルーティングシステムを示す図であり、分散ルーティングシステム内に含まれるクラスタ要素が、通信標準を実装することにより内部プレーンに同期される。

【図2】本開示の他の実施形態による分散ルーティングシステムを示す図であり、分散ルーティングシステム内に含まれるクラスタ要素が、通信標準を実装することにより内部プレーンに同期される。

【発明を実施するための形態】

【0025】

以下の詳細な説明における特定の詳細及び値の一部は、本開示の特定の例を示している。但し、この説明は、例示的なものであり、本発明の範囲を限定することを意図するものではない。特許請求される方法及び装置は、当該技術分野で公知の他の手法によって実現できることは、当業者にとって明らかである。更に、ここに記述した実施形態は、異なるステップを含むが、その全てが本発明の全ての実施形態において必要とされるわけではない。本発明の範囲は、添付の特許請求の範囲を参照することにより要約される。

【0026】

本発明は、クラスタがセルラネットワークの要件を満たす為に必要なレベルまで同期される複数のコンポーネントを含むソリューションを提供することを目的とする。

【0027】

本開示の基礎原理の１つは、２つの同期プレーンを作成することである。１つのプレーンは、クラスタの内部プレーンであり、クラスタの一部である全ての転送コンポーネントを同期する為に使用される。そのような方法により、クラスタ転送コンポーネント内の全ての同期パケットに正確で一貫したタイムスタンプを適用することが可能になる。正確なタイムスタンプは、クラスタ構成が実装された事実により導入された時間エラーを説明することを可能にする。

【0028】

全てのクラスタコンポーネントが内部プレーンに同期されると、クラスタ管理エンティティは、外部顧客から受信した同期信号をクラスタメンバに提供する準備ができ、その上、転送コンポーネントの正確なタイムスタンプを達成することにより、５Ｇ級（即ち、約ナノ秒）のレベルでクラスタメンバの同期を可能にする。

【0029】

好ましくは、全てのクラスタコンポーネントが、標準ＩＥＥＥ１５８８及び同期化イーサネット（Ｓｙｎｃ－Ｅ）等の標準同期技術を実装することにより、内部プレーンに同期される。この例におけるクラスタの制御プレーンマスタは、クラスタメンバの為のクロックソースになる。

【0030】

上記構成を実装する為の様々な方法が存在し、例えば、分散クラスタはアウトオブバンド管理ネットワークを有するので、この例によると、そのアウトオブバンドネットワークをクラスタ内同期ネットワークとして使用することを提案している。アウトオブバンドネットワークに属する全ての要素は、同期化イーサネットをサポートする必要があり、ＩＥＥＥ１５８８を認識しなければならない。アウトオブバンドネットワークがいくつかのＬ２デバイスから構成される場合、図１に図示されているように、Ｌ２デバイスも同様に同期をサポートしなければならない。

【0031】

第２の実施例によると、専用タイミング装置が転送コンポーネントに関連付けられ（追加され）、転送コンポーネントが直接アウトオブバンドネットワークに接続されることによる方法が提供される。実装のそのような例は、転送コンポーネントのネイティブ管理ポートがタイミング処理に影響を及ぼす為に必要な性質をサポートしない場合に有用である。この例は、図２に図示されている。

【0032】

同期化イーサネット及びＩＥＥＥ１５８８等の同期処理を実行する為の正確な方法は、当業者には周知である。

【0033】

ここで、クラスタを確立する間に実行することができるステップの例を検討する。

【0034】

外部同期ネットワークは、顧客向けポートの使用により、又は、クラスタの制御プレーンマスタ上の専用同期ポートの使用により、クラスタに接続される。図１及び２の両方に図示されている文字「Ｍ」及び「Ｓ」はそれぞれ、「マスタ」及び「スレーブ」ポートを意味し、ＩＥＥＥ１５８８処理及び／又は同期化イーサネット処理を実装する為の役割を果たす。

【0035】

クラスタが開始されると、（制御プレーンマスタ上に存在する）システムの主オシレータが「フリーラン」状態になり、ホワイトボックス内に含まれるデバイスが、完全に非同期化され、この段階において同期関連パケットを無視するように構成される。パケットが主オシレータに達すると、主オシレータは、位相及び時刻をクロックソースに合わせ始め、そして、ホワイトボックス内に含まれるデバイスの同期を開始する。同期処理全体の正確性は増加するので、ホワイトボックス内に含まれるデバイスは、パケットのタイムスタンプ処理を開始する。タイムスタンプ処理の実装は、主システムオシレータが同期のより高い正確性及びホワイトボックスのより良い同期を達成することを可能にする。全体の同期プレーンが必要な（事前に定義された）正確性のレベルに達することを内部同期プレーンが可能にするまで同期処理は続く。

【0036】

図１及び２に図示されているマスタＮＣＭは、ネットワーククラスタ管理要素であり、分散クラスタを管理するように構成されたアウトオブバンド（ＯＯＢ）Ｌ２ネットワークコンポーネントである。

【0037】

本発明は、単なる例として提供され、本発明の範囲を限定することを意図していない実施形態の詳細な説明を使用して、説明されている。記載されている実施形態は異なる構成を含み、全ての構成が本発明の全ての実施形態において必要であるわけではない。本発明のいくつかの実施形態は、いくつかの構成のみ、又は構成の可能な組み合わせを使用するものである。記載されている本発明の実施形態の変形、及び記載の実施形態に示されている構成の異なる組み合わせを含む本発明の実施形態は、当業者には自明である。本発明の範囲は、以下の特許請求の範囲によってのみ限定されるものである。

【図1】

【図2】

【国際調査報告】