特許 7410966 マルチメディアデータ処理方法、装置、電子機器及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-26

(45)【発行日】2024-01-10

(54)【発明の名称】マルチメディアデータ処理方法、装置、電子機器及びコンピュータプログラム

(51)【国際特許分類】

   H04L 65/60 20220101AFI20231227BHJP

   H04L 65/1069 20220101ALI20231227BHJP

   H04L 65/1083 20220101ALI20231227BHJP

【ＦＩ】

H04L65/60

H04L65/1069

H04L65/1083

【請求項の数】 15

(21)【出願番号】P 2021555311

(86)(22)【出願日】2020-05-28

(65)【公表番号】

(43)【公表日】2022-09-07

(86)【国際出願番号】 CN2020092750

(87)【国際公開番号】W WO2020259192

(87)【国際公開日】2020-12-30

【審査請求日】2021-10-20

(31)【優先権主張番号】201910578317.6

(32)【優先日】2019-06-28

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】514187420

【氏名又は名称】テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ヤン，ヨン

(72)【発明者】

【氏名】ジャン，ユンフェイ

(72)【発明者】

【氏名】ファン，ホアホン

【審査官】鈴木 香苗

(56)【参考文献】

【文献】国際公開第２０１７／０３７７７６（ＷＯ，Ａ１）

【文献】米国特許第０９４７９９６７（ＵＳ，Ｂ１）

【文献】中国特許出願公開第１０９２１８４５５（ＣＮ，Ａ）

【文献】米国特許出願公開第２００５／００６０４１１（ＵＳ，Ａ１）

【文献】国際公開第２０１９／１１８９６４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｌ ６５／６０

Ｈ０４Ｌ ６５／１０６９

Ｈ０４Ｌ ６５／１０８３

(57)【特許請求の範囲】

【請求項1】

マルチメディアデータ処理方法であって、
リモートノードによって、端末デバイスとエッジコンピューティングノードとの間のセッションを確立し、前記セッションを制御するステップであって、前記エッジコンピューティングノードにおけるユーザープレーン機能エンティティが、前記リモートノードにおけるユーザープレーン機能エンティティと通信する、ステップと、
前記セッションが前記端末デバイスと前記エッジコンピューティングノードとの間に確立された後、前記エッジコンピューティングノードによって、前記端末デバイスにより送信されるマルチメディアデータを受信し、該マルチメディアデータを処理するステップであって、該マルチメディアデータは、ビデオのデータを含む、ステップと、
前記エッジコンピューティングノードによって、グラフィックス処理ユニットに基づいて前記ビデオの分析を行って、構造化ビデオデータを出力するステップと、
前記エッジコンピューティングノードによって、前記構造化ビデオデータを前記リモートノードに送信するステップと、
前記リモートノードによって、前記構造化ビデオデータの分析を行うステップと、を含む、
マルチメディアデータ処理方法。

【請求項2】

前記端末デバイスと前記エッジコンピューティングノードとの間の前記セッションを確立する前記ステップは、
前記リモートノードが、前記端末デバイスにデータ受信アドレス情報を含むコール要求を送信するステップと、
前記リモートノードが、前記コール要求に対する前記端末デバイスの応答情報を受信するステップであって、前記応答情報は、データ送信アドレス情報を含む、ステップと、
前記リモートノードが、前記エッジコンピューティングノードに前記データ送信アドレス情報を送信し、前記データ受信アドレス情報に従って前記マルチメディアデータを受信するように、前記エッジコンピューティングノードに通知するステップと、
前記リモートノードが、前記端末デバイスにセッション確立完了情報を送信するステップと、を含む、
請求項１に記載のマルチメディアデータ処理方法。

【請求項3】

当該マルチメディアデータ処理方法は、
前記エッジコンピューティングノードに配置されたユーザープレーン機能エンティティで転送戦略を事前配置するステップをさらに含み、前記転送戦略は、受信ポートがプリセット範囲にあるマルチメディアデータを前記エッジコンピューティングノードに転送することを含み、
前記データ受信アドレス情報は、前記プリセット範囲内のターゲット受信ポートを含む、
請求項２に記載のマルチメディアデータ処理方法。

【請求項4】

前記データ受信アドレス情報は、ターゲット受信ポートを含み、
前記エッジコンピューティングノードに前記データ送信アドレス情報を送信する前に、
前記エッジコンピューティングノードに配置されたユーザープレーン機能エンティティで転送戦略を配置するステップをさらに含み、前記転送戦略は、受信ポートが前記ターゲット受信ポートであるマルチメディアデータを前記エッジコンピューティングノードに転送することを含む、
請求項２に記載のマルチメディアデータ処理方法。

【請求項5】

当該マルチメディアデータ処理方法は、 前記セッションの終了後に、前記転送戦略を削除するステップをさらに含む、
請求項４に記載のマルチメディアデータ処理方法。

【請求項6】

当該マルチメディアデータ処理方法は、
前記エッジコンピューティングノードに配置された前記ユーザープレーン機能エンティティにより、前記転送戦略に応じて、前記端末デバイスにより送信されるマルチメディアデータを前記エッジコンピューティングノードに転送するステップをさらに含む、請求項３～５のいずれか１項に記載のマルチメディアデータ処理方法。

【請求項7】

前記セッションを制御する前記ステップは、前記セッションの維持と前記セッションの終了とを含む、請求項１～６のいずれか１項に記載のマルチメディアデータ処理方法。

【請求項8】

前記マルチメディアデータを処理する前記ステップは、
前記マルチメディアデータを復号化して、復号化データを取得するステップと、
前記復号化データを計算分析し、構造化マルチメディアデータに変換するステップと、を含む、
請求項１～７のいずれか１項に記載のマルチメディアデータ処理方法。

【請求項9】

前記マルチメディアデータを前記構造化マルチメディアデータに変換した後、
前記構造化マルチメディアデータを前記リモートノードに送信するステップをさらに含む、
請求項８に記載のマルチメディアデータ処理方法。

【請求項10】

リモートノードと、エッジコンピューティングノードとを含む、マルチメディアデータ処理システムであって、
リモートノードによって、端末デバイスとエッジコンピューティングノードとの間のセッションを確立し、前記セッションを制御し、前記エッジコンピューティングノードにおけるユーザープレーン機能エンティティが、前記リモートノードにおけるユーザープレーン機能エンティティと通信し、
前記エッジコンピューティングノードによって、前記セッションが前記端末デバイスと前記エッジコンピューティングノードとの間に確立された後、前記端末デバイスにより送信されるマルチメディアデータを受信し、前記マルチメディアデータを処理し、前記マルチメディアデータは、ビデオのデータを含み、
前記エッジコンピューティングノードによって、グラフィックス処理ユニットに基づいて前記ビデオの分析を実行して、構造化ビデオデータを出力し、
前記エッジコンピューティングノードによって、前記構造化ビデオデータを前記リモートノードに送信し、
前記リモートノードによって、前記構造化ビデオデータの分析を実行する
マルチメディアデータ処理システム。

【請求項11】

当該マルチメディアデータ処理システムは、複数のシグナリング処理モジュール、及び複数の前記エッジコンピューティングノードを含み、前記シグナリング処理モジュールの数は、前記エッジコンピューティングノードの数より少ない、
請求項１０に記載のマルチメディアデータ処理システム。

【請求項12】

当該マルチメディアデータ処理システムは、１つのシグナリング処理モジュール、及び複数の前記エッジコンピューティングノードを含む、請求項１０に記載のマルチメディアデータ処理システム。

【請求項13】

ローカルネットワークコンピューティングプラットフォーム及び/又はインターネットコンピューティングプラットフォームが前記リモートノードを構成する、請求項１０～１２のいずれか１項に記載のマルチメディアデータ処理システム。

【請求項14】

電子機器であって、
プロセッサと、
前記プロセッサの実行可能指令を記憶するためのメモリと、を含み、
前記プロセッサは、前記実行可能指令を実行することにより、請求項１～９のいずれか１項に記載の方法を実行するように構成される、
電子機器。

【請求項15】

指令を含むコンピュータプログラムであって、コンピュータで実行される場合、コンピュータに請求項１～９のいずれか１項に記載の方法を実行させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の参照） 本出願は、２０１９年０６月２８日に中国専利局に提出した、出願番号が２０１９１０５７８３１７.６であって、発明の名称が「マルチメディアデータ処理方法、装置、記憶媒体及び電子機器」である中国特許出願の優先権を主張し、本願で、その全ての内容を援用するものとする。

【0002】

（技術分野）
本出願は、通信技術分野に関し、具体的には、マルチメディアデータ処理技術に関する。

【0003】

エッジコンピューティングは、分散コンピューティングアーキテクチャである。このアーキテクチャにより、アプリケーションプログラム処理、データ分析などの演算を、リモートノードで完全に処理される大規模なサービスから、より小さく管理しやすい部分に分解し、エッジコンピューティングノードに分散して処理できる。エッジコンピューティングノードは、ユーザー端末デバイスにより近いため、データ処理と伝送速度を高速化し、遅延を減らすことができる。

【0004】

関連技術では、一般的に、高品質で低遅延のサービスを実現するために、ビジネスサーバをエッジコンピューティングノードに配置する。しかしながら、従来のエッジコンピューティングに基づくマルチメディアデータ処理方法は、一般的に、配置が複雑で、システムの使用及びメンテナンスの効率が低いなどの問題が存在する。従って、新しいマルチメディアデータ処理方法を提供する必要がある。

【0005】

なお、上記の背景技術に開示された情報は、本出願の背景の理解を強化するためのものであり、当業者に既知の先行技術でない情報を含む場合がある。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本出願の実施例は、マルチメディアデータ処理方法、マルチメディアデータ処理装置、電子機器及びコンピュータ読み取り可能記憶媒体を提供し、エッジコンピューティングシステムの配置の複雑さを軽減し、システムの使用及びメンテナンスの効率を向上させることができる。

【課題を解決するための手段】

【0007】

本出願の第１の態様によれば、サーバによって実行されるマルチメディアデータ処理方法が提供され、マルチメディアデータ処理方法は、
リモートノードに配置されたシグナリング処理モジュールによって、端末デバイスとメディア処理モジュールとの間のセッションを確立し、セッションを制御するステップと、
メディア処理モジュールが端末デバイスとセッションを確立した後、エッジコンピューティングノードに配置されたメディア処理モジュールによって、端末デバイスにより送信されるマルチメディアデータを受信し、マルチメディアデータを処理するステップと、を含む。

【0008】

本出願の例示的な実施例では、端末デバイスとメディア処理モジュールとの間のセッションを確立するステップは、
端末デバイスにデータ受信アドレス情報を含むコール要求を送信するステップと、
コール要求に対する端末デバイスの応答情報を受信するステップであって、応答情報は、データ送信アドレス情報を含むステップと、
メディア処理モジュールにデータ送信アドレス情報を送信し、データ受信アドレスに従ってマルチメディアデータを受信するようにメディア処理モジュールに通知するステップと、
端末デバイスにセッション確立完了情報を送信するステップと、を含む。

【0009】

本出願の例示的な実施例では、マルチメディアデータ処理方法は、
エッジコンピューティングノードに配置されたユーザープレーン機能エンティティで転送戦略を事前配置するステップをさらに含み、転送戦略は、受信ポートがプリセット範囲にあるマルチメディアデータをメディア処理モジュールに転送することを含み、
データ受信アドレス情報は、プリセット範囲内のターゲット受信ポートを含む。

【0010】

本出願の例示的な実施例では、データ受信アドレス情報は、ターゲット受信ポートを含み、メディア処理モジュールにデータ送信アドレス情報を送信する前に、
エッジコンピューティングノードに配置されたユーザープレーン機能エンティティで転送戦略を配置するステップをさらに含み、転送戦略は、受信ポートがターゲット受信ポートであるマルチメディアデータをメディア処理モジュールに転送することを含む。

【0011】

本出願の例示的な実施例では、マルチメディアデータ処理方法は、
セッションの終了後に、転送戦略を削除するステップをさらに含む。

【0012】

本出願の例示的な実施例では、マルチメディアデータ処理方法は、
ユーザープレーン機能エンティティにより、転送戦略に応じて、端末デバイスにより送信されるマルチメディアデータをメディア処理モジュールに転送することをさらに含む。

【0013】

本出願の例示的な実施例では、セッションを制御するステップは、セッションの維持とセッションの終了を含む。

【0014】

本出願の例示的な実施例では、マルチメディアデータを処理するステップは、
マルチメディアデータを復号化して、復号化データを取得するステップと、
復号化データを計算分析し、構造化マルチメディアデータに変換するステップと、を含む。

【0015】

本出願の例示的な実施例では、マルチメディアデータを処理した後、
構造化マルチメディアデータをリモートノードに送信するステップをさらに含む。

【0016】

本出願の第２の態様によれば、マルチメディアデータ処理装置が提供され、マルチメディアデータ処理装置は、

リモートノードに配置され、端末デバイスとメディア処理モジュールとの間のセッションを確立し、セッションを制御するための、シグナリング処理モジュールと、
エッジコンピューティングノードに配置され、端末デバイスとの間にセッションを確立した後、端末デバイスにより送信されるマルチメディアデータを受信し、マルチメディアデータを処理するための、メディア処理モジュールと、を含む。

【0017】

本出願の例示的な実施例では、マルチメディアデータ処理装置は、複数のシグナリング処理モジュール、及び複数のメディア処理モジュールを含み、シグナリング処理モジュールの数は、メディア処理モジュールの数より少ない。

【0018】

本出願の例示的な実施例では、マルチメディアデータ処理装置は、１つのシグナリング処理モジュール、及び複数のメディア処理モジュールを含む。

【0019】

本出願の例示的な実施例では、リモートノードは、ローカルネットワークコンピューティングプラットフォーム及び/又はインターネットコンピューティングプラットフォームを含む。

【0020】

本出願の例示的な実施例では、シグナリング処理モジュールは、次のステップ、すなわち、
端末デバイスにデータ受信アドレス情報を含むコール要求を送信するステップと、
コール要求に対する端末デバイスの応答情報を受信するステップであって、応答情報は、データ送信アドレス情報を含むステップと、
メディア処理モジュールにデータ送信アドレス情報を送信し、データ受信アドレスに従ってマルチメディアデータを受信するようにメディア処理モジュールに通知するステップと、
端末デバイスにセッション確立完了情報を送信するステップと
で端末デバイスとメディア処理モジュールとの間のセッションを確立する。

【0021】

本出願の例示的な実施例では、シグナリング処理モジュールは、さらに、
エッジコンピューティングノードに配置されたユーザープレーン機能エンティティで転送戦略を事前配置し、転送戦略は、受信ポートがプリセット範囲にあるマルチメディアデータをメディア処理モジュールに転送することを含み、データ受信アドレス情報は、プリセット範囲内のターゲット受信ポートを含む。

【0022】

本出願の例示的な実施例では、データ受信アドレス情報は、ターゲット受信ポートを含み、
シグナリング処理モジュールは、メディア処理モジュールにデータ送信アドレス情報を送信する前に、
エッジコンピューティングノードに配置されたユーザープレーン機能エンティティで転送戦略を配置し、転送戦略は、受信ポートがターゲット受信ポートであるマルチメディアデータをメディア処理モジュールに転送することを含む。

【0023】

本出願の例示的な実施例では、シグナリング処理モジュールは、さらに、
セッションの終了後に、転送戦略を削除する。

【0024】

本出願の例示的な実施例では、マルチメディアデータ処理装置は、
転送戦略に応じて、端末デバイスにより送信されるマルチメディアデータをメディア処理モジュールに転送するためのユーザープレーン機能エンティティを含む。

【0025】

本出願の例示的な実施例では、セッションを制御するステップは、セッションの維持とセッションの終了とを含む。

【0026】

本出願の例示的な実施例では、メディア処理モジュールは、次のステップ、すなわち、
マルチメディアデータを復号化して、復号化データを取得するステップ、及び

復号化データを計算分析し、構造化マルチメディアデータに変換するステップ
でマルチメディアデータを処理する。

【0027】

本出願の例示的な実施例では、メディア処理モジュールは、さらに、
構造化マルチメディアデータをリモートノードに送信する。

【0028】

本出願の第３の態様によれば、電子機器が提供され、電子機器は、プロセッサと、プロセッサの実行可能指令を記憶するためのメモリと、を含み、プロセッサは、実行可能指令を実行することにより、上記のいずれかに記載の方法を実行するように構成される。

【0029】

本出願の第４の態様によれば、コンピュータ読み取り可能記憶媒体が提供され、記憶媒体にコンピュータプログラムが記憶され、コンピュータプログラムがプロセッサによって実行される場合、上記のいずれかに記載の方法を実現する。

【0030】

本出願の第５の態様によれば、指令を含むコンピュータプログラム製品が提供され、コンピュータで実行される場合、コンピュータに上記のいずれかに記載の方法を実行させる。

【0031】

本出願の例示的な実施例は、以下の有益な効果の一部または全部を有し得る。
本出願の実施例に提供されるマルチメディアデータ処理方法では、メディア処理モジュールをエッジコンピューティングノードに配置し、シグナリング処理モジュールをリモートノードに配置して、シグナリング処理モジュールによって、端末デバイスとメディア処理モジュールとの間のセッションを確立し、セッションを制御し、メディア処理モジュールによって、端末デバイスにより送信されるマルチメディアデータを受信しマルチメディアデータを処理する。シグナリング処理モジュールは、制御シグナリングを処理するだけでよいため、少量のネットワークリソースとコンピューティングリソースとを占有するので、１つのシグナリング処理モジュールによって、異なるエッジコンピューティングノードに散在する複数のメディア処理モジュールと複数の端末デバイスとの間のセッションを同時に担当することができる。従って、本出願の実施例における方法に基づいて、マルチメディアデータ処理アプリケーションの配置モードを簡素化することができ、エッジコンピューティングノードの配置複雑性を大幅に軽減することができる。同時に、エッジコンピューティングノードに必要なインフラストラクチャリソースも削減でき、配置コストを削減できる。また、シグナリング処理モジュールがリモートノードに配置されるため、インストール、アップグレード、およびメンテナンスがより簡単で便利になる。同時に、エッジコンピューティングノードにステートレスメディア処理モジュールのみがあり、エッジコンピューティングノードに配置されるエッジコンピューティングサービスは、一貫した単一のサービスタイプになり、エッジコンピューティングノードの管理、使用及びメンテナンスがより効率的になる。従って、この例示的な実施形態における方法により、システム全体の使用及びメンテナンスの効率を大幅に向上させ、使用及びメンテナンスのコストを削減することができる。

【0032】

以上の一般的な説明及び以下の詳細な説明は、例示および解釈に過ぎず、本出願を限定するものではない。

【図面の簡単な説明】

【0033】

ここの図面は、本明細書に組み込まれ、本明細書の一部を構成し、本開示による実施例を示し、本明細書とともに本開示の原理を説明する。明らかに、以下の説明における図面は、本出願のいくつかの実施形態に過ぎず、当業者にとって、創造的な労力をしない前提で、これらの図面に基づいて他の図面を得ることができる。

【図1】本出願の実施例によるマルチメディアデータ処理方法及び装置を適用できる例示的なシステムアーキテクチャを示す概略図である。

【図2】本出願の実施例による電子機器の実現に適したコンピュータシステムの概略構造図を示す。

【図3】本出願の一実施例によるマルチメディアデータ処理装置の配置アーキテクチャを概略的に示す概略図である。

【図4】本出願の一実施例によるマルチメディアデータ処理装置の配置アーキテクチャを概略的に示す概略図である。

【図5】本出願の一実施例によるマルチメディアデータ処理方法のフローチャートを概略的に示す。

【図6】本出願の一実施例によるマルチメディアセッションを確立するプロセスのフローチャートを概略的に示す。

【図7】本出願の一実施例によるマルチメディアセッションを確立するプロセスのインタラクションフローチャートを概略的に示す。

【図8】本出願の一実施例によるマルチメディアセッションを確立するプロセスのインタラクションフローチャートを概略的に示す。

【図9】本出願の一実施例によるマルチメディアデータを処理するステップのフローチャートを概略的に示す。

【図10】本出願の一実施例によるマルチメディアデータ処理装置のブロック図を概略的に示す。

【発明を実施するための形態】

【0034】

ここで、添付の図面を参照して、例示的な実施形態をより完全に説明する。しかしながら、例示的な実施形態は、様々な形態で実施することができ、本明細書に記載の例に限定されない。逆に、これらの実施形態の提供により、本出願はより包括的かつ完全になり、例示的な実施形態の概念が当業者に十分に伝達される。記載される特徴、構造、または特性は、任意の適切な方式で１つまたは複数の実施形態に組み合わせることができる。以下の説明では、本出願の実施形態を十分に理解するために、多くの具体的な詳細を提供する。しかしながら、１つまたは複数の前記特定の詳細を省略してもよく、または他の方法、コンポーネント、装置、ステップなどを使用して、本出願の技術案を実施してもよい。他の場合では、本開示の各側面を不明瞭にすることを避けるために、既知の技術案を詳細に示したり、説明したりしない。

【0035】

また、図面は本出願の概略図に過ぎず、必ずしも一定の比例で描かれていない。図面において同一または類似の部分には同一の符号を付し、重複する説明は省略する。図面に示すブロック図の一部は機能エンティティであり、必ずしも物理的または論理的に独立したものに対応するものではない。これらの機能エンティティは、ソフトウェアの形で実現されるか、１つ又は複数のハードウェアモジュール又は集積回路で実現されるか、異なるネットワーク及び/又はプロセッサ装置及び/又はマイクロコントローラ装置で実現される。

【0036】

図１は、本出願の実施例によるマルチメディアデータ処理方法の適用環境システムアーキテクチャの概略図を示す。

【0037】

図１に示すように、システムアーキテクチャ１００は、端末デバイス１０１、１０２、１０３のうちの１つまたは複数、基地局１０４、エッジコンピューティングノード１０５、ローカルネットワークコンピューティングプラットフォーム１０６、及びインターネットコンピューティングプラットフォーム１０７を含む。エッジコンピューティングノード１０５は、ネットワークアクセスポイントに近いコンピューティングプラットフォームであってもよく、エッジデータセンター(Ｅｄｇｅ Ｄａｔａ Ｃｅｎｔｅｒ、Ｅｄｇｅ ＤＣと略称する)に位置してもよい。ローカルネットワークコンピューティングプラットフォーム１０６及びインターネットコンピューティングプラットフォーム１０７は、本出願におけるリモートノードとしてもよい。ローカルネットワークコンピューティングプラットフォーム１０６は、ローカルデータセンター(Ｌｏｃａｌ Ｄａｔａ Ｃｅｎｔｅｒ、Ｌｏｃａｌ ＤＣと略称する)に位置してもよい。インターネットコンピューティングプラットフォーム１０７は、インターネットデータセンター(Ｉｎｔｅｒｎｅｔ Ｄａｔａ Ｃｅｎｔｅｒ、ＩＤＣと略称する)に位置してもよい。また、図１は、３層ネットワーク構造を示しているが、他の例示的な実施例では、エッジコンピューティングノード１０５は、インターネットコンピューティングプラットフォーム１０７と直接に通信接続するような、２層ネットワーク構造であってもよく、３層以上のネットワーク構造であってもよい。本例示的な実施例において、これを特に限定しない。

【0038】

端末デバイス１０１、１０２、１０３は、各種の電子機器であり得る。カメラ、デスクトップコンピュータ、ポータブルコンピュータ、スマートフォン、及びタブレットコンピューターなどを含むが、これらに限定されない。エッジコンピューティングノード１０５、ローカルネットワークコンピューティングプラットフォーム１０６、及びインターネットコンピューティングプラットフォーム１０７は、いずれも、サーバを含む。図１における端末デバイス、ネットワーク及びサーバの数は、単なる例示であり、実現の必要性に応じて、任意の数の端末デバイス、ネットワーク及びサーバを含んでもよいことを理解すべきである。例えば、エッジコンピューティングノード１０５、ローカルネットワークコンピューティングプラットフォーム１０６、及びインターネットコンピューティングプラットフォーム１０７は、複数のサーバで構成されるサーバクラスタなどである。また、例えば、ローカルネットワークコンピューティングプラットフォーム１０６、及びインターネットコンピューティングプラットフォーム１０７は、クラウドコンピューティングプラットフォームであることができ、エッジクラウドコラボレーションのアーキテクチャを実現でき、つまり、エッジコンピューティングノードとリモートクラウドコンピューティングプラットフォームとが連携して動作する。

【0039】

本出願の実施例によるマルチメディアデータ処理方法は、一般的に、サーバによって実行され、対応して、マルチメディアデータ処理装置は、一般的に、サーバに設置される。例として、例示的な実施例では、エッジコンピューティングノード１０５にＭＥＣ(Ｍｏｂｉｌｅ Ｅｄｇｅ Ｃｏｍｐｕｔｉｎｇ、モバイルエッジコンピューティング)アプリケーションを配置して、ネットワーク内の様々なコンテンツ、サービス、およびアプリケーションの迅速なダウンロードを実現し、消費者が中断のない高品質のネットワーク体験を楽しむことができる。非ＭＥＣアプリケーションによって処理されるネットワークトラフィックは、エッジコンピューティングノード１０５におけるユーザープレーン機能エンティティ(Ｕｓｅｒ Ｐｌａｎｅ Ｆｕｎｃｔｉｏｎ、ＵＰＦ)によって、ローカルネットワークコンピューティングプラットフォーム１０６におけるユーザープレーン機能エンティティに転送され、最終的にインターネットコンピューティングプラットフォーム１０７に入ってもよい。

【0040】

図２は、本出願の実施例による電子機器の実現に適したコンピュータシステムの概略構造図を示す。

【0041】

なお、図２に示す電子機器のコンピュータシステム２００は、一例に過ぎず、本出願の実施例の機能及び使用範囲を制限しない。

【0042】

図２に示すように、コンピュータシステム２００は、中央処理ユニット(Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ)２０１を含み、読み取り専用メモリ(Ｒｅａｄ-Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ)２０２に記憶されるプログラム、又は記憶部２０８からランダムアクセスメモリ(Ｒａｎｄｏｍ
Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ)２０３にロードされたプログラムに従って、各種の適切な動作及び処理を実行する。ＲＡＭ ２０３には、システム動作に必要な各種プログラム及びデータも記憶される。ＣＰＵ２０１、ＲＯＭ２０２、及びＲＡＭ２０３は、バス２０４を介して互いに接続される。入出力(Ｉｎｐｕｔ/Ｏｕｔｐｕｔ、Ｉ/Ｏ)インターフェース２０５もバス２０４に接続される。

【0043】

Ｉ/Ｏインターフェース２０５には、キーボード、マウスなどを含む入力部２０６、例えばブラウン管(Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ、ＣＲＴ)、液晶ディスプレイ(Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ)など及びスピーカなどを含む出力部２０７、ハードディスクなどを含む記憶部２０８、及び例えばＬＡＮカード、モデムなどのネットワークインターフェースカードを含む通信部２０９が接続されている。通信部２０９は、例えばインターネットなどのネットワークを介して通信処理を実行する。ドライバ２１０は、必要に応じて、Ｉ/Ｏインターフェース２０５にも接続される。リムーバブル媒体２１１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであり、必要に応じてドライバ２１０に搭載されて、そこから読み取ったコンピュータプログラムが必要に応じて記憶部２０８にインストールされる。

【0044】

特に、本出願の実施例によれば、次のフローチャートを参照して説明する手順は、コンピュータソフトウェアプログラムとして実現できる。例えば、本出願の実施例は、コンピュータプログラム製品を含み、当該コンピュータプログラム製品は、コンピュータ読み取り可能媒体に記録されるコンピュータプログラムを含み、当該コンピュータプログラムは、フローチャートに示す方法を実行するためのコンピュータプログラムを含む。このような実施例では、当該コンピュータプログラムは、通信部２０９を介してネットワークからダウンロードしてインストールする及び/又はリムーバブル媒体２１１からインストールすることができる。当該コンピュータプログラムが中央処理ユニット(ＣＰＵ)２０１によって実行される場合、本出願の方法と装置で限定される各種の機能を実行する。いくつかの実施形態では、コンピュータシステム２００は、ＡＩ(Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、人工知能)プロセッサをさらに含んでもよく、当該ＡＩプロセッサは、機械学習に関連するコンピューティング動作を処理する。

【0045】

なお、本出願に示すコンピュータ読み取り可能媒体は、コンピュータ読み取り可能信号媒体、又はコンピュータ読み取り可能記憶媒体、又は上記の２つの任意の組み合わせであってもよい。コンピュータ読み取り可能記憶媒体は、例えば、電気、磁気、光学、電磁気、赤外線、又は半導体のシステム、装置又はデバイス、又はいずれかの組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能記憶媒体のより具体的な例は、１つ又は複数のワイヤーの電気接続、ポータブルコンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ(ＲＡＭ)、読み取り専用メモリ(ＲＯＭ)、消去可能なプログラム読み取り専用メモリ(Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ
Ｍｅｍｏｒｙ、ＥＰＲＯＭ)、フラッシュメモリ、光ファイバ、コンパクト磁気ディスク読み取り専用メモリ(Ｃｏｍｐａｃｔ
Ｄｉｓｃ Ｒｅａｄ-Ｏｎｌｙ Ｍｅｍｏｒｙ、ＣＤ-ＲＯＭ)、光学記憶装置、磁気記憶装置、又は上記の任意の適切な組み合わせを含むが、これらに限定されない。

【0046】

本出願では、コンピュータ読み取り可能記憶媒体は、プログラムを含むかまたは記憶する任意の有形の媒体であり、当該プログラムは、指令実行システム、装置又はデバイスによって使用されるか、それらと組み合わせて使用できる。本出願では、コンピュータ読み取り可能信号媒体は、ベースバンドに含まれるか、又はキャリアの一部として伝搬されるデータ信号であり、コンピュータ読み取り可能プログラムコードが記録される。このように伝搬されるデータ信号は、多くの形式をとることができ、電磁信号、光信号、またはこれらの任意の適切な組み合わせを含むが、これらに限定されない。コンピュータ読み取り可能信号媒体は、コンピュータ読み取り可能記憶媒体以外の任意のコンピュータ読み取り可能媒体であり得る。当該コンピュータ読み取り可能媒体は、指令実行システム、装置又はデバイスによって使用されるか、又はそれらと組み合わせて使用されるプログラムを送信、伝搬又は伝送することができる。コンピュータ読み取り可能媒体に含まれるプログラムコードは、任意の適切な媒体によって伝送でき、無線、ワイヤー、光ケーブル、ＲＦなど、または上記の任意の適切な組み合わせを含むが、これらに限定されない。

【0047】

添付図面のフローチャート及びブロック図は、本出願の各種実施例によるシステム、方法及びコンピュータプログラム製品で実現可能なアーキテクチャ、機能及び動作を示す。フローチャート又はブロック図における各ブロックは、１つのモジュール、プログラムセグメント、又はコードの一部を表すことができ、上記のモジュール、プログラムセグメント、又はコードの一部は、１つ又は複数の所定の論理機能を実現するための実行可能な指令を含む。また、いくつかの代替の実現では、ブロックでマークされた機能は、図面でマークされた順序とは異なる順序で実行することもできる。例えば、２つの連続して示したブロックは、実際に基本的に並行して実行でき、関連する機能によっては、逆の順序で実行される場合もある。また、ブロック図又はフローチャートにおける各ブロック、及びブロック図又はフローチャートにおけるブロックの組み合わせは、所定の機能又は動作を実行する専用のハードウェアによるシステムによって実現でき、又は専用ハードウェアとコンピュータ指令の組み合わせで実現できる。

【0048】

本開示の実施例に説明するユニットは、ソフトウェアの形で実現されてもよく、ハードウェアの形で実現されてもよい。説明するユニットをプロセッサに設置してもよい。これらのユニットの名前は、特定の状況で、当該ユニット自体を限定しない。

【0049】

また、本出願は、コンピュータ読み取り可能媒体をさらに提供し、当該コンピュータ読み取り可能媒体は、上記の実施例で説明した電子機器に含まれてもよい。また、電子機器に組み込まれずに、独立に存在してもよい。上記のコンピュータ読み取り可能媒体は、１つ又は複数のプログラムを記録し、上記の１つ又は複数のプログラムが当該電子機器で実行される場合、当該電子機器に次の実施例で説明する方法を実現させる。

【0050】

以下、本出願の実施例の技術案を詳細に説明する。

【0051】

図１に示すエッジコンピューティングネットワーク配置アーキテクチャに基づいて、異なる適用シーンに対して、異なる解決スキームが存在する場合がある。

【0052】

エッジコンピューティングに基づくビデオ監視適用シーンを例として、発明者が提供する実現スキームは、図３に示すようである。当該実現スキームでは、シグナリング処理モジュール及びメディア処理モジュールをエッジコンピューティングノードに配置し、シグナリング処理モジュールによってビデオのアクセスを制御し、メディア処理モジュールによって受信したビデオに対してＧＰＵ(Ｇｒａｐｈｉｃｓ
Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、グラフィックプロセッサ)及びディープニューラルネットワークに基づくビデオ分析を実行して、構造化されたビデオデータを出力する。そして、これらの構造化されたビデオデータをリモートノードに配置されたデータ処理モジュールに送信し、当該データ処理モジュールによって構造化ビデオデータに基づいて検索及び分析などの処理を実行する。

【0053】

このような実現スキームに基づいて、ユーザー側に配置されたエッジコンピューティングノードが、ビデオセッションシグナリング処理及びメディア処理を実行することで、ビデオリアルタイム処理の効率が向上し、リモートノードに配置されたデータ処理モジュールによってエッジコンピューティングノードから送信されるビデオ構造化データを受信して処理することで、エッジコンピューティングノードとリモートノードとの間のオリジナルビデオメディアデータの伝送を回避し、エッジコンピューティングノードとリモートノードとの間のネットワーク帯域幅の要件を効果的に削減することができる。

【0054】

エッジコンピューティングに基づくビデオオンデマンドの適用シーンを例として、発明者が提供する実現スキームは、シグナリング処理モジュール及びメディア処理モジュールを、ストリーミングメディアサーバを含むエッジコンピューティングノードに配置し、ＣＤＮ(Ｃｏｎｔｅｎｔ Ｄｅｌｉｖｅｒｙ Ｎｅｔｗｏｒｋ、コンテンツ配信ネットワーク)管理サーバをリモートノードに配置する。あるユーザーがストリーミングメディアオンデマンドサービスを要求すると、要求はまずリモートノードに配置されるＣＤＮ管理サーバに送信され、ＣＤＮ管理サーバが、対応する戦略に従って、対応するエッジコンピューティングノードに配置されたストリーミングメディアサーバを選択し、ユーザーの要求を当該ストリーミングメディアサーバに転送することで、ユーザーに近くの高品質で低遅延のビデオオンデマンドサービスを提供する。同時に、ユーザー端末デバイスとリモートノードとの間のビデオデータ伝送も削減する。

【0055】

上記の２つのシーンの実現スキームでは、いずれも各エッジコンピューティングノードにシグナリング処理モジュール及びメディア処理モジュールを含む完全なビジネスサーバを配置する必要がある。シグナリング処理モジュール及びメディア処理モジュールをエッジコンピューティングノードに同時に配置すると、システム配置の複雑さが増加し、システム配置のコストも増加する。また、システムをアップグレード又は拡張する場合、各エッジコンピューティングノードに配置されたシグナリング処理モジュール又はメディア処理モジュールをそれぞれにアップグレード又は拡張する必要があり、システムの使用及びメンテナンスの効率とコストも高い。

【0056】

マルチメディアセッションビジネスシステムでは、シグナリング処理モジュールは、マルチメディアセッションの確立を担当し、１つのセッションの開示から終了まで、シグナリングインタラクション全体が占有するコンピューティングリソースが少なく、メディア伝送によって占有されるネットワークリソースと比較すると、無視できる。上記の内容に基づいて、本出願は、マルチメディアデータ処理方法を提供し、当該マルチメディアデータ処理方法は、図４に示すマルチメディアセッション型アプリケーションの配置アーキテクチャに適用できる。

【0057】

図４に示すように、当該配置アーキテクチャでは、マルチメディアデータ処理装置をシグナリング処理モジュール及びメディア処理モジュールの２つのモジュールに分割する。シグナリング処理モジュールは、リモートノードに配置し、例えば、上記のローカルネットワークコンピューティングプラットフォーム１０６又はインターネットコンピューティングプラットフォーム１０７に配置することができる。メディア処理モジュールは、エッジコンピューティングノード１０５に配置して、簡単で柔軟なエッジコンピューティングアプリケーションを実現できる。当該配置アーキテクチャに基づいて、ユーザー端末デバイスとマルチメディアデータ処理装置との間のマルチメディアセッションのシグナリング処理は、リモートノードに配置されたシグナリング処理モジュールによって完成される。ユーザー端末デバイスとマルチメディアデータ処理装置との間のメディア処理は、エッジコンピューティングノードに分散して配置されたメディア処理モジュールによって完成される。

【0058】

次に、図５に基づいて、上記の配置アーキテクチャに基づくマルチメディアデータ処理方法を紹介する。図５を参照して、当該方法は、次のステップＳ５１０～ステップＳ５２０を含んでもよい。

【0059】

ステップＳ５１０では、リモートノードに配置されたシグナリング処理モジュールによって、端末デバイスとメディア処理モジュールとの間のセッションを確立し、前記セッションを制御する。

【0060】

本例示的な実施形態では、セッションとは、１つの端末デバイスとメディア処理モジュールとの通信プロセスを指す。シグナリング処理モジュールに基づいて、端末デバイスとメディア処理モジュールとの間のセッションを確立できる。その他に、シグナリング処理モジュールは、当該セッションの保持及び当該セッションの終了を制御できる。

【0061】

シグナリング処理モジュールは、一般的に、リモートのコンピュータルームに配置される。ビデオ監視適用シーンを例として、シグナリング処理モジュールがサポートするプロトコルは、ＳＩＰ(Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ、セッション起動プロトコル)及びＲＴＳＰ(Ｒｅａｌ-Ｔｉｍｅ Ｓｔｒｅａｍ Ｐｒｏｔｏｃｏｌ、リアルタイムストリームプロトコル)などのマルチメディアセッションプロトコルを含む。もちろん、異なる適用シーン及び要件に応じて、シグナリング処理モジュールがサポートするプロトコルは、ＨＬＳ(ＨＴＴＰ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇ、ストリーミングメディア伝送プロトコル)、ＲＴＭＰ(Ｒｅａｌ Ｔｉｍｅ Ｍｅｓｓａｇｉｎｇ Ｐｒｏｔｏｃｏｌ、リアルタイムメッセージ伝送プロトコル)、及びその他のマルチメディアセッションプロトコルを含んでもよい。非マルチメディアセッション適用シーンでは、シグナリング処理モジュールは、非マルチメディアセッションプロトコルもサポートできる。本例示的な実施例では、これに限定されない。

【0062】

図６を参照して、本例示的な実施形態では、次のステップＳ６１０～ステップＳ６４０によって、端末デバイスとメディア処理モジュールとの間のセッションを確立することができる。

【0063】

ステップＳ６１０では、前記端末デバイスに、データ受信アドレス情報を含むコール要求を送信する。

【0064】

例えば、業務管理者からのカメラビデオアクセス要求を受信した後、シグナリング処理モジュールは、例えば、ＳＩＰ＼ＲＴＳＰコール要求をカメラに送信し、コール要求は、例えば、ＳＤＰ(Ｓｅｓｓｉｏｎ
Ｄｅｓｃｒｉｐｔｉｏｎ Ｐｒｏｔｏｃｏｌ、セッション説明プロトコル)フォーマットのデータ受信アドレス情報を含み得る。データ受信アドレス情報は、例えば、メディア処理モジュールのＩＰアドレス及び接続ポート番号情報などを含み得る。

【0065】

ステップＳ６２０では、前記コール要求に対する前記端末デバイスの応答情報を受信し、前記応答情報は、データ送信アドレス情報を含む。

【0066】

例えば、カメラは、シグナリング処理モジュールのコール要求を受信した後、シグナリング処理モジュールに応答情報を返信する。応答情報は、例えば、ＳＤＰフォーマットのデータ送信アドレス情報を含み得る。データ送信アドレス情報は、例えば、カメラ識別子(例えば、ＩＤなど)、カメラがマルチメディアデータを送信する送信元ＩＰアドレス、及び送信ポート番号などの情報を含み得る。

【0067】

ステップＳ６３０では、前記メディア処理モジュールに前記データ送信アドレス情報を送信し、前記データ受信アドレスに従って前記マルチメディアデータを受信するように前記メディア処理モジュールに通知する。

【0068】

ステップＳ６４０では、前記端末デバイスにセッション確立完了情報を送信する。

【0069】

上記のセッションプロセスにおいて、配置戦略に従って、ユーザープレーン機能エンティティは、端末デバイスとシグナリング処理モジュールとの間で制御プレーンのＳＩＰ＼ＲＴＳＰなどのプロトコルを直接に交換することができる。本例示的な実施形態では、ユーザープレーン機能エンティティは、５Ｇネットワークにおけるユーザープレーンデバイスであってもよいが、これに限定されない。例えば、ユーザープレーン機能エンティティは、無線アクセスゲートウェイ(例えば、ＷｉＦｉゲートウェイ)、有線アクセスゲートウェイなどの非モバイル通信ゲートウェイデバイスであってもよい。ユーザープレーン機能エンティティによるマルチメディアデータの転送戦略は、静的戦略及び動的戦略と含み得る。

【0070】

具体的には、静的戦略に基づいて、前記エッジコンピューティングノードに配置されたユーザープレーン機能エンティティで転送戦略を事前配置する必要がある。当該転送戦略は、受信ポートがプリセット範囲にあるマルチメディアデータをメディア処理モジュールに転送する。データ受信アドレス情報は、当該プリセット範囲内のターゲット受信ポートを含む。

【0071】

同時に、マルチメディアセッションネゴシエーションプロセスでは、端末デバイスは、受信ポートをプリセット範囲に設定する必要がある。上記のビデオ監視適用シーンを例として、ＳＩＰプロトコルに基づいて、ＳＤＰネゴシエーションプロセスでは、送信するマルチメディアデータのターゲット受信ポートを１００００～２００００に制限するようにカメラに要求することができ、そして、ユーザープレーン機能エンティティで転送戦略を配置する。カメラにより送信される、ターゲット受信ポートが１００００～２００００で、タイプがＲＴＰ(Ｒｅａｌ-ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ、リアルタイム伝送プロトコル)のＩＰパケット、例えば、ＵＤＰ(Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ、ユーザーデータグラムプロトコル)メッセージを受信すると、メディア処理モジュールに対応するポートに転送する。

【0072】

図７を参照して、静的戦略に基づくセッションプロセスの概略図である。ステップＳ７１０～ステップＳ７６０を含む。

【0073】

ステップＳ７１０では、業務管理者からのカメラビデオアクセス要求を受信した後、シグナリング処理モジュールは、ＳＩＰ＼ＲＴＳＰコール要求をカメラに送信し、コール要求は、例えば、ＳＤＰ(Ｓｅｓｓｉｏｎ
Ｄｅｓｃｒｉｐｔｉｏｎ Ｐｒｏｔｏｃｏｌ、セッション説明プロトコル)フォーマットのデータ受信アドレス情報を含み得る。データ受信アドレス情報は、データ受信ポートを１００００～２００００の範囲のあるアイドルポートＰｏｒｔ
Ａに制限する必要がある。接続アドレスは、メディア処理モジュールのＩＰアドレスに指定する。

【0074】

ステップＳ７２０では、カメラは、シグナリング処理モジュールのコール要求を受信した後、シグナリング処理モジュールに応答情報を返信することができる。応答情報は、例えば、ＳＤＰフォーマットのデータ送信アドレス情報を含み得る。データ送信アドレス情報は、カメラ識別子(例えば、ＩＤなど)、カメラがマルチメディアデータを送信する送信元ＩＰアドレス、及び送信ポート番号などの情報を含み得る。

【0075】

ステップＳ７３０では、シグナリング処理モジュールは、カメラの応答情報を受信した後、メディア処理モジュールにカメラ識別子、カメラがマルチメディアデータを送信する送信元ＩＰアドレス、及び送信ポート番号などの情報などの指令を送信し、Ｐｏｒｔ
Ａでカメラにより送信されるマルチメディアデータを開始するようにメディア処理モジュールに通知する。

【0076】

ステップＳ７４０では、シグナリング処理モジュールは、前記端末デバイスにセッション確立完了情報を送信して、セッション確立を確認する。

【0077】

ステップＳ７５０では、カメラは、エッジコンピューティングノードのユーザープレーン機能エンティティにマルチメディアデータメッセージを送信することを開始する。マルチメディアデータメッセージのターゲット受信ポートは、Ｐｏｒｔ Ａである。

【0078】

ステップＳ７６０では、エッジコンピューティングノードのユーザープレーン機能エンティティは、カメラにより送信されるマルチメディアデータメッセージを受信した後、プレセットの転送戦略に従って、メディア処理モジュールのポートＰｏｒｔ
Ａにマルチメディアデータメッセージを転送する。

【0079】

動的戦略に基づいて、データ受信アドレス情報は、ターゲット受信ポートを含み、メディア処理モジュールにデータ送信アドレス情報を送信する前に、エッジコンピューティングノードに配置されたユーザープレーン機能エンティティで転送戦略を配置し、当該転送戦略は、受信ポートがターゲット受信ポートであるマルチメディアデータをメディア処理モジュールに転送することを含む。

【0080】

上記のビデオ監視適用シーンを例として、例えば、ＳＩＰプロトコルに基づいて、ＳＤＰネゴシエーションプロセスでは、あるアイドルポートＰｏｒｔ Ｂをランダムに選択してターゲット受信ポートとし、そしてユーザープレーン機能エンティティで転送戦略を配置する。カメラにより送信される、ターゲット受信ポートがＰｏｒｔ Ｂで、タイプがＲＴＰであるＩＰパケット、例えば、ＵＤＰメッセージを受信すると、メディア処理モジュールに対応するポートＰｏｒｔ
Ｂに転送する。

【0081】

図８を参照して、動的戦略に基づくセッションプロセスの概略図である。ステップＳ８１０～ステップＳ８７０を含む。

【0082】

具体的には、ステップＳ８１０では、業務管理者からのカメラビデオアクセス要求を受信した後、シグナリング処理モジュールは、ＳＩＰ＼ＲＴＳＰコール要求をカメラに送信し、コール要求は、例えば、ＳＤＰフォーマットのデータ受信アドレス情報を含み得る。データ受信アドレス情報は、データ受信ポートをランダムに選択したあるアイドルポートＰｏｒｔ Ｂに制限する必要がある。接続アドレスは、メディア処理モジュールのＩＰアドレスに指定する。

【0083】

ステップＳ８２０では、カメラは、シグナリング処理モジュールのコール要求を受信した後、シグナリング処理モジュールに応答情報を返信することができる。応答情報は、例えば、ＳＤＰフォーマットのデータ送信アドレス情報を含み得る。データ送信アドレス情報は、例えば、カメラ識別子(例えば、ＩＤなど)、カメラがマルチメディアデータを送信する送信元ＩＰアドレス、及び送信ポート番号などの情報を含み得る。

【0084】

ステップＳ８３０では、シグナリング処理モジュールは、カメラの応答情報を受信した後、ユーザープレーン機能エンティティに指令を送信し、ユーザープレーン機能エンティティの転送戦略を設置する。当該転送戦略は、カメラにより送信されるターゲット受信ポートがＰｏｒｔ Ｂで、タイプがＲＴＰであるＩＰパケット、例えばＵＤＰメッセージを受信すると、メディア処理モジュールに対応するポートＰｏｒｔ
Ｂに転送するように要求する。

【0085】

ステップＳ８４０では、シグナリング処理モジュールは、メディア処理モジュールにカメラ識別子、カメラがマルチメディアデータを送信する送信元ＩＰアドレス、及び送信ポート番号などの情報などの指令を送信し、Ｐｏｒｔ
Ｂでカメラにより送信されるマルチメディアデータの受信を開始するようにメディア処理モジュール通知する。

【0086】

ステップＳ８５０では、シグナリング処理モジュールは、前記端末デバイスにセッション確立完了情報を送信して、セッション確立を確認する。

【0087】

ステップＳ８６０では、カメラは、エッジコンピューティングノードのユーザープレーン機能エンティティにマルチメディアデータメッセージを送信することを開始する。マルチメディアデータメッセージのターゲット受信ポートは、Ｐｏｒｔ Ｂである。

【0088】

ステップＳ８７０では、エッジコンピューティングノードのユーザープレーン機能エンティティは、カメラにより送信されるマルチメディアデータメッセージを受信した後、プレセットの転送戦略に従って、メディア処理モジュールのポートＰｏｒｔ
Ｂにマルチメディアデータメッセージを転送する。

【0089】

また、前記セッションの終了後に、後続のセッションの確立に影響を与えないように、上記の設定された動的転送戦略を削除してもよい。

【0090】

ステップＳ５２０は、エッジコンピューティングノードに配置された前記メディア処理モジュールによって、前記メディア処理モジュールが前記端末デバイスとセッションを確立した後、前記端末デバイスにより送信されるマルチメディアデータを受信し、前記マルチメディアデータを処理する。

【0091】

本例示的な実施形態では、メディア処理モジュールは、エッジコンピューティングノードに配置される。メディア処理モジュールは、主に、オーディオおよびビデオメディアパケットの受信、オーディオおよびビデオデータの復号化、及び深層学習法に基づくオーディオおよびビデオコンテンツの分析など、マルチメディアデータの処理を担当する。深層学習法を使用してオーディオおよびビデオコンテンツの分析を実行する場合、メディア処理モジュールは一般的に、メディア分析のコンピューティングの性能を加速するために、ＧＰＵを必要とする。これに基づいて、本例示的な実施形態では、前記マルチメディアデータを処理する前記ステップは、ステップＳ９１０及びステップＳ９２０を含んでもよい。

【0092】

ステップＳ９１０では、前記マルチメディアデータを復号化して、復号化データを取得する。

【0093】

本例示的な実施形態では、マルチメディアデータに対して可逆的に復号化し、つまり、復号化画像とオリジナル画像とまったく同じであり、圧縮は完全に回復可能または偏りがなく、歪みはない。もちろん、データ量を削減するために、非可逆復号を使用してもよい。復号化モジュールは、ソフトウェアモジュールであってもよく、ハードウェアモジュールであってもよい。本例示的な実施例において、これを特に限定しない。

【0094】

ステップＳ９２０では、前記復号化データを計算分析し、構造化マルチメディアデータに変換する。

【0095】

本例示的な実施形態では、マルチメディアデータの内容に含まれる重要な情報を構造化抽出し、時空間セグメンテーション、特徴抽出、オブジェクト認識、深層学習などの処理手法を用いて、コンピュータや人間が理解できるテキスト情報や視覚グラフィックス情報に整理する。マルチメディアデータを構造化することにより、数が大きく、応答が遅く、ほとんど適用価値のない監視ビデオを圧縮できるため、検索と調査の効率が大幅に向上し、ストレージスペースの占有を大幅に削減することができる。

【0096】

図７におけるステップＳ７７０又は図８におけるステップＳ８８０を参照して、前記メディア処理モジュールがマルチメディアデータを構造化マルチメディアデータに変換した後、前記構造化マルチメディアデータを前記リモートノードに送信してもよい。例えば、ローカルネットワークコンピューティングプラットフォーム１０６又はインターネットコンピューティングプラットフォーム１０７のデータ処理モジュールに送信する。

【0097】

本例示的な実施形態では、データ処理モジュールは、製品のニーズに応じて、構造化マルチメディアデータを使用して、顔検索、顔認識、人間の行動分析などのマルチメディアの検索または認識を実行することができる。例えば、処理構造に基づいて、顔写真データベース、顔特徴データベース、行動写真及び特徴データベース、車両画像及び特徴データベースなどの構造化データウェアハウスを確立でき、これらのデータウェアハウスと関連するビデオクリップウェアハウスを統合して、対応する検索エンジンを確立し、各種データウェアハウスのディープ情報マイニングを実現し、ビッグデータの役割を十分に発揮し、ビデオデータの活用価値を高め、ビデオデータの分析及び予測機能を向上させる。

【0098】

本例示的な実施形態におけるマルチメディアデータ処理方法では、メディア処理モジュールをエッジコンピューティングノードに配置し、シグナリング処理モジュールをリモートノードに配置する。配置されるメディア処理モジュールの数は、カメラの数など、アクセスされる端末デバイスの数に依存する。シグナリング処理モジュールは、制御シグナリングを処理すればよく、少量のネットワークリソースとコンピューティングリソースを占有するので、１つのシグナリング処理モジュールによって、異なるエッジコンピューティングノードに散在する複数のメディア処理モジュールと複数の端末デバイスとの間のセッションを同時に担当することができる。例えば、一般的なＸ８６アーキテクチャのサーバに配置されたＳＩＰシグナリング処理モジュールを例として、一般的に、同時に数千の ＳＩＰ コールをサポートでき、つまり、ＳＩＰプロトコルをサポートするカメラとメディア処理モジュール間の数千のセッションを処理できる。例えば、シグナリング処理モジュールは、１つ又は複数のサービスインスタンスを起動して、ネットワーク全体のすべてのエッジコンピューティングノードのメディア処理モジュールおよび端末デバイスのサービス要件を満たすことができる。従って、本例示的な実施形態における方法に基づいて、マルチメディアデータ処理アプリケーションの配置モードを簡素化することができ、エッジコンピューティングノードの配置複雑性を大幅に軽減することができる。同時に、エッジコンピューティングノードに必要なインフラストラクチャリソースも削減でき、配置コストを削減できる。

【0099】

同時に、シグナリング処理モジュールがリモートノードに配置されるため、インストール、アップグレード、およびメンテナンスがより簡単で便利になる。エッジコンピューティングノードにとって、シグナリング処理モジュールはステートフルコンピューティングサービスであり、メディア処理モジュールはステートレスコンピューティングサービスであるので、ステートフルシグナリング処理モジュールをリモートノードに配置した後、エッジコンピューティングノードにはステートレスメディア処理モジュールしかなく、エッジコンピューティングノードに配置されたエッジコンピューティングサービスは、一貫した単一のサービスタイプになり、エッジコンピューティングノードの管理、使用及びメンテナンスがより効率的になる。従って、この例示的な実施形態における方法により、システム全体の使用及びメンテナンスの効率を大幅に向上させ、使用及びメンテナンスのコストを削減することができる。

【0100】

また、本例示的な実施形態におけるマルチメディアデータ処理方法では、ユーザープレーン機能エンティティにとって、シグナリング制御トラフィックをエッジコンピューティングノードにトラフィックオフロード(Ｔｒａｆｆｉｃ Ｏｆｆｌｏａｄ)する必要がないため、ユーザープレーン機能エンティティの転送戦略の配置もよりシンプルで便利になり、システムトラフィットラフィックオフロード機能全体の複雑さを軽減することもできる。

【0101】

上記の例示的な実施例では、ビデオ監視適用シーンを例として説明した。本出願の他の例示的な実施例では、本出願のマルチメディアデータ処理方法は、音声監視、車両のインターネットおよび自動運転アプリケーション、ビデオオンデマンド、ゲームおよびエンターテイメントなどの他の適用シーンにも適用することができる。これも本出願の保護範囲に属する。

【0102】

図面において、特定の順序で本出願における方法の各ステップを説明したが、これは、この特定の順序でこれらのステップを実行しなければならないこと、又は望ましい結果を達成するために、示した全てのステップを実行しなければならないことを要求または暗示するものではない。追加または代替として、いくつかのステップを省略する、複数のステップマージを１つのステップに合併して実行する、及び/又は１つのステップを複数のステップに分解して実行してもよい。

【0103】

さらに、本例示的な実施形態では、マルチメディアデータ処理装置をさらに提供する。図１０を参照して、当該マルチメディアデータ処理装置１０００は、シグナリング処理モジュール１０１０及びメディア処理モジュール１０２０を含んでもよい。

【0104】

前記シグナリング処理モジュール１０１０は、モートノードに配置され、端末デバイスとメディア処理モジュール１０２０との間のセッションを確立し、前記セッションを制御する。
前記メディア処理モジュール１０２０は、エッジコンピューティングノードに配置され、メディア処理モジュール１０２０が前記端末デバイスとセッションを確立した後、前記端末デバイスにより送信されるマルチメディアデータを受信し、前記マルチメディアデータを処理する。

【0105】

本例示的な実施形態では、前記装置は、複数のシグナリング処理モジュール１０１０及び複数の前記メディア処理モジュール１０２０を含み、前記シグナリング処理モジュール１０１０の数は、前記メディア処理モジュール１０２０の数より少ない。

【0106】

本例示的な実施形態では、前記装置は、１つのシグナリング処理モジュール１０１０及び複数の前記メディア処理モジュール１０２０を含む。

【0107】

本例示的な実施形態では、前記リモートノードは、ローカルネットワークコンピューティングプラットフォーム及び/又はインターネットコンピューティングプラットフォームを含む。

【0108】

本例示的な実施形態では、前記シグナリング処理モジュール１０１０は、次のステップ、すなわち、
前記端末デバイスにデータ受信アドレス情報を含むコール要求を送信するステップと、
前記コール要求に対する前記端末デバイスの応答情報を受信するステップであって、前記応答情報は、データ送信アドレス情報を含むステップと、

前記メディア処理モジュール１０２０に前記データ送信アドレス情報を送信し、前記データ受信アドレスに従って前記マルチメディアデータを受信するように、前記メディア処理モジュール１０２０に通知するステップと、
前記端末デバイスにセッション確立完了情報を送信するステップと
によって端末デバイスとメディア処理モジュール１０２０との間のセッションを確立する。

【0109】

本例示的な実施形態では、前記シグナリング処理モジュール１０１０は、さらに、
前記エッジコンピューティングノードに配置されたユーザープレーン機能エンティティで転送戦略を事前配置し、前記転送戦略は、受信ポートがプリセット範囲にあるマルチメディアデータを前記メディア処理モジュール１０２０に転送することを含み、前記データ受信アドレス情報は、前記プリセット範囲内のターゲット受信ポートを含む。

【0110】

本例示的な実施形態では、前記データ受信アドレス情報は、ターゲット受信ポートを含み、前記シグナリング処理モジュール１０１０は、前記メディア処理モジュール１０２０に前記データ送信アドレス情報を送信する前に、
前記エッジコンピューティングノードに配置されたユーザープレーン機能エンティティで転送戦略を配置し、前記転送戦略は、受信ポートが前記ターゲット受信ポートであるマルチメディアデータを前記メディア処理モジュール１０２０に転送することを含む。

【0111】

本例示的な実施形態では、前記シグナリング処理モジュール１０１０は、さらに、
前記セッションの終了後に、前記転送戦略を削除する。

【0112】

本例示的な実施形態では、前記装置は、前記転送戦略に応じて、前記端末デバイスにより送信されるマルチメディアデータを前記メディア処理モジュール１０２０に転送するためのユーザープレーン機能エンティティを含む。

【0113】

本例示的な実施形態では、前記セッションを制御するステップは、前記セッションの維持と前記セッションの終了を含む。

【0114】

本例示的な実施形態では、前記メディア処理モジュール１０２０は、次のステップ、すなわち、
前記マルチメディアデータを復号化して、復号化データを取得するステップと、
前記復号化データを計算分析し、構造化マルチメディアデータに変換するステップと
によって、前記マルチメディアデータを処理する。

【0115】

本例示的な実施形態では、前記メディア処理モジュール１０２０は、さらに、
前記構造化マルチメディアデータを前記リモートノードに送信する。

【0116】

上記のマルチメディアデータ処理装置における各モジュール又はユニットの具体的な詳細は、既に対応するマルチメディアデータ処理方法で詳細に説明したので、ここでは繰り返さない。

【0117】

なお、アクション実行装置の若干のモジュールまたはユニットが上記の詳細な説明で言及されているが、この分割は必須ではない。実際には、本出願の実施方式によれば、上記した２つ以上のモジュール又はユニットの特徴及び機能は、１つモジュール又はユニットに具現化されてもよい。逆に、上述のモジュールまたはユニットの特徴および機能は、具体化される複数のモジュールまたはユニットにさらに分割することができる。

【0118】

当業者は、明細書を参照し、本出願の発明を実施して、本出願の他の実施形態は容易に想到しえる。本出願は、本出願の任意の変形、用途、又は適応的変更をカバーすることを目的とする。これらの変形、用途、又は適応的変更は、本出願の一般の原則に従い、本出願に未開示の本技術分野における常識または従来の技術的手段を含む。明細書及び実施例は、単なる例示に過ぎず、本出願の範囲および精神は、以下の特許請求の範囲によって指定される。

【0119】

本出願は、上記で説明し、添付の図面に示した正確な構造に限定されず、その範囲から逸脱することなく、様々な修正および変更を行うことができる。本出願の範囲は、添付の特許請求の範囲によって制限される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】