IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 中国移動通信有限公司研究院の特許一覧 ▶ 中国移動通信集団有限公司の特許一覧

特許7581535IoT機器に基づく情報処理方法、関連機器及び記憶媒体
<>
  • 特許-IoT機器に基づく情報処理方法、関連機器及び記憶媒体 図1
  • 特許-IoT機器に基づく情報処理方法、関連機器及び記憶媒体 図2
  • 特許-IoT機器に基づく情報処理方法、関連機器及び記憶媒体 図3
  • 特許-IoT機器に基づく情報処理方法、関連機器及び記憶媒体 図4
  • 特許-IoT機器に基づく情報処理方法、関連機器及び記憶媒体 図5
  • 特許-IoT機器に基づく情報処理方法、関連機器及び記憶媒体 図6
  • 特許-IoT機器に基づく情報処理方法、関連機器及び記憶媒体 図7
  • 特許-IoT機器に基づく情報処理方法、関連機器及び記憶媒体 図8
  • 特許-IoT機器に基づく情報処理方法、関連機器及び記憶媒体 図9
  • 特許-IoT機器に基づく情報処理方法、関連機器及び記憶媒体 図10
  • 特許-IoT機器に基づく情報処理方法、関連機器及び記憶媒体 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-01
(45)【発行日】2024-11-12
(54)【発明の名称】IoT機器に基づく情報処理方法、関連機器及び記憶媒体
(51)【国際特許分類】
   G06F 11/30 20060101AFI20241105BHJP
   G06F 9/50 20060101ALI20241105BHJP
   G16Y 30/00 20200101ALI20241105BHJP
【FI】
G06F11/30 151
G06F9/50 150A
G06F11/30 140A
G16Y30/00
【請求項の数】 10
(21)【出願番号】P 2023547756
(86)(22)【出願日】2022-02-08
(65)【公表番号】
(43)【公表日】2024-03-19
(86)【国際出願番号】 CN2022075517
(87)【国際公開番号】W WO2022171083
(87)【国際公開日】2022-08-18
【審査請求日】2023-08-07
(31)【優先権主張番号】202110184830.4
(32)【優先日】2021-02-10
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】518389015
【氏名又は名称】中国移動通信有限公司研究院
【氏名又は名称原語表記】China Mobile Communication Co., Ltd Research Institute
【住所又は居所原語表記】32 Xuanwumen West Street, Xicheng District, Beijing 100053, China
(73)【特許権者】
【識別番号】518301095
【氏名又は名称】中国移動通信集団有限公司
(74)【代理人】
【識別番号】110001416
【氏名又は名称】弁理士法人信栄事務所
(72)【発明者】
【氏名】曲 薇
【審査官】円子 英紀
(56)【参考文献】
【文献】特表2015-503146(JP,A)
【文献】国際公開第2018/079439(WO,A1)
【文献】中国特許出願公開第111641621(CN,A)
【文献】中国特許出願公開第108021718(CN,A)
【文献】関 洋平,シュタイナー木によるAPIとIoTデバイスの組み合わせレコメンドシステム,ソフトウェアエンジニアリングシンポジウム2017論文集,情報処理学会,2017年08月23日,pp.58-66
(58)【調査した分野】(Int.Cl.,DB名)
G06F 11/30
G06F 9/50
G16Y 30/00
(57)【特許請求の範囲】
【請求項1】
IoT機器に基づく情報処理方法であって、
IoT機器を発見し、IoT機器の能力を検出することと、
各IoT機器に対して、対応するIoT機器の能力に基づいてIoT機器を対応するノードに抽象化することと、
抽象化されたノードに基づいてリソース知識グラフを生成することと、を含み、
前記ノードは、IoT機器の少なくとも一部の能力を表し、前記リソース知識グラフ内の辺は、隣接する2つのノード間の関係を表し、前記リソース知識グラフは、異性体IoT機器上の利用可能な能力を管理及び/又は調整するために用いられる、IoT機器に基づく情報処理方法。
【請求項2】
前記抽象化されたノードに基づいてリソース知識グラフを生成することは、
各ノードの特徴を決定し、複数のノード間の関係を決定することであって、前記特徴は、対応するノードに対応するIoT機器情報及びIoT機器の少なくとも一部の能力情報をディスクライブするために少なくとも用いられることと、
決定される特徴及びノード間の関係に基づいて、リソース知識グラフを生成することと、を含む
請求項1に記載の方法。
【請求項3】
前記リソース知識グラフ内の辺は、
2つのIoT機器間の通信関係と、
IoT機器上の少なくとも一部の能力間の関係と、のうちの少なくとも1つを代表する
請求項1に記載の方法。
【請求項4】
前記方法は、さらに、
IoT機器をモニタリングすることと、
IoT機器に変化が発生したことをモニタリングする場合、モニタリングされるIoT機器の変化状況に基づいて、前記リソース知識グラフを更新することと、を含む
請求項1から3のいずれか1項に記載の方法。
【請求項5】
前記IoT機器に変化が発生したことをモニタリングすることは、
新たなIoT機器を発見することと、
ネットワークへのIoT機器の接続が切断されることをモニタリングすることと、
IoT機器のコンピューティング能力の変化をモニタリングすることと、
IoT機器の記憶能力の変化をモニタリングすることと、
IoT機器間の関係の変化をモニタリングすることと、
IoT機器上の少なくとも一部の能力間の関係の変化をモニタリングすることと、のうちの少なくとも1つを含む
請求項4に記載の方法。
【請求項6】
前記方法は、さらに、
処理対象タスクを取得することと、
前記リソース知識グラフに基づいて、少なくとも1つのノードを前記処理対象タスクに割り当てることと、を含み、
前記少なくとも1つのノードは、前記処理対象タスクを実行するために用いられる
請求項1から3のいずれか1項に記載の方法。
【請求項7】
前記リソース知識グラフに基づいて、少なくとも1つのノードを前記処理対象タスクに割り当てることは、
前記処理対象タスクのリソース要件を決定することと、
前記リソース知識グラフから前記リソース要件とマッチングする少なくとも1つのノードを決定することと、を含み、
前記リソース要件は、前記処理対象タスクを実行するために必要なリソース、即ち
コンピューティングリソースと、
記憶リソースと、
通信リソースと、のうちの少なくとも1つを表す
請求項6に記載の方法。
【請求項8】
前記リソース知識グラフから前記リソース要件とマッチングする少なくとも1つのノードを決定することは、
前記リソース知識グラフ内の各ノードの特徴及びノード間の関係に基づいて、前記リソース要件を検索することと、
検索結果に基づいて前記リソース要件とマッチングする少なくとも1つのノードを決定することと、を含む
請求項7に記載の方法。
【請求項9】
電子機器であって、
プロセッサと、プロセッサで実行可能なコンピュータプログラムを記憶するように構成されるメモリと、を含み、
ここで、前記プロセッサは、前記コンピュータプログラムを実行するとき、請求項1から8のいずれか1項に記載の方法のステップを実行するように構成される、電子機器。
【請求項10】
コンピュータプログラムが記憶されている記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行されるとき、請求項1から8のいずれか1項に記載の方法のステップを実現させる、記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本開示は、出願番号が202110184830.4、出願日が2021年02月10日である中国特許出願に基づいて提出され、該中国特許出願に基づく優先権を主張し、該中国特許出願の全ての内容が参照によって本開示に組み込まれる。
【0002】
本開示は、アイオーティー(IoT、Internet of Things)分野に関し、特にIoT機器に基づく情報処理方法、装置、システム、電子機器及び記憶媒体に関する。
【背景技術】
【0003】
ネットワークのエッジ側でデータ処理を行うコンピューティング手法として、エッジコンピューティングは、ますます注目されており、特にアイオーティー分野ではクラウドコンピューティングに続く新たな研究の焦点となっている。クラウドコンピューティングと比較して、エッジコンピューティングは、大量のユーザ生データをクラウドデータセンターに伝送する必要がないため、エッジコンピューティングは、データ処理過程における遅延、信頼性、エネルギー消費、通信帯域幅消費、ユーザプライバシー、セキュリティなどの問題を解決し、データ処理遅延及びユーザプライバシーなどの要求に敏感な(即ち、要求が高い)人工知能(AI、Artificial Intelligence)に基づく適用シーン(例えばスマートホームシーン)には大きな価値と広い適用見通しがある。
【0004】
しかしながら、AIに基づく適用シーンを実現するための知能アプリケーション及び/又はサービスは、一般的に、コンピューティング能力及び/又は記憶空間に対する要求が高くてコンピューティング集約的なコンピューティングタスクを実行する必要があり、これは、リソースに制約があり(即ち、コンピューティング能力及び/又は記憶空間が限られ)且つ異性化が高いエッジ側に大きな課題をもたらす。つまり、リソースに制約があり且つ異性化が高いIoT機器をどのように活用してコンピューティングタスクを実行するかが、解決すべき緊急の課題となっている。
【発明の概要】
【発明が解決しようとする課題】
【0005】
関連技術による問題を解決するために、本開示の実施例は、IoT機器に基づく情報処理方法、装置、システム、電子機器及び記憶媒体を提供する。
【課題を解決するための手段】
【0006】
本開示の実施例の技術的解決手段は、以下のように実現する。
【0007】
本開示の実施例は、IoT機器に基づく情報処理方法を提供し、前記方法は、
IoT機器を発見し、IoT機器の能力を検出することと、
各IoT機器に対して、対応するIoT機器の能力に基づいてIoT機器を対応するノードに抽象化することと、
抽象化されたノードに基づいてリソース知識グラフを生成することと、を含み、
前記ノードは、IoT機器の少なくとも一部の能力を表し、前記リソース知識グラフ内の辺は、隣接する2つのノード間の関係を表し、前記リソース知識グラフは、異性体IoT機器上の利用可能な能力を管理及び/又は調整するために用いられる。
【0008】
本開示の一部の選択可能な実施例では、前記利用可能な能力は、
コンピューティング能力と、
記憶能力と、
通信能力と、のうちの少なくとも1つを含む。
【0009】
本開示の一部の選択可能な実施例では、前記抽象化されたノードに基づいてリソース知識グラフを生成することは、
各ノードの特徴を決定し、複数のノード間の関係を決定することであって、前記特徴は、対応するノードに対応するIoT機器情報及びIoT機器の少なくとも一部の能力情報をディスクライブ(describe)するために少なくとも用いられることと、
決定される特徴及びノード間の関係に基づいて、リソース知識グラフを生成することと、を含む。
【0010】
本開示の一部の選択可能な実施例では、前記リソース知識グラフ内の辺は、
2つのIoT機器間の通信関係と、
IoT機器上の少なくとも一部の能力間の関係と、のうちの少なくとも1つを代表する。
【0011】
本開示の一部の選択可能な実施例では、前記方法は、さらに、
IoT機器をモニタリングすることと、
IoT機器に変化が発生したことをモニタリングする場合、モニタリングされるIoT機器の変化状況に基づいて、前記リソース知識グラフを更新することと、を含む。
【0012】
本開示の一部の選択可能な実施例では、前記IoT機器に変化が発生したことをモニタリングすることは、
新たなIoT機器を発見することと、
ネットワークへのIoT機器の接続が切断されることをモニタリングすることと、
IoT機器のコンピューティング能力の変化をモニタリングすることと、
IoT機器の記憶能力の変化をモニタリングすることと、
IoT機器間の関係の変化をモニタリングすることと、
IoT機器上の少なくとも一部の能力間の関係の変化をモニタリングすることと、のうちの少なくとも1つを含む。
【0013】
本開示の一部の選択可能な実施例では、前記方法は、さらに、
処理対象タスクを取得することと、
前記リソース知識グラフに基づいて、少なくとも1つのノードを前記処理対象タスクに割り当てることと、を含み、
前記少なくとも1つのノードは、前記処理対象タスクを実行するために用いられる。
【0014】
本開示の一部の選択可能な実施例では、前記リソース知識グラフに基づいて、少なくとも1つのノードを前記処理対象タスクに割り当てることは、
前記処理対象タスクのリソース要件を決定することと、
前記リソース知識グラフから前記リソース要件とマッチングする少なくとも1つのノードを決定することと、を含み、
前記リソース要件は、前記処理対象タスクを実行するために必要なリソース、即ち
コンピューティングリソースと、
記憶リソースと、
通信リソースと、のうちの少なくとも1つを表す。
【0015】
本開示の一部の選択可能な実施例では、前記リソース知識グラフから前記リソース要件とマッチングする少なくとも1つのノードを決定することは、
前記リソース知識グラフ内の各ノードの特徴及びノード間の関係に基づいて、前記リソース要件を検索することと、
検索結果に基づいて前記リソース要件とマッチングする少なくとも1つのノードを決定することと、を含む。
【0016】
本開示の実施例は、さらに、IoT機器に基づく情報処理装置を提供し、前記装置は、
IoT機器を発見し、IoT機器の能力を検出するように構成される検出ユニットと、
各IoT機器に対して、対応するIoT機器の能力に基づいてIoT機器を対応するノードに抽象化するように構成される第1処理ユニットと、
抽象化されたノードに基づいてリソース知識グラフを生成するように構成される第2処理ユニットと、を含み、
前記ノードは、IoT機器の少なくとも一部の能力を表し、前記リソース知識グラフ内の辺は、隣接する2つのノード間の関係を表し、前記リソース知識グラフは、異性体IoT機器上の利用可能な能力を管理及び/又は調整するために用いられる。
【0017】
本開示の実施例は、さらに、IoT機器に基づく情報処理システムを提供し、前記システムは、
IoT機器を発見し、IoT機器の能力を検出するように構成される第1機能コンポーネントと、
各IoT機器に対して、対応するIoT機器の能力に基づいてIoT機器を対応するノードに抽象化し、そして、抽象化されたノードに基づいてリソース知識グラフを生成するように構成される第2機能コンポーネントと、を含み、
ここで、前記第1機能コンポーネントと前記第2機能コンポーネントは、2つの電子機器に設けられている。
【0018】
本開示の実施例は、さらに、電子機器を提供し、前記電子機器は、プロセッサと、プロセッサで実行可能なコンピュータプログラムを記憶するように構成されるメモリと、を含み、
ここで、前記プロセッサは、前記コンピュータプログラムを実行するとき、上記いずれか1つの方法のステップを実行するように構成される。
【0019】
本開示の実施例は、さらに、記憶媒体を提供し、前記記憶媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサによって実行されるとき、上記いずれか1つの方法のステップを実現する。
【発明の効果】
【0020】
本開示の実施例に係るIoT機器に基づく情報処理方法、装置、システム、電子機器及び記憶媒体によれば、IoT機器を発見し、IoT機器の能力を検出し、各IoT機器に対して、対応するIoT機器の能力に基づいてIoT機器を対応するノードに抽象化し、そして、抽象化されたノードに基づいてリソース知識グラフを生成し、前記ノードは、IoT機器の少なくとも一部の能力を表し、前記リソース知識グラフ内の辺は、隣接する2つのノード間の関係を表し、前記リソース知識グラフは、異性体IoT機器上の利用可能な能力を管理及び/又は調整するために用いられる。本開示の実施例の手段によれば、IoT機器及びその能力(即ちIoT機器のアイドルリソース)に対して知能的な感知を実行しており、仮想化及びソフトウェア定義技術を通じて、感知する能力に基づいてIoT機器を対応するノードに抽象化し、そして抽象化されたノードに基づいてリソース知識グラフを生成し、生成されたリソース知識グラフは、異性体IoT機器上の利用可能な能力に対する管理及び/又は調整を実現するために使用可能であり、このように、リソース知識グラフに基づいて、リソースに制約があり且つ異性化が高いIoT機器に対して効率的な管理及び柔軟なスケジューリングを行うことができ、AIに基づく適用シーンでのエッジコンピューティングを実現する(即ち、コンピューティング集約的なコンピューティングタスクを実現する)ために前提条件を提供することができ、さらに、ユーザは、パーソナルプライバシーに関わるデータをクラウドデータセンターに伝送する必要がなくなり、プライバシー保護が強化され、伝送遅延が減少し、ユーザ体験が向上する。
【図面の簡単な説明】
【0021】
図1】本開示の実施例に係る情報処理方法のフローの模式図である。
図2】アイオーティーのエッジインフラストラクチャの模式図である。
図3】本開示の適用実施例に係るリソース感知及び管理プラットフォームがIoT機器を管理するシステム構造の模式図である。
図4】本開示の適用実施例に係るサービス能力抽象化モジュールの適用シーンの模式図である。
図5】本開示の適用実施例に係るリソース知識グラフ構筑モジュールの模式図である。
図6】本開示の適用実施例に係るリソース感知及び管理プラットフォームの適用シーンの模式図である。
図7】本開示の適用実施例に係るリソース感知及び管理プラットフォームとIoT機器とのインタラクションのフローの模式図である。
図8】本開示の適用実施例に係るリソース感知及び管理プラットフォームとコンピューティングタスクサーバとのインタラクションのフローの模式図である。
図9】本開示の実施例に係る情報処理装置の構造の模式図である。
図10】本開示の実施例に係る電子機器の構造の模式図である。
図11】本開示の実施例に係る情報処理システムの構造の模式図である。
【発明を実施するための形態】
【0022】
以下、添付図面及び実施例を参照しながら本開示についてさらに詳細に説明する。
【0023】
IoT機器の数及び知能化の程度が急速に増加するにつれて、リソースに制約があり且つ異性化が高いIoT機器を十分に利用するために、広く分布するIoT機器上のアイドルリソースを利用し、リソース共有と機器コラボレーションを通じて分散型の方式でコンピューティング集約的なコンピューティングタスクを並行して実行することが考えられる。実際の適用に際して、異性体IoT機器リソースの知能的な感知及び統一的な管理を実現することは、異性体IoT機器を十分に利用する前提である。
【0024】
これに基づき、本開示の様々な実施例では、IoT機器及びその能力(即ちIoT機器のアイドルリソース)に対して知能的な感知を実行しており、仮想化及びソフトウェア定義技術を通じて、感知する能力に基づいてIoT機器を対応するノードに抽象化し、そして抽象化されたノードに基づいてリソース知識グラフを生成し、生成されたリソース知識グラフは、異性体IoT機器上の利用可能な能力に対する管理及び/又は調整を実現するために使用可能であり、このように、リソース知識グラフに基づいて、リソースに制約があり且つ異性化が高いIoT機器に対して効率的な管理及び柔軟なスケジューリングを行うことができ、AIに基づく適用シーンでのエッジコンピューティングを実現する(即ち、コンピューティング集約的なコンピューティングタスクを実現する)ために前提条件を提供することができ、さらに、ユーザは、パーソナルプライバシーに関わるデータをクラウドデータセンターに伝送する必要がなくなり、プライバシー保護が強化され、伝送遅延が減少し、ユーザ体験が向上する。
【0025】
本開示の実施例は、IoT機器に基づく情報処理方法を提供し、図1に示すように、該方法は、ステップ101~ステップ103を含む。
【0026】
ステップ101において、IoT機器を発見し、IoT機器の能力を検出する。
【0027】
ステップ102において、各IoT機器に対して、対応するIoT機器の能力に基づいてIoT機器を対応するノードに抽象化する。
【0028】
ステップ103において、抽象化されたノードに基づいてリソース知識グラフ(リソース図又はリソースの知識図とも呼ばれる)を生成する。
【0029】
ここで、前記ノードは、IoT機器の少なくとも一部の能力を表し、前記リソース知識グラフ内の辺は、隣接する2つのノード間の関係(隣接する2つのノード間の関連関係(Association Relationship)とも呼ばれる)を表し、前記関係は、通信関係と従属関係を含むことができ、前記通信関係について、隣接する2つのノード間の情報伝送レート及び伝送遅延などの通信強度を表し得る情報を含むように具現化することができ、前記リソース知識グラフは、異性体IoT機器上の利用可能な能力を管理(Management)及び/又は調整(Orchestration)するために用いられる。
【0030】
実際の適用に際して、本開示の実施例のIoT機器は、異性体IoT機器であってもよい。ここで、異性体IoT機器とは、複数のIoT機器及びサーバを含むネットワークにおいて、1つのIoT機器のハードウェアと別のIoT機器のハードウェアは、異なり、及び/又は、1つのIoT機器のサーバと別のIoT機器のサーバは、異なる、ことを意味する。ここで、1つのIoT機器のハードウェアと別のIoT機器のハードウェアが異なることは、1つのIoT機器の中央プロセッサ(CPU、Central Processing Unit)、グラフィックスプロセッサ(GPU、Graphics Processing Unit)、バスインターフェースチップ(BIC、Bus Interface Chip)、デジタル信号プロセッサ(DSP、Digital Signal Processor)などの処理系ハードウェア又はランダムアクセスメモリ(RAM、Random Access Memory)、読み取り専用メモリ(ROM、Read Only Memory)などの記憶系ハードウェアのモデルと、別のIoT機器のハードウェアのモデルとが異なることを意味する。1つのIoT機器のサーバと別のIoT機器のサーバが異なることは、1つのIoT機器に対応するバックエンドプログラムと、別のIoT機器に対応するバックエンドプログラムとが異なり、又は、1つのIoT機器のオペレーティングシステムと、別のIoT機器のオペレーティングシステムとが異なることを意味し、つまり、2つのIoT機器同士は、ソフトウェアで相違点が存在する。
【0031】
実際の適用に際して、前記IoT機器は、携帯電話、パーソナルコンピュータ(PC、Personal Computer)、ウェアラブルスマートデバイス、スマートゲートウェイ、コンピューティングボックスなどを含むことができ、前記PCは、デスクトップ、ノートパソコン、タブレットなどを含むことができ、前記ウェアラブルスマートデバイスは、スマートウォッチ、スマートメガネなどを含むことができる。
【0032】
実際の適用に際して、本開示の実施例の情報処理方法は、サーバなどの電子機器に適用することができる。
【0033】
ステップ101では、実際の適用に際して、前記IoT機器を発見することは、エッジネットワークにおけるIoT機器を感知することとも呼ばれることができる。前記エッジネットワークは、電気通信ネットワークのエッジ(エッジネットワークは、コンバージェンス層ネットワーク及びアクセス層ネットワークの一部又は全部を含むものであって、ユーザにアクセスする最後の1部分のネットワークである)を指す。ここで、前記発見又は感知は、検出と理解することもできる。例えば、電子機器(具体的にはサーバであってもよい)は、動的ホスト構成プロトコル(DHCP、Dynamic Host Configuration Protocal)に基づいて、ゼロ構成ネットワーキング(ZEROCONF、ZERO CONFiguration networking)技術を用いてエッジネットワークにおけるIoT機器を検出することができる。もちろん、ニーズに応じて、前記電子機器が他の方式を用いてIoT機器を発見又は感知するように設定してもよく、本開示の実施例は、これに限定されない。
【0034】
IoT機器を発見した後、前記電子機器は、対応するIoT機器との情報インタラクションを介して、対応するIoT機器の能力を検出することができる。例示的に、前記電子機器は、能力要求メッセージを対応するIoT機器に送信し、対応するIoT機器が前記能力要求メッセージに対する返信したメッセージに基づいて、対応するIoT機器の能力を決定することができる。
【0035】
ここで、IoT機器の能力は、
コンピューティング能力と、
記憶能力と、のうちの少なくとも1つを含み得る。
【0036】
ここで、前記IoT機器の能力は、IoT機器のサービス能力を指し、対応するIoT機器のリソースと理解することができる。それに応じて、IoT機器の少なくとも一部の能力は、IoT機器の少なくとも一部のリソースと理解することができ、IoT機器上の利用可能な能力は、IoT機器上の利用可能なリソース、即ちアイドルリソース(アイドル能力、空き能力又は空きリソースとも呼ばれる)と理解することができる。つまり、コンピューティング能力は、対応するIoT機器が利用可能なコンピューティングリソースであり、記憶能力は、対応するIoT機器が利用可能な記憶リソース(即ち記憶空間)である。
【0037】
また、ノード間の通信関係を具現化するためには、ノード間の通信が必要である。
【0038】
これに基づいて、リソース知識グラフにおいて、異性体IoT機器上の利用可能な能力は、
コンピューティング能力と、
記憶能力と、
通信能力と、のうちの少なくとも1つを含み得る。
【0039】
ここで、前記通信能力は、2つのノード間の通信強度と理解することができ、例えば、エッジネットワークから提供されるIoT機器間通信のための帯域幅リソース、情報伝送速度(即ち伝送レート)、伝送遅延などが挙げられる。また例えば、IoT機器のある部分の能力と別の部分の能力との間の伝送レート、伝送遅延などが挙げられる。
【0040】
ステップ102において、ソフトウェア定義技術を用いてエンティティのIoT機器を仮想化されたノードに抽象化し、前記ノードは、対応するIoT機器の能力情報を含み得る。IoT機器の異なる能力に応じて、異なるノードに抽象化することができる。具体的には、以下のとおりである。
【0041】
対応するIoT機器のコンピューティング能力及び記憶能力に基づいて、エンティティのIoT機器を仮想化された機器ノードに抽象化することができる。前記機器ノードは、対応するIoT機器のコンピューティング能力情報及び記憶能力情報を含み得る。つまり、前記機器ノードは、対応するIoT機器のコンピューティング能力及び記憶能力を代表することができる。
【0042】
対応するIoT機器のコンピューティング能力に基づいて、エンティティのIoT機器を細粒度で仮想化されたコンピューティングノードに抽象化することができる。前記コンピューティングノードは、対応するIoT機器のコンピューティング能力情報を含み得る。つまり、前記コンピューティングノードは、対応するIoT機器のコンピューティング能力を代表することができる。
【0043】
対応するIoT機器の記憶能力に基づいて、エンティティのIoT機器を細粒度で仮想化された記憶ノードに抽象化することができる。前記記憶ノードは、対応するIoT機器の記憶能力情報を含み得る。つまり、前記記憶ノードは、対応するIoT機器の記憶能力を代表することができる。
【0044】
これにより、ステップ102では、代表される対応するIoT機器の異なる能力に基づいて、抽象化されたノードの種類は、機器ノード、コンピューティングノード及び記憶ノードを含み得る。実際の適用に際して、1つのIoT機器について、抽象化されたノードは、機器ノード、コンピューティングノード及び記憶ノードのうちの少なくとも1つ含み得る。
【0045】
それに応じて、2つのノード間の関係は、以下の関係1)~6)のうちの少なくとも1つを含み得る。
【0046】
1)1つの機器ノードと別の機器ノードとの間の通信関係であって、それは、1つのIoT機器と別のIoT機器との間の通信強度を代表する。
【0047】
2)1つの機器ノードと1つのコンピューティングノードとの間の従属関係であって、それは、1つのIoT機器と自体の少なくとも一部のコンピューティング能力との間の従属関係を代表する。
【0048】
3)1つの機器ノードと1つの記憶ノードとの間の従属関係であって、それは、1つのIoT機器と自体の少なくとも一部の記憶能力との間の従属関係を代表する。
【0049】
4)1つのコンピューティングノードと1つの記憶ノードとの間の通信関係であって、それは、同一のIoT機器の少なくとも一部のコンピューティング能力と少なくとも一部の記憶能力との間の通信強度、又は、1つのIoT機器の少なくとも一部のコンピューティング能力と別のIoT機器の少なくとも一部の記憶能力との間の通信強度を代表する。
【0050】
5)1つのコンピューティングノードと別のコンピューティングノードとの間の通信関係であって、それは、同一のIoT機器の少なくとも一部のコンピューティング能力との間の通信強度、又は、1つのIoT機器の少なくとも一部のコンピューティング能力と別のIoT機器の少なくとも一部のコンピューティング能力との間の通信強度を代表する。
【0051】
6)1つの記憶ノードと別の記憶ノードとの間の通信関係であって、それは、同一のIoT機器の少なくとも一部の記憶能力との間の通信強度、又は、1つのIoT機器の少なくとも一部の記憶能力と別のIoT機器の少なくとも一部の記憶能力との間の通信強度を代表する。
【0052】
ステップ103について、1つの実施例では、前記抽象化されたノードに基づいてリソース知識グラフを生成することは、
各ノードの特徴を決定し、複数のノード間の関係を決定することであって、前記特徴は、対応するノードに対応するIoT機器情報及びIoT機器の少なくとも一部の能力情報をディスクライブするために少なくとも用いられることと、
決定される特徴及びノード間の関係に基づいて、リソース知識グラフを生成することと、を含み得る。
【0053】
ここで、実際の適用に際して、ノードの特徴は複数含まれるため、前記特徴は、特徴ベクトル、特徴セット又は特徴集合と呼ぶこともできる。前記特徴が複数のデスクリプション(description)情報(即ち、対応するノードに対応するIoT機器情報及びIoT機器の少なくとも一部の能力情報)を含むため、前記特徴は、情報、情報セット又は情報集合と呼ぶこともできる。実際の適用に際して、ノードの特徴は、オントロジーデスクリプションモデル(Ontology Description Model)の特徴付けに使用することができる。前記オントロジーデスクリプションモデルは、エンティティデスクリプションモデルと呼ぶこともできる。
【0054】
ここで、対応するノードに対応するIoT機器情報は、機器アイデンティティ識別子(ID)、機器タイプ、機器位置、機器状態、機器インターネットプロトコル(IP)アドレス、機器機能、機器所有者、機器インターフェースなどの情報を含み得る。前記機器状態は、オン(On)状態、オフ(Off)状態及び異常(Fault)状態を含み得る。対応するノードに対応するIoT機器の少なくとも一部の能力情報は、対応するIoT機器のコンピューティング能力情報及び/又は対応するIoT機器の記憶能力情報を含み得る。ここで、前記コンピューティング能力情報は、CPU、GPU、フィールドプログラマブルゲートアレイ(FPGA、Field-Programmable Gate Array)、DSPなどの利用可能なコンピューティングリソース情報を含み得る。前記記憶能力情報は、揮発性メモリ(例えば磁気ランダムアクセスメモリ(FRAM(登録商標)、Ferromagnetic Random Access Memory))、不揮発性メモリ(例えばRAM)などの利用可能なメモリリソース情報を含み得る。
【0055】
実際の適用に際して、抽象化されたノードについて各ノードの特徴を決定した後、関係のあるノードを接続する必要があり、つまり、2つのノード間の辺を決定してリソース知識グラフを生成する。
【0056】
ここで、前記リソース知識グラフ内の辺は、
2つのIoT機器間の通信関係と、
IoT機器上の少なくとも一部の能力間の関係と、のうちの少なくとも1つを代表し得る。
【0057】
ここで、2つのIoT機器間の通信関係は、2つのIoT機器間の通信強度と理解することができ、2つのIoT機器間に通信が行われる帯域幅、情報伝送速度、伝送遅延などの通信状況をディスクライブするために用いられる。前記情報伝送速度は、情報伝送レートとも呼ばれる。
【0058】
IoT機器上の少なくとも一部の能力間の関係は、
1つのIoT機器上の少なくとも一部の能力と同一のIoT機器の他の能力との間の通信関係と、
1つのIoT機器上の少なくとも一部の能力と別のIoT機器上の少なくとも一部の能力との間の通信関係と、
1つのIoT機器上の全部の能力と同一のIoT機器の一部の能力との間の従属関係と、のうちの少なくとも1つを含み得る。
【0059】
具体的には、2つのIoT機器間で有線通信又は無線通信が可能であることを感知する(即ち、検出する)場合、電子機器は、2つのIoT機器間に通信関係があり、即ち、対応する2つの機器ノード間に関係があると決定できる。
【0060】
第1IoT機器の第1プロセッサと第2IoT機器の第1メモリとの間に有線通信又は無線通信が存在することを感知する(即ち、検出する)場合、電子機器は、前記第1プロセッサと前記第1メモリとの間に通信関係があり、即ち、第1プロセッサに対応する第1コンピューティングノードと第1メモリに対応する第1記憶ノードとの間に関係があると決定できる。
【0061】
第1IoT機器の第2プロセッサと第1IoT機器の第2メモリとの間に通信が存在することを感知する(即ち、検出する)場合、電子機器は、前記第2プロセッサと前記第2メモリとの間に通信関係があり、即ち、第2プロセッサに対応する第2コンピューティングノードと第2メモリに対応する第2記憶ノードとの間に関係があると決定できる。
【0062】
第1IoT機器の第3プロセッサと第2IoT機器の第4プロセッサとの間に通信が存在することを感知する(即ち、検出する)場合、電子機器は、前記第3プロセッサと前記第4プロセッサとの間に通信関係があり、即ち、第3プロセッサに対応する第3コンピューティングノードと第4プロセッサに対応する第4コンピューティングノードとの間に関係があると決定できる。
【0063】
第1IoT機器の第3メモリと第2IoT機器の第4メモリとの間に通信が存在することを感知する(即ち、検出する)場合、電子機器は、前記第3メモリと前記第4メモリとの間に通信関係があり、即ち、第3メモリに対応する第3記憶ノードと第4メモリに対応する第4記憶ノードとの間に関係があると決定できる。
【0064】
第1IoT機器の第5プロセッサと第6プロセッサとの間に通信が存在することを感知する(即ち、検出する)場合、電子機器は、前記第5プロセッサと前記第6プロセッサとの間に通信関係があり、即ち、第5プロセッサに対応する第5コンピューティングノードと第6プロセッサに対応する第6コンピューティングノードとの間に関係があると決定できる。
【0065】
第2IoT機器の第5メモリと第6メモリとの間に通信が存在することを感知する(即ち、検出する)場合、電子機器は、前記第5メモリと前記第6メモリとの間に通信関係があり、即ち、第5メモリに対応する第5記憶ノードと第6メモリに対応する第6記憶ノードとの間に関係があると決定できる。
【0066】
1つのIoT機器及び該IoT機器のコンピューティング能力を感知する(即ち、検出する)場合、電子機器は、感知したIoT機器とコンピューティング能力との間に従属関係が存在し、即ち、対応する1つの機器ノードと少なくとも1つのコンピューティングノードとの間に関係があると決定できる。実際の適用に際して、このような関係を明示的に「辺」の形でリソース知識グラフに具現化するかどうかを選択し得る。
【0067】
1つのIoT機器及び該IoT機器の記憶能力を感知する(即ち、検出する)場合、電子機器は、感知したIoT機器と記憶能力との間に従属関係が存在し、即ち、対応する1つの機器ノードと少なくとも1つの記憶ノードとの間に関係があると決定できる。実際の適用に際して、このような関係を明示的に「辺」の形でリソース知識グラフに具現化するかどうかを選択し得る。
【0068】
実際の適用に際して、IoT機器の能力及びIoT機器間の関係は、動的に変化するものであるため、仮想化されたリソース知識グラフに対応する情報を、エンティティのIoT機器に対応する情報と一致するように保持して、リソース知識グラフの正確性を向上させるために、IoT機器の変化をモニタリングし、リソース知識グラフをIoT機器の変化に伴って動的に更新する必要がある。
【0069】
これに基づき、1つの実施例では、前記方法は、さらに、
IoT機器をモニタリングすることと、
IoT機器に変化が発生したことをモニタリングする場合、モニタリングされるIoT機器の変化状況に基づいて、前記リソース知識グラフを更新することと、を含み得る。
【0070】
実際の適用に際して、IoT機器のモニタリング方式は、ニーズに応じて設定されてもよく、本開示の実施例は、これに限定されない。例えば、周期的ポーリングにより、IoT機器の変化をモニタリングすることができる。
【0071】
ここで、前記IoT機器に変化が発生したことをモニタリングすることは、
新たなIoT機器を発見することと、
ネットワークへのIoT機器の接続が切断されることをモニタリングすることと、
IoT機器のコンピューティング能力の変化をモニタリングすることと、
IoT機器の記憶能力の変化をモニタリングすることと、
IoT機器間の関係の変化をモニタリングすることと、
IoT機器上の少なくとも一部の能力間の関係の変化をモニタリングすることと、のうちの少なくとも1つを含み得る。
【0072】
ここで、新たなIoT機器を発見した場合、前記リソース知識グラフを更新することは、
発見した新たなIoT機器の能力を検出することと、
検出した新たなIoT機器の能力に基づき、前記新たなIoT機器を対応するノードに抽象化することであって、前記ノードは、機器ノード、コンピューティングノード及び記憶ノードのうちの少なくとも1つを含むことと、
少なくとも1つの新たなノードのうちの各ノードの特徴を決定し、前記新たなIoT機器と他のIoT機器との間の関係を検出することと、
検出した前記新たなIoT機器と他のIoT機器との間の関係に基づき、少なくとも1つの新たなノードと他のノードの関係を決定することと、
決定した少なくとも1つの新たなノードのうちの各ノードの特徴、及び、決定した少なくとも1つの新たなノードと他のノードの関係に基づき、前記少なくとも1つの新たなノードと他のノードを接続して、前記リソース知識グラフを更新することと、を含み得る。
【0073】
ネットワークへのIoT機器の接続が切断されることをモニタリングした場合、前記リソース知識グラフを更新することは、
前記リソース知識グラフ内の、ネットワークへの接続が切断されたIoT機器に対応するノードを決定することであって、前記ノードは、機器ノード、コンピューティングノード及び記憶ノードのうちの少なくとも1つを含むことと、
前記ネットワークへの接続が切断されたIoT機器と他のIoT機器との間の関係の変化を検出し、前記ネットワークへの接続が切断されたIoT機器の能力と他のIoT機器の能力との間の関係の変化を検出することと、
検出した前記ネットワークへの接続が切断されたIoT機器と他のIoT機器との間の関係の変化、及び、検出した前記ネットワークへの接続が切断されたIoT機器の能力と他のIoT機器の能力との間の関係の変化に基づき、前記リソース知識グラフ内の、前記ネットワークへの接続が切断されたIoT機器に対応する少なくとも1つのノードと他のノードの関係を更新することと、
前記ネットワークへの接続が切断されたIoT機器と他のIoT機器との間の通信接続が切断され、且つ、前記ネットワークへの接続が切断されたIoT機器の能力と他のIoT機器の能力との間の通信接続も切断されると決定した場合、前記リソース知識グラフから、前記リソース知識グラフ内の、前記ネットワークへの接続が切断されたIoT機器に対応する少なくとも1つのノードを削除することと、を含み得る。
【0074】
IoT機器のコンピューティング能力の変化をモニタリングした場合、前記リソース知識グラフを更新することは、
モニタリングしたコンピューティング能力の変化に基づき、前記リソース知識グラフ内の、対応するIoT機器に対応する少なくとも1つのノードのうちの各ノードの特徴を更新することと、
モニタリングしたコンピューティング能力の変化に基づき、対応する機器ノードとコンピューティングノードとの間の関係を更新することと、
モニタリングしたコンピューティング能力の変化に基づき、対応するコンピューティングノードと他の能力ノード(リソースノードと呼ぶこともでき、コンピューティングノード及び記憶ノードを含む)との間の関係を更新することと、のうちの少なくとも1つを含み得る。
【0075】
IoT機器の記憶能力の変化をモニタリングした場合、前記リソース知識グラフを更新することは、
モニタリングした記憶能力の変化に基づき、前記リソース知識グラフ内の、対応するIoT機器に対応する少なくとも1つのノードのうちの各ノードの特徴を更新することと、
モニタリングした記憶能力の変化に基づき、対応する機器ノードと記憶ノードとの間の関係を更新することと、
モニタリングした記憶能力の変化に基づき、対応する記憶ノードと他の能力ノード(リソースノードと呼ぶこともでき、コンピューティングノード及び記憶ノードを含む)との間の関係を更新することと、のうちの少なくとも1つを含み得る。
【0076】
IoT機器間の関係の変化をモニタリングすることは、IoT機器間の通信強度の変化をモニタリングすることを含み得る。この場合、前記リソース知識グラフを更新することは、
前記リソース知識グラフ内の、前記IoT機器に対応する少なくとも2つのノード決定することと、
モニタリングしたIoT機器間の通信強度の変化に基づき、前記少なくとも2つのノード間の関係の変化を決定することと、
前記少なくとも2つのノード間の関係の変化に基づき、前記リソース知識グラフを更新することと、を含み得る。
【0077】
IoT機器上の少なくとも一部の能力間の関係の変化をモニタリングすることは、
1つのIoT機器上の少なくとも一部の能力と同一のIoT機器の他の能力との間の通信強度の変化をモニタリングすることと、
通信関係のある1つのIoT機器上の少なくとも一部の能力と別のIoT機器上の少なくとも一部の能力との間の通信強度の変化をモニタリングすることと、
1つのIoT機器上の全部の能力と同一のIoT機器の一部の能力との間の従属関係の変化をモニタリングすることと、のうちの少なくとも1つを含み得る。
【0078】
それに応じて、前記リソース知識グラフを更新することは、モニタリングしたIoT機器上の少なくとも一部の能力間の関係の変化に基づき、対応する2つのノード間の関係の変化を決定し、前記少なくとも2つのノード間の関係の変化に基づき、前記リソース知識グラフを更新することを含み得る。
【0079】
ステップ103では、実際の適用に際して、前記異性体IoT機器上の利用可能な能力(即ち、アイドルリソース)を管理することについて、複数の異性体IoT機器及び各IoT機器に対して統一的な構造化表現と有機的な結合を行うことにより、エンティティハードウェアの異性化によるリソース共有の障壁を打破し、このように、システムは、環境におけるIoT機器、IoT機器の能力、IoT機器間の関係及びIoT機器上の少なくとも一部の能力間の関係をグローバルに制御することができると理解できる。
【0080】
前記異性体IoT機器上の利用可能な能力を調整することについて、リソース知識グラフに基づいてIoT機器を効率的にスケジューリングし、つまり、IoT機器、IoT機器の能力、IoT機器間の関係、IoT機器上の少なくとも一部の能力間の関係、及び、処理対象タスクの能力要件とリソース知識グラフから提供される利用可能な能力との間のマッチング関係に基づいて、異なるIoT機器及びその能力を合理的にスケジューリングすることにより、リソースに対するタスク要件を満たし、最終的にタスク全体の効率的な実行を完了させると理解できる。
【0081】
これに基づき、1つの実施例では、前記方法は、さらに、
処理対象タスクを取得することと、
前記リソース知識グラフに基づいて、少なくとも1つのノードを前記処理対象タスクに割り当てることと、を含むことができ、
前記少なくとも1つのノードは、前記処理対象タスクを実行するために用いられる。
【0082】
ここで、前記処理対象タスクは、実行対象タスクと呼ぶこともでき、前記処理対象タスクのタイプは、ニーズに応じて設定されてもよく、例えば、1つの深層モデル(機器学習モデル、機器学習タスク、深層学習モデル、深層学習タスク、深層ニューラルネットワーク又は深層ニューラルネットワークモデルと呼ぶこともできる)をトレーニング又は推理する。処理対象タスクの取得方式は、ニーズに応じて設定されてもよく、例えば、ローカルから処理対象タスクを取得し、また例えば、他の電子機器から処理対象タスクを取得する。
【0083】
実際の適用に際して、前記処理対象タスクを実行する効率を向上させるために、前記処理対象タスクのリソース要件に基づいて、少なくとも1つのノードを前記処理対象タスクに割り当てることができる。
【0084】
これに基づき、1つの実施例では、前記リソース知識グラフに基づいて、少なくとも1つのノードを前記処理対象タスクに割り当てることは、
前記処理対象タスクのリソース要件を決定することと、
前記リソース知識グラフから前記リソース要件とマッチングする少なくとも1つのノードを決定することと、を含むことができ、
前記リソース要件は、前記処理対象タスクを実行するために必要なリソース、即ち
コンピューティングリソースと、
記憶リソースと、
通信リソースと、のうちの少なくとも1つを表す。
【0085】
ここで、前記通信リソースは、前記処理対象タスクの実行中に少なくとも2つのノード間で情報インタラクション又はデータ伝送を行うために使用される帯域幅(即ち、通信帯域幅消費)を含み得る。
【0086】
ここで、1つの実施例では、前記リソース知識グラフから前記リソース要件とマッチングする少なくとも1つのノードを決定することは、
前記リソース知識グラフ内の各ノードの特徴及びノード間の関係に基づいて、前記リソース要件を検索することと、
検索結果に基づいて前記リソース要件とマッチングする少なくとも1つのノードを決定することと、を含み得る。
【0087】
本開示の実施例に係るIoT機器に基づく情報処理方法は、IoT機器を発見し、IoT機器の能力を検出することと、各IoT機器に対して、対応するIoT機器の能力に基づいてIoT機器を対応するノードに抽象化することと、抽象化されたノードに基づいてリソース知識グラフを生成することと、を含み、前記ノードは、IoT機器の少なくとも一部の能力を表し、前記リソース知識グラフ内の辺は、隣接する2つのノード間の関係を表し、前記リソース知識グラフは、異性体IoT機器上の利用可能な能力を管理及び/又は調整するために用いられる。本開示の実施例の手段によれば、IoT機器及びその能力(即ちIoT機器のアイドルリソース)に対して知能的な感知を実行しており、仮想化及びソフトウェア定義技術を通じて、感知する能力に基づいてIoT機器を対応するノードに抽象化し、そして抽象化されたノードに基づいてリソース知識グラフを生成し、生成されたリソース知識グラフは、異性体IoT機器上の利用可能な能力に対する管理及び/又は調整を実現するために使用可能であり、このように、リソース知識グラフに基づいて、リソースに制約があり且つ異性化が高いIoT機器に対して効率的な管理及び柔軟なスケジューリングを行うことができ、AIに基づく適用シーンでのエッジコンピューティングを実現する(即ち、コンピューティング集約的なコンピューティングタスクを実現する)ために前提条件を提供することができ、さらに、ユーザは、パーソナルプライバシーに関わるデータをクラウドデータセンターに伝送する必要がなくなり、プライバシー保護が強化され、伝送遅延が減少し、ユーザ体験が向上する。
【0088】
以下、適用実施例を参照しながら本開示をさらに詳細に説明する。
【0089】
図2に示すように、複数種のIoT機器は、空間(地理位置)的に分散分布し、これらのIoT機器(例えばスマートフォン、スマートカメラ、スマートウォッチ、コンピューティングボックス、PC、タブレットコンピュータ、ロボットなど)は、WiFi、ブルートゥース(登録商標)、ZigBeeプロトコル、狭帯域アイオーティー(NB-IoT)、近接場通信(NFC)などの技術を介して相互接続を実現し、アイオーティーのエッジインフラストラクチャを構成することができる。このようなシーンにおいて、機器リソースとは、IoT機器上の利用可能コンピューティングリソース、IoT機器上の利用可能な記憶リソース、及び、エッジコンピューティングネットワークから提供される機器間通信に用いられる帯域幅リソースを意味する。1つのIoT機器上のリソースは極めて限られているため、コンピューティング集約的なコンピューティングタスク、例えば、深層学習タスク(特に深層モデルをトレーニングするためのコンピューティングタスク)を単独で完了(即ち実行又は処理)することができない。
【0090】
そのため、複数種のIoT機器が連携してコンピューティング集約的なコンピューティングタスクを実行し、即ち、図2に示すアイオーティーのエッジインフラストラクチャを介して分散型(又は中心なし型)コンピューティングを実現するために、図2に示すようにシーンにおける分散型機器(即ち、分散型コンピューティングを実現するためのIoT機器)を統一的に管理し、効率的にスケジューリングする必要があり、それによって、異性体IoT機器間で行われるリソースコラボレーションとインタラクションによる複雑性及び不確実性の問題を解決する。本適用実施例では、仮想化、ソフトウェア定義及び知識グラフなどの技術を用いて、サービス能力抽象化モジュール及びリソース知識グラフ構筑モジュールを構筑しており、サービス能力抽象化モジュール及びリソース知識グラフ構筑モジュールを介して、複数種の分散型異性体IoT機器上のコンピューティングリソース、記憶リソース及び通信リソースに対する知能的な感知と統一的な管理を実現し、リソース知識グラフによる動的更新メカニズムを利用して、機器の頻繁な入退場システム(即ち、接続ネットワーク状態と未接続ネットワーク状態との間での機器の頻繁な切り替え)及び機器リソースの動的な変化に対する知能自動適応調整を実現し、さらに、スマートデバイス上の空きリソースを為十分に利用してリソース利用の最大化を実現するために可能性を提供し、IoT機器側でリソース共有と機器コラボレーションに基づくコンピューティングタスクを効率的に実行するために条件を提供する。
【0091】
本適用実施例は、リソース感知及び管理プラットフォーム(RAMP、Resource Awareness and Management Platform)を提供し、図3に示すように、異性体IoT機器を統一的に管理する過程において、主にRAMPと、IoT機器に設けられたローカルリソースプラットフォームとの間のインタラクションに関する。ここで、RAMPのコアは、サービス能力抽象化モジュールとリソース知識グラフ構筑モジュールである。RAMPは、単一デバイスのリソースが制限されたエッジコンピューティングシーンで異性体IoT機器上の空きリソースを十分に利用することにより、コンピューティング集約的なタスク、例えば深層学習モデルのトレーニングと推理を協調的に分散して実行するために使用される。
【0092】
以下、RAMPの機能を詳細に説明する。
【0093】
まず、図4を参照しながらサービス能力抽象化モジュールの機能を説明する。
【0094】
ここで、サービス能力抽象化モジュールは、IoT機器のサービス能力を抽象化するために用いられる。前記IoT機器は、一定のコンピューティング能力及び/又は記憶能力を有するアイオーティー(IoT)知能端末機器を指し、例えば、スマートゲートウェイ、コンピューティングボックス、サービスロボット、スマートカメラ、スマートフォン、パーソナルコンピュータ、知能ウェアラブルデバイスなどが挙げられる。これらのIoT機器は、一般的に、高度に異性化され且つリソースに制約がある(即ちコンピューティング能力、記憶能力及び通信能力が限られる)ものである。サービス能力抽象化モジュールは、主に、IoT機器間の異性化の問題を解決するために用いられ、その役割は、異性化ハードウェア間の限界を打破し、多種多様なエンティティIoT機器上のリソースに対する感知、抽象及び仮想化を実現し、さらに、RAMPによってスケジューリング可能な論理機器上の仮想リソースノードへのマッピングを実現することである。
【0095】
アイオーティー及び知能ハードウェアの爆発的な発展の傾向に伴い、広く分布するIoT機器に知能アプリケーションを導入するニーズも増加している。コンピューティングタスク(例えば機器学習モデル)のワークロードをこれらの異性化機器にマッピングする(即ち、これらの異性化機器が協力してコンピューティングタスクを実行する)ことについて、ハードウェア特性の多様性の課題に直面している。これらの異性化ハードウェアには、組込型CPU、GPU、FPGA、アプリケーション専用集積回路(ASIC、Application Specific Integrated Circuit)などが含まれる。これらのハードウェアは、メモリ組織、コンピューティング機能ユニットなどに差がある。一方、サービス能力抽象化モジュールを利用すれば、仮想化及びソフトウェア定義などの技術により、これらの分散した異性化リソースの統一的な管理とスケジューリングを実現することができる。
【0096】
図4に示すように、プロセッサの種類の違いに基づいて、IoT機器上のコンピューティングリソースは、CPU、GPU、FPGA、ARM、AIチップなどのタイプのコンピューティングリソースを含み、メモリリソース(即ち記憶リソース)は、バッファ、RAMなどを含み得る。リソースプール化により、コンピューティングリソースと記憶リソースのスケジューリング、共有、コラボレーションを実現することができる。ソフトウェア定義技術により、コンピューティングリソース及び記憶リソースを、さらに、対応するコンピューティングノード及び記憶ノードに仮想化や抽象化することにより、リソースに対する統一的な管理及び/又は調整を実現することができる。これにより、サービス能力抽象化モジュールは、異性体IoT機器間の(異性体IoT機器を跨ぐ)リソーススケジューリングを促進し、コンピューティング集約的なコンピューティングタスクの特定コンピューティング要件を満たす適切なリソースを発見するために貢献する。サービス能力抽象化モジュールにより、複数種の機器リソース(即ち機器の複数種の処理能力)を感知、再利用又は共有し得るため、リソース利用率を向上させ、IoT機器側の全体的なサービス能力を向上させることができる。
【0097】
続いて、図5を参照しながらリソース知識グラフ構筑モジュールの機能を説明する。
【0098】
アイオーティーのエッジコンピューティングシステムが、利用可能な機器リソース(機器リソースは、IoT機器上の利用可能コンピューティングリソース、IoT機器上の利用可能な記憶リソース及びエッジコンピューティングネットワークから提供される機器間通信に用いられる帯域幅リソースである)を動的に感知し、十分に理解するように、リソース知識グラフ構筑モジュールは、セマンティック及び知識引けい技術を用いてこれらのIoT機器に対するデスクリプションとモデリングを行い、さらに、サービス能力抽象化モジュールによって抽象化されたノードに基づいてリソース知識グラフを構筑する。図5に示すように、リソース知識グラフにおいて、ノードは、機器から抽象化された異なるIoT機器又はより細粒度のコンピューティング能力又は記憶能力を代表し、つまり、図5におけるノードは、仮想化された機器ノード、コンピューティングノード及び記憶ノードを含む。各ノードは、1つのオントロジーデスクリプションモデル(即ち上記特徴)に対応するものであって、少なくとも、対応するノードに代表される1つのIoT機器の機器情報及び少なくとも一部の能力情報をディスクライブするために用いられる。例示的に、機器ノードについて、オントロジーデスクリプションモデルは、IoT機器情報(機器ID、位置、タイプ、状態値、機能、所有者、インターフェース、IP情報などを含む)、能力情報(CPU、GPU、FPGA、DSP、メモリリソースなどを含む)を含み得る。リソース知識グラフ内の辺は、隣接するノード間の関連関係を代表し、例えば、通信関係(即ち有線又は無線通信関係)及び/又は従属関係が挙げられる。関連関係で表されるIoT機器リソースは、複数種の異性化機器の内部コラボレーションと共有メカニズムを示すことに役立つ。
【0099】
動的なアイオーティーのエッジシーンに適応し、利用可能なリソースの波動による課題に応対し、エンティティIoT機器と仮想化された機器リソースとの間の一致性を保持するために、リソース知識グラフの自動構造と動的更新メカニズムを考慮する必要がある。このようなメカニズムにより、端末機器がシステムにアクセスしたり、状態が変更されたり、システムを終了したりすると、対応するリソース知識グラフも同期して更新される。また、いくつかのスケジューリングと調整ポリシー(例えば、記憶能力がプリセット条件を満たすノードを優先的にスケジュールするもの)、及び共有やコラボレーションメカニズムを事前に設定することにより、リソース利用率と全体的なサービス能力を向上させることもできる。基于リソース知識グラフ構筑モジュールに基づいて、エッジコンピューティングシステムは、コンピューティングタスクのリソース要件を満たすように、異性化分散型(又は中心なし型)IoT機器上の限られた利用可能なリソースへの効率的な管理及び柔軟なスケジューリングを実現できる。
【0100】
図6は、RAMPがスマートホームを実現する適用シーンを示す。図6に示す適用シーンに基づいて、図7に示すように、RAMPとIoT機器とのインタラクションの過程は、以下のステップ701~707を含み得る。
【0101】
ステップ701において、IoT機器は、ネットワークに接続する。続いて、ステップ702を実行する。
【0102】
具体的には、IoT機器は、ネットワークにアクセスする。
【0103】
ステップ702において、RAMPは、機器認識を行う。認識に成功した場合、ステップ703を実行する。
【0104】
具体的には、RAMPは、プリセット方式に基づいて機器認識(即ち検出)を行ってもよい。認識に失敗した場合、認識失敗情報をIoT機器に返信し、認識に成功した場合、ステップ703を引き続き実行することができる。
【0105】
ここで、RAMPは、IoT機器上のローカルリソースプラットフォームとインタラクションを行って機器認識を行う。
【0106】
ステップ703において、RAMPは、機器がリソース共有権限をオンにしているかどうかを検出する。検出結果は、機器がリソース共有権限にオンしていることを表す場合、ステップ704を実行する。
【0107】
具体的には、RAMPは、プリセット方式に基づいて機器がリソース共有権限をオンにしているかどうかを検出することができる。検出結果は、機器がリソース共有権限をオンにしていないことを表す場合、ノードを作成できず、RAMPは、作成失敗情報をIoT機器に返信する。検出結果は、機器がリソース共有権限にオンしていることを表す場合、ステップ704を引き続き実行することができる。
【0108】
ステップ704において、RAMPは、リソースの感知、抽象化及び仮想化を行い、ソフトウェア定義により機器ノードを作成する。続いて、ステップ705を実行する。
【0109】
具体的には、RAMPは、プリセット方式に基づいてIoT機器のリソースを感知(即ち検出)し、ソフトウェア定義技術を使用してエンティティのIoT機器のリソース(即ち能力)を仮想化されたノードに抽象化することができる。
【0110】
ここで、RAMPは、IoT機器上のローカルリソースプラットフォームとインタラクションを行ってリソースを感知する。
【0111】
ステップ705において、RAMPは、機器オントロジーデスクリプションモデルを生成する。続いて、ステップ706を実行する。
【0112】
具体的には、RAMPは、対応するIoT機器のリソースに基づいて、機器オントロジーデスクリプションモデルを生成することができる。
【0113】
ステップ706において、RAMPは、機器間の関連関係を感知する。続いて、ステップ707を実行する。
【0114】
ステップ707において、RAMPは、機器ノードとリソース情報を知識グラフに追加する。
【0115】
図6に示す適用シーンに基づいて、図8に示すように、RAMPとタスクサーバとのインタラクションの過程は、以下のステップ801~804を含み得る。
【0116】
ステップ801において、タスクサーバは、リソース検索要求をRAMPに送信し、RAMPは、該タスクタイプをサポートするかどうかを判断する。判断結果は、タスクタイプをサポートすることを表す場合、ステップ802を実行する。
【0117】
ステップ802において、RAMPは、要求を解析して、リソース知識グラフからリソースを検索する。リソースを検索した場合、ステップ803を実行する。
【0118】
ステップ803において、RAMPは、リソースタスクのマッチングを行う。マッチングに成功した場合、ステップ804を実行する。
【0119】
ステップ804において、RAMPは、マッチングされたリソース情報を結果リストに追加する。
【0120】
本適用実施例に係る手段は、以下の利点1)~3)を有する。
【0121】
1)IoT機器上の複数種のコンピューティングリソース(CPU、GPU、FPGA、DSPなど)及び記憶リソース(Memory、RAMなど)に対して細粒度の知能的な感知、仮想化及びソフトウェア定義を行うことができる。
【0122】
2)動的に変化するアイオーティーシーンでは、機器の頻繁な入退場システム(即ち、接続ネットワーク状態と未接続ネットワーク状態との間での機器の頻繁な切り替え)及び機器リソースの動的な変化の状況について、知能自動適応によるリソースの動的な感知及びリソース知識グラフの自動更新を実現することができる。
【0123】
3)複数種の異性体IoT機器上のマルチタイプのアイドルリソースに対して構造化表現と統一的な管理を行うことにより、システムは、コンピューティング集約的なコンピューティングタスクを実行するとき、広く分布した複数種の異性体IoT機器上の利用可能なリソースを十分に理解し、効率的にスケジューリングし、リソース利用の最大化を通じてシステム性能を向上させることができる。
【0124】
本開示の実施例の方法を実現するために、本開示の実施例は、さらに、IoT機器に基づく情報処理装置を提供し、図9に示すように、該装置は、
IoT機器を発見し、IoT機器の能力を検出するように構成される検出ユニット901と、
各IoT機器に対して、対応するIoT機器の能力に基づいてIoT機器を対応するノードに抽象化するように構成される第1処理ユニット902と、
抽象化されたノードに基づいてリソース知識グラフを生成するように構成される第2処理ユニット903と、を含み、
前記ノードは、IoT機器の少なくとも一部の能力を表し、前記リソース知識グラフ内の辺は、隣接する2つのノード間の関係を表し、前記リソース知識グラフは、異性体IoT機器上の利用可能な能力を管理及び/又は調整するために用いられる。
【0125】
ここで、前記利用可能な能力は、
コンピューティング能力と、
記憶能力と、
通信能力と、のうちの少なくとも1つを含む。
【0126】
1つの実施例では、前記第2処理ユニット903は、
各ノードの特徴を決定し、複数のノード間の関係を決定することであって、前記特徴は、対応するノードに対応するIoT機器情報及びIoT機器の少なくとも一部の能力情報をディスクライブするために少なくとも用いられることと、
決定される特徴及びノード間の関係に基づいて、リソース知識グラフを生成することと、を実行するように構成される。
【0127】
ここで、前記リソース知識グラフ内の辺は、
2つのIoT機器間の通信関係と、
IoT機器上の少なくとも一部の能力間の関係と、のうちの少なくとも1つを代表する。
【0128】
1つの実施例では、前記検出ユニット901は、IoT機器をモニタリングするように構成され、
前記第2処理ユニット903は、前記検出ユニット901がIoT機器に変化が発生したことをモニタリングする場合、前記検出ユニット901によってモニタリングされるIoT機器の変化状況に基づいて、前記リソース知識グラフを更新するように構成される。
【0129】
ここで、前記検出ユニット901は、
新たなIoT機器を発見することと、
ネットワークへのIoT機器の接続が切断されることをモニタリングすることと、
IoT機器のコンピューティング能力の変化をモニタリングすることと、
IoT機器の記憶能力の変化をモニタリングすることと、
IoT機器間の関係の変化をモニタリングすることと、
IoT機器上の少なくとも一部の能力間の関係の変化をモニタリングすることと、のうちの少なくとも1つを実行するように構成される。
【0130】
1つの実施例では、該装置は、さらに、
処理対象タスクを取得するように構成される取得ユニットと、
前記リソース知識グラフに基づいて、少なくとも1つのノードを前記処理対象タスクに割り当てるように構成される第3処理ユニットと、を含み、
前記少なくとも1つのノードは、前記処理対象タスクを実行するために用いられる。
【0131】
ここで、1つの実施例では、前記第3処理ユニットは、
前記処理対象タスクのリソース要件を決定することと、
前記リソース知識グラフから前記リソース要件とマッチングする少なくとも1つのノードを決定することと、を実行するように構成され、
前記リソース要件は、前記処理対象タスクを実行するために必要なリソース、即ち
コンピューティングリソースと、
記憶リソースと、
通信リソースと、のうちの少なくとも1つを表す。
【0132】
1つの実施例では、前記第3処理ユニットは、
前記リソース知識グラフ内の各ノードの特徴及びノード間の関係に基づいて、前記リソース要件を検索することと、
検索結果に基づいて前記リソース要件とマッチングする少なくとも1つのノードを決定することと、を実行するように構成される。
【0133】
実際の適用に際して、前記検出ユニット901及び前記取得ユニットは、情報処理装置内のプロセッサと通信インターフェースの組み合わせにより実現され、前記第1処理ユニット902、前記第2処理ユニット903及び前記第3処理ユニットは、情報処理装置内のプロセッサにより実現され得る。
【0134】
なお、上記実施例に係る情報処理装置が情報処理を行うとき、上記各プログラムモジュールの分割のみを例に挙げて説明し、実際の適用に際して、必要に応じて上記処理を異なるプログラムモジュールに割り当てて完了することができ、つまり、装置の内部構造を異なるプログラムモジュールに分割して上述した全部又は一部の処理を完了することができる。また、上記実施例に係る情報処理装置と情報処理方法実施例は同一の構想に属し、その具体的な実現過程は、方法実施例を参照すればよく、ここではこれ以上説明しない。
【0135】
上記プログラムモジュールのハードウェアの実現に基づき、本開示の実施例の方法を実現するために、本開示の実施例は、さらに、電子機器を提供し、図10に示すように、該電子機器1000は、通信インターフェース1001、プロセッサ1002及びメモリ1003を含む。
【0136】
通信インターフェース1001は、他の電子機器と情報インタラクションを行うことができる。
プロセッサ1002は、前記通信インターフェース1001に接続されて他の電子機器との情報インタラクションを実現し、コンピュータプログラムを実行するとき、上記1つ又は複数の技術的解決手段に係る方法を実行するように構成される。
【0137】
メモリ1003は、前記プロセッサ1002で実行可能なコンピュータプログラムを記憶するように構成される。
【0138】
具体的には、前記プロセッサ1002は、
前記通信インターフェース1001を介してIoT機器を発見し、IoT機器の能力を検出することと、
各IoT機器に対して、対応するIoT機器の能力に基づいてIoT機器を対応するノードに抽象化することと、
抽象化されたノードに基づいてリソース知識グラフを生成することと、を実行するように構成され、
前記ノードは、IoT機器の少なくとも一部の能力を表し、前記リソース知識グラフ内の辺は、隣接する2つのノード間の関係を表し、前記リソース知識グラフは、異性体IoT機器上の利用可能な能力を管理及び/又は調整するために用いられる。
【0139】
ここで、前記利用可能な能力は、
コンピューティング能力と、
記憶能力と、
通信能力と、のうちの少なくとも1つを含む。
【0140】
1つの実施例では、前記プロセッサ1002は、
各ノードの特徴を決定し、複数のノード間の関係を決定することであって、前記特徴は、対応するノードに対応するIoT機器情報及びIoT機器の少なくとも一部の能力情報をディスクライブするために少なくとも用いられることと、
決定される特徴及びノード間の関係に基づいて、リソース知識グラフを生成することと、を実行するように構成される。
【0141】
ここで、前記リソース知識グラフ内の辺は、
2つのIoT機器間の通信関係と、
IoT機器上の少なくとも一部の能力間の関係と、のうちの少なくとも1つを代表する。
【0142】
1つの実施例では、前記プロセッサ1002は、
前記通信インターフェース1001を介してIoT機器をモニタリングすることと、
IoT機器に変化が発生したことをモニタリングする場合、モニタリングされるIoT機器の変化状況に基づいて、前記リソース知識グラフを更新することと、を実行するように構成される。
【0143】
1つの実施例では、前記プロセッサ1002は、
新たなIoT機器を発見することと、
ネットワークへのIoT機器の接続が切断されることをモニタリングすることと、
IoT機器のコンピューティング能力の変化をモニタリングすることと、
IoT機器の記憶能力の変化をモニタリングすることと、
IoT機器間の関係の変化をモニタリングすることと、
IoT機器上の少なくとも一部の能力間の関係の変化をモニタリングすることと、のうちの少なくとも1つを実行するように構成される。
【0144】
1つの実施例では、前記プロセッサ1002は、
処理対象タスクを取得することと、
前記リソース知識グラフに基づいて、少なくとも1つのノードを前記処理対象タスクに割り当てることと、を実行するように構成され、
前記少なくとも1つのノードは、前記処理対象タスクを実行するために用いられる。
【0145】
1つの実施例では、前記プロセッサ1002は、
前記処理対象タスクのリソース要件を決定することと、
前記リソース知識グラフから前記リソース要件とマッチングする少なくとも1つのノードを決定することと、を実行するように構成され、
前記リソース要件は、前記処理対象タスクを実行するために必要なリソース、即ち
コンピューティングリソースと、
記憶リソースと、
通信リソースと、のうちの少なくとも1つを表す。
【0146】
1つの実施例では、前記プロセッサ1002は、
前記リソース知識グラフ内の各ノードの特徴及びノード間の関係に基づいて、前記リソース要件を検索することと、
検索結果に基づいて前記リソース要件とマッチングする少なくとも1つのノードを決定することと、を実行するように構成される。
【0147】
なお、前記プロセッサ1002が上記操作を具体的に実行する過程は、方法実施例を参照すればよく、ここで説明を省略する。
【0148】
もちろん、実際の適用に際して、電子機器1000内のそれぞれのコンポーネントは、バスシステム1004を介して結合される。可理解、バスシステム1004は、これらのコンポーネント間の接続や通信を実現するために用いられる。バスシステム1004は、データバスに加えて、電源バス、制御バス及び状態信号バスを含む。しかしながら、明確に説明するために、図10では、様々なバスをバスシステム1004と表記する。
【0149】
本開示の実施例におけるメモリ1003は、様々なタイプのデータを記憶して電子機器1000の操作をサポートするために用いられる。これらのデータについて、電子機器1000上で動作するための任意のコンピュータプログラムが挙げられる。
【0150】
上記本開示の実施例に記載した方法は、プロセッサ1002に適用され又はプロセッサ1002によって実現され得る。プロセッサ1002は、信号の処理能力を有する集積回路チップであってもよい。実現過程において、上記方法の各ステップは、プロセッサ1002内のハードウェアの集積論理回路又はソフトウェア形態の命令によって完了することができる。上記のプロセッサ1002は、汎用プロセッサ、DSP、GPU、又は他のプログラマブル論理デバイス、ディスクリートゲート又はトランジスタ論理デバイス、ディスクリートハードウェアコンポーネントなどであってもよい。プロセッサ1002は、本開示の実施例に記載した各方法、ステップ及び論理ブロック図を実現又は実行することができる。汎用プロセッサは、マイクロプロセッサ又は任意の従来のプロセッサなどであってもよい。本開示の実施例に記載した方法のステップに関連して、ハードウェア復号プロセッサによる実行完了、又は復号プロセッサ内のハードウェアとソフトウェアモジュールの組み合わせによる実行完了として直接具現化することができる。ソフトウェアモジュールは、記憶媒体に位置し、該記憶媒体は、メモリ1003に位置してもよく、プロセッサ1002は、メモリ1003における情報を読み取って、そのハードウェアと結合して前述方法のステップを完了させる。
【0151】
例示的な実施例では、電子機器1000は、前述方法を実行するために、1つ又は複数のASIC、DSP、プログラマブル論理デバイス(PLD、Programmable Logic Device)、複雑プログラマブル論理デバイス(CPLD、Complex Programmable Logic Device)、FPGA、汎用プロセッサ、GPU、コントローラ、マイクロコントローラ(MCU、Micro Controller Unit)、マイクロプロセッサ(Microprocessor)、各種のAIチップ、クラス脳チップ、又は他の電子素子によって実現され得る。
【0152】
なお、本開示の実施例のメモリ1003は、揮発性メモリ又は不揮発性メモリであってもよく、揮発性と不揮発性メモリの両方を含んでもよい。ここで、不揮発性メモリは、ROM、プログラマブル読み取り専用メモリ(PROM、Programmable Read-Only Memory)、消去可能プログラマブル読み取り専用メモリ(EPROM、Erasable Programmable Read-Only Memory)、電気消去可能プログラマブル読み取り専用メモリ(EEPROM、Electrically Erasable Programmable Read-Only Memory)、FRAM、フラッシュメモリ(Flash Memory)、磁気表面メモリ、光ディスク、又は読み取り専用光ディスク(CD-ROM、Compact Disc Read-Only Memory)であってもよい。磁気表面メモリは、磁気ディスクメモリ又は磁気テープメモリであってもよい。揮発性メモリは、外部キャッシュとして使用されるRAMであってもよい。例示的であるが限定的な説明ではないが、多くの形態のRAMが使用可能である。例えば、静的ランダムアクセスメモリ(SRAM、Static Random Access Memory)、同期静的ランダムアクセスメモリ(SSRAM、Synchronous Static Random Access Memory)、動的ランダムアクセスメモリ(DRAM、Dynamic Random Access Memory)、同期動的ランダムアクセスメモリ(SDRAM、Synchronous Dynamic Random Access Memory)、2倍データレート同期動的ランダムアクセスメモリ(DDRSDRAM、Double Data Rate Synchronous Dynamic Random Access Memory)、拡張型同期動的ランダムアクセスメモリ(ESDRAM、Enhanced Synchronous Dynamic Random Access Memory)、同期接続動的ランダムアクセスメモリ(SLDRAM、SyncLink Dynamic Random Access Memory)、ダイレクトメモリバスランダムアクセスメモリ(DRRAM、Direct Rambus Random Access Memory)が挙げられる。本開示の実施例に説明したメモリは、これらおよび任意の他の適切なタイプのメモリを含むことが意図されるが、これらに限定されない。
【0153】
本開示の実施例に係る方法を実現するために、本開示の実施例は、さらに、IoT機器に基づく情報処理システムを提供し、当該システムは、
IoT機器を発見し、IoT機器の能力を検出するように構成される第1機能コンポーネントと、
各IoT機器に対して、対応するIoT機器の能力に基づいてIoT機器を対応するノードに抽象化し、そして、抽象化されたノードに基づいてリソース知識グラフを生成するように構成される第2機能コンポーネントと、を含み、
ここで、前記第1機能コンポーネントと前記第2機能コンポーネントは、2つの電子機器に設けられている。
【0154】
例示的に、図11に示すように、該システムは、第1電子機器1101と第2電子機器1102を含み得る。前記第1電子機器1101に前記第1機能コンポーネントが設置され、前記第2電子機器1102に前記第2機能コンポーネントが設置されている。
【0155】
ここで、前記第1機能コンポーネントと前記第2機能コンポーネントの具体的な処理過程は、上述したとおりであり、ここで説明を省略する。
【0156】
例示的な実施例では、本開示の実施例は、さらに、記憶媒体、即ちコンピュータ記憶媒体を提供し、具体的には、コンピュータ可読記憶媒体であり、例えば、コンピュータプログラムを記憶するためのメモリ1003を含み、上記コンピュータプログラムは、電子機器1000のプロセッサ1002によって実行されて前述方法前記ステップを完了させることができる。コンピュータ可読記憶媒体は、FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁気表面メモリ、光ディスク、又はCD-ROMなどのメモリであってもよい。
【0157】
なお、「第1」、「第2」などの用語は、特定の順序や優先順位を記述する必要はなく、類似したオブジェクトを区別するためのものである。
【0158】
また、本開示の実施例に記載した技術的解決手段は、衝突しない場合、任意に組み合わせてもよい。
【0159】
以上は本開示の好適な実施例にすぎず、本開示の保護範囲を限定するためのものではない。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11