IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 北京小米智能科技有限公司の特許一覧

特許7100669スーパーネットワークの構築方法、使用方法、装置及び記録媒体
<>
  • 特許-スーパーネットワークの構築方法、使用方法、装置及び記録媒体 図1
  • 特許-スーパーネットワークの構築方法、使用方法、装置及び記録媒体 図2
  • 特許-スーパーネットワークの構築方法、使用方法、装置及び記録媒体 図3
  • 特許-スーパーネットワークの構築方法、使用方法、装置及び記録媒体 図4
  • 特許-スーパーネットワークの構築方法、使用方法、装置及び記録媒体 図5
  • 特許-スーパーネットワークの構築方法、使用方法、装置及び記録媒体 図6
  • 特許-スーパーネットワークの構築方法、使用方法、装置及び記録媒体 図7
  • 特許-スーパーネットワークの構築方法、使用方法、装置及び記録媒体 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-05
(45)【発行日】2022-07-13
(54)【発明の名称】スーパーネットワークの構築方法、使用方法、装置及び記録媒体
(51)【国際特許分類】
   G06N 3/08 20060101AFI20220706BHJP
【FI】
G06N3/08
【請求項の数】 18
(21)【出願番号】P 2019563157
(86)(22)【出願日】2019-10-11
(65)【公表番号】
(43)【公表日】2022-01-06
(86)【国際出願番号】 CN2019110668
(87)【国際公開番号】W WO2021031311
(87)【国際公開日】2021-02-25
【審査請求日】2019-11-14
(31)【優先権主張番号】201910763113.X
(32)【優先日】2019-08-19
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】319003367
【氏名又は名称】北京小米智能科技有限公司
【氏名又は名称原語表記】Beijing Xiaomi Intelligent Technology Co.,Ltd.
【住所又は居所原語表記】NO.003, floor 3, building 6, yard 33, middle Xierqi Road, Haidian District, Beijing 100085, China
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】初 祥祥
(72)【発明者】
【氏名】許 瑞軍
(72)【発明者】
【氏名】張 勃
(72)【発明者】
【氏名】李 吉祥
(72)【発明者】
【氏名】李 慶源
(72)【発明者】
【氏名】王 斌
【審査官】中村 信也
(56)【参考文献】
【文献】CHU Xiangxiang et al.,SCARLET-NAS:Bridging the Gap Between Scalability and Fairness in Neural Architecture Search,arXiv:1908.06022v1,Cornell University,2019年08月16日,[2021年11月29日検索],インターネット<URL:thhps://arxiv.org/pdf/1908.06022v1.pdf>
【文献】CHU Xiangxiang et al.,FairNAS: Rethinking Evaluation Fairness of Weight Sharing Neural Architecture Search,arXiv:1907.01845v1,Cornell University,2019年07月03日,[2021年11月29日検索],インターネット<URL:https://arxiv.org/pdf/1907.01845v1.pdf>
(58)【調査した分野】(Int.Cl.,DB名)
G06N 3/00-3/12
G06N 7/08-99/00
G06N 5/00-7/06
(57)【特許請求の範囲】
【請求項1】
スーパーネットワークの構築方法であって、
コンピュータにより、スーパーネットワークの少なくとも一つの層に線形接続ユニットを設置し、前記線形接続ユニットは、入力端が前記線形接続ユニットの所属層の上層に接続され、出力端が前記線形接続ユニットの所属層の下層に接続され、前記線形接続ユニットの出力と入力は、線形関係を有し、前記線形関係は、入力が出力に等しいという関係以外の線形関係であるステップを含む
ことを特徴とするスーパーネットワークの構築方法。
【請求項2】
コンピュータにより、前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定するステップを、さらに含み、
コンピュータにより、前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定するステップは、
コンピュータにより、前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを定数に設定する方式、
コンピュータにより、前記スーパーネットワークにおける一部の線形接続ユニットの線形パラメータを定数に設定し、残りの線形接続ユニットの線形パラメータを変数に設定する方式、及び
コンピュータにより、前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを変数に設定する方式のうちのいずれかの方式を含む
ことを特徴とする請求項1に記載のスーパーネットワークの構築方法。
【請求項3】
前記線形パラメータは、スロープ、第1座標軸の変位量、第2座標軸の変位量のうちの少なくとも1つを含む
ことを特徴とする請求項2に記載のスーパーネットワークの構築方法。
【請求項4】
スーパーネットワークの使用方法であって、
コンピュータにより、スーパーネットワークの少なくとも一つの層に線形接続ユニットを設置し、前記線形接続ユニットは、入力端が前記線形接続ユニットの所属層の上層に接続され、出力端が前記線形接続ユニットの所属層の下層に接続されるステップと、
コンピュータにより、前記スーパーネットワークに応じてN個のサブネットワークを確定し、対応するトレーニングの終了条件が満たされるまでに、前記N個のサブネットワークのそれぞれをトレーニングするステップと、
コンピュータにより、前記N個のサブネットワークにおいてM個のサブネットワークを確定するステップと、
前記M個のサブネットワークにおける線形接続ユニットを含むサブネットワークに対して、前記線形接続ユニットを含んでいるサブネットワークにおける線形接続ユニットの線形関係を、出力が入力に等しいという関係に変更させるステップと、
コンピュータにより、前記M個のサブネットワークのそれぞれに対して個別のトレーニングを行い、トレーニングの終了後、各サブネットワークの性能指標を抽出するステップと、を含み、
NとMは、1より大きい整数であり、Mは、N以下である
ことを特徴とするスーパーネットワークの使用方法。
【請求項5】
コンピュータにより、前記N個のサブネットワークにおいてM個のサブネットワークを確定するステップは、
コンピュータにより、前記N個のサブネットワークのネットワーク指標を演算し、前記N個のサブネットワークからネットワーク指標の品質指数が最も高いM個のサブネットワークを選択するステップを含む
ことを特徴とする請求項4に記載のスーパーネットワークの使用方法。
【請求項6】
コンピュータにより、前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定するステップを、さらに含み、
コンピュータにより、前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定するステップは、
コンピュータにより、前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを定数に設定する方式、
コンピュータにより、前記スーパーネットワークにおける一部の線形接続ユニットの線形パラメータを定数に設定し、残りの線形接続ユニットの線形パラメータを変数に設定する方式、及び
コンピュータにより、前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを変数に設定する方式のうちのいずれかの方式を含む
ことを特徴とする請求項4に記載のスーパーネットワークの使用方法。
【請求項7】
前記線形接続ユニットの線形パラメータの具体的な値が変数である場合、コンピュータにより、前記N個のサブネットワークのそれぞれに対してトレーニングを行う時、各線形接続ユニットの線形パラメータを更新するステップを、さらに含む
ことを特徴とする請求項6に記載のスーパーネットワークの使用方法。
【請求項8】
前記線形パラメータは、スロープ、第1座標軸の変位量、第2座標軸の変位量のうちの少なくとも1つを含む
ことを特徴とする請求項6に記載のスーパーネットワークの使用方法。
【請求項9】
スーパーネットワークの構築装置であって、
スーパーネットワークの少なくとも一つの層に線形接続ユニットを設置し、前記線形接続ユニットは、入力端が前記線形接続ユニットの所属層の上層に接続され、出力端が前記線形接続ユニットの所属層の下層に接続され、前記線形接続ユニットの出力と入力は、線形関係を有し、前記線形関係は、出力が入力に等しいという関係以外の線形関係である第1設置モジュールを含む
ことを特徴とするスーパーネットワークの構築装置。
【請求項10】
前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定するための第2設置モジュールを、さらに含み、
前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定することは、
前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを定数に設定する方式、
前記スーパーネットワークにおける一部の線形接続ユニットの線形パラメータを定数に設定し、残りの線形接続ユニットの線形パラメータを変数に設定する方式、及び
前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを変数に設定する方式のうちのいずれかの方式を含む
ことを特徴とする請求項9に記載のスーパーネットワークの構築装置。
【請求項11】
前記線形パラメータは、スロープ、第1座標軸の変位量、第2座標軸の変位量のうちの少なくとも1つを含む
ことを特徴とする請求項10に記載のスーパーネットワークの構築装置。
【請求項12】
スーパーネットワークの使用装置であって、
スーパーネットワークの少なくとも一つの層に線形接続ユニットを設置し、前記線形接続ユニットは、入力端が前記線形接続ユニットの所属層の上層に接続され、出力端が前記線形接続ユニットの所属層の下層に接続され、前記線形接続ユニットの出力と入力は、線形関係を有する第3設置モジュールと、
前記スーパーネットワークに応じてN個のサブネットワークを確定するための第1確定モジュールと、
対応するトレーニングの終了条件が満たされるまでに、前記N個のサブネットワークのそれぞれをトレーニングするための第1トレーニングモジュールと、
前記N個のサブネットワークにおいてM個のサブネットワークを確定するための第2確定モジュールと、
前記M個のサブネットワークにおける線形接続ユニットを含むサブネットワークに対して、前記線形接続ユニットを含んでいるサブネットワークにおける線形接続ユニットの線形関係を、出力が入力に等しいという関係に変更させるための変更モジュールと、及び
前記M個のサブネットワークのそれぞれに対して個別のトレーニングを行い、トレーニングの終了後、各サブネットワークの性能指標を抽出するための第2トレーニングモジュールと、を含み、
NとMは、1より大きい整数であり、Mは、N以下である
ことを特徴とするスーパーネットワークの使用装置。
【請求項13】
前記第2確定モジュールは、
前記N個のサブネットワークのネットワーク指標を演算するための演算モジュールと、
前記N個のサブネットワークからネットワーク指標の品質指数が最も高いM個のサブネットワークを選択するための選択モジュールと、を含む
ことを特徴とする請求項12に記載のスーパーネットワークの使用装置。
【請求項14】
前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定するための第4設置モジュールを、さらに含み、
前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定することは、
前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを定数に設定する方式、
前記スーパーネットワークにおける一部の線形接続ユニットの線形パラメータを定数に設定し、残りの線形接続ユニットの線形パラメータを変数に設定する方式、及び
前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを変数に設定する方式のうちのいずれかの方式を含む
ことを特徴とする請求項12に記載のスーパーネットワークの使用装置。
【請求項15】
前記第1トレーニングモジュールは、
前記線形接続ユニットの線形パラメータの具体的な値が変数である場合、前記N個のサブネットワークのそれぞれに対してトレーニングを行う時、各線形接続ユニットの各線形パラメータを更新するためにも使用される
ことを特徴とする請求項14に記載のスーパーネットワークの使用装置。
【請求項16】
前記線形パラメータは、スロープ、第1座標軸の変位量、第2座標軸の変位量のうちの少なくとも1つを含む
ことを特徴とする請求項14に記載のスーパーネットワークの使用装置。
【請求項17】
非一時的コンピュータ読み取り可能な記録媒体であって、
前記記録媒体に記録された指令が移動端末のプロセッサにより実行される場合、移動端末がスーパーネットワークの構築方法を実行可能であり、
前記スーパーネットワークの構築方法は、
スーパーネットワークの少なくとも一つの層に線形接続ユニットを設置し、前記線形接続ユニットは、入力端が前記線形接続ユニットの所属層の上層に接続され、出力端が前記線形接続ユニットの所属層の下層に接続され、前記線形接続ユニットの出力と入力は、線形関係を有し、前記線形関係は、入力が出力に等しいという関係以外の線形関係であるステップを含むステップを含む
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項18】
非一時的コンピュータ読み取り可能な記録媒体であって、
前記記録媒体に記録された指令が移動端末のプロセッサにより実行される場合、移動端末がスーパーネットワークの使用方法を実行可能であり、
前記スーパーネットワークの使用方法は、
スーパーネットワークの少なくとも一つの層に線形接続ユニットを設置し、前記線形接続ユニットは、入力端が前記線形接続ユニットの所属層の上層に接続され、出力端が前記線形接続ユニットの所属層の下層に接続されるステップと、
前記スーパーネットワークに応じてN個のサブネットワークを確定し、対応するトレーニングの終了条件が満たされるまでに、前記N個のサブネットワークのそれぞれをトレーニングするステップと、
前記N個のサブネットワークにおいてM個のサブネットワークを確定するステップと、
前記M個のサブネットワークにおける線形接続ユニットを含むサブネットワークに対して、前記線形接続ユニットを含んでいるサブネットワークにおける線形接続ユニットの線形関係を、出力が入力に等しいという関係に変更させるステップと、及び
前記M個のサブネットワークのそれぞれに対して個別のトレーニングを行い、トレーニングの終了後、各サブネットワークの性能指標を抽出するステップと、を含み、
NとMは、1より大きい整数であり、Mは、N以下である
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、データ処理技術分野に関し、特に、スーパーネットワークの構築方法、使用方法、装置及び記録媒体に関する。
【背景技術】
【0002】
ニューラルアーキテクチャ検索(Neural Architecture Search、NAS)は、ニューラルネットワークを自動的に設計する技術であり、サンプルセットに基づいて、アルゴリズムにより高性能のネットワーク構造を自動的に設計することができる。ニューラルネットワークアーキテクチャ検索において、検索を複数回することにより単独的なニューラルネットワークを生成し、トレーニングによりネットワークの指標を取得する必要があるので、評価効率が低く、検索速度が遅いという問題が存在する。このような問題を解決するために、一部のNAS方法において、検索ネットワークのすべてを含むスーパーネットワークを利用している。
【0003】
図1に示す例示的なスーパーネットワーク(supernet)の構造において、スーパーネットワークは、複数の層を含み、各層に複数のネットワークユニットが含まれ、各層から1つのネットワークユニットを選択して順次に接続することで、サブネットワークを構成する。スーパーネットワークに対してトレーニングを行う場合、異なるサブネットワークを構築する時、スーパーネットワークの内部におけるすべてのサブネットワーク構造がパラメータを共有するので、スーパーネットワークだけをある程度までトレーニングし、その後サブネットワークをサンプリングして指標を評価することができるので、再び始めから各サブネットワークに対してトレーニングを行う必要がない。このようなアルゴリズムを、ニューラルネットワークスーパーネットワークをシングルパスアクティブ化するためのアルゴリズムと呼ばれる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、シングルパスアクティブ化されたスーパーネットワークのネットワーク性能を向上させるために、スーパーネットワークの構築方法、使用方法、装置及び記録媒体を提供する。
【課題を解決するための手段】
【0005】
本発明の実施例に係る第1態様によれば、スーパーネットワークの構築方法を提供する。前記スーパーネットワークの構築方法は、
スーパーネットワークの少なくとも一つの層に線形接続ユニットを設置し、前記線形接続ユニットは、入力端が前記線形接続ユニットの所属層の上層に接続され、出力端が前記線形接続ユニットの所属層の下層に接続され、前記線形接続ユニットの出力と入力は、線形関係を有し、前記線形関係は、出力が入力に等しいという関係以外の線形関係を含むステップを含む。
【0006】
上記のスーパーネットワークの構築方法は、以下のような特徴をさらに有する。
前記スーパーネットワークの構築方法は、前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定するステップを、さらに含む。
【0007】
前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定するステップは、
前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを定数に設定する方式、
前記スーパーネットワークにおける一部の線形接続ユニットの線形パラメータを定数に設定し、残りの線形接続ユニットの線形パラメータを変数に設定する方式、及び
前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを変数に設定するする方式のうちのいずれかの方式を含む。
【0008】
上記のスーパーネットワークの構築方法、以下のような特徴をさらに有する。
前記線形パラメータは、スロープ、第1座標軸の変位量、第2座標軸の変位量のうちの少なくとも1つを含む。
【0009】
本発明の実施例に係る第2態様によれば、スーパーネットワークの使用方法を提供する。前記スーパーネットワークの使用方法は、
スーパーネットワークの少なくとも一つの層に線形接続ユニットを設置し、前記線形接続ユニットは、入力端が前記線形接続ユニットの所属層の上層に接続され、出力端が前記線形接続ユニットの所属層の下層に接続されるステップと、
前記スーパーネットワークに応じてN個のサブネットワークを確定し、対応するトレーニングの終了条件が満たされるまでに、前記N個のサブネットワークのそれぞれをトレーニングするステップと、
前記N個のサブネットワークにおいてM個のサブネットワークを確定するステップと、
前記M個のサブネットワークにおける線形接続ユニットを含むサブネットワークに対して、前記線形接続ユニットを含んでいるサブネットワークにおける線形接続ユニットの線形関係を、出力が入力に等しいという関係に変更させるステップと、
前記M個のサブネットワークのそれぞれに対して個別のトレーニングを行い、トレーニングの終了後、各サブネットワークの性能指標を抽出するステップと、を含む。
ここで、NとMは、1より大きい整数であり、Mは、N以下である。
【0010】
上記のスーパーネットワークの使用方法は、以下のような特徴をさらに有する。
前記N個のサブネットワークにおいてM個のサブネットワークを確定するステップは、前記N個のサブネットワークのネットワーク指標を演算し、前記N個のサブネットワークからネットワーク指標の品質指数が最も高いM個のサブネットワークを選択するステップを含む。
【0011】
上記のスーパーネットワークの使用方法は、以下のような特徴をさらに有する。
前記スーパーネットワークの使用方法は、前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定するステップを、さらに含む。
前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定することは、
前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを定数に設定する方式、
前記スーパーネットワークにおける一部の線形接続ユニットの線形パラメータを定数に設定し、残りの線形接続ユニットの線形パラメータを変数に設定する方式、及び
前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを変数に設定する方式のうちのいずれかの方式を含む。
【0012】
上記のスーパーネットワークの使用方法は、以下のような特徴をさらに有する。
前記スーパーネットワークの使用方法は、線形接続ユニットの線形パラメータの具体的な値が変数である場合、前記N個のサブネットワークのそれぞれに対してトレーニングを行う時、各線形接続ユニットの線形パラメータを更新するステップを、さらに含む。
【0013】
上記のスーパーネットワークの使用方法は、以下のような特徴をさらに有する。
前記線形パラメータは、スロープ、第1座標軸の変位量、第2座標軸の変位量のうちの少なくとも1つを含む。
【0014】
本発明の実施例に係る第3態様によれば、スーパーネットワークの構築装置を提供し、前記スーパーネットワークの構築装置は、
スーパーネットワークの少なくとも一つの層に線形接続ユニットを設置し、前記線形接続ユニットは、入力端が前記線形接続ユニットの所属層の上層に接続され、出力端が前記線形接続ユニットの所属層の下層に接続され、前記線形接続ユニットの出力と入力は、線形関係を有し、前記線形関係は、出力が入力に等しいという関係以外の線形関係を含む第1設置モジュールを含む。
【0015】
上記のスーパーネットワークの構築装置は、以下のような特徴をさらに有する。
前記スーパーネットワークの構築装置は、
前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定するための第2設置モジュールを、さらに含む。
前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定することは、
前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを定数に設定する方式、
前記スーパーネットワークにおける一部の線形接続ユニットの線形パラメータを定数に設定し、残りの線形接続ユニットの線形パラメータを変数に設定する方式、及び
前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを変数に設定する方式のうちのいずれかの方式を含む。
【0016】
上記のスーパーネットワークの構築装置は、以下のような特徴をさらに有する。
前記線形パラメータは、スロープ、第1座標軸の変位量、第2座標軸の変位量のうちの少なくとも1つを含む。
【0017】
本発明の実施例に係る第4態様によれば、スーパーネットワークの使用装置を提供する。前記スーパーネットワークの使用装置は、
スーパーネットワークの少なくとも一つの層に線形接続ユニットを設置し、前記線形接続ユニットは、入力端が前記線形接続ユニットの所属層の上層に接続され、出力端が前記線形接続ユニットの所属層の下層に接続され、前記線形接続ユニットの出力と入力が線形関係を有する第3設置モジュールと、
前記スーパーネットワークに応じてN個のサブネットワークを確定するための第1確定モジュールと、
対応するトレーニングの終了条件が満たされるまでに、前記N個のサブネットワークのそれぞれをトレーニングするための第1トレーニングモジュールと、
前記N個のサブネットワークにおいてM個のサブネットワークを確定するための第2確定モジュールと、
前記M個のサブネットワークにおける線形接続ユニットを含むサブネットワークに対して、前記線形接続ユニットを含んでいるサブネットワークにおける線形接続ユニットの線形関係を、出力が入力に等しいという関係に変更させるための変更モジュールと、
前記M個のサブネットワークのそれぞれに対して個別のトレーニングを行い、トレーニングの終了後、各サブネットワークの性能指標を抽出するための第2トレーニングモジュールと、を含む。
ここで、NとMは、1より大きい整数であり、Mは、N以下である。
【0018】
上記のスーパーネットワークの使用装置は、以下のような特徴をさらに有する。
前記第2確定モジュールは、
前記N個のサブネットワークのネットワーク指標を演算するための演算モジュールと、
前記N個のサブネットワークからネットワーク指標の品質指数が最も高いM個のサブネットワークを選択するための選択モジュールと、を含む。
【0019】
上記のスーパーネットワークの使用装置は、以下のような特徴をさらに有する。
前記スーパーネットワークの使用装置は、前記スーパーネットワークにおける各線形接 続ユニットの線形パラメータを設定するための第4設置モジュールを、さらに含む。
前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定することは、
前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを定数に設定する方式、
前記スーパーネットワークにおける一部の線形接続ユニットの線形パラメータを定数に設定し、残りの線形接続ユニットの線形パラメータを変数に設定する方式、及び
前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを変数に設定する方式のうちのいずれかの方式を含む。
【0020】
上記のスーパーネットワークの使用装置は、以下のような特徴をさらに有する。
前記第1トレーニングモジュールは、線形接続ユニットの線形パラメータの具体的な値が変数である場合、前記N個のサブネットワークのそれぞれに対してトレーニングを行う時、各線形接続ユニットの線形パラメータを更新するためにも使用される。
上記のスーパーネットワークの使用装置は、以下のような特徴をさらに有する。
前記線形パラメータは、スロープ、第1座標軸の変位量、第2座標軸の変位量のうちの少なくとも1つを含む。
【0021】
本発明の実施例に係る第5態様によれば、非一時的コンピュータ読み取り可能な記録媒体を提供する。前記記録媒体に記録された指令が移動端末のプロセッサにより実行される場合、移動端末が上記のスーパーネットワークの構築方法を実行させる。前記スーパーネットワークの構築方法は、
スーパーネットワークの少なくとも一つの層に線形接続ユニットを設置し、前記線形接続ユニットは、入力端が前記線形接続ユニットの所属層の上層に接続され、出力端が前記線形接続ユニットの所属層の下層に接続されるステップを含む。ここで、前記線形接続ユニットの出力と入力は、線形関係を有する。
【0022】
本発明の実施例に係る第6態様によれば、非一時的コンピュータ読み取り可能な記録媒体を提供する。前記記録媒体に記録された指令が移動端末のプロセッサにより実行される場合、移動端末がスーパーネットワークの使用方法を実行させる。前記スーパーネットワークの使用方法は、
スーパーネットワークの少なくとも一つの層に線形接続ユニットを設置し、前記線形接続ユニットは、入力端が前記線形接続ユニットの所属層の上層に接続され、出力端が前記線形接続ユニットの所属層の下層に接続されるステップと、
前記スーパーネットワークに応じてN個のサブネットワークを確定し、対応するトレーニングの終了条件が満たされるまでに、前記N個のサブネットワークのそれぞれをトレーニングするステップと、
前記N個のサブネットワークにおいてM個のサブネットワークを確定するステップと、
前記M個のサブネットワークにおける線形接続ユニットを含むサブネットワークに対して、前記線形接続ユニットを含んでいるサブネットワークにおける線形接続ユニットの線形関係を、出力が入力に等しいという関係に変更させるステップと、
前記M個のサブネットワークのそれぞれに対して個別のトレーニングを行い、トレーニングの終了後、各サブネットワークの性能指標を抽出するステップと、を含む。
ここで、NとMは、1より大きい整数であり、Mは、N以下である。
【発明の効果】
【0023】
本発明の実施例により提供される技術案によれば、下記のような有益な効果を含むことができる。
上記方法において、線形接続ユニットを利用するので、直線接続ユニットを利用する場合に比べて、サブネットワークの特性化能力を効果的に向上させることができ、スーパーネットワークにおける線形接続ユニットを含むサブネットワークのネットワーク指標の安定性を維持し、元のネットワークの1つ又は複数の層におけるネットワークユニットが直線接続ユニットに置換された後、上記サブネットワークのネットワーク指標が急速に低下することを防止することができる。
なお、上記の一般的な記載及び後述の詳細な記載は、単なる例示的で解釈的な記載であり、本発明は、これに限定されるものではない。
【図面の簡単な説明】
【0024】
以下の図面は、明細書に組み込んで本明細書の一部分を構成し、本明細書に該当する実施例を例示するとともに、明細書と一緒に本発明の原理を解釈する。
図1】一例示的な実施例に係るスーパーネットワークを示す構成図である。
図2】一例示的な実施例に係るスーパーネットワークを示す構成図である。
図3】一例示的な実施例に係るスーパーネットワークを示す構成図である。
図4】一例示的な実施例に係るスーパーネットワークの構築方法のフローチャートである。
図5】一例示的な実施例に係るスーパーネットワークの使用方法のフローチャートである。
図6】一例示的な実施例に係るスーパーネットワークの構築装置を示す構成図である。
図7】一例示的な実施例に係るスーパーネットワークの使用装置を示す構成図である。
図8】一例示的な実施例に係るスーパーネットワークの構築装置または使用装置を示す構成図である。
【発明を実施するための形態】
【0025】
以下、例示的な実施例を詳しく説明し、その例示を図面に示す。図面について説明するとき、特に別の説明がない限り、異なる図面での同じ数は同一な又は類似する要素を示す。以下、例示的な実施例において説明する実施方式は、本明細書に一致するすべての実施方式を代表するものではない。逆に、これらは、添付の特許請求の範囲に記載されているように、本明細書の一部の側面に一致する装置及び方法の一例に過ぎない。
【0026】
スーパーネットワークを通じてより豊富なサブネットワーク構造を取得するために、スーパーネットワークに直線接続ユニットを導入して深度が可変するネットワークを構築する。図2に示すように、スーパーネットワークの第2層に、出力が入力に等しい機能を有する直線接続ユニットを設置する。上記直線接続ユニットは、第1層における第1サブネットワークと第3層における第2サブネットワークを接続するためのものであり、上記接続方式により、スーパーネットワークの構造において第1層が第3層に直接に接続されるという効果を実現する。元のスーパーネットワークに直線接続ユニットを追加する場合、元のスーパーネットワークの1つ又は複数の層におけるネットワークユニットが直線接続ユニットに置換された後、上記サブネットワークのネットワーク指標が急速に低下するので、サブネットワークのネットワーク指標の安定性に深刻な影響を与える。
【0027】
上記の問題を解決するために、図3に示すように、本発明は、直線接続ユニットを線形接続ユニットに置換する。
【0028】
図4は、一例示的な実施例に係るスーパーネットワークの構築方法のフローチャートである。前記スーパーネットワークの構築方法は、スーパーネットワークの少なくとも一つの層に線形接続ユニットを設置し、前記線形接続ユニットは、入力端が前記線形接続ユニットの所属層の上層に接続され、出力端が前記線形接続ユニットの所属層の下層に接続され、前記線形接続ユニットの出力と入力は、線形関係を有し、前記線形関係は、出力が入力に等しいという関係以外の線形関係を含むステップS41を含む。
【0029】
上記スーパーネットワークの構築方法は、スーパーネットワークにおいて線形接続ユニットを利用するので、直線接続ユニットを利用する場合に比べて、サブネットワークの特性化能力を効果的に向上させることができ、スーパーネットワークにおける線形接続ユニットを含むサブネットワークのネットワーク指標の安定性を維持し、サブネットワークのネットワーク指標が深度の調整過程中に急速に低下することを防止することができる。
【0030】
一実施例において、上記スーパーネットワークの構築方法は、前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定するステップを、さらに含む。
前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定する方式は、下記のいずれかの方式を含む。
1、前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを定数に設定する。
2、前記スーパーネットワークにおける一部の線形接続ユニットの線形パラメータを定数に設定し、残りの線形接続ユニットの線形パラメータを変数に設定する。
3、前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを変数に設定する。
【0031】
一実施例において、線形パラメータは、スロープ、第1座標軸の変位量、第2座標軸の変位量のうちの少なくとも1つを含む。例えば、線形関係は、y(x)=k(x+a)+bであり、ここで、kは、スロープであり、aは、第1座標軸の変位量であり、bは、第2座標軸の変位量である。
【0032】
一実施例において、スーパーネットワークにおける線形パラメータが定数である各線形接続ユニットの各線形パラメータの値は、同じであってもよいし、異なってもよい。例えば、スーパーネットワークにおけるすべての線形接続ユニットの線形関係は、いずれもy(x)=2(x+1)+3であってもよい。また、例えば、スーパーネットワークにおける一部の線形接続ユニットの線形関係は、y(x)=2(x+1)+3であり、残りの線形接続ユニットの線形関係は、y(x)=1.5xであってもよい。また、例えば、スーパーネットワークにおける一部の線形接続ユニットの線形関係は、y(x)=2(x+1)+3であり、その他の一部の線形接続ユニットの線形関係は、y(x)=1.5xであり、残りの線形接続ユニットの線形関係は、y(x)=2x+3などであってもよい。
【0033】
一実施例において、スーパーネットワークにおける線形パラメータが変数である各線形接続ユニットの各線形パラメータの初期値を設定する。スーパーネットワークにおけるサブネットワークに対してトレーニングを行う場合、各線形接続ユニットの線形パラメータを更新する。
【0034】
図5は、一例示的な実施例に係るスーパーネットワークの使用方法のフローチャートである。上記スーパーネットワークの使用方法は、以下のステップを含む。
【0035】
ステップS51において、スーパーネットワークの少なくとも一つの層に線形接続ユニットを設置し、前記線形接続ユニットは、入力端が前記線形接続ユニットの所属層の上層に接続され、出力端が前記線形接続ユニットの所属層の下層に接続される。
【0036】
ステップS52において、前記スーパーネットワークに応じてN個のサブネットワークを確定し、対応するトレーニングの終了条件が満たされるまでに、前記N個のサブネットワークの各サブネットワークをトレーニングする。
【0037】
ステップS53において、前記N個のサブネットワークにおいてM個のサブネットワークを確定する。
【0038】
ステップS54において、前記M個のサブネットワークにおける線形接続ユニットを含むサブネットワークに対して、前記線形接続ユニットを含んでいるサブネットワークにおける線形接続ユニットの線形関係を、出力が入力に等しいという関係に変更させる。
【0039】
ステップS55において、前記M個のサブネットワークの各サブネットワークに対して個別のトレーニングを行い、トレーニングの終了後、各サブネットワークの性能指標を抽出する。
【0040】
ここで、NとMは、1より大きい整数であり、Mは、N以下である。
【0041】
上記方法は、スーパーネットワークにおいて線形接続ユニットを利用するので、直線接続ユニットを利用する場合に比べて、サブネットワークの特性化能力を効果的に向上させることができ、スーパーネットワークにおける線形接続ユニットを含むサブネットワークのネットワーク指標の安定性を維持し、サブネットワークのネットワーク指標が深度の調整過程中に急速に低下することを防止することができる。具体的に、N個のサブネットワークの各サブネットワークに対してトレーニングを行う場合、線形接続ユニットを使用し、M個のサブネットワークの各サブネットワークに対してトレーニングを行う時、線形接続ユニットを含んでいるサブネットワークにおける線形接続ユニットの線形関係を出力が入力に等しいという関係に変更させた後、深度の調整過程中に、サブネットワークのネットワーク指標がほとんど変化しない。
【0042】
一実施例において、前記N個のサブネットワークにおいてM個のサブネットワークを確定するステップは、前記N個のサブネットワークのネットワーク指標を演算し、前記N個のサブネットワークからネットワーク指標の品質指数が最も高いM個のサブネットワークを選択するステップを含む。ネットワーク指標は、精度、損失値、検証精度、検証損失、平均絶対誤差などを含むが、本発明はこれらに限定されない。
【0043】
一実施例において、上記スーパーネットワークの使用方法は、前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定するステップを、さらに含む。
前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定する方式は、
前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを定数に設定する方式、
前記スーパーネットワークにおける一部の線形接続ユニットの線形パラメータを定数に設定し、残りの線形接続ユニットの線形パラメータを変数に設定する方式、及び
前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを変数に設定する方式のうちのいずれかの方式を含む。
【0044】
線形接続ユニットの線形パラメータの具体的な値が変数である場合、前記N個のサブネットワークの各サブネットワークに対してトレーニングを行う時、各線形接続ユニットの線形パラメータを更新する。
【0045】
一実施例において、前記線形パラメータは、スロープ、第1座標軸の変位量、第2座標軸の変位量のうちの少なくとも1つを含む。例えば、線形関係は、y(x)=k(x+a)+bであり、ここで、kは、スロープであり、aは、第1座標軸の変位量であり、bは、第2座標軸の変位量である。
【0046】
一実施例において、スーパーネットワークにおける線形パラメータが定数である各線形接続ユニットの各線形パラメータの値は、同じであってもよいし、異なってもよい。例えば、スーパーネットワークにおけるすべての線形接続ユニットの線形関係は、いずれもy(x)=2(x+1)+3であってもよい。また、例えば、スーパーネットワークにおける一部の線形接続ユニットの線形関係は、y(x)=2(x+1)+3であり、残りの線形接続ユニットの線形関係は、y(x)=1.5xであってもよい。また、例えば、スーパーネットワークにおける一部の線形接続ユニットの線形関係は、y(x)=2(x+1)+3であり、他の一部の線形接続ユニットの線形関係は、y(x)=1.5xであり、残りの線形接続ユニットの線形関係は、y(x)=2x+3などであってもよい。
【0047】
図6は、一例示的な実施例に係るスーパーネットワークの構築装置を示す構成図である。上記スーパーネットワークの構築装置は、
スーパーネットワークの少なくとも一つの層に線形接続ユニットを設置し、前記線形接続ユニットは、入力端が前記線形接続ユニットの所属層の上層に接続され、出力端が前記線形接続ユニットの所属層の下層に接続され、前記線形接続ユニットの出力と入力は、線形関係を有し、前記線形関係は、出力が入力に等しいという関係以外の線形関係を含む第1設置モジュールを含む。
【0048】
一実施例において、スーパーネットワークの構築装置は、
前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定するための第2設置モジュールを、さらに含む。
前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定する方式は、
前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを定数に設定する方式、
前記スーパーネットワークにおける一部の線形接続ユニットの線形パラメータを定数に設定し、残りの線形接続ユニットの線形パラメータを変数に設定する方式、及び
前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを変数に設定する方式のうちのいずれかの方式を含む。
前記線形パラメータは、スロープ、第1座標軸の変位量、第2座標軸の変位量のうちの少なくとも1つを含む。
【0049】
図7は、一例示的な実施例に係るスーパーネットワークの使用装置を示す構成図である。上記スーパーネットワークの構築装置は、
スーパーネットワークの少なくとも一つの層に線形接続ユニットを設置し、前記線形接続ユニットは、入力端が前記線形接続ユニットの所属層の上層に接続され、出力端が前記線形接続ユニットの所属層の下層に接続され、前記線形接続ユニットの出力と入力は、線形関係を有する第3設置モジュールと、
前記スーパーネットワークに応じてN個のサブネットワークを確定するための第1確定モジュールと、
対応するトレーニングの終了条件が満たされるまでに、前記N個のサブネットワークの各サブネットワークをトレーニングするための第1トレーニングモジュールと、
前記N個のサブネットワークにおいてM個のサブネットワークを確定するための第2確定モジュールと、
前記M個のサブネットワークにおける線形接続ユニットを含むサブネットワークに対して、前記線形接続ユニットを含んでいるサブネットワークにおける線形接続ユニットの線形関係を、出力が入力に等しいという関係に変更させるための変更モジュールと、
前記M個のサブネットワークの各サブネットワークに対して個別のトレーニングを行い、トレーニングの終了後、各サブネットワークの性能指標を抽出するための第2トレーニングモジュールと、を含む。
ここで、NとMは、1より大きい整数であり、Mは、N以下である。
【0050】
一実施例において、第2確定モジュールは、
前記N個のサブネットワークのネットワーク指標を演算するための演算モジュールと、
前記N個のサブネットワークからネットワーク指標の品質指数が最も高いM個のサブネットワークを選択するための選択モジュールと、を含む。
【0051】
一実施例において、スーパーネットワークの構築装置は、前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定するための第4設置モジュールを、さらに含む。
前記スーパーネットワークにおける各線形接続ユニットの線形パラメータを設定する方式は、
前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを定数に設定する方式、
前記スーパーネットワークにおける一部の線形接続ユニットの線形パラメータを定数に設定し、残りの線形接続ユニットの線形パラメータを変数に設定する方式、及び
前記スーパーネットワークにおけるすべての線形接続ユニットの線形パラメータを変数に設定する方式のうちのいずれかの方式を含む。
【0052】
一実施例において、前記第1トレーニングモジュールは、線形接続ユニットの線形パラメータの具体的な値が変数である場合、前記N個のサブネットワークの各サブネットワークに対してトレーニングを行う時、各線形接続ユニットの線形パラメータを更新するためにも使用される。
【0053】
一実施例において、前記線形パラメータは、スロープ、第1座標軸の変位量、第2座標軸の変位量のうちの少なくとも1つを含む。
【0054】
図8は、一例示的な実施例に係るスーパーネットワークの構築装置または使用装置800のブロック図である。例えば、使用装置800は、携帯電話、コンピュータ、デジタルブロードキャスト端末、メッセージ送受信機器、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、個人向け携帯型情報端末機器(PDA)などであってもよい。
【0055】
図8を参照すると、装置800は、処理ユニット802、メモリ804、電源ユニット806、マルチメディアユニット808、オーディオユニット810、入力/出力(I/O)インタフェース812、センサーユニット814、及び通信ユニット816からなる群から選ばれる少なくとも1つを備えてもよい。
【0056】
処理ユニット802は、一般的には、装置800の全体の操作、例えば、表示、電話呼び出し、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理ユニット802は、上述した方法におけるステップの一部又は全部を実現できるように、指令を実行する少なくとも1つのプロセッサ820を備えてもよい。また、処理ユニット802は、他のユニットとのインタラクションを便利にさせるように、少なくとも1つのモジュールを備えてもよい。例えば、処理ユニット802は、マルチメディアユニット808とのインタラクションを便利にさせるように、マルチメディアモジュールを備えてもよい。
【0057】
メモリ804は、装置800での操作をサポートするように、各種のデータを記憶するように構成される。これらのデータは、例えば、装置800で何れのアプリケーション又は方法を操作するための指令、連絡先データ、電話帳データ、メッセージ、画像、ビデオなどを含む。メモリ804は、何れの種類の揮発性又は不揮発性メモリ、例えば、SRAM(Static Random Access Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、EPROM(Erasable Programmable Read Only Memory)、PROM(Programmable ROM)、ROM(Read Only Member)、磁気メモリ、フラッシュメモリ、磁気ディスク、或いは光ディスクにより、或いはそれらの組み合わせにより実現することができる。
【0058】
電源ユニット806は、装置800の各種ユニットに電力を供給するためのものであり、電源管理システム、1つ又は複数の電源、及び装置800のために電力を生成、管理及び分配することに関連する他のユニットを備えてもよい。
【0059】
マルチメディアユニット808は、前記装置800とユーザとの間に出力インタフェースを提供するスクリーンを備えてもよい。スクリーンは、例えば、液晶ディスプレイ(LCD)やタッチパネル(TP)を備えてもよい。スクリーンは、タッチパネルを備える場合、ユーザからの入力信号を受信するように、タッチスクリーンになることができる。また、タッチパネルは、タッチや、スライドや、タッチパネル上の手振りを感知するように、少なくとも1つのタッチセンサーを有する。前記タッチセンサーは、タッチやスライド動作の境界を感知できるだけではなく、タッチやスライド操作と関連する持続時間や圧力も感知できる。一実施例では、マルチメディアユニット808は、フロントカメラ及び/又はバックカメラを有してもよい。装置800が、例えば、撮影モードやビデオモードのような操作モードにある時、フロントカメラ及び/又はバックカメラが外部のマルチメディアデータを受信できる。フロントカメラ及びバックカメラのそれぞれは、固定の光学レンズ系であってもよいし、焦点距離及び光学ズーム能力を有するものであってもよい。
【0060】
オーディオユニット810は、オーディオ信号を出力及び/又は入力するように構成される。例えば、オーディオユニット810は、マイクロフォン(MIC)を有してもよい。装置800が、例えば、呼び出しモード、記録モード、又は音声認識モードのような操作モードにある時、マイクロフォンは、外部のオーディオ信号を受信するように配置される。受信したオーディオ信号は、メモリ804にさらに記憶されてもよいし、通信ユニット816を介して送信されてもよい。一実施例では、オーディオユニット810は、オーディオ信号を出力するためのスピーカをさらに備えてもよい。
【0061】
I/Oインタフェース812は、処理ユニット802と外部のインタフェースモジュールとの間にインタフェースを提供するためのものである。上記外部のインタフェースモジュールは、キーボードや、クリックホイールや、ボタンなどであってもよい。これらのボタンは、ホームボタンや、音量ボタンや、スタートボタンや、ロックボタンであってもよいが、それらに限らない。
【0062】
センサーユニット814は、装置800のために各方面の状態を評価する少なくとも1つのセンサーを備えてもよい。例えば、センサーユニット814は、装置800のオン/オフ状態や、ユニットの相対的な位置を検出することができる。例えば、前記ユニットは、装置800のディスプレイ及びキーパッドである。センサーユニット814は、装置800又は装置800の1つのユニットの位置の変化、ユーザによる装置800への接触の有無、装置800の方向又は加速/減速、装置800の温度変化などを検出することができる。センサーユニット814は、何れの物理的な接触もない場合に付近の物体を検出するように構成される近接センサーを有してもよい。センサーユニット814は、イメージングアプリケーションに用いるための光センサー、例えば、CMOS又はCCD画像センサーを有してもよい。一実施例では、当該センサーユニット814は、加速度センサー、ジャイロスコープセンサー、磁気センサー、圧力センサー又は温度センサーをさらに備えてもよい。
【0063】
通信ユニット816は、装置800と他の設備の間との無線又は有線通信を便利にさせるように構成される。装置800は、通信標準に基づく無線ネットワーク、例えば、WiFi、2G又は3G、又はそれらの組み合わせにアクセスできる。1つの例示的な実施例では、通信ユニット816は、ブロードキャストチャンネルを介して外部のブロードキャスト管理システムからのブロードキャスト信号又はブロードキャストに関する情報を受信する。1つの例示的な実施例では、前記通信ユニット816は、近距離通信を促進するために近距離無線通信(NFC)モジュールをさらに備えてもよい。例えば、NFCモジュールは、無線周波数認識装置(RFID:Radio Frequency IDentification)技術、赤外線データ協会(IrDA:Infrared Data Association)技術、超広帯域無線(UWB:Ultra Wide Band)技術、ブルートゥース(登録商標)(BT:Bluetooth)技術及び他の技術により実現されてもよい。
【0064】
例示的な実施例では、装置800は、上述した方法を実行するために、1つ又は複数の特定用途向け集積回路(ASIC:Application Specific Integrated Circuit)、デジタル信号プロセッサ(DSP:Digital Signal Processor)、デジタル信号処理デバイス(DSPD:Digital Signal Processing Device)、プログラマブルロジックデバイス(PLD:Programmable Logic Device)、書替え可能ゲートアレイ(FPGA:Field-Programmable Gate Array)、コントローラ、マイクロコントローラ、マイクロプロセッサ、又は他の電子機器により実現されてもよい。
【0065】
例示的な実施例では、指令を有する非一時的コンピュータ読み取り可能な記録媒体、例えば、指令を有するメモリ804をさらに提供する。前記指令は、装置800のプロセッサ820により実行されて上述した方法を実現する。例えば、前記非一時的コンピュータ読み取り可能な記録媒体は、ROM、RAM、CD-ROM、磁気テープ、フロッピー(登録商標)ディスク及び光データメモリなどであってもよい。
【0066】
例示的な実施例では、指令を有する非一時的コンピュータ読み取り可能な記録媒体、例えば、指令を有するメモリをさらに提供する。前記指令は、装置900のプロセッサ920により実行されて上述した方法を実現する。例えば、前記非一時的コンピュータ読み取り可能な記録媒体は、ROM、RAM、CD-ROM、磁気テープ、フロッピー(登録商標)ディスク及び光データメモリなどであってもよい。
【0067】
当業者は、明細書に対する理解、及び明細書に記載された発明に対する実施を介して、本発明の他の実施形態を容易に取得することができる。本発明は、本発明に対する任意の変形、用途、又は適応的な変化を含み、このような変形、用途、又は適応的な変化は、本発明の一般的な原理に従い、本発明では開示していない本技術分野の公知知識、又は通常の技術手段を含む。明細書及び実施例は、単に例示的なものであって、本発明の本当の範囲と主旨は、以下の特許請求の範囲により示される。
【0068】
本発明は、上記で記述され、図面で図示した特定の構成に限定されず、その範囲を離脱しない状況で、様々な修正や変更を実施してもよい。本発明の範囲は、添付される特許請求の範囲のみにより限定される。
【0069】
本願は、出願番号が201910763113.Xであって、出願日が2019年8月19日である中国特許出願に基づいて優先権を主張し、当該中国特許出願の内容のすべてを本願に援用される。
図1
図2
図3
図4
図5
図6
図7
図8