(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-20
(45)【発行日】2023-10-30
(54)【発明の名称】ディープラーニングモデルのチューニング方法およびシステム
(51)【国際特許分類】
G06N 3/082 20230101AFI20231023BHJP
【ＦＩ】
G06N3/082
【請求項の数】
19
(21)【出願番号】P 2022141858
(22)【出願日】2022-09-07
(65)【公開番号】P2023104863
(43)【公開日】2023-07-28
【審査請求日】2022-09-07
(31)【優先権主張番号】10-2022-0006896
(32)【優先日】2022-01-17
(33)【優先権主張国・地域又は機関】KR
【新規性喪失の例外の表示】特許法第３０条第２項適用 令和３年９月１０日にウェブサイト（ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／２１０９．０４６５０ｖ１）に掲載
(73)【特許権者】
【識別番号】505205812
【氏名又は名称】ネイバー コーポレーション
【氏名又は名称原語表記】ＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】イ ギチャン
(72)【発明者】
【氏名】コ ソクヒョン
(72)【発明者】
【氏名】パク ウミョン
【審査官】武田 広太郎
(56)【参考文献】
【文献】国際公開第２０２０／０２６７４１（ＷＯ，Ａ１）
【文献】特開２０２０－１６０７６４（ＪＰ，Ａ）
【文献】特表２０２２－５２３２０７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／０８２
(57)【特許請求の範囲】
【請求項1】
使用者端末の少なくとも一つのプロセッサによって遂行される情報処理システムに含まれたバックボーンモデルを利用したディープラーニングモデルのチューニング方法において、前記ディープラーニングモデルの入力データに関連した情報、チューニング対象層に関連した情報および学習状態情報のうち少なくとも一つを含むサービス要請を前記情報処理システムに伝送する段階と、
前記サービス要請の応答として、前記情報処理システムから前記バックボーンモデルを利用して算出されたチューニングデータを受信する段階と、
前記チューニングデータを利用して前記ディープラーニングモデルをアップデートする段階と、
を含み、
前記チューニングデータは前記バックボーンモデルのパラメータ、特定層に対する入力値、特定層の出力値およびパラメータの変動分のうち少なくとも一つを含む、ディープラーニングモデルのチューニング方法。
【請求項2】
前記チューニングデータを利用して前記ディープラーニングモデルをアップデートすることと関連して前記学習状態情報をアップデートする段階をさらに含む、請求項１に記載のディープラーニングモデルのチューニング方法。
【請求項3】
前記学習状態情報は、前記ディープラーニングモデルの学習率（ｌｅａｒｎｉｎｇ ｒａｔｅ）、オプティマイザ状態（ｏｐｔｉｍｉｚｅｒ ｓｔａｔｅｓ）、加重値減衰係数（ｗｅｉｇｈｔ ｄｅｃａｙ ｆａｃｔｏｒ）、勾配クリッピング係数（ｇｒａｄｉｅｎｔ ｃｌｉｐｐｉｎｇ ｆａｃｔｏｒ）、および損失スケール値（ｌｏｓｓ ｓｃａｌｅ）のうち少なくとも一つを含む、請求項１に記載のディープラーニングモデルのチューニング方法。
【請求項4】
前記サービス要請を前記情報処理システムに伝送する段階は、前記バックボーンモデルと連動されているＡＰＩサーバーに、前記ディープラーニングモデルの前記入力データに関連した情報、前記チューニング対象層に関連した情報および前記学習状態情報のうち少なくとも一つをパラメータとして含むＡＰＩの呼び出しを伝送する段階を含み、
前記サービス要請の応答として、前記情報処理システムから前記バックボーンモデルを利用して算出されたチューニングデータを受信する段階は、
前記ＡＰＩの呼び出しの応答として、前記ＡＰＩサーバーから、前記ディープラーニングモデルの前記入力データに関連した情報、前記チューニング対象層に関連した情報および前記学習状態情報のうち少なくとも一つに基づいた前記バックボーンモデルの実行結果を受信する段階を含む、請求項１に記載のディープラーニングモデルのチューニング方法。
【請求項5】
前記バックボーンモデルは、前記ディープラーニングモデルの複数の層のうち前記チューニング対象層を除いた一つ以上の層を含む、請求項１に記載のディープラーニングモデルのチューニング方法。
【請求項6】
前記バックボーンモデルは、前記ディープラーニングモデルのチューニング前に、学習データに基づいて事前学習されている、請求項１に記載のディープラーニングモデルのチューニング方法。
【請求項7】
前記チューニング対象層は前記ディープラーニングモデルの入力層であり、前記サービス要請を前記情報処理システムに伝送する段階は、前記入力層の出力を含むサービス要請を前記情報処理システムに伝送する段階を含む、請求項１に記載のディープラーニングモデルのチューニング方法。
【請求項8】
前記チューニング対象層は前記ディープラーニングモデルの出力層であり、前記サービス要請を前記情報処理システムに伝送する段階は、前記ディープラーニングモデルの入力データを含むサービス要請を前記情報処理システムに伝送する段階を含む、請求項１に記載のディープラーニングモデルのチューニング方法。
【請求項9】
前記チューニングデータを利用して前記ディープラーニングモデルをアップデートする段階は、前記バックボーンモデルの順伝播計算出力を前記出力層に入力して出力確率を算出する段階と、
前記出力確率をラベルと比較して損失を計算する段階と、
前記損失に基づいて前記出力層をアップデートする段階と、を含む、請求項８に記載のディープラーニングモデルのチューニング方法。
【請求項10】
前記チューニング対象層は前記ディープラーニングモデルの中間層であり、前記サービス要請を前記情報処理システムに伝送する段階は、前記ディープラーニングモデルの入力データおよび、前記中間層に対する情報を含むサービス要請を前記情報処理システムに伝送する段階を含む、請求項１に記載のディープラーニングモデルのチューニング方法。
【請求項11】
前記サービス要請の応答として、前記情報処理システムから前記バックボーンモデルを利用して算出されたチューニングデータを受信する段階は、前記バックボーンモデルの順伝播計算結果および逆伝播計算結果のうち少なくとも一つを受信する段階を含む、請求項１に記載のディープラーニングモデルのチューニング方法。
【請求項12】
バックボーンモデルを含む情報処理システムの少なくとも一つのプロセッサによって遂行されるディープラーニングモデルのチューニング方法において、前記ディープラーニングモデルの入力データに関連した情報、チューニング対象層に関連した情報および学習状態情報のうち少なくとも一つを含むサービス要請を受信する段階と、
前記サービス要請により前記バックボーンモデルの実行結果を算出する段階と、
前記サービス要請の応答として、前記バックボーンモデルの実行結果を含むチューニングデータを前記ディープラーニングモデルが含まれた使用者端末に伝送する段階と、
を含み、
前記チューニングデータは前記バックボーンモデルのパラメータ、特定層に対する入力値、特定層の出力値およびパラメータの変動分のうち少なくとも一つを含む、ディープラーニングモデルのチューニング方法。
【請求項13】
前記チューニング対象層は前記ディープラーニングモデルの入力層であり、前記サービス要請は前記入力層の出力、ラベルおよび前記ディープラーニングモデルの状態情報を含み、前記サービス要請により前記バックボーンモデルの実行結果を算出する段階は、
前記入力層の出力を前記バックボーンモデルに順伝播して出力確率を獲得する段階と、
前記出力確率を前記ラベルと比較して損失を計算する段階と、
前記損失を最小化する方向に前記バックボーンモデルをアップデートするためのグラジエントを算出する段階と、
前記グラジエントを前記バックボーンモデルに逆伝播して前記入力層のグラジエントを獲得する段階と、を含む、請求項１２に記載のディープラーニングモデルのチューニング方法。
【請求項14】
前記チューニング対象層は前記ディープラーニングモデルの出力層であり、前記サービス要請は入力データを含み、前記サービス要請により前記バックボーンモデルの実行結果を算出する段階は、
前記入力データを前記バックボーンモデルに順伝播して順伝播計算出力を算出する段階を含む、請求項１２に記載のディープラーニングモデルのチューニング方法。
【請求項15】
前記チューニング対象層は前記ディープラーニングモデルの中間層であり、前記サービス要請は前記中間層に関連した情報、入力データ、ラベルおよび前記ディープラーニングモデルの状態情報を含み、前記サービス要請により前記バックボーンモデルの実行結果を算出する段階は、
前記中間層に関連した情報に基づいて前記バックボーンモデルの中間層に関連した情報を決定する段階と、
前記入力データを前記バックボーンモデルに順伝播して出力確率を獲得する段階と、
前記出力確率と前記ラベルを比較して損失を計算する段階と、
前記損失を最小化する方向に前記バックボーンモデルをアップデートするためのグラジエントを算出する段階と、
前記グラジエントを前記バックボーンモデルに逆伝播して前記中間層のグラジエントを獲得する段階と、を含む、請求項１２に記載のディープラーニングモデルのチューニング方法。
【請求項16】
前記サービス要請の応答として、前記バックボーンモデルの実行結果を含むチューニングデータを前記ディープラーニングモデルが含まれた使用者端末に伝送する段階は、前記バックボーンモデルの順伝播計算結果および逆伝播計算結果のうち少なくとも一つを前記ディープラーニングモデルが含まれた使用者端末に伝送する段階を含む、請求項１２に記載のディープラーニングモデルのチューニング方法。
【請求項17】
クラウドコンピューティングシステムの少なくとも一つのプロセッサによって遂行されるバックボーンモデルを利用したディープラーニングモデルのチューニング方法において、使用者仮想マシンによって、前記ディープラーニングモデルの入力データに関連した情報、チューニング対象層に関連した情報および学習状態情報のうち少なくとも一つを含むサービス要請を仮想サーバーに伝送する段階と、
前記仮想サーバーによって、前記サービス要請の応答として、前記バックボーンモデルを利用してチューニングデータを算出して前記使用者仮想マシンに伝送する段階と、
前記使用者仮想マシンによって、前記チューニングデータを利用して前記ディープラーニングモデルをアップデートする段階と、
を含み、
前記チューニングデータは前記バックボーンモデルのパラメータ、特定層に対する入力値、特定層の出力値およびパラメータの変動分のうち少なくとも一つを含む、ディープラーニングモデルのチューニング方法。
【請求項18】
請求項１～請求項１７のいずれか一項に記載された方法をコンピュータで実行するためのコンピュータ読み取り可能なコンピュータプログラム。
【請求項19】
使用者端末であって、メモリ；および
前記メモリと連結され、前記メモリに含まれたコンピュータ読み取り可能な少なくとも一つのプログラムを実行するように構成された少なくとも一つのプロセッサ
を含み、
前記少なくとも一つのプログラムは、
ディープラーニングモデルの入力データに関連した情報、チューニング対象層に関連した情報および学習状態情報のうち少なくとも一つを含むサービス要請をバックボーンモデルを含む情報処理システムに伝送し、
前記サービス要請の応答として、前記情報処理システムから前記バックボーンモデルを利用して算出されたチューニングデータを受信し、
前記チューニングデータを利用して前記ディープラーニングモデルをアップデートするための命令語を含み、
前記チューニングデータは前記バックボーンモデルのパラメータ、特定層に対する入力値、特定層の出力値およびパラメータの変動分のうち少なくとも一つを含む、使用者端末。
【発明の詳細な説明】
【技術分野】
【0001】
本開示はディープラーニングモデルのチューニング方法およびシステムに関し、具体的には、多様なタスクを実行するために事前学習されたディープラーニングモデルのチューニングを使用者端末を利用して実行できる方法およびシステムに関する。
【背景技術】
【0002】
最近イメージまたは映像を利用した客体（又はオブジェクト）認識または識別作業、音声合成および認識、自然語処理などのような多様な作業の実行に、人工ニューラルネットワークに基づいたディープラーニングモデルが広範囲に使われている。一般に、特定タスクまたは作業の実行のために該当タスクの目的や用途に合うディープラーニングモデルが選択され、選択されたディープラーニングモデルは特定タスクの実行に適合するように多量のデータを利用して学習される。
【0003】
一方、多様なタスクの共通の作業を実行するように、構成および学習されたバックボーンモデルに基づいて各タスクに合うようにバックボーンモデルを他のモデルと連結したり、バックボーンモデルの一部の構成をチューニングする技法が使われている。しかし、最近ディープラーニングモデルの大きさが増加するにつれて、バックボーンモデルのチューニングに必要なコンピューティングリソースも莫大に大きくなっている。これに伴い、ディープラーニング基盤のバックボーンモデルをチューニングして特定作業を実行しようとする個別研究者または使用者も、ローカルコンピューティング装置で大規模なバックボーンモデルを設置し実行するのに多くの時間と費用を投与しなければならない問題点がある。また、従来技術に係るバックボーンモデルチューニング方法によると、同一のコンピューティングリソースを使って１個の特定バックボーンモデルのチューニングのみが可能であるため、多様な使用者の要求事項を同時に満足させ難い。
【先行技術文献】
【特許文献】
【0004】
【文献】韓国公開特許公報第１０－２０２１－００９１９１９号
【発明の概要】
【発明が解決しようとする課題】
【0005】
本開示は前記のような問題点を解決するためのディープラーニングモデルのチューニング方法、コンピュータプログラム、装置およびシステムを提供する。
【課題を解決するための手段】
【0006】
本開示は方法、装置またはシステムまたはコンピュータプログラムを含んだ多様な方式で具現され得る。
【0007】
本開示の一実施例によると、使用者端末の少なくとも一つのプロセッサによって遂行される情報処理システムに含まれたバックボーンモデルを利用したディープラーニングモデルのチューニング方法は、ディープラーニングモデルの入力データに関連した情報、チューニング対象層に関連した情報および学習状態情報のうち少なくとも一つを含むサービス要請を情報処理システムに伝送する段階、サービス要請の応答として、情報処理システムからバックボーンモデルを利用して算出されたチューニングデータを受信する段階、チューニングデータを利用してディープラーニングモデルをアップデートする段階を含み、チューニングデータはバックボーンモデルのパラメータ、特定層に対する入力値、特定層の出力値およびパラメータの変動分のうち少なくとも一つを含む。
【0008】
本開示の他の実施例によると、バックボーンモデルを含む情報処理システムの少なくとも一つのプロセッサによって遂行されるディープラーニングモデルのチューニング方法は、ディープラーニングモデルの入力データに関連した情報、チューニング対象層に関連した情報および学習状態情報のうち少なくとも一つを含むサービス要請を受信する段階、サービス要請によりバックボーンモデルの実行結果を算出する段階、およびサービス要請の応答として、バックボーンモデルの実行結果を含むチューニングデータをディープラーニングモデルが含まれた使用者端末に伝送する段階を含み、チューニングデータはバックボーンモデルのパラメータ、特定層に対する入力値、特定層の出力値およびパラメータの変動分のうち少なくとも一つを含む。
【0009】
本開示のさらに他の実施例によると、クラウドコンピューティングシステムの少なくとも一つのプロセッサによって遂行されるバックボーンモデルを利用したディープラーニングモデルのチューニング方法は、使用者仮想マシンによって、ディープラーニングモデルの入力データに関連した情報、チューニング対象層に関連した情報および学習状態情報のうち少なくとも一つを含むサービス要請を仮想サーバーに伝送する段階、仮想サーバーによって、サービス要請の応答として、バックボーンモデルを利用してチューニングデータを算出して使用者仮想マシンに伝送する段階、および使用者仮想マシンによって、チューニングデータを利用してディープラーニングモデルをアップデートする段階を含み、チューニングデータはバックボーンモデルのパラメータ、特定層に対する入力値、特定層の出力値およびパラメータの変動分のうち少なくとも一つを含む。
【0010】
本開示のさらに他の実施例によると、使用者端末、情報処理システムまたはクラウドコンピューティングシステムの少なくとも一つのプロセッサによって遂行されるディープラーニングモデルのチューニング方法を、コンピュータで実行するためのコンピュータプログラムが提供される。
【0011】
本開示のさらに他の実施例によると、使用者端末は、メモリ、およびメモリと連結され、メモリに含まれたコンピュータ読み取り可能な少なくとも一つのプログラムを実行するように構成された少なくとも一つのプロセッサを含み、少なくとも一つのプログラムは、ディープラーニングモデルの入力データに関連した情報、チューニング対象層に関連した情報および学習状態情報のうち少なくとも一つを含むサービス要請を情報処理システムに伝送し、サービス要請の応答として、情報処理システムからバックボーンモデルを利用して算出されたチューニングデータを受信し、チューニングデータを利用してディープラーニングモデルをアップデートするための命令語を含み、チューニングデータはバックボーンモデルのパラメータ、特定層に対する入力値、特定層の出力値およびパラメータの変動分のうち少なくとも一つを含む。
【発明の効果】
【0012】
本開示の一部の実施例によると、バックボーンモデルの構成やパラメータを変更せず、一つ以上の使用者端末または使用者空間に保存されたローカル使用者モデルをチューニングできるため、多様な使用者の要求事項に合わせて複数のディープラーニングモデルを同時にチューニングすることができる。
【0013】
本開示の一部の実施例によると、使用者モデルのチューニングのためにＡＰＩ呼び出しのような遠隔要請を通じてバックボーンモデルの実行結果の提供を受けることができるため、バックボーンモデルを保有し管理するサーバーまたはプラットホームの外部にバックボーンモデルの内部構成を露出することなく使用者の多様な要求事項に合うディープラーニングモデルのチューニングサービスを提供することができる。したがって、大規模なバックボーンモデルのセキュリティ性および信頼性を確保した状態で高品質のディープラーニングモデルチューニングサービスの提供が可能である。
【0014】
本開示の一部の実施例によると、ディープラーニングモデル学習またはチューニングに必要な学習率、オプティマイザ状態などのような状態情報を使用者端末または使用者空間側でのみ保存および管理することができる。したがって、ディープラーニングモデルのチューニングに必要な要請をステートレスプロトコル（ｓｔａｔｅｌｅｓｓ ｐｒｏｔｏｃｏｌ）で進行することができ、事前定義された遠隔要請を通じて多数の使用者端末のモデルチューニング要請を処理することができる。また、多数の使用者端末からのモデルチューニング要請トラフィックが急増する場合にも、バックボーンモデルに接近するサーバーのスケーリングも容易となる。
【0015】
本開示の効果は以上で言及した効果に制限されず、言及されていない他の効果は特許請求の範囲の記載から本開示が属する技術分野で通常の知識を有する者（「通常の技術者」という）に明確に理解され得るであろう。
【図面の簡単な説明】
【0016】
本開示の実施例は、以下で説明する添付図面を参照して説明され、ここで類似する参照番号は類似する要素を示すが、これに限定されはしない。
【図1】本開示の一実施例に係るディープラーニングモデルのチューニングシステムの構成を示す。
【図2】本開示の一実施例に係るディープラーニングモデルのチューニングを実行するために、情報処理システムが複数の使用者端末と通信できるように連結された構成を示す概要図である。
【図3】本開示の一実施例に係る使用者端末および情報処理システムの内部構成を示すブロック図である。
【図4】本開示の一実施例に係る使用者端末のプロセッサの内部構成を示す図面である。
【図5】本開示の一実施例に係る情報処理システムのプロセッサの内部構成を示す図面である。
【図6】本開示の一実施例に係るディープラーニングモデルのチューニング方法により使用者端末が入力層をチューニングする例示を示す。
【図7】本開示の一実施例に係るディープラーニングモデルのチューニング方法により使用者端末が出力層をチューニングする例示を示す。
【図8】本開示の一実施例に係るディープラーニングモデルのチューニング方法により使用者端末が中間層をチューニングする例示を示す。
【図9】本開示の一実施例に係るクラウドコンピューティング基盤のディープラーニングモデルのチューニングシステムの構成を示す図面である。
【図10】本開示の一実施例に係るディープラーニングモデルのチューニング方法の例示を示すフローチャートである。
【図11】本開示の他の実施例に係るディープラーニングモデルのチューニング方法の例示を示すフローチャートである。
【発明を実施するための形態】
【0017】
以下、本開示の実施のための具体的な内容を添付された図面を参照して詳細に説明する。ただし、以下の説明では本開示の要旨を不要に曖昧にさせ得る恐れがある場合、広く知られている機能や構成に関する具体的な説明は省略することにする。
【0018】
添付された図面で、同一または対応する構成要素には同一の参照符号が付与されている。また、以下の実施例の説明において、同一または対応する構成要素を重複して記述することが省略され得る。しかし、構成要素に関する記述が省略されても、そのような構成要素がある実施例に含まれないものとは意図されない。
【0019】
開示された実施例の利点および特徴、そしてそれらを達成する方法は、添付される図面と共に後述されている実施例を参照すると明確になるであろう。しかし、本開示は以下で開示される実施例に限定されるものではなく互いに異なる多様な形態で具現され得、ただし本実施例は本開示を完全なものとし、本開示が通常の技術者に発明の範疇を完全に知らせるために提供されるものに過ぎない。
【0020】
本明細書で使われる用語について簡略に説明し、開示された実施例について具体的に説明することにする。本明細書で使われる用語は本開示での機能を考慮しつつ、できる限り現在広く使われる一般的な用語を選択したが、これは関連分野に従事する技術者の意図または判例、新しい技術の出現などにより変わり得る。また、特定の場合は出願人が任意に選定した用語もあり、この場合、該当する発明の説明の部分で詳細にその意味を記載するであろう。したがって、本開示で使われる用語は単純な用語の名称ではなく、その用語が有する意味と本開示の全般にわたった内容に基づいて定義されなければならない。
【0021】
本明細書での単数の表現は文脈上明白に単数であると特定しない限り、複数の表現を含む。また、複数の表現は文脈上明白に複数であると特定しない限り、単数の表現を含む。明細書全体で或る部分が何らかの構成要素を含むとする時、これは特に反対の記載がない限り他の構成要素を除くものではなく他の構成要素をさらに含み得ることを意味する。
【0022】
また、明細書で使われる「モジュール」または「部」という用語はソフトウェアまたはハードウェア構成要素を意味し、「モジュール」または「部」は何らかの役割を遂行する。しかし、「モジュール」または「部」はソフトウェアまたはハードウェアに限定される意味ではない。「モジュール」または「部」はアドレッシングできる保存媒体にあるように構成されてもよく、一つまたはそれ以上のプロセッサを再生させるように構成されてもよい。したがって、一例として、「モジュール」または「部」はソフトウェア構成要素、客体指向ソフトウェア構成要素、クラス構成要素およびタスク構成要素のような構成要素と、プロセス、関数、属性、プロシーザー、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイまたは変数のうち少なくとも一つを含むことができる。構成要素と「モジュール」または「部」は、中で提供される機能はさらに小さい数の構成要素および「モジュール」または「部」で結合されるか追加的な構成要素と「モジュール」または「部」にさらに分離され得る。
【0023】
本開示の一実施例によると、「モジュール」または「部」はプロセッサおよびメモリで具現され得る。「プロセッサ」は汎用プロセッサ、中央処理装置（ＣＰＵ）、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、制御器、マイクロ制御器、状態マシンなどを含むように広く解釈されるべきである。いくつかの環境において、「プロセッサ」は特定用途向け半導体（ＡＳＩＣ）、プログラム可能ロジックデバイス（ＰＬＤ）、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）等を指称してもよい。「プロセッサ」は例えば、ＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサの組み合わせ、ＤＳＰコアと結合した一つ以上のマイクロプロセッサの組み合わせ、または任意の他のそのような構成の組み合わせのような処理デバイスの組み合わせを指称してもよい。また、「メモリ」は電子情報を保存可能な任意の電子コンポーネントを含むように広く解釈されるべきである。「メモリ」は任意アクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、不揮発性任意アクセスメモリ（ＮＶＲＡＭ）、プログラム可能読み取り専用メモリ（ＰＲＯＭ）、消去－プログラム可能読み取り専用メモリ（ＥＰＲＯＭ）、電気的に消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気または光学データ保存装置、レジスタなどのようなプロセッサ－読み取り可能媒体の多様な類型を指称してもよい。プロセッサがメモリから情報を読み取り／したりメモリに情報を記録できるのであれば、メモリはプロセッサと電子通信状態にあると呼ばれる。プロセッサに集積されたメモリはプロセッサと電子通信状態にある。
【0024】
本開示で、「システム」はサーバー装置とクラウド装置のうち少なくとも一つの装置を含むことができるが、これに限定されるものではない。例えば、システムは一つ以上のサーバー装置で構成され得る。他の例として、システムは一つ以上のクラウド装置で構成され得る。さらに他の例として、システムはサーバー装置とクラウド装置が共に構成されて動作され得る。
【0025】
本開示で、「ディープラーニングモデル（ｄｅｅｐ－ｌｅａｒｎｉｎｇ ｍｏｄｅｌ）」は多重または複数の非線形変換技法またはモデルの組み合わせを通じて、高い水準の抽象化（ａｂｓｔｒａｃｔｉｏｎ）を実行できる機械学習アルゴリズムまたはモデルを指称し得る。ディープラーニングモデルは複雑な非線形関係をモデリングできる深層ニューラルネットワーク（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）で具現され得、深層ニューラルネットワークは入力層と出力層間に複数の隠れ層を含む人工ニューラルネットワーク（ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を示すことができる。
【0026】
本開示で、「バックボーンモデル（ｂａｃｋｂｏｎｅ ｍｏｄｅｌ）」は多様な種類のタスク（または作業）を遂行するために共通して必要な機能を実行するように構成されるか、学習されたディープラーニングモデルを指称し得る。バックボーンモデルは、多様な種類のタスクを実行するために、該当モデルの一部分または一部の層の構造またはパラメータを変更したり、該当タスクの目的に合うように構成された追加のモデルまたはモジュールと連結され得る。例えば、バックボーンモデルは一般的な視覚的パターンの分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）のために構成または学習されたモデルであって、客体の感知（ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ）、セグメンテーション（ｓｅｇｍｅｎｔａｔｉｏｎ）、姿勢推定（ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ）などのために入力データから特徴（ｆｅａｔｕｒｅ）のみを抽出するように構成され、抽出された特徴は各タスクの目的に合うように構成された他のモデルに伝達され得る。例えば、バックボーンモデルはＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎ、Ｍｏｂｉｌｅ Ｎｅｔなどのようなモデルを指称し得る。特に、本開示でのバックボーンモデルは、大量のパラメータと学習データを利用して総合的かつ高次元の推論が可能な超巨大人工知能モデルを含むことができる。
【0027】
本開示で、「チューニング」は事前に学習されたディープラーニングモデルに基づいてさらに改善された性能を目的としたり、新しい目的のために該当モデルの構成またはパラメータなどを調整する過程を指称し得る。例えば、チューニングは、追加の学習データを利用して、ディープラーニングモデルに含まれた一部の層の加重値またはパラメータなどをアップデートすることを含むことができる。
【0028】
本開示で、「複数のＡのそれぞれ」または「複数のＡそれぞれ」は複数のＡに含まれたすべての構成要素のそれぞれを指称するか、複数のＡに含まれた一部の構成要素のそれぞれを指称し得る。
【0029】
図１は、本開示の一実施例に係るディープラーニングモデルのチューニングシステム１００の構成を示す。図示された通り、ディープラーニングモデルのチューニングシステム１００は、ネットワーク１３０を通じて連結された複数の使用者端末１１０、１２０およびサーバー１５０を含むことができる。一実施例によると、使用者は使用者端末１１０、１２０を通じて、使用者モデル１１２、１２２が特定作業（またはタスク）を実行するのに適合であるように構成したり特定作業に対して改善された性能を有するようにするために、使用者モデル１１２、１２２をチューニングすることができる。具体的には、使用者は一般的な作業を遂行できるように、事前学習された（事前にトレーニングされた、又はｐｒｅ－ｔｒａｉｎｅｄ）モデルを利用して使用者モデル１１２、１２２を設計した後、特定作業（例：感性分析、質問応答、情報検索、機械翻訳など）で最適な性能を出すモデルを具現するために、使用者端末１１０、１２０を通じて使用者モデル１１２、１２２それぞれの一部又は全部をチューニングすることができる。使用者端末１１０、１２０に設置されてチューニングされる使用者モデル１１２、１２２は、各モデルのすべての構成要素（例えば、モデルを構成する複数の層、各層に関連した加重値またはパラメータ、状態情報など）の一部１１４、１２４を含み、残りの一部１１６、１２６はネットワークを通じて接近可能なサーバー１５０に設置されたバックボーンモデル１５２の構成要素１５７、１５８で代替され得る。ここで、バックボーンモデル１５２は、使用者モデル１１２、１２２のチューニング前に、学習データに基づいて事前学習され得る。また、図１に図示された使用者モデル１１２、１２２およびバックボーンモデル１５２はディープラーニングモデルであり得る。
【0030】
一実施例によると、使用者端末１１０、１２０はサーバー５１０およびバックボーンモデル１５２のような外部リソースまたは独立した外部装置を利用して使用者モデル１１２、１２２をチューニングすることができる。一般的に、ディープラーニングモデルのチューニングに使われるリソースは該当モデルのスケールが大きいほど増加するので、使用者端末１１０、１２０のような制限的なコンピューティング環境で大規模なモデルをチューニングするのには困難が伴う。このようなコンピューティング資源の制限による問題点を解決するために、使用者端末１１０、１２０はネットワーク１３０を通じて連結されるサーバー１５０およびバックボーンモデル１５２の機能を利用して使用者モデル１１２、１２２をチューニングすることができる。この時、使用者端末１１０が第１使用者モデル１１２をチューニングする過程でサーバー１５０のバックボーンモデル１５２の構成は変化しないので、バックボーンモデル１５２は使用者端末１２０が第２使用者モデル１２２をチューニングするのに再使用され得る。また、使用者端末１１０、１２０が使用者モデル１１２、１２２をチューニングする過程でアップデートされる状態情報（例えば、学習率（ｌｅａｒｎｉｎｇ ｒａｔｅ）、オプティマイザ状態（ｏｐｔｉｍｉｚｅｒ ｓｔａｔｅｓ）、加重値減衰係数（ｗｅｉｇｈｔ ｄｅｃａｙ ｆａｃｔｏｒ）、勾配クリッピング係数（ｇｒａｄｉｅｎｔ ｃｌｉｐｐｉｎｇ ｆａｃｔｏｒ）、損失スケール値（ｌｏｓｓ ｓｃａｌｅ）等）は、使用者端末１１０、１２０に保存および管理され得る。図１では２個の使用者端末１１０、１２０が使用者モデル１１２、１２２をチューニングする例を図示しているが、これに限定されるものではなく、３個以上の使用者端末が一つのバックボーンモデルを利用してそれぞれ独立的に異なる使用者モデルをチューニングしてもよい。
【0031】
一実施例によると、使用者端末１１０、１２０はバックボーンモデル１５２を利用して使用者モデル１１２、１２２のチューニングのために必要な機能やデータを得ることができる。ここで、使用者モデルのチューニングに必要なデータは該当モデルのパラメータ値、特定層に入力されるか特定層から出力されるデータ、およびパラメータの変動分（例えば、勾配（ｇｒａｄｉｅｎｔ）またはグラジエントを利用して計算されたモメンタムなど）のうち少なくとも一つとなり得る。一般的にディープラーニングモデルは、該当モデルの出力と正解（またはラベル（ｌａｂｅｌ））の間の差（ｌｏｓｓ）を最小化する方向にパラメータをアップデートまたは学習することができる。このような使用者モデルの学習過程の各段階（ｓｔｅｐ）でモデルパラメータをアップデートするための変動分は、多様な方式（例えば、勾配降下法（ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ）、モメンタム（ｍｏｍｅｎｔｕｍ）、ＡＤＡＭなどの方式など）を利用して算出することができる。以下、本開示の実施例では説明の便宜のために、一般的に広く知られている勾配降下法を例示として使用者モデルのチューニングとパラメータアップデート方法を説明するが、これに限定されず、使用者モデルをチューニングしたりパラメータをアップデートできる他の多様な方式を使用できることは言うまでもない。
【0032】
一実施例によると、使用者端末１１０、１２０はサーバー１５０が提供するモデルチューニングのためのサービス呼び出しを利用してバックボーンモデル１５２の機能を利用することができる。例えば、使用者端末１１０、１２０はサーバー１５０が提供するＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を呼び出すことによって、バックボーンモデル１５０に接近することができる。この場合、サーバー１５０はＡＰＩ呼び出しおよびこれに対する応答手続きを実行できるＡＰＩサーバーを追加的に含むことができる。具体的には、ＡＰＩ呼び出しにより使用者端末１１０、１２０とＡＰＩサーバーが連結され、ＡＰＩサーバーは該当ＡＰＩ呼び出しに対する応答を提供するためにバックボーンモデル１５２の少なくとも一部の機能を実行することができる。例えば、使用者は使用者端末１２０を利用してＡＰＩを呼び出すことによって、ＡＰＩサーバーに使用者モデル１２２により算出されたデータを伝送して、バックボーンモデル１５２によって該当データを入力で算出した結果の提供を受けることができる。また、使用者は使用者端末１１０を利用してＡＰＩを呼び出すことによって、ＡＰＩサーバーからバックボーンモデル１５２で算出されたデータの伝達を受け、使用者モデル１１２に入力することができる。このように、使用者端末１１０、１２０がＡＰＩ呼び出しを通じてバックボーンモデル１５２の一部の機能を利用することによって、バックボーンモデル１５２の構成が隠された状態で使用者端末１１０、１２０は使用者モデル１１２、１２２のチューニングのために必要な機能やデータの提供を受けることができる。以上、実施例でサーバー１５０が提供するモデルチューニングのためのサービス呼び出しの例としてＡＰＩを説明したが、これに限定されるものではなく、ＲＰＣ（ｒｅｍｏｔｅ ｐｒｏｃｅｄｕｒｅ ｃａｌｌ）、ＲＭＩ（ｒｅｍｏｔｅ ｍｅｔｈｏｄ ｉｎｖｏｃａｔｉｏｎ）などのような多様なサービス要請または呼び出し方式が使われ得る。
【0033】
一実施例によると、使用者端末１１０、１２０はバックボーンモデル１５０を利用して使用者モデル１１２、１２２の特定層をチューニングすることができる。例えば、使用者端末１１０は、サーバー１５０からバックボーンモデル１５２の実行結果の提供を受け、その実行結果に基づいて算出されたグラジエント（ｇｒａｄｉｅｎｔ）を使用者モデル（例えば、第１使用者モデル１１２の出力層１１４）に適用することができる。
【0034】
他の例として、使用者端末１２０は、サーバー１５０からバックボーンモデル１５２で算出されたグラジエントを使用者モデル（例えば、第２使用者モデル１２２の入力層１２４）に適用することができる。一方、図１は、使用者モデル１１２、１２２それぞれの出力層１１４または入力層１２４をチューニングする例示が図示されたが、これに限定されない。例えば、使用者端末１１０、１２０はバックボーンモデル１５２を利用して使用者モデル１１２、１２２の中間層をチューニングしてもよい。
【0035】
一実施例によると、使用者端末１１０は出力層１５６を除いた第１バックボーンモデル１５８を利用して第１使用者モデル１１２の出力層１１４をチューニングすることができる。具体的には、使用者端末１１０は入力を第１バックボーンモデル１５８の入力層１５４に伝送し、該当入力が第１バックボーンモデル１５８を順伝播（ｆｏｒｗａｒｄ－ｐｒｏｐａｇａｔｅ）して生成されたデータ（例えば、バックボーンモデル１５２の出力層１５６に対する入力データ）を受信することができる。使用者端末１１０は受信したデータを第１使用者モデル１１２の出力層１１４に入力して出力を算出した後、これを利用して出力層１１４に対するグラジエントを計算する。例えば、損失関数（ｌｏｓｓ ｆｕｎｃｔｉｏｎ）を利用して使用者モデル１１２の入力に対するラベルとの差を求め、この差を最小化できる方向へのグラジエントを計算することができる。使用者端末１１０は、このように計算された出力層１１４に対するグラジエントを利用して出力層１１４をチューニングすることができる。
【0036】
追加的にまたは代案として、使用者端末１２０は入力層１５４を除いた第２バックボーンモデル１５７を利用して第２使用者モデル１２２の入力層１２４をチューニングすることができる。具体的には、使用者端末１１０は入力に対して第２使用者モデル１２２の入力層１２４が算出した結果を第２バックボーンモデル１５７に伝送することによって、該当算出結果と第２バックボーンモデル１５７を利用して生成された入力層に対するグラジエントデータを受信することができる。例えば、入力層に対するグラジエントデータは第２使用者モデル１２２の入力層１２４の結果を第２バックボーンモデル１５７の入力にして順伝播および逆伝播過程を経て生成され得る。使用者端末１２０は受信されたグラジエントを利用して第２使用者モデル１２２の入力層１２４をチューニングすることができる。これに関する詳細な説明は図６および７を参照して後述される。
【0037】
一実施例によると、使用者端末１１０、１２０は以上で説明した方法によってチューニングされた使用者モデル１１２、１２２およびバックボーンモデル１５２を利用して推論（ｉｎｆｅｒｅｎｃｅ）を遂行できる。使用者モデル１１２、１２２が大規模な場合、使用者端末１１０、１２０のような制限的な環境で使用者モデル１１２、１２２のすべての構成要素を利用して推論（ｉｎｆｅｒｅｎｃｅ）を遂行することは非効率的であり得る。したがって、使用者端末１１０、１２０は自身が保有した使用者モデル１１２、１２２のチューニングされた層１１４、１２４の実行結果とサーバー１５０から提供されるバックボーンモデル１５２の一部の実行結果を共に利用して推論を遂行できる。
【0038】
以上で説明した実施例で、使用者モデル１１２、１２２およびバックボーンモデル１５２は使用者端末１１０、１２０およびこれにネットワーク１３０を通じて連結されたサーバー１５０にそれぞれ設置されるか連結されたものとして説明されたが、これに限定されるものではない。一実施例において、バックボーンモデル１５２はクラウドコンピューティングシステムまたは分散コンピューティングシステムで割り当てられたセキュリティ保存領域に設置され得る。使用者モデル１１２、１２２は、クラウドコンピューティングシステムまたは分散コンピューティングシステム上でクライアント（または使用者端末）に割り当てられた使用者空間に保存されて接近され得る。クライアントはクラウドコンピューティングシステムまたは分散コンピューティングシステムに接続してバックボーンモデル１５２を利用することによって、使用者モデル１１２、１２２をチューニングするように構成され得る。
【0039】
図２は、本開示の一実施例に係るディープラーニングモデルのチューニングを実行するために、情報処理システム２３０が複数の使用者端末２１０＿１、２１０＿２、２１０＿３と通信できるように連結された構成を示す概要図である。情報処理システム２３０はディープラーニングモデルのチューニングのためのシステムおよび／または１つ以上の装置を含むことができる。例えば、情報処理システム２３０は、前記図１を参照して説明したサーバー１５０に対応し得る。一実施例において、情報処理システム２３０はディープラーニングモデルのチューニングに関連したコンピュータ実行可能なプログラム（例えば、ダウンロード可能なアプリケーション）およびデータを保存、提供および実行できる一つ以上のサーバー装置および／またはデータベース、またはクラウドコンピューティングサービス基盤の一つ以上の分散コンピューティング装置および／または分散データベースを含むことができる。情報処理システム２３０はアプリケーションを通じて入力される信号に対応する情報を提供したり、対応する処理を遂行できる。例えば、情報処理システム２３０はディープラーニングモデルのチューニングに関連したサービスを提供するように構成された任意のアプリケーションを通じて複数の使用者端末２１０＿１、２１０＿２、２１０＿３を制御することができる。
【0040】
情報処理システム２３０はネットワーク２２０を通じて複数の使用者端末２１０＿１、２１０＿２、２１０＿３と通信することができる。ネットワーク２２０は複数の使用者端末２１０＿１、２１０＿２、２１０＿３と情報処理システム２３０間の通信が可能なように構成され得る。ネットワーク２２０は設置環境により、例えば、イーサネット（Ｅｔｈｅｒｎｅｔ）（登録商標）、有線ホームネットワーク（Ｐｏｗｅｒ Ｌｉｎｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、電話線通信装置およびＲＳ－ｓｅｒｉａｌ通信などの有線ネットワーク、移動通信網、ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）、Ｗｉ－Ｆｉ、ＢｌｕｅｔｏｏｔｈおよびＺｉｇＢｅｅなどのような無線ネットワークまたはその組み合わせで構成され得る。通信方式は制限されず、ネットワーク２２０が含むことができる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網、衛星網など）を活用する通信方式だけでなく、複数の使用者端末２１０＿１、２１０＿２、２１０＿３の間の近距離無線通信も含まれ得る。
【0041】
図２で携帯電話端末機２１０＿１、タブレット端末機２１０＿２およびＰＣ端末機２１０＿３が使用者端末の例として図示されたが、これに限定されず、使用者端末２１０＿１、２１０＿２、２１０＿３は有線および／または無線通信が可能でディープラーニングモデルのチューニングに関連したサービスを提供するように構成されたアプリケーションなどが設置されて実行され得る任意のコンピューティング装置であり得る。例えば、使用者端末は、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、携帯電話、ナビゲーション、コンピュータ、ノートパソコン、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、タブレットＰＣ、ゲームコンソール（ｇａｍｅ ｃｏｎｓｏｌｅ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、ＩｏＴ（ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ）デバイス、ＶＲ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）デバイス、ＡＲ（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）デバイスなどを含むことができる。また、図２には３個の使用者端末２１０＿１、２１０＿２、２１０＿３がネットワーク２２０を通じて情報処理システム２３０と通信するものとして図示されているが、これに限定されず、異なる数の使用者端末がネットワーク２２０を通じて情報処理システム２３０と通信するように構成されてもよい。
【0042】
一実施例において、使用者端末２１０＿１、２１０＿２、２１０＿３はネットワーク２２０を通じてディープラーニングモデルのチューニングに関連したデータ要請またはサービス要請を情報処理システム２３０に伝送し、情報処理システム２３０からこれに関連したデータ（例えば、バックボーンモデルの全部または一部による実行結果として、該当モデルのパラメータ値、特定層に入力されるか特定層から出力されるデータ、およびパラメータの変動分など）を受信することができる。
【0043】
一実施例において、使用者端末２１０＿１、２１０＿２、２１０＿３はＡＰＩ呼び出しのようなサービス要請を通じてディープラーニングモデルのチューニングに関連したデータ要請を情報処理システム２３０に伝送し、情報処理システム２３０からこれに関連したデータを該当サービス要請に対する応答として受信することができる。
【0044】
図３は、本開示の一実施例に係る使用者端末２１０および情報処理システム２３０の内部構成を示すブロック図である。使用者端末２１０はディープラーニングモデルのチューニングに関連したサービスを提供する任意のアプリケーションなどが実行可能で、有／無線通信が可能な任意のコンピューティング装置を指称し得、例えば、図２の携帯電話端末機２１０＿１、タブレット端末機２１０＿２およびＰＣ端末機２１０＿３等を含むことができる。図示された通り、使用者端末２１０はメモリ３１２、プロセッサ３１４、通信モジュール３１６および入出力インターフェース３１８を含むことができる。これと同様に、情報処理システム２３０はメモリ３３２、プロセッサ３３４、通信モジュール３３６および入出力インターフェース３３８を含むことができる。図３に図示された通り、使用者端末２１０および情報処理システム２３０は、それぞれの通信モジュール３１６、３３６を利用してネットワーク２２０を通じて情報および／またはデータを通信できるように構成され得る。また、入出力装置３２０は入出力インターフェース３１８を通じて使用者端末２１０に情報および／またはデータを入力したり使用者端末２１０から生成された情報および／またはデータを出力したりするように構成され得る。
【0045】
メモリ３１２、３３２は非一過性の任意のコンピュータ読み取り可能な記録媒体を含むことができる。一実施例によると、メモリ３１２、３３２はＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ディスクドライブ、ＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）などのような非消滅性大容量保存装置（ｐｅｒｍａｎｅｎｔ ｍａｓｓ ｓｔｏｒａｇｅ ｄｅｖｉｃｅ）を含むことができる。他の実施例において、ＲＯＭ、ＳＳＤ、フラッシュメモリ、ディスクドライブなどのような非消滅性大容量保存装置はメモリとは区分される別途の永久保存装置であって、使用者端末２１０および／または情報処理システム２３０に含まれ得る。また、メモリ３１２、３３２には運営体制と少なくとも一つのプログラムコード（例えば、使用者端末２１０に設置されて駆動されるディープラーニングモデルのチューニングに関連したサービスを提供するアプリケーションなどのためのコード）が保存され得る。
【0046】
このようなソフトウェア構成要素はメモリ３１２、３３２とは別途のコンピュータで読み取り可能な記録媒体からローディングされ得る。このような別途のコンピュータで読み取り可能な記録媒体はこのような使用者端末２１０および情報処理システム２３０に直接連結可能な記録媒体を含むことができるが、例えば、フロッピードライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどのコンピュータで読み取り可能な記録媒体を含むことができる。他の例として、ソフトウェア構成要素はコンピュータで読み取り可能な記録媒体でない通信モジュールを通じてメモリ３１２、３３２にローディングされてもよい。例えば、少なくとも一つのプログラムは開発者またはアプリケーションの設置ファイルを配布するファイル配布システムがネットワーク２２０を通じて提供するファイルによって設置されるコンピュータプログラムに基づいてメモリ３１２、３３２にローディングされ得る。
【0047】
プロセッサ３１４、３３４は基本的な算術、ロジックおよび入出力演算を遂行することによって、コンピュータプログラムの命令を処理するように構成され得る。命令はメモリ３１２、３３２または通信モジュール３１６、３３６によりプロセッサ３１４、３３４に提供され得る。例えば、プロセッサ３１４、３３４はメモリ３１２、３３２のような記録装置に保存されたプログラムコードにより受信される命令を実行するように構成され得る。
【0048】
通信モジュール３１６、３３６はネットワーク２２０を通じて使用者端末２１０と情報処理システム２３０が互いに通信するための構成または機能を提供することができ、使用者端末２１０および／または情報処理システム２３０が他の使用者端末および／または他のシステム（一例として、別途のクラウドシステムなど）と通信するための構成または機能を提供することができる。一例として、使用者端末２１０のプロセッサ３１４がメモリ３１２などのような記録装置に保存されたプログラムコードにより生成した要請またはデータ（例えば、ディープラーニングモデルまたはディープラーニングモデルのチューニングに関連したデータなど）は、通信モジュール３１６の制御によりネットワーク２２０を通じて情報処理システム２３０に伝達され得る。逆に、情報処理システム２３０のプロセッサ３３４の制御により提供される制御信号や命令が通信モジュール３３６とネットワーク２２０を経て使用者端末２１０の通信モジュール３１６を通じて使用者端末２１０に受信され得る。
【0049】
入出力インターフェース３１８は入出力装置３２０とのインターフェースのための手段であり得る。一例として、入力装置は加速度センサ、ジャイロスコープ（すなわち、角速度センサ）等の慣性センサ、光学カメラ、ＩＲカメラなどの光学センサ、ＴｏＦ、ＬｉＤＡＲセンサ、Ｄｅｐｔｈカメラなどの距離感知センサを含むことができる。追加的に入力装置はオーディオセンサおよび／またはイメージセンサを含んだカメラ、キーボード、マイクロホン、マウスなどの装置を含み、出力装置はディスプレイ、スピーカー、ハプティックフィードバックデバイスなどのような装置を含むことができる。他の例として、入出力インターフェース３１８はタッチスクリーンなどのように入力と出力を遂行するための構成または機能が一つで統合された装置とのインターフェースのための手段であり得る。例えば、使用者端末２１０のプロセッサ３１４がメモリ３１２にローディングされたコンピュータプログラムの命令を処理するにおいて、情報処理システム２３０が提供する情報および／またはデータを利用して構成されるサービス画面などが入出力インターフェース３１８を通じてディスプレイに表示され得る。図３では入出力装置３２０が使用者端末２１０に含まれないように図示されているが、これに限定されず、使用者端末２１０と一つの装置で構成され得る。また、情報処理システム２３０の入出力インターフェース３３８は情報処理システム２３０と連結されるか情報処理システム２３０が含むことができる入力または出力のための装置（図示されず）とのインターフェースのための手段であり得る。図３では入出力インターフェース３１８、３３８がプロセッサ３１４、３３４と別途に構成された要素として図示されたが、これに限定されず、入出力インターフェース３１８、３３８がプロセッサ３１４、３３４に含まれるように構成され得る。
【0050】
使用者端末２１０および情報処理システム２３０は図３の構成要素よりさらに多くの構成要素を含むことができる。しかし、多くの従来技術的構成要素を明確に図示する必要性はない。一実施例によると、使用者端末２１０は上述された入出力装置３２０のうち少なくとも一部を含むように具現され得る。また、使用者端末２１０はトランシーバー、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含むことができる。例えば、使用者端末２１０はカメラモジュール、タッチパネル、入出力ポートなどの多様な構成要素が使用者端末２１０にさらに含まれるように具現され得る。
【0051】
一実施例によると、使用者端末２１０のプロセッサ３１４は使用者端末２１０を動作したり制御できる任意のアプリケーションを動作するように構成され得る。例えば、使用者端末２１０のプロセッサ３１４はディープラーニングモデルのチューニングに関連したサービスを提供するアプリケーションなどが動作するように構成され得る。この時、該当アプリケーションおよび／またはプログラムに関連したコードが使用者端末２１０のメモリ３１２にローディングされ得る。アプリケーションおよび／またはプログラムが動作する間に、使用者端末２１０のプロセッサ３１４は入出力装置３２０から提供された情報および／またはデータを入出力インターフェース３１８を通じて受信したり通信モジュール３１６を通じて情報処理システム２３０から情報および／またはデータを受信することができ、受信された情報および／またはデータを処理してメモリ３１２に保存することができる。また、このような情報および／またはデータは通信モジュール３１６を通じて情報処理システム２３０に提供することができる。
【0052】
ディープラーニングモデルのチューニングに関連したサービスを提供するアプリケーションなどのためのプログラムが動作する間に、プロセッサ３１４は入出力インターフェース３１８と連結されたタッチスクリーン、キーボード、オーディオセンサおよび／またはイメージセンサを含んだカメラ、マイクロホンなどの入力装置を通じて入力されたり選択されたテキスト、イメージ、映像、音声などを受信することができ、受信されたテキスト、イメージ、映像および／または音声などをメモリ３１２に保存したり通信モジュール３１６およびネットワーク２２０を通じて情報処理システム２３０に提供することができる。
【0053】
情報処理システム２３０のプロセッサ３３４は、使用者端末２１０を含んだ複数の使用者端末および／または複数の外部システムから受信された情報および／またはデータを管理、処理および／または保存するように構成され得る。プロセッサ３３４により処理された情報および／またはデータは通信モジュール３３６およびネットワーク２２０を通じて使用者端末２１０に提供することができる。一実施例において、情報処理システム２３０のプロセッサ３３４は通信モジュール３３６およびネットワーク２２０を通じて使用者端末２１０からディープラーニングモデルのチューニングのためのサービス要請を受信することができる。
【0054】
図４は、本開示の一実施例に係る使用者端末のプロセッサ３１４の内部構成を示す図面である。図示された通り、使用者端末のプロセッサ３１４はモデルチューニング部４１０、状態管理部４２０および推論部４３０を含むことができる。また、プロセッサ３１４は使用者モデルデータベース４４０と連結され得る。ここで、使用者モデルデータベース４４０はチューニング対象（例えば、使用者モデル１１２、１２２）に対応するバックボーンモデルのパラメータ（例えば、一つ以上の層の加重値）を情報処理システム（またはサーバー）から受信した結果あるいは同一の大きさのパラメータをランダムに初期化した値、チューニングが完了したモデルなどの使用者モデルに関連したデータベースを指称し得る。また、使用者モデルデータベース４４０はディープラーニングモデルのチューニング（または学習）および／または推論に利用されるデータセットが保存されたデータベースを指称し得る。
【0055】
一実施例によると、モデルチューニング部４１０は使用者モデルデータベース４４０から複数の層を含むディープラーニングモデルの一部又は全部を受信することができる。例えば、チューニング対象層が入力層である場合、モデルチューニング部４１０は使用者モデルデータベース４４０からディープラーニングモデルの入力層を受信することができる。他の例として、チューニング対象層が出力層である場合、モデルチューニング部４１０は使用者モデルデータベース４４０からディープラーニングモデルの出力層を受信することができる。さらに他の例として、チューニング対象層が中間層である場合、モデルチューニング部４１０は使用者モデルデータベース４４０からディープラーニングモデルの中間層（または中間層の一部の構成要素）を受信することができる。
【0056】
一実施例によると、モデルチューニング部４１０はディープラーニングモデルのチューニング対象層に関連した情報およびディープラーニングモデルの学習状態情報のうち少なくとも一つをパラメータとして有するサービス要請（例えば、ＡＰＩ）を呼び出すことができる。例えば、モデルチューニング部４１０はディープラーニングモデルのバックボーンモデルが設置されたサーバーにサービス要請を伝送することができる。それから、モデルチューニング部４１０は、サービス要請の応答としてサーバーから提供されるバックボーンモデルの実行結果を受信することができる。例えば、モデルチューニング部４１０は、サービス要請の応答として、サーバーからチューニング対象層に関連した情報およびディープラーニングモデルの学習状態情報のうち少なくとも一つに基づいたバックボーンモデルの実行結果を受信することができる。この時、バックボーンモデルの実行結果はチューニング対象層の種類（例えば、入力層、中間層、出力層など）により異なり得る。これに関する詳細な説明は図６～８を参照して後述される。
【0057】
一実施例によると、モデルチューニング部４１０はバックボーンモデルの実行結果に基づいてグラジエントを算出することができる。他の実施例によると、モデルチューニング部４１０は、サービス要請の応答として、サーバーからバックボーンモデルによって算出されたグラジエントを受信することができる。それから、モデルチューニング部４１０はグラジエントをディープラーニングモデルのチューニング対象層に適用することができる。これに伴い、ディープラーニングモデルの損失または損失関数値が最小化される方向にディープラーニングモデルがアップデートされ得る。すなわち、モデルチューニング部４１０がバックボーンモデルの実行結果に基づいて算出されたグラジエントをディープラーニングモデルのチューニング対象層に適用することによって、ディープラーニングモデルの特定タスクに対する性能が改善され得る。
【0058】
一実施例によると、モデルチューニング部４１０は使用者モデルデータベース４４０からチューニング対象であるディープラーニングモデルの学習状態情報を受信することができる。ここで、学習状態情報はチューニング対象層のパラメータ（例えば、加重値）のアップデートの強度または程度を決定する係数であり得る。具体的には、学習状態情報は、チューニング対象層の加重値がアップデートされる程度を示すグラジエントを算出するのに利用される情報を指称し得る。例えば、ディープラーニングモデルの学習状態情報はディープラーニングモデルの学習率、オプティマイザ状態、加重値減衰係数、グラジエントクリッピング係数、および損失スケール値のうち少なくとも一つを含むことができる。
【0059】
一実施例によると、状態管理部４２０はグラジエントをチューニング対象層に適用することと関連して、ディープラーニングモデルの学習状態情報をアップデートすることができる。ここで、グラジエントをチューニング対象層に適用することは、グラジエントをチューニング対象層に逆伝播（ｂａｃｋｗａｒｄ ｐｒｏｐａｇａｔｉｏｎ）することを含むことができる。
【0060】
一実施例によると、推論部４３０はチューニングが完了したディープラーニングモデルを利用して推論を遂行できる。例えば、使用者端末にあるディープラーニングモデルの一部が入力層である場合、推論部４３０は入力データを入力層に入力して中間データを獲得し、サービス要請を通じて中間データをサーバーのバックボーンモデルに伝送することができる。このようなサービス要請により、サーバーは中間データをバックボーンモデルに入力して出力データを獲得することができる。サーバーが獲得したバックボーンモデルの出力データは、サービス要請の応答として、推論部４３０に提供され得る。この場合、バックボーンモデルは使用者端末に設置されていないディープラーニングモデルの残りの一部を代替するための中間層および出力層を含むことができる。
【0061】
他の例として、使用者端末に設置されたディープラーニングモデルの一部が出力層である場合、推論部４３０は入力データをサービス要請を通じてサーバーのバックボーンモデルに伝送することができる。この時、サーバーは、サービス要請を通じて受信した入力データをバックボーンモデルに入力して中間データを獲得して推論部４３０に伝送することができる。それから、推論部４３０は、サーバーから受信した中間データを使用者端末に設置された出力層に入力して出力データを獲得することができる。この場合、バックボーンモデルは使用者端末に設置されていないディープラーニングモデルの残りの一部を代替するための入力層および中間層を含むことができる。
【0062】
さらに他の例として、使用者端末に設置されたディープラーニングモデルの一部が中間層である場合、推論部４３０は入力データをサービス要請を通じてサーバーのバックボーンモデルに伝送することができる。この時、サーバーはサービス要請を通じて受信された入力データをバックボーンモデルに入力して出力データを獲得し、獲得された出力データを推論部４３０に伝送することができる。推論部４３０は、受信された出力データを中間層に入力して中間データを獲得した後、中間データを他のサービス要請を通じてサーバーのバックボーンモデルに再伝送することができる。サーバーはサービス要請を通じて受信された中間データをバックボーンモデルに入力して最終出力データを獲得した後、推論部４３０に伝送することができる。この場合、バックボーンモデルは使用者端末に設置されていないディープラーニングモデルの残りの一部を代替するための入力層および出力層を含むことができる。
【0063】
使用者端末に設置されたディープラーニングモデルの一部が中間層である場合であっても、推論部４３０とサーバー間の通信は１回で完了され得る。この時、推論部４３０は入力データとともに使用者端末に設置されたチューニングが完了したディープラーニングモデルの加重値を伝送する。サーバーはサービス要請を通じて受信された入力データと使用者モデルの加重値を共にバックボーンモデルに入力して最終出力データを一度に獲得した後、推論部４３０に伝送することができる。この場合、バックボーンモデルは使用者端末に設置されていないディープラーニングモデルの残りの一部を代替するための入力層および出力層を含むことができる。
【0064】
図５は、本開示の一実施例に係る情報処理システムのプロセッサ３３４の内部構成を示す図面である。図示された通り、情報処理システムのプロセッサ３３４はモデル事前学習部５１０、サービス要請処理部５２０およびモデル実行部５３０を含むことができる。また、プロセッサ３３４はバックボーンモデルデータベース５４０と連結され得る。ここで、バックボーンモデルデータベース５４０はディープラーニングモデル（例えば、使用者モデル１１２、１２２）のチューニングに利用されるバックボーンモデルを保存することができる。追加的に、バックボーンモデルデータベース５４０はバックボーンモデルの事前学習に利用される学習データセットを保存することができる。
【0065】
一実施例によると、モデル事前学習部５１０は学習データセットを利用して多様な種類のタスク（または作業）を遂行するために、共通して必要な機能を実行するように構成されたバックボーンモデルを学習させることができる。追加的にまたは代案として、モデル事前学習部５１０はすでに事前学習されてバックボーンモデルデータベース５４０に保存されたバックボーンモデルを受信してもよい。
【0066】
一実施例によると、サービス要請処理部５２０は使用者端末から受信されたサービス要請を処理することができる。例えば、サービス要請処理部５２０は、使用者端末から受信されたサービス要請の応答として、バックボーンモデルを利用した結果データ（例えば、バックボーンモデルによって実行された結果である入力データ、中間データ、出力データ、パラメータ変動分など）を使用者端末に伝送することができる。これに伴い、使用者端末は受信されたデータに基づいて使用者モデルの少なくとも一部の構成要素（例えば、入力層、中間層または出力層）をチューニングすることができる。
【0067】
一実施例によると、モデル実行部５３０は使用者端末から受信されたデータに基づいてバックボーンモデルを利用して推論を実行することができる。例えば、使用者端末から受信されたサービス要請により、モデル実行部５３０は、バックボーンモデルを利用して推論手続きを実行することができる。また、モデル実行部５３０は、使用者端末から受信されたサービス要請の応答として、バックボーンモデルから受信された実行結果を使用者端末に伝送することができる。
【0068】
一実施例によると、サービス要請処理部５２０は、ＡＰＩ呼び出しを処理するためのＡＰＩサーバーを含むことができる。例えば、ＡＰＩサーバーはＲＥＳＴ（ｒｅｐｒｅｓｅｎｔａｔｉｏｎａｌ ｓｔａｔｅ ｔｒａｎｓｆｅｒ）またはＳＯＡＰ（ｓｉｍｐｌｅ ｏｂｊｅｃｔ ａｃｃｅｓｓ ｐｒｏｔｏｃｏｌ）基盤のＡＰＩ呼び出しを処理できるサーバーであり得るが、これに限定されるものではない。サービス要請処理部５２０がＡＰＩサーバーを含む場合、サービス要請処理部５２０は、使用者端末から受信されたＡＰＩ呼び出しの応答として、バックボーンモデルを利用した結果データを使用者端末に伝送することができる。また、モデル実行部５３０は、使用者端末から受信されたＡＰＩ呼び出しにより、バックボーンモデルを利用して推論手続きを実行したりバックボーンモデルから受信された実行結果を使用者端末に伝送することができる。
【0069】
図６は、本開示の一実施例に係るディープラーニングモデルのチューニング方法により使用者端末２１０が入力層６１０をチューニングする例示を示す。図６～８はディープラーニングモデルの例としてトランスフォーマー（Ｔｒａｎｓｆｏｒｍｅｒ）をチューニングする方法を図示しているが、これに限定されない。例えば、ディープラーニングモデルはＶＧＧＮｅｔ、ＡｌｅｘＮｅｔ、ＲｅｓＮｅｔ、Ｉｎｃｅｐｔｉｏｎなどのような多様な類型のディープラーニングモデルの中の一つであり得る。一方、図６～８では説明の便宜のために、「入力データ」および「出力データ」がそれぞれ「入力」および「出力」で記載される。
【0070】
一実施例によると、使用者端末２１０は入力を入力層６１０に入力して入力層出力を獲得することができる。それから、使用者端末２１０は入力層６１０に関連した情報（例えば、獲得された入力層の出力）およびディープラーニングモデルの（学習）状態情報のうち少なくとも一つを含むサービス要請を実行することができる。サービス要請の実行により入力層６１０に関連した情報は使用者端末２１０から情報処理システム２３０に伝送され得る。この時、使用者端末２１０は入力層６１０に関連した情報とともに、入力に対するラベルおよびディープラーニングモデルの状態情報を情報処理システム２３０に伝送することができる。ここで、入力に対するラベルはディープラーニングモデルに対する予想推論結果を意味し得る。すなわち、入力に対するラベルは使用者がディープラーニングモデルを通じて獲得しようとする正解を意味し得る。
【0071】
一実施例によると、情報処理システム２３０は使用者端末２１０から受信された入力層６１０に関連した情報をバックボーンモデル６２０に入力（すなわち、順伝播（ｆｏｒｗａｒｄ ｐｒｏｐａｇａｔｉｏｎ））して出力確率を獲得することができる。ここで、バックボーンモデル６２０はディープラーニングモデルの全体の構成要素から入力層６１０を除いたディープラーニングモデルの残りの部分を代替できる中間層および出力層を含むことができる。また、出力確率はアップデートされる前にディープラーニングモデルから獲得される出力であり得る。
【0072】
一実施例によると、情報処理システム２３０は出力確率を使用者端末から受信したラベルと比較して損失（または損失関数）を計算（または算出）することができる。ここで、損失はディープラーニングモデルが推論した出力確率と正解（またはラベル）の間の誤差を示す値を指称し得る。例えば、損失はクロスエントロピー（Ｃｒｏｓｓ Ｅｎｔｒｏｐｙ）、平均二乗誤差（Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ）等を利用して計算することができる。
【0073】
一実施例によると、情報処理システム２３０は損失を最小化する方向にディープラーニングモデルをアップデートするためのグラジエントを算出することができる。すなわち、情報処理システム２３０はバックボーンモデル６２０の逆伝播（ｂａｃｋｗａｒｄ ｐｒｏｐａｇａｔｉｏｎ）過程を通じて入力層グラジエントを獲得することができる。これに伴い、情報処理システム２３０はサービス要請の応答として、獲得された入力層グラジエントを使用者端末２１０に伝送することができる。
【0074】
一実施例によると、使用者端末２１０は受信された入力層グラジエントを入力層６１０に適用することができる。例えば、使用者端末２１０は入力層グラジエントを利用して入力層６１０パラメータをアップデートすることによって、入力層６１０をチューニングすることができる。この時、使用者端末２１０に保存されたディープラーニングモデルの状態情報もアップデートされ得る。
【0075】
以上で説明した入力層６１０のチューニング過程は、入力層６１０を含んだディープラーニングモデルの全体チューニング過程の一部分または一つの段階（ｓｔｅｐ）、またはエポック（ｅｐｏｃｈ）に該当し得る。したがって、以上で説明した入力層６１０のチューニング過程は繰り返し実行され得、各チューニング過程の段階ごとにディープラーニングモデルの状態情報がアップデートされ得る。
【0076】
図７は、本開示の一実施例に係るディープラーニングモデルのチューニング方法により使用者端末が出力層をチューニングする例示を示す。一実施例によると、使用者端末２１０は入力に関連した情報（例えば入力データ、ラベルなど）、出力層７１０に関連した情報およびディープラーニングモデルの（学習）状態情報のうち少なくとも一つを含むサービス要請を実行することができる。サービス要請の実行により、入力が使用者端末２１０から情報処理システム２３０に伝送され得る。
【0077】
一実施例によると、情報処理システム２３０は使用者端末２１０から受信された入力をバックボーンモデル７２０に入力して順伝播計算出力を算出することができる。ここで、バックボーンモデル７２０はディープラーニングモデルの全体の構成要素から出力層７１０を除いたディープラーニングモデルの残りの部分を代替できる入力層および中間層を含むことができる。
【0078】
一実施例によると、情報処理システム２３０はサービス要請の応答として順伝播計算出力を使用者端末２１０に伝送することができる。それから、使用者端末２１０は順伝播計算出力を出力層７１０に入力して出力確率を獲得することができる。ここで、出力確率はアップデートされる前にディープラーニングモデルから獲得される出力に関連したデータを指称し得る。
【0079】
一実施例によると、使用者端末２１０は獲得された出力確率とラベルを比較して損失を計算することができる。ここで、損失はディープラーニングモデルが推論した解と正解（すなわち、ラベル）の間の誤差を示す値を指称し得る。例えば、損失はクロスエントロピーまたは平均二乗誤差などを利用して計算することができる。
【0080】
一実施例によると、使用者端末２１０は損失を最小化する方向にディープラーニングモデルをアップデートするための出力層グラジエントを算出することができる。それから、使用者端末２１０は出力層グラジエントを利用して出力層７１０をチューニングすることができる。この時、使用者端末２１０に保存されたディープラーニングモデルの状態情報もアップデートされ得る。
【0081】
以上で説明した出力層７１０のチューニング過程は、出力層７１０を含んだディープラーニングモデルの全体チューニング過程の一部分または一つの段階に該当し得る。したがって、以上で説明した出力層７１０のチューニング過程は繰り返し実行され得、各チューニング過程の段階ごとにディープラーニングモデルの状態情報がアップデートされ得る。
【0082】
図８は、本開示の一実施例に係るディープラーニングモデルのチューニング方法により使用者端末２１０が中間層８１０＿１～８１０＿Ｎをチューニングする例示を示す。以下では図８を参照してディープラーニングモデルであるトランスフォーマーの一部の層（例えば、ＬｏＲＡ（Ｌｏｗ－Ｒａｎｋ Ａｄａｐｔａｔｉｏｎ）加重値）８２２をアップデートすることによってディープラーニングモデルをチューニングする例示について説明するが、これに限定されない。例えば、図８に図示されたＬｏＲＡ８２２、Ｐｒｅｆｉｘ（Ｐｋ）８２４またはＡｄａｐｔｅｒ８２６のうち少なくとも一つをアップデートすることによってディープラーニングモデルをチューニングしてもよい。
【0083】
一実施例によると、使用者端末２１０は使用者端末２１０に保存された中間層８１０＿１～８１０＿Ｎに関連した情報（例えば、中間層８１０＿１～８１０＿ＮそれぞれのＬｏＲＡ）およびディープラーニングモデルの（学習）状態情報のうち少なくとも一つを含むサービス要請を実行することができる。サービス要請の実行により、中間層８１０＿１～８１０＿Ｎに関連した情報が使用者端末２１０から情報処理システム２３０に伝送され得る。この時、中間層８１０＿１～８１０＿Ｎに関連した情報とともに、入力、入力に対するラベルおよびディープラーニングモデルの状態情報が情報処理システム２３０に伝送され得る。ここで、入力に対するラベルはディープラーニングモデルに対する予想推論結果を意味し得る。すなわち、入力に対するラベルは使用者がディープラーニングモデルを通じて獲得しようとする正解を意味し得る。
【0084】
一実施例によると、情報処理システム２３０は使用者端末から受信した中間層８１０＿１～８１０＿Ｎに関連した情報に基づいてバックボーンモデル８２０の中間層に関連した情報を決定することができる。すなわち、使用者端末２１０から受信した中間層８１０＿１～８１０＿ＮそれぞれのＬｏＲＡをバックボーンモデル８２０の中間層のＬｏＲＡ８２２として決定することができる。それから、情報処理システム２３０は使用者端末から受信された入力をバックボーンモデル８２０に入力（すなわち、順伝播）して出力確率を獲得することができる。ここで、バックボーンモデル８２０は既存バックボーンモデルの中間層の一部を使用者から受信された中間層情報で代替することができる。上記の例において、バックボーンモデルはバックボーンモデルのＬｏＲＡ ｗｅｉｇｈｔの代わりに使用者から受信したＬｏＲＡ Ｗｅｉｇｈｔを利用してフォワード演算を遂行して出力確率を獲得することができる。
【0085】
一実施例によると、情報処理システム２３０は獲得された出力確率とラベルを比較して損失を計算することができる。ここで、損失はディープラーニングモデルが推論した出力確率と正解（すなわち、ラベル）間の誤差を示す値を指称し得る。例えば、損失はクロスエントロピーまたは平均二乗誤差などを利用して計算され得る。
【0086】
一実施例によると、情報処理システム２３０は損失を最小化する方向にディープラーニングモデルをアップデートするためのグラジエントを算出することができる。それから、情報処理システム２３０は算出されたグラジエントをバックボーンモデル８２０に逆方向に入力（すなわち、逆伝播）する過程で、中間層それぞれのグラジエントを獲得することができる。
【0087】
一実施例によると、情報処理システム２３０はサービス要請の応答として、獲得された中間層それぞれのグラジエントを使用者端末２１０に伝送することができる。それから使用者端末２１０は受信された中間層それぞれのグラジエントを利用して、中間層８１０＿１～８１０＿Ｎをチューニングすることができる。この時、使用者端末２１０に保存されたディープラーニングモデルの状態情報もアップデートされ得る。
【0088】
以上で説明した中間層８１０＿１～８１０＿Ｎのチューニング過程は、中間層８１０＿１～８１０＿Ｎを含んだディープラーニングモデルの全体チューニング過程の一部分または一つの段階に該当し得る。したがって、以上で説明した中間層８１０＿１～８１０＿Ｎのチューニング過程は繰り返し実行され得、各チューニング過程の段階ごとにディープラーニングモデルの状態情報がアップデートされ得る。
【0089】
図９は、本開示の一実施例に係るクラウドコンピューティング基盤のディープラーニングモデルのチューニングシステムの構成を示す図面である。図示された通り、ディープラーニングモデルのチューニングシステム９００は、クラウドコンピューティングシステム９６０上に具現された複数の使用者仮想マシン９１０、９２０および仮想サーバー９５０を含むことができる。一実施例によると、使用者またはクライアント９０２、９０４は、クラウドコンピューティングシステム９６０が提供するサービスＵＩ（ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）９０６、９０８を通じて、各使用者に割り当てられた使用者仮想マシン９１０、９２０を使うことができる。使用者仮想マシン９１０、９２０は、使用者モデル９１２、９２２を特定作業を実行することに適合するように構成するか特定作業に対して改善された性能を有するようにするために、使用者モデル９１２、９２２をチューニングすることができる。使用者仮想マシン９１０、９２０に設置されてチューニングされる使用者モデル９１２、９２２は、各モデルのすべての構成要素（例えば、モデルを構成する複数の層、各層に関連した加重値またはパラメータ、状態情報など）の一部９１４、９２４を含み、残りの一部９１６、９２６は使用者仮想マシン９１０、９２０と独立的に運営される仮想サーバー９５０に設置されたバックボーンモデル９５２の構成要素９５７、９５８で代替され得る。ここで、バックボーンモデル９５２は、使用者モデル９１２、９２２のチューニング前に、学習データに基づいて事前学習され得る。
【0090】
本開示で、「クラウド」または「クラウドコンピューティングシステム」は、ネットワーク上でサービスとして拡張可能なコンピューティング資源を提供するクラウドコンピューティングシステムまたはクラウドコンピューティングインフラストラクチャーを指称し得る。具体的には、クラウドコンピューティングは、コンピューティング資源とその内部の技術的な構造（例えば、サーバー、保存所、ネットワークなど）の間の抽象化を提供するコンピューティング能力を意味し得、これを利用して、サービス提供者との相互作用や管理努力を最小化して速かに提供され得る構成可能なコンピューティング資源の共有プールに対するオンデマンドネットワークアクセスを提供することができる。これに伴い、使用者またはクライアントは、クラウドで、コンピューティング資源の提供に使われる物理的システム（またはシステムの位置）等を知る必要なく、仮想のコンピューティング資源（例えば、保存所、データ、アプリケーション、仮想マシン、仮想サーバーなど）に接近することができる。
【0091】
一実施例によると、使用者仮想マシン９１０、９２０は仮想サーバー９５０およびバックボーンモデル９５２のような外部リソースまたは独立した仮想マシンを利用して使用者モデル９１２、９２２をチューニングすることができる。この時、使用者仮想マシン９１０が第１使用者モデル９１２をチューニングする過程で仮想サーバー９５０のバックボーンモデル９５２の構成は変化しないので、バックボーンモデル９５２は使用者仮想マシン９２０が第２使用者モデル９２２をチューニングするのに再使用され得る。また、使用者仮想マシン９１０、９２０が使用者モデル９１２、９２２をチューニングする過程でアップデートされる状態情報は、使用者仮想マシン９１０、９２０に保存および管理され得る。図９では２個の使用者仮想マシン９１０、９２０が使用者モデル９１２、９２２をチューニングする例を図示しているが、これに限定されるものではなく、３個以上の使用者仮想マシンが一つのバックボーンモデルを利用してそれぞれ独立的に異なる使用者モデルをチューニングしてもよい。
【0092】
一実施例によると、使用者仮想マシン９１０、９２０は仮想サーバー９５０が提供するモデルチューニングのためのサービス要請を利用してバックボーンモデル９５２の機能を利用することができる。例えば、使用者仮想マシン９１０、９２０は仮想サーバー９５０が提供するＡＰＩ、ＲＰＣ、ＲＭＩなどを呼び出すことによって、バックボーンモデル９５０に接近することができる。このように使用者仮想マシン９１０、９２０がサービス要請を通じてバックボーンモデル９５２の一部の機能を利用することによって、バックボーンモデル９５２の構成が隠された状態で使用者仮想マシン９１０、９２０は使用者モデル９１２、９２２のチューニングのために必要な機能やデータの提供を受けることができる。
【0093】
一実施例によると、使用者仮想マシン９１０、９２０はバックボーンモデル９５０を利用して使用者モデル９１２、９２２の特定層をチューニングすることができる。例えば、使用者仮想マシン９１０は、仮想サーバー９５０からバックボーンモデル９５２の実行結果の提供を受け、その実行結果に基づいて算出されたグラジエントを使用者モデル（例えば、第１使用者モデル９１２の出力層９１４）に適用することができる。
【0094】
他の例として、使用者仮想マシン９２０は、仮想サーバー９５０からバックボーンモデル９５２で算出されたグラジエントを使用者モデル（例えば、第２使用者モデル９２２の入力層９２４）に適用することができる。一方、図９は使用者モデル９１２、９２２それぞれの出力層９１４または入力層９２４をチューニングする例示が図示されたが、これに限定されない。例えば、使用者仮想マシン９１０、９２０はバックボーンモデル９５２を利用して使用者モデル９１２、９２２の中間層をチューニングしてもよい。
【0095】
一実施例によると、使用者仮想マシン９１０は出力層９５６を除いた第１バックボーンモデル９５８を利用して第１使用者モデル９１２の出力層９１４をチューニングすることができる。具体的には、使用者仮想マシン９１０は入力を第１バックボーンモデル９５８の入力層９５４に伝送し、該当入力が第１バックボーンモデル９５８を順伝播して生成されたデータ（例えば、バックボーンモデル９５２の出力層９５６に対する入力データ）を受信することができる。使用者仮想マシン９１０は受信したデータを第１使用者モデル９１２の出力層９１４に入力して出力を算出した後、これを利用して出力層９１４に対するグラジエントを計算する。使用者仮想マシン９１０は、このように計算された出力層９１４に対するグラジエントを利用して出力層９１４をチューニングすることができる。
【0096】
追加的にまたは代案として、使用者仮想マシン９２０は入力層９５４を除いた第２バックボーンモデル９５７を利用して第２使用者モデル９２２の入力層９２４をチューニングすることができる。具体的には、使用者仮想マシン９１０は入力に対して第２使用者モデル９２２の入力層９２４が算出した結果を第２バックボーンモデル９５７に伝送することによって、該当算出結果が第２バックボーンモデル９５７を通じて生成された入力層に対するグラジエントデータを受信することができる。使用者仮想マシン９２０は受信されたグラジエントを利用して第２使用者モデル９２２の入力層９２４をチューニングすることができる。
【0097】
一実施例によると、使用者仮想マシン９１０、９２０は以上で説明した方法によってチューニングされた使用者モデル９１２、９２２およびバックボーンモデル９５２を利用して推論を遂行できる。すなわち、使用者仮想マシン９１０、９２０は自身が保有した使用者モデル９１２、９２２のチューニングされた層９１４、９２４の実行結果と仮想サーバー９５０から提供されるバックボーンモデル９５２の一部の実行結果を共に利用して推論を遂行できる。
【0098】
図１０は、本開示の一実施例に係るディープラーニングモデルのチューニング方法の例示を示すフローチャートである。方法９００は使用者端末の少なくとも一つのプロセッサ（例えば、プロセッサ３１４）によって遂行され得る。図示された通り、方法９００はディープラーニングモデルの入力データに関連した情報、チューニング対象層に関連した情報および学習状態情報のうち少なくとも一つを含むサービス要請を情報処理システムに伝送する段階（Ｓ１０１０）で開始され得る。ここで、学習状態情報は、ディープラーニングモデルの学習率、オプティマイザ状態、加重値減衰係数、グラジエントクリッピング係数、および損失スケール値のうち少なくとも一つを含むことができる。
【0099】
また、プロセッサは、サービス要請の応答として、情報処理システムからバックボーンモデルを利用して算出されたチューニングデータを受信することができる（Ｓ１０２０）。それから、プロセッサはチューニングデータを利用してディープラーニングモデルをアップデートすることができる（Ｓ１０３０）。ここで、チューニングデータはバックボーンモデルのパラメータ、特定層に対する入力値、特定層の出力値およびパラメータの変動分のうち少なくとも一つを含むことができる。また、プロセッサはチューニングデータを利用してディープラーニングモデルをアップデートすることと関連して学習状態情報をアップデートすることができる。
【0100】
一実施例によると、プロセッサはバックボーンモデルと連動されているＡＰＩサーバーに、ディープラーニングモデルの入力データに関連した情報、チューニング対象層に関連した情報および学習状態情報のうち少なくとも一つをパラメータとして含むＡＰＩの呼び出しを伝送することができる。その後、プロセッサはＡＰＩの呼び出しの応答として、ＡＰＩサーバーからディープラーニングモデルの入力データに関連した情報、チューニング対象層に関連した情報および学習状態情報のうち少なくとも一つに基づいたバックボーンモデルの実行結果を受信することができる。追加的に、プロセッサはＡＰＩの呼び出しの応答として、バックボーンモデルの順伝播計算結果および逆伝播計算結果のうち少なくとも一つを受信することができる。
【0101】
一実施例によると、バックボーンモデルはディープラーニングモデルの複数の層のうちチューニング対象層を除いた一つ以上の層を含むことができる。また、バックボーンモデルはディープラーニングモデルのチューニング前に、学習データに基づいて事前学習され得る。
【0102】
一実施例によると、チューニング対象層はディープラーニングモデルの入力層であり、プロセッサは入力層の出力、ラベルおよびディープラーニングモデルの学習状態情報を含むサービス要請を情報処理システムに伝送することができる。他の実施例によると、チューニング対象層はディープラーニングモデルの出力層であり、プロセッサはディープラーニングモデルの入力データを含むサービス要請を情報処理システムに伝送することができる。この場合、プロセッサはバックボーンモデルの順伝播計算出力を出力層に入力して出力確率を算出し、出力確率をラベルと比較して損失を計算し、損失に基づいて出力層のグラジエントを算出することができる。さらに他の実施例によると、チューニング対象層はディープラーニングモデルの中間層であり、プロセッサはディープラーニングモデルの入力、ラベル、中間層の加重値およびディープラーニングモデルの学習状態情報を含むサービス要請を情報処理システムに伝送することができる。
【0103】
図１１は、本開示の他の実施例に係るディープラーニングモデルのチューニング方法の例示を示すフローチャートである。方法１１００は情報処理システムの少なくとも一つのプロセッサ（例えば、プロセッサ３３４）により実行され得る。図示された通り、方法１１００は、ディープラーニングモデルの入力データに関連した情報、チューニング対象層に関連した情報および学習状態情報のうち少なくとも一つを含むサービス要請を受信する段階（Ｓ１１１０）で開始され得る。
【0104】
また、プロセッサは、サービス要請によりバックボーンモデルの実行結果を算出することができる（Ｓ１１２０）。プロセッサは、サービス要請の応答として、バックボーンモデルの実行結果を含むチューニングデータをディープラーニングモデルが含まれた使用者端末に伝送することができる（Ｓ１１３０）。ここで、チューニングデータはバックボーンモデルのパラメータ、特定層に対する入力値、特定層の出力値およびパラメータの変動分のうち少なくとも一つを含むことができる。また、バックボーンモデルは、ディープラーニングモデルの複数の層のうちチューニング対象層を除いた一つ以上の層を含むことができる。バックボーンモデルは、ディープラーニングモデルのチューニング前に、学習データに基づいて事前学習され得る。
【0105】
一実施例によると、プロセッサはバックボーンモデルと連動されているＡＰＩサーバーを含むことができる。この場合、ＡＰＩサーバーは、ディープラーニングモデルの入力データに関連した情報、チューニング対象層に関連した情報および学習状態情報のうち少なくとも一つをパラメータとして含むＡＰＩの呼び出しを受信することができる。また、ＡＰＩの呼び出しの応答として、ＡＰＩサーバーは、ディープラーニングモデルの入力データに関連した情報、チューニング対象層に関連した情報および学習状態情報のうち少なくとも一つに基づいたバックボーンモデルの実行結果を使用者端末に伝送することができる。
【0106】
一実施例において、チューニング対象層はディープラーニングモデルの入力層であり得る。この場合、サービス要請は、入力層の出力、ラベルおよび前記ディープラーニングモデルの状態情報を含むことができる。また、プロセッサは、サービス要請によりバックボーンモデルの実行結果を算出するために、入力層の出力をバックボーンモデルに順伝播して出力確率を獲得し、出力確率をラベルと比較して損失を計算し、損失を最小化する方向にバックボーンモデルをアップデートするためのグラジエントを算出し、グラジエントをバックボーンモデルに逆伝播して入力層のグラジエントを獲得することができる。
【0107】
一実施例において、チューニング対象層はディープラーニングモデルの出力層であり得る。この場合、サービス要請は入力データを含むことができる。また、プロセッサは、サービス要請によりバックボーンモデルの実行結果を算出するために、入力データをバックボーンモデルに順伝播して順伝播計算出力を算出することができる。
【0108】
一実施例において、チューニング対象層はディープラーニングモデルの中間層であり得る。この場合、サービス要請は中間層に関連した情報、入力データ、ラベルおよびディープラーニングモデルの状態情報を含むことができる。また、プロセッサは、サービス要請によりバックボーンモデルの実行結果を算出するために、中間層に関連した情報に基づいてバックボーンモデルの中間層に関連した情報を決定し、入力データをバックボーンモデルに順伝播して出力確率を獲得し、出力確率とラベルを比較して損失を計算し、損失を最小化する方向にバックボーンモデルをアップデートするためのグラジエントを算出し、グラジエントをバックボーンモデルに逆伝播して前記中間層のグラジエントを獲得することができる。
【0109】
一実施例において、プロセッサは、サービス要請の応答として、バックボーンモデルの実行結果を含むチューニングデータとして、バックボーンモデルの順伝播計算結果および逆伝播計算結果のうち少なくとも一つをディープラーニングモデルが含まれた使用者端末に伝送することができる。
【0110】
図１０および１１で図示したフローチャートおよび前述した説明は一例示に過ぎず、一部の実施例では異なって具現され得る。例えば、一部の実施例では各段階の順序が変わったり、一部の段階が繰り返し遂行されたり、一部の段階が省略されたり、一部の段階が追加され得る。
【0111】
前述した方法はコンピュータで実行するために、コンピュータ読み取り可能な記録媒体に保存されたコンピュータプログラムで提供され得る。媒体はコンピュータで実行可能なプログラムを保存し続けたり、実行またはダウンロードのために臨時保存するものであってもよい。また、媒体は単一または複数個ハードウェアが結合された形態の多様な記録手段または保存手段であり得るが、或るコンピュータシステムに直接接続される媒体に限定されず、ネットワーク上に分散存在するものであってもよい。媒体の例示としては、ハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含んでプログラム命令語が保存されるように構成されたものがあり得る。また、他の媒体の例示として、アプリケーションを流通するアップストアやその他の多様なソフトウェアを供給乃至流通するサイト、サーバーなどで管理する記録媒体乃至保存媒体も挙げられる。
【0112】
本開示の方法、動作または技法は、多様な手段によって具現されてもよい。例えば、このような技法はハードウェア、ファームウェア、ソフトウェア、またはこれらの組み合わせで具現されてもよい。本願の開示と連係して説明された多様な例示的な論理的ブロック、モジュール、回路、およびアルゴリズム段階は、電子ハードウェア、コンピュータソフトウェア、または両者の組み合わせで具現されてもよいことを通常の技術者は理解するであろう。ハードウェアおよびソフトウェアの、このような相互代替を明確に説明するために、多様な例示的な構成要素、ブロック、モジュール、回路、および段階がそれらの機能的観点から一般的に前述された。そのような機能がハードウェアで具現されるかまたはソフトウェアで具現されるかは、特定アプリケーションおよび全体システムに課される設計要求事項により変わる。通常の技術者はそれぞれの特定アプリケーションのために多様な方式で説明された機能を具現してもよいが、そのような具現は本開示の範囲から逸脱するものとして解釈されてはならない。
【0113】
ハードウェアの具現において、技法の遂行に利用されるプロセッシングユニットは、一つ以上のＡＳＩＣ、ＤＳＰ、デジタル信号プロセッシングデバイス（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ；ＤＳＰＤ）、プログラム可能論理デバイス（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ；ＰＬＤ）、フィールドプログラム可能ゲートアレイ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ；ＦＰＧＡ）、プロセッサ、制御器、マイクロ制御器、マイクロプロセッサ、電子デバイス、本開示に説明された機能を遂行するように設計された他の電子ユニット、コンピュータ、またはこれらの組み合わせ内で具現されてもよい。
【0114】
したがって、本開示と連係して説明された多様な例示的な論理ブロック、モジュール、および回路は汎用プロセッサ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡや他のプログラム可能論理デバイス、離散ゲートやトランジスタロジック、離散ハードウェアコンポーネント、または本願に説明された機能を遂行するように設計されたものなどの任意の組み合わせで具現されたり遂行されてもよい。汎用プロセッサはマイクロプロセッサであり得るが、代案として、プロセッサは任意の従来のプロセッサ、制御器、マイクロ制御器、または状態マシンであってもよい。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサ、複数のマイクロプロセッサ、ＤＳＰコアと連係した一つ以上のマイクロプロセッサ、または任意の他の構成の組み合わせで具現されてもよい。
【0115】
ファームウェアおよび／またはソフトウェアの具現において、技法はランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ；ＲＡＭ）、読み取り専用メモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ；ＲＯＭ）、不揮発性ＲＡＭ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ；ＮＶＲＡＭ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＰＲＯＭ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュメモリ、コンパクトディスク（ｃｏｍｐａｃｔ ｄｉｓｃ；ＣＤ）、磁気または光学データストレージデバイスなどのようなコンピュータ読み取り可能媒体上に保存された命令で具現されてもよい。命令は一つ以上のプロセッサによって実行可能であってもよく、１つ以上のプロセッサが本開示に説明された機能の特定様態を遂行するようにしてもよい。
【0116】
ソフトウェアで具現される場合、前記技法は一つ以上の命令またはコードでコンピュータ読み取り可能な媒体上に保存されたりまたはコンピュータ読み取り可能な媒体を通じて伝送されてもよい。コンピュータ読み取り可能媒体は、一つの場所から他の場所にコンピュータプログラムの伝送を容易にする任意の媒体を含んでコンピュータ保存媒体および通信媒体の両者を含む。保存媒体はコンピュータによってアクセスされ得る任意の利用可能な媒体であってもよい。非制限的な例として、このようなコンピュータ読み取り可能媒体はＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭまたは他の光学ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、または希望のプログラムコードを命令またはデータ構造の形態で移送または保存するために使われ得、コンピュータによってアクセスされ得る任意の他の媒体を含むことができる。また、任意の接続がコンピュータ読み取り可能媒体で適切に称される。
【0117】
例えば、ソフトウェアが同軸ケーブル、光ファイバーケーブル、撚線、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波のような無線技術を使ってウェブサイト、サーバー、または他の遠隔ソースから伝送されると、同軸ケーブル、光ファイバーケーブル、撚線、デジタル加入者回線、または赤外線、無線、およびマイクロ波のような無線技術は媒体の定義内に含まれる。本願で使われたディスク（ｄｉｓｋ）とディスク（ｄｉｓｃ）は、ＣＤ、レーザーディスク、光ディスク、ＤＶＤ（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ）、フロッピーディスク、およびブルーレイディスクを含み、ここでディスク（ｄｉｓｋｓ）は通常磁気的にデータを再生し、反面ディスク（ｄｉｓｃｓ）はレーザーを利用して光学的にデータを再生する。前記の組み合わせもコンピュータ読み取り可能媒体の範囲内に含まれるべきである。
【0118】
ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、移動式ディスク、ＣＤ－ＲＯＭ、または公知の任意の他の形態の保存媒体内に常駐してもよい。例示的な保存媒体は、プロセッサが保存媒体から情報を読み出しまたは保存媒体に情報を書き込みできるように、プロセッサに連結され得る。代案として、保存媒体はプロセッサに統合されてもよい。プロセッサと保存媒体はＡＳＩＣ内に存在してもよい。ＡＳＩＣはユーザー端末内に存在してもよい。代案として、プロセッサと保存媒体はユーザー端末で個別の構成要素として存在してもよい。
【0119】
以上で説明された実施例が一つ以上の独立型コンピュータシステムで現在開示された主題の様態を活用するものとして記述されたが、本開示はこれに限定されず、ネットワークや分散コンピューティング環境のような任意のコンピューティング環境と連係して具現されてもよい。ひいては、本開示で主題の様相は複数のプロセッシングチップや装置で具現されてもよく、ストレージは複数の装置に亘って同様に影響を受けることになることもある。このような装置はＰＣ、ネットワークサーバー、および携帯用装置を含んでもよい。
【0120】
本明細書では本開示が一部の実施例と関連して説明されたが、本開示の発明が属する技術分野の通常の技術者が理解できる本開示の範囲を逸脱しない範囲で多様な変形および変更がなされ得る。また、そのような変形および変更は本明細書に添付された特許請求の範囲内に属するものと考えられるべきである。
【符号の説明】
【0121】
１００：ディープラーニングモデルのチューニングシステム
１１０、１２０：使用者端末
１１２、１２２：使用者モデル（ディープラーニングモデル）
１３０：ネットワーク
１５０：サーバー
１５２：バックボーンモデル
１１０、１２０：使用者端末
１１２、１２２：使用者モデル（ディープラーニングモデル）
１３０：ネットワーク
１５０：サーバー
１５２：バックボーンモデル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】