(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-10-24
(54)【発明の名称】ノーコーディング機械学習パイプライン
(51)【国際特許分類】
G06F 8/34 20180101AFI20221017BHJP
G06N 20/00 20190101ALI20221017BHJP
G06F 3/0481 20220101ALI20221017BHJP
G06F 3/0486 20130101ALI20221017BHJP
【FI】
G06F8/34
G06N20/00
G06F3/0481
G06F3/0486
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022512427
(86)(22)【出願日】2020-08-19
(85)【翻訳文提出日】2022-04-21
(86)【国際出願番号】 US2020047068
(87)【国際公開番号】W WO2021041131
(87)【国際公開日】2021-03-04
(32)【優先日】2019-08-23
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】502208397
【氏名又は名称】グーグル エルエルシー
【氏名又は名称原語表記】Google LLC
【住所又は居所原語表記】1600 Amphitheatre Parkway 94043 Mountain View, CA U.S.A.
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】グオ,ジアチー
(72)【発明者】
【氏名】ドーノフ,パベル・エイ
【テーマコード(参考)】
5B376
5E555
【Fターム(参考)】
5B376BC31
5B376BC42
5E555AA79
5E555BA02
5E555BA69
5E555BB02
5E555CA24
5E555CB08
5E555CB33
5E555DB20
5E555DB56
5E555EA19
5E555FA00
(57)【要約】
方法(500)は、GUI(200,400)を介して、GUIに表示されるモードボタン(226)のユーザ選択を受信することを備え、モードボタンは、選択される場合、GUIに、それぞれの機械学習ルーチン(308)に対応するユーザ選択可能ボタン(402)の第1のセットを表示させ、選択されない場合、GUIに、それぞれの機械学習サブルーチン(310)に対応するユーザ選択可能ボタン(208)の第2のセットを表示させる。モードボタンのユーザ選択を受信することに応答して、方法はさらに、ユーザ選択可能ボタンの第1のセットを表示することと、ユーザ選択可能ボタンの第1のセットのうちの1つ以上のユーザ選択を受信することと、ユーザ選択可能ボタンの第1のセットのうちの1つ以上のユーザ選択に対応する機械学習ルーチンで定義された機械学習モデル(414)のグラフィカルな表現を表示することと、機械学習モデルを表すファイルを生成することとを備える。
【特許請求の範囲】
【請求項1】
コンピュータによって実現される方法(500)であって、
機械学習モデル(414)を生成するためのグラフィカルユーザインターフェイス(GUI)(200,400)を提供することと、
前記GUI(200,400)を介して、前記GUI(200,400)に表示されるモードボタン(226)のユーザ選択を受信することとを備え、前記モードボタン(226)は、選択される場合、前記GUI(200,400)に、機械学習ルーチン(308)にそれぞれ対応するユーザ選択可能ボタン(402)の第1のセットを表示させ、選択されない場合、前記GUI(200,400)に、機械学習サブルーチン(310)にそれぞれ対応するユーザ選択可能ボタン(208)の第2のセットを表示させ、機械学習ルーチン(308)は、それぞれの複数の接続された機械学習サブルーチン(310)を含み、前記方法はさらに、
前記モードボタン(226)の前記ユーザ選択を受信することに応答して、前記GUI(200,400)に、前記ユーザ選択可能ボタン(402)の第1のセットを表示することと、
前記GUI(200,400)を介して、前記ユーザ選択可能ボタン(402)の第1のセットのうちの1つ以上のユーザ選択を受信することと、
前記GUI(200,400)に、前記ユーザ選択可能ボタン(402)の第1のセットのうちの前記1つ以上の前記ユーザ選択に対応する1つ以上の機械学習ルーチン(308)で定義される機械学習モデル(414)のグラフィカルな表現を表示することと、
前記機械学習モデル(414)を表すファイルを生成することとを備える、方法。
【請求項2】
前記機械学習サブルーチン(310)は、データフォーマットアルゴリズム;データ分割アルゴリズム;特徴選択アルゴリズム;機械学習訓練アルゴリズム、機械学習評価アルゴリズム、または統計アルゴリズムを含む、請求項1に記載の方法(500)。
【請求項3】
前記ユーザ選択可能ボタン(402)の第1のセット内の前記ユーザ選択可能ボタン(402)の各々はラップファイル(304)を表し、前記ラップファイル(304)は、機械学習ルーチン(306)に対応し、かつ、それぞれの複数の接続された機械学習サブルーチン(310)を含む、請求項1または2に記載の方法(500)。
【請求項4】
前記GUI(200,400)を介して、前記GUI(200,400)に表示されるソースコードボタン(228)のユーザ選択を受信することと、
前記ソースコードボタン(228)の前記ユーザ選択を受信することに応答して、前記GUI(200,400)に、前記機械学習モデル(414)を表すソースコードを表示することとをさらに備え、生成された前記ファイルは前記ソースコードを含み、前記方法はさらに、
前記GUI(200,400)を介して、表示された前記ソースコードに対する1つ以上のユーザ調整を受信することと、
(i)前記ユーザ選択可能ボタン(402)の第1のセットのうちのユーザによって選択された前記1つ以上に対応する前記1つ以上の機械学習ルーチン(308)によって定義されるとともに、(ii)表示された前記ソースコードに対する前記調整によって定義される、更新済みの機械学習モデル(414)を表す更新済みのファイルを生成することとを備える、請求項1~3のいずれか1項に記載の方法(500)。
【請求項5】
表示された前記ソースコードに対する調整は、前記ソースコードに含まれる機械学習モデルのパラメータまたは関数に対する調整を含む、請求項4に記載の方法(500)。
【請求項6】
前記GUI(200,400)を介して前記ユーザから、前記機械学習モデル(414)を表す生成された前記ファイルをダウンロードする要求を受信することと、
前記GUI(200,400)を介して、前記機械学習モデル(414)を表す生成された前記ファイルへのアクセスを提供することとをさらに備える、請求項1~5のいずれか1項に記載の方法(500)。
【請求項7】
機械学習モデル(414)を表す生成された前記ファイルをダウンロードする要求(230)は、指示されるタイプに従って、生成された前記ファイルを再フォーマットする要求を含み、前記方法はさらに、
前記指示されたタイプの前記機械学習モデル(414)を表す再フォーマットされたファイルを生成することと、
前記GUI(200,400)を介して、前記機械学習モデル(414)を表す再フォーマットされた前記ファイルへのアクセスを提供することとを備える、請求項6に記載の方法(500)。
【請求項8】
前記機械学習モデル(414)を表す生成された前記ファイルを、前記ユーザ(108)と関連付けられた場所に格納することをさらに備える、請求項1~7のいずれか1項に記載の方法(500)。
【請求項9】
前記GUI(200,400)を介して、データセットの選択を受信することと、
前記GUI(200,400)を介して、前記データセットを用いて、前記機械学習モデル(414)を表す生成された前記ファイルを実行する要求を受信することと、
前記データセットを用いて、前記機械学習モデル(414)を表す生成された前記ファイルを実行して、それぞれの機械学習モデル出力を生成することと、
生成された前記機械学習モデル(414)出力を提供して、前記GUI(200,400)に表示することとをさらに備える、請求項1~8のいずれか1項に記載の方法(500)。
【請求項10】
データセットの選択を受信することは、サンプルデータセットの選択を受信すること、または、前記ユーザによってインポートされるデータセットの選択を受信することを含む、請求項9に記載の方法(500)。
【請求項11】
前記GUI(200,400)を介して、前記データセットを用いて、前記機械学習モデル(414)を表す生成された前記ファイルを実行する要求を受信することは、前記GUI(200,400)を介して、実行ボタン(220)のユーザ選択を受信することを含み、機械学習モデル入力データセットが選択されると、前記実行ボタン(220)が選択のために有効になる、請求項9または10に記載の方法(500)。
【請求項12】
前記機械学習モデル(414)を表す生成された前記ファイルを公開する要求を受信することと、
前記要求を受信することに応答して、前記GUI(200,400)内の新しいアセットとして、生成された前記ファイルを公開することとをさらに備える、請求項1~11のいずれか1項に記載の方法(500)。
【請求項13】
機械学習モデル(414)を生成するために提供される前記GUI(200,400)は、ドラッグ・アンド・ドロップインターフェイスを含み、前記GUI(200,400)は、
前記ユーザ選択可能ボタン(402、208)の第1または第2のセットの検索可能リストと、
編集領域(210)とを含み、
ユーザは、前記ユーザ選択可能ボタン(402~c)の第1のセットまたは前記ユーザ選択可能ボタン(208)の第2のセットから前記編集領域(210)へのドラッグ・アンド・ドロップユーザ選択可能ボタンを選択して、機械学習モデル(414)を定義することが可能である、請求項1~12のいずれか1項に記載の方法(500)。
【請求項14】
使用頻度の高いタイプの機械学習サブルーチン(310)または機械学習ルーチン(308)は、使用頻度の低い機械学習サブルーチン(310)または機械学習ルーチン(308)よりも高くリストされる、請求項13に記載の方法(500)。
【請求項15】
前記編集領域(210)は、ユーザ選択可能ボタン(402,208)を選択し、かつ、前記編集領域(210)にドラッグ・アンド・ドロップして機械学習モデル(414)を定義するときに、ユーザを支援するためのテンプレートグラフを含む、請求項13または14に記載の方法(500)。
【請求項16】
機械学習モデル(414)を生成するために提供される前記GUI(200,400)は、機械学習モデル生成タブ(218a)と、機械学習モデル公開タブ(218b)と、機械学習モデルバージョンタブ(218d)とを含む複数のユーザ選択可能タブ(218a~c)を含む、請求項1~15のいずれか1項に記載の方法(500)。
【請求項17】
1つ以上のコンピュータと、前記1つ以上のコンピュータによって実行されると、前記1つ以上のコンピュータに動作を行わせるように動作可能な命令を格納した1つ以上のストレージデバイスとを備えるシステム(100)であって、前記動作は、
機械学習モデル(414)を生成するためのグラフィカルユーザインターフェイス(GUI)(200,400)を提供することと、
前記GUI(200,400)を介して、前記GUI(200,400)に表示されるモードボタン(226)のユーザ選択を受信することとを含み、前記モードボタン(226)は、選択される場合、前記GUI(200,400)に、機械学習ルーチン(308)にそれぞれ対応するユーザ選択可能ボタン(402)の第1のセットを表示させ、選択されない場合、前記GUI(200,400)に、機械学習サブルーチン(310)にそれぞれ対応するユーザ選択可能ボタン(208)の第2のセットを表示させ、機械学習ルーチン(308)は、それぞれの複数の接続された機械学習サブルーチン(310)を含み、前記動作はさらに、
前記モードボタン(226)の前記ユーザ選択を受信することに応答して、前記GUI(200,400)に、前記ユーザ選択可能ボタン(402)の第1のセットを表示することと、
前記GUI(200,400)を介して、前記ユーザ選択可能ボタン(402)の第1のセットのうちの1つ以上のユーザ選択を受信することと、
前記GUI(200,400)に、前記ユーザ選択可能ボタン(402)の第1のセットのうちの前記1つ以上の前記ユーザ選択に対応する1つ以上の機械学習ルーチン(308)で定義された機械学習モデル(414)のグラフィカルな表現を表示することと、
前記機械学習モデル(414)を表すファイルを生成することとを含む、システム。
【請求項18】
前記機械学習サブルーチン(310)は、データフォーマットアルゴリズム;データ分割アルゴリズム;特徴選択アルゴリズム;機械学習訓練アルゴリズム、機械学習評価アルゴリズム、または統計アルゴリズムを含む、請求項17に記載のシステム(100)。
【請求項19】
前記ユーザ選択可能ボタン(402)の第1のセット内の前記ユーザ選択可能ボタンの各々はラップファイル(304)を表し、前記ラップファイル(304)は、機械学習ルーチン(308)に対応し、かつ、それぞれの複数の接続された機械学習サブルーチン(310)を含む、請求項17または18に記載のシステム(100)。
【請求項20】
1つ以上のコンピュータによって実行されると、前記1つ以上のコンピュータに動作を行わせる命令で符号化されたコンピュータストレージ媒体であり、前記動作は、
機械学習モデル(414)を生成するためのグラフィカルユーザインターフェイス(GUI)(200,400)を提供することと、
前記GUI(200,400)を介して、前記GUI(200,400)に表示されるモードボタン(226)のユーザ選択を受信することとを含み、前記モードボタン(226)は、選択される場合、前記GUI(200,400)に、機械学習ルーチン(308)にそれぞれ対応するユーザ選択可能ボタン(402)の第1のセットを表示させ、選択されない場合、前記GUI(200,400)に、機械学習サブルーチン(310)にそれぞれ対応するユーザ選択可能ボタン(208)の第2のセットを表示させ、機械学習ルーチン(308)は、それぞれの複数の接続された機械学習サブルーチン(310)を含み、前記動作はさらに、
前記モードボタン(226)の前記ユーザ選択を受信することに応答して、前記GUI(200,400)に、前記ユーザ選択可能ボタン(402)の第1のセットを表示することと、
前記GUI(200,400)を介して、前記ユーザ選択可能ボタン(402)の第1のセットのうちの1つ以上のユーザ選択を受信することと、
前記GUI(200,400)に、前記ユーザ選択可能ボタン(402)の第1のセットのうちの前記1つ以上の前記ユーザ選択に対応する1つ以上の機械学習ルーチン(308)で定義される機械学習モデル(414)のグラフィカルな表現を表示することと、
前記機械学習モデル(414)を表すファイルを生成することとを含む、コンピュータストレージ媒体。
【発明の詳細な説明】
【技術分野】
【0001】
技術分野
本明細書は、クラウドコンピューティングに関する。
【背景技術】
【0002】
背景
クラウドコンピューティングシステムは、さまざまなコンピューティングリソースへのアクセスを提供可能である。たとえば、クラウドコンピューティングシステムは、複数の異なるデバイスによってアクセス可能なクライアントデバイスのためにデータを格納し、複数の異なるクライアントデバイスがクラウド上で実行する単一のアプリケーションにアクセスし、他のコンピュータリソースへのアクセスを提供し得る。
【発明の概要】
【0003】
要約
本明細書は、機械学習モデルを構築、実行および公開するためのクラウドコンピューティングのノーコーディング機械学習パイプラインについて説明する。
【課題を解決するための手段】
【0004】
一般に、本明細書に記載の主題の1つの革新的な側面は、コンピュータによって実現される方法で実現可能である。この方法は、機械学習モデルを生成するためのグラフィカルユーザインターフェイス(GUI)を提供することと、GUIを介して、GUIに表示されるモードボタンのユーザ選択を受信することとを備え、モードボタンは、選択される場合、GUIに、機械学習ルーチンにそれぞれ対応するユーザ選択可能ボタンの第1のセットを表示させ、選択されない場合、GUIに、機械学習サブルーチンにそれぞれ対応するユーザ選択可能ボタンの第2のセットを表示させ、機械学習ルーチンは、それぞれの複数の接続された機械学習サブルーチンを含み、方法はさらに、モードボタンのユーザ選択を受信することに応答して、GUIに、ユーザ選択可能ボタンの第1のセットを表示することと、GUIを介して、ユーザ選択可能ボタンの第1のセットのうちの1つ以上のユーザ選択を受信することと、GUIに、ユーザ選択可能ボタンの第1のセットのうちの1つ以上のユーザ選択に対応する1つ以上の機械学習ルーチンで定義される機械学習モデルのグラフィカルな表現を表示することと、機械学習モデルを表すファイルを生成することとを備える。
【0005】
これらの態様の他の実現例は、対応するコンピュータシステム、装置、および1つ以上のコンピュータ記憶装置に記録されたコンピュータプログラムを含み、それらの各々は、方法のアクションを実行するように構成される。1つ以上の古典コンピュータおよび/または量子コンピュータのシステムは、動作中にシステムにアクションを行わせるソフトウェア、ファームウェア、ハードウェア、またはそれらの組合わせがシステムにインストールされていることにより、特定の動作またはアクションを行うように構成可能である。1つ以上のコンピュータプログラムは、データ処理装置によって実行されると、装置にアクションを実行させる命令を含むことによって、特定の動作またはアクションを実行するように構成可能である。
【0006】
前述のおよび他の実現例は各々、単独でまたは組合わせて、以下の特徴のうちの1つ以上を任意に含み得る。いくつかの実現例では、機械学習サブルーチンは、データフォーマットアルゴリズム;データ分割アルゴリズム;特徴選択アルゴリズム;機械学習訓練アルゴリズム、機械学習評価アルゴリズム、または統計アルゴリズムを含む。
【0007】
いくつかの実現例では、ユーザ選択可能ボタンの第1のセットにおけるユーザ選択可能ボタンの各々は、ラップファイルを含み、ラップファイルは、機械学習ルーチンに対応し、かつ、それぞれの複数の接続された機械学習サブルーチンを含む。
【0008】
いくつかの実現例において、この方法はさらに、GUIを介して、GUIに表示されるソースコードボタンのユーザ選択を受信することと、ソースコードボタンのユーザ選択を受信することに応答して、GUIに、機械学習モデルを表すソースコードを表示することとをさらに備え、生成されたファイルはソースコードを含み、方法はさらに、GUIを介して、表示されたソースコードに対する1つ以上のユーザ調整を受信することと、(i)ユーザ選択可能ボタンの第1のセットのうちのユーザによって選択された1つ以上に対応する1つ以上の機械学習ルーチンによって定義されるとともに、(ii)表示されたソースコードに対する調整によって定義される、更新された機械学習モデルを表す更新済みのファイルを生成することとを備える。
【0009】
いくつかの実現例では、表示されたソースコードに対する調整は、ソースコードに含まれる機械学習モデルパラメータまたは関数に対する調整を含む。
【0010】
いくつかの実現例では、方法はさらに、GUIを介してユーザから、機械学習モデルを表す生成されたファイルをダウンロードする要求を受信することと、GUIを介して、機械学習モデルを表す生成されたファイルへのアクセスを提供することとをさらに備える。
【0011】
いくつかの実現例では、機械学習モデルを表す生成されたファイルをダウンロードする要求は、指示されるタイプに従って、生成されたファイルを再フォーマットする要求を含み、方法はさらに、指示されたタイプの機械学習モデルを表す再フォーマットされたファイルを生成することと、GUIを介して、機械学習モデルを表す再フォーマットされたファイルへのアクセスを提供することとを備える。
【0012】
いくつかの実現例では、方法はさらに、機械学習モデルを表す生成されたファイルを、ユーザに関連付けられた場所に保存することを備える。
【0013】
いくつかの実現例では、方法はさらに、GUIを介して、データセットの選択を受信することと、GUIを介して、データセットを用いて、機械学習モデルを表す生成されたファイルを実行する要求を受信することと、データセットを用いて、機械学習モデルを表す生成されたファイルを実行して、それぞれの機械学習モデル出力を生成することと、生成された機械学習モデル出力を提供して、GUIに表示することとを備える。
【0014】
いくつかの実現例では、データセットの選択を受信することは、サンプルデータセットの選択を受信すること、または、ユーザによってインポートされたデータセットの選択を受信することを含む。
【0015】
いくつかの実現例では、GUIを介して、データセットを用いて、機械学習モデルを表す生成されたファイルを実行する要求を受信することは、GUIを介して、実行ボタンのユーザ選択を受信することを含み、機械学習モデル入力データセットが選択されると、実行ボタンは選択のために有効になる。
【0016】
いくつかの実現例では、方法はさらに、機械学習モデルを表す生成されたファイルを公開する要求を受信することと、要求を受信することに応答して、生成されたファイルをGUI内の新しいアセットとして公開することとを備える。
【0017】
いくつかの実現例では、機械学習モデルを生成するために提供されるGUIは、ドラッグ・アンド・ドロップインターフェイスを含み、GUIは、ユーザ選択可能ボタンの第1のセットまたは第2のセットの検索可能リストと、編集領域とを含み、ユーザは、ユーザ選択可能ボタンの第1のセットまたはユーザ選択可能ボタンの第2のセットから編集領域へのドラッグ・アンド・ドロップユーザ選択可能ボタンを選択して、機械学習モデルを定義することが可能である。
【0018】
いくつかの実現例では、使用頻度の高いタイプの機械学習サブルーチンまたは機械学習ルーチンは、使用頻度の低い機械学習サブルーチンまたは機械学習ルーチンよりも高くリストされる。
【0019】
いくつかの実現例では、編集領域は、ユーザ選択可能ボタンを選択し、かつ、編集領域内に選択し、かつ、編集領域にドラッグ・アンド・ドロップして機械学習モデルを定義するときに、ユーザを支援するためのテンプレートグラフを含む。
【0020】
いくつかの実現例では、機械学習モデルを生成するために提供されるGUIは、機械学習モデル作成タブ、機械学習モデル公開タブ、および機械学習モデルバージョンタブを含む複数のユーザ選択可能タブを含む。
【発明の効果】
【0021】
本明細書に記載された主題は、以下の利点の1つ以上を実現するように、特定の方法で実現可能である。
【0022】
本明細書に記載のノーコーディング機械学習パイプラインを実装するシステムは、コーディングできない、またはコーディングをしたくないユーザに、迅速かつ容易に機械学習モデルを生成、実行および公開する可能性を提供する。さらに、現在説明されているイージーモード機能を通じて、ノーコーディング機械学習パイプラインのユーザは、基本的なまたは複雑な機械学習の概念について理解している必要はない。したがって、経験の浅いユーザでも機械学習ソリューションを迅速にかつ最小限の労力で生成および実行できるため、現在説明されているノーコーディング機械学習パイプラインは、より多くのユーザがアクセスでき、ユーザとパイプラインとの間のインタラクションを改善する。
【0023】
また、本明細書で説明するノーコーディング機械学習パイプラインを実装するシステムは、パイプラインのフロントエンドが、生成された機械学習モデルの基礎となるソースコードを直接修正する可能性を提供するため、ユーザに高い柔軟性を与える。ユーザは、提供されるイージーモードを用いて機械学習モデルをより迅速に生成することができるが、機械学習モデルをさらに制御することも可能である。また、異なるユーザによって構築された機械学習モデルまたは機械学習モデルのビルディングブロックは、容易に再利用される。したがって、個別化されたモデルを生成可能な効率が向上する。さらに、機械学習概念の経験を有するユーザは、提供された機械学習ルーチンを効率化する可能性を有するため、機械学習モデルを実行する計算効率を向上させることができる。
【0024】
本明細書に記載のノーコーディング機械学習パイプラインを実装するシステムは、ノーコーディング機械学習パイプラインによって生成された機械学習モデルを、システム内のユーザ用に用意されたリソース上で実行することができる、またはオフラインで安全にダウンロードおよび実行できるため、実行の透明性の向上およびデータセキュリティの向上をユーザに提供する。
【0025】
また、本明細書に記載のノーコーディング機械学習パイプラインを実装するシステムでは、あるブロックの出力が他のブロックの入力と一致しない場合、ユーザはビルディングブロックを接続できないため、設計ときにタイプ安全性チェックを提供する。そのため、実行時だけでなく構築プロセス中に、エラーを特定または防止することができる。
【0026】
本明細書の主題の1つ以上の実現例の詳細は、添付の図面および以下の説明に記載されている。主題の他の特徴、態様、および利点は、説明、図面および特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【0027】
【
図1】ノーコーディング機械学習パイプラインが実装されるシステムの例を示すブロック図である。
【
図2】ノーコーディング機械学習パイプラインを用いて、機械学習モデルを生成、実行および公開するためのグラフィカルユーザインターフェイスの例を示す図である。
【
図3】機械学習ルーチンの例を表すラップファイルを示す図である。
【
図4】ノーコーディング機械学習パイプラインにおいて、イージーモード機能を用いて、機械学習モデルを生成、実行および公開するためのグラフィカルユーザインターフェイスの例を示す図である。
【
図5】ノーコーディング機械学習パイプラインを用いて、機械学習モデルを生成するためのプロセスの例を示すフロー図である。
【
図6A】ノーコーディング機械学習パイプラインを用いて生成された機械学習モデルを実行するための処理の例を示すフロー図である。
【
図6B】ノーコーディング機械学習パイプラインを用いて生成された機械学習モデルを実行するための処理の例を示すフロー図である。
【発明を実施するための形態】
【0028】
複数の図面の同様の参照番号および表記は、同様の要素を示す。
詳細な説明
概論
機械学習とは、コンピュータシステムが、明示的な命令を用いずに、その代わりにパターンおよび推論に依拠して、特定のタスクを効果的に実行するために用いるアルゴリズムおよび統計モデルの研究である。機械学習アルゴリズムは、特定のタスクを実行するために明示的にプログラムされることなく、未見のデータに対して予測または決定を行うために、訓練データのモデルを構築する。
【0029】
本明細書では、機械学習モデルを構築するためのクラウドコンピューティングサービスについて説明する。このサービスは、GUI、たとえばウェブベースのGUIを含み、ユーザは、機械学習サブルーチンのグラフィカルな表現を編集領域にドラッグ・アンド・ドロップ可能である。ユーザは、ドロップされた機械学習サブルーチンを連結して、機械学習モデルを表すグラフを形成可能である。
【0030】
機械学習の概念をほとんど理解していないユーザを支援するために、GUIは、イージーモードプレゼンテーションを提供する。イージーモードプレゼンテーションでは、機械学習のサブルーチンをラップして、データ入力および目標出力のみの指定を必要とする完全な機械学習ルーチンの「ブラックボックス」表現を形成する。そして、これらの機械学習ルーチンのグラフィカルな表現を編集領域にドラッグ・アンド・ドロップすることで、機械学習モデルを表すグラフを形成可能である。
【0031】
クラウドサービスは、生成された機械学習モデルの訓練、および/または推論のために使用可能な機械学習エンジンへのアクセスを提供可能である。または、ユーザは、生成された機械学習モデルを表すファイルをダウンロードし、たとえばオープンソーススタック上でオフラインで訓練する、および/または推論を実行することが可能である。
【0032】
動作環境の例
図1は、ノーコーディング機械学習パイプラインが実装されるシステム100の例を示すブロック図である。ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、インターネット、またはそれらの組合わせなどのコンピュータネットワーク102は、ノーコーディング機械学習パイプラインフロントエンド104をクラウドコンピューティング環境106のさまざまなコンポーネントに接続する。
【0033】
ユーザは、ユーザデバイス、たとえば、ユーザデバイス118を介して、ノーコーディング機械学習パイプラインフロントエンド104にアクセスすることができる。ユーザ装置118は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、またはノーコーディング機械学習パイプラインバックエンド112によって提供されるノーコーディング機械学習パイプラインフロントエンドのグラフィカルユーザインターフェイス(GUI)を表示可能な任意のデバイスといった、コンピューティングデバイスを含んでもよい。
【0034】
ノーコーディング機械学習パイプラインバックエンド112によって提供されるGUIは、ウェブベースのGUIでもよく、機械学習モデルを構築、実行および公開するための対話的な視覚的ワークスペースをユーザに提供する。GUIによって、ユーザは、機械学習サブルーチンを編集領域にドラッグ・アンド・ドロップすることが可能になり、編集領域では、機械学習サブルーチンは、接続されて機械学習モデルを形成し得る―ユーザは、機械学習モデルを生成するためにプログラミングスキルを必要としない。形成された機械学習モデルは、クラウドコンピューティング環境106によってデータセット上で訓練可能である、またはサードパーティ・システムによってオフラインでダウンロードおよび訓練可能である。同様に、クラウドコンピューティング環境106は、一旦訓練されると、機械学習モデルを用いてデータセット上で推論を行うことができる、または、サードパーティ・システムは、訓練された機械学習モデルをダウンロードし、訓練された機械学習モデルを用いて推論を行うことができる。ノーコーディング機械学習パイプラインバックエンドによって提供されるGUIの例が、
図2および
図4を参照して以下に図示され、説明される。ノーコーディング機械学習パイプラインを用いて機械学習モデルを生成するためのプロセスの例は、
図5、
図6Aおよび
図6Bを参照して以下に説明される。
【0035】
クラウドコンピューティング環境106のさまざまなコンポーネントは、クラウドストレージコンポーネント108、リレーショナルまたは非リレーショナルデータベース110、たとえば、newSQLデータベース、ノーコーディング機械学習パイプラインバックエンド112、クラウド機械学習エンジン114およびインベントリバックエンド116を含む。
【0036】
クラウドストレージコンポーネント108、リレーショナルまたは非リレーショナルデータベース110、たとえばnewSQLデータベース、ノーコーディング機械学習パイプラインバックエンド112は、ノーコーディング機械学習パイプラインフロントエンドを介してユーザから受信した入力に基づいて、機械学習モデルの生成または編集に関する動作を実行するコンポーネントである。ノーコーディング機械学習パイプラインバックエンドは、上述したGUIを提供し、ユーザからGUIを介して受信した入力を処理する。ノーコーディング機械学習パイプラインバックエンドによって実行される動作の例は、
図5、
図6Aおよび
図6Bを参照して以下に説明するものの一部または全部を含む。クラウドストレージコンポーネント108およびデータベース110は、ノーコーディング機械学習パイプラインフロントエンドを介してユーザによって作成された機械学習モデルに関連する情報を格納する。たとえば、クラウドストレージコンポーネント108およびデータベース110は、機械学習モデルの中間状態、改訂履歴、実行ログ、または入力/出力を格納してもよい。
【0037】
クラウド機械学習エンジン114は、ノーコーディング機械学習パイプラインフロントエンドおよびバックエンドによって生成された機械学習モデルの実行に関連する動作を実行する。たとえば、クラウド機械学習エンジン114は、機械学習モデルを訓練するために、および/または推論を実行するために、指定されたデータセット上で機械学習モデル内の機械学習ルーチンまたはサブルーチンを実行することが可能である。クラウド機械学習エンジン114によって生成された出力(結果)は、ノーコーディング機械学習パイプラインフロントエンド104に、またはノーコーディング機械学習パイプラインバックエンド112に直接提供可能である。
【0038】
インベントリバックエンド116は、ノーコーディング機械学習パイプラインフロントエンドおよびバックエンドによって生成された機械学習モデルの公開に関連する動作を実行する。たとえば、インベントリバックエンドは、ノーコーディングMLパイプラインのユーザに対して公開されるストレージ(セキュリティチェックを伴う)を含んでもよい。
【0039】
図2は、ノーコーディング機械学習パイプラインを用いて機械学習モデルを生成、実行および公開するためのGUI200の例を示す図である。
【0040】
GUI200の例は、ユーザが機械学習サブルーチンのリストを検索可能な検索ボックス202を含む。機械学習サブルーチンの例は、さまざまなデータフォーマットアルゴリズム;さまざまなデータ分割アルゴリズム;さまざまな特徴選択アルゴリズム;さまざまな機械学習訓練アルゴリズム、さまざまな機械学習評価アルゴリズム、またはさまざまな統計アルゴリズムなどの、アルゴリズムまたは機能を含み得る。機械学習サブルーチンの他の例は、データセット、または入力、出力もしくは評価などの機械学習コマンドを含む。いくつかの実現例では、GUI200はまた、検索オプションおよびフィルタをユーザが設定可能な領域204を含んでもよい。たとえば、ユーザは、機械学習タスクの種類を検索オプションとして選択し得る。
【0041】
いくつかの実現例では、ユーザが検索ボックス202にテキストを入力する前に、ボックス206内の機械学習サブルーチンのデフォルトリストをGUIに表示可能であり、たとえば、使用頻度のより高い機械学習サブルーチンが使用頻度のより低い機械学習サブルーチンよりも高くリストされる、使用頻度の高い機械学習サブルーチンのリストを表示可能である。さらに、ユーザが検索ボックス202にテキストを入力し始めた後、ボックス206内の表示された機械学習サブルーチンのリストは、入力されたテキストに基づいて更新可能である。
【0042】
ボックス206内の機械学習サブルーチンのリストにおける各機械学習サブルーチンは、ユーザ選択可能ボタン208、たとえば、ユーザ選択可能ボタン208、208a~cとして表示される。ユーザは、ポインタツールボタン216を選択してポインタツール機能を起動することによって、特定の機械学習サブルーチンに対応するボタンを選択し、特定の機械学習サブルーチンに対応するボタンを編集領域210にドラッグ・アンド・ドロップすることができる。GUI200の例において、ユーザは、機械学習サブルーチン「入力<データ>」、「機械学習アルゴリズムIII」、「データスプリッタIV」、「訓練アルゴリズムI」、「評価」、「出力<モデル>、出力<ビジュアル>」に相当するボタンを選択し、ドラッグ・アンド・ドロップしている。
【0043】
編集領域210は、選択された機械学習サブルーチンに基づいて機械学習モデルを定義するために使用される。ユーザが機械学習サブルーチンに対応するボタンを編集領域210にドロップすると、ユーザはさらに、機械学習サブルーチンを接続して、機械学習モデルを表すグラフを形成することができる。機械学習サブルーチン間の接続、たとえば、接続214は、コネクタボタン212を選択してコネクタ機能を起動することによって作成することができる。いくつかの実現例では、コネクタ機能は、互換性のない機械学習サブルーチン間の接続を許可しない場合があり、たとえば、ユーザが入力サブルーチンを出力サブルーチンに直接接続することを許可しない場合があり、接続された機械学習サブルーチン間の接続を自動的に指示する場合があり、たとえば、ユーザが最初に訓練アルゴリズムを選択し、その後データ分割ルーチンを選択する場合でも、データ分割ルーチンを訓練アルゴリズムに接続する場合がある。コネクタ機能のこれらの態様は、生成された機械学習モデルが機能的であり、エラーを生じることなく実行できる可能性を増加させることができる。
【0044】
いくつかの実現例では、編集領域210は、機械学習モデルを定義するために、機械学習サブルーチンに対応するユーザ選択可能ボタンを選択し、かつ、編集領域にドラッグ・アンド・ドロップするときにユーザを支援するためのテンプレートグラフを表示してもよい。たとえば、50%の不透明度で例示的な機械学習モデルの接続されたビルディングブロックを示すテンプレートグラフは、GUIがユーザに最初に提示されるときに編集領域に表示されてもよい。いくつかの実現例では、編集領域に提示されたテンプレートグラフは、検索ボックス202または領域204においてユーザによって入力された検索語または検索オプションに基づいて更新されてもよい。たとえば、ユーザが領域204に「画像分類」を入力する場合、編集領域210に表示されるテンプレートグラフは、一緒に畳み込みニューラルネットワークを表す複数の接続された機械学習サブルーチンのグラフの例を示してもよい。
【0045】
ユーザが編集領域で操作する、すなわち、編集領域で機械学習サブルーチンをドラッグ・アンド・ドロップし接続すると、GUIを提供するシステムは、構築中のグラフを表すプロトファイルを有するバックエンドを呼び出す。いくつかの実現例では、システムは、編集領域で実行された操作の完全なまたは部分的な履歴を保存することができる。
【0046】
GUI200の例はさらに、複数のユーザ選択可能タブ、たとえば、機械学習モデル作成または設計タブ218a、機械学習モデル公開タブ218b、イベントタブ218cおよび機械学習モデルバージョンタブ218dを含む。ユーザが設計タブ218aを選択する場合、GUIプレゼンテーションは、GUI200の例に示されるように、機械学習モデルを作成するためのオプションおよび特徴を含む。
【0047】
ユーザが公開タブ218bを選択する場合、GUIプレゼンテーションは、代替的にまたは追加的に、作成された機械学習モデルの公開に関連するオプションおよび/または特徴を提示し得る。たとえば、GUIプレゼンテーションは、選択されると、システムの他のユーザが編集、実行および保存するためのアセットとしてシステムがグラフを公開することを可能にする、ユーザ選択可能公開ボタンを含んでもよい。そのような公開されたアセットは、デザインタブ218aの下で、たとえば、ボックス208a~cのリストで提示されて、ユーザがアクセス可能であってもよい。
【0048】
ユーザがイベントタブ218cを選択する場合、GUIプレゼンテーションは、特定のプロジェクトの活動ログを一覧表示するページを提示してもよく、ユーザは、タイムスタンプおよび機械学習モデルの各リビジョン(たとえば、ユーザがモデルの1つ以上のステップを実行する、またはクラウドにファイルを格納することに対応する)を見ることができる。また、イベントタブ218cは、タイムスタンプおよびリビジョンがユーザの請求書に表示されるそれぞれの料金と一致可能であるため、クラウドサービスのユーザによって発生したコストの概要の役割を果たすこともできる。
【0049】
ユーザがバージョンタブ218dを選択する場合、GUIプレゼンテーションは、たとえば、選択可能なスナップショットのリストとして提示される、編集領域で行われた編集の履歴を含んでもよい。ユーザは、スナップショットを選択することによってスナップショットを復元することができ、スナップショットを、新しいプロジェクトまたはパイプライン、たとえば、第2のGUIプレゼンテーションに自動的にコピー可能である。いくつかの実現例では、ユーザは、デザインタブの下でGUIを操作するときに、たとえばGUI200の領域222に、実行履歴の要約を眺めてもよい。
【0050】
GUI200の例はさらに、実行ボタン220を含む。実行ボタンが有効になる場合、ユーザは、編集領域210で生成された機械学習モデルを実行するために実行ボタンを選択可能である。実行ボタンが選択されると、機械学習モデルは、たとえば、クラウド機械学習エンジンによって、クラウドで直ちに実行される。実行ボタン220の選択および機械学習モデルの実行の結果は、編集領域に直接表示することができる、または、編集領域において対応する出力モジュールにカーソルを合わせるもしくは選択することによって見ることができる。しかしながら、いくつかの実現例では、たとえば、編集領域において生成された機械学習モデルがルーチンを欠いている、さもなければ実行できない場合、実行ボタン220は無効化されてもよい。これらの実現例では、GUIはまた、たとえば、編集領域210内または実行ボタン220の隣に、警告標識を提示してもよい。
【0051】
GUI200の例はさらに、保存ボタン224およびダウンロードボタン230を含む。ユーザは、保存ボタン224を選択して、編集領域で生成された機械学習モデルをローカルに、たとえば、クラウドに保存することができる。代替的にまたは追加的に、ユーザは、ダウンロードボタン230を選択して、編集領域210において生成された機械学習モデルを表すファイルをダウンロードすることができる。ダウンロードボタン230は、実行ボタン220が選択される前に、すなわち、機械学習モデルが訓練および/もしくは評価される前に選択されてもよい、または、実行ボタン220が選択された後に、たとえば、訓練された機械学習モデルをダウンロードするために選択されてもよい。機械学習モデルを生成するためのGUIを用いて生成された機械学習モデルを実行および保存することは、
図6Aおよび
図6Bを参照して以下でより詳細に説明される。
【0052】
GUIの例はさらに、ビューソースコードボタン228を含む。ユーザは、編集領域210に提示された機械学習モデルに対応するソースコードを見るために、ビューソースコードボタンを選択可能である。たとえば、ソースコード表示ボタンを選択することに応答して、GUIは、編集領域を2つのセクションに分割してもよく、機械学習モデルが一方のセクションに提示され、対応するソースコードが他方のセクションに提示される。または、ソースコードは、GUIの別の部分に提示されてもよい。
【0053】
機械学習モデルを表すソースコードを表示することで、ユーザは機械学習モデルを調整することができる。たとえば、機械学習の経験をある程度有するユーザは、解の精度を損なうことなく、機械学習モデルを合理化する、たとえば、機械学習モデルが必要とする訓練時間を短縮する、および/または推論時間を短縮する調整を特定し得る。そのような調整には、特定の機械学習サブルーチンもしくはルーチンによって使用されるニューラルネットワーク層の数を調整すること、または異なる活性化関数を指定することが含まれ得る。別の例として、機械学習の経験をある程度有するユーザは、特定のデータセットについて特定のタスクを解く際に、複数の機械学習モデルとそれらの有効性を比較したいと思う場合がある。したがって、機械学習モデルの背後にあるソースコードを手動で調整することで、個別化が向上し、ユーザは、特定のタスクにますます適した機械学習モデルを生成することが可能になる。
【0054】
いくつかの実現例では、機械学習モデルの一部に合わせるまたは一部をポインティングすると、GUIは、表示されたソースコードの関連部分を強調表示する、または他の態様では示す場合がある。これによって、ユーザを支援し、ソースコードに対して行われる調整の精度を向上させることができる。
【0055】
GUI200の例はさらに、イージーモードボタン226を含む。ユーザは、イージーモードボタン226を選択して、GUI200のプレゼンテーションを変更することができる。たとえば、イージーモードボタン226を選択することによって、機械学習サブルーチンの表示されたリスト208a~cを変更し得る。機械学習サブルーチンに対応するユーザ選択可能ボタンのみを表示する代わりに、1つ以上の機械学習ルーチンに対応するユーザ選択可能ボタンを表示することができる。この文脈において、機械学習ルーチンとは、入力データを受け付け、1つ以上の機械学習サブルーチンのシーケンスに従ってデータを処理し、評価結果を出力する処理である。機械学習ルーチンは、機械学習アルゴリズムのビルディングブロックを表すこと、または機械学習アルゴリズム全体を表すことが可能である。いずれの場合も、機械学習ルーチンは、ユーザにとってブラックボックスとして現れる―ユーザは、複数の機械学習サブルーチンから機械学習ルーチンを自ら構築する必要はない。したがって、ユーザは、機械学習の概念、またはデータを変換もしくは分割する態様について理解する必要がない。イージーモードボタン226を選択することによって、提示されたGUIは、より多くのユーザ―機械学習の経験のあるユーザおよびそのような経験のないユーザ―によって操作可能である。
【0056】
便宜上、本明細書で説明する機械学習ルーチンの例は、機械学習アルゴリズム全体を表している。しかしながら、上述したように、イージーモードで表示されるユーザ選択可能ボタンが表す機械学習ルーチンは、機械学習アルゴリズムのビルディングブロックを表すことができる。これらの場合、ユーザは、イージーモードで1つの機械学習ルーチンを使用し、アドバンスモードまたは「ノーマル」モードで別のルーチンを使用するという柔軟性を有し得る。
【0057】
機械学習ルーチンに対応する各ユーザ選択可能ボタンは、機械学習ルーチンを定義する複数の接続された機械学習サブルーチンを含むラップファイルを表し得る。たとえば、機械学習ルーチンを表すラップファイルは、(i)データ変換アルゴリズム、(ii)機械学習訓練アルゴリズム、または(iii)機械学習評価アルゴリズムのうちの1つ以上を含んでもよい。複数の機械学習サブルーチンのラッピングは、標準的なラッパーによって実行可能である。
【0058】
図3は、ラップファイルの例を示す図である。便宜上、
図3では、
図2のGUI200における編集領域210でユーザが定義した機械学習モデルのラッピング例を示す。
【0059】
標準モード302では、機械学習モデルの例は、特定のデータ分割ルーチン(データ分割モジュールIV)310,310a、訓練アルゴリズム(訓練アルゴリズムI)310,310b、機械学習アルゴリズム(機械学習アルゴリズムIII)310,310c、および評価ルーチン310,310dを含む。このサブルーチン310,310a~dの構成は合わせて、点線で示すように、対応する機械学習ルーチン308を表す。
【0060】
標準モード302で示す機械学習サブルーチン310の構成は、機械学習ルーチン308を表す点線で示すように、サブルーチンラッパー(ラップファイル)304を用いてラップすることができる。このラッピングにより、イージーモード「ブラックボックス」プレゼンテーション306が生成される。イージーモードプレゼンテーション306は、標準モード302でGUIを操作するときにユーザによって定義されるのと同じ機械学習モデルに対応する。すなわち、ユーザがGUIを標準モードで操作するか、またはイージーモードで操作するかとは無関係に、システムは、機械学習モデルを表す同じファイル/ソースコードを生成する。
【0061】
図4は、イージーモード機能を用いて機械学習モデルを生成、実行および公開するためのグラフィカルユーザインターフェイスの例400を示す図である。GUI400の例は、
図2のGUI200の例の上に構築されている。特に、
図4は、ユーザがイージーモードボタン226を選択した後のGUIプレゼンテーションの相違を示す。
【0062】
たとえば、イージーモードボタン226が選択された後、ボックス206(
図2)内の複数の機械学習サブルーチンを表すユーザ選択可能ボタンの提示リストが、イージーモードリストに置き換えられる。イージーモードリストは、機械学習ルーチン、すなわち1つ以上の機械学習サブルーチンを含むラップファイルを表す少なくとも1つのユーザ選択可能ボタン402、たとえばユーザ選択可能ボタン(複数可)402a~cを含む。いくつかの実現例では、イージーモードリストは、機械学習サブルーチンおよび機械学習ルーチンの両方に対応するユーザ選択可能ボタンを含んでもよい。他の実現例では、イージーモードリストは、機械学習ルーチンに対応するユーザ選択可能ボタンのみを含んでもよい。
図2を参照して上述したように、ユーザは、機械学習ルーチンに対応するボタンを編集領域210にドラッグ・アンド・ドロップして、機械学習モデルを生成することができる。
【0063】
ハードウェアのプログラミング:編集体験
図5は、ノーコーディング機械学習パイプラインを用いて機械学習モデルを生成するプロセスのための方法500の例を示すフロー図である。便宜上、プロセス500は、1つ以上の場所に配置された1つ以上のコンピュータのシステムによって実行されるものとして説明される。たとえば、本明細書に従って適切にプログラムされた
図1のシステム100は、プロセス500を実行可能である。
【0064】
システムは、機械学習モデルを生成するためのグラフィカルユーザインターフェイス(GUI)を提供する(ステップ502)。たとえば、システムは、
図2を参照して上述したGUI200を提供してもよい。いくつかの実現例では、GUIはウェブベースのGUIでもよく、GUIを提供することは、ウェブブラウザを介してGUIを提供することを含んでもよい。
【0065】
システムは、提供されたGUIを介して、GUIに表示されたモードボタンのユーザ選択を受信する(ステップ504)。モードボタンは、選択される場合、GUIに、それぞれの機械学習ルーチンに対応するユーザ選択可能ボタンの第1のセットを表示させるボタンである。モードボタンが選択されない場合、GUIは、それぞれの機械学習サブルーチンに対応するユーザ選択可能ボタンの第2のセットを表示し、機械学習ルーチンは、それぞれの複数の接続された機械学習サブルーチンを含む。たとえば、モードボタンは、
図2~
図4を参照して上述したイージーモードボタンに対応し得る。
【0066】
いくつかの実現例では、機械学習ルーチンは、複数の機械学習サブルーチンを含み、ラップファイルにそれぞれ対応する。各ラップファイルは、1つ以上の機械学習サブルーチン、たとえば、(i)データ変換アルゴリズム、(ii)機械学習訓練アルゴリズム、または(iii)機械学習評価アルゴリズムのうちの1つ以上を含み得る。
【0067】
イージーモードボタンのユーザ選択を受信することに応答して、システムは、GUIに、ユーザ選択可能ボタンの第1のセットを表示する(ステップ506)。モードボタンの選択後のGUIプレゼンテーションの例が、
図4を参照して説明される。
【0068】
システムは、GUIを介して、ユーザ選択可能ボタンの第1のセットのうちの1つ以上のユーザ選択を受信する(ステップ508)。システムは、GUIに、ユーザ選択可能ボタンの第1のセットのうちのユーザが選択した1つ以上に対応する1つ以上の機械学習ルーチンによって定義される機械学習モデルのグラフィカルな表現を表示する(ステップ510)。グラフィカルな表現の例が、
図4のGUI400の例の編集領域に示されている。システムは、機械学習モデルを表すファイルを生成する(ステップ512)。
【0069】
いくつかの実現例では、システムはさらに、GUIを介して、GUIに表示されるソースコードボタンのユーザ選択を受信してもよい。ソースコードボタンのユーザ選択を受信することに応答して、システムは、GUIに、複数のユーザ選択可能ボタンのうちの1つ以上の受信したユーザ選択によって定義される機械学習モデルを表すソースコード(たとえば、ステップ510で生成されたファイルに含まれるソースコード)を表示してもよい。いくつかの実現例では、ユーザが機械学習アルゴリズムのそれぞれのタイプに対応する選択されたボタンに合わせると、表示されたソースコードの対応する部分が強調表示される。
【0070】
次に、システムは、GUIを介して、表示されたソースコードの1つ以上に対する調整、たとえば、ソースコードに含まれる機械学習モデルパラメータまたは関数に対する調整を受信することができる。次いで、システムは、(i)複数のユーザ選択可能ボタンのうちの1つ以上の受信されたユーザ選択、および(ii)表示されたソースコードに対する調整によって定義される機械学習モデルを表す、更新済みのファイルを生成することが可能である。
【0071】
いくつかの実現例では、システムはさらに、機械学習モデルを表す生成されたファイルを、ユーザに関連付けられた場所に格納してもよい。いくつかの実現例では、システムは、GUIを介して、機械学習モデルを表す生成されたファイルを公開する要求を受信してもよい。これらの実現例では、システムは、生成されたファイルをGUI内の新しいアセットとして公開することができる。
【0072】
なお、GUIを介して、GUIに表示されるソースコードボタンのユーザ選択を受信し、GUIにおいて、複数のユーザ選択可能ボタンのうちの1つ以上の受信したユーザ選択によって定義される機械学習モデルを表すソースコードを表示する任意のステップは、
図5で説明したものとは異なる処理の一部として実行可能である。たとえば、この任意のステップは、標準モードのGUIのみを用いて機械学習モデルを生成するためのプロセスの一部として実行することができる。
【0073】
ハードウェアのプログラミング:実行体験
図6Aは、ノーコーディング機械学習パイプラインを用いて生成された機械学習モデルを実行するためのプロセス600の第1の例を示すフロー図である。便宜上、プロセス600は、1つ以上の場所に配置された1つ以上のコンピュータのシステムによって実行されるものとして説明される。たとえば、本明細書に従って適切にプログラムされた
図1のシステム100は、プロセス600を実行することができる。
【0074】
システムが、たとえば、
図5のステップ510を参照して上述したように、機械学習モデルを表すファイルを生成すると、システムはさらに、機械学習モデルを生成するために使用されるGUIを介して、ユーザから、機械学習モデルを表す生成されたファイルをダウンロードする要求を受信し得る(ステップ602)。いくつかの実現例、たとえば、ユーザが機械学習モデルをオフラインで訓練することを望む実現例では、生成されたファイルは、未訓練の機械学習モデルを表してもよい。他の実現例、たとえば、ユーザがGUIを介して訓練データセットをシステムにアップロードする、または訓練のためにシステムによって提供されるサンプルデータセットを選択する実現例では、ユーザは、システムが機械学習モデルを訓練して、訓練済み機械学習モデルを表すファイルを生成するように要求してもよく、ユーザはさらに、推論をオフラインで実行できるように、訓練済み機械学習モデルを表す生成されたファイルをダウンロードするように要求してもよい。
【0075】
いくつかの実現例では、生成されたファイルをダウンロードする受信された要求は、指示されたタイプ、たとえば、サードパーティ・フローフォーマットに従って生成されたファイルを再フォーマットする要求を含んでもよい。これらの実現例において、システムは、指示されたタイプの機械学習モデルを表す再フォーマットされたファイルを生成し、GUIを介して、機械学習モデルを表す再フォーマットされたファイルへのアクセスを提供することができる。
【0076】
システムは、GUIを介して、機械学習モデルを表す生成されたファイルへのアクセスを提供する(ステップ604)。次に、ユーザは、生成されたファイルを他のシステムコンポーネントもしくはモジュールに、または実行のためにサードパーティに提供してもよい。
【0077】
プロセス600の例は、機械学習モデルを生成するためにユーザによって使用されるGUIを、実行プロセスから切り離す。これは、ユーザに対して実行の透明性を向上し得るとともに、ユーザが自分のデータを共有する必要がないため、セキュリティを高め得る。
【0078】
なお、プロセス600の例は、
図5で説明したものとは異なるプロセスを用いて、システムが機械学習モデルを表すファイルを生成した後にも実行され得る。たとえば、プロセス600の例は、システムが、
図2のGUI200の例を操作するユーザ、すなわち、標準モードでGUIを操作するユーザによって作成された機械学習モデルを表すファイルを生成した後に実行可能である。
【0079】
図6Bは、ノーコーディング機械学習パイプラインを用いて生成された機械学習モデルを実行するためのプロセス650の第2の例を示すフロー図である。便宜上、プロセス650は、1つ以上の場所に配置された1つ以上のコンピュータのシステムによって実行されるものとして説明される。たとえば、本明細書に従って適切にプログラムされた
図1のシステム100は、プロセス650を実行することができる。
【0080】
システムが、たとえば
図5のステップ510を参照して上述したように、機械学習モデルを表すファイルを生成すると、システムは、GUIを介して、データセットの選択を受信する(ステップ652)。たとえば、ユーザは、GUIに表示された複数のオプションのうちの1つからサンプルデータセットを選択してもよい、またはユーザによってインポートされたデータセットを選択してもよい。
【0081】
システムは、GUIを介して、データセットを用いて機械学習モデルを表す生成されたファイルを実行する要求を受信する(ステップ654)。データセットを用いて機械学習モデルを表す生成されたファイルを実行する要求を受信することは、実行ボタンのユーザ選択を受信することを含み得る。いくつかの実現例では、システムは、機械学習モデル入力データセットが選択されたとき、すなわち、ステップ652の後に、GUIに表示される実行ボタンを有効にしてもよい。
【0082】
システムは、データセットを用いて機械学習モデルを表す生成されたファイルを実行して、それぞれの機械学習モデル出力を生成する(ステップ656)。生成された機械学習モデル出力は、訓練済み機械学習モデル、または訓練済み機械学習モデルによって生成された機械学習タスクの解のうちの1つ以上を含んでもよい。システムは、生成された機械学習モデル出力を提供して、GUIに表示する(ステップ658)。
【0083】
実施形態および本明細書に記載された機能動作の全ては、本明細書に開示された構造およびそれらの構造的等価物を含むデジタル電子回路、またはコンピュータソフトウェア、ファームウェア、ハードウェアにおいて、もしくはそれらの1つ以上の組合わせにおいて実装されてもよい。実施形態は、1つ以上のコンピュータプログラム製品として、すなわち、データ処理装置による実行のために、またはデータ処理装置の動作を制御するために、コンピュータ読取可能媒体上に符号化されたコンピュータプログラム命令の1つ以上のモジュールとして実装されてもよい。コンピュータ読取可能媒体は、機械読取可能記憶装置、機械読取可能記憶基板、記憶装置、機械読取可能伝搬信号を生じる組成物、またはそれらの1つ以上の組合わせでもよい。「データ処理装置」という用語は、データを処理するためのすべての装置、デバイス、および機械を包含し、例として、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサもしくはコンピュータを含む。装置は、ハードウェアに加えて、当該コンピュータプログラムの実行環境を生成するコード、たとえば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらの1つ以上の組合わせを構成するコードを含んでもよい。伝搬信号は、人工的に生成された信号であり、たとえば、適切な受信装置に送信するために情報を符号化するために生成される、機械によって生成される電気信号、光信号、または電磁波信号である。
【0084】
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られる)は、コンパイル言語または解釈言語を含む任意の形式のプログラミング言語で書かれてもよく、スタンドアロンプログラムとして、またはモジュール、コンポーネント、サブルーチン、もしくはコンピュータ環境での使用に適した他のユニットとして含む任意の形式で配備されてもよい。コンピュータプログラムは、必ずしもファイル・システム内のファイルに対応しない。プログラムは、他のプログラムまたはデータ(たとえば、マークアップ言語文書に格納された1つもしくは複数のスクリプト)を保持するファイルの一部に、当該プログラム専用の単一のファイルに、または複数の連携ファイル(たとえば、1つもしくは複数のモジュール、サブプログラム、またはコードの一部を格納するファイル)に格納されてもよい。コンピュータプログラムは、1台のコンピュータ上で実行されるように配置されてもよい、または、1つのサイトに位置する、もしくは複数のサイトに分散し、通信ネットワークによって相互接続されている複数のサイト上で実行されるように配置されてもよい。
【0085】
本明細書に記載された処理および論理フローは、1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブルプロセッサによって実行されて、入力データに対して動作し出力を生成することによって、機能を実行してもよい。プロセスおよび論理フローはまた、専用論理回路、たとえば、FPGA(フィールド・プログラマブル・ゲート・アレイ)またはASIC(特定用途向け集積回路)によって実行されてもよく、装置はまた、そのように実装されてもよい。
【0086】
コンピュータプログラムの実行に適したプロセッサには、一例として、汎用および特殊目的のマイクロプロセッサ、ならびにあらゆる種類のデジタル・コンピュータの任意の1つ以上のプロセッサが含まれる。一般に、プロセッサは、読取専用メモリまたはランダムアクセスメモリ、またはその両方から命令およびデータを受信する。
【0087】
コンピュータの本質的な要素は、命令を実行するためのプロセッサと、命令およびデータを格納するための1つ以上のメモリデバイスとである。一般に、コンピュータはまた、たとえば磁気ディスク、光磁気ディスク、または光学ディスクといった、データを格納するための1つ以上の大容量記憶デバイスを含み、または、当該大容量記憶デバイスからデータを受信し、もしくは当該大容量記憶デバイスにデータを転送し、もしくはそれら両方を行なうために動作可能に結合されるであろう。しかしながら、コンピュータは、そのようなデバイスを有する必要はない。さらに、コンピュータは、ほんの数例を挙げると、他の装置、たとえば、タブレットコンピュータ、携帯電話、パーソナルデジタルアシスタント(PDA)、携帯オーディオプレーヤー、グローバルポジショニングシステム(GPS)受信機に組み込まれていてもよい。コンピュータプログラム命令およびデータを格納するのに適したコンピュータ読取可能媒体は、例として、半導体メモリデバイス、たとえばEPROM、EEPROM、およびフラッシュメモリデバイス;磁気ディスク、たとえば内蔵ハードディスクまたはリムーバルディスク;光磁気ディスク;ならびにCD ROMおよびDVD-ROMディスクを含む全ての形式の不揮発メモリ、メディアおよびメモリ装置を含む。プロセッサおよびメモリは、専用論理回路によって補完されてもよい、または専用論理回路に組込まれてもよい。
【0088】
ユーザとのインタラクションを提供するために、実施形態は、ユーザに情報を表示するためのディスプレイ装置、たとえばCRT(陰極線管)またはLCD(液晶ディスプレイ)モニタ、ならびにユーザがコンピュータに入力を提供し得るキーボードおよびポインティング装置、たとえばマウスまたはトラックボールを有するコンピュータ上で実装されてもよい。ユーザとのインタラクションを提供するために、他の種類のデバイスを用いてもよい。たとえば、ユーザに提供されるフィードバックは、視覚フィードバック、聴覚フィードバック、触覚フィードバックなど、いかなる形式の感覚フィードバックであってもよく、ユーザからの入力は、音響、音声、または触覚入力を含むいかなる形式であっても受信することができる。
【0089】
実施形態は、たとえばデータサーバとしてバックエンドコンポーネントを含むコンピューティングシステム、またはミドルウェアコンポーネント、たとえばアプリケーションサーバを含むコンピューティングシステム、またはフロントエンドコンポーネント、たとえばユーザが実現例とインタラクションし得るグラフィカルユーザインターフェイスもしくはWebブラウザを有するクライアントコンピュータ、または1つ以上のそのようなバックエンド、ミドルウェア、もしくはフロントエンドコンポーネントの任意の組合わせを含むコンピューティングシステムにおいて実装されてもよい。システムのコンポーネントは、デジタルデータ通信の任意の形態または媒体、たとえば通信ネットワークによって相互接続されてもよい。通信ネットワークの例としては、ローカルエリアネットワーク(「LAN」)およびワイドエリアネットワーク(「WAN」)、たとえば、インターネットが挙げられる。
【0090】
コンピューティングシステムは、クライアントおよびサーバを含んでもよい。クライアントおよびサーバは、一般に互いに離れており、典型的には、通信ネットワークを介してインタラクションする。クライアントとサーバとの関係は、それぞれのコンピュータ上で実行され、かつ、互いにクライアント-サーバ関係を有するコンピュータプログラムによって生じる。
【0091】
本明細書は多くの具体的な内容を含んでいるが、これらは、開示の範囲または請求され得るものの制限として解釈されるべきではなく、むしろ特定の実施形態に特有の特徴の記述として解釈されるべきである。別々の実施形態の文脈で本明細書に記載される特定の特徴は、単一の実施形態において組合わせて実装されてもよい。逆に、単一の実施形態の文脈で説明されるさまざまな特徴は、複数の実施形態において別々にまたは任意の適切な下位組合わせで実装されてもよい。さらに、特徴は、特定の組合わせで作用するものとして上述され、当初はそのように請求されることさえあるが、請求された組合わせからの1つ以上の特徴は、場合によっては組合わせから削除され、請求された組合わせは、部分的組合わせまたは部分的組合わせの変形に向けられることがある。
【0092】
同様に、動作は特定の順序で図面に描かれているが、これは、望ましい結果を達成するために、そのような動作を示された特定の順序で、もしくは順次実行すること、または図示されたすべての動作を実行することを要求していると理解されるべきではない。特定の状況下では、マルチタスクおよび並列処理が有利である場合がある。さらに、上述した実施形態におけるさまざまなシステムコンポーネントの分離は、すべての実施形態においてそのような分離を必要とすると理解されるべきではなく、説明したプログラムコンポーネントおよびシステムは、一般に、単一のソフトウェア製品に統合されてもよい、または複数のソフトウェア製品にパッケージングされてもよいと理解されるべきである。
【0093】
ファイルが言及される各例において、異なるファイルタイプまたはフォーマット、たとえば、YAML、HTML、XML、JSON、プレーンテキスト、または他のタイプのファイルが意図される場合がある。さらに、テーブルが言及される場合、異なるデータ構造(スプレッドシート、リレーショナルデータベース、または構造化されたファイルなど)が意図される場合がある。
【0094】
このように、特定の実施形態について説明を行った。他の実施形態は、以下の特許請求の範囲内である。たとえば、特許請求の範囲に記載された動作は、異なる順序で実行されても、望ましい結果を達成し得る。
【手続補正書】
【提出日】2022-04-21
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
コンピュータによって実現される方法(500)であって、
機械学習モデル(414)を生成するためのグラフィカルユーザインターフェイス(GUI)(200,400)を提供することと、
前記GUI(200,400)を介して、前記GUI(200,400)に表示されるモードボタン(226)のユーザ選択を受信することとを備え、前記モードボタン(226)は、選択される場合、前記GUI(200,400)に、機械学習ルーチン(308)にそれぞれ対応するユーザ選択可能ボタン(402)の第1のセットを表示させ、選択されない場合、前記GUI(200,400)に、機械学習サブルーチン(310)にそれぞれ対応するユーザ選択可能ボタン(208)の第2のセットを表示させ、機械学習ルーチン(308)は、それぞれの複数の接続された機械学習サブルーチン(310)を含み、前記方法はさらに、
前記モードボタン(226)の前記ユーザ選択を受信することに応答して、前記GUI(200,400)に、前記ユーザ選択可能ボタン(402)の第1のセットを表示することと、
前記GUI(200,400)を介して、前記ユーザ選択可能ボタン(402)の第1のセットのうちの1つ以上のユーザ選択を受信することと、
前記GUI(200,400)に、前記ユーザ選択可能ボタン(402)の第1のセットのうちの前記1つ以上の前記ユーザ選択に対応する1つ以上の機械学習ルーチン(308)で定義される機械学習モデル(414)のグラフィカルな表現を表示することと、
前記機械学習モデル(414)を表すファイルを生成することとを備える、方法。
【請求項2】
前記機械学習サブルーチン(310)は、データフォーマットアルゴリズム;データ分割アルゴリズム;特徴選択アルゴリズム;機械学習訓練アルゴリズム、機械学習評価アルゴリズム、または統計アルゴリズムを含む、請求項1に記載の方法(500)。
【請求項3】
前記ユーザ選択可能ボタン(402)の第1のセット内の前記ユーザ選択可能ボタン(402)の各々はラップファイル(304)を表し、前記ラップファイル(304)は、機械学習ルーチン(306)に対応し、かつ、それぞれの複数の接続された機械学習サブルーチン(310)を含む、請求項1または2に記載の方法(500)。
【請求項4】
前記GUI(200,400)を介して、前記GUI(200,400)に表示されるソースコードボタン(228)のユーザ選択を受信することと、
前記ソースコードボタン(228)の前記ユーザ選択を受信することに応答して、前記GUI(200,400)に、前記機械学習モデル(414)を表すソースコードを表示することとをさらに備え、生成された前記ファイルは前記ソースコードを含み、前記方法はさらに、
前記GUI(200,400)を介して、表示された前記ソースコードに対する1つ以上のユーザ調整を受信することと、
(i)前記ユーザ選択可能ボタン(402)の第1のセットのうちのユーザによって選択された前記1つ以上に対応する前記1つ以上の機械学習ルーチン(308)によって定義されるとともに、(ii)表示された前記ソースコードに対する前記調整によって定義される、更新済みの機械学習モデル(414)を表す更新済みのファイルを生成することとを備える、請求項1~3のいずれか1項に記載の方法(500)。
【請求項5】
表示された前記ソースコードに対する調整は、前記ソースコードに含まれる機械学習モデルのパラメータまたは関数に対する調整を含む、請求項4に記載の方法(500)。
【請求項6】
前記GUI(200,400)を介して前記ユーザから、前記機械学習モデル(414)を表す生成された前記ファイルをダウンロードする要求を受信することと、
前記GUI(200,400)を介して、前記機械学習モデル(414)を表す生成された前記ファイルへのアクセスを提供することとをさらに備える、請求項1~5のいずれか1項に記載の方法(500)。
【請求項7】
機械学習モデル(414)を表す生成された前記ファイルをダウンロードする要求(230)は、指示されるタイプに従って、生成された前記ファイルを再フォーマットする要求を含み、前記方法はさらに、
前記指示されたタイプの前記機械学習モデル(414)を表す再フォーマットされたファイルを生成することと、
前記GUI(200,400)を介して、前記機械学習モデル(414)を表す再フォーマットされた前記ファイルへのアクセスを提供することとを備える、請求項6に記載の方法(500)。
【請求項8】
前記機械学習モデル(414)を表す生成された前記ファイルを、前記ユーザ(108)と関連付けられた場所に格納することをさらに備える、請求項1~7のいずれか1項に記載の方法(500)。
【請求項9】
前記GUI(200,400)を介して、データセットの選択を受信することと、
前記GUI(200,400)を介して、前記データセットを用いて、前記機械学習モデル(414)を表す生成された前記ファイルを実行する要求を受信することと、
前記データセットを用いて、前記機械学習モデル(414)を表す生成された前記ファイルを実行して、それぞれの機械学習モデル出力を生成することと、
生成された前記機械学習モデル(414)出力を提供して、前記GUI(200,400)に表示することとをさらに備える、請求項1~8のいずれか1項に記載の方法(500)。
【請求項10】
データセットの選択を受信することは、サンプルデータセットの選択を受信すること、または、前記ユーザによってインポートされるデータセットの選択を受信することを含む、請求項9に記載の方法(500)。
【請求項11】
前記GUI(200,400)を介して、前記データセットを用いて、前記機械学習モデル(414)を表す生成された前記ファイルを実行する要求を受信することは、前記GUI(200,400)を介して、実行ボタン(220)のユーザ選択を受信することを含み、機械学習モデル入力データセットが選択されると、前記実行ボタン(220)が選択のために有効になる、請求項9または10に記載の方法(500)。
【請求項12】
前記機械学習モデル(414)を表す生成された前記ファイルを公開する要求を受信することと、
前記要求を受信することに応答して、前記GUI(200,400)内の新しいアセットとして、生成された前記ファイルを公開することとをさらに備える、請求項1~11のいずれか1項に記載の方法(500)。
【請求項13】
機械学習モデル(414)を生成するために提供される前記GUI(200,400)は、ドラッグ・アンド・ドロップインターフェイスを含み、前記GUI(200,400)は、
前記ユーザ選択可能ボタン(402、208)の第1または第2のセットの検索可能リストと、
編集領域(210)とを含み、
ユーザは、前記ユーザ選択可能ボタン(402~c)の第1のセットまたは前記ユーザ選択可能ボタン(208)の第2のセットから前記編集領域(210)へのドラッグ・アンド・ドロップユーザ選択可能ボタンを選択して、機械学習モデル(414)を定義することが可能である、請求項1~12のいずれか1項に記載の方法(500)。
【請求項14】
使用頻度の高いタイプの機械学習サブルーチン(310)または機械学習ルーチン(308)は、使用頻度の低い機械学習サブルーチン(310)または機械学習ルーチン(308)よりも高くリストされる、請求項13に記載の方法(500)。
【請求項15】
前記編集領域(210)は、ユーザ選択可能ボタン(402,208)を選択し、かつ、前記編集領域(210)にドラッグ・アンド・ドロップして機械学習モデル(414)を定義するときに、ユーザを支援するためのテンプレートグラフを含む、請求項13または14に記載の方法(500)。
【請求項16】
機械学習モデル(414)を生成するために提供される前記GUI(200,400)は、機械学習モデル生成タブ(218a)と、機械学習モデル公開タブ(218b)と、機械学習モデルバージョンタブ(218d)とを含む複数のユーザ選択可能タブ(218a~c)を含む、請求項1~15のいずれか1項に記載の方法(500)。
【請求項17】
1つ以上のコンピュータと、前記1つ以上のコンピュータによって実行されると、前記1つ以上のコンピュータに動作を行わせるように動作可能な命令を格納した1つ以上のストレージデバイスとを備えるシステム(100)であって、前記動作は、
機械学習モデル(414)を生成するためのグラフィカルユーザインターフェイス(GUI)(200,400)を提供することと、
前記GUI(200,400)を介して、前記GUI(200,400)に表示されるモードボタン(226)のユーザ選択を受信することとを含み、前記モードボタン(226)は、選択される場合、前記GUI(200,400)に、機械学習ルーチン(308)にそれぞれ対応するユーザ選択可能ボタン(402)の第1のセットを表示させ、選択されない場合、前記GUI(200,400)に、機械学習サブルーチン(310)にそれぞれ対応するユーザ選択可能ボタン(208)の第2のセットを表示させ、機械学習ルーチン(308)は、それぞれの複数の接続された機械学習サブルーチン(310)を含み、前記動作はさらに、
前記モードボタン(226)の前記ユーザ選択を受信することに応答して、前記GUI(200,400)に、前記ユーザ選択可能ボタン(402)の第1のセットを表示することと、
前記GUI(200,400)を介して、前記ユーザ選択可能ボタン(402)の第1のセットのうちの1つ以上のユーザ選択を受信することと、
前記GUI(200,400)に、前記ユーザ選択可能ボタン(402)の第1のセットのうちの前記1つ以上の前記ユーザ選択に対応する1つ以上の機械学習ルーチン(308)で定義された機械学習モデル(414)のグラフィカルな表現を表示することと、
前記機械学習モデル(414)を表すファイルを生成することとを含む、システム。
【請求項18】
前記機械学習サブルーチン(310)は、データフォーマットアルゴリズム;データ分割アルゴリズム;特徴選択アルゴリズム;機械学習訓練アルゴリズム、機械学習評価アルゴリズム、または統計アルゴリズムを含む、請求項17に記載のシステム(100)。
【請求項19】
前記ユーザ選択可能ボタン(402)の第1のセット内の前記ユーザ選択可能ボタンの各々はラップファイル(304)を表し、前記ラップファイル(304)は、機械学習ルーチン(308)に対応し、かつ、それぞれの複数の接続された機械学習サブルーチン(310)を含む、請求項17または18に記載のシステム(100)。
【請求項20】
1つ以上のコンピュータによって実行されると、前記1つ以上のコンピュータに動作を行わせ
るコンピュータ
プログラムであり、前記動作は、
機械学習モデル(414)を生成するためのグラフィカルユーザインターフェイス(GUI)(200,400)を提供することと、
前記GUI(200,400)を介して、前記GUI(200,400)に表示されるモードボタン(226)のユーザ選択を受信することとを含み、前記モードボタン(226)は、選択される場合、前記GUI(200,400)に、機械学習ルーチン(308)にそれぞれ対応するユーザ選択可能ボタン(402)の第1のセットを表示させ、選択されない場合、前記GUI(200,400)に、機械学習サブルーチン(310)にそれぞれ対応するユーザ選択可能ボタン(208)の第2のセットを表示させ、機械学習ルーチン(308)は、それぞれの複数の接続された機械学習サブルーチン(310)を含み、前記動作はさらに、
前記モードボタン(226)の前記ユーザ選択を受信することに応答して、前記GUI(200,400)に、前記ユーザ選択可能ボタン(402)の第1のセットを表示することと、
前記GUI(200,400)を介して、前記ユーザ選択可能ボタン(402)の第1のセットのうちの1つ以上のユーザ選択を受信することと、
前記GUI(200,400)に、前記ユーザ選択可能ボタン(402)の第1のセットのうちの前記1つ以上の前記ユーザ選択に対応する1つ以上の機械学習ルーチン(308)で定義される機械学習モデル(414)のグラフィカルな表現を表示することと、
前記機械学習モデル(414)を表すファイルを生成することとを含む、コンピュータ
プログラム。
【国際調査報告】