特開 2024-115446 情報処理方法、プログラム、及び情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024115446

(43)【公開日】2024-08-26

(54)【発明の名称】情報処理方法、プログラム、及び情報処理装置

(51)【国際特許分類】

   G06F 9/50 20060101AFI20240819BHJP

   G06F 9/455 20180101ALI20240819BHJP

【ＦＩ】

G06F9/50 120A

G06F9/455 150

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023021149

(22)【出願日】2023-02-14

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和４年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進事業ＣＲＥＳＴ「イノベーション創発に資する人工知能基盤技術の創出と統合化」委託研究、研究題目名：「データ処理とペルソナマッチング・行動予測転移」、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】599108264

【氏名又は名称】株式会社ＫＤＤＩ総合研究所

(74)【代理人】

【識別番号】110004222

【氏名又は名称】弁理士法人創光国際特許事務所

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】斉藤 和広

(72)【発明者】

【氏名】米川 慧

(57)【要約】

【課題】パイプライン処理に要する計算リソースを有効に活用する。
【解決手段】取得部１２０は、パイプライン処理の処理順序と、各コンポーネントを実行するための仮想環境となるコンテナを規定するパラメータとを定義する設定ファイルを取得する。生成部１２１は、設定ファイルに定義されたパイプラインの処理の順序に沿って、パラメータに基づいてコンテナを生成する。ここで、設定ファイルに定義される各コンポーネントは、当該コンポーネントの下流側に隣接する隣接コンポーネントのコンテナの計算リソースを算出し、設定ファイルにおいて隣接コンポーネントのコンテナの計算リソースを規定するパラメータを書き換えるように定義されている。生成部１２１は、パイプラインの処理における上流側のコンポーネントを実行するコンテナによって書き換えられた設定ファイルに基づいて、隣接コンポーネントを実行するためのコンテナを生成する。
【選択図】図２

【特許請求の範囲】

【請求項1】

プロセッサが、
パイプライン処理の処理順序と、前記パイプライン処理を構成する各コンポーネントを実行するための仮想環境となるコンテナを規定するパラメータとを定義する設定ファイルを取得するステップと、
前記設定ファイルに定義されたパイプライン処理の順序に沿って、前記パラメータに基づいてコンテナを生成するステップと、
生成された前記コンテナによって実行されるコンポーネントの出力のデータサイズに基づいて、当該コンポーネントの下流側に隣接する隣接コンポーネントのコンテナに割り当てる計算リソースを算出するステップと、
前記設定ファイルにおいて前記隣接コンポーネントのコンテナに割り当てる計算リソースを規定するパラメータを書き換えるステップと、
パラメータが書き換えられた設定ファイルに基づいて、前記隣接コンポーネントを実行するためのコンテナを生成するステップと、を実行する、
情報処理方法。

【請求項2】

前記設定ファイルに定義される各コンポーネントは、当該コンポーネントの出力のデータサイズに基づいて、当該コンポーネントの下流側に隣接する隣接コンポーネントのコンテナに割り当てる計算リソースを算出し、前記設定ファイルにおいて前記隣接コンポーネントのコンテナに割り当てる計算リソースを規定するパラメータを書き換えるように定義されている、
請求項１に記載の情報処理方法。

【請求項3】

前記プロセッサが、
パラメータが書き換えられた前記設定ファイルに基づいて生成された前記コンテナによって実行されるコンポーネントの出力のデータサイズに基づいて、当該コンポーネントの下流側に隣接する隣接コンポーネントのコンテナに割り当てる計算リソースを算出するステップと、
前記設定ファイルにおいて前記隣接コンポーネントのコンテナに割り当てる計算リソースを規定するパラメータを書き換えるステップと、をさらに実行する、
請求項１に記載の情報処理方法。

【請求項4】

前記パイプライン処理は転移学習を実行するための処理であり、少なくとも（１）ターゲットデータの表現学習モデルを生成するためのコンポーネント、（２）ソースデータの表現学習モデルを生成するためのコンポーネント、（３）表現変換モデルを生成するためのコンポーネント、（４）ドメイン適応処理のためのコンポーネント、及び（５）タスクの機械学習モデルを生成するためのコンポーネントを含む、
請求項１から３のいずれか１項に記載の情報処理方法。

【請求項5】

前記計算リソースは、コンテナに割り当てるメモリとコンテナに割り当てるプロセッサのコア数との少なくともいずれかを含む、
請求項１から３のいずれか１項に記載の情報処理方法。

【請求項6】

コンピュータに、
パイプライン処理の処理順序と、前記パイプライン処理を構成する各コンポーネントを実行するための仮想環境となるコンテナを規定するパラメータとを定義する設定ファイルを取得する機能と、
前記設定ファイルに定義されたパイプライン処理の順序に沿って、前記パラメータに基づいて前記コンテナを生成する機能と、
生成されたコンテナによって実行されるコンポーネントの出力のデータサイズに基づいて、当該コンポーネントの下流側に隣接する隣接コンポーネントのコンテナに割り当てる計算リソースを算出する機能と、
前記設定ファイルにおいて前記隣接コンポーネントのコンテナに割り当てる計算リソースを規定するパラメータを書き換える機能と、
パラメータが書き換えられた設定ファイルに基づいて、前記隣接コンポーネントを実行するためのコンテナを生成する機能と、を実現させる、
プログラム。

【請求項7】

パイプライン処理の処理順序と、各コンポーネントを実行するための仮想環境となるコンテナを規定するパラメータとを定義する設定ファイルを取得する取得部と、
前記設定ファイルに定義されたパイプラインの処理の順序に沿って、前記パラメータに基づいて前記コンテナを生成する生成部と、を備え、
前記設定ファイルに定義される各コンポーネントは、当該コンポーネントの出力のデータサイズに基づいて、当該コンポーネントの下流側に隣接する隣接コンポーネントのコンテナに割り当てる計算リソースを算出し、前記設定ファイルにおいて前記隣接コンポーネントのコンテナに割り当てる計算リソースを規定するパラメータを書き換えるように定義されており、
前記生成部は、前記パイプラインの処理における上流側のコンポーネントを実行するコンテナによって書き換えられた前記設定ファイルに基づいて、前記隣接コンポーネントを実行するためのコンテナを生成する、
情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は情報処理方法、プログラム、及び情報処理装置に関し、特にコンテナ仮想化技術を用いたパイプライン処理を管理する技術に関する。

【背景技術】

【0002】

コンピュータを用いた計算処理の手法として、処理の要素を直列に配列し、ある要素の出力が下流側に隣接する次の要素の入力となるようにして順次処理させる「パイプライン処理」が知られている。特許文献１には、１つの機械学習（Machine Learning；ＭＬ）モデルを対象として、データ加工のパイプラインを選択する手法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－８７８４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

機械学習手法のうち、特に転移学習をパイプライン処理で実装するためには、複数のＭＬモデルを作成して連携する必要があり、処理の流れが複雑となる。このため、転移学習を従来のパイプライン処理で実装しようとすると、処理すべきデータ量の最大値を想定した計算リソースを常に確保しなくてはならず、計算リソースを有効に利用できない。

【0005】

本発明はこれらの点に鑑みてなされたものであり、パイプライン処理に要する計算リソースを有効に活用するための技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様は、情報処理方法である。この方法において、プロセッサが、パイプライン処理の処理順序と、前記パイプライン処理を構成する各コンポーネントを実行するための仮想環境となるコンテナを規定するパラメータとを定義する設定ファイルを取得するステップと、前記設定ファイルに定義されたパイプライン処理の順序に沿って、前記パラメータに基づいてコンテナを生成するステップと、生成された前記コンテナによって実行されるコンポーネントの出力のデータサイズに基づいて、当該コンポーネントの下流側に隣接する隣接コンポーネントのコンテナに割り当てる計算リソースを算出するステップと、前記設定ファイルにおいて前記隣接コンポーネントのコンテナに割り当てる計算リソースを規定するパラメータを書き換えるステップと、パラメータが書き換えられた設定ファイルに基づいて、前記隣接コンポーネントを実行するためのコンテナを生成するステップと、を実行する。

【0007】

前記設定ファイルに定義される各コンポーネントは、当該コンポーネントの出力のデータサイズに基づいて、当該コンポーネントの下流側に隣接する隣接コンポーネントのコンテナに割り当てる計算リソースを算出し、前記設定ファイルにおいて前記隣接コンポーネントのコンテナに割り当てる計算リソースを規定するパラメータを書き換えるように定義されていてもよい。

【0008】

前記情報処理方法において、前記プロセッサが、パラメータが書き換えられた前記設定ファイルに基づいて生成された前記コンテナによって実行されるコンポーネントの出力のデータサイズに基づいて、当該コンポーネントの下流側に隣接する隣接コンポーネントのコンテナに割り当てる計算リソースを算出するステップと、前記設定ファイルにおいて前記隣接コンポーネントのコンテナに割り当てる計算リソースを規定するパラメータを書き換えるステップと、をさらに実行してもよい。

【0009】

前記パイプライン処理は転移学習を実行するための処理であってもよく、少なくとも（１）ターゲットデータの表現学習モデルを生成するためのコンポーネント、（２）ソースデータの表現学習モデルを生成するためのコンポーネント、（３）表現変換モデルを生成するためのコンポーネント、（４）ドメイン適応処理のためのコンポーネント、及び（５）タスクの機械学習モデルを生成するためのコンポーネントを含んでもよい。

【0010】

前記計算リソースは、コンテナに割り当てるメモリとコンテナに割り当てるプロセッサのコア数と、の少なくともいずれかを含んでもよい。

【0011】

本発明の第２の態様は、プログラムである。このプログラムは、コンピュータに、パイプライン処理の処理順序と、前記パイプライン処理を構成する各コンポーネントを実行するための仮想環境となるコンテナを規定するパラメータとを定義する設定ファイルを取得する機能と、前記設定ファイルに定義されたパイプライン処理の順序に沿って、前記パラメータに基づいて前記コンテナを生成する機能と、生成されたコンテナによって実行されるコンポーネントの出力のデータサイズに基づいて、当該コンポーネントの下流側に隣接する隣接コンポーネントのコンテナに割り当てる計算リソースを算出する機能と、前記設定ファイルにおいて前記隣接コンポーネントのコンテナに割り当てる計算リソースを規定するパラメータを書き換える機能と、パラメータが書き換えられた設定ファイルに基づいて、前記隣接コンポーネントを実行するためのコンテナを生成する機能と、を実現させる。

【0012】

このプログラムを提供するため、あるいはプログラムの一部をアップデートするために、このプログラムを記録したコンピュータ読み取り可能な記録媒体が提供されてもよく、また、このプログラムが通信回線で伝送されてもよい。

【0013】

本発明の第３の態様は、情報処理装置である。この装置は、パイプライン処理の処理順序と、各コンポーネントを実行するための仮想環境となるコンテナを規定するパラメータとを定義する設定ファイルを取得する取得部と、前記設定ファイルに定義されたパイプラインの処理の順序に沿って、前記パラメータに基づいて前記コンテナを生成する生成部と、を備える。ここで、前記設定ファイルに定義される各コンポーネントは、当該コンポーネントの出力のデータサイズに基づいて、当該コンポーネントの下流側に隣接する隣接コンポーネントのコンテナに割り当てる計算リソースを算出し、前記設定ファイルにおいて前記隣接コンポーネントのコンテナに割り当てる計算リソースを規定するパラメータを書き換えるように定義されており、前記生成部は、前記パイプラインの処理における上流側のコンポーネントを実行するコンテナによって書き換えられた前記設定ファイルに基づいて、前記隣接コンポーネントを実行するためのコンテナを生成する。

【0014】

なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0015】

本発明によれば、パイプライン処理に要する計算リソースを有効に活用することができる。

【図面の簡単な説明】

【0016】

【図1】コンテナ仮想化を説明するための図である。

【図2】実施の形態に係る情報処理装置が実行するパイプライン処理の概要を説明するための模式図である。

【図3】設定ファイルに規定されているパイプライン処理の一例を模式的に示す図である。

【図4】各コンテナによって実行されるコンポーネントの機能構成を模式的に示す図である。

【図5】実施の形態に係る情報処理装置が実行する情報処理の流れを説明するためのフローチャートである。

【図6】転移学習に適用したパイプライン処理を示す図である。

【発明を実施するための形態】

【0017】

＜実施の形態の前提となる技術＞
図１は、コンテナ仮想化を説明するための図である。以下、図１を参照しながら、実施の形態に係る情報処理装置１における処理の前提となるコンテナ仮想化技術について簡単に説明する。

【0018】

情報処理装置１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）、揮発性メモリ及び不揮発性メモリを含む記憶装置を持つハードウェアであり、具体的にはブレードサーバやクラウドサーバである。

【0019】

実施の形態に係る情報処理装置１は、コンテナ仮想化技術を用いてパイプライン処理を実行する。コンテナ仮想化技術は、仮想的な計算環境を構築するための仮想化技術の一種である。仮想化技術は、サーバ等の物理的な計算リソースを抽象化し、計算リソースを分割して運用するための技術である。ここで、「計算リソース」は、仮想的な計算環境に割り当てるメモリと仮想的な計算環境に割り当てるプロセッサのコア数との少なくともいずれかを含んでいる。これに加えて、計算リソースは、仮想的な計算環境に割り当てるＧＰＵ等のコプロセッサ数を含んでもよい。

【0020】

コンテナ仮想化技術とは異なる従来の仮想化技術は、物理サーバ上でゲストオペレーティングシステム（Operating System）を起動し、ゲストオペレーティングシステム上で処理を実行させる技術である。従来の仮想化技術においては、物理的なサーバ上に複数のゲストオペレーティングシステムを起動させることにより、一つの物理サーバ上に複数の仮想的な計算環境を構築している。

【0021】

これに対し、コンテナ仮想化技術においては、物理サーバ上で動作するホストオペレーティングシステムにインストールされた「コンテナエンジン」が、「コンテナ」と呼ばれる独立した計算実行環境を構築し、アプリケーションを実行する。物理サーバ上に複数の仮想的な計算実行環境を構築する点ではコンテナ仮想化技術も従来の仮想化技術と同様である。ただし、コンテナ仮想化技術において構築される仮想的な計算環境であるコンテナは、ゲストオペレーティングシステムを必要としない点で、従来の仮想化技術と異なる。

【0022】

図１に示す例では、情報処理装置１は複数の物理サーバから構成されるクラウドサーバである。図１に示すように、情報処理装置１上にホストオペレーティングシステムＯが動作しており、ホストオペレーティングシステム上でコンテナエンジンＶが動作している。コンテナエンジンＶは、あらかじめ定められたコンテナを管理するための設定ファイルに基づいて１又は複数のコンテナＣを生成し、各コンテナＣにおいてアプリケーションを動作させる。図１では、コンテナエンジンＶは第１コンテナＣ１から第ＮコンテナＣｎまでのＮ個（Ｎは自然数）のコンテナＣを管理していることを示している。

【0023】

従来の仮想化技術においては一つの仮想環境毎にゲストＯＳを起動させることになるため起動が遅くなり、動作させるための計算リソースも多く必要となる。一方、コンテナ仮想化技術ではコンテナをホストオペレーティングシステムＯが直接起動するためゲストオペレーティングシステムが不要となり、ゲストオペレーティングシステムの起動時間やゲストオペレーティングシステムを動作させるために必要な計算リソースも不要となる。図１においてコンテナエンジンＶとコンテナＣとが仮想的な計算環境を実現している仮想化レイヤとなるが、コンテナ仮想化技術においては仮想化レイヤにゲストオペレーティングシステムが存在しない。これにより、コンテナ仮想化技術は、従来の仮想化技術よりも情報処理装置１の計算リソースを有効に活用することができる。

【0024】

＜実施の形態の概要＞
以上を前提として、実施の形態の概要を述べる。実施の形態に係る情報処理装置１は、入力データ、入力データに対する処理（アプリケーションプログラムが実行）、及び処理結果である出力データの出力を処理単位（以下、「コンポーネント」と記載する。）として、コンポーネントをパイプライン処理の構成要素に割り当てて計算を実行させる。既知のように、パイプライン処理は、少なくとも二つの異なるコンポーネントが直列に連結されており、上流側のコンポーネントの出力データが、下流側に隣接するコンポーネント（以下、「隣接コンポーネント」と記載する。）の入力データとなる処理である。実施の形態に係る情報処理装置１は、パイプライン処理を構成する各コンポーネントをコンテナＣに割り当て、各コンポーネントをコンテナＣのアプリケーションとして実行する。

【0025】

ここで、実施の形態に係る情報処理装置１においては、各コンテナＣが実行するコンポーネントが自身の出力データに基づいて、隣接コンテナに割り当てるべき計算リソースを算出するように構成されている。実施の形態に係る情報処理装置１は、算出された計算リソースに基づいて隣接コンポーネントのコンテナを生成する。

【0026】

このように、実施の形態に係る情報処理装置１は、各コンテナにおいて実行されるコンポーネントが計算によって隣接コンテナの計算リソースを算出するため隣接コンテナの計算リソースを動的に変更しながらパイプライン処理を実行する。このため、処理すべきデータ量の最大値を想定してあらかじめ計算リソースを多めに確保する必要がなくなり、計算リソースを適応的に変更しながら活用できる。さらに、実施の形態に係る情報処理装置１はゲストオペレーティングシステムに起因するオーバーヘッドが少ないコンテナ仮想化技術によってパイプライン処理を実行する。これにより、実施の形態に係る情報処理装置１は、パイプライン処理に要する計算リソースを有効に活用することができる。

【0027】

＜実施の形態に係る情報処理装置１の機能構成＞
図２は、実施の形態に係る情報処理装置１の機能構成を模式的に示す図である。情報処理装置１は、記憶部１０、通信部１１、及び制御部１２を備える。図２において、矢印は主なデータの流れを示しており、図２に示していないデータの流れがあってもよい。図２において、各機能ブロックはハードウェア（装置）単位の構成ではなく、機能単位の構成を示している。そのため、図２に示す機能ブロックは単一の装置内に実装されてもよく、あるいは複数の装置内に分かれて実装されてもよい。機能ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてもよい。

【0028】

記憶部１０は、情報処理装置１を実現するコンピュータのＢＩＯＳ（Basic Input Output System）等を格納するＲＯＭ（Read Only Memory）や情報処理装置１の作業領域となるＲＡＭ（Random Access Memory）、オペレーティングシステムやコンテナエンジンＶ等のアプリケーションプログラム、当該アプリケーションプログラムの実行時に参照される設定ファイル等の種々の情報を格納するＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の大容量記憶装置である。

【0029】

通信部１１は、情報処理装置１が外部の装置と通信するための通信インターフェースであり、ＬＡＮ（Local Area Network）モジュールやＷｉ-Ｆｉ（登録商標）モジュール等の既知の通信モジュールで実現されている。以下、本明細書において、情報処理装置１が外部の装置と通信するときは通信部１１を介することを前提として通信部１１の記載を省略することがある。

【0030】

制御部１２は、情報処理装置１のＣＰＵやＧＰＵ等のプロセッサであり、記憶部１０に記憶されたプログラムを実行することによって取得部１２０及び生成部１２１として機能する。

【0031】

なお、図２は、情報処理装置１が単一の装置で構成されている場合の例を示している。しかしながら、図１を参照して上述したように、情報処理装置１は、例えばクラウドコンピューティングシステムのように複数のプロセッサやメモリ等の計算リソースによって実現されてもよい。

【0032】

取得部１２０は、パイプライン処理の処理順序と、そのパイプライン処理を構成する各コンポーネントを実行するための仮想環境となるコンテナを規定するパラメータとを定義する設定ファイルを記憶部１０から読み出して取得する。

【0033】

図３は、設定ファイルに規定されているパイプライン処理の一例を模式的に示す図である。以下、図２、図３、及び後述する図４を参照して、実施の形態に係る情報処理装置１が実行するコンテナ仮想化技術を用いたパイプライン処理を説明する。

【0034】

図３は、図３における横方向に流れる３本のパイプラインと、縦方向に流れる１本のパイプラインとから構成されるパイプライン処理を図示している。具体的には、図３に示されるパイプライン処理は、第１－１処理と第１－２処理とを含むパイプラインと、第２－１処理と第２－２処理とを含むパイプラインと、第３処理を含むパイプラインと、第４処理及び第５処理を含むパイプラインとを含んでいる。ここで、第１－１処理は第１入力データを入力データとし、第１－１中間データを出力データとする。また、第１－２処理は第１－１中間データを入力データとし、第１－２中間データを出力データとする。

【0035】

また、第２－１処理は第２入力データを入力データとし、第２－１中間データを出力データとする。同様に、第２－２処理は第２－１中間データを入力データとし、第２－２中間データを出力データとする。第３処理は、第１－２中間データと第２－２中間データとの両方を入力データとし、第３中間データを出力データとする。

【0036】

さらに、第４処理は第３中間データを入力データとして第４中間データを出力データとする。第５処理は第４中間データを入力データとして、本パイプラインの最終的な出力データである最終出力データを出力する。すなわち、図３に示すパイプライン処理は、第１入力データと第２入力データとに基づいて、最終出力データを出力することを目的とする処理ととらえることもできる。ただし、図３に示すパイプライン処理において、処理の途中で複数の中間データが生成され、各中間データを生成するために複数の処理が実行される。中間データは記憶部１０に記憶され、事後的に利用されることもある。

【0037】

取得部１２０が取得した設定ファイルには、パイプライン処理を構成する各コンポーネントを実行するための仮想環境となるコンテナＣを規定する各種パラメータが定義されている。このパラメータは、コンテナＣに割り当てる計算リソースの初期設定値と、コンテナＣにおいて実行されるプログラムやその実行条件と、コンテナＣ自体の起動条件（例えば、コンテナＣの設定値や初期インストールライブラリ等）とを規定するためのパラメータを含んでいる。

【0038】

図３に示す例では、第１コンテナＣ１には、第１入力データを入力データとして第１－１中間データを出力する第１－１処理を実行するコンポーネントが割り当てられている。同様に、第２コンテナＣ２には、第２入力データを入力データとして第２－１中間データを出力する第２－１処理を実行するコンポーネントが割り当てられている。以下同様であり、例えば、第７コンテナＣ７には、第４中間データを入力データとして最終出力データを出力する第５処理を実行するコンポーネントが割り当てられている。

【0039】

生成部１２１はコンテナエンジンＶとして機能し、具体的には取得部１２０が取得した設定ファイルに定義されたパイプライン処理の順序に沿って、パラメータに基づいてコンテナを生成する。図３に示すパイプライン処理の例では、生成部１２１は、まず、情報処理装置１の計算リソースを用いて第１コンテナＣ１を生成する。図３に示すように、第１－１処理と第２－１処理とは独立しており、互いの処理を待たずに個別に処理を実行することができる。そこで、生成部１２１は、情報処理装置１の計算リソースに余裕がある場合、第２コンテナＣ２も生成する。

【0040】

第１コンテナＣ１によって実行される第１－１処理の出力である第１－１中間データは、第３コンテナＣ３によって実行される第１－２処理の入力となる。このため、第１－１中間データのデータサイズは、第３コンテナＣ３を生成するために割り当てる情報処理装置１の計算リソースを決定するための情報となる。例えば、第１－１中間データのデータサイズが大きい場合、第１－１中間データを格納するために必要なメモリのサイズが大きくなる。

【0041】

図４は、各コンテナＣによって実行されるコンポーネントの機能構成を模式的に示す図である。各コンテナＣは、それぞれ処理実行部１００、算出部１０１、及び書換部１０２を備えている。より具体的には、設定ファイルに各コンテナＣで実行されるコンポーネントが定義されており、情報処理装置１の計算リソースを用いて構築された仮想的な計算環境で実行されるコンピュータプログラムによって、処理実行部１００、算出部１０１、及び書換部１０２が実現される。

【0042】

処理実行部１００は、各コンテナＣが担う処理の本体を実行する。図３に示す例において、第１コンテナＣ１における処理実行部１００は、第１入力データに基づいて第１－１処理を実行し、第１－１中間データを生成する。同様に、例えば第３コンテナＣ３における処理実行部１００は、第１－２中間データと第２－２中間データとに基づいて第３処理を実行し、第３中間データを生成する。

【0043】

算出部１０１は、コンテナＣによって実行されるコンポーネントの出力のデータサイズ、すなわち、処理実行部１００が生成した出力データのデータサイズに基づいて、そのコンポーネントの下流側に隣接する隣接コンポーネントのコンテナに割り当てる計算リソースを算出する。例えば、第１コンテナＣ１における算出部１０１は、第１－１中間データのデータサイズに基づいて、隣接コンポーネントのコンテナＣである第３コンテナＣ３に割り当てる計算リソースを算出する。

【0044】

書換部１０２は、取得部１２０が記憶部１０から読み出して情報処理装置１のメインメモリに格納した設定ファイルにおいて、隣接コンポーネントのコンテナに割り当てる計算リソースを規定するパラメータを書き換える。書換部１０２が設定ファイルを書き換えると、コンテナＣにおいて実行されるコンポーネントの処理は終了する。

【0045】

生成部１２１は、あるコンテナＣの処理が終了すると、書換部１０２によってパラメータが書き換えられた設定ファイルに基づいて、隣接コンポーネントを実行するためのコンテナＣを生成する。生成部１２１は、設定ファイルに規定されているパイプライン処理が終了するまで、コンテナＣの生成を繰り返す。このように、実施の形態に係る情報処理装置１は、各コンテナＣが隣接コンテナの計算リソースを算出するため隣接コンテナの計算リソースを動的に変更しながらパイプライン処理を実行するので、上流のコンポーネントの処理結果に応じて計算リソースを確保でき、計算リソースを有効に活用することができる。

【0046】

上述したように、実施の形態に係る設定ファイルは、パイプライン処理を構成する各コンポーネントを実行するための仮想環境となるコンテナＣを規定する各種パラメータを定義している。このため、コンポーネントの出力のデータサイズに基づいてそのコンポーネントの下流側に隣接する隣接コンポーネントのコンテナに割り当てる計算リソースを算出する算出部１０１と、設定ファイルにおいて隣接コンポーネントのコンテナに割り当てる計算リソースを規定するパラメータを書き換える書換部１０２も、設定ファイルに定義されている。設定ファイルが処理実行部１００に加えて算出部１０１と書換部１０２とも定義することで、実施の形態に係る情報処理装置１は、隣接コンテナの計算リソースを動的に変更しながらパイプライン処理を実行することができる。

【0047】

隣接コンポーネントにおける算出部１０１は、パラメータが書き換えられた設定ファイルに基づいて生成部１２１が生成したコンテナＣによって実行されるコンポーネントの出力のデータサイズに基づいて、隣接コンポーネントのさらに下流側に隣接する隣接コンポーネント（以下、便宜上「隣接隣接コンポーネント」と記載する。）のコンテナに割り当てる計算リソースを算出する。また、隣接コンポーネントにおける書換部１０２は、設定ファイルにおいて隣接隣接コンポーネントのコンテナに割り当てる計算リソースを規定するパラメータを書き換える。

【0048】

このように、実施の形態に係る情報処理装置１が実行するパイプライン処理では、あるコンポーネントが隣接コンポーネントを生成するための設定ファイルを書き換え、隣接コンポーネントが隣接隣接コンポーネントを生成するための設定ファイルを書き換えることで、各コンポーネントの処理結果を次のコンポーネントを実行するためのコンテナＣに割り当てる計算リソースの決定に反映させることができる。

【0049】

＜情報処理装置１が実行する情報処理方法の処理フロー＞
図５は、実施の形態に係る情報処理装置１が実行する情報処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば情報処理装置１が起動したときに開始する。

【0050】

取得部１２０は、パイプライン処理の処理順序と、パイプライン処理を構成する各コンポーネントを実行するための仮想環境となるコンテナＣを規定するパラメータとを定義する設定ファイルを取得する（Ｓ２）。生成部１２１は、設定ファイルに定義されたパイプライン処理のパラメータに基づいてコンテナＣを生成する（Ｓ４）。

【0051】

コンテナＣにおける処理実行部１００は、コンポーネントのメインタスクを実行する（Ｓ６）。パイプライン処理を構成する各コンポーネントの処理が終了するまでの間（Ｓ８のＮｏ）、コンテナＣにおける算出部１０１は、処理実行部１００の出力データに基づいて、隣接コンポーネントのコンテナＣに割り当てる計算リソースを算出する（Ｓ１０）。コンテナＣにおける書換部１０２は、設定ファイルにおける隣接コンポーネントのコンテナＣに割り当てる計算リソースを定義するパラメータが、算出部１０１が算出した計算リソースとなるように設定ファイルを書き換える（Ｓ１２）。

【0052】

書換部１０２が設定ファイルを書き換えると、本フローチャートにおける処理はステップＳ４に戻って処理を継続する。パイプライン処理を構成する各コンポーネントの処理が終了すると（Ｓ８のＹｅｓ）、本フローチャートにおける処理は終了する。

【0053】

＜実施の形態に係る情報処理装置１の利用シーン＞
以上、隣接コンポーネントのコンテナＣの計算リソースを動的に割り当てながらパイプライン処理を実行する手法について説明した。続いて、実施の形態に係る情報処理装置１が実行するパイプライン処理の利用シーンの一例を説明する。

【0054】

実施の形態に係る情報処理装置１が実行するパイプライン処理は、例えば、転移学習の実行に利用される。転移学習は、学習対象のドメインとは異なるドメインのデータを活用するための機械学習手法である。

【0055】

図６は、転移学習に適用したパイプライン処理を示す図である。図６に示す例は、ソースドメインのデータであるソースデータから得られた知識を、ターゲットドメインのデータであるターゲットデータに適応して機械学習を行い、機械学習モデル（ＭＬモデル）を生成することを目的とする転移学習である。限定はしないが、例えば、ソースデータはユーザ属性が既知であるユーザ群のウェブ閲覧履歴であり、ターゲットデータは別のユーザ群の購買情報（どのような属性のユーザが何を購入したか）である。

【0056】

図６において、第１コンテナＣ１は、生データであるターゲットデータに対しデータクレンジングや不要な情報の削除、データ形式の変更等のターゲット加工処理を実行する。第２コンテナＣ２は、ソースデータに対しデータクレンジングや不要な情報の削除、データ形式の変更等のソース加工処理を実行する。

【0057】

第３コンテナＣ３は、ターゲット加工処理によって加工されたターゲットデータに対してターゲットドメインの表現学習（Representation Learning；ＲＬ）を実行し、ターゲットデータの表現学習モデルを生成するためのコンポーネントのためのコンテナＣである。ターゲット加工処理によって加工されたターゲットデータが行列である場合の一例として、ターゲットドメインの表現学習は既知の非負値行列因子分解（Non-negative Matrix Factorization；ＮＭＦ）である。同様に、第４コンテナＣ４は、ソース加工処理によって加工されたソースデータに対してソースドメインの表現学習を実行し、ソースデータの表現学習モデルを生成するためのコンポーネントのためのコンテナＣである。ソースドメインの表現学習も、既知のＮＭＦによって実現できる。

【0058】

第５コンテナＣ５は、第３コンテナＣ３及び第４コンテナＣ４の出力データに対して表現変換（Representation Transformation；ＲＴ）処理を実行し、表現変換モデルを生成するためのコンポーネントのためのコンテナＣである。ターゲットドメインの表現学習及びソースドメインの表現学習にＮＭＦが用いられた場合の一例として、表現変換は既知の行列分解によるドメイン適用（ＨｅＭａｐ）によって実現できる。

【0059】

第６コンテナＣ６は、ＲＴ処理の処理結果に対してドメイン適応（Domain Adaptation；ＤＡ）処理を実行するためのコンポーネントのコンテナＣである。ＤＡ処理は、例えば既知の事例選択によるドメイン適応（ＨＥＧＳ）によって実現できる。第７コンテナＣ７は、タスクの機械学習を実行し、タスクの機械学習モデルを生成するためのコンポーネントのコンテナＣである。タスクの機械学習は、例えば既知のロジスティクス回帰（Logistic Regression）によって実現できる。

【0060】

転移学習において、各コンテナＣに要求される計算リソースは学習用に用意されたターゲットデータやソースデータによって異なる。各コンテナＣは、自身が出力した中間データのデータサイズを隣接コンポーネントが格納できるように、中間データサイズ以上のメモリを確保できるように設定ファイルを書き換える。これにより、実施の形態に係る情報処理装置１は、転移学習をパイプライン処理する際に処理の進行に応じて動的に計算リソースを確保できるので、計算リソースを効率よく使用しながら転移学習を実行できる。

【0061】

＜実施の形態に係る情報処理装置１が奏する効果＞
以上説明したように、実施の形態に係る情報処理装置１によれば、パイプライン処理に要する計算リソースを有効に活用することができる。

【0062】

なお、本発明により、国連が主導する持続可能な開発目標（SDGs）の目標９「産業と技術革新の基盤をつくろう」に貢献することが可能となる。

【0063】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果をあわせ持つ。

【符号の説明】

【0064】

１・・・情報処理装置
１０・・・記憶部
１１・・・通信部
１２・・・制御部
１２０・・・取得部
１２１・・・生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】