知財求人 - 知財ポータルサイト「IP Force」
特開2023-81542スケジューリング装置、訓練装置、スケジューラ及び生成方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023081542
(43)【公開日】2023-06-13
(54)【発明の名称】スケジューリング装置、訓練装置、スケジューラ及び生成方法
(51)【国際特許分類】
G06F 9/50 20060101AFI20230606BHJP
【ＦＩ】
G06F9/50 150B
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2021195326
(22)【出願日】2021-12-01
(71)【出願人】
【識別番号】515130201
【氏名又は名称】株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】村井 翔悟
(72)【発明者】
【氏名】浜地 慎一郎
(72)【発明者】
【氏名】渡部 源太郎
(72)【発明者】
【氏名】楠本 充
(72)【発明者】
【氏名】福成 理紀
(57)【要約】
【課題】マシンコードが実行される装置の構成に応じたスケジュールを生成する。
【解決手段】第１メモリと第２メモリとを有するチップにおいて実行される計算の計算順序を含む計算のスケジュールを生成するスケジューリング装置であって、１又は複数のメモリと、１又は複数のプロセッサと、を備え、前記１又は複数のプロセッサは、受信した情報に基づいて特定される状態から、前記スケジュールを生成することと、生成したスケジュールに基づいて、前記第２メモリからのデータの転送処理を含む処理の実行に要する時間を算出又は推定することと、を実行し、前記生成することは、前記第２メモリからの前記データの転送処理を、当該データを得る再計算処理に置き換えるよう、前記状態を遷移させることを含む。
【選択図】図４
【解決手段】第１メモリと第２メモリとを有するチップにおいて実行される計算の計算順序を含む計算のスケジュールを生成するスケジューリング装置であって、１又は複数のメモリと、１又は複数のプロセッサと、を備え、前記１又は複数のプロセッサは、受信した情報に基づいて特定される状態から、前記スケジュールを生成することと、生成したスケジュールに基づいて、前記第２メモリからのデータの転送処理を含む処理の実行に要する時間を算出又は推定することと、を実行し、前記生成することは、前記第２メモリからの前記データの転送処理を、当該データを得る再計算処理に置き換えるよう、前記状態を遷移させることを含む。
【選択図】図４
【特許請求の範囲】
【請求項1】
第１メモリと第２メモリとを有するチップにおいて実行される計算の計算順序を含む計算のスケジュールを生成するスケジューリング装置であって、
１又は複数のメモリと、
１又は複数のプロセッサと、を備え、
前記１又は複数のプロセッサは、
受信した情報に基づいて特定される状態から、前記スケジュールを生成することと、
生成したスケジュールに基づいて、前記第２メモリからのデータの転送処理を含む処理の実行に要する時間を算出又は推定することと、
を実行し、
前記生成することは、前記第２メモリからの前記データの転送処理を、当該データを得る再計算処理に置き換えるよう、前記状態を遷移させることを含む、
スケジューリング装置。
１又は複数のメモリと、
１又は複数のプロセッサと、を備え、
前記１又は複数のプロセッサは、
受信した情報に基づいて特定される状態から、前記スケジュールを生成することと、
生成したスケジュールに基づいて、前記第２メモリからのデータの転送処理を含む処理の実行に要する時間を算出又は推定することと、
を実行し、
前記生成することは、前記第２メモリからの前記データの転送処理を、当該データを得る再計算処理に置き換えるよう、前記状態を遷移させることを含む、
スケジューリング装置。
【請求項2】
前記第２メモリは、第１メモリよりもデータの転送処理にかかる時間が長く、前記データの再計算処理は、前記第１メモリに格納された情報を用いて行う、請求項１に記載のスケジューリング装置。
【請求項3】
前記処理の実行に要する時間の算出又は推定は、ステップ数の算出又は推定に基づいて行う、請求項１又は２に記載のスケジューリング装置。
【請求項4】
前記データが前記第２メモリに格納されている場合であっても、再計算処理に置き換えるよう、前記状態を遷移させる、請求項１乃至３のいずれか１項に記載のスケジューリング装置。
【請求項5】
前記第２メモリからの前記データの転送処理を、再計算処理に置き換えることは、前記算出又は推定されたステップ数に応じて前記状態を遷移させることで行う、請求項１乃至４のいずれか１項に記載のスケジューリング装置。
【請求項6】
前記１又は複数のプロセッサは、
生成したスケジュールに基づいて、前記第２メモリからの前記データの転送処理を含む全ての処理の実行に要する全ステップ数を算出又は推定することと、
前記算出又は推定した全ステップ数が所定の条件を満たすか否かを判定し、所定の条件を満たさないと判定した場合に、前記算出又は推定した全ステップ数に基づき前記状態を遷移させ、遷移後の状態からスケジュールを生成することと、
を前記所定の条件を満たすと判定されるまで繰り返す、請求項１乃至５のいずれか１項に記載のスケジューリング装置。
生成したスケジュールに基づいて、前記第２メモリからの前記データの転送処理を含む全ての処理の実行に要する全ステップ数を算出又は推定することと、
前記算出又は推定した全ステップ数が所定の条件を満たすか否かを判定し、所定の条件を満たさないと判定した場合に、前記算出又は推定した全ステップ数に基づき前記状態を遷移させ、遷移後の状態からスケジュールを生成することと、
を前記所定の条件を満たすと判定されるまで繰り返す、請求項１乃至５のいずれか１項に記載のスケジューリング装置。
【請求項7】
前記所定の条件は、焼きなまし法の繰り返しを所定の回数以上実行した場合に満たすと判定される、請求項６に記載のスケジューリング装置。
【請求項8】
前記状態の遷移は、メタヒューリスティックな手法で行われる、請求項１乃至７のいずれか１項に記載のスケジューリング装置。
【請求項9】
前記メタヒューリスティックな手法は、焼きなまし法である、請求項８に記載のスケジューリング装置。
【請求項10】
前記所定の条件を満たすと判定された際の状態から生成したスケジュールを出力する、請求項７に記載のスケジューリング装置。
【請求項11】
前記生成したスケジュールと前記スケジュールのステップ数とを記憶し、記憶した中で最もステップ数が少ないスケジュールを選択して出力する、請求項８に記載のスケジューリング装置。
【請求項12】
受信した情報に含まれる計算グラフに基づいて状態を特定する、請求項１乃至１１のいずれか１項に記載のスケジューリング装置。
【請求項13】
前記受信した情報は、機械学習にかかる計算に関する情報である、請求項１乃至１２のいずれか１項に記載のスケジューリング装置。
【請求項14】
請求項１乃至１３のいずれか１項に記載のスケジューリング装置により生成されたスケジュールに基づいて、機械学習を実行する、訓練装置。
【請求項15】
チップにおいて実行される計算の計算順序を含む計算のスケジュールを生成するスケジューリング装置の１又は複数のプロセッサに、
受信した情報に基づいて特定される状態から、前記スケジュールを生成することと、
生成したスケジュールに基づいて、前記チップのメモリからのデータの転送処理を含む処理の実行に要する時間を算出又は推定することと、
を実行させるためのスケジューラであって、
前記生成することは、前記メモリからの前記データの転送処理を、当該データを得る再計算処理に置き換えるよう、前記状態を遷移させることを含む、
スケジューラ。
受信した情報に基づいて特定される状態から、前記スケジュールを生成することと、
生成したスケジュールに基づいて、前記チップのメモリからのデータの転送処理を含む処理の実行に要する時間を算出又は推定することと、
を実行させるためのスケジューラであって、
前記生成することは、前記メモリからの前記データの転送処理を、当該データを得る再計算処理に置き換えるよう、前記状態を遷移させることを含む、
スケジューラ。
【請求項16】
チップにおいて実行される計算の計算順序を含む計算のスケジュールを生成する生成方法であって、
１又は複数のプロセッサが、
受信した情報に基づいて特定される状態から、前記スケジュールを生成することと、
生成したスケジュールに基づいて、前記チップのメモリからのデータの転送処理を含む処理の実行に要する時間を算出又は推定することと、
を実行し、
前記生成することは、前記メモリからの前記データの転送処理を、当該データを得る再計算処理に置き換えるよう、前記状態を遷移させることを含む、
生成方法。
１又は複数のプロセッサが、
受信した情報に基づいて特定される状態から、前記スケジュールを生成することと、
生成したスケジュールに基づいて、前記チップのメモリからのデータの転送処理を含む処理の実行に要する時間を算出又は推定することと、
を実行し、
前記生成することは、前記メモリからの前記データの転送処理を、当該データを得る再計算処理に置き換えるよう、前記状態を遷移させることを含む、
生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、スケジューリング装置、訓練装置、スケジューラ及び生成方法に関する。
【背景技術】
【0002】
ソースコードに基づいてマシンコードを生成するコンパイル装置においては、実行時間の削減の観点及びメモリ消費量の削減の観点から、適切な計算順序や再計算箇所等を決定して、スケジュールを生成する技術が提案されている。
【0003】
一方で、スケジュールは、マシンコードが実行される装置（例えば、アクセラレータチップ）の構成によっては、実行時間に大きな影響を及ぼすことが考えられる。
【0004】
例えば、特定の大容量メモリへのアクセスに時間がかかるアクセラレータチップの場合、当該大容量メモリにデータを退避することによって、実行時間が増大することがある。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２００５－３１６７８５号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本開示は、マシンコードが実行される装置の構成に応じたスケジュールを生成する。
【課題を解決するための手段】
【0007】
本開示の一態様によるスケジューリング装置は、例えば、以下のような構成を有する。即ち、
第１メモリと第２メモリとを有するチップにおいて実行される計算の計算順序を含む計算のスケジュールを生成するスケジューリング装置であって、
１又は複数のメモリと、
１又は複数のプロセッサと、を備え、
前記１又は複数のプロセッサは、
受信した情報に基づいて特定される状態から、前記スケジュールを生成することと、
生成したスケジュールに基づいて、前記第２メモリからのデータの転送処理を含む処理の実行に要する時間を算出又は推定することと、
を実行し、
前記生成することは、前記第２メモリからの前記データの転送処理を、当該データを得る再計算処理に置き換えるよう、前記状態を遷移させることを含む。
第１メモリと第２メモリとを有するチップにおいて実行される計算の計算順序を含む計算のスケジュールを生成するスケジューリング装置であって、
１又は複数のメモリと、
１又は複数のプロセッサと、を備え、
前記１又は複数のプロセッサは、
受信した情報に基づいて特定される状態から、前記スケジュールを生成することと、
生成したスケジュールに基づいて、前記第２メモリからのデータの転送処理を含む処理の実行に要する時間を算出又は推定することと、
を実行し、
前記生成することは、前記第２メモリからの前記データの転送処理を、当該データを得る再計算処理に置き換えるよう、前記状態を遷移させることを含む。
【図面の簡単な説明】
【0008】
【図1】データ処理システムのシステム構成及びサーバ装置のハードウェア構成の一例を示す図である。
【図2】アクセラレータチップのハードウェア構成の一例を示す図である。
【図3】木構造のトポロジにより接続され、分散配置された複数の第１メモリの具体例を示す図である。
【図4】コンパイル装置の機能構成の一例を示す図である。
【図5】計算順序決定処理の具体例の一つを示す図である。
【図6】計算順序及び再計算箇所決定処理の具体例の一つを示す図である。
【図7】転送処理のステップ数と再計算処理のステップ数の算出例を示す図である。
【図8】再計算スケジューラ機能の機能構成の詳細を示す第１の図である。
【図9】生成部によるスケジュール生成処理の具体例を示す第１の図である。
【図10】最適化部による状態遷移処理の具体例を示す図である。
【図11】スケジュール最適化処理の流れを示すフローチャートである。
【図12】再計算スケジューラ機能の機能構成の詳細を示す第２の図である。
【図13】生成部によるスケジュール生成処理の具体例を示す第２の図である。
【発明を実施するための形態】
【0009】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する装置については、同一の符号を付することにより重複した説明を省略する。
【0010】
［第１の実施形態］
＜データ処理システムのシステム構成及びサーバ装置のハードウェア構成＞
はじめに、本実施形態のデータ処理システム全体のシステム構成、及び、サーバ装置のハードウェア構成について説明する。
＜データ処理システムのシステム構成及びサーバ装置のハードウェア構成＞
はじめに、本実施形態のデータ処理システム全体のシステム構成、及び、サーバ装置のハードウェア構成について説明する。
【0011】
図１に示すように、本実施形態のデータ処理システム１００は、端末装置１１０とサーバ装置１２０とを有する。データ処理システム１００において、端末装置１１０とサーバ装置１２０とは、通信ネットワーク１３０を介して接続される。
【0012】
端末装置１１０は、汎用のコンピュータであり、本実施形態においては、ユーザがソースコードを生成する際に用いる装置である。端末装置１１０にはソースコード記述用のアプリケーションがインストールされており、当該アプリケーションが起動されることで、ユーザによるソースコードの記述が開始される。なお、ユーザによるソースコードの記述が完了すると、端末装置１１０は、当該ソースコードを、通信ネットワーク１３０を介してサーバ装置１２０に送信する。
【0013】
サーバ装置１２０は、図１に示すように、コンパイル装置１４０と、データ処理装置１５０とを有する。
【0014】
コンパイル装置１４０は、一例として、プロセッサ１４１、主記憶装置１４２（メモリ）、補助記憶装置１４３（メモリ）、ネットワークインタフェース１４４、デバイスインタフェース１４５を有する。コンパイル装置１４０は、これらの装置がバス１６０を介して接続されたコンピュータとして実現されてもよい。
【0015】
プロセッサ１４１は、電子回路（処理回路、Processing circuit、Processing circuitry、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、又はＡＳＩＣ等）であってもよい。また、プロセッサ１４１は、専用の処理回路を含む半導体装置等であってもよい。なお、プロセッサ１４１は、電子論理素子を用いた電子回路に限定されるものではなく、光論理素子を用いた光回路により実現されてもよい。また、プロセッサ１４１は、量子コンピューティングに基づく演算機能を含むものであってもよい。
【0016】
プロセッサ１４１は、コンパイル装置１４０の内部構成の各装置等から入力された各種データや命令に基づいて各種演算を行い、演算結果や制御信号を各装置等に出力する。プロセッサ１４１は、ＯＳ（Operating System）や、アプリケーション等を実行することにより、コンパイル装置１４０が備える各装置を制御してもよい。
【0017】
また、プロセッサ１４１は、１チップ上に配置された１又は複数の電子回路を指してもよいし、２つ以上のチップあるいは２つ以上のデバイス上に配置された１又は複数の電子回路を指してもよい。複数の電子回路を用いる場合、各電子回路は有線又は無線により通信してもよい。
【0018】
主記憶装置１４２は、プロセッサ１４１が実行する命令及び各種データ等を記憶する記憶装置であり、主記憶装置１４２に記憶された各種データがプロセッサ１４１により読み出される。補助記憶装置１４３は、主記憶装置１４２以外の記憶装置である。なお、これらの記憶装置は、各種データを格納可能な任意の電子部品を意味するものとし、半導体のメモリでもよい。半導体のメモリは、揮発性メモリ、不揮発性メモリのいずれでもよい。コンパイル装置１４０において各種データを格納するための記憶装置は、主記憶装置１４２又は補助記憶装置１４３により実現されてもよく、プロセッサ１４１に内蔵される内蔵メモリにより実現されてもよい。
【0019】
ネットワークインタフェース１４４は、無線又は有線により、通信ネットワーク１３０に接続するためのインタフェースである。ネットワークインタフェース１４４には、既存の通信規格に適合したもの等、適切なインタフェースが用いられる。なお、通信ネットワーク１３０は、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、ＰＡＮ（Personal Area Network）等のいずれか、又は、それらの組み合わせであってもよい。ＷＡＮの一例としてインタネット等があり、ＬＡＮの一例としてＩＥＥＥ８０２．１１やイーサネット等があり、ＰＡＮの一例としてＢｌｕｅｔｏｏｔｈ（登録商標が）やＮＦＣ（Near Field Communication）等がある。
【0020】
デバイスインタフェース１４５は、外部装置１２１と直接接続するＵＳＢ等のインタフェースである。
【0021】
外部装置１２１は、一例として、入力装置であってもよい。入力装置は、例えば、カメラ、マイクロフォン、モーションキャプチャ、各種センサ、キーボード、マウス、又はタッチパネル等のデバイスであり、取得した情報をコンピュータに与える。また、パーソナルコンピュータ、タブレット端末、又はスマートフォン等の入力部とメモリとプロセッサを備えるデバイスであってもよい。
【0022】
また、外部装置１２１は、一例として、出力装置であってもよい。出力装置は、例えば、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）、ＰＤＰ（Plasma Display Panel）、又は有機ＥＬ（Electro Luminescence）パネル等の表示装置であってもよいし、音声等を出力するスピーカ等であってもよい。また、パーソナルコンピュータ、タブレット端末、又はスマートフォン等の出力部とメモリとプロセッサを備えるデバイスであってもよい。
【0023】
また、外部装置１２１は、記憶装置（メモリ）であってもよい。例えば、外部装置１２１は、ＨＤＤ等のストレージであってもよい。また、外部装置１２１は、コンパイル装置１４０の構成要素の一部の機能を有する装置でもよい。つまり、コンピュータは、外部装置１２１の処理結果の一部又は全部を受信してもよい。
【0024】
本実施形態のデータ処理装置１５０は、各装置として、複数のボード（ボード１７０＿１～１７０＿４）を有する。ボード１７０＿１～１７０＿４は、複数のアクセラレータチップ（例えば、チップ１８０＿１～１８０＿ｎ）を搭載する。
【0025】
また、図１に示すように、コンパイル装置１４０の各装置と、データ処理装置１５０の各装置とは、バス１６０を介して接続される。なお、図１の例では、データ処理装置１５０が４枚のボード１７０＿１～１７０＿４を有する場合について示しているが、データ処理装置１５０が有するボードの枚数は任意である。
【0026】
チップ１８０＿１～１８０＿ｎは、例えば、深層学習の学習フェーズに特化した専用のチップである。なお、チップ１８０＿１～１８０＿ｎの詳細は後述する。
【0027】
＜アクセラレータチップのハードウェア構成＞
次に、本実施形態のボード１７０＿１～１７０＿４等に搭載されるアクセラレータチップ（例えば、チップ１８０＿１～１８０＿ｎ）のハードウェア構成について説明する。図２は、アクセラレータチップのハードウェア構成の一例を示す図である。
次に、本実施形態のボード１７０＿１～１７０＿４等に搭載されるアクセラレータチップ（例えば、チップ１８０＿１～１８０＿ｎ）のハードウェア構成について説明する。図２は、アクセラレータチップのハードウェア構成の一例を示す図である。
【0028】
本実施形態のチップ１８０＿１（チップ１８０＿１～１８０＿ｎはいずれも同じハードウェア構成を有するため、ここでは、チップ１８０＿１について説明する）は、例えば、条件分岐のないＳＩＭＤアーキテクチャにより動作する。ＳＩＭＤとは、Single Instruction/Multiple Dataの略で、１つの命令を同時に複数のデータに適用し、並列に処理する方式を指す。ただし、チップ１８０＿１は、ＳＩＭＤアーキテクチャ以外のアーキテクチャにより動作してもよい。
【0029】
図２に示すように、チップ１８０＿１は、第２メモリの一例であるＤＲＡＭ（Dynamic Random Access Memory）を有する。第２メモリは、後述する第１メモリに比べて大容量ではあるがデータ転送にかかる時間が長い。なお、本明細書中では、データ転送にかかる時間をデータ転送コストと呼ぶことがある。また、チップ１８０＿１は、例えば、２個の第３階層ブロックを有する。各第３階層ブロックは、それぞれ、２個の第２階層ブロックを有する。また、各第２階層ブロックは、複数の第１階層ブロックと、１個の第２階層ブロックメモリとを有する。
【0030】
また、各第１階層ブロックは、１個の演算器と、２個の演算ユニットとを有する。なお、２個の演算ユニットは、それぞれ、第１メモリの一例であるＳＲＡＭ（Static Random Access Memory）を有し、演算器から直接、データの読み書きが行われる。
【0031】
演算ユニットがそれぞれ有する第１メモリは、第２メモリよりも高速にアクセスできる一方で、容量が限られている。このため、例えば、演算器によって直ちに使用されないデータであって、後の計算に必要となるデータは、上述した大容量の第２メモリに退避される。
【0032】
＜木構造のトポロジ＞
次に、分散配置された複数の第１メモリの一例について説明する。図３は、木構造のトポロジにより接続され、分散配置された複数の第１メモリの具体例を示す図である。
次に、分散配置された複数の第１メモリの一例について説明する。図３は、木構造のトポロジにより接続され、分散配置された複数の第１メモリの具体例を示す図である。
【0033】
図３の例に示すように、２個の第３階層ブロックは、木構造のＬｅｖｅｌＡの階層に属し、互いに接続されている。また、各第３階層ブロックにそれぞれ含まれる２個の第２階層ブロックは、いずれも木構造のＬｅｖｅｌＢの階層に属し、それぞれ、木構造のＬｅｖｅｌＡの階層の対応する第３階層ブロックに接続される。
【0034】
更に、木構造のＬｅｖｅｌＢの階層に属する各第２階層ブロックにそれぞれ含まれる複数の第１階層ブロックは、いずれも木構造のＬｅｖｅｌＣの階層に属し、それぞれ、木構造のＬｅｖｅｌＢの階層の対応する第２階層ブロックに接続される。
【0035】
上述したように、ＬｅｖｅｌＣの第１階層ブロックには、それぞれ、２個の演算ユニットが含まれ、それぞれが第１メモリを有している。そして、上記木構造のトポロジにより接続され、分散配置された当該複数の第１メモリに対しては、対応する演算器が、直ちに計算に使用するデータを書き込む。
【0036】
なお、本実施形態では、第１メモリにＳＲＡＭを用い、第２メモリにＤＲＡＭを用いたが、第２メモリが第１メモリよりもデータ転送コストが高いものであれば、他のメモリを用いてもよい。例えば、第１メモリは、演算器によるデータの読み書きにかかるステップが、第２メモリからのデータ転送よりも少ないメモリであれば、他の種類のメモリであってもよい。また、例えば、第１メモリと第２メモリとは、同じ種類のメモリであって、演算器との距離によってデータ転送にかかるステップが異なるメモリであってもよい。
【0037】
＜コンパイル装置の機能構成＞
次に、本実施形態のサーバ装置１２０が有するコンパイル装置１４０の機能構成について説明する。図４は、コンパイル装置の機能構成の一例を示す図である。
次に、本実施形態のサーバ装置１２０が有するコンパイル装置１４０の機能構成について説明する。図４は、コンパイル装置の機能構成の一例を示す図である。
【0038】
本実施形態のコンパイル装置１４０には、変換プログラムとコンパイラとがインストールされており、当該プログラムが実行されることで、コンパイル装置１４０は、
・変換部４１０、
・コンパイル部４２０、
として機能する。
・変換部４１０、
・コンパイル部４２０、
として機能する。
【0039】
本実施形態の変換部４１０は、端末装置１１０より送信されたソースコードに基づいて、計算グラフ等を生成する。計算グラフとは、入力のテンソルから出力のテンソルを生成するまでの計算の流れをグラフに表したもの、あるいは、テンソルの値を更新する計算の流れをグラフに表したものを指す。例えば、ソースコードが、Ｐｙｔｈｏｎ（登録商標）コードにより記述されている場合、変換部４１０は、当該ソースコードを実行し、ＯＮＮＸの表現形式に変換することで、計算グラフを生成する。なお、ＯＮＮＸは、Open Neural Network Exchangeの略称である。
【0040】
また、変換部４１０は、生成した計算グラフ等を、コンパイル部４２０に通知する。
【0041】
コンパイル部４２０は、変換部４１０により通知された計算グラフ等が入力されることでコンパイル処理を行い、マシンコード４３０を生成する。また、コンパイル部４２０は、生成したマシンコード４３０をデータ処理装置１５０に送信する。
【0042】
なお、コンパイル部４２０がコンパイル処理を行う際に実行する機能は多数あるが、本実施形態では、このうち、再計算スケジューラ機能（計算グラフに従って計算順序や再計算箇所を決定し、適切なスケジュールを生成する機能）について詳説する。つまり、以下では、コンパイル装置１４０は、スケジューリング装置を指すものとして説明する。
【0043】
コンパイル部４２０によるコンパイル処理において、再計算スケジューラ機能が実行されると、計算グラフに従って計算についての「スケジュール」が生成される。再計算スケジューラ機能が計算についての「スケジュール」を生成することには、計算順序を決定することや、再計算箇所を決定することが含まれる。
【0044】
また、再計算スケジューラ機能が計算についての「スケジュール」を生成することには、計算順序や再計算箇所を決定することに加えて、データの転送処理を設定することが含まれていてもよい。これにより、後述するステップ数シミュレータが転送処理の実行に要するステップ数を算出又は推定することが可能になる。なお、転送処理を設定することは、計算順序や再計算箇所を決定することとは別の機能により実行されてもよい。例えば、当該別の機能が、計算順序や再計算箇所を決定することを実行する機能から計算スケジュールを受信して、該計算スケジュールに沿った転送処理の設定を行い、転送処理が追加されたスケジュールをステップ数シミュレータに送信してもよい。
【0045】
なお、図４に示すように、本実施形態においてコンパイル部４２０がコンパイル処理を行うことで生成されるマシンコード４３０は、複数の抽象化レベル（図４の例では、３つの抽象化レベル）により構成される。以下、抽象化レベル３～抽象化レベル１という。再計算スケジューラ機能では、このうち、抽象化レベル３（畳み込み、バッチノーマライゼーションといった抽象度）での計算についての「スケジュール」を計算グラフに従って生成する。
【0046】
＜再計算スケジューラ機能の処理の具体例＞
次に、本実施形態のコンパイル部４２０の再計算スケジューラ機能が実行する計算順序決定処理の具体例について説明する。図５は、計算順序決定処理の具体例の一つを示す図である。
次に、本実施形態のコンパイル部４２０の再計算スケジューラ機能が実行する計算順序決定処理の具体例について説明する。図５は、計算順序決定処理の具体例の一つを示す図である。
【0047】
上述したように、コンパイル部４２０の再計算スケジューラ機能は、スケジュールを生成するにあたり、計算グラフに従って、計算順序を決定する。図５において符号５１０は、値の依存関係を示す計算グラフを表しており、コンパイル部４２０の再計算スケジューラ機能では、当該計算グラフに従って、計算順序を決定する。
【0048】
なお、符号５１０に示す計算グラフは、
・値"Ａ"を最初に計算すること、
・値"Ａ"に基づいて、値"Ｂ"を計算し、値"Ｂ"に基づいて値"Ｃ"を計算すること、
・値"Ａ"に基づいて、値"Ｄ"を計算し、値"Ｄ"に基づいて値"Ｅ"を計算すること、
・値"Ｃ"と値"Ｅ"とに基づいて、値"Ｆ"を計算すること、
を示している。
・値"Ａ"を最初に計算すること、
・値"Ａ"に基づいて、値"Ｂ"を計算し、値"Ｂ"に基づいて値"Ｃ"を計算すること、
・値"Ａ"に基づいて、値"Ｄ"を計算し、値"Ｄ"に基づいて値"Ｅ"を計算すること、
・値"Ｃ"と値"Ｅ"とに基づいて、値"Ｆ"を計算すること、
を示している。
【0049】
ここで、上記計算グラフで示された値の依存関係に違反することなく計算順序を決定しようとすると、例えば、符号５２０に示すような計算順序になる。したがって、再計算スケジューラ機能では、例えば、符号５２０に示すような計算順序を決定することができる。
【0050】
一方、符号５３０は、比較例として、上記計算グラフで示された値の依存関係に違反した計算順序を示している。具体的には、値"Ｅ"の計算が、値"Ｄ"の計算の前に位置しており、値"Ｅ"の計算が、値"Ｄ"の計算に基づいて行うことができないため、上記計算グラフで示された値の依存関係に違反した計算順序となっている。再計算スケジューラ機能では、このような計算グラフに示された値の依存関係に違反した計算順序を回避してスケジュールを決定する。
【0051】
続いて、コンパイル部４２０の再計算スケジューラ機能がスケジュールを生成するにあたって実行する、計算順序及び再計算箇所決定処理の具体例について説明する。
【0052】
図６は、計算順序及び再計算箇所決定処理の具体例の一つを示す図である。上述したように、コンパイル部４２０の再計算スケジューラ機能は、計算順序に加えて、再計算箇所を決定する。図６において、符号５１０は、値の依存関係を示す計算グラフであり、コンパイル部４２０の再計算スケジューラ機能は、当該計算グラフに従って、計算順序及び再計算箇所を決定する。
【0053】
図６において符号６２０は、再計算スケジューラ機能により、計算順序が決定されるとともに、値"Ａ"について、値"Ｄ"の計算を行う前に、再計算を行うことが決定された様子を示している。
【0054】
ここで、符号５１０に示す計算グラフによれば、値"Ｄ"は、値"Ａ"に基づいて計算される。このため、値"Ｂ"を計算する際に計算された値"Ａ"をメモリに格納し、値"Ｄ"を計算する際に、当該メモリから読み出すようにしてもよい（図５の符号５２０は、このような処理を前提とするものである）。
【0055】
一方で、符号６２０に示すように、値"Ｄ"を計算する際に、メモリから値"Ａ"を読み出す代わりに、再度、値"Ａ"を計算する（つまり再計算する）ようにすることもできる。
【0056】
このように、再計算スケジューラ機能が値"Ａ"についてメモリから読み出す代わりに再計算を行うように決定したスケジュールが好ましいと判定されるのは、例えば、値"Ａ"が上述の第２メモリに格納されていた場合、読み出す際のステップ数が大きくなり、実行時間が増大する場合があるからである。
【0057】
【0058】
このうち、図７（ａ）の例は、再計算を行わない場合のステップ数を示す図である。具体的には、図７（ａ）の例は、第２メモリから読み出された値"ａ"に基づいて、値"Ａ"が計算された後、値"Ａ"が値"Ｂ"の計算に用いられる一方で、値"Ａ"が、一旦、第２メモリに退避された様子を示している。
【0059】
また、図７（ａ）の例は、値"Ｂ"に基づいて、値"Ｃ"が計算され、値"Ｃ"が第１メモリに書き込まれた後、値"Ｄ"を計算するために、第２メモリから値"Ａ"（値"ａ"に基づく計算結果）が読み出された様子を示している。更に、図７（ａ）の例は、読み出された値"Ａ"に基づいて、値"Ｄ"を計算し、値"Ｄ"に基づいて、値"Ｅ"を計算し、値"Ｅ"と第１メモリに書き込まれた値"Ｃ"とに基づいて、値"Ｆ"を計算した様子を示している。
【0060】
一方、図７（ｂ）の例は、再計算を行う場合のステップ数を示す図である。具体的には、図７（ｂ）の例は、第２メモリから読み出された値"ａ"に基づいて、値"Ａ"が計算された後、値"Ａ"が値"Ｂ"の計算に用いられた様子を示している。
【0061】
また、図７（ｂ）の例は、値"Ｂ"に基づいて、値"Ｃ"が計算され、第１メモリに書き込まれた後、値"Ｄ"を計算するために、第２メモリから値"ａ"が読み出され、値"Ａ"を計算した様子を示している。更に、図７（ｂ）の例は、計算された値"Ａ"に基づいて、値"Ｄ"を計算し、値"Ｄ"に基づいて、値"Ｅ"を計算し、値"Ｅ"と第１メモリに書き込まれた値"Ｃ"とに基づいて、値"Ｆ"を計算した様子を示している。
【0062】
ここで、図７（ａ）と図７（ｂ）とを対比すると、図７（ａ）の場合、値"Ｄ"を計算するにあたり、値"Ａ"を第２メモリに退避するための転送処理の実行及び第２メモリから値"Ａ"を読み出す際の転送処理の実行に、５万ステップを要している。一方、図７（ｂ）の場合、値"Ｄ"を計算するにあたり、値"Ａ"を第２メモリに退避すること及び第２メモリから値"Ａ"を読み出すことの代わりに、値"ａ"を読み出し、値"ａ"に基づいて値"Ａ"を再計算している。
【0063】
このとき、第２メモリから値"ａ"を読み出す際の転送処理の実行には、１万ステップを要しており、値"ａ"から値"Ａ"を計算する計算処理の実行には、１万ステップを要している。ただし、図７（ｂ）のように、値"Ａ"を第２メモリに退避する必要がないのは、値"Ａ"の読み出しが全て消えた場合に限られ、他の計算で値"Ａ"を第２メモリから読み出して用いられる場合には、値"Ａ"を第２メモリに退避するための転送処理の実行が必要となる。
【0064】
このように、
・図７（ａ）の場合、値"Ａ"の第２メモリへの転送処理の実行及び値"Ａ"の第２メモリからの転送処理の実行に、５万ステップを要している。
・図７（ｂ）の場合、値"Ａ"の第２メモリへの転送処理の実行が必要でない状況では、値"Ａ"の再計算処理（値"ａ"の転送処理＋値"Ａ"の計算処理）の実行に、２万ステップを要している。
・図７（ａ）の場合、値"Ａ"の第２メモリへの転送処理の実行及び値"Ａ"の第２メモリからの転送処理の実行に、５万ステップを要している。
・図７（ｂ）の場合、値"Ａ"の第２メモリへの転送処理の実行が必要でない状況では、値"Ａ"の再計算処理（値"ａ"の転送処理＋値"Ａ"の計算処理）の実行に、２万ステップを要している。
【0065】
つまり、第２メモリへのアクセスに要するステップ数が大きい場合、第２メモリに退避した値を第２メモリから読み出すことで計算に必要な値を取得するよりも、再計算することで取得した方が、ステップ数が少なく、実行時間を短縮できる場合がある。
【0066】
本実施形態におけるコンパイル部４２０の再計算スケジューラ機能では、チップ１８０＿１等のような、第２メモリへのアクセスに時間がかかる構成を考慮し、
・第２メモリに退避する際及び第２メモリから読み出す際の転送処理の実行に要するステップ数を算出又は推定する。
・再計算処理の実行に要するステップ数を算出又は推定する。
・第２メモリに退避する際及び第２メモリから読み出す際の転送処理の実行に要するステップ数を算出又は推定する。
・再計算処理の実行に要するステップ数を算出又は推定する。
【0067】
そして、本実施形態におけるコンパイル部４２０の再計算スケジューラ機能では、ステップ数の算出結果又は推定結果に基づいて、第２メモリからの転送処理を、再計算処理に置き換えてスケジュールを生成する。これにより、本実施形態におけるコンパイル部４２０の再計算スケジューラ機能によれば、マシンコードが実行されるチップ１８０＿１等の構成に応じたスケジュールを生成し、実行時間を短縮することができる。
【0068】
＜再計算スケジューラ機能の機能構成＞
次に、コンパイル部４２０の再計算スケジューラ機能の機能構成の詳細について説明する。図８は、再計算スケジューラ機能の機能構成の詳細を示す第１の図である。図８に示すように、再計算スケジューラ機能８００は、
・生成部８１０、
・ステップ数シミュレータ８２０、
・最適化部８３０、
を有する。
次に、コンパイル部４２０の再計算スケジューラ機能の機能構成の詳細について説明する。図８は、再計算スケジューラ機能の機能構成の詳細を示す第１の図である。図８に示すように、再計算スケジューラ機能８００は、
・生成部８１０、
・ステップ数シミュレータ８２０、
・最適化部８３０、
を有する。
【0069】
本実施形態において、生成部８１０は、計算グラフに基づいて、初期スケジュールの元となる「状態」を特定し、次の遷移先候補となる"隣の状態"を選択すると、転送処理等を設定する。これにより、生成部８１０は、スケジュールを生成する。なお、「状態」とは、少なくとも計算順序を示す情報である。本実施形態においては、計算順序及び再計算箇所を示す情報であり、計算グラフに基づいて特定される。計算グラフは、生成部８１０が受信する情報の一例である。
【0070】
ステップ数シミュレータ８２０は、生成部８１０により生成されたスケジュールについて、ステップ数（全ステップ数）を算出又は推定する。また、ステップ数シミュレータ８２０は、算出又は推定したステップ数を最適化部８３０に通知する。
【0071】
最適化部８３０は、ステップ数シミュレータ８２０より通知されたステップ数を状態のスコアとして、例えば、「焼きなまし法」を用いて当該状態のスコアを最適化する。「焼きなまし法」とは、最適化問題に対するメタヒューリスティックスの１つで、"隣の状態"への遷移を繰り返して最適化する方法である。"隣の状態"への遷移は、原則として、状態のスコアが改善する方向に進められるが、焼きなまし法の場合、状態のスコアが悪化する方向に状態を遷移させることも許容する。
【0072】
"隣の状態"への遷移には、例えば、１つの計算の位置を変更すること、１つの計算が直接依存している値を、その計算の直前に再計算により計算すること、再計算を削除すること、等が含まれる。いずれの場合も、依存関係に違反しないような形で遷移を行うこと、あるいは、依存関係に違反した場合は棄却すること、が必要となる。
【0073】
なお、最適化部８３０による最適化手法は、「焼きなまし法」に限定されない。例えば、山登り法、メトロポリス法等、他のメタヒューリスティックな手法を用いて最適化してもよい。ただし、本実施形態では、よりステップ数の小さいスケジュールを得やすいと考えられる「焼きなまし法」を用いて最適化する。
【0074】
最適化部８３０により遷移された遷移後の状態は、生成部８１０により特定される。最適化部８３０では、状態のスコアが最適化されるまで、焼きなまし法による状態の遷移を繰り返し実行し、状態のスコアが最適化された時点で生成されたスケジュールを、最適化されたスケジュールとして出力する。なお、ここでいう最適化とは、"改善"を指し、必ずしも大域的な最適解が得られることに限定されない。
【0075】
なお、焼きなまし法を用いて状態を遷移させることには、第２メモリからの転送による値の取得を、再計算処理に置き換えやすいように、状態を遷移させることが含まれる。
【0076】
具体的には、第２メモリからの転送処理の実行に要するステップ数が、再計算処理の実行に要するステップ数よりも大きい場合に、第２メモリからの転送処理を再計算処理に置き換えるように状態を遷移させることが含まれる。
【0077】
なお、第２メモリからの転送処理を再計算処理に置き換えるように状態を遷移させることは、第２メモリからの転送処理の実行に要するステップ数が、再計算処理の実行に要するステップ数よりも大きい場合に、必ず実行されなくてもよい。また、上記焼きなまし法を利用する場合、必ずしもステップ数が減少するように状態を遷移させない場合や、最適な状態を探索する段階で、ステップ数が増加するように状態を遷移させる場合もありうる。
【0078】
＜再計算スケジューラ機能による処理の具体例＞
次に、再計算スケジューラ機能８００による処理の具体例について説明する。
次に、再計算スケジューラ機能８００による処理の具体例について説明する。
【0079】
（１）生成部によるスケジュール生成処理の具体例
はじめに、計算グラフに基づいて、初期スケジュールの元となる「状態」を特定することで、生成部８１０が、転送処理等を設定し、スケジュールを生成するスケジュール生成処理の具体例について説明する。
はじめに、計算グラフに基づいて、初期スケジュールの元となる「状態」を特定することで、生成部８１０が、転送処理等を設定し、スケジュールを生成するスケジュール生成処理の具体例について説明する。
【0080】
図９は、生成部によるスケジュール生成処理の具体例を示す第１の図である。図９の例は、生成部８１０が、
・計算グラフに基づいて、計算順序を状態９１０として特定し、
・特定した状態９１０に基づいて転送処理を設定し、スケジュール９２０を生成し、
・生成したスケジュール９２０をステップ数シミュレータに通知する、
様子を示している。
・計算グラフに基づいて、計算順序を状態９１０として特定し、
・特定した状態９１０に基づいて転送処理を設定し、スケジュール９２０を生成し、
・生成したスケジュール９２０をステップ数シミュレータに通知する、
様子を示している。
【0081】
具体的には、状態９１０として、
・はじめに、値"ａ"と値"ｂ"とを和算して値"ｃ"を出力する計算を行い、
・続いて、値"ｃ"をＲｅｌｕ関数に入力して値"ｄ"を出力する計算を行う、
ことが生成部８１０により特定された様子を示している。
・はじめに、値"ａ"と値"ｂ"とを和算して値"ｃ"を出力する計算を行い、
・続いて、値"ｃ"をＲｅｌｕ関数に入力して値"ｄ"を出力する計算を行う、
ことが生成部８１０により特定された様子を示している。
【0082】
また、転送処理として、
・値"ａ"と値"ｂ"とを和算して値"ｃ"を出力する計算の前に、値"ａ"と値"ｂ"とを第２メモリからダウンロードする転送処理を設定し、
・値"ａ"と値"ｂ"とを和算して値"ｃ"を出力する計算を行った後に、値"ｃ"を第２メモリにアップロードする転送処理を設定し、
・値"ｃ"をＲｅｌｕ関数に入力して値"ｄ"を出力する計算を行った後に、値"ｄ"を第２メモリにアップロードする転送処理を設定し、
スケジュール９２０を生成した様子を示している。
・値"ａ"と値"ｂ"とを和算して値"ｃ"を出力する計算の前に、値"ａ"と値"ｂ"とを第２メモリからダウンロードする転送処理を設定し、
・値"ａ"と値"ｂ"とを和算して値"ｃ"を出力する計算を行った後に、値"ｃ"を第２メモリにアップロードする転送処理を設定し、
・値"ｃ"をＲｅｌｕ関数に入力して値"ｄ"を出力する計算を行った後に、値"ｄ"を第２メモリにアップロードする転送処理を設定し、
スケジュール９２０を生成した様子を示している。
【0083】
（２）最適化部による状態遷移処理の具体例
次に、再計算スケジューラ機能８００において、最適化部８３０が状態を遷移させる状態遷移処理の具体例について説明する。図１０は、最適化部による状態遷移処理の具体例を示す図である。
次に、再計算スケジューラ機能８００において、最適化部８３０が状態を遷移させる状態遷移処理の具体例について説明する。図１０は、最適化部による状態遷移処理の具体例を示す図である。
【0084】
このうち、図１０（ａ）の例は、
・はじめに、遷移前の状態１０１０（計算順序を示す情報）が生成部８１０により特定され、
・続いて、特定された次の遷移先候補について、ステップ数シミュレータ８２０により算出又は推定されたステップ数に基づいて、最適化部８３０が、特定された次の遷移先候補へと状態を遷移させるかどうかを決定し、
・状態を新たな状態１０２０（新たな計算順序を示す情報）に遷移させた、
様子を示している。
・はじめに、遷移前の状態１０１０（計算順序を示す情報）が生成部８１０により特定され、
・続いて、特定された次の遷移先候補について、ステップ数シミュレータ８２０により算出又は推定されたステップ数に基づいて、最適化部８３０が、特定された次の遷移先候補へと状態を遷移させるかどうかを決定し、
・状態を新たな状態１０２０（新たな計算順序を示す情報）に遷移させた、
様子を示している。
【0085】
図１０（ａ）の例では、「状態」が遷移し、値"ｃ"をＲｅｌｕ関数に入力して値"ｄ"を出力する計算が、値"ｃ"を出力する計算の後から、値"ｇ"を出力する計算の前へと移動したことを示している。
【0086】
同様に、図１０（ｂ）の例は、
・はじめに、遷移前の状態１０３０（計算順序を示す情報）が生成部８１０により特定され、
・続いて、特定された状態１０３０の隣の状態として、最適化部８３０が次の遷移先候補を複数生成すると、生成部８１０により次の遷移先候補が１つ選択され、
・ステップ数シミュレータ８２０により算出又は推定されたステップ数に基づいて、最適化部８３０が、選択された次の遷移先候補へと状態を遷移させることを決定し、
・状態を新たな状態１０４０（新たな計算順序及び再計算箇所を示す情報）に遷移させた、
様子を示している。
・はじめに、遷移前の状態１０３０（計算順序を示す情報）が生成部８１０により特定され、
・続いて、特定された状態１０３０の隣の状態として、最適化部８３０が次の遷移先候補を複数生成すると、生成部８１０により次の遷移先候補が１つ選択され、
・ステップ数シミュレータ８２０により算出又は推定されたステップ数に基づいて、最適化部８３０が、選択された次の遷移先候補へと状態を遷移させることを決定し、
・状態を新たな状態１０４０（新たな計算順序及び再計算箇所を示す情報）に遷移させた、
様子を示している。
【0087】
図１０（ｂ）の例では、「状態」が遷移し、値"ｃ"をＣｏｎｖｏｌｕｔｉｏｎ関数に入力して値"ｅ"を出力する計算の前に、値"ａ"と値"ｂ"とを和算して値"ｃ"を出力する再計算処理が追加されたことを示している。
【0088】
＜スケジュール最適化処理の流れ＞
次に、再計算スケジューラ機能８００によるスケジュール最適化処理の流れについて説明する。図１１は、スケジュール最適化処理の流れを示すフローチャートである。
次に、再計算スケジューラ機能８００によるスケジュール最適化処理の流れについて説明する。図１１は、スケジュール最適化処理の流れを示すフローチャートである。
【0089】
ステップＳ１１０１において、再計算スケジューラ機能８００は、外部から受信した情報である計算グラフに基づき、状態を特定する。
【0090】
ステップＳ１１０２において、再計算スケジューラ機能８００は、特定した状態から、スケジュールを生成する。
【0091】
ステップＳ１１０３において、再計算スケジューラ機能８００は、生成したスケジュールに基づいて、ステップ数を算出又は推定し、生成したスケジュールと、算出又は推定したステップ数とを対応付けて記憶する。
【0092】
ステップＳ１１０４において、再計算スケジューラ機能８００は、所定の条件を満たすか否かを判定し、所定の条件を満たさないと判定した場合には（ステップＳ１１０４においてＮＯの場合には）、ステップＳ１２０５に進む。
【0093】
なお、所定の条件とは、例えば、
・算出又は推定したステップ数が所定のステップ数を下回る場合、あるいは、
・現在の最適化の効率と、学習にかかる推定時間とを比較して、これ以上最適化を続けると損だと判断した場合、あるいは、
・焼きなまし法の繰り返しを所定の回数以上実行した場合、
等を指す。
・算出又は推定したステップ数が所定のステップ数を下回る場合、あるいは、
・現在の最適化の効率と、学習にかかる推定時間とを比較して、これ以上最適化を続けると損だと判断した場合、あるいは、
・焼きなまし法の繰り返しを所定の回数以上実行した場合、
等を指す。
【0094】
ステップＳ１１０５において、再計算スケジューラ機能８００は、ステップ数が最小となるスケジュールが生成されるよう、焼きなまし法を用いて状態を遷移させる。
【0095】
一方、ステップＳ１１０４において、所定の条件を満たすと判定した場合には（ステップＳ１１０４においてＹＥＳの場合には）、ステップＳ１２０６に進む。
【0096】
ステップＳ１１０６において、再計算スケジューラ機能８００は、所定の条件を満たした状態で、記憶したスケジュールの中で、最もステップ数が少ないスケジュールを選択する。これにより、再計算スケジューラ機能８００では、最適な計算順序及び再計算箇所を決定することができる。また、再計算スケジューラ機能８００は、選択したスケジュールを、計算順序及び再計算箇所が最適化されたスケジュールとして出力する。
【0097】
＜まとめ＞
以上の説明から明らかなように、第１の実施形態に係るコンパイル装置１４０は、
・第１メモリと第２メモリとを有するチップ１８０＿１等において実行される計算の計算順序を含む、計算のスケジュールを生成するスケジューリング装置として機能する。
・受信した情報に基づいて特定される状態から、当該スケジュールを生成する。
・生成したスケジュールに基づいて、第２メモリからのデータの転送処理を含む処理の実行に要する時間を算出又は推定する。
以上の説明から明らかなように、第１の実施形態に係るコンパイル装置１４０は、
・第１メモリと第２メモリとを有するチップ１８０＿１等において実行される計算の計算順序を含む、計算のスケジュールを生成するスケジューリング装置として機能する。
・受信した情報に基づいて特定される状態から、当該スケジュールを生成する。
・生成したスケジュールに基づいて、第２メモリからのデータの転送処理を含む処理の実行に要する時間を算出又は推定する。
【0098】
なお、第１の実施形態に係るコンパイル装置１４０において、当該スケジュールを生成することは、第２メモリからのデータの転送処理を、当該データを得る再計算処理に置き換えるよう、状態を遷移させることを含む。
【0099】
このように、第１の実施形態に係るコンパイル装置１４０では、第２メモリへのアクセスに時間がかかる構成を考慮して、第２メモリからの転送処理を再計算処理に置き換えてスケジュールを生成する。
【0100】
これにより、第１の実施形態によれば、マシンコードが実行される装置の構成に応じたスケジュールを生成することができる。
【0101】
［第２の実施形態］
上記第１の実施形態では、再計算スケジューラ機能の機能構成の詳細として、図８を例示して説明したが、再計算スケジューラ機能の機能構成は、図８に限定されない。第２の実施形態では、図８とは異なる再計算スケジューラ機能の機能構成を例示する。
上記第１の実施形態では、再計算スケジューラ機能の機能構成の詳細として、図８を例示して説明したが、再計算スケジューラ機能の機能構成は、図８に限定されない。第２の実施形態では、図８とは異なる再計算スケジューラ機能の機能構成を例示する。
【0102】
＜再計算スケジューラ機能の機能構成＞
図１２は、再計算スケジューラ機能の機能構成の詳細を示す第２の図である。図１２に示すように、再計算スケジューラ機能１２００は、
・生成部１２１０、
・ステップ数シミュレータ８２０、
・最適化部８３０、
を有する。
図１２は、再計算スケジューラ機能の機能構成の詳細を示す第２の図である。図１２に示すように、再計算スケジューラ機能１２００は、
・生成部１２１０、
・ステップ数シミュレータ８２０、
・最適化部８３０、
を有する。
【0103】
本実施形態において、生成部１２１０は、計算グラフに基づいて、初期スケジュールの元となる「状態」を特定し、次の遷移先候補となる"隣の状態"を選択すると、再計算処理等を設定する。これにより、生成部１２１０は、スケジュールを生成する。
【0104】
なお、本実施形態において、計算グラフに基づいて特定される「状態」には、
・第１メモリ上に存在しない場合に再計算すべき値を示す情報、及び、
・計算順序の元となる列、
が含まれ、生成部１２１０では、計算順序の元となる順序を保ちつつ計算グラフが指定する依存関係に違反することのない計算順序を決定するとともに、第１メモリ上に存在しない場合に当該値を再計算することで取得するよう、再計算処理を設定する。
・第１メモリ上に存在しない場合に再計算すべき値を示す情報、及び、
・計算順序の元となる列、
が含まれ、生成部１２１０では、計算順序の元となる順序を保ちつつ計算グラフが指定する依存関係に違反することのない計算順序を決定するとともに、第１メモリ上に存在しない場合に当該値を再計算することで取得するよう、再計算処理を設定する。
【0105】
＜再計算スケジューラ機能による処理の具体例＞
次に、再計算スケジューラ機能１２００による処理の具体例について説明する。ここでは、生成部１２１０が、計算グラフに基づいて、初期スケジュールの元となる「状態」を特定し、再計算処理を設定し、スケジュールを生成するスケジュール生成処理の具体例について説明する。
次に、再計算スケジューラ機能１２００による処理の具体例について説明する。ここでは、生成部１２１０が、計算グラフに基づいて、初期スケジュールの元となる「状態」を特定し、再計算処理を設定し、スケジュールを生成するスケジュール生成処理の具体例について説明する。
【0106】
図１３は、生成部によるスケジュール生成処理の具体例を示す第２の図である。図１３の例は、生成部１２１０が、
・符号５１０'に示す計算グラフに基づいて、計算順序及び第１メモリ上に存在しない場合に再計算すべき値を示す情報を状態１３１０として特定し、
・特定した状態１３１０に基づいて再計算処理を設定し、スケジュール１３２０を生成し、
・生成したスケジュール１３２０をステップ数シミュレータに通知する、
様子を示している。
・符号５１０'に示す計算グラフに基づいて、計算順序及び第１メモリ上に存在しない場合に再計算すべき値を示す情報を状態１３１０として特定し、
・特定した状態１３１０に基づいて再計算処理を設定し、スケジュール１３２０を生成し、
・生成したスケジュール１３２０をステップ数シミュレータに通知する、
様子を示している。
【0107】
具体的には、図１３の例は、値の依存関係及び値"Ａ"を、第１メモリ上に存在しない場合に再計算すべき値であることを示す計算グラフ（符号５１０'）が通知され、符号５１０'に示す計算グラフに基づいて、
・値"Ａ"を最初に計算すること、
・値"Ａ"に基づいて、値"Ｂ"を計算し、値"Ｂ"に基づいて値"Ｃ"を計算すること、
・値"Ａ"を再計算した後に、値"Ｄ"を計算し、値"Ｄ"に基づいて値"Ｅ"を計算すること、
・値"Ｃ"と値"Ｅ"に基づいて、値"Ｆ"を計算すること、
が状態１１１０として特定された様子を示している。
・値"Ａ"を最初に計算すること、
・値"Ａ"に基づいて、値"Ｂ"を計算し、値"Ｂ"に基づいて値"Ｃ"を計算すること、
・値"Ａ"を再計算した後に、値"Ｄ"を計算し、値"Ｄ"に基づいて値"Ｅ"を計算すること、
・値"Ｃ"と値"Ｅ"に基づいて、値"Ｆ"を計算すること、
が状態１１１０として特定された様子を示している。
【0108】
また、図１３の例は、生成部１２１０が、
・値"Ｂ"の計算の後に、値"Ａ"を第２メモリに退避させることなく削除する削除処理を設定し、
・値"Ｄ"の計算の前に、値"Ａ"の再計算処理を設定する、
ことで、スケジュール１３２０を生成した様子を示している。
・値"Ｂ"の計算の後に、値"Ａ"を第２メモリに退避させることなく削除する削除処理を設定し、
・値"Ｄ"の計算の前に、値"Ａ"の再計算処理を設定する、
ことで、スケジュール１３２０を生成した様子を示している。
【0109】
＜まとめ＞
以上の説明から明らかなように、第２の実施形態に係るコンパイル装置１４０は、
・第１メモリと第２メモリとを有するチップ１８０＿１等において実行される計算の計算順序を含む、計算のスケジュールを生成するスケジューリング装置として機能する。
・受信した情報に基づいて特定される状態から、当該スケジュールを生成する。
・生成したスケジュールに基づいて、第２メモリからのデータの転送処理を含む処理の実行に要する時間を算出又は推定する。
以上の説明から明らかなように、第２の実施形態に係るコンパイル装置１４０は、
・第１メモリと第２メモリとを有するチップ１８０＿１等において実行される計算の計算順序を含む、計算のスケジュールを生成するスケジューリング装置として機能する。
・受信した情報に基づいて特定される状態から、当該スケジュールを生成する。
・生成したスケジュールに基づいて、第２メモリからのデータの転送処理を含む処理の実行に要する時間を算出又は推定する。
【0110】
なお、第２の実施形態に係るコンパイル装置１４０において、当該スケジュールを生成することは、第２メモリからのデータの転送処理を、当該データを得る再計算処理に置き換えるよう、状態を遷移させることを含む。
【0111】
このように、第２の実施形態に係るコンパイル装置１４０では、第２メモリへのアクセスに時間がかかる構成を考慮して、第２メモリからの転送処理を再計算処理に置き換えてスケジュールを生成する。
【0112】
これにより、第２の実施形態に係るコンパイル装置１４０によれば、上記第１の実施形態同様、マシンコードが実行される装置の構成に応じたスケジュールを生成することができる。
【0113】
［第３の実施形態］
上記第１及び第２の実施形態では、コンパイル装置１４０が、サーバ装置１２０内に配されるものとして説明したが、コンパイル装置１４０は、サーバ装置１２０とは別体に構成してもよい。また、上記第１の実施形態では、変換部４１０はコンパイル装置１４０において実現されるものとして説明したが、変換部４１０は、例えば、端末装置１１０において実現されてもよい。あるいは、変換部４１０は、端末装置１１０以外の他の外部装置（例えば、他のサーバ装置）において実現されてもよい。
上記第１及び第２の実施形態では、コンパイル装置１４０が、サーバ装置１２０内に配されるものとして説明したが、コンパイル装置１４０は、サーバ装置１２０とは別体に構成してもよい。また、上記第１の実施形態では、変換部４１０はコンパイル装置１４０において実現されるものとして説明したが、変換部４１０は、例えば、端末装置１１０において実現されてもよい。あるいは、変換部４１０は、端末装置１１０以外の他の外部装置（例えば、他のサーバ装置）において実現されてもよい。
【0114】
また、上記第１及び第２の実施形態において、計算グラフは、ソースコード２３０が実行され、ＯＮＮＸの表現形式に変換されることで生成されるものとして説明したが、計算グラフの生成方法はこれに限定されず、他の方法により計算グラフを生成してもよい。
【0115】
また、上記第１及び第２の実施形態において説明した「状態」は一例にすぎず、上記第１及び第２の実施形態において説明した「状態」とは異なる「状態」を用いてもよい。
【0116】
また、上記第１及び第２の実施形態では、例えば、チップ１８０＿１がＬｅｖｅｌＡの階層に、４個の第３階層ブロックを有し、ＬｅｖｅｌＢの階層に、４個の第２階層ブロックを有するものとして説明した（図２）。しかしながら、各階層のブロック（メモリ）の数及び階層の数（深さ）はこれに限定されず、任意である。
【0117】
また、上記第１及び第２の実施形態では、
・ＬｅｖｅｌＡの階層：第３階層ブロック、
・ＬｅｖｅｌＢの階層：第２階層ブロック、
・ＬｅｖｅｌＣの階層：第１階層ブロック、
としたが、各階層の定義はこれに限定されず、例えば、
・ＬｅｖｅｌＡの階層：チップ、
・ＬｅｖｅｌＢの階層：第３階層ブロック、
・ＬｅｖｅｌＣの階層：第２階層ブロック、
・ＬｅｖｅｌＤの階層：第１階層ブロック、
としてもよいし、
・ＬｅｖｅｌＡの階層：チップ及び第３階層ブロック、
・ＬｅｖｅｌＢの階層：第２階層ブロック、
・ＬｅｖｅｌＣの階層：第１階層ブロック、
としてもよい。
・ＬｅｖｅｌＡの階層：第３階層ブロック、
・ＬｅｖｅｌＢの階層：第２階層ブロック、
・ＬｅｖｅｌＣの階層：第１階層ブロック、
としたが、各階層の定義はこれに限定されず、例えば、
・ＬｅｖｅｌＡの階層：チップ、
・ＬｅｖｅｌＢの階層：第３階層ブロック、
・ＬｅｖｅｌＣの階層：第２階層ブロック、
・ＬｅｖｅｌＤの階層：第１階層ブロック、
としてもよいし、
・ＬｅｖｅｌＡの階層：チップ及び第３階層ブロック、
・ＬｅｖｅｌＢの階層：第２階層ブロック、
・ＬｅｖｅｌＣの階層：第１階層ブロック、
としてもよい。
【0118】
なお、メモリが属する階層は、最下層に限定されず、他の階層に変わってもよい。また、最上位のメモリを束ねる構造（例えば、チップ）、チップを束ねる構造（例えば、ノード）、ノードを束ねる構造といった階層を定義して、上記第１及び第２の実施形態を適用してもよい。
【0119】
また、上記第１及び第２の実施形態において、サーバ装置１２０の用途について言及しなかったが、サーバ装置１２０は、例えば、機械学習モデルの訓練に用いられる訓練装置として機能してもよい。この場合、スケジューリングされる計算は機械学習モデルの訓練の際の計算を含む。機械学習モデルの訓練の際には過去の計算結果を用いる場合が多いため、本発明によれば効率的に機械学習モデルを訓練し、訓練済みの機械学習モデルを得ることができる。
【0120】
［その他の実施形態］
本明細書（請求項を含む）において、「ａ、ｂ及びｃの少なくとも１つ（一方）」又は「ａ、ｂ又はｃの少なくとも１つ（一方）」の表現（同様な表現を含む）が用いられる場合は、ａ、ｂ、ｃ、ａ－ｂ、ａ－ｃ、ｂ－ｃ、又はａ－ｂ－ｃのいずれかを含む。また、ａ－ａ、ａ－ｂ－ｂ、ａ－ａ－ｂ－ｂ－ｃ－ｃ等のように、いずれかの要素について複数のインスタンスを含んでもよい。さらに、ａ－ｂ－ｃ－ｄのようにｄを有する等、列挙された要素（ａ、ｂ及びｃ）以外の他の要素を加えることも含む。
本明細書（請求項を含む）において、「ａ、ｂ及びｃの少なくとも１つ（一方）」又は「ａ、ｂ又はｃの少なくとも１つ（一方）」の表現（同様な表現を含む）が用いられる場合は、ａ、ｂ、ｃ、ａ－ｂ、ａ－ｃ、ｂ－ｃ、又はａ－ｂ－ｃのいずれかを含む。また、ａ－ａ、ａ－ｂ－ｂ、ａ－ａ－ｂ－ｂ－ｃ－ｃ等のように、いずれかの要素について複数のインスタンスを含んでもよい。さらに、ａ－ｂ－ｃ－ｄのようにｄを有する等、列挙された要素（ａ、ｂ及びｃ）以外の他の要素を加えることも含む。
【0121】
また、本明細書（請求項を含む）において、「データを入力として／データに基づいて／に従って／に応じて」等の表現（同様な表現を含む）が用いられる場合は、特に断りがない場合、各種データそのものを入力として用いる場合や、各種データに何らかの処理を行ったもの（例えば、ノイズ加算したもの、正規化したもの、各種データの中間表現等）を入力として用いる場合を含む。また「データに基づいて／に従って／に応じて」何らかの結果が得られる旨が記載されている場合、当該データのみに基づいて当該結果が得られる場合を含むとともに、当該データ以外の他のデータ、原因、条件、及び／又は状態等にも影響を受けて当該結果が得られる場合をも含み得る。また、「データを出力する」旨が記載されている場合、特に断りがない場合、各種データそのものを出力として用いる場合や、各種データに何らかの処理を行ったもの（例えば、ノイズ加算したもの、正規化したもの、各種データの中間表現等）を出力とする場合も含む。
【0122】
また、本明細書（請求項を含む）において、「接続される（connected）」及び「結合される（coupled）」との用語が用いられる場合は、直接的な接続／結合、間接的な接続／結合、電気的（electrically）な接続／結合、通信的（communicatively）な接続／結合、機能的（operatively）な接続／結合、物理的（physically）な接続／結合等のいずれをも含む非限定的な用語として意図される。当該用語は、当該用語が用いられた文脈に応じて適宜解釈されるべきであるが、意図的に或いは当然に排除されるのではない接続／結合形態は、当該用語に含まれるものして非限定的に解釈されるべきである。
【0123】
また、本明細書（請求項を含む）において、「ＡがＢするよう構成される（A configured to B）」との表現が用いられる場合は、要素Ａの物理的構造が、動作Ｂを実行可能な構成を有するとともに、要素Ａの恒常的（permanent）又は一時的（temporary）な設定（setting/configuration）が、動作Ｂを実際に実行するように設定（configured/set）されていることを含んでよい。例えば、要素Ａが汎用プロセッサである場合、当該プロセッサが動作Ｂを実行可能なハードウェア構成を有するとともに、恒常的（permanent）又は一時的（temporary）なプログラム（命令）の設定により、動作Ｂを実際に実行するように設定（configured）されていればよい。また、要素Ａが専用プロセッサ又は専用演算回路等である場合、制御用命令及びデータが実際に付属しているか否かとは無関係に、当該プロセッサの回路的構造が動作Ｂを実際に実行するように構築（implemented）されていればよい。
【0124】
また、本明細書（請求項を含む）において、含有又は所有を意味する用語（例えば、「含む（comprising/including）」及び「有する（having）」等）が用いられる場合は、当該用語の目的語により示される対象物以外の物を含有又は所有する場合を含む、open-endedな用語として意図される。これらの含有又は所有を意味する用語の目的語が数量を指定しない又は単数を示唆する表現（a又はanを冠詞とする表現）である場合は、当該表現は特定の数に限定されないものとして解釈されるべきである。
【0125】
また、本明細書（請求項を含む）において、ある箇所において「１つ又は複数（one or more）」又は「少なくとも１つ（at least one）」等の表現が用いられ、他の箇所において数量を指定しない又は単数を示唆する表現（a又はanを冠詞とする表現）が用いられているとしても、後者の表現が「１つ」を意味することを意図しない。一般に、数量を指定しない又は単数を示唆する表現（a又はanを冠詞とする表現）は、必ずしも特定の数に限定されないものとして解釈されるべきである。
【0126】
また、本明細書において、ある実施例の有する特定の構成について特定の効果（advantage/result）が得られる旨が記載されている場合、別段の理由がない限り、当該構成を有する他の１つ又は複数の実施例についても当該効果が得られると理解されるべきである。但し当該効果の有無は、一般に種々の原因、条件、及び／又は状態等に依存し、当該構成により必ず当該効果が得られるものではないと理解されるべきである。当該効果は、種々の原因、条件、及び／又は状態等が満たされたときに実施例に記載の当該構成により得られるものに過ぎず、当該構成又は類似の構成を規定したクレームに係る発明において、当該効果が必ずしも得られるものではない。
【0127】
本明細書（請求項を含む）において、「最適化する（optimize）／最適化（optimization）」等の用語が用いられる場合は、グローバルな最適値を求めること、グローバルな最適値の近似値を求めること、ローカルな最適値を求めること、及びローカルな最適値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最適値の近似値を確率的又はヒューリスティックに求めることを含む。
【0128】
また、本明細書（請求項を含む）において、複数のハードウェアが所定の処理を行う場合、各ハードウェアが協働して所定の処理を行ってもよいし、一部のハードウェアが所定の処理の全てを行ってもよい。また、一部のハードウェアが所定の処理の一部を行い、別のハードウェアが所定の処理の残りを行ってもよい。本明細書（請求項を含む）において、「１又は複数のハードウェアが第１の処理を行い、前記１又は複数のハードウェアが第２の処理を行う」等の表現が用いられている場合、第１の処理を行うハードウェアと第２の処理を行うハードウェアは同じものであってもよいし、異なるものであってもよい。つまり、第１の処理を行うハードウェア及び第２の処理を行うハードウェアが、前記１又は複数のハードウェアに含まれていればよい。なお、ハードウェアは、電子回路、又は、電子回路を含む装置等を含んでよい。
【0129】
また、本明細書（請求項を含む）において、複数の記憶装置（メモリ）がデータの記憶を行う場合、複数の記憶装置（メモリ）のうち個々の記憶装置（メモリ）は、データの一部のみを記憶してもよいし、データの全体を記憶してもよい。
【0130】
以上、本開示の実施形態について詳述したが、本開示は上記した個々の実施形態に限定されるものではない。特許請求の範囲に規定された内容及びその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲において種々の追加、変更、置き換え及び部分的削除等が可能である。例えば、前述した全ての実施形態において、数値又は数式を説明に用いている場合は、一例として示したものであり、これらに限られるものではない。また、実施形態における各動作の順序は、一例として示したものであり、これらに限られるものではない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】