特開 2022-90867 情報処理装置、プログラムおよび情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022090867

(43)【公開日】2022-06-20

(54)【発明の名称】情報処理装置、プログラムおよび情報処理システム

(51)【国際特許分類】

   G06F 9/50 20060101AFI20220613BHJP

   G06F 11/07 20060101ALI20220613BHJP

【ＦＩ】

G06F9/50 150Z

G06F11/07 196

G06F11/07 140A

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2020203429

(22)【出願日】2020-12-08

(71)【出願人】

【識別番号】518133201

【氏名又は名称】富士通クライアントコンピューティング株式会社

(74)【代理人】

【識別番号】110002918

【氏名又は名称】特許業務法人扶桑国際特許事務所

(72)【発明者】

【氏名】石田 智弘

【テーマコード（参考）】

5B042

【Ｆターム（参考）】

5B042MA08

5B042MC22

(57)【要約】

【課題】処理の停止時間を短縮することができる。
【解決手段】情報処理装置１０は、学習済みモデルを実行する計算装置１ａ，１ｂ，・・・を監視する。そして、情報処理装置１０は、第１モデルを実行する第１計算装置の第１モデルを実行するためのリソース不足が検出された場合、第２計算装置に、第１モデルのパラメータの精度を下げた第１量子化モデルを実行させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

学習済みモデルを実行する複数の計算装置を監視し、前記複数の計算装置のうちの第１モデルを実行する第１計算装置の前記第１モデルを実行するためのリソース不足が検出された場合、前記複数の計算装置のうちの第２計算装置に、前記第１モデルのパラメータの精度を下げた第１量子化モデルを実行させる処理部、
を有する情報処理装置。

【請求項2】

前記処理部は、前記第１計算装置の故障による前記リソース不足が検出された場合、前記第１量子化モデルを、前記複数の計算装置のうち、前記第１計算装置以外の前記第２計算装置に実行させる、
請求項１記載の情報処理装置。

【請求項3】

前記処理部は、前記リソース不足が検出された場合、前記第２計算装置の空きリソース量に基づいて、前記第２計算装置が前記第１モデルを実行可能か否かを判定し、前記第２計算装置が前記第１モデルを実行可能の場合、前記第２計算装置に前記第１モデルを実行させ、前記第２計算装置が前記第１モデルを実行不可能の場合、前記第２計算装置に前記第１量子化モデルを実行させる、
請求項２記載の情報処理装置。

【請求項4】

前記処理部は、前記リソース不足が検出された場合、前記第２計算装置の空きリソース量に基づいて、前記第２計算装置が前記第１量子化モデルを実行可能か否かを判定し、前記第２計算装置が前記第１量子化モデルを実行可能の場合、前記第２計算装置に前記第１量子化モデルを実行させ、前記第２計算装置が前記第１量子化モデルを実行不可能の場合、前記第２計算装置に、前記第２計算装置が実行する第２モデルの実行を停止させ、前記第１量子化モデルと前記第２モデルのパラメータの精度を下げた第２量子化モデルとを実行させる、
請求項２または３記載の情報処理装置。

【請求項5】

前記処理部は、前記複数の計算装置が実行する学習済みモデルそれぞれの優先度に基づいて前記第２計算装置を決定する、
請求項２ないし４のいずれかに記載の情報処理装置。

【請求項6】

コンピュータに、
学習済みモデルを実行する複数の計算装置を監視し、
前記複数の計算装置のうちの第１モデルを実行する第１計算装置の前記第１モデルを実行するためのリソース不足が検出された場合、前記複数の計算装置のうちの第２計算装置に、前記第１モデルのパラメータの精度を下げた第１量子化モデルを実行させる、
処理を実行させるプログラム。

【請求項7】

学習済みモデルを実行する複数の計算装置と、
前記複数の計算装置を監視し、前記複数の計算装置のうちの第１モデルを実行する第１計算装置の前記第１モデルを実行するためのリソース不足が検出された場合、前記複数の計算装置のうちの第２計算装置に、前記第１モデルのパラメータの精度を下げた第１量子化モデルを実行させる情報処理装置と、
を有する情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、プログラムおよび情報処理システムに関する。

【背景技術】

【0002】

近年、ＡＩ（Artificial Intelligence）を用いた推論処理や画像処理が普及している。このような推論処理や画像処理は、複数の計算装置を有するシステムで実行されることが多い。例えば、複数の計算装置それぞれは、多段階の処理の各段階の処理などを実行する。

【0003】

複数の計算装置を用いた処理に関する技術としては、例えば、処理負荷を適宜分散させ、推論処理を効率的に行う推論処理システムが提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第６６１４３７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

複数の計算装置を有するシステムにおいて、故障などによるリソース不足で計算装置が処理を実行できなくなることがある。リソース不足となった計算装置が実行していた処理が、当該計算装置が復旧するまで停止していると、処理の停止時間が長くなる。

【0006】

１つの側面では、本件は、処理の停止時間を短縮することを目的とする。

【課題を解決するための手段】

【0007】

１つの案では、処理部を有する情報処理装置が提供される。処理部は、学習済みモデルを実行する複数の計算装置を監視し、複数の計算装置のうちの第１モデルを実行する第１計算装置の第１モデルを実行するためのリソース不足が検出された場合、複数の計算装置のうちの第２計算装置に、第１モデルのパラメータの精度を下げた第１量子化モデルを実行させる。

【発明の効果】

【0008】

１態様によれば、処理の停止時間を短縮することができる。

【図面の簡単な説明】

【0009】

【図1】第１の実施の形態に係る情報処理システムの一例を示す図である。

【図2】第２の実施の形態に係る情報処理システムの一例を示す図である。

【図3】情報処理装置および計算装置のハードウェアの一構成例を示す図である。

【図4】情報処理装置および計算装置の機能例を示すブロック図である。

【図5】モデルリストの一例を示す図である。

【図6】量子化の一例を示す図である。

【図7】実行管理処理の一例を示す図である。

【図8】代替実行指示の一例を示すシーケンス図である。

【図9】実行管理処理の手順の一例を示すフローチャートである。

【図10】モデルの処理内容とモデルの優先度との関係の一例を示す図である。

【発明を実施するための形態】

【0010】

以下、本実施の形態について図面を参照して説明する。なお各実施の形態は、矛盾のない範囲で複数の実施の形態を組み合わせて実施することができる。
〔第１の実施の形態〕
図１は、第１の実施の形態に係る情報処理システムの一例を示す図である。第１の実施の形態は、計算装置１ａ，１ｂ，・・・による学習済みモデルの実行を管理するものである。

【0011】

第１の実施の形態の情報処理システムは、計算装置１ａ，１ｂ，・・・と情報処理装置１０とを有する。計算装置１ａ，１ｂ，・・・は、学習済みモデルを実行するコンピュータである。学習済みモデルは、入力に対して好ましい出力となるよう機械学習によってパラメータを調整されたモデルである。例えば、学習済みモデルは、重みが調整されたニューラルネットワークである。また、計算装置１ａ，１ｂ，・・・は、並列処理のためのコプロセッサを有していてもよい。情報処理装置１０は、計算装置１ａ，１ｂ，・・・による学習済みモデルの実行を管理するコンピュータである。情報処理装置１０は、処理部１１を有する。例えば、処理部１１は、情報処理装置１０が有するプロセッサ、または演算回路である。

【0012】

処理部１１は、計算装置１ａ，１ｂ，・・・を監視する。例えば、処理部１１は、計算装置１ａ，１ｂ，・・・それぞれのリソースの使用状況の取得や、計算装置１ａ，１ｂ，・・・それぞれの異常の検出をする。計算装置１ａ，１ｂ，・・・それぞれのリソースは、例えば、計算装置１ａ，１ｂ，・・・それぞれが有するメモリ、プロセッサ、コプロセッサ等である。

【0013】

処理部１１は、計算装置１ａ，１ｂ，・・・のうちの第１モデルを実行する第１計算装置の第１モデルを実行するためのリソース不足が検出された場合、計算装置１ａ，１ｂ，・・・のうちの第２計算装置に第１量子化モデルを実行させる。第１量子化モデルは、第１モデルのパラメータの精度を下げたモデルである。例えば、第１量子化モデルのパラメータは、第１モデルのパラメータが、第１モデルのパラメータのデータ型よりも小さいサイズのデータ型で表現されたものである。ここで、第１計算装置と第２計算装置とは、同じ計算装置であってもよいし別の計算装置であってもよい。ただし、処理部１１は、第１計算装置の故障によるリソース不足が検出された場合、計算装置１ａ，１ｂ，・・・のうち、第１計算装置以外の第２計算装置に、以下のように代替実行指示をする。

【0014】

処理部１１は、第２計算装置の空きリソース量に基づいて、第２計算装置が第１モデルを実行可能か否かを判定する。第２計算装置の空きリソース量は、第２計算装置が最大で使用可能なリソース量と第２計算装置が使用しているリソース量との差である。

【0015】

例えば、処理部１１は、第２計算装置の空きリソース量と、第２計算装置が第１モデルを実行する場合に使用するリソース量（第１モデルリソース量）とを比較する。処理部１１は、第２計算装置の空きリソース量が第１モデルリソース量以上（空きリソース量≧第１モデルリソース量）の場合、第２計算装置が第１モデルを実行可能と判定する。また、処理部１１は、第２計算装置の空きリソース量が第１モデルリソース量未満（第１モデルリソース量＞空きリソース量）の場合、第２計算装置が第１モデルを実行不可能と判定する。処理部１１は、第２計算装置が第１モデルを実行可能の場合、第２計算装置に第１モデルを実行させる。

【0016】

処理部１１は、第２計算装置が第１モデルを実行不可能の場合、第２計算装置の空きリソース量に基づいて、第２計算装置が第１量子化モデルを実行可能か否かを判定する。例えば、処理部１１は、第２計算装置の空きリソース量と、第２計算装置が第１量子化モデルを実行する場合に使用するリソース量（第１量子化モデルリソース量）とを比較する。処理部１１は、第２計算装置の空きリソース量が第１量子化モデルリソース量以上（空きリソース量≧第１量子化モデルリソース量）の場合、第２計算装置が第１量子化モデルを実行可能と判定する。また、処理部１１は、第２計算装置の空きリソース量が第１量子化モデルリソース量未満（第１量子化モデルリソース量＞空きリソース量）の場合、第２計算装置が第１モデルを実行不可能と判定する。処理部１１は、第２計算装置が第１量子化モデルを実行可能の場合、第２計算装置に第１量子化モデルを実行させる。

【0017】

処理部１１は、第２計算装置が第１量子化モデルを実行不可能の場合、第２計算装置に、第２計算装置が実行する第２モデルの実行を停止させ、第１量子化モデルと第２量子化モデルとを実行させる。第２量子化モデルは、第２モデルのパラメータの精度を下げたモデルである。例えば、第２量子化モデルのパラメータは、第２モデルのパラメータが、第２モデルのパラメータのデータ型よりも小さいサイズのデータ型で表現されたものである。

【0018】

第１の実施の形態によれば、情報処理装置１０の処理部１１は、学習済みモデルを実行する計算装置１ａ，１ｂ，・・・を監視する。そして、処理部１１は、第１モデルを実行する第１計算装置の第１モデルを実行するためのリソース不足が検出された場合、第２計算装置に、第１モデルのパラメータの精度を下げた第１量子化モデルを実行させる。

【0019】

これにより、情報処理装置１０は、第１計算装置のリソース不足が解消されるより前に、第１計算装置が実行していた処理を第２計算装置に実行させることができる。よって、情報処理装置１０は、第１計算装置が実行していた処理の停止時間を短縮できる。

【0020】

また、処理部１１は、第１計算装置の故障によるリソース不足が検出された場合、第１量子化モデルを、計算装置１ａ，１ｂ，・・・のうち、第１計算装置以外の第２計算装置に実行させる。これにより、情報処理装置１０は、第２計算装置に第１モデルを実行するためのリソースの余裕がない場合であっても、第１計算装置が実行していた処理を第２計算装置に実行させることができる。

【0021】

また、処理部１１は、第１計算装置の第１モデルを実行するためのリソース不足が検出された場合、第２計算装置の空きリソース量に基づいて、第２計算装置が第１モデルを実行可能か否かを判定する。処理部１１は、第２計算装置が第１モデルを実行可能の場合、第２計算装置に第１モデルを実行させる。処理部１１は、第２計算装置が第１モデルを実行不可能の場合、第２計算装置に第１量子化モデルを実行させる。これにより、情報処理装置１０は、第２計算装置のリソースに余裕がある場合、第１計算装置が実行していた処理の精度を低下させずに第２計算装置に実行させることができる。

【0022】

また、処理部１１は、第１計算装置の第１モデルを実行するためのリソース不足が検出された場合、第２計算装置の空きリソース量に基づいて、第２計算装置が第１量子化モデルを実行可能か否かを判定する。処理部１１は、第２計算装置が第１量子化モデルを実行可能の場合、第２計算装置に第１量子化モデルを実行させる。処理部１１は、第２計算装置が第１量子化モデルを実行不可能の場合、第２計算装置に、第２計算装置が実行する第２モデルの実行を停止させ、第１量子化モデルと第２モデルのパラメータの精度を下げた第２量子化モデルとを実行させる。これにより、情報処理装置１０は、第２計算装置に第１量子化モデルを実行するためのリソースの余裕がない場合であっても、第１計算装置が実行していた処理を第２計算装置に実行させることができる。

【0023】

なお、処理部１１は、計算装置１ａ，１ｂ，・・・が実行する学習済みモデルそれぞれの優先度に基づいて第２計算装置を決定してもよい。これにより、情報処理装置１０は、計算装置１ａ，１ｂ，・・・のうち比較的重要でない処理を実行している計算装置に第１計算装置が実行していた処理を実行させることができる。

【0024】

〔第２の実施の形態〕
次に、第２の実施の形態について説明する。第２の実施の形態は、複数の計算装置の学習済みモデルの実行を管理するものである。

【0025】

図２は、第２の実施の形態に係る情報処理システムの一例を示す図である。第２の実施の形態の情報処理システムは、情報処理装置１００、計算装置２００－１，２００－２，２００－３，２００－４，２００－５，２００－６およびＰＣＩｅ（Peripheral Component Interconnect express：登録商標）ブリッジボード３００を有する。なお、第２の実施の形態の計算装置は計算装置２００－１～２００－６の６台としているが、任意の台数の計算装置がＰＣＩｅブリッジボード３００に接続可能である。

【0026】

情報処理装置１００は、計算装置２００－１～２００－６にＡＩ推論処理や画像処理の学習済みモデルで示される処理を実行させ、ＡＩ推論処理や画像処理の結果を用いたサービスを提供するコンピュータである。例えば、情報処理装置１００は、動画から不審者を検出するサービスを提供する。なお、以下では、学習済みモデルをモデルといい、モデルで示される処理を実行することをモデルを実行するという。

【0027】

情報処理装置１００は、計算装置２００－１～２００－６のモデルの実行状況を監視する。そして、情報処理装置１００は、計算装置２００－１～２００－６のいずれかが故障した場合、故障した計算装置以外の計算装置に、故障した計算装置が実行していた処理を代替実行させる。また、情報処理装置１００は、プロセッサ１０１を有する。

【0028】

計算装置２００－１～２００－６は、情報処理装置１００の指示に従って、ＡＩ推論処理や画像処理のモデルを実行する。なお、計算装置２００－１～２００－６は、それぞれ別のモデルを実行していてもよいし、計算装置２００－１～２００－６の一部が同じモデルを実行していてもよい。また、計算装置２００－１～２００－６は、プロセッサ２０１－１～２０１－６をそれぞれ有する。ＰＣＩｅブリッジボード３００は、拡張バス（例えば、情報処理装置１００および計算装置２００－１～２００－６の拡張バスとして機能するバス）を有し、拡張バスを介した通信を中継する。

【0029】

情報処理装置１００および計算装置２００－１～２００－６は、ＰＣＩｅブリッジボード３００に通信可能に接続されている。具体的には、情報処理装置１００は、２つのＲＣを用いて（例えば、２つのＰＣＩｅインタフェースをＲＣとして機能させて）ＰＣＩｅブリッジボード３００に搭載されている２つのＥＰと接続されている。ＥＰは、拡張バスの末端機器（デバイス）として認識されるスレイブ側の接続部であり、ＲＣは、ＥＰ側を末端機器として認識して拡張バスを介した通信を制御するマスター側の接続部である。

【0030】

なお、情報処理装置１００は、ホストＰＣとして機能するため、データの送受信量が大きくなることが想定されることから２つのＲＣを用いてＰＣＩｅブリッジボード３００と接続されている。このように２つのＲＣと２つのＥＰとが接続されているため、情報処理装置１００は、データの通信経路を適切に振り分けることで（即ち、いずれのＲＣ－ＥＰ間で通信するか決定することで）広い通信帯域の通信を行うことができる。なお、情報処理装置１００は、１つのＲＣを用いてＰＣＩｅブリッジボード３００に搭載されている１つのＥＰと接続されていてもよい。また、計算装置２００－１～２００－６は、１つのＲＣを用いてＰＣＩｅブリッジボード３００に搭載されている１つのＥＰと接続されている。

【0031】

なお、プロセッサ１０１，２０１－１～２０１－６は、それぞれ同じメーカ（またはベンダ）から提供されてもよいし、違うメーカから提供されてもよい。例えば、プロセッサ１０１は、Ａ社が提供するものであり、プロセッサ２０１－１は、Ｂ社が提供するものであり、プロセッサ２０１－２は、Ｃ社が提供するものであり、プロセッサ２０１－３は、Ｄ社が提供するものであるものとすることができる。また、プロセッサ２０１－４は、Ｅ社が提供するものであり、プロセッサ２０１－５は、Ｆ社が提供するものであり、プロセッサ２０１－６は、Ｇ社が提供するものであるものとすることができる。

【0032】

図３は、情報処理装置および計算装置のハードウェアの一構成例を示す図である。情報処理装置１００は、プロセッサ１０１によって装置全体が制御されている。プロセッサ１０１には、バス１０９を介してメモリ１０２と複数の周辺機器が接続されている。プロセッサ１０１は、マルチプロセッサであってもよい。プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、またはＤＳＰ（Digital Signal Processor）である。プロセッサ１０１がプログラムを実行することで実現する機能の少なくとも一部を、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）などの電子回路で実現してもよい。

【0033】

メモリ１０２は、情報処理装置１００の主記憶装置として使用される。メモリ１０２には、プロセッサ１０１に実行させるＯＳのプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、メモリ１０２には、プロセッサ１０１による処理に利用する各種データが格納される。メモリ１０２としては、例えば、ＲＡＭ（Random Access Memory）などの揮発性の半導体記憶装置が使用される。

【0034】

バス１０９に接続されている周辺機器としては、ストレージ装置１０３、グラフィック処理装置１０４、入力インタフェース１０５、媒体リーダ１０６およびネットワークインタフェース１０７がある。また、バス１０９に接続されている周辺機器としては、ＰＣＩｅインタフェース１０８－１，１０８－２がある。

【0035】

ストレージ装置１０３は、内蔵した記録媒体に対して、電気的または磁気的にデータの書き込みおよび読み出しを行う。ストレージ装置１０３は、情報処理装置１００の補助記憶装置として使用される。ストレージ装置１０３には、ＯＳ（Operating System）のプログラム、アプリケーションプログラム、および各種データが格納される。なお、ストレージ装置１０３としては、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）を使用することができる。

【0036】

グラフィック処理装置１０４には、モニタ２１が接続されている。グラフィック処理装置１０４は、プロセッサ１０１からの命令に従って、画像をモニタ２１の画面に表示させる。モニタ２１としては、有機ＥＬ（Electro Luminescence）を用いた表示装置や液晶表示装置などがある。

【0037】

入力インタフェース１０５は、情報処理装置１００に接続された入力デバイス２２から入力信号を取得し、プロセッサ１０１に出力する。入力デバイス２２としては、マウス・タッチパネル・タッチパッド・トラックボールなどのポインティングデバイス、キーボード、リモートコントローラ、ボタンスイッチなどを用いることができる。また、情報処理装置１００に、複数の種類の入力デバイスが接続されていてもよい。

【0038】

媒体リーダ１０６は、記録媒体２３に記録されたプログラムやデータを読み取る読み取り装置である。記録媒体２３として、例えば、磁気ディスク、光ディスク、光磁気ディスク（ＭＯ：Magneto-Optical disk）、半導体メモリなどを使用できる。磁気ディスクには、フレキシブルディスク（ＦＤ：Flexible Disk）やＨＤＤが含まれる。光ディスクには、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）が含まれる。

【0039】

ネットワークインタフェース１０７は、ネットワーク２０に接続されている。ネットワークインタフェース１０７は、ネットワーク２０を介して、他の装置との間でデータの送受信を行う。ＰＣＩｅインタフェース１０８－１，１０８－２は、ＰＣＩｅブリッジボード３００に接続されている。ＰＣＩｅインタフェース１０８－１，１０８－２は、ＰＣＩｅブリッジボード３００を介して、他の装置との間でデータの送受信を行う。

【0040】

計算装置２００－１は、プロセッサ２０１－１によって装置全体が制御されている。プロセッサ２０１－１には、バス２０６－１を介してメモリ２０２－１と複数の周辺機器が接続されている。プロセッサ２０１－１は、マルチプロセッサであってもよい。プロセッサ２０１－１は、例えば、ＣＰＵ、ＭＰＵ、またはＤＳＰである。プロセッサ２０１－１がプログラムを実行することで実現する機能の少なくとも一部を、ＡＳＩＣ、ＰＬＤなどの電子回路で実現してもよい。

【0041】

メモリ２０２－１は、計算装置２００－１の主記憶装置として使用される。メモリ２０２－１には、プロセッサ２０１－１に実行させるＯＳのプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、メモリ２０２－１には、プロセッサ２０１－１による処理に利用する各種データが格納される。メモリ２０２－１としては、例えば、ＲＡＭなどの揮発性の半導体記憶装置が使用される。

【0042】

バス２０６－１に接続されている周辺機器としては、不揮発性メモリ２０３－１、コプロセッサ２０４－１およびＰＣＩｅインタフェース２０５－１がある。不揮発性メモリ２０３－１は、内蔵した記録媒体に対して、電気的または磁気的にデータの書き込みおよび読み出しを行う。不揮発性メモリ２０３－１は、コンピュータの補助記憶装置として使用される。不揮発性メモリ２０３－１には、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。なお、不揮発性メモリ２０３－１としては、例えば、フラッシュメモリを使用することができる。

【0043】

コプロセッサ２０４－１は、並列演算処理に適したプロセッサである。コプロセッサ２０４－１としては、例えば、ＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）を使用することができる。

【0044】

ＰＣＩｅインタフェース２０５－１は、ＰＣＩｅブリッジボード３００に接続されている。ＰＣＩｅインタフェース２０５－１は、ＰＣＩｅブリッジボード３００を介して、他の装置との間でデータの送受信を行う。

【0045】

情報処理装置１００および計算装置２００－１は、以上のようなハードウェア構成によって、第２の実施の形態の処理機能を実現することができる。なお、第１の実施の形態に示した情報処理装置１０も、図３に示した情報処理装置１００と同様のハードウェアにより実現することができる。また、プロセッサ１０１は、第１の実施の形態に示した処理部１１の一例である。また、計算装置２００－２～２００－６および第１の実施の形態に示した計算装置１ａ，１ｂ，・・・も、図３に示した計算装置２００－１と同様のハードウェアにより実現することができる。

【0046】

情報処理装置１００は、例えば、コンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、第２の実施の形態の処理機能を実現する。情報処理装置１００に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、情報処理装置１００に実行させるプログラムをストレージ装置１０３に格納しておくことができる。プロセッサ１０１は、ストレージ装置１０３内のプログラムの少なくとも一部をメモリ１０２にロードし、プログラムを実行する。また、情報処理装置１００に実行させるプログラムを、記録媒体２３に記録しておくこともできる。記録媒体２３に格納されたプログラムは、例えば、プロセッサ１０１からの制御により、ストレージ装置１０３にインストールされた後、実行可能となる。また、プロセッサ１０１が、記録媒体２３から直接プログラムを読み出して実行することもできる。

【0047】

図２に示す情報処理システムにおいて、情報処理装置１００は、計算装置２００－１～２００－６のモデルの実行を管理する。ここで、計算装置２００－１～２００－６のいずれか（例えば、計算装置２００－１）が故障した場合、計算装置２００－１が復旧するまでの間、計算装置２００－１が実行していた処理が停止してしまう。そのため、計算装置２００－２～２００－６の空きリソースを用いて、計算装置２００－１が実行していたモデルを実行することが考えられる。

【0048】

しかし、計算装置２００－２～２００－６は、それぞれモデルを実行しているため、空きリソースに余裕がないことが多い。そこで、第２の実施の形態では、情報処理装置１００は、計算装置２００－１が故障した場合、計算装置２００－１が実行していたモデルのパラメータの精度を下げた（量子化した）モデルを計算装置２００－２～２００－６のいずれかに実行させる。

【0049】

次に、情報処理装置１００の機能について詳細に説明する。
図４は、情報処理装置および計算装置の機能例を示すブロック図である。情報処理装置１００は、記憶部１１０、負荷検出部１２０および実行管理部１３０を有する。記憶部１１０は、メモリ１０２またはストレージ装置１０３の記憶領域を用いて実現される。負荷検出部１２０および実行管理部１３０は、メモリ１０２に記憶されたプログラムをプロセッサ１０１が実行することで実現される。

【0050】

記憶部１１０は、モデル１１１－１，１１１－２，・・・およびモデルリスト１１２を記憶する。モデル１１１－１，１１１－２，・・・は、計算装置２００－１～２００－６が実行するモデルである。また、モデル１１１－１，１１１－２，・・・は、計算装置２００－１～２００－６が実行するモデルを量子化したモデルを含む。モデルリスト１１２は、モデル１１１－１，１１１－２，・・・に関する情報が登録されている。

【0051】

負荷検出部１２０は、各計算装置の負荷状況を監視する。例えば、負荷検出部１２０は、計算装置２００－１～２００－６のコプロセッサの使用率を監視する。負荷検出部１２０は、監視結果に基づいて、計算装置２００－１～２００－６の、モデルを実行するためのリソース不足を検出する。例えば、負荷検出部１２０は、計算装置２００－１～２００－６のうち、コプロセッサを使用できていない計算装置がある場合、当該計算装置の故障によるリソース不足を検出する。

【0052】

実行管理部１３０は、負荷検出部１２０が計算装置２００－１～２００－６の故障によるリソース不足を検出した場合、故障した計算装置（故障計算装置）以外の計算装置に故障計算装置が実行していたモデル（故障計算装置のモデル）を代替実行させる。まず、実行管理部１３０は、モデルリスト１１２を参照し、故障計算装置以外の計算装置２００－１～２００－６のうち、最も優先度の低いモデルを実行中の計算装置を特定する。そして、実行管理部１３０は、特定した計算装置が中断できない処理を実行していない場合、特定した計算装置を、故障計算装置のモデルを代替実行させる計算装置（代替計算装置）に決定する。

【0053】

次に、実行管理部１３０は、代替計算装置が故障計算装置のモデルを追加実行可能か否かを判定する。例えば、実行管理部１３０は、モデルリスト１１２を参照し、計算装置２００－１～２００－６が故障計算装置のモデルを実行した場合のコプロセッサ使用率（故障計算装置のモデルのコプロセッサ使用率）を特定する。そして、実行管理部１３０は、代替計算装置のコプロセッサが空いている割合（コプロセッサの空き使用率）が故障計算装置のモデルのコプロセッサ使用率以上であれば、代替計算装置は故障計算装置のモデルを追加実行可能であると判定する。実行管理部１３０は、代替計算装置が故障計算装置のモデルを追加実行可能と判定した場合、モデル１１１－１，１１１－２，・・・のうちの故障計算装置のモデルを代替計算装置に送信し、追加実行を指示する。

【0054】

実行管理部１３０は、代替計算装置が故障計算装置のモデルを追加実行不可能と判定した場合、代替計算装置が故障計算装置のモデルを量子化したモデルを追加実行可能か否かを判定する。例えば、実行管理部１３０は、モデルリスト１１２を参照し、計算装置２００－１～２００－６が故障計算装置のモデルを量子化したモデルを実行した場合のコプロセッサ使用率（故障計算装置のモデルを量子化したモデルのコプロセッサ使用率）を特定する。そして、実行管理部１３０は、代替計算装置のコプロセッサの空き使用率が故障計算装置のモデルを量子化したモデルのコプロセッサ使用率以上であれば、代替計算装置は故障計算装置のモデルを量子化したモデルを追加実行可能であると判定する。実行管理部１３０は、代替計算装置が故障計算装置のモデルを量子化したモデルを追加実行可能と判定した場合、モデル１１１－１，１１１－２，・・・のうちの故障計算装置のモデルを量子化したモデルを代替計算装置に送信し、追加実行を指示する。

【0055】

また、実行管理部１３０は、代替計算装置が故障計算装置のモデルを量子化したモデルを追加実行不可能と判定した場合、代替計算装置が実行しているモデル（代替計算装置のモデル）を停止するよう代替計算装置に指示する。そして、実行管理部１３０は、モデル１１１－１，１１１－２，・・・のうちの故障計算装置のモデルを量子化したモデルと代替計算装置のモデルを量子化したモデルとを代替計算装置に送信し、実行を指示する。

【0056】

なお、第２の実施の形態では、計算装置２００－１～２００－６のコプロセッサ使用率に基づいた実行管理が行われるが、プロセッサ使用率、メモリ使用率等に基づいた実行管理が行われてもよい。また、計算装置２００－１～２００－６のプロセッサ使用率、メモリ使用率、コプロセッサ使用率の組み合わせに基づいた実行管理が行われてもよい。また、第２の実施の形態では、情報処理装置１００がモデル１１１－１，１１１－２，・・・を記憶し、計算装置２００－１～２００－６にモデルを送信して実行指示をしている。これに代えて、計算装置２００－１～２００－６それぞれがモデル１１１－１，１１１－２，・・・を記憶し、情報処理装置１００は、実行するモデルを計算装置２００－１～２００－６に指示するだけでもよい。

【0057】

なお、故障計算装置は、第１の実施の形態に示した、第１計算装置の一例である。また、故障計算装置のモデルは、第１の実施の形態に示した、第１モデルの一例である。また、故障計算装置のモデルを量子化したモデルは、第１の実施の形態に示した、第１量子化モデルの一例である。

【0058】

また、代替計算装置は、第１の実施の形態に示した、第２計算装置の一例である。また、代替計算装置のモデルは、第１の実施の形態に示した、第２モデルの一例である。また、代替計算装置のモデルを量子化したモデルは、第１の実施の形態に示した、第２量子化モデルの一例である。また、代替計算装置のコプロセッサの空き使用率は、第１の実施の形態に示した、第２計算装置の空きリソース量の一例である。

【0059】

図５は、モデルリストの一例を示す図である。モデルリスト１１２は、モデル名、使用率、モデル名（量子化）、使用率（量子化）および優先度の項目を有する。モデル名の項目には、モデルの名称が設定される。使用率の項目には、計算装置２００－１～２００－６がモデルを実行した場合のコプロセッサ使用率が設定される。例えば、使用率の項目には、計算装置２００－１～２００－６がモデルを事前に実行したときのコプロセッサ使用率が設定される。

【0060】

モデル名（量子化）の項目には、量子化したモデルの名称が設定される。使用率（量子化）の項目には、計算装置２００－１～２００－６が量子化したモデルを実行した場合のコプロセッサ使用率が設定される。例えば、使用率（量子化）の項目には、計算装置２００－１～２００－６が量子化したモデルを事前に実行したときのコプロセッサ使用率が設定される。また、例えば、使用率（量子化）の項目には、計算装置２００－１～２００－６がモデルを実行した場合のコプロセッサ使用率に基づいて予測される、計算装置２００－１～２００－６が量子化したモデルを実行した場合のコプロセッサ使用率が設定される。優先度の項目には、モデルの優先度が設定される。モデルリスト１１２では、モデルのコプロセッサ使用率が高いほど優先度が高く（つまり、優先度の項目の数値が低く）設定される。

【0061】

例えば、モデルリスト１１２には、モデル名の項目が「モデルＡ」、使用率の項目が「６０％」、モデル名（量子化）の項目が「モデルＡ^*」、使用率（量子化）の項目が「３０％」、優先度の項目が「６」である、モデルＡについてのレコードが登録されている。モデルＡについてのレコードは、計算装置２００－１～２００－６が「モデルＡ」を実行した場合のコプロセッサ使用率が「６０％」であることを示す。また、モデルＡについてのレコードは、計算装置２００－１～２００－６が「モデルＡ」を量子化した「モデルＡ^*」を実行した場合のコプロセッサ使用率が「３０％」であることを示す。また、モデルＡについてのレコードは、「モデルＡ」の優先度が「６」番目であることを示す。

【0062】

次に、量子化について説明する。
図６は、量子化の一例を示す図である。量子化後のモデルのパラメータは、量子化前のモデルのパラメータを、量子化前のモデルのパラメータのデータ型よりも小さいサイズのデータ型で表現したものである。モデルのパラメータは、例えば、ニューラルネットワークの重みである。図６の例では、数値データ４０は、量子化によって数値データ５０に変換される。なお、数値データは、例えば、仮数Ｍと指数Ｅによって、±Ｍ×２^Ｅの形式で数値を表現する。

【0063】

数値データ４０は、量子化前のモデルに含まれる１つのパラメータの数値を表現するための数値データである。数値データ４０は、３２ビットで表現される。数値データ４０は、符号部４１、指数部４２および仮数部４３を有する。

【0064】

符号部４１は、数値データ４０で表現される数値の正負を表現する。符号部４１は、１ビットである。指数部４２は、数値データ４０で表現される数値の指数を表現する。指数部４２は、８ビットである。仮数部４３は、数値データ４０で表現される数値の仮数を表現する。仮数部４３は、２３ビットである。

【0065】

数値データ５０は、量子化前のモデルにおいて数値データ４０で表現されるパラメータを、量子化後のモデルにおいて表現するための数値データである。数値データ５０は、１６ビットで表現される。数値データ５０は、符号部５１、指数部５２および仮数部５３を有する。

【0066】

符号部５１は、数値データ５０で表現される数値の正負を表現する。符号部５１は、１ビットである。指数部５２は、数値データ５０で表現される数値の指数を表現する。指数部５２は、５ビットである。仮数部５３は、数値データ５０で表現される数値の仮数を表現する。仮数部５３は、１０ビットである。

【0067】

このように、量子化後のモデルでは量子化前のモデルより数値データが小さくなるため、計算装置２００－１～２００－６は、量子化前のモデルを実行するよりも小さい計算負荷で、量子化後のモデルを実行できる。よって、計算装置２００－１～２００－６は、量子化前のモデルを実行するよりも小さいプロセッサ使用率、メモリ使用率、コプロセッサ使用率で、量子化後のモデルを実行できる。なお、上記では、３２ビットの数値データ４０が１６ビットの数値データ５０に変換されたが、数値データ４０が４ビットや８ビットで表現される整数の数値データに変換されてもよい。また、量子化によって、１６ビットの数値データ５０が４ビットや８ビットで表現される整数の数値データに変換されてもよい。また、量子化によって、８ビットで表現される整数の数値データが４ビットで表現される整数の数値データやバイナリ（０または１）に変換されてもよい。

【0068】

なお、量子化では、例えば、所定のＳＩＭＤ（Single Instruction Multiple Data）命令によって、数値データ４０が数値データ５０に変換される。情報処理装置１００が計算装置２００－１～２００－６が実行する各モデルを量子化してもよいし、他の装置が各モデルを量子化したものを情報処理装置１００が取得してもよい。また、情報処理装置１００や他の装置がＳＩＭＤ以外の命令によって計算装置２００－１～２００－６が実行する各モデルを量子化してもよい。

【0069】

次に、情報処理装置１００による計算装置２００－１～２００－６のモデルの実行管理処理について説明する。
図７は、実行管理処理の一例を示す図である。グラフ６１は、計算装置２００－１～２００－６それぞれのコプロセッサ使用率を示す。グラフ６１は、計算装置２００－１（計算装置＃１）がモデルＡを実行し、計算装置２００－１のコプロセッサ使用率が６０％であることを示す。また、グラフ６１は、計算装置２００－２（計算装置＃２）がモデルＢを実行し、計算装置２００－２のコプロセッサ使用率が９５％であることを示す。また、グラフ６１は、計算装置２００－３（計算装置＃３）がモデルＣを実行し、計算装置２００－３のコプロセッサ使用率が６５％であることを示す。

【0070】

また、グラフ６１は、計算装置２００－４（計算装置＃４）がモデルＤを実行し、計算装置２００－４のコプロセッサ使用率が８０％であることを示す。また、グラフ６１は、計算装置２００－５（計算装置＃５）がモデルＥを実行し、計算装置２００－５のコプロセッサ使用率が７０％であることを示す。また、グラフ６１は、計算装置２００－６（計算装置＃６）がモデルＦを実行し、計算装置２００－６のコプロセッサ使用率が７０％であることを示す。

【0071】

グラフ６１に示される状況で、計算装置２００－１の故障が検出された場合（つまり、計算装置２００－１が故障計算装置の場合）、情報処理装置１００の実行管理部１３０は、計算装置２００－２～２００－６から代替計算装置を決定する。例えば、実行管理部１３０は、最も優先度が低い（最もコプロセッサ使用率が低い）モデルを実行する、計算装置２００－３を代替計算装置に決定する。ここで、計算装置２００－３のコプロセッサの空き使用率が３５％であるため、計算装置２００－３は、コプロセッサ使用率が６０％であるモデルＡを追加実行できない。そこで、実行管理部１３０は、モデルＡを量子化したモデルＡ^*を計算装置２００－３に追加実行させる。

【0072】

グラフ６２は、計算装置２００－３がモデルＡ^*を追加実行した場合の、計算装置２００－１～２００－６それぞれのコプロセッサ使用率を示す。グラフ６２は、計算装置２００－３がモデルＣとモデルＡ^*とを実行し、計算装置２００－３のコプロセッサ使用率が９５％であることを示す。

【0073】

このように、実行管理部１３０は、故障計算装置のモデルを代替計算装置が追加実行できない場合であっても、故障計算装置のモデルを量子化したモデルを代替計算装置に追加実行させることができる。なお、代替計算装置が故障計算装置のモデルを量子化したモデルを実行できない場合、実行管理部１３０は、故障計算装置のモデルを量子化したモデルと代替計算装置のモデルを量子化したモデルとを代替計算装置に実行させる。

【0074】

次に、情報処理装置１００による代替実行指示をシーケンス図を用いて説明する。
図８は、代替実行指示の一例を示すシーケンス図である。図８では、計算装置２００－１が故障した場合に、計算装置２００－１の処理を計算装置２００－３に代替実行させる例を示す。なお、以下の例では、計算装置２００－２～２００－６のコプロセッサの空き使用率は、故障した計算装置２００－１が実行していたモデルのコプロセッサ使用率未満であるものとする。

【0075】

計算装置２００－１は、モデルＡを実行する（ステップＳ１１）。また、計算装置２００－３は、モデルＣを実行する（ステップＳ１２）。ここで、計算装置２００－１が故障したものとする（ステップＳ１３）。

【0076】

計算装置２００－３のコプロセッサの空き使用率がモデルＡを量子化したモデルＡ^*のコプロセッサ使用率以上（計算装置２００－３がモデルＡ^*を追加実行可能）の場合、実行管理部１３０は、モデルＡ^*を計算装置２００－３に送信する（ステップＳ１４）。そして、実行管理部１３０は、計算装置２００－３にモデルＡ^*を追加実行するよう指示する。計算装置２００－３は、実行管理部１３０からモデルＡ^*の追加実行指示を受けると、モデルＡ^*を追加実行する（ステップＳ１５）。つまり、ステップＳ１５では、計算装置２００－３は、モデルＣとモデルＡ^*とを実行する。

【0077】

計算装置２００－３のコプロセッサの空き使用率がモデルＡ^*のコプロセッサ使用率未満（計算装置２００－３がモデルＡ^*を追加実行不可能）の場合、実行管理部１３０は、計算装置２００－３にモデルＣの実行を停止するよう指示する（ステップＳ１６）。計算装置２００－３は、実行管理部１３０からモデルＣの実行停止指示を受けると、モデルＣの実行を停止する（ステップＳ１７）。実行管理部１３０は、モデルＡ^*とモデルＣを量子化したモデルＣ^*とを計算装置２００－３に送信する（ステップＳ１８）。そして、実行管理部１３０は、計算装置２００－３にモデルＡ^*とモデルＣ^*とを実行するよう指示する。計算装置２００－３は、実行管理部１３０からモデルＡ^*およびモデルＣ^*の実行指示を受けると、モデルＡ^*とモデルＣ^*とを実行する（ステップＳ１９）。

【0078】

このように、計算装置２００－１が故障し、計算装置２００－２～２００－６がモデルＡを追加実行できない場合であっても、計算装置２００－３がモデルＡ^*を実行する。よって、実行管理部１３０は、処理の停止時間を短縮させることができる。

【0079】

以下、情報処理装置１００が実行する処理の手順について、詳細に説明する。
図９は、実行管理処理の手順の一例を示すフローチャートである。以下、図９に示す処理をステップ番号に沿って説明する。

【0080】

［ステップＳ１０１］負荷検出部１２０は、各計算装置の負荷状況を監視する。例えば、負荷検出部１２０は、計算装置２００－１～２００－６のコプロセッサの使用率を監視する。

【0081】

［ステップＳ１０２］負荷検出部１２０は、ステップＳ１０１の監視結果に基づいて、計算装置２００－１～２００－６の、モデルを実行するためのリソース不足が検出されたか否かを判定する。例えば、負荷検出部１２０は、計算装置２００－１～２００－６のうち、コプロセッサを使用できていない計算装置がある場合、当該計算装置の故障によるリソース不足が検出されたと判定する。負荷検出部１２０は、リソース不足が検出されたと判定した場合、処理をステップＳ１０３に進める。また、負荷検出部１２０は、リソース不足が検出されなかったと判定した場合、処理をステップＳ１０１に進める。

【0082】

［ステップＳ１０３］実行管理部１３０は、計算装置２００－１～２００－６のうち、ステップＳ１０２で故障によるリソース不足が検出された計算装置（故障計算装置）以外で最も優先度の低いモデルを実行中の計算装置を選択する。例えば、実行管理部１３０は、モデルリスト１１２を参照し、故障計算装置が実行していたモデル（故障計算装置のモデル）以外で、優先度の項目の数値が最大のモデルを特定する。そして、実行管理部１３０は、特定したモデルを実行中の計算装置を選択する。なお、実行管理部１３０は、すでにステップＳ１０３で選択されたモデル以外のモデルを選択する。

【0083】

［ステップＳ１０４］実行管理部１３０は、ステップＳ１０３で選択した計算装置（選択計算装置）が代替処理可能か否かを判定する。例えば、実行管理部１３０は、選択計算装置が中断できない処理を実行している場合、選択計算装置が代替処理不可能と判定する。実行管理部１３０は、選択計算装置が代替処理可能と判定した場合、処理をステップＳ１０５に進める。また、実行管理部１３０は、選択計算装置が代替処理不可能と判定した場合、処理をステップＳ１０３に進める。

【0084】

［ステップＳ１０５］実行管理部１３０は、ステップＳ１０４で代替処理可能と判定された計算装置（代替計算装置）が故障計算装置のモデルを追加実行可能か否かを判定する。例えば、実行管理部１３０は、モデルリスト１１２の、故障計算装置のモデルのレコードの使用率の項目を参照し、故障計算装置のモデルのコプロセッサ使用率を特定する。そして、実行管理部１３０は、代替計算装置のコプロセッサの空き使用率が故障計算装置のモデルのコプロセッサ使用率以上であれば、代替計算装置は故障計算装置のモデルを追加実行可能であると判定する。実行管理部１３０は、代替計算装置が故障計算装置のモデルを追加実行可能と判定した場合、処理をステップＳ１０６に進める。また、実行管理部１３０は、代替計算装置が故障計算装置のモデルを追加実行不可能と判定した場合、処理をステップＳ１０７に進める。

【0085】

［ステップＳ１０６］実行管理部１３０は、モデル１１１－１，１１１－２，・・・のうちの故障計算装置のモデルを代替計算装置に送信し、追加実行を指示する。そして、処理が終了する。

【0086】

［ステップＳ１０７］実行管理部１３０は、代替計算装置が故障計算装置のモデルを量子化したモデルを追加実行可能か否かを判定する。例えば、実行管理部１３０は、モデルリスト１１２の、故障計算装置のモデルのレコードの使用率（量子化）の項目を参照し、故障計算装置のモデルを量子化したモデルのコプロセッサ使用率を特定する。そして、実行管理部１３０は、代替計算装置のコプロセッサの空き使用率が故障計算装置のモデルを量子化したモデルのコプロセッサ使用率以上であれば、代替計算装置は故障計算装置のモデルを量子化したモデルを追加実行可能であると判定する。実行管理部１３０は、代替計算装置が故障計算装置のモデルを量子化したモデルを追加実行可能と判定した場合、処理をステップＳ１０８に進める。また、実行管理部１３０は、代替計算装置が故障計算装置のモデルを量子化したモデルを追加実行不可能と判定した場合、処理をステップＳ１０９に進める。

【0087】

［ステップＳ１０８］実行管理部１３０は、モデルリスト１１２の、故障計算装置のモデルのレコードのモデル名（量子化）の項目を参照し、モデル１１１－１，１１１－２，・・・のうちの故障計算装置のモデルを量子化したモデルを特定する。実行管理部１３０は、故障計算装置のモデルを量子化したモデルを代替計算装置に送信し、追加実行を指示する。そして、処理が終了する。

【0088】

［ステップＳ１０９］実行管理部１３０は、代替計算装置が実行しているモデル（代替計算装置のモデル）を停止するよう代替計算装置に指示する。
［ステップＳ１１０］実行管理部１３０は、モデルリスト１１２の、故障計算装置のモデルのレコードのモデル名（量子化）の項目を参照し、モデル１１１－１，１１１－２，・・・のうちの故障計算装置のモデルを量子化したモデルを特定する。また、実行管理部１３０は、モデルリスト１１２の、代替計算装置のモデルのレコードのモデル名（量子化）の項目を参照し、モデル１１１－１，１１１－２，・・・のうちの代替計算装置のモデルを量子化したモデルを特定する。そして、実行管理部１３０は、故障計算装置のモデルを量子化したモデルと代替計算装置のモデルを量子化したモデルとを代替計算装置に送信し、実行を指示する。

【0089】

このように、実行管理部１３０は、故障によるリソース不足が検出されると、故障計算装置のモデルを実行させる代替計算装置を決定する。ここで、実行管理部１３０は、優先度が低いモデルを実行している計算装置を代替計算装置として決定する。優先度はモデルの処理負荷が大きいほど高く設定されているため、実行管理部１３０は、処理負荷が小さく比較的重要でない処理を実行している計算装置に故障計算装置が実行していた処理を実行させることができる。

【0090】

そして、実行管理部１３０は、代替計算装置のコプロセッサの空き使用率に応じて、故障計算装置の代替処理を代替計算装置に実行させる。実行管理部１３０は、代替計算装置のコプロセッサの空き使用率が故障計算装置のモデルのコプロセッサ使用率以上の場合、代替計算装置に故障計算装置のモデルを追加実行させる。これにより、実行管理部１３０は、コプロセッサの空き使用率に余裕がある場合、代替計算装置に故障計算装置が実行していた処理の精度を落とさずに代替実行させることができる。

【0091】

また、実行管理部１３０は、コプロセッサの空き使用率が故障計算装置のモデルのコプロセッサ使用率未満で故障計算装置のモデルを量子化したモデルのコプロセッサ使用率以上の場合、代替計算装置に故障計算装置のモデルを量子化したモデルを追加実行させる。これにより、実行管理部１３０は、コプロセッサの空き使用率に余裕がない場合であっても、代替計算装置に故障計算装置が実行していた処理を代替実行させることができる。

【0092】

また、実行管理部１３０は、コプロセッサの空き使用率が故障計算装置のモデルを量子化したモデルのコプロセッサ使用率未満の場合、代替計算装置に代替計算装置のモデルを量子化したモデルと故障計算装置のモデルを量子化したモデルとを実行させる。これにより、実行管理部１３０は、故障計算装置のモデルを量子化したモデルを実行できないほどコプロセッサの空き使用率に余裕がない場合であっても、代替計算装置に故障計算装置が実行していた処理を代替実行させることができる。このように、実行管理部１３０は、故障計算装置の処理を代替計算装置に代替実行させることで、故障計算装置の処理の停止時間を短縮することができる。

【0093】

第２の実施の形態によれば、情報処理装置１００の負荷検出部１２０は、モデルを実行する計算装置２００－１～２００－６を監視する。そして、情報処理装置１００の実行管理部１３０は、故障計算装置のモデルを実行するためのリソース不足が検出された場合、代替計算装置に、故障計算装置のモデルを量子化したモデルを実行させる。これにより、情報処理装置１００は、故障計算装置のリソース不足が解消されるより前に、故障計算装置が実行していた処理を代替計算装置に実行させることができる。よって、情報処理装置１００は、処理の停止時間を短縮できる。

【0094】

また、実行管理部１３０は、故障計算装置の故障によるリソース不足が検出された場合、故障計算装置のモデルを量子化したモデルを、計算装置２００－１～２００－６のうち、故障計算装置以外の代替計算装置に実行させる。これにより、情報処理装置１００は、代替計算装置に故障計算装置のモデルを実行するためのリソースの余裕がない場合であっても、故障計算装置が実行していた処理を代替計算装置に実行させることができる。

【0095】

また、実行管理部１３０は、故障計算装置のモデルを実行するためのリソース不足が検出された場合、代替計算装置のコプロセッサの空き使用率に基づいて、代替計算装置が故障計算装置のモデルを実行可能か否かを判定する。実行管理部１３０は、代替計算装置が故障計算装置のモデルを実行可能の場合、代替計算装置に故障計算装置のモデルを実行させる。実行管理部１３０は、代替計算装置が故障計算装置のモデルを実行不可能の場合、代替計算装置に故障計算装置のモデルを量子化したモデルを実行させる。これにより、情報処理装置１００は、代替計算装置のリソースに余裕がある場合、故障計算装置が実行していた処理を精度を低下させずに代替計算装置に実行させることができる。

【0096】

また、実行管理部１３０は、故障計算装置のモデルを実行するためのリソース不足が検出された場合、代替計算装置のコプロセッサの空き使用率に基づいて、代替計算装置が故障計算装置のモデルを量子化したモデルを実行可能か否かを判定する。実行管理部１３０は、代替計算装置が故障計算装置のモデルを量子化したモデルを実行可能の場合、代替計算装置に故障計算装置のモデルを量子化したモデルを実行させる。実行管理部１３０は、代替計算装置が故障計算装置のモデルを量子化したモデルを実行不可能の場合、代替計算装置に、代替計算装置のモデルの実行を停止させ、故障計算装置のモデルを量子化したモデルと代替計算装置のモデルを量子化したモデルとを実行させる。これにより、情報処理装置１００は、代替計算装置に故障計算装置のモデルを量子化したモデルを実行するためのリソースの余裕がない場合であっても、故障計算装置が実行していた処理を代替計算装置に実行させることができる。

【0097】

また、実行管理部１３０は、計算装置２００－１～２００－６が実行するモデルそれぞれの優先度に基づいて代替計算装置を決定する。これにより、情報処理装置１００は、計算装置２００－１～２００－６のうち比較的重要でない処理を実行している計算装置に故障計算装置が実行していた処理を実行させることができる。

【0098】

〔その他の実施の形態〕
第２の実施の形態では、モデルの処理負荷に応じてモデルの優先度が設定されていたが、モデルの処理内容によってモデルの優先度が設定されてもよい。

【0099】

図１０は、モデルの処理内容とモデルの優先度との関係の一例を示す図である。図１０に示す情報処理システムは、カメラ映像から不審人物を検出するものである。図１０に示す情報処理システムは、情報処理装置１００ａおよび計算装置２００ａ－１～２００ａ－６を含む。

【0100】

計算装置２００ａ－１～２００ａ－３は、カメラ映像から人物を検出するためのモデルを実行する。計算装置２００ａ－１～２００ａ－３は、人物の検出結果を計算装置２００ａ－４～２００ａ－５に送信する。

【0101】

計算装置２００ａ－４～２００ａ－５は、計算装置２００ａ－１～２００ａ－３から取得した人物の検出結果に基づいて、検出された人物のカメラ映像上の位置を追跡するためのモデルを実行する。そして、計算装置２００ａ－４～２００ａ－５は、人物の追跡結果を計算装置２００ａ－６に送信する。

【0102】

計算装置２００ａ－６は、計算装置２００ａ－４～２００ａ－５から取得した人物の追跡結果に基づいて、人物が不審人物か否かの判定（属性推定）をするためのモデルを実行する。そして、計算装置２００ａ－６は、属性推定結果を情報処理装置１００ａに送信する。情報処理装置１００ａは、計算装置２００ａ－６から取得した属性推定結果に基づいて、ユーザに不審人物の施設内の位置を通知する。

【0103】

図１０に示すような、多段階の処理を実行する情報処理システムでは、上流の処理で発生した誤差が下流の処理に影響することがある。そこで、上流の処理のモデルは優先度が高く設定され、下流の処理のモデルは優先度が低く設定されてもよい。例えば、図１０の例では、人物検出のモデル、人物追跡のモデル、属性推定のモデルの順に、優先度が高く設定される。なお、下流の処理であっても高い精度を求められるモデルの優先度が高く設定されてもよい。

【0104】

以上、実施の形態を例示したが、実施の形態で示した各部の構成は同様の機能を有する他のものに置換することができる。また、他の任意の構成物や工程が付加されてもよい。さらに、前述した実施の形態のうちの任意の２以上の構成（特徴）を組み合わせたものであってもよい。

【符号の説明】

【0105】

１ａ，１ｂ，・・・ 計算装置
１０ 情報処理装置
１１ 処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】