知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024125014
(43)【公開日】2024-09-13
(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
G06N 3/045 20230101AFI20240906BHJP
G06N 20/00 20190101ALI20240906BHJP
【ＦＩ】
G06N3/045
G06N20/00
【審査請求】未請求
【請求項の数】18
【出願形態】ＯＬ
(21)【出願番号】P 2023033068
(22)【出願日】2023-03-03
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】齊藤 翔
(57)【要約】 （修正有）
【課題】機械学習モデルの切り換えをより高速に行う情報処理装置、情報処理方法及びプログラムを提供する。
【解決手段】第１の機械学習モデルを用いて入力に対する推論を行う。所定の条件を満たすことに応じて、推論に用いる機械学習モデルを、第１の機械学習モデルのネットワーク構造の構成部の一部が少なくとも変更された第２の機械学習モデルを選択する。ここで、第１の機械学習モデルは、第１の構成部と第２の構成部とを有し、第２の機械学習モデルは、第１の構成部又は第２の構成部における、ノード間のパラメータ又はパスの一部を変更した構成部を少なくとも有する。
【選択図】なし
【解決手段】第１の機械学習モデルを用いて入力に対する推論を行う。所定の条件を満たすことに応じて、推論に用いる機械学習モデルを、第１の機械学習モデルのネットワーク構造の構成部の一部が少なくとも変更された第２の機械学習モデルを選択する。ここで、第１の機械学習モデルは、第１の構成部と第２の構成部とを有し、第２の機械学習モデルは、第１の構成部又は第２の構成部における、ノード間のパラメータ又はパスの一部を変更した構成部を少なくとも有する。
【選択図】なし
【特許請求の範囲】
【請求項1】
第１の機械学習モデルを用いて入力に対する推論を行う推論手段と、
所定の条件を満たすことに応じて、前記推論に用いる機械学習モデルを、前記第１の機械学習モデルのネットワーク構造の構成部の一部が少なくとも変更された第２の機械学習モデルを選択する選択手段と、
を備え、
前記第１の機械学習モデルは、第１の構成部と第２の構成部とを有し、
前記第２の機械学習モデルは、前記第１の構成部又は前記第２の構成部における、ノード間のパラメータ又はパスの一部を変更した構成部を少なくとも有することを特徴とする、情報処理装置。
所定の条件を満たすことに応じて、前記推論に用いる機械学習モデルを、前記第１の機械学習モデルのネットワーク構造の構成部の一部が少なくとも変更された第２の機械学習モデルを選択する選択手段と、
を備え、
前記第１の機械学習モデルは、第１の構成部と第２の構成部とを有し、
前記第２の機械学習モデルは、前記第１の構成部又は前記第２の構成部における、ノード間のパラメータ又はパスの一部を変更した構成部を少なくとも有することを特徴とする、情報処理装置。
【請求項2】
前記第１の機械学習モデルは、前記第１の構成部として第１のパラメータ及び第１のパラメータとは異なる第２のパラメータを備える第１の推論部と、前記第２の構成部として第１の推論部の出力を入力とする第２の推論部と、を備え、
前記第２の機械学習モデルは、前記第１の推論部における前記第２のパラメータを前記第１のパラメータへと置換した第３の推論部と、前記第３の推論部の出力を入力とする、前記第２の推論部と同じネットワーク構造を有する第４の推論部と、を備えることを特徴とする、請求項１に記載の情報処理装置。
前記第２の機械学習モデルは、前記第１の推論部における前記第２のパラメータを前記第１のパラメータへと置換した第３の推論部と、前記第３の推論部の出力を入力とする、前記第２の推論部と同じネットワーク構造を有する第４の推論部と、を備えることを特徴とする、請求項１に記載の情報処理装置。
【請求項3】
前記第１の機械学習モデルは、前記第１の構成部として第１の推論処理による第１の出力及び第２の推論処理による第２の出力を出力する第１の推論部と、前記第２の構成部として前記第１の出力及び第２の出力を入力とする第２の推論部と、を備え、
前記第２の機械学習モデルは、第１の推論処理による第１の出力を出力する第５の推論部と、前記第１の出力と、過去に出力された前記第２の出力とを入力とする第６の推論部と、を備えることを特徴とする、請求項１に記載の情報処理装置。
前記第２の機械学習モデルは、第１の推論処理による第１の出力を出力する第５の推論部と、前記第１の出力と、過去に出力された前記第２の出力とを入力とする第６の推論部と、を備えることを特徴とする、請求項１に記載の情報処理装置。
【請求項4】
前記所定の条件は、前記情報処理装置の動作状態が所定の状態である場合に満たされることを特徴とする、請求項１に記載の情報処理装置。
【請求項5】
前記動作状態は、前記推論におけるリソースの使用状態を含むことを特徴とする、請求項４に記載の情報処理装置。
【請求項6】
前記選択手段は、所定の期間における前記リソースの使用率が所定の閾値よりも高い期間が所定の割合以上である場合に、前記推論に用いる機械学習モデルを、前記第１の機械学習モデルより推論時のリソース消費量が少ない機械学習モデルである前記第２の機械学習モデルに切り換えることを特徴とする、請求項５に記載の情報処理装置。
【請求項7】
前記選択手段は、所定の期間における前記リソースの使用率が所定の閾値よりも高い期間が所定の割合以上である場合に、前記第１の機械学習モデルよりも層の数が少ない前記第２の機械学習モデルを選択することを特徴とする、請求項５に記載の情報処理装置。
【請求項8】
前記推論に関するユーザ設定を取得する取得手段をさらに備え、
前記所定の条件は、前記ユーザ設定が所定の状態である場合に満たされることを特徴とする、請求項１に記載の情報処理装置。
前記所定の条件は、前記ユーザ設定が所定の状態である場合に満たされることを特徴とする、請求項１に記載の情報処理装置。
【請求項9】
前記取得手段は、前記ユーザ設定として、前記推論において速度と精度とのどちらを優先するかの設定を取得し、
前記選択手段は、前記推論において速度を優先すると設定されている場合には、前記推論に用いる機械学習モデルを、前記第１の機械学習モデルより推論の速度が速い機械学習モデルである前記第２の機械学習モデルに切り換え、前記推論において精度を優先すると設定されている場合には、前記推論に用いる機械学習モデルを、前記第１の機械学習モデルより推論の精度が高い機械学習モデルである前記第２の機械学習モデルに切り換えることを特徴とする、請求項８に記載の情報処理装置。
前記選択手段は、前記推論において速度を優先すると設定されている場合には、前記推論に用いる機械学習モデルを、前記第１の機械学習モデルより推論の速度が速い機械学習モデルである前記第２の機械学習モデルに切り換え、前記推論において精度を優先すると設定されている場合には、前記推論に用いる機械学習モデルを、前記第１の機械学習モデルより推論の精度が高い機械学習モデルである前記第２の機械学習モデルに切り換えることを特徴とする、請求項８に記載の情報処理装置。
【請求項10】
前記推論は、入力された劣化画像を復元する処理であり、
前記取得手段は、ユーザ設定として、前記復元における画質の設定を取得し、
前記選択手段は、前記復元における画質の設定が変更されている場合に前記所定の条件を満たすこととして、前記推論に用いる機械学習モデルを前記第２の機械学習モデルに切り換えることを特徴とする、請求項８に記載の情報処理装置。
前記取得手段は、ユーザ設定として、前記復元における画質の設定を取得し、
前記選択手段は、前記復元における画質の設定が変更されている場合に前記所定の条件を満たすこととして、前記推論に用いる機械学習モデルを前記第２の機械学習モデルに切り換えることを特徴とする、請求項８に記載の情報処理装置。
【請求項11】
前記推論は、入力された劣化画像を復元する処理であり、
前記取得手段は、ユーザ設定として、前記復元の程度の設定を取得し、
前記選択手段は、前記復元の程度の設定が変更されている場合に前記所定の条件を満たすこととして、前記推論に用いる機械学習モデルを前記第２の機械学習モデルに切り換えることを特徴とする、請求項８に記載の情報処理装置。
前記取得手段は、ユーザ設定として、前記復元の程度の設定を取得し、
前記選択手段は、前記復元の程度の設定が変更されている場合に前記所定の条件を満たすこととして、前記推論に用いる機械学習モデルを前記第２の機械学習モデルに切り換えることを特徴とする、請求項８に記載の情報処理装置。
【請求項12】
前記推論は、入力された劣化画像を復元する処理であり、
前記取得手段は、ユーザ設定として、前記入力された劣化画像が屋内で撮像されているか屋外で撮像されているかの設定を取得し、
前記選択手段は、前記入力された劣化画像が屋内で撮像されているか屋外で撮像されているかの設定が変更されている場合に前記所定の条件を満たすこととして、前記推論に用いる機械学習モデルを前記第２の機械学習モデルに切り換えることを特徴とする、請求項８に記載の情報処理装置。
前記取得手段は、ユーザ設定として、前記入力された劣化画像が屋内で撮像されているか屋外で撮像されているかの設定を取得し、
前記選択手段は、前記入力された劣化画像が屋内で撮像されているか屋外で撮像されているかの設定が変更されている場合に前記所定の条件を満たすこととして、前記推論に用いる機械学習モデルを前記第２の機械学習モデルに切り換えることを特徴とする、請求項８に記載の情報処理装置。
【請求項13】
前記推論は、入力された劣化画像を復元する処理であり、
前記取得手段は、ユーザ設定として、前記入力された劣化画像を撮像した撮像装置に関する設定を取得し、
前記選択手段は、前記入力された劣化画像が所定の撮像装置によって撮像された場合に前記所定の条件を満たすこととして、前記推論に用いる機械学習モデルを前記第２の機械学習モデルに切り換えることを特徴とする、請求項８に記載の情報処理装置。
前記取得手段は、ユーザ設定として、前記入力された劣化画像を撮像した撮像装置に関する設定を取得し、
前記選択手段は、前記入力された劣化画像が所定の撮像装置によって撮像された場合に前記所定の条件を満たすこととして、前記推論に用いる機械学習モデルを前記第２の機械学習モデルに切り換えることを特徴とする、請求項８に記載の情報処理装置。
【請求項14】
前記推論は、入力された劣化画像を復元する処理であることを特徴とする、請求項１に記載の情報処理装置。
【請求項15】
前記劣化画像は、ノイズ、圧縮、低解像度、ボケ、収差、欠損、又はコントラスト低下により劣化している画像であることを特徴とする、請求項１４に記載の情報処理装置。
【請求項16】
前記推論は、入力された画像中の被写体のクラス分類を行う処理であることを特徴とする、請求項１に記載の情報処理装置。
【請求項17】
第１の機械学習モデルを用いて入力に対する推論を行う工程と、
所定の条件を満たすことに応じて、前記推論に用いる機械学習モデルを、前記第１の機械学習モデルのネットワーク構造の構成部の一部が少なくとも変更された第２の機械学習モデルを選択する工程と、
を備え、
前記第１の機械学習モデルは、第１の構成部と第２の構成部とを有し、
前記第２の機械学習モデルは、前記第１の構成部又は前記第２の構成部における、ノード間のパラメータ又はパスの一部を変更した構成部を少なくとも有することを特徴とする、情報処理方法。
所定の条件を満たすことに応じて、前記推論に用いる機械学習モデルを、前記第１の機械学習モデルのネットワーク構造の構成部の一部が少なくとも変更された第２の機械学習モデルを選択する工程と、
を備え、
前記第１の機械学習モデルは、第１の構成部と第２の構成部とを有し、
前記第２の機械学習モデルは、前記第１の構成部又は前記第２の構成部における、ノード間のパラメータ又はパスの一部を変更した構成部を少なくとも有することを特徴とする、情報処理方法。
【請求項18】
コンピュータを、請求項１乃至１６の何れか一項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
近年、機械学習が様々な情報処理アプリケーションプログラムに応用されている。機械学習を利用する情報処理は、例えば劣化画像を復元する画像処理、又は画像中の物体の種類を判定するクラス分類など、様々である。
【0003】
非特許文献１には、第１のノイズ除去部と第２のノイズ除去部の二段階構成のモデルで動画のノイズ除去を行う方法が開示されている。また、特許文献１には、演算性能が異なる複数の装置で認識処理を行う方法が開示されている。特許文献１では、データの認識に要する応答時間を算出し、応答時間が閾値を超えるようであればモデルをより高速なモデルに切り換える。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２１－７７１２９号公報
【非特許文献】
【0005】
【非特許文献1】“ＦａｓｔＤＶＤｎｅｔ： Ｔｏｗａｒｄｓ Ｒｅａｌ－Ｔｉｍｅ Ｄｅｅｐ Ｖｉｄｅｏ Ｄｅｎｏｉｓｉｎｇ Ｗｉｔｈｏｕｔ Ｆｌｏｗ Ｅｓｔｉｍａｔｉｏｎ”，Ｍａｔｉａｓ, Ｔａｓｓａｎｏ； Ｊｕｌｉｅ, Ｄｅｌｏｎ； Ｔｈｏｍａｓ, Ｖｅｉｔ， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ/ＣＶＦ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）, ２０２０, ｐｐ. １３５４－１３６３
【発明の概要】
【発明が解決しようとする課題】
【0006】
実行環境に応じてモデルを切り換えたいというニーズがある。例えば、モデル実行環境のＣＰＵ／ＧＰＵなどのリソース使用状態に応じて、高精度だが高負荷低速のモデルと低負荷かつ高速だが低精度のモデルとを切り換えたい場合が考えられる。しかしながら、特許文献１に開示された方法では、モデルを切り換える際に使用するモデルを初期化する必要があり、切り換えに大きく時間がかかる場合があるという課題があった。
【0007】
本発明は、機械学習モデルの切り換えをより高速に行うことを目的とする。
【課題を解決するための手段】
【0008】
本発明の目的を達成するために、例えば、一実施形態に係る情報処理装置は以下の構成を備える。すなわち、第１の機械学習モデルを用いて入力に対する推論を行う推論手段と、所定の条件を満たすことに応じて、前記推論に用いる機械学習モデルを、前記第１の機械学習モデルのネットワーク構造の構成部の一部が少なくとも変更された第２の機械学習モデルを選択する選択手段と、を備え、前記第１の機械学習モデルは、第１の構成部と第２の構成部とを有し、前記第２の機械学習モデルは、前記第１の構成部または前記第２の構成部における、ノード間のパラメータ又はパスの一部を変更した構成部を少なくとも有する。
【発明の効果】
【0009】
機械学習モデルの切り換えをより高速に行う。
【図面の簡単な説明】
【0010】
【図1】実施形態１に係る情報処理システムの構成の一例を示すブロック図。
【図2】実施形態１に係る情報処理装置の機能構成の一例を示すブロック図。
【図3】実施形態１に係る情報処理装置における学習処理を説明するための図。
【図4】実施形態１に係る情報処理装置が用いるモデルの構成の一例を示す図。
【図5】実施形態１に係る劣化付与処理について説明するための図。
【図6A】実施形態１に係るモデルのネットワーク構造の一例を示す図。
【図6B】実施形態１に係るモデルのネットワーク構造の一例を示す図。
【図6C】実施形態１に係るモデルのネットワーク構造の一例を示す図。
【図6D】実施形態１に係るモデルのネットワーク構造の一例を示す図。
【図6E】実施形態１に係るモデルのネットワーク構造の一例を示す図。
【図7】実施形態１に係るモデルの特性の一例を示す図。
【図8】実施形態１に係る、複数ＧＰＵを用いて推論を行う処理を説明するための図。
【図9A】実施形態１に係る学習処理の一例を示すフローチャート。
【図9B】実施形態１に係る復元処理の一例を示すフローチャート。
【図9C】実施形態１に係るモデルの切り換え処理の一例を示すフローチャート。
【図10】実施形態２に係る情報処理装置の機能構成の一例を示すブロック図。
【図11】実施形態２に係る設定画面の一例を示す図。
【図12A】実施形態２に係るモデルの切り換え処理の一例を示すフローチャート。
【図12B】実施形態１に係るユーザ設定の設定処理の一例を示すフローチャート。
【図13】実施形態３に係る情報処理装置の機能構成の一例を示すブロック図。
【図14】実施形態３に係るモデルのネットワーク構造の一例を示す図。
【図15A】実施形態１に係る学習処理の一例を示すフローチャート。
【図15B】実施形態１に係るクラス分類処理の一例を示すフローチャート。
【発明を実施するための形態】
【0011】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0012】
［実施形態１］
本実施形態に係る情報処理装置は、第１の機械学習モデルを用いて入力に対する推論を行う。次いで情報処理装置は、所定の条件を満たすことに応じて、推論に用いる機械学習モデルを、第１の機械学習モデルのネットワーク構造の構成部を切り換えることにより、第２の機械学習モデルに切り換える。
本実施形態に係る情報処理装置は、第１の機械学習モデルを用いて入力に対する推論を行う。次いで情報処理装置は、所定の条件を満たすことに応じて、推論に用いる機械学習モデルを、第１の機械学習モデルのネットワーク構造の構成部を切り換えることにより、第２の機械学習モデルに切り換える。
【0013】
［ＣＮＮについて］
まず、以下の実施形態において用いる深層学習を応用した情報処理技術全般で用いられている畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）について説明する。ＣＮＮは、学習（ｔｒａｉｎｉｎｇ又はｌｅａｒｎｉｎｇ）により生成したフィルタを画像データに対して畳み込んだ（ｃｏｎｖｏｌｕｔｉｏｎ）後に非線形演算することを繰り返す数理モデルである。ＣＮＮにおいて、入力された画像データをフィルタで畳み込んだ後、非線形演算して得られるデータは、特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）と呼ばれる。また、ＣＮＮの学習は入力画像データと出力画像データのペアからなる学習データ（ｔｒａｉｎｉｎｇ ｉｍａｇｅｓ又はｄａｔａ ｓｅｔｓ）を用いて行われる。すなわち、入力画像データから対応する出力画像データへ高精度に変換可能なフィルタの値を、学習データから生成することを学習と呼ぶ。
まず、以下の実施形態において用いる深層学習を応用した情報処理技術全般で用いられている畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）について説明する。ＣＮＮは、学習（ｔｒａｉｎｉｎｇ又はｌｅａｒｎｉｎｇ）により生成したフィルタを画像データに対して畳み込んだ（ｃｏｎｖｏｌｕｔｉｏｎ）後に非線形演算することを繰り返す数理モデルである。ＣＮＮにおいて、入力された画像データをフィルタで畳み込んだ後、非線形演算して得られるデータは、特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）と呼ばれる。また、ＣＮＮの学習は入力画像データと出力画像データのペアからなる学習データ（ｔｒａｉｎｉｎｇ ｉｍａｇｅｓ又はｄａｔａ ｓｅｔｓ）を用いて行われる。すなわち、入力画像データから対応する出力画像データへ高精度に変換可能なフィルタの値を、学習データから生成することを学習と呼ぶ。
【0014】
画像データがＲＧＢカラーチャンネルを有する場合や、特徴マップが複数枚の画像データから構成されている場合、畳み込みに用いるフィルタも、それに応じて複数のチャンネルを有する。ＣＮＮにおいて画像データ（又は特徴マップ）にフィルタを畳み込んだ後、非線形演算する処理は、層（ｌａｙｅｒ）という単位で表され、例えば、ｎ層目の特徴マップやｎ層目のフィルタなどと表現される。例えば。３層のネットワーク構造を有するＣＮＮは、フィルタの畳み込みと非線形演算を３回繰り返す。このような非線形演算処理は、以下の式（１）のように定式化することができる。
【数1】
【0015】
式（１）において、Ｗｎはｎ層目のフィルタ、ｂｎはｎ層目のバイアス、ｆは非線形演算子、Ｘｎはｎ層目の特徴マップ、＊は畳み込み演算子を表す。なお、（ｌ）はｌ番目のフィルタ又は特徴マップであることを表している。このフィルタ及びバイアスは、学習により生成され、まとめて「ネットワークパラメータ」とも呼ばれる。非線形演算としては、例えばシグモイド関数（ｓｉｇｍｏｉｄ ｆｕｎｃｔｉｏｎ）又はＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）が用いられる。ＲｅＬＵを用いる場合、ＣＮＮにおける非線形演算処理は、例えば以下の式（２）で与えられる。
【数2】
【0016】
式（２）が示すように、入力したベクトルＸの要素のうち負のものはゼロ、０以上のものはそのままとなる。
【0017】
ＣＮＮを用いたネットワークとしては、画像認識分野のＲｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ（ＲｅｓＮｅｔ）や超解像分野におけるその応用であるＲＥＤ－Ｎｅｔなどが挙げられる。これらのいずれも、ＣＮＮを多層にしてフィルタの畳み込みを何度も行うことにより、認識の高精度化を可能としている。例えば、ＲｅｓＮｅｔは畳み込み層をショートカットする経路を設けたネットワーク構造を特徴とし、これにより１５２層もの多層ネットワークを実現し、人間による認識率に迫る高精度な認識を実現している。多層ＣＮＮは、非線形演算を何度も繰り返すことで、入出力間の非線形な関係を表現することにより、認識の高精度化を。
【0018】
［ＣＮＮの学習］
次に、ＣＮＮの学習について説明する。ＣＮＮの学習は、入力画像データと対応する正解出力画像（教師画像）データの組からなる学習データに対して、例えば以下の式（３）で表される目的関数を最小化することで行われる。
次に、ＣＮＮの学習について説明する。ＣＮＮの学習は、入力画像データと対応する正解出力画像（教師画像）データの組からなる学習データに対して、例えば以下の式（３）で表される目的関数を最小化することで行われる。
【数3】
【0019】
式（３）において、Ｌは正解と推論結果との誤差を測る損失関数（ｌｏｓｓ ｆｕｎｃｔｉｏｎ）である。Ｙｉはｉ番目の正解出力画像データ、Ｘｉはｉ番目の入力画像データである。ＦはＣＮＮの各層で行う演算（式（１））を、まとめて表した関数である。θはネットワークパラメータ（フィルタ及びバイアス）である。｜｜Ｚ｜｜２はＬ２ノルム、すなわちベクトルＺの要素の２乗和の平方根である。ｎは学習データのデータ組数である。一般に学習データ数は多いため、確率的勾配降下法（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ：ＳＧＤ）では、学習データの一部をランダムに選び学習に用いる。また、目的関数の最小化（＝最適化）法として、モーメンタム（ｍｏｍｅｎｔｕｍ）法やＡｄａＧｒａｄ法、ＡｄａＤｅｌｔａ法、又はＡｄａｍ法など、様々な方法が知られている。Ａｄａｍ法は、以下の式（４）で与えられる。
【数4】
【0020】
式（４）において、ｔは反復ｔ回目の値であることを表す。θｉ
ｔは反復ｔ回目におけるｉ番目のネットワークパラメータであり、ｇはθｉ
ｔに関する損失関数Ｌの勾配である。ｍ及びｖはモーメントベクトル、αは基本学習率（ｂａｓｅ ｌｅａｒｎｉｎｇ ｒａｔｅ）、β１及びβ２はハイパーパラメータ、εは小さい定数である。なお、学習における最適化法はこれに限定されるわけではなく、公知の任意の最適化技術を適用することが可能である。この方法ごとの収束性には違いがあるため、学習時間の違いが生じることが知られており、所望の条件に応じて最適化法を採用することが可能である。
【0021】
本実施形態では、前述したＣＮＮを用いて劣化画像を復元する情報処理（画像処理）を行うものとする。この劣化画像における画像の劣化要素としては、例えばノイズ、ボケ、収差、圧縮、低解像、欠損などの劣化、撮影時の霧・霞・雪・雨などの天候の影響によるコントラスト低下のような劣化などが挙げられる。劣化画像を復元する画像処理としては、ノイズ除去、ボケ除去、収差補正、圧縮による劣化の補正、低解像画像に対する超解像処理、欠損補完、撮影時の天候に起因するコントラスト低下を補正する処理などが挙げられる。本実施形態に係る劣化画像復元処理は、劣化のある画像から、劣化の無い（或いは非常に少ない）画像を生成することにより復元を行う処理であり、以下の説明では画像復元（処理）と呼ぶことにする。すなわち本実施形態に係る画像復元とは、例えば画像自体には劣化が無い（少ない）画像であったものが、その後の増幅若しくは圧縮伸張、又は他の画像処理などで劣化したものを復元する場合だけでなく、元々の画像そのものに含まれる劣化を低減可能にすることも含む。
【0022】
ここで、ニューラルネットワークを用いた画像復元処理を用いる場合、一般に、パラメータ数がより多いニューラルネットワークを用いる場合に、ネットワークの表現力が向上し、より高精度の画像復元を行うことが期待される。一方で、パラメータ数が多いということは演算回数が増えることに繋がるため、推論時間及び推論に必要なメモリ量が増加する。そのため、推論を実施する情報処理装置の計算リソースの多寡及び使用状態に応じて、画像復元処理において用いるべきモデルは異なる。
【0023】
［実施形態１］
実施形態１では、画像復元処理を行うモデルを、再初期化なしに切り換える方法を説明する。以下の本実施形態では、画像の劣化要素としてノイズを例に挙げ、画像復元処理としてノイズ低減処理を行う処理について説明する。
実施形態１では、画像復元処理を行うモデルを、再初期化なしに切り換える方法を説明する。以下の本実施形態では、画像の劣化要素としてノイズを例に挙げ、画像復元処理としてノイズ低減処理を行う処理について説明する。
【0024】
［情報処理システム構成例］
図１は、実施形態１に係る情報処理装置を含む情報処理システム構成の一例である。図１に示す情報処理システムでは、学習データの生成及び画質劣化の復元の学習を担うクラウドサーバ２００と、処理対象画像に対する画像復元を担う情報処理装置１００（エッジデバイス１００）とが、インターネット等を介して通信可能に接続されている。以下、クラウドサーバ２００における学習データの生成及び画質劣化の復元の学習を復元学習と呼び、情報処理装置１００における劣化画像の復元を復元推論と呼ぶことにする。なお、本実施形態においてはクラウドサーバ２００と情報処理装置１００とは別体の装置であるものとして説明を行うが、クラウドサーバ２００が行うものとして説明する復元学習処理を情報処理装置１００が行う態様であってもよい。
図１は、実施形態１に係る情報処理装置を含む情報処理システム構成の一例である。図１に示す情報処理システムでは、学習データの生成及び画質劣化の復元の学習を担うクラウドサーバ２００と、処理対象画像に対する画像復元を担う情報処理装置１００（エッジデバイス１００）とが、インターネット等を介して通信可能に接続されている。以下、クラウドサーバ２００における学習データの生成及び画質劣化の復元の学習を復元学習と呼び、情報処理装置１００における劣化画像の復元を復元推論と呼ぶことにする。なお、本実施形態においてはクラウドサーバ２００と情報処理装置１００とは別体の装置であるものとして説明を行うが、クラウドサーバ２００が行うものとして説明する復元学習処理を情報処理装置１００が行う態様であってもよい。
【0025】
［情報処理装置のハードウェア構成］
情報処理装置１００は、処理対象とする画像を取得し、取得した画像を、復元推論を行う機械学習モデルへの入力画像とする。本実施形態においては、情報処理装置１００は、撮像装置１０から入力されるＲＡＷ画像データ（Ｂａｙｅｒ配列）を、画像復元処理の対象となる入力画像として取得してもよい。この画像は、色空間など画像形式について特に限定されず、任意のものを用いることが可能である。例えばこの画像は、その他のカラーフィルタ配列の画像データであってもよく、デモザイクされたＲＧＢ画像、又はＹＵＶ変換後の画像であってもよい。
情報処理装置１００は、処理対象とする画像を取得し、取得した画像を、復元推論を行う機械学習モデルへの入力画像とする。本実施形態においては、情報処理装置１００は、撮像装置１０から入力されるＲＡＷ画像データ（Ｂａｙｅｒ配列）を、画像復元処理の対象となる入力画像として取得してもよい。この画像は、色空間など画像形式について特に限定されず、任意のものを用いることが可能である。例えばこの画像は、その他のカラーフィルタ配列の画像データであってもよく、デモザイクされたＲＧＢ画像、又はＹＵＶ変換後の画像であってもよい。
【0026】
情報処理装置１００は、当該処理対象の入力画像を入力として、機械学習モデルにより劣化画像の復元処理を行う。本実施形態に係る情報処理装置１００は、クラウドサーバ２００から提供される学習済みニューラルネットワークモデルを使用して復元推論を行うことができる。すなわち情報処理装置１００は、クラウドサーバ２００から提供されたモデルを用い、予めインストールされた情報処理アプリケーションプログラムを実行することによって、ＲＡＷ画像データのノイズを低減する情報処理装置とすることができる。
【0027】
情報処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、大容量記憶装置１０４、汎用インタフェース（Ｉ／Ｆ）１０５、及びネットワークＩ／Ｆ１０６を有し、各構成要素がシステムバス１０７によって相互に接続されている。また情報処理装置１００は、汎用Ｉ／Ｆ１０５を介して、撮像装置１０、入力装置２０、外部記憶装置３０、及び表示装置４０にも接続されている。
【0028】
ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして用い、ＲＯＭ１０３に格納されたプログラムを実行し、システムバス１０７を介して情報処理装置１００の各構成要素を統括的に制御する。大容量記憶装置１０４は、例えばＨＤＤ又はＳＳＤであり、情報処理装置１００で取り扱われる種々のデータや画像データを記憶する。ＣＰＵ１０１は、システムバス１０７を介して大容量記憶装置１０４へのデータの書き込み、及び大容量記憶装置１０４に記憶されたデータの読み出しを行う。汎用Ｉ／Ｆ１０５は、例えばＵＳＢ、ＩＥＥＥ１３９４、又はＨＤＭＩ（登録商標）等のシリアルバスインターフェースである。情報処理装置１００は、汎用Ｉ／Ｆ１０５を介して、外部記憶装置３０（例えばメモリカード、ＣＦカード、ＳＤカード、又はＵＳＢメモリなどの各種記憶媒体）からデータを取得する。
【0029】
情報処理装置１００は、汎用Ｉ／Ｆ１０５を介して、マウス若しくはキーボード、又はスマートフォンのような携帯端末などの入力装置２０からのユーザ指示を受け付ける。また、情報処理装置１００は、汎用Ｉ／Ｆ１０５を介して、表示装置４０（例えば液晶ディスプレイなどの各種画像表示デバイス）に、ＣＰＵ１０１によって処理された画像データ等を出力する。なお、表示装置４０はタッチパネルと一体型の表示装置として、入力装置２０としても機能することができる。また、情報処理装置１００は、汎用Ｉ／Ｆ１０５を介して、撮像装置１０からノイズ低減処理の対象となる撮像画像（ＲＡＷ画像）のデータを取得する。ネットワークＩ／Ｆ１０６は、インターネットに接続するためのインタフェースである。情報処理装置１００は、インストールされたウェブブラウザによってクラウドサーバ２００にアクセスすることにより、復元推論のための学習済みモデルを取得することができる。
【0030】
［クラウドサーバのハードウェア構成］
クラウドサーバ２００は、情報処理装置１００に、入力された劣化画像に対して復元処理を行う機械学習モデルを提供する。本実施形態に係るクラウドサーバ２００は、インターネット上でクラウドサービスを提供するサーバである。より詳細には、クラウドサーバ２００は、学習データの生成及び復元学習を行い、その学習結果のネットワークパラメータとネットワーク構造を格納した学習済みの機械学習モデル（学習済みモデル）を生成する。そして、クラウドサーバ２００は、学習済みモデルを、情報処理装置１００からのリクエストに応じて提供する。以下、単に「モデル」と称する場合、この学習済みモデルを指すものとする。
クラウドサーバ２００は、情報処理装置１００に、入力された劣化画像に対して復元処理を行う機械学習モデルを提供する。本実施形態に係るクラウドサーバ２００は、インターネット上でクラウドサービスを提供するサーバである。より詳細には、クラウドサーバ２００は、学習データの生成及び復元学習を行い、その学習結果のネットワークパラメータとネットワーク構造を格納した学習済みの機械学習モデル（学習済みモデル）を生成する。そして、クラウドサーバ２００は、学習済みモデルを、情報処理装置１００からのリクエストに応じて提供する。以下、単に「モデル」と称する場合、この学習済みモデルを指すものとする。
【0031】
クラウドサーバ２００は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、大容量記憶装置２０４、及びネットワークＩ／Ｆ２０５を有し、各構成要素がシステムバス２０６によって相互に接続されている。ＣＰＵ２０１は、ＲＯＭ２０２に記憶された制御プログラムを読み出して各種処理を実行することで、全体の動作を制御する。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ又はワークエリア等の一時記憶領域として用いられる。大容量記憶装置２０４は、画像データ若しくは各種プログラムを記憶するＨＤＤ又はＳＳＤ等の大容量の二次記憶装置である。ネットワークＩ／Ｆ２０５は、インターネットに接続するためのインタフェースであり、情報処理装置１００のウェブブラウザからのリクエストに応じて上述のネットワークパラメータとネットワーク構造を格納した学習済みモデルを提供する。
【0032】
本実施形態では、情報処理装置１００が、学習データの生成及び復元学習を行った結果である学習済みモデルをクラウドサーバ２００からダウンロードし、処理対象の入力画像データに対して復元推論を行うことを想定している。このような処理を実行する情報処理装置１００及びクラウドサーバ２００の構成要素は、前述した構成以外とは異なる構成により実現されてもよい。例えば、クラウドサーバ２００が担う機能が細分化され、学習データの生成と復元学習とを別々の装置で実行する構成でもよい。あるいは、情報処理装置１００の機能とクラウドサーバ２００の機能とを兼ね備えた撮像装置１０において、学習データの生成・復元学習・復元推論のすべてを行うような構成であってもよい。
【0033】
［システム全体の機能ブロック］
次に、図２を用いて本実施形態に係る情報処理システム全体の機能構成について説明する。図２に示す通り、情報処理装置１００は、推論部１１２、及びモデル保存部１１９を有する。モデル保存部１１９は、クラウドサーバ２００から学習済みモデル２２０を取得し格納する。推論部１１２は、劣化画像を復元する画像復元処理の機能を有する。推論部１１２は、推論用の画像復元部１１５及び切換部１１３を備えている。
次に、図２を用いて本実施形態に係る情報処理システム全体の機能構成について説明する。図２に示す通り、情報処理装置１００は、推論部１１２、及びモデル保存部１１９を有する。モデル保存部１１９は、クラウドサーバ２００から学習済みモデル２２０を取得し格納する。推論部１１２は、劣化画像を復元する画像復元処理の機能を有する。推論部１１２は、推論用の画像復元部１１５及び切換部１１３を備えている。
【0034】
画像復元部１１５は、学習済みモデル２２０に劣化画像を入力し、画像の復元を行う。ここで、図３（Ａ）を用いて画像復元部１１５が行う処理について説明する。画像復元部１１５は、入力画像データ１１６を取得し、前処理３０１を実行する。前処理３０１は、入力画像データ１１６を学習済みモデル２２０に入力する前に行う処理であり、例えば、入力画像データがＢａｙｅｒ配列の１４ｂｉｔ整数値である場合に、各データを浮動小数点数へ変換し、かつ値を０．０～１．０へ正規化する処理などである。次に画像復元部１１５は前処理３０１後のデータを入力として学習済みモデル２２０を用いてモデル実行３０２を行う。画像復元部１１５はモデル実行３０２の結果に後処理３０３を行い、出力画像１１８を得る。後処理３０３は、学習済みモデル２２０の出力に対して行う処理であり、例えば、モデルの出力結果データが浮動小数点数である場合に、値を１４ｂｉｔ整数値へ変換する処理などである。
【0035】
図４は、モデルの構造の一例である。この例では、モデルは複数の畳み込み層４０１と連結層４０２とで構成されている。畳み込み層４０１において、前述した式（１）で表されるフィルタによる畳み込み演算と式（２）で表される非線形演算を複数回繰り返す。画像復元部１１５は、モデルの入力データに対して、畳み込み層４０１を順次適用し、特徴マップを算出する。続いて、画像復元部１１５は、連結層４０２によって、特徴マップと入力データとをチャンネル方向に連結する。さらに画像復元部１１５は、その連結結果に対して順次畳み込み層４０１を適用し、最終層から結果を出力する。図４に示す処理はＣＮＮにより一般的に行われる処理であり、詳細な説明は省略する。画像復元部１１５はクラウドサーバ２００から受け取った学習済みモデル２２０を用いて、入力画像データ１１６の復元推論を行う。
【0036】
切換部１１３は、所定の条件が満たされた場合に、画像復元部１１５が推論を実行する学習済みモデル２２０を、ネットワーク構造の構成部を切り換えることにより、第１の機械学習モデルから第２の機械学習モデルへと切り換える。以下、切換部１１３が行うネットワーク構造の構成部の切り換え処理を、単に「（モデルの）切り換え」と呼ぶ場合がある。この第１の機械学習モデル及び第２の機械学習モデルとしては、例えば後述する図６Ａ～図６Ｅで示されるようなモデルを使用することができるが、これらの構成については後述する。
【0037】
クラウドサーバ２００は劣化付与部２１１及び学習部２１２を備える。劣化付与部２１１は、復元推論の学習に用いる、入力用の劣化学習画像を生成する。劣化付与部２１１は、例えば、劣化のない教師画像群から取り出した教師画像データに対し、少なくとも１種類以上の劣化要素を付与することにより、劣化学習画像を生成することができる。本実施形態の例では劣化要素としてノイズを用いており、劣化付与部２１１は、劣化要素としてのノイズを教師画像データに付与して劣化学習画像データを生成する。本実施形態の場合、劣化付与部２１１は、撮像装置の物理特性を解析し、撮像装置で発生し得る劣化量よりも広い範囲の劣化量に相当するノイズを、劣化要素として教師画像データに対して付与することで入力画像データを生成してもよい。撮像装置の個体差により発生し得る劣化量の範囲が異なるため、解析結果よりも広い範囲の劣化量を付与することにより、マージンを持たせてロバスト性を高めることができる。ここで、教師画像は、例えば撮像装置１０から取得してもよく、インターネットを介して不図示の外部装置から取得してもよい。
【0038】
次いで、図５を用いて劣化付与について説明する。劣化付与部２１１は、教師画像群２１７から取り出した教師画像データ５０１に対し、撮像装置の物理特性解析結果２１８に基づくノイズを劣化要素５０２として付与５０３することで劣化学習画像データ５０４を生成する。劣化付与部２１１は、教師画像データ５０１と劣化学習画像データ５０４とのペアを学習データ５０５に追加する。劣化付与部２１１では教師画像群２１７の教師画像データごとに劣化要素５０２を付与することで複数の劣化学習画像データ５０４からなる劣化学習画像群が生成され、生成された劣化学習画像群により学習データ５０５が生成される。なお本実施形態ではノイズを例に挙げたが、劣化付与部２１１は、前述したボケ、収差、圧縮、低解像、欠損、撮影時の天候に起因するコントラスト低下などの複数種類の劣化要素の何れか若しくはそれらの複数組み合わせて教師画像データに付与してもよい。
【0039】
教師画像群２１７には、例えば、風景や動物を含む自然写真、ポートレート又はスポーツ写真のような人物写真、建築や商品といった人工物写真など、様々な種類の画像データが格納されている。本実施形態に係る教師画像データは、入力画像データ１１６と同じく、各画素がＲＧＢいずれかの色に対応する画素値を有するＲＡＷ画像データとする。また、撮像装置の物理特性解析結果２１８としては、例えば、カメラ（撮像装置）に内蔵されている撮像センサで発生する感度ごとのノイズ量、又はレンズにより発生する収差量などが含まれる。これらを用いることで、撮影条件ごとにどの程度の画質劣化が発生するかを見積もることができる。つまり、ある撮影条件において見積もった劣化を教師画像データに対して付与することで、撮影時に得られる画像と同等の画像を生成することができる。
【0040】
図２の説明に戻り、学習部２１２は、学習用の画像復元部２１４、誤差算出部２１５、及びモデル更新部２１６を備える。学習部２１２は、学習用パラメータ２１９を取得し、劣化付与部２１１で生成された学習データを用いて復元学習を行う。学習用パラメータ２１９は、ニューラルネットワークモデルのパラメータの初期値、モデルのネットワーク構造及び最適化方法を示すハイパーパラメータを含む。画像復元部２１４は、入力画像に対する画像復元処理を行う。誤差算出部２１５は、画像復元部２１４が出力する画像復元結果画像と教師画像との誤差を算出する。モデル更新部２１６は、算出された誤差に基づいて、画像復元部２１４のニューラルネットワークモデルのパラメータを更新する。
【0041】
図３（Ｂ）は学習部２１２が行う学習処理の流れを表した図である。画像復元部２１４は、入力画像データ３０８に対して前処理３１０を行ったデータを入力として、モデル実行３０５により画像復元処理を行う。モデル実行３０５では、画像復元部２１４は、モデルの入力データに対し式（１）と式（２）で表されるフィルタによる畳み込み演算と非線形演算とを複数回繰り返し、復元結果３１３を出力する。次に誤差算出部２１５は、教師画像データ３０９に対して前処理３１１を行ったデータ及び復元結果３１３からＬｏｓｓ計算３１４によりそれらの誤差を算出する。その後、モデル更新部２１６は、誤差算出部２１５が算出した誤差に基づいてモデル更新３１５を実行し、誤差が小さくなる（最小になる）ようにモデルのネットワークパラメータを更新する。
【0042】
なお、図３～図５を参照して説明した推論処理及び学習処理は一例であり、一般的なＣＮＮを用いて同様に推論及び学習が行うことができるのであれば異なる処理が行われてもよい。また、本実施形態においては劣化付与部２１１により劣化学習画像が生成されたが、学習用の画像を不図示の外部装置から取得するなど、異なる手段により学習用の画像が用意されてもよい。
【0043】
なお図２に示した構成は、適宜変形又は変更することが可能である。例えば、１つの機能部が複数の機能部に分割されていてもよいし、２つ以上の機能部が１つの機能部に統合されていてもよい。また、図２に示す構成は、２以上の装置によって実現されてもよい。この場合、各装置は、回路又は有線又は無線のネットワークを介して接続され、互いにデータ通信を行って協調動作を行うことで、本実施形態に係る各処理を実現する。
【0044】
本実施形態に係る切換部１１３は、復元推論を実行するモデルの候補を複数格納し、所定の条件を満たした場合に、その候補のうちから選択されたモデルにより推論が行われるように、ネットワーク構造の構成部を切り換える。図６Ａ～図６Ｅは、そのようなモデルの候補のネットワークの構成部の概略図である。以下、図６Ａ～図６Ｅを参照して画像復元部１１５で実行される学習済みモデル２２０のネットワーク構造の一例について説明する。
【0045】
図６Ａ～図６Ｅの例では、学習済みモデルのネットワークへ入力される入力データ６０１は、各時刻（ｔで表される）の入力画像１１６を前処理３０１したデータである。入力画像１１６は複数フレームが時系列に並んでおり、ｔ＝０の入力画像に対する出力データ（ｔ＝０）が出力される例を記載している。また、ｔ＝０の画像に対して相対的に前の時刻はｔをマイナス、相対的に後の時刻はｔを正の値で表現している。図６Ａ～図６Ｅにおいては、ｔ＝０における出力画像について、ｔ＝－２～２の５フレームの入力データを用いて出力が行われている。
【0046】
図６Ａのネットワークは、入力データ６０１を５フレーム分入力し、１フレーム分の出力データ６０５を出力する。このネットワーク構造は、第１の推論処理６０２を行う第１の推論部と、第２の推論処理６０４を行う第２の推論部と、２段階の構成を有している。まず、画像復元部１１５は、時系列的に連続する３つの入力データ６０１を１組として、（ｔ＝２～０、１～１、０～３の）３組分の第１の推論処理６０２を行う。続いて、画像復元部１１５は、第１の推論処理６０２の３組分の出力である中間出力６０３を第２の推論部に入力して第２の推論処理６０４を行い、出力データ６０５を出力する。図６Ａに示されるネットワークでは、第１の推論処理６０２における３組分のネットワークパラメータがそれぞれ異なる。
【0047】
図６Ｂに示されるネットワークは、図６Ａに示したものと同様のネットワーク構造を有し、同様に５フレーム分の入力データ６０１を入力とするネットワークである。図６Ｂに示されるネットワークでは、第１の推論処理６０２における３組分のネットワークパラメータが共通である。
【0048】
図６Ｃに示されるネットワークは、ネットワーク構造において図６Ｂのネットワークと共通の構成部を有するネットワークである。図６Ｃに示されるネットワークでは、第１の推論処理による出力の１つと、過去の第１の推論処理により出力された出力と、が第２の推論部に入力される。図６Ｃの例では、図６Ｂに示した３組の第１の推論処理６０２のうち、最後の１組のみが行われている。次いで、２段階目に入力する中間出力６０３の内、最後の１組を除いた２個は、過去の（例えば、前回及び前々回）第１の推論処理で出力された推論結果を流用する。すなわち、画像復元部１１５は、前回の推論で１段階目の出力として得られる中間出力ｔ＝―１～１及び前々回の推論で１段階目の出力として得られる中間出力ｔ＝―２～０を保存しておき、これらの中間出力を流用することができる。
【0049】
図６Ｄに示されるネットワークは、図６Ｂに示されるネットワーク構造におけるノードの一部のみを有するネットワークである。図６Ｄに示されるネットワークでは、画像復元部１１５は、入力データ６０１を３フレーム分（ここでは、ｔ＝－１～１の１組分）入力し、第１の推論処理６０２を行う。次いで画像復元部１１５は、第１の推論処理６０２の出力である中間出力６０３を第２の推論処理６０４へ入力し、１フレーム分の出力データ６０５を出力する。
【0050】
図６Ａ～図６Ｄに示されるネットワークが第１の推論部と第２の推論部を有する１段階構成であるのに対して、図６Ｅに示されるネットワークは１段階構成のネットワークである。図６Ｅに示されるネットワークでは、画像復元部１１５は、入力データ６０１を３フレーム分（ここでは、ｔ＝－１～１の１組分）入力し、推論処理６０２により１フレーム分の出力データ６０５を出力する。図６の例では入力データ６０１を複数個、出力データ６０５を１個とした。ただし本実施形態はこの例に留まるものではなく、入力データ数及び出力データ数はそれぞれ１以上であれば良く、また出力データ６０５は入力データのｔ＝０ではなく別の時刻に対応する出力であっても構わない。また、図６では時系列的に連続したデータを入力データ６０１としたが、これらは時系列的に連続したデータで無くてもよい。
【0051】
図６で説明した５種類のネットワークは、それぞれ処理時間や処理に必要なリソース量が異なる。以下、図７を参照して、これらのネットワーク構造の比較を行う。図７に示す表では図６Ａ～図６Ｅそれぞれに対応するものとしてモデル（Ａ）～（Ｅ）を定義し、それらのモデルの特性について比較項目（又は単純に「項目」）ごとの評価が記載されている。以下「モデル（Ａ）～（Ｅ）」と表記する場合図６及び図７で示すこれらのモデルを指すものとする。
【0052】
この例では、モデル（Ａ）～（Ｅ）の各項目について、他のモデルに対して相対的に良い場合に〇、中程度の場合に△、悪い場合に×を記している。ここでは、項目として、「（推論の）精度」、「メモリ使用量」、「学習時間」、「推論演算負荷」、及び「前回推論への依存性」が用いられている。図６Ａに示されるネットワーク構造では、第１の推論処理６０２のパラメータがそれぞれ異なる。そのため、図６Ａの構成は図６Ｂの構成と比較してネットワークの表現力が高く、精度が高い。一方で、図６Ａの構成は図６Ｂの構成と比較してパラメータ数が大きいため、メモリ使用量が大きく、また学習時間が長く、さらに推論の演算負荷が高くなるる。このように、図６Ａ～図６Ｅの各ネットワーク構成は、他のネットワーク構成と比較し相対的なメリットデメリットがあり、図７においては全ての項目が〇となるモデルは無いように評価が行われている。
【0053】
図７に示すような異なる性能を有するモデルを切り換えて運用することにより、例えばＣＰＵ又はＧＰＵ等のリソース使用状態に応じて適切なモデルを使用することができる。例えば、高精度だが高負荷のモデルと、低負荷だが精度が比較的低いモデルとを適切に切り換えることが可能となる。ここで、本実施形態に係る情報処理装置１００は、モデルを切り換える際にモデルの初期化を行わず、モデルのネットワーク構造の構成部（例えば、ノード間のパラメータ又はパスの一部）を変更することにより、より高速にモデルを切り換えることを可能とする。切り換え処理については後述する。
【0054】
ここで、図７の比較項目の一つである前回推論への依存性について、図８を参照して説明する。本実施形態において、前回推論への依存性とは、前回推論と今回の推論を独立で実行できるか否かを示す情報である。図６Ｃの構成は、前回及び前々回推論時の中間出力を流用するため、前回推論への依存性がある（すなわち、前回及び前々回の推論結果を用いなければ今回の推論を行うことができない）。
【0055】
図８は、複数ＧＰＵを用いて図６Ｃのモデルを実行する際に、どのタイミングでどの処理が行われるかの例を示す図である。図８（Ａ）においては、第１の推論処理６０２及び第２の推論処理６０４が、ＧＰＵ１及びＧＰＵ２を用いて交互に実行されている。図８（Ａ）の例では、時刻ｔ＝０とｔ＝２の入力データ６０１をＧＰＵ１で、時刻ｔ＝１とｔ＝３の入力データ６０１をＧＰＵ２で画像復元処理する。ここでは、ＧＰＵ１において時刻ｔ＝０における画像復元処理とｔ＝２における画像復元処理との間に他のＧＰＵ処理８０１が入ることにより、ｔ＝２における画像復元処理に待ち時間が生じている。この待ち時間の影響で、ｔ＝２の第１の推論処理６０２の開始が遅くなり、それに伴ってＧＰＵ２への中間出力６０３の転送が遅くなる。この結果、ＧＰＵ２におけるｔ＝３の第２の推論処理６０４の開始が遅延してしまう。すなわち、図８（Ａ）の例では、ＧＰＵ２では他のＧＰＵ処理８０１が発生していない場合であっても、ＧＰＵ１の処理の遅延によりＧＰＵ２においても待ち時間が生じ、ＧＰＵ２の処理効率が悪化する。同様に、ＧＰＵ２において他のＧＰＵ処理８０１が発生した場合には、ＧＰＵ１への中間出力６０３の転送が遅くなり、ＧＰＵ１にも待ち時間が生じることによってＧＰＵ１の処理効率が悪化する。すなわち、ＧＰＵ１及びＧＰＵ２は、遅延の影響を双方向に受けてしまう。
【0056】
図８（Ｂ）は、図８（Ａ）における遅延の影響を双方向から片方向に変更した場合の各ＧＰＵにおける処理の一例を示す図である。図８（Ｂ）においては、第１の推論処理６０２がＧＰＵ１で実行され、第２の推論処理６０４がＧＰＵ２で実行されている。第２の推論処理６０４には第１の推論処理６０２の出力である中間出力６０３が必要なため、ＧＰＵ１からＧＰＵ２へ中間出力６０３が転送されている。この中間出力６０３の転送は、同じ時刻（例えばｔ＝０）の入力データ６０１に対する第１の推論処理６０２と第１の推論処理６０４の間で実行される。つまり、モデル実行に際し、中間出力６０３のＧＰＵ間転送時間がモデル実行時間に加算される。
【0057】
また、図８（Ｂ）のように第１の推論処理６０２と第２の推論処理６０４とが異なるＧＰＵで実行される場合には、これらの推論処理の処理時間が異なる場合、他方のＧＰＵが処理をしない空き時間が長くなってしまう。図８（Ｂ）の例では第１の推論処理６０２のよりも第２の推論処理６０４の処理時間の方が長いため、第１の推論処理６０２を行うＧＰＵ１の空き時間が長く、処理効率が悪くなる。このように、複数ＧＰＵを用いて推論を行う場合には遅延が生じ得るため、前回推論への依存性がないモデルを用いる方が好ましい場合がある。そのため、このような場合に切換部１１３は、推論に用いるモデルを、前回推論への依存性があるモデルから前回推論への依存性のないモデルへと切り換えてもよい。
【0058】
以下、切換部１１３が行うモデル切り換え処理についての説明を行う。前述したように、本実施形態に係る情報処理装置１００は、図６に示すような異なる性能を有するモデルを、所定の条件（切り換え条件）を満たすことに応じて切り換えて運用する。切換部１１３は、定期的に切り換え条件を満たしているか否かの判定（モデル切り換え判定）を行い、条件を満たしている（切り換えが必要）と判定した場合に、画像復元部１１５で実行するモデルの切り換えを行う。ここで、モデル切り換え判定を行う頻度は、例えば１０分毎などの一定時間ごと、あるいは推論１回ごとなどとすることができる。本実施形態においては、図６Ａ～図６Ｅに示されるような各モデルを示す情報がモデル保存部１１９に格納されており、モデルを切り換える際はモデル保存部１１９から情報が読み出される。
【0059】
本実施形態において、この切り換え条件は、例えば情報処理装置１００の動作状態が所定の状態であるか否かとすることができる。図７において説明したように、上述した各モデルはそれぞれ推論において必要なリソース量が異なる。したがって、切換部１１３は、情報処理装置１００の動作状態としてリソースの使用状態を用いて、リソースの使用状態が所定の状態である場合に、推論に用いるモデルを切り換えてもよい。例えば切換部１１３は、推論中のリソースの使用率が所定割合（例えば、９０％）を超えた場合に、推論に用いるモデルを推論時のリソース消費量がより少ないモデルに切り換えることができる。また例えば切換部１１３は、リソースの使用状態として、推論中のリソースの使用率が所定割合（例えば、３０％）未満である場合に、推論に用いるモデルを推論時のリソース消費量がより大きい（より推論の精度が高い）モデルに切り換えることができる。このように、本実施形態に係る切換部１１３はが用いる切り換え条件は、例えば情報処理装置１００のリソース使用率、又は図７に示した各項目に記載されているようなその他のモデルの特性に応じて設定されてもよい。以下、リソースの使用状態として使用率を用いて説明を行う。
【0060】
ここでは、切換部１１３は、情報処理装置１００の、推論中のリソースの使用率（計算リソース使用状態）を取得する。リソースの使用率としては、例えば、ＣＰＵ使用率、ＲＡＭ使用率、ＧＰＵ計算ユニット使用率、又はＧＰＵメモリ使用率を用いることができる。ここでは、計算リソース使用状態の取得には、例えばＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）が提供するＣＰＵ使用率、ＲＡＭ使用率、ＧＰＵ計算ユニット使用率、又はＧＰＵメモリ使用率を取得するためのＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）が使用される。切換部１１３は、取得したリソースの使用率に基づいて切り換え条件が満たされているか否かを判定することができる。例えば切換部１１３は、図７の（Ａ）のモデルを使用中に、ＣＰＵ使用率、ＲＡＭ使用率、ＧＰＵ計算ユニット使用率、又はＧＰＵメモリ使用率などのリソースの使用率が第１の閾値（９０％）を超えた場合に、推論に使用するモデルを、推論演算負荷がより低いモデルへ（ここでは図７に示す（Ｂ）～（Ｅ）のいずれか、例えば（Ｂ）へ）切り換えてもよい。また切換部１１３は、例えば図７の（Ｅ）のモデルを使用中に、リソースの使用率が第２の閾値（３０％）未満である場合に、推論に使用するモデルを、推論の精度がより高いモデルへ（ここでは図７に示す（Ａ）～（Ｄ）のいずれか、例えば（Ｂ）へ）切り換えてもよい。このように、本実施形態に係る切換部１１３は、モデル特性（精度、メモリ使用量、推論演算負荷、又は前回推論への依存性など）と、情報処理装置１００のリソースの使用率とに基づいて、推論に用いるモデルを切り換える。
【0061】
本実施形態では、モデルの切り換えにおいて、モデルの再初期化は行わない。画像復元部１１５は、推論に用いるネットワークモデルの初期設定時において、登録されている（例えば、図６Ａ～図６Ｅなどの）全モデルを、ネットワーク構造の構成部を切り換えることにより実装可能であるネットワーク構造を有するモデルを構築する。本実施形態に係るモデル切り換え処理では、切り換え前のモデル領域を流用して、モデルのパラメータ及びパスを切り換えることで第１の機械学習モデルを第２の機械学習モデルへと切り換える処理が行われ、モデルの再構築処理は実施しない。
【0062】
例えば図６Ａから図６Ｂへのモデル切り換えは、第１の推論処理６０２のパラメータの変更及び第２の推論処理６０４のパラメータの変更によって行う。この切り換えにおいてはパラメータの変更を行う処理のみ行い、学習済みモデル２２０のネットワーク構造を初期化し（初期設定を行い）再構築する処理は行われない。また、図６Ｂから図６Ｃへのモデル切り換えは、第１の推論処理６０２のパラメータの変更及び第２の推論処理６０４のパラメータ変更、並びにノード間のパスの変更によって行う。つまり、図６Ｃでは１組の入力しか図示されていないが、図６Ｃのモデルにおいても内部では切り換え前のモデル領域が流用されており、図６Ｂ同様に第１の推論処理６０２が３回実施可能な構造でモデルが構築されたままである。ただし図６Ｃのモデルにおいてそのパスは利用されず、図６Ｃに図示されたパスが利用される。モデルを切り換える際にネットワーク構造の初期化を行ってからモデルを再構築する場合と比較して、本実施形態に係る処理では、モデル切り換え時に切り換え前のモデル領域を流用することでモデルの再構築処理を不要とし、モデルの切り換えを高速化することが可能となる。
【0063】
［システム全体の処理の流れ］
次に図９Ａ～図９Ｃを参照して、本実施形態に係る情報処理システムで行われる各種処理について説明する。図９Ａ～Ｃは本実施形態に係る情報処理システムにおいて行われる処理の一例を示すフローチャートである。図２に示した各機能部は、ＣＰＵ１０１又は２０１が本実施形態に係る情報処理コンピュータプログラムを実行することによって実現される。ただし、図２に示した機能部の全部又は一部がハードウェアで実装されてもよい。以下、図９のフローチャートに沿って説明する。なお、以下の説明において記号「Ｓ」は処理ステップを意味する。
次に図９Ａ～図９Ｃを参照して、本実施形態に係る情報処理システムで行われる各種処理について説明する。図９Ａ～Ｃは本実施形態に係る情報処理システムにおいて行われる処理の一例を示すフローチャートである。図２に示した各機能部は、ＣＰＵ１０１又は２０１が本実施形態に係る情報処理コンピュータプログラムを実行することによって実現される。ただし、図２に示した機能部の全部又は一部がハードウェアで実装されてもよい。以下、図９のフローチャートに沿って説明する。なお、以下の説明において記号「Ｓ」は処理ステップを意味する。
【0064】
まず図９Ａのフローチャートを参照して、クラウドサーバ２００で行われる復元学習の一例の流れについて説明する。Ｓ９０１でクラウドサーバ２００は、予め用意された教師画像群２１７と、撮像センサの特性及び撮影時の感度、被写体距離、レンズの焦点距離及びＦ値、並びに露出値などの撮像装置１０における物理特性解析結果２１８とが、クラウドサーバ２００に入力される。なお、ここでは教師画像データは、Ｂａｙｅｒ配列のＲＡＷ画像であり、撮像装置１０で撮像することにより得られるものとする。しかしながら教師画像群２１７の取得方法は特にこのようには限定されず、例えば事前に撮り溜めたものをＨＤＤ等に記憶しておきそれをアップロードしてもよい。
【0065】
Ｓ９０２で劣化付与部２１１は、Ｓ９０１で入力された教師画像群２１７の教師画像データに対し、撮像装置の物理特性解析結果２１８に基づくノイズを劣化要素として付与することにより劣化学習画像データを生成する。ここで、劣化付与部２１１は、教師画像データに対し、撮像装置の物理特性解析結果２１８に基づいて予め測定した量のノイズを、予め設定した順に、又はランダムな順に付与するものとする。
【0066】
Ｓ９０３で学習部２１２は、復元学習に適用する学習用パラメータ２１９を取得する。ここでの学習用パラメータは、前述したようにニューラルネットワークモデルのパラメータの初期値、モデルのネットワーク構造及び最適化方法を示すハイパーパラメータを含む。
【0067】
Ｓ９０４で画像復元部２１４は、受け取ったネットワークパラメータを用いてモデルの初期設定を行う。Ｓ９０５で画像復元部２１４は、劣化学習画像データをモデルへの入力として、劣化学習画像データの復元処理を行う。
【0068】
Ｓ９０６で誤差算出部２１５は、Ｓ９０５における復元結果と教師画像データとの誤差を式（３）に示す損失関数に従って算出する。Ｓ９０７でモデル更新部２１６は、Ｓ９０６で得られた誤差が小さくなる（最小になる）ように、モデルのネットワークパラメータを更新する。
【0069】
Ｓ９０８で学習部２１２は、学習を終了するか否かを判定する。例えば学習部２１２は、ネットワークパラメータの更新回数が所定の回数に達した場合、又は学習開始から所定期間が経過している場合に、学習を終了するものと判定する。学習を終了する場合には処理はＳ９０９へ進み、学習を終了しない場合には処理がＳ９０５へ戻る。二回目以降のＳ９０５～Ｓ９０８では、未処理の劣化学習画像データ及び教師画像データを用いて学習を継続する。Ｓ９０９では、学習部２１２が、学習したモデルを大容量記憶装置２０４等へ格納する。
【0070】
次いで、図９Ｂのフローチャートを参照して、情報処理装置１００で行われる復元推論処理の一例の流れについて説明する。Ｓ９１０で画像復元部１１５は、推論に用いるネットワークモデルの初期設定が済んでいるか否かの判定を行う。済んでいるのであれば処理はＳ９１３へ進み、そうでなければ処理はＳ９１１へ進む。
【0071】
Ｓ９１１でモデル保存部１１９は、クラウドサーバ２００から学習済みモデル２２０を取得し格納する。Ｓ９１２で画像復元部１１５は、モデル保存部１１９に格納されている学習済みモデル２２０を用いた推論を開始するために、推論に用いるモデルの初期設定を行う。
【0072】
Ｓ９１３で切換部１１３はモデル切り換え処理を行う。この処理は図９Ｃで後述する。Ｓ９１４で情報処理装置１００は、画像復元処理の対象となるＢａｙｅｒ配列のＲＡＷ画像である入力画像データ１１６を取得する。ＲＡＷ画像は、例えば撮像装置１０で撮像したものが直接入力されてもよいし、事前に撮像して大容量記憶装置１０４に記憶しておいたものを読み出してもよい。この入力画像データ１１６は、Ｓ９１５での画像復元に必要な枚数取得される。
【0073】
Ｓ９１５で画像復元部１１５は、入力画像データ１１６の復元を行う。Ｓ９１５において画像復元部１１５で復元がなされた画像データが出力画像データ１１８として出力され、図９Ｂの処理は終了する。また、図６Ｃのモデルの中間出力６０３のように、次回以降の推論で流用するデータがある場合は、データが画像復元部１１５に保存され次回以降の推論で流用される。
【0074】
続いて、図９Ｃのフローチャートを参照して、情報処理装置１００の切換部１１３で行われるモデル切り換え処理の一例の流れについて説明する。Ｓ９２０で切換部１１３は、リソースの使用状態を取得する。
【0075】
Ｓ９２１で切換部１１３は、モデル保存部１１９に保存されている学習済みモデル２２０のモデル特性を取得する。このモデル特性は、図７で例示したような精度やメモリ使用量などの項目に関する値である。Ｓ９２２で切換部１１３は、Ｓ９２０で取得したリソースの使用状態及びＳ９２１で取得したモデル特性に基づいて、モデル保存部１１９に格納されている学習済みモデル２２０の中から次に推論に用いるモデル（切り換え先となるモデル）を選択する。
【0076】
以下、切換部１１３は、例えば上述したように、リソースの使用率が第１の閾値を超えている場合にモデルを切り換える。ここでは、切換部１１３は、例えばモデル特性の項目「推論演算負荷」についてモデル（Ａ）～（Ｅ）間の順位を設定し、リソースの使用率が第１の閾値を超えている場合に、現在使用しているモデルよりも順位の１つ低いモデルに切り換えるようにしてもよい。また切換部１１３は、リソースの使用率が第２の閾値未満である場合に、現在使用しているモデルよりも順位の１つ高いモデルに切り換えるようにしてもよい。また切換部１１３は、第１の閾値に加え第１の閾値よりも大きい第３の閾値を設定し、リソースの使用率が第３の閾値を超える場合は現在使用しているモデルよりも順位の２つ低いモデルに切り換えるなど、順位に基づく異なる処理を行ってもよい。ここでは、リソースの使用率が第１の閾値以下かつ第２の閾値以上である場合には、現在使用しているモデルが切り換え先のモデルとして選択されるものとする。
【0077】
また、ここでは、リソースの使用率が第１の閾値を超えたことが一度確認された場合にモデルが切り換えられる。しかしながら、モデルの切り換えの頻度が高くなりすぎることを抑制するために、所定の期間におけるリソースの使用率の評価を複数回にわたって行い、その結果に基づいてモデルを切り換えるか否かの判定が行われてもよい。例えば切換部１１３は、Ｓ９２１におけるモデル特性の取得を所定の期間（例えば、所定の間隔で所定回数）行い、それらのうちモデル特性が第１の閾値を超えている期間が所定の割合以上であった場合にモデルを切り換えるようにしてもよい。また、切換部１１３は、Ｓ９２１で取得されるモデル特性の情報を保持しておき、直近の所定の期間において第１の閾値を超えているモデル特性が所定の割合以上である場合にモデルを切り換えるようにしてもよい。ここで、所定の割合とは、１０割であってもよく、８割であってもよく、所望の条件に応じてユーザが任意に設定可能である。
【0078】
Ｓ９２３で切換部１１３は、Ｓ９２２で選択されたモデルと現在使用中のモデルが異なるか判定する。異なる場合は処理がＳ９２４へと進み、一致する場合は処理が終了する。Ｓ９２４で切換部１１３は、画像復元部１１５で使用するモデルをＳ９２２で選択されたモデルへ切り換えて処理を終了する。
【0079】
以上が、本実施形態の情報処理システムで行われる処理の全体の流れである。このような処理によればモデルの切り換え時に切り換え前モデル領域を流用しパラメータやパスのみ切り換えることでモデルの再構築処理を不要とし、モデルの切り換えを高速化することが可能となる。
【0080】
なお、本実施形態においてはＳ９０２で学習データを生成したが、これは後で生成してもよい。具体的には、後続の復元学習の中で教師画像データに対応する入力画像データを生成するように構成してもよい。また、本実施形態においては予め用意された教師画像群のデータを用いて一から学習を行うものとしてクラウドサーバ２００の説明を行ったが、学習済みのネットワークパラメータを有する機械学習モデルを取得し、そのモデルを用いて各処理を行ってもよい。
【0081】
本実施形態においては、劣化要素としてノイズを用いて各処理を行うものとして説明を行ったが、ノイズ以外の劣化要素を用いる場合でも同様の処理を行うことが可能である。例えば、劣化要素としては、上述したようにボケ、収差、圧縮、低解像、欠損、又は撮影時の霧、霞、雪若しくは雨の影響などによるコントラスト低下などが用いられてもよく、これらの複数の組み合わせが用いられてもよい。
【0082】
なお、本実施形態では、情報処理装置１００が学習済みモデルを用いて入力画像データのみから復元を行う例について説明したが、加えて画像復元を補助するパラメータが用いられてもよい。例えば情報処理装置１００は、被写体までの距離、焦点距離、センササイズ、又は露出などの撮影条件によって、予めどの程度画質の劣化が発生するかを見積もったルックアップテーブルを保持しておき、画像復元時にそれを参照することで復元量を調整してもよい。すなわち情報処理装置１００の推論部１１２は、入力画像データの画像が撮影された際の撮影条件に基づいて劣化の復元強度を調整するようにしてもよい。
【0083】
本実施形態においては、画像復元処理を行う機械学習モデルを用いる例について説明したが、モデルのタスクは画像復元処理に限定されず、例えば画像認識などを行うモデル等を用いる場合でも同様に処理を行うことが可能である。また、本実施形態に係る機械学習アルゴリズムは、ニューラルネットワークに限定されず、その他のアルゴリズムが用いられてもよい。
【0084】
［実施形態２］
実施形態１では、リソースの使用状態に基づいてモデル切り換え判定を行う情報処理装置の例について説明を行った。実施形態２に係る情報処理装置１０００は、ユーザ設定を取得し、取得したユーザ設定に基づいてモデル切り換え判定を行う。すなわち、本実施形態に係る情報処理装置１０００は、ユーザ設定が所定の条件を満たす場合に、推論に用いるモデルを第１のモデルから第２のモデルへと切り換える。なお、情報処理システムの基本構成などで実施形態１で挙げた構成と共通する内容については説明を省略し、以下では実施形態１との差異点を中心に説明するものとする。
実施形態１では、リソースの使用状態に基づいてモデル切り換え判定を行う情報処理装置の例について説明を行った。実施形態２に係る情報処理装置１０００は、ユーザ設定を取得し、取得したユーザ設定に基づいてモデル切り換え判定を行う。すなわち、本実施形態に係る情報処理装置１０００は、ユーザ設定が所定の条件を満たす場合に、推論に用いるモデルを第１のモデルから第２のモデルへと切り換える。なお、情報処理システムの基本構成などで実施形態１で挙げた構成と共通する内容については説明を省略し、以下では実施形態１との差異点を中心に説明するものとする。
【0085】
図１０は、実施形態２に係る情報処理システム全体の機能構成を示すブロック図である。図１０の情報処理システムにおいては、実施形態２に係るクラウドサーバ２００の各機能部は実施形態１と同様のため説明を省略する。また、実施形態２に係る情報処理装置１０００は、設定部１００１と設定保存部１００２を有し、切換部１１３に代わり切換部１００３を有することを除き図２の情報処理装置１００と同様の構成を有するため、重複する説明は省略する。
【0086】
設定部１００１は、入力装置２０又はネットワークＩ／Ｆ１０６を介し、推論に関するユーザ設定の入力を受け取り、入力されたユーザ設定を設定保存部１００２に格納する。切換部１００３は、設定保存部１００２からユーザ設定を読み取り、ユーザ設定が所定の条件を満たすことに応じて、画像復元部１１５で実行する学習済みモデル２２０を切り換える。
【0087】
ユーザ設定としては、例えば推論において速度と精度とのどちらを優先するかの設定、復元における画質の設定、復元の程度の設定、入力された劣化画像が室内で撮像されているか室外で撮像されているかの設定など、推論に関する設定が用いられる。以下、これらのユーザ設定に対する情報処理装置１０００による処理について、図１１を参照して説明する。
【0088】
図１１は、ユーザ設定を取得する設定画面の例である。この設定画面は表示装置４０に表示され、入力装置２０を介して値が選択される。図１１（Ａ）の１１００は画像復元設定の画面例であり、現在の各項目についてのユーザ設定が表示されている。図１１（Ａ）では、画像復元設定の項目例として、「精度・速度」、「復元強度」、「カメラ機種」、「色の鮮やかさ」、「輪郭の明瞭さ」、及び「屋内・屋外」が表示されており、それぞれの設定項目についてユーザが設定を入力する。
【0089】
「精度・速度」の設定項目では、推論において速度と精度とのどちらを優先するかが設定される。ここで、速度を優先する設定が行われた場合には、切換部１００３が、推論演算負荷が低いモデルを優先して（例えば、「推論演算負荷」の項目について現在使用しているモデルよりも順位の１つ低いモデルを）選択する。
【0090】
「復元強度」の設定項目では、復元の程度の設定が行われる。復元強度は、ここでは１～５の５段階で入力され、入力された値に応じて切り換え先のモデルが選択される。切換部１００３は、例えば復元強度の値が所定の閾値（例えば、４）を超えている場合には、復元強度が現在使用しているモデルよりも高いモデルに切り換えてもよく、復元強度の値に対応するモデルを推論に用いるモデルとして選択するようにしてもよい。
【0091】
「屋内・屋外」の設定項目では、入力画像が室内で撮像されているか室外で撮像されているかの設定が行われる。切換部１００３は、例えば保存しているモデルを屋内画像の復元に優れているモデルと屋外画像の復元に優れているモデルとに区分しておき、「屋内・屋外」の設定が変更された場合には、その設定に対応するようにモデルの切り換えを行ってもよい。
【0092】
また、カメラ機種に対して適したモデルが設定され、「カメラ機種」の項目で特定のカメラ機種が設定されると、切換部１００３が、設定を参照してそのカメラ機種の撮像画像に適した復元を行うモデルを選択する。
【0093】
図１１（Ｂ）に示される画面１１２０は、設定項目の優先順位を設定する画面の例である。各設定項目の間で優先する順番を決めることで、切換部１００３は、優先順位の高い設定項目を用いてモデル切り換え判定を行うことができる。画面１１２０ではカメラ機種設定が優先され、輪郭の明瞭さ設定は優先されない。図１１（Ａ）及び図１１（Ｂ）の画面で設定された値は設定保存部１００２に格納される。
【0094】
なお図１１では表示装置４０及び入力装置２０を使用してユーザ設定を入力する例について説明を行ったが、この設定は他の方法で入力されてもよい。例えばユーザ設定は、ネットワークＩ／Ｆ１０６を介し入力されても構わない。
【0095】
［システム全体の処理の流れ］
次に、図１２Ａ～図１２Ｂを参照して、本実施形態に係る情報処理システムで行われる各種処理について説明する。図１２Ａ～図１２Ｂは、本実施形態に係る情報処理システムにおいて行われる処理の一例を示すフローチャートである。図１０に示した各機能部は、ＣＰＵ１０１又は２０１が本実施形態に係る情報処理コンピュータプログラムを実行することで実現される。
次に、図１２Ａ～図１２Ｂを参照して、本実施形態に係る情報処理システムで行われる各種処理について説明する。図１２Ａ～図１２Ｂは、本実施形態に係る情報処理システムにおいて行われる処理の一例を示すフローチャートである。図１０に示した各機能部は、ＣＰＵ１０１又は２０１が本実施形態に係る情報処理コンピュータプログラムを実行することで実現される。
【0096】
図１２Ａは、情報処理装置１０００が行う復元推論処理の一例を示すフローチャートである。図１２Ａに示す処理は、Ｓ９１３で行われるモデル切り換え処理であり、Ｓ９２０及びＳ９２２に代わりそれぞれＳ１２００及びＳ１２０１が行われることを除き実施形態１の図９Ｃと同様に行われ、重複する説明は省略する。
【0097】
Ｓ１２００で切換部１００３は、設定保存部１００２に格納されているユーザ設定を取得する。取得するユーザ設定は、例えば図１１で例示した画像復元設定及び画像復元設定の優先順位である。
【0098】
Ｓ１２０１で切換部１００３は、Ｓ１２００で取得した設定及びＳ９２１で取得したモデル特性に基づいて、モデル保存部１１９に格納されている学習済みモデル２２０の中から切り換え先のモデルを選択する。ここでは、画像復元設定の優先順位が（例えば、最も）高い項目の設定を用いてモデルの選択が行われる。例えば、図１１（Ｂ）に示すようにカメラ機種設定の優先順位が最も高い場合、カメラ機種として設定されている機種に適したモデルが優先的に選択される。
【0099】
図１２Ｂは、本実施形態に係る設定部１００１が行う、ユーザ設定の設定処理の一例を示すフローチャートである。Ｓ１２２０で設定部１００１は、表示装置４０にメニュー画面を表示する。このメニュー画面は例えば図１１の画面を開くためのメニューを表示する画面であり、画像復元設定開始ボタン及び画像復元設定の優先順位設定開始ボタンが表示される。以下、「ボタンが押される」とはユーザによりボタン押下操作が行われることであり、タッチパネル上の操作であってもよく、機械式ボタンを介した操作であってもよい。
【0100】
Ｓ１２２１で設定部１００１は、画像復元設定開始ボタンが押されたか否かを判定する。押されていたら処理がＳ１２２２へ進み、押されていなければ処理はＳ１２２５へ進む。Ｓ１２２２で設定部１００１は、設定保存部１００２から現在の設定を読み取り、表示装置４０に例えば図１１（Ａ）の様に画像復元設定画面を表示する。
【0101】
Ｓ１２２３で設定部１００１は、ユーザにより設定完了ボタンが押されたか否かを判定する。押されていたら処理がＳ１２２４へ進み、押されていなければ処理はＳ１２２３へ戻る。Ｓ１２２４で設定部１００１は、設定を設定保存部１００２へ保存し、Ｓ１２２０へ戻る。
Ｓ１２２５で設定部１００１は、画像復元設定の優先順位設定開始ボタンが押されたか否かを判定する。押されていたら処理がＳ１２２６へ進み、押されていなければ処理はＳ１２２７へ進む。Ｓ１２２６で設定部１００１は、設定保存部１００２から現在の設定を読み取り、表示装置４０に例えば図１１（Ｂ）の様に画像復元設定の優先順位設定画面を表示する。Ｓ１２２７で設定部１００１は、停止の要求がない限り、Ｓ１２２１へ戻り処理を繰り返す。
Ｓ１２２５で設定部１００１は、画像復元設定の優先順位設定開始ボタンが押されたか否かを判定する。押されていたら処理がＳ１２２６へ進み、押されていなければ処理はＳ１２２７へ進む。Ｓ１２２６で設定部１００１は、設定保存部１００２から現在の設定を読み取り、表示装置４０に例えば図１１（Ｂ）の様に画像復元設定の優先順位設定画面を表示する。Ｓ１２２７で設定部１００１は、停止の要求がない限り、Ｓ１２２１へ戻り処理を繰り返す。
【0102】
以上が、本実施形態の情報処理システムで行われる処理の全体の流れである。このような処理によれば、ユーザ設定を取得し、取得したユーザ設定に応じて推論に用いるモデルを切り換えるか否かの判断を行うことができる。
【0103】
なお本実施形態に係るユーザ設定は入力装置２０を介して入力するものとして説明を行ったが、ユーザ設定の一部又は全てが自動設定されてもよい。例えば、「カメラ機種」又は「屋内・屋外」の設定項目については、入力画像データに付与される情報から自動で取得され設定されるようにしてもよい。また、「復元強度」の設定項目については、入力画像データを解析することによるノイズ量の多寡に基づいて自動的に設定されるようにしてもよい。
【0104】
［実施形態３］
実施形態１においては、画像復元処理を行う機械学習モデルを用いた処理について説明を行った。実施形態３では、実施形態１における画像復元処理を行う機械学習モデルに代わり、画像中の物体の種類を判定するクラス分類処理を行う機械学習モデルを用いる情報処理装置の例について説明する。なお情報処理システムの基本構成などで実施形態１で挙げた構成と共通する内容については説明を省略し、以下では実施形態１との差異点を中心に説明するものとする。本実施形態のクラス分類における機械学習アルゴリズムは、例えばＲａｎｄｏｍ ｆｏｒｅｓｔを使用する。Ｒａｎｄｏｍ ｆｏｒｅｓｔは決定木に基づく機械学習技術であり、公知の技術であるためここでの説明は省略する。
実施形態１においては、画像復元処理を行う機械学習モデルを用いた処理について説明を行った。実施形態３では、実施形態１における画像復元処理を行う機械学習モデルに代わり、画像中の物体の種類を判定するクラス分類処理を行う機械学習モデルを用いる情報処理装置の例について説明する。なお情報処理システムの基本構成などで実施形態１で挙げた構成と共通する内容については説明を省略し、以下では実施形態１との差異点を中心に説明するものとする。本実施形態のクラス分類における機械学習アルゴリズムは、例えばＲａｎｄｏｍ ｆｏｒｅｓｔを使用する。Ｒａｎｄｏｍ ｆｏｒｅｓｔは決定木に基づく機械学習技術であり、公知の技術であるためここでの説明は省略する。
【0105】
図１３は、実施形態３に係る情報処理システム全体の機能構成を示すブロック図である。また、実施形態３に係る情報処理装置１３００は、画像復元部１１５に代わり推論用のクラス分類部１３０２を有する推論部１３０１を備えることを除き図２の情報処理装置１００と同様の構成を有するため、重複する説明は省略する。
【0106】
モデル保存部１１９は、クラウドサーバ１３５０から受け取った学習済みモデル２２０を格納する。推論部１３０１は、画像中の物体の特徴量に基づいて物体の種類を判定するクラス分類の機能を有する。
【0107】
推論用のクラス分類部１３０２は、クラス分類用の決定木のモデル実行部を含む。クラス分類部１３０２は、画像中の物体特徴量１３０３を入力として受け取り、当該物体のクラス分類の結果であるクラス分類結果１３０４を出力する。本実施形態に係るクラス分類において分類されるクラスは、例えば人間、船、又は山などの物体の種類であり、クラス分類結果１３０４は各クラスの尤度である。また、物体特徴量１３０３は物体が撮像されている画像から抽出された特徴量であり、本実施形態では情報処理装置１３００の外で特徴量が抽出されるものとするが、情報処理装置１３００が画像を取得し、物体特徴量１３０３を抽出する構成であってもよい。
【0108】
クラウドサーバ１３５０は学習部１３５４を備える。学習部１３５４は、学習用のクラス分類部１３５３、誤差算出部１３５５、及びモデル更新部１３５６を備える。学習部１３５４は、学習用パラメータ１３５２を取得し、学習データ１３５１を用いてクラス分類の学習を行う。本実施形態に係る学習データ１３５１には、物体特徴量と物体のクラスを表す教師データとのペアが複数含まれる。学習用パラメータ１３５２は、決定木モデルの木の深さ及び乱数の生成方法などのパラメータを含む。クラス分類部１３５３は、学習データ１３５１に含まれる物体特徴量を入力として受け取り、クラス分類結果を出力する。誤差算出部１３５５は、クラス分類結果と教師データとの誤差を算出する。モデル更新部１３５６は、算出された誤差を基に、クラス分類部１３５３の決定木モデルのパラメータを更新する。
【0109】
ここで、クラス分類部１３０２で実行される学習済みモデル２２０の構造の一例について、図１４（Ａ）～（Ｃ）を参照して説明する。図１４は、Ｒａｎｄｏｍ ｆｏｒｅｓｔを用いてクラス分類を行うモデルのネットワークの概略図である。Ｒａｎｄｏｍ ｆｏｒｅｓｔを用いるモデルのネットワーク構造は、複数の決定木（Ｄｅｃｉｓｉｏｎ Ｔｒｅｅ）で構成される。図１４（Ａ）～（Ｃ）に示されるモデルは決定木１～決定木４のいずれか又は全ての決定木を使用する。
【0110】
図１４（Ａ）のモデルは全ての決定木を使用しており、図１４（Ｂ）及び図１４（Ｃ）のモデルと比較するとクラス分類精度は高い一方で処理負荷が高い。一方、図１４（Ｂ）及び図１４（Ｃ）のモデルは、図１４（Ａ）よりも使用している決定木が少ないため処理が比較的軽く、しかしクラス分類精度は比較的低い。
【0111】
本実施形態では、クラス分類部１３０２の初期設定時に、ネットワーク構造の構成部を変更することにより実装可能であるネットワーク構造を有するモデルを構築する。本実施形態に係るモデル繰り換え処理においても、実施形態１と同様に、モデルのパラメータ及びパスを切り換えることで第１の機械学習モデルを第２の機械学習モデルへと切り換える処理が行われ、モデルの再構築処理は実施しない。
【0112】
次に、図１５を参照して、本実施形態に係る情報処理システムで行われる各種処理について説明する。図５（Ａ）～図１５Ｂは本実施形態に係る情報処理システムにおいて行われる処理の一例を示すフローチャートである。図１３に示した各機能部は、ＣＰＵ１０１又は２０１が本実施形態に係る情報処理コンピュータプログラムを実行することによって実現される。以下、図１５Ａのフローチャートを参照して、クラウドサーバ１３５０で行われるクラス分類の学習の一例の流れについて説明する。
【0113】
Ｓ１５０１でクラウドサーバ１３５０は、クラス分類の学習に適用する学習データ１３５１を取得する。Ｓ１５０２でクラウドサーバ１３５０は、クラス分類の学習に適用する学習用パラメータ１３５２を取得する。
【0114】
Ｓ１５０３でクラス分類部１３５３は、Ｓ１５０２で取得した学習用パラメータを用いてモデルの初期設定を行う。Ｓ１５０４でクラス分類部１３５３は、学習データ１３５１に含まれる物体特徴量をモデルへの入力として物体のクラス分類を行う。
【0115】
Ｓ１５０５で誤差算出部１３５５は、クラス分類結果と教師データとの誤差を損失関数に従って算出する。Ｓ１５０６でモデル更新部１３５６は、Ｓ１５０５で得られた誤差が小さくなる（最小になる）ように、モデルを更新する。
【0116】
Ｓ１５０７で学習部１３５４は、学習を終了するか否かを判定する。例えば学習部１３５４は、モデルの更新回数が所定の回数に達した場合に、又は学習開始から所定期間が経過している場合に、学習を終了するものと判定する。学習を終了する場合は処理はＳ１５０８へ進み、学習を終了しない場合には処理がＳ１５０４へ戻る。二回目以降のＳ１５０４～Ｓ１５０７では、未処理の物体特徴量及び教師データを用いて学習を継続する。Ｓ１５０８で学習部１３５４が、学習したモデルを大容量記憶装置２０４等へ格納する。
【0117】
次いで、図１５Ｂのフローチャートを参照して、情報処理装置１３００で行われるクラス分類の一例の流れについて説明する。Ｓ１５５０でクラス分類部１３０２は、推論に用いるネットワークモデルの初期設定が済んでいるか否かの判定を行う。済んでいるのであれば処理はＳ１５５３へ進み、そうでなければ処理はＳ１５５１へ進む。
【0118】
Ｓ１５５１でモデル保存部１１９は、クラウドサーバ１３５０から学習済みモデル２２０を取得し格納する。Ｓ１５５２でクラス分類部１３０２は、モデル保存部１１９に格納されている学習済みモデル２２０を用いた推論を開始するために、推論に用いるモデルの初期設定を行う。
【0119】
Ｓ１５５３で切換部１１３はモデル切り換え処理を行う。この処理は図９Ｃで説明を行ったものと同様であり、ここでの説明は省略する。Ｓ１５５４で情報処理装置１３００は、クラス分類の対象となる物体特徴量１３０３を取得する。Ｓ１５５５でクラス分類部１３０２は、物体特徴量１３０３のクラス分類を行い、クラス分類結果１３０４を出力する。
【0120】
以上が、本実施形態の情報処理システムで行われる処理の全体の流れである。このような処理によれば、クラス分類処理を行うモデルによる推論を行う場合であっても、モデルの切り換え時に切り換え前モデル領域を流用しパラメータやパスのみ切り換えることでモデルの再構築処理を不要とし、モデルの切り換えを高速化することが可能となる。なお、本実施形態に係る機械学習アルゴリズムは、決定木に限定されず、その他のアルゴリズムが用いられても良い。
【0121】
本明細書の開示は、以下の情報処理装置、情報処理方法、及びプログラムを含む。
【0122】
（項目１）
第１の機械学習モデルを用いて入力に対する推論を行う推論手段と、
所定の条件を満たすことに応じて、前記推論に用いる機械学習モデルを、前記第１の機械学習モデルのネットワーク構造の構成部の一部が少なくとも変更された第２の機械学習モデルを選択する選択手段と、
を備え、
前記第１の機械学習モデルは、第１の構成部と第２の構成部とを有し、
前記第２の機械学習モデルは、前記第１の構成部又は前記第２の構成部における、ノード間のパラメータ又はパスの一部を変更した構成部を少なくとも有することを特徴とする、情報処理装置。
（項目２）
前記第１の機械学習モデルは、前記第１の構成部として第１のパラメータ及び第１のパラメータとは異なる第２のパラメータを備える第１の推論部と、前記第２の構成部として第１の推論部の出力を入力とする第２の推論部と、を備え、
前記第２の機械学習モデルは、前記第１の推論部における前記第２のパラメータを前記第１のパラメータへと置換した第３の推論部と、前記第３の推論部の出力を入力とする、前記第２の推論部と同じネットワーク構造を有する第４の推論部と、を備えることを特徴とする、項目１に記載の情報処理装置。
（項目３）
前記第１の機械学習モデルは、前記第１の構成部として第１の推論処理による第１の出力及び第２の推論処理による第２の出力を出力する第１の推論部と、前記第２の構成部として前記第１の出力及び第２の出力を入力とする第２の推論部と、を備え、
前記第２の機械学習モデルは、第１の推論処理による第１の出力を出力する第５の推論部と、前記第１の出力と、過去に出力された前記第２の出力とを入力とする第６の推論部と、を備えることを特徴とする、項目１に記載の情報処理装置。
（項目４）
前記所定の条件は、前記情報処理装置の動作状態が所定の状態である場合に満たされることを特徴とする、項目１乃至３の何れか一項目に記載の情報処理装置。
（項目５）
前記動作状態は、前記推論におけるリソースの使用状態を含むことを特徴とする、項目４に記載の情報処理装置。
（項目６）
前記選択手段は、所定の期間における前記リソースの使用率が所定の閾値よりも高い期間が所定の割合以上である場合に、前記推論に用いる機械学習モデルを、前記第１の機械学習モデルより推論時のリソース消費量が少ない機械学習モデルである前記第２の機械学習モデルに切り換えることを特徴とする、項目５に記載の情報処理装置。
（項目７）
前記選択手段は、所定の期間における前記リソースの使用率が所定の閾値よりも高い期間が所定の割合以上である場合に、前記第１の機械学習モデルよりも層の数が少ない前記第２の機械学習モデルを選択することを特徴とする、項目５に記載の情報処理装置。
（項目８）
前記推論に関するユーザ設定を取得する取得手段をさらに備え、
前記所定の条件は、前記ユーザ設定が所定の状態である場合に満たされることを特徴とする、項目１乃至７の何れか一項目に記載の情報処理装置。
（項目９）
前記取得手段は、前記ユーザ設定として、前記推論において速度と精度とのどちらを優先するかの設定を取得し、
前記選択手段は、前記推論において速度を優先すると設定されている場合には、前記推論に用いる機械学習モデルを、前記第１の機械学習モデルより推論の速度が速い機械学習モデルである前記第２の機械学習モデルに切り換え、前記推論において精度を優先すると設定されている場合には、前記推論に用いる機械学習モデルを、前記第１の機械学習モデルより推論の精度が高い機械学習モデルである前記第２の機械学習モデルに切り換えることを特徴とする、項目８に記載の情報処理装置。
（項目１０）
前記推論は、入力された劣化画像を復元する処理であり、
前記取得手段は、ユーザ設定として、前記復元における画質の設定を取得し、
前記選択手段は、前記復元における画質の設定が変更されている場合に前記所定の条件を満たすこととして、前記推論に用いる機械学習モデルを前記第２の機械学習モデルに切り換えることを特徴とする、項目８に記載の情報処理装置。
（項目１１）
前記推論は、入力された劣化画像を復元する処理であり、
前記取得手段は、ユーザ設定として、前記復元の程度の設定を取得し、
前記選択手段は、前記復元の程度の設定が変更されている場合に前記所定の条件を満たすこととして、前記推論に用いる機械学習モデルを前記第２の機械学習モデルに切り換えることを特徴とする、項目８に記載の情報処理装置。
（項目１２）
前記推論は、入力された劣化画像を復元する処理であり、
前記取得手段は、ユーザ設定として、前記入力された劣化画像が屋内で撮像されているか屋外で撮像されているかの設定を取得し、
前記選択手段は、前記入力された劣化画像が屋内で撮像されているか屋外で撮像されているかの設定が変更されている場合に前記所定の条件を満たすこととして、前記推論に用いる機械学習モデルを前記第２の機械学習モデルに切り換えることを特徴とする、項目８に記載の情報処理装置。
（項目１３）
前記推論は、入力された劣化画像を復元する処理であり、
前記取得手段は、ユーザ設定として、前記入力された劣化画像を撮像した撮像装置に関する設定を取得し、
前記選択手段は、前記入力された劣化画像が所定の撮像装置によって撮像された場合に前記所定の条件を満たすこととして、前記推論に用いる機械学習モデルを前記第２の機械学習モデルに切り換えることを特徴とする、項目８に記載の情報処理装置。
（項目１４）
前記推論は、入力された劣化画像を復元する処理であることを特徴とする、項目１乃至１３の何れか一項目に記載の情報処理装置。
（項目１５）
前記劣化画像は、ノイズ、圧縮、低解像度、ボケ、収差、欠損、又はコントラスト低下により劣化している画像であることを特徴とする、項目１４に記載の情報処理装置。
（項目１６）
前記推論は、入力された画像中の被写体のクラス分類を行う処理であることを特徴とする、項目１乃至１３の何れか一項目に記載の情報処理装置。
（項目１７）
第１の機械学習モデルを用いて入力に対する推論を行う工程と、
所定の条件を満たすことに応じて、前記推論に用いる機械学習モデルを、前記第１の機械学習モデルのネットワーク構造の構成部の一部が少なくとも変更された第２の機械学習モデルを選択する工程と、
を備え、
前記第１の機械学習モデルは、第１の構成部と第２の構成部とを有し、
前記第２の機械学習モデルは、前記第１の構成部又は前記第２の構成部における、ノード間のパラメータ又はパスの一部を変更した構成部を少なくとも有することを特徴とする、情報処理方法。
（項目１８）
コンピュータを、項目１乃至１６の何れか一項に記載の情報処理装置の各手段として機能させるためのプログラム。
第１の機械学習モデルを用いて入力に対する推論を行う推論手段と、
所定の条件を満たすことに応じて、前記推論に用いる機械学習モデルを、前記第１の機械学習モデルのネットワーク構造の構成部の一部が少なくとも変更された第２の機械学習モデルを選択する選択手段と、
を備え、
前記第１の機械学習モデルは、第１の構成部と第２の構成部とを有し、
前記第２の機械学習モデルは、前記第１の構成部又は前記第２の構成部における、ノード間のパラメータ又はパスの一部を変更した構成部を少なくとも有することを特徴とする、情報処理装置。
（項目２）
前記第１の機械学習モデルは、前記第１の構成部として第１のパラメータ及び第１のパラメータとは異なる第２のパラメータを備える第１の推論部と、前記第２の構成部として第１の推論部の出力を入力とする第２の推論部と、を備え、
前記第２の機械学習モデルは、前記第１の推論部における前記第２のパラメータを前記第１のパラメータへと置換した第３の推論部と、前記第３の推論部の出力を入力とする、前記第２の推論部と同じネットワーク構造を有する第４の推論部と、を備えることを特徴とする、項目１に記載の情報処理装置。
（項目３）
前記第１の機械学習モデルは、前記第１の構成部として第１の推論処理による第１の出力及び第２の推論処理による第２の出力を出力する第１の推論部と、前記第２の構成部として前記第１の出力及び第２の出力を入力とする第２の推論部と、を備え、
前記第２の機械学習モデルは、第１の推論処理による第１の出力を出力する第５の推論部と、前記第１の出力と、過去に出力された前記第２の出力とを入力とする第６の推論部と、を備えることを特徴とする、項目１に記載の情報処理装置。
（項目４）
前記所定の条件は、前記情報処理装置の動作状態が所定の状態である場合に満たされることを特徴とする、項目１乃至３の何れか一項目に記載の情報処理装置。
（項目５）
前記動作状態は、前記推論におけるリソースの使用状態を含むことを特徴とする、項目４に記載の情報処理装置。
（項目６）
前記選択手段は、所定の期間における前記リソースの使用率が所定の閾値よりも高い期間が所定の割合以上である場合に、前記推論に用いる機械学習モデルを、前記第１の機械学習モデルより推論時のリソース消費量が少ない機械学習モデルである前記第２の機械学習モデルに切り換えることを特徴とする、項目５に記載の情報処理装置。
（項目７）
前記選択手段は、所定の期間における前記リソースの使用率が所定の閾値よりも高い期間が所定の割合以上である場合に、前記第１の機械学習モデルよりも層の数が少ない前記第２の機械学習モデルを選択することを特徴とする、項目５に記載の情報処理装置。
（項目８）
前記推論に関するユーザ設定を取得する取得手段をさらに備え、
前記所定の条件は、前記ユーザ設定が所定の状態である場合に満たされることを特徴とする、項目１乃至７の何れか一項目に記載の情報処理装置。
（項目９）
前記取得手段は、前記ユーザ設定として、前記推論において速度と精度とのどちらを優先するかの設定を取得し、
前記選択手段は、前記推論において速度を優先すると設定されている場合には、前記推論に用いる機械学習モデルを、前記第１の機械学習モデルより推論の速度が速い機械学習モデルである前記第２の機械学習モデルに切り換え、前記推論において精度を優先すると設定されている場合には、前記推論に用いる機械学習モデルを、前記第１の機械学習モデルより推論の精度が高い機械学習モデルである前記第２の機械学習モデルに切り換えることを特徴とする、項目８に記載の情報処理装置。
（項目１０）
前記推論は、入力された劣化画像を復元する処理であり、
前記取得手段は、ユーザ設定として、前記復元における画質の設定を取得し、
前記選択手段は、前記復元における画質の設定が変更されている場合に前記所定の条件を満たすこととして、前記推論に用いる機械学習モデルを前記第２の機械学習モデルに切り換えることを特徴とする、項目８に記載の情報処理装置。
（項目１１）
前記推論は、入力された劣化画像を復元する処理であり、
前記取得手段は、ユーザ設定として、前記復元の程度の設定を取得し、
前記選択手段は、前記復元の程度の設定が変更されている場合に前記所定の条件を満たすこととして、前記推論に用いる機械学習モデルを前記第２の機械学習モデルに切り換えることを特徴とする、項目８に記載の情報処理装置。
（項目１２）
前記推論は、入力された劣化画像を復元する処理であり、
前記取得手段は、ユーザ設定として、前記入力された劣化画像が屋内で撮像されているか屋外で撮像されているかの設定を取得し、
前記選択手段は、前記入力された劣化画像が屋内で撮像されているか屋外で撮像されているかの設定が変更されている場合に前記所定の条件を満たすこととして、前記推論に用いる機械学習モデルを前記第２の機械学習モデルに切り換えることを特徴とする、項目８に記載の情報処理装置。
（項目１３）
前記推論は、入力された劣化画像を復元する処理であり、
前記取得手段は、ユーザ設定として、前記入力された劣化画像を撮像した撮像装置に関する設定を取得し、
前記選択手段は、前記入力された劣化画像が所定の撮像装置によって撮像された場合に前記所定の条件を満たすこととして、前記推論に用いる機械学習モデルを前記第２の機械学習モデルに切り換えることを特徴とする、項目８に記載の情報処理装置。
（項目１４）
前記推論は、入力された劣化画像を復元する処理であることを特徴とする、項目１乃至１３の何れか一項目に記載の情報処理装置。
（項目１５）
前記劣化画像は、ノイズ、圧縮、低解像度、ボケ、収差、欠損、又はコントラスト低下により劣化している画像であることを特徴とする、項目１４に記載の情報処理装置。
（項目１６）
前記推論は、入力された画像中の被写体のクラス分類を行う処理であることを特徴とする、項目１乃至１３の何れか一項目に記載の情報処理装置。
（項目１７）
第１の機械学習モデルを用いて入力に対する推論を行う工程と、
所定の条件を満たすことに応じて、前記推論に用いる機械学習モデルを、前記第１の機械学習モデルのネットワーク構造の構成部の一部が少なくとも変更された第２の機械学習モデルを選択する工程と、
を備え、
前記第１の機械学習モデルは、第１の構成部と第２の構成部とを有し、
前記第２の機械学習モデルは、前記第１の構成部又は前記第２の構成部における、ノード間のパラメータ又はパスの一部を変更した構成部を少なくとも有することを特徴とする、情報処理方法。
（項目１８）
コンピュータを、項目１乃至１６の何れか一項に記載の情報処理装置の各手段として機能させるためのプログラム。
【0123】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0124】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0125】
１００：情報処理装置、１０１：ＣＰＵ、１０２：ＲＡＭ、１０３：ＲＯＭ、１０４：大容量記憶装置、１０５：汎用インタフェース、１０６：ネットワークインタフェース、１０７：システムバス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図6E】
【図7】
【図8】
【図9A】
【図9B】
【図9C】
【図10】
【図11】
【図12A】
【図12B】
【図13】
【図14】
【図15A】
【図15B】