知財求人 - 知財ポータルサイト「IP Force」
▶ 一般社団法人健康マイスター協会の特許一覧 ▶ 株式会社エム・エム・イーの特許一覧 ▶ ＩｏＹｏｕ株式会社の特許一覧
特許7550416学習済みモデル生成装置、情報処理装置、学習済みモデル生成方法、情報処理方法、学習済みモデル生成プログラム、及び情報処理プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-09-05
(45)【発行日】2024-09-13
(54)【発明の名称】学習済みモデル生成装置、情報処理装置、学習済みモデル生成方法、情報処理方法、学習済みモデル生成プログラム、及び情報処理プログラム
(51)【国際特許分類】
G06T 7/90 20170101AFI20240906BHJP
G06V 10/56 20220101ALI20240906BHJP
【ＦＩ】
G06T7/90 Z
G06V10/56
【請求項の数】
8
(21)【出願番号】P 2024089436
(22)【出願日】2024-05-31
【審査請求日】2024-05-31
【早期審査対象出願】
(73)【特許権者】
【識別番号】522018387
【氏名又は名称】一般社団法人健康マイスター協会
(73)【特許権者】
【識別番号】524207884
【氏名又は名称】株式会社エム・エム・イー
(73)【特許権者】
【識別番号】524208858
【氏名又は名称】ＩｏＹｏｕ株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】鈴木 将
(72)【発明者】
【氏名】並木 幸久
(72)【発明者】
【氏名】沼田 光生
(72)【発明者】
【氏名】秦 和義
(72)【発明者】
【氏名】竹本 正志
【審査官】稲垣 良一
(56)【参考文献】
【文献】特開２００４－２４２０９９（ＪＰ，Ａ）
【文献】特開２０２１－１０３８３５（ＪＰ，Ａ）
【文献】中国特許出願公開第１０７５０７２５０（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／９０
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ １／００
Ｇ０６Ｖ １０／５６
Ｇ０６Ｖ １０／７７４
Ｇ０１Ｊ ３／５２
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
学習用の被写体とカラーチャートとが写る学習用画像を取得する学習用取得部と、前記学習用画像内の前記カラーチャートに写る色を、基準となる参照色へと補正する補正係数を計算する計算部と、
前記学習用画像内の前記学習用の被写体部分の画像と前記補正係数とを関連付けた学習用データを生成する学習用データ生成部と、
前記学習用データに基づいて、被写体が写る画像が入力されると前記画像の色を補正する補正係数が出力される学習済みモデルを生成する学習済みモデル生成部と、
を含む学習済みモデル生成装置。
【請求項2】
前記学習用画像は、第１学習用画像であり、前記補正係数は、第１補正係数であり、
前記学習用データは、第１学習用データであり、
前記学習用データ生成部は、
前記第１補正係数を用いて、前記第１学習用画像内の前記学習用の被写体部分の画像の色を補正することにより、補正済み画像を生成し、
前記補正済み画像の色を変化させることにより、複数の第２学習用画像を生成し、
複数の第２学習用画像の各々について、前記第２学習用画像の色を前記補正済み画像の色へと補正する際の第２補正係数を計算し、前記第２学習用画像と前記第２補正係数とを関連付けた第２学習用データを生成し、
前記学習済みモデル生成部は、前記第１学習用データと前記第２学習用データとに基づいて、前記学習済みモデルを生成する、
請求項１に記載の学習済みモデル生成装置。
【請求項3】
前記学習用データ生成部は、複数の第１学習用画像の各画素値の分布範囲内となるように、複数の第２学習用画像を生成する、請求項１又は請求項２に記載の学習済みモデル生成装置。
【請求項4】
対象となる被写体が写る画像を取得する取得部と、前記取得部により取得された前記画像を、予め生成された学習済みモデルへ入力することにより、前記学習済みモデルから出力された補正係数を取得し、該補正係数を用いて前記画像の色を補正する補正部と、
を含み、
前記学習済みモデルは、被写体が写る画像が入力されると前記画像の色を補正する補正係数が出力される学習済みモデルであって、かつ学習用の被写体と学習用の前記補正係数とが関連付けられた学習用データに基づいて予め学習された学習済みモデルであり、
学習用の前記補正係数は、学習用の被写体とカラーチャートとが写る学習用画像内の前記カラーチャートに写る色を、基準となる参照色へと補正するような補正係数である、
情報処理装置。
【請求項5】
学習用の被写体とカラーチャートとが写る学習用画像を取得し、前記学習用画像内の前記カラーチャートに写る色を、基準となる参照色へと補正する補正係数を計算し、
前記学習用画像内の前記学習用の被写体部分の画像と前記補正係数とを関連付けた学習用データを生成し、
前記学習用データに基づいて、被写体が写る画像が入力されると前記画像の色を補正する補正係数が出力される学習済みモデルを生成する、
処理をコンピュータが実行する学習済みモデル生成方法。
【請求項6】
対象となる被写体が写る画像を取得し、取得された前記画像を、予め生成された学習済みモデルへ入力することにより、前記学習済みモデルから出力された補正係数を取得し、該補正係数を用いて前記画像の色を補正する、
処理をコンピュータが実行する情報処理方法であって、
前記学習済みモデルは、被写体が写る画像が入力されると前記画像の色を補正する補正係数が出力される学習済みモデルであって、かつ学習用の被写体と学習用の前記補正係数とが関連付けられた学習用データに基づいて予め学習された学習済みモデルであり、
学習用の前記補正係数は、学習用の被写体とカラーチャートとが写る学習用画像内の前記カラーチャートに写る色を、基準となる参照色へと補正するような補正係数である、
情報処理方法。
【請求項7】
学習用の被写体とカラーチャートとが写る学習用画像を取得し、前記学習用画像内の前記カラーチャートに写る色を、基準となる参照色へと補正する補正係数を計算し、
前記学習用画像内の前記学習用の被写体部分の画像と前記補正係数とを関連付けた学習用データを生成し、
前記学習用データに基づいて、被写体が写る画像が入力されると前記画像の色を補正する補正係数が出力される学習済みモデルを生成する、
処理をコンピュータに実行させるための学習済みモデル生成プログラム。
【請求項8】
対象となる被写体が写る画像を取得し、取得された前記画像を、予め生成された学習済みモデルへ入力することにより、前記学習済みモデルから出力された補正係数を取得し、該補正係数を用いて前記画像の色を補正する、
処理をコンピュータに実行させるための情報処理プログラムであって、
前記学習済みモデルは、被写体が写る画像が入力されると前記画像の色を補正する補正係数が出力される学習済みモデルであって、かつ学習用の被写体と学習用の前記補正係数とが関連付けられた学習用データに基づいて予め学習された学習済みモデルであり、
学習用の前記補正係数は、学習用の被写体とカラーチャートとが写る学習用画像内の前記カラーチャートに写る色を、基準となる参照色へと補正するような補正係数である、
情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
開示の技術は、学習済みモデル生成装置、情報処理装置、学習済みモデル生成方法、情報処理方法、学習済みモデル生成プログラム、及び情報処理プログラムに関する。
【背景技術】
【0002】
特許文献１には、ディープニューラルネットワークに基づく舌の色補正方法が開示されている。具体的には、特許文献１には、ディープニューラルネットワークを用いて、モバイル機器の舌画像によって生成される色ずれ及び舌画像の色の歪みを解決するための技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】中国特許出願公開第115482160号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記特許文献１に開示されている技術は、ディープニューラルネットワークを用いて舌の色補正を実行する技術である。上記特許文献１にも開示されているように、被写体を撮影することにより得られる画像の色は、撮影時の照明環境の影響を大きく受ける。このため、画像に写る被写体の色が本来の色と異なり、被写体の本来の色情報を利用した解析が難しいという課題がある。そのため、カラーチャートを用いて撮影時の参照情報とし、それを基準に被写体に対して色補正をすることにより、画像に写る被写体の色を本来の色に復元する手法が採用されることが一般的である。
【0005】
カラーチャートを用いた従来手法では、被写体と共にカラーチャートを撮影する必要がある。具体的には、被写体とカラーチャートとが写る画像を取得し、画像内のカラーチャートの色を基準となる参照色へと変換する処理を実行することにより、画像に写る被写体の色が補正される。
【0006】
しかし、上記従来手法を利用する場合には、被写体を撮影する度にカラーチャートも同時に撮影する必要があり、煩雑である、という課題がある。
【0007】
開示の技術は、上記の事情を鑑みてなされたものであり、カラーチャートを被写体と共に撮影しなくても、カラーチャートによる色補正方法と同様の色補正を被写体に対して行うことができる学習済みモデル生成装置、情報処理装置、学習済みモデル生成方法、情報処理方法、学習済みモデル生成プログラム、及び情報処理プログラムを提供する。
【課題を解決するための手段】
【0008】
上記の目的を達成するために本開示の第１態様は、学習用の被写体とカラーチャートとが写る学習用画像を取得する学習用取得部と、前記学習用画像内の前記カラーチャートに写る色を、基準となる参照色へと補正する補正係数を計算する計算部と、前記学習用画像内の前記学習用の被写体部分の画像と前記補正係数とを関連付けた学習用データを生成する学習用データ生成部と、前記学習用データに基づいて、被写体が写る画像が入力されると前記画像の色を補正する補正係数が出力される学習済みモデルを生成する学習済みモデル生成部と、を含む学習済みモデル生成装置である。
【0009】
本開示の第２態様は、学習用の被写体とカラーチャートとが写る学習用画像を取得し、前記学習用画像内の前記カラーチャートに写る色を、基準となる参照色へと補正する補正係数を計算し、前記学習用画像内の前記学習用の被写体部分の画像と前記補正係数とを関連付けた学習用データを生成し、前記学習用データに基づいて、被写体が写る画像が入力されると前記画像の色を補正する補正係数が出力される学習済みモデルを生成する、処理をコンピュータが実行する学習済みモデル生成方法である。
【0010】
本開示の第３態様は、学習用の被写体とカラーチャートとが写る学習用画像を取得し、前記学習用画像内の前記カラーチャートに写る色を、基準となる参照色へと補正する補正係数を計算し、前記学習用画像内の前記学習用の被写体部分の画像と前記補正係数とを関連付けた学習用データを生成し、前記学習用データに基づいて、被写体が写る画像が入力されると前記画像の色を補正する補正係数が出力される学習済みモデルを生成する、処理をコンピュータに実行させるための学習済みモデル生成プログラムである。
【0011】
本開示の第４態様は、対象となる被写体が写る画像を取得する取得部と、前記取得部により取得された前記画像を、予め生成された学習済みモデルへ入力することにより、前記学習済みモデルから出力された補正係数を取得し、該補正係数を用いて前記画像の色を補正する補正部と、を含み、前記学習済みモデルは、被写体が写る画像が入力されると前記画像の色を補正する補正係数が出力される学習済みモデルであって、かつ学習用の被写体と学習用の前記補正係数とが関連付けられた学習用データに基づいて予め学習された学習済みモデルであり、学習用の前記補正係数は、学習用の被写体とカラーチャートとが写る学習用画像内の前記カラーチャートに写る色を、基準となる参照色へと補正するような補正係数である、情報処理装置である。
【0012】
本開示の第５態様は、対象となる被写体が写る画像を取得し、取得された前記画像を、予め生成された学習済みモデルへ入力することにより、前記学習済みモデルから出力された補正係数を取得し、該補正係数を用いて前記画像の色を補正し、前記学習済みモデルは、被写体が写る画像が入力されると前記画像の色を補正する補正係数が出力される学習済みモデルであって、かつ学習用の被写体と学習用の前記補正係数とが関連付けられた学習用データに基づいて予め学習された学習済みモデルであり、学習用の前記補正係数は、学習用の被写体とカラーチャートとが写る学習用画像内の前記カラーチャートに写る色を、基準となる参照色へと補正するような補正係数である、処理をコンピュータが実行する情報処理方法である。
【0013】
本開示の第６態様は、対象となる被写体が写る画像を取得し、取得された前記画像を、予め生成された学習済みモデルへ入力することにより、前記学習済みモデルから出力された補正係数を取得し、該補正係数を用いて前記画像の色を補正し、前記学習済みモデルは、被写体が写る画像が入力されると前記画像の色を補正する補正係数が出力される学習済みモデルであって、かつ学習用の被写体と学習用の前記補正係数とが関連付けられた学習用データに基づいて予め学習された学習済みモデルであり、学習用の前記補正係数は、学習用の被写体とカラーチャートとが写る学習用画像内の前記カラーチャートに写る色を、基準となる参照色へと補正するような補正係数である、処理をコンピュータに実行させるための情報処理プログラムである。
【発明の効果】
【0014】
開示の技術によれば、カラーチャートを被写体と共に撮影しなくても、カラーチャートによる色補正方法と同様の色補正を被写体に対して行うことができる、という効果が得られる。
【図面の簡単な説明】
【0015】
【図1】実施形態の情報処理装置の概略構成の一例を示す図である。
【図2】カラーチャートを用いた色補正を説明するための図である。
【図3】学習用データの増加を説明するための図である。
【図4】実施形態の学習済みモデルを説明するための図である。
【図5】情報処理装置を構成するコンピュータの一例を示す図である。
【図6】実施形態の情報処理装置が実行する学習済みモデル生成処理の一例を示す図である。
【図7】実施形態の情報処理装置が実行する情報処理の一例を示す図である。
【発明を実施するための形態】
【0016】
以下、図面を参照して開示の技術の実施形態を詳細に説明する。
【0017】
＜実施形態の情報処理装置＞
【0018】
図１に、実施形態に係る情報処理装置１０を示す。図１に示されるように、情報処理装置１０は、機能的には、データ記憶部２０と、学習用取得部２２と、計算部２４と、学習用データ生成部２６と、学習用データ記憶部２８と、学習済みモデル生成部３０と、学習済みモデル記憶部３２と、取得部３４と、補正部３６と、出力部３８とを備えている。情報処理装置１０は、後述するようなコンピュータにより実現される。
【0019】
被写体が撮影されるときの光環境は様々であることが想定される。このため、被写体の真の色を把握するためには、被写体が撮影された際の画像の色を補正する必要がある。画像の色を補正する方法としては、カラーチャートを用いた色補正方法が知られている。
【0020】
図２は、カラーチャートを用いた色補正を説明するための図である。本実施形態では、被写体の一例である舌が写っている画像の色を補正する場合を考える。カラーチャートを用いて画像の色を補正する場合には、図２に示されているように、舌の画像ＩＭ１を撮影する際にカラーチャートＣ１も併せて撮影される。そして、画像ＩＭ１に写るカラーチャートＣ１の色が、基準となる参照色へと変換されるような補正係数を用いて画像ＩＭ１の色が補正される。具体的には、図２に示されているＩＭ２が色補正後の画像であり、画像ＩＭ２内のカラーチャートＣ２の色は参照色となる。
【0021】
しかし、上述したように、被写体とカラーチャートとを同時に撮影するという方法は煩雑である、という課題がある。そこで、本実施形態の情報処理装置１０は、機械学習モデルを用いて、画像の色補正をするための補正係数を取得する。以下、具体的に説明する。
【0022】
データ記憶部２０には、学習用の被写体である舌とカラーチャートとが写る学習用画像が複数個記憶される。なお、以下では、この学習用画像を第１学習用画像と称する。
【0023】
学習用取得部２２は、データ記憶部２０に格納されている複数の第１学習用画像を読み出すことにより、複数の第１学習用画像を取得する。
【0024】
計算部２４は、既知の方法を用いて、第１学習用画像内のカラーチャートに写る色を、基準となる参照色へと補正する補正係数を計算する。
【0025】
具体的には、まず、計算部２４は、既知の画像処理方法を用いて、第１学習用画像からカラーチャート領域を抽出する。例えば、計算部２４は、入力された画像に対して、カラーチャート領域に対して１を出力し、カラーチャート領域とは異なる領域に対して０を出力するようなカラーチャート抽出用学習済みモデルを用いて、第１学習用画像からカラーチャート領域を抽出する。なお、このカラーチャート抽出用学習済みモデルは、既知の機械学習技術によって構築可能である。
【0026】
次に、計算部２４は、既知の画像処理方法を用いて、カラーチャート内の各パネル（図２に示される複数の四角領域）を分離させる。そして、計算部２４は、既知の方法を用いて、カラーチャート内の各パネルの色を、基準となる参照色へと変換するような補正係数を計算する。
【0027】
例えば、画像内の色ｃ＝（Ｒ，Ｇ，Ｂ）を、基準となる参照色ｃ’＝（Ｒ’，Ｇ’，Ｂ’）へと補正する場合を考える。なお、Ｒ，Ｇ，Ｂの各々は、例えば、０～２５５の画素値に相当する。この場合、以下の線形変換式（１）によって色ｃを参照色ｃ’へと補正することが可能である。
【0028】
ｃ’＝Ｗｃ＋ｂ （１）
【0029】
上記式（１）におけるＷは行列であり、ｂはベクトルである。本実施形態では、行列Ｗの各成分とｂの各成分とを合わせた補正係数ベクトルｗを、以下のように定義する。なお、以下の補正係数ベクトルｗは、補正係数ベクトル空間内の１点に相当する。以下に示されているように、補正係数ベクトルは１２次元ベクトルであるため、補正係数ベクトル空間は１２次元空間である。
【0030】
【0031】
なお、上記のように成分数が多い補正係数ベクトルｗ（成分数は１２）を用いて画像内の各画素の色ｃを参照色ｃ’へと補正する場合には、変数が多いために実際の参照色とは異なる色へと補正がされてしまう場合もあり得る。そこで、色補正の精度を向上させるために、本実施形態では、上記補正係数ベクトルｗを次元削減することにより、以下に示すエンコード補正係数ベクトルｗ’を生成する。なお、エンコード補正係数ベクトルｗ’は、エンコード補正係数ベクトル空間内の１点に相当する。エンコード補正係数ベクトル空間は、５次元空間である。
【0032】
【0033】
補正係数ベクトルｗからエンコード補正係数ベクトルｗ’へ変換する際には、エンコード補正係数ベクトルｗ’から補正係数ベクトルｗへ再変換をした際に得られる補正係数ベクトルｗＣと元の補正係数ベクトルｗとの間の誤差が小さくなるような変換関数が利用される。変換関数としては、例えば、後述するような主成分分析又はauto encoder型のニューラルネットワーク等が挙げられる。以下では、変換関数が主成分分析又はauto encoder型のニューラルネットワークである場合を例に説明するが、これに限定されるものではなく、補正係数ベクトルｗからエンコード補正係数ベクトルｗ’への変換が適切に実行されるような変換関数であれば、どのような変換関数を用いてもよい。
【0034】
例えば、上述した変換関数として主成分分析を利用する場合を考える。この場合には、予め収集されたカラーチャート付き画像群に対応する複数の補正係数ベクトルｗの分布に対して主成分分析が実行される。そして、主成分分析によって得られた主要な主成分軸の固有ベクトルを並べた変換行列Ｕに基づいて、ｗ’＝Ｕｗの演算を実行することにより、元の補正係数ベクトルｗに対応するエンコード補正係数ベクトルｗ’が計算される。
【0035】
または、上述した変換関数として既存のauto encoder型ニューラルネットワークを利用するようにしてもよい。auto encoder型ニューラルネットワークは入力を低次元ベクトルに変換するencode層と元の次元に復号するdecode層の２層からなる。この場合には、学習画像群全体に対して復号の精度を最大化するような学習済みのauto encoder型ニューラルネットワークに対して補正係数ベクトルｗが入力されると、auto encoder型ニューラルネットワークのencode層からエンコード補正係数ベクトルｗ’が得られる。
【0036】
なお、上記の５次元のエンコード補正係数ベクトルｗ’は一例であり、対象とする画像群の色分布によっては次元数を調整するようにしてもよい。
【0037】
【0038】
図３に示されているように、学習用データ生成部２６は、上述したエンコード補正係数ベクトルｗ’を用いて第１学習用画像である画像ＩＭ１の色を補正することにより、補正済み画像ＩＭ２を生成する。図３に示されているように、エンコード補正係数ベクトルｗ’の各成分を上記式（１）の行列Ｗの各成分とベクトルｂの各成分とへ割り当てた上で、上記式（１）を計算することにより、第１学習用画像ＩＭ１の色ｃが参照色ｃ’へと補正され、補正済み画像ＩＭ２が生成される。
【0039】
より具体的には、まず、上記式（１）に従って、第１学習用画像である画像ＩＭ１に写るカラーチャート内のすべてのパネルについて色ｃ’と参照色ｃとの誤差を最小化するような補正係数ベクトルｗが計算される。次に、上述したように、主成分分析又はauto encoder型のニューラルネットワーク等の変換関数によって、補正係数ベクトルｗに対応するエンコード補正係数ベクトルｗ’が計算される。そして、図３に示されているように、エンコード補正係数ベクトルｗ’を用いて、上記式（１）に示される変換処理を実行することにより、第１学習用画像ＩＭ１の色ｃが参照色ｃ’へと補正され、補正済み画像ＩＭ２が生成される。
【0040】
次に、学習用データ生成部２６は、補正済み画像ＩＭ２の色を変化させることにより、複数の第２学習用画像ＩＭ３，ＩＭ４，ＩＭ５を生成する。なお、この際、学習用データ生成部２６は、複数の第１学習用画像の各画素値の分布範囲内となるように、複数の第２学習用画像を生成する。
【0041】
具体的には、図３に示されるエンコード補正係数ベクトルｗ’を乱数によって変化させることにより、複数の教師用変換ベクトルｗｔ
ｉ’を生成する。ｉは教師用変換ベクトルを識別するためのインデックスである。次に、教師用変換ベクトルｗｔ
ｉ’の各成分を上記式（１）の行列Ｗの各成分とｂの各成分とに割り当てる。そして、以下の式（２）に従って、補正済み画像ＩＭ２に対して色変換を実行する。以下の式（２）により、補正済み画像ＩＭ２の色である参照色ｃ’から色ｃへと変換される。この色ｃは、実際の光環境において得られる画像の色に相当するものであり、疑似色でもある。
【0042】
ｃ＝Ｗ－１（ｃ’－ｂ） （２）
【0043】
複数の異なる教師用変換ベクトルｗｔ
ｉ’の各々に対して上記の変換処理が実行されることにより、図３に示される、第２学習用画像である画像ＩＭ３，画像ＩＭ４，画像ＩＭ５が生成される。なお、ここでの複数の教師用変換ベクトルｗｔ
ｉ’の生成の確率分布は、第１学習用画像のサンプル群の分布範囲内Ｄの確率分布と一致するように生成される。このため、学習用データ生成部２６は、図３に示されているように、複数の第１学習用画像であるサンプル群の色空間上の分布範囲Ｄ内に、複数の第２学習用画像ＩＭ３，ＩＭ４，ＩＭ５を生成する。具体的には、図３に示されているように、教師用変換ベクトルｗｔ
１’を用いて補正済み画像ＩＭ２の色を変化させることにより第２学習用画像ＩＭ３が生成され、教師用変換ベクトルｗｔ
２’を用いて補正済み画像ＩＭ２の色を変化させることにより第２学習用画像ＩＭ５が生成される。これにより、様々な光源下において撮影された実際の画像の色の変動と同様の、複数の第２学習用画像ＩＭ３，ＩＭ４，ＩＭ５が生成される。これら複数の第２学習用画像ＩＭ３，ＩＭ４，ＩＭ５の各々は疑似画像であり、後述するように、学習用データとして利用することが可能である。
【0044】
なお、教師用変換ベクトルｗｔ
１’は、第２学習用画像ＩＭ３の色を補正済み画像ＩＭ２の色へと変換するためのエンコード補正係数ベクトルでもある。また、同様に、教師用変換ベクトルｗｔ
２’は、第２学習用画像ＩＭ５の色を補正済み画像ＩＭ２の色へと変換するためのエンコード補正係数ベクトルでもある。このため、複数の第２学習用画像の各々と複数の教師用変換ベクトルｗｔ
ｉ’の各々との対は、後述するように第２学習用データとして利用される。また、複数の第１学習用画像の各々と複数のエンコード補正係数ベクトルｗ’との対は、後述するように第１学習用データとして利用される。
【0045】
このため、説明を簡単にするために、以下では、第１学習用画像の色を補正済み画像の色へと変換するために用いられるエンコード補正係数ベクトルｗ’を単に第１補正係数とも称し、第２学習用画像の色を補正済み画像の色へと変換するために用いられる教師用変換ベクトルｗｔ’を単に第２補正係数とも称する。
【0046】
学習用データ生成部２６は、複数の第１学習用画像の各々について、第１学習用画像と第１補正係数とを関連付けた第１学習用データを生成する。また、学習用データ生成部２６は、複数の第２学習用画像の各々について、第２学習用画像と第２補正係数とを関連付けた第２学習用データを生成する。第１補正係数及び第２補正係数は、予め計算される値であり教師データでもある。
【0047】
学習用データ記憶部２８には、学習用データ生成部２６によって生成された第１学習用データと第２学習用データとが格納される。
【0048】
学習済みモデル生成部３０は、学習用データ記憶部２８に格納された第１学習用データと第２学習用データとに基づいて、既知の機械学習アルゴリズムを用いて、舌が写る画像が入力されると当該画像の色を補正する補正係数が出力される学習済みモデルを生成する。なお、学習済みモデルは、例えば、既知のニューラルネットワークモデルである。学習済みモデルの生成に際しては、モデルから出力される補正係数と補正係数の教師データの誤差を最小化させるように学習が行われる。
【0049】
【0050】
学習済みモデル記憶部３２には、学習済みモデル生成部３０によって生成された学習済みモデルが格納される。
【0051】
取得部３４は、対象となる舌が写る画像を取得する。なお、この画像は、上記の第１学習用画像及び第２学習用画像とは異なる画像であり、色を補正する対象の画像である。
【0052】
補正部３６は、取得部３４により取得された画像を、学習済みモデル記憶部３２に格納されている学習済みモデルへ入力することにより、学習済みモデルから出力された補正係数を取得する。そして、補正部３６は、補正係数を用いて、当該画像の色を補正する。
【0053】
出力部３８は、補正部３６によって色が補正された画像を結果として出力する。
【0054】
情報処理装置１０を操作するユーザは、出力された結果を確認し、画像に写る舌の色を確認する。
【0055】
情報処理装置１０は、例えば、図５に示すコンピュータ５０で実現することができる。コンピュータ５０はＣＰＵ５１、一時記憶領域としてのメモリ５２、及び不揮発性の記憶部５３を備える。また、コンピュータ５０は、外部装置及び出力装置等が接続される入出力interface（Ｉ／Ｆ）５４、及び記録媒体に対するデータの読み込み及び書き込みを制御するread/write（Ｒ／Ｗ）部５５を備える。また、コンピュータ５０は、インターネット等のネットワークに接続されるネットワークＩ／Ｆ５６を備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力Ｉ／Ｆ５４、Ｒ／Ｗ部５５、及びネットワークＩ／Ｆ５６は、バス５７を介して互いに接続される。
【0056】
記憶部５３は、Hard Disk Drive（ＨＤＤ）、Solid State Drive（ＳＳＤ）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータ５０を機能させるためのプログラムが記憶されている。ＣＰＵ５１は、プログラムを記憶部５３から読み出してメモリ５２に展開し、プログラムが有するプロセスを順次実行する。
【0057】
［実施形態の情報処理装置の動作］
【0058】
次に、実施形態の情報処理装置１０の具体的な動作について説明する。情報処理装置１０は、図６に示される学習済みモデル生成処理を実行する。
【0059】
まず、ステップＳ１００において、学習用取得部２２は、データ記憶部２０に格納されている複数の第１学習用画像を読み出すことにより、複数の第１学習用画像を取得する。
【0060】
ステップＳ１０１において、計算部２４は、ステップＳ１００で取得された複数の第１学習用画像のうちの１つの第１学習用画像を設定する。
【0061】
次に、ステップＳ１０２において、計算部２４は、既知の方法を用いて、ステップＳ１０１で設定された第１学習用画像内のカラーチャートに写る色を、基準となる参照色へと補正する第１補正係数を計算する。
【0062】
ステップＳ１０４において、学習用データ生成部２６は、ステップＳ１０２で計算された第１補正係数を用いて第１学習用画像の色を補正することにより、補正済み画像を生成する。
【0063】
ステップＳ１０６において、学習用データ生成部２６は、ステップＳ１０４で生成された補正済み画像の各画素の色を変化させることにより、複数の第２学習用画像を生成する。
【0064】
ステップＳ１０８において、学習用データ生成部２６は、ステップＳ１０６で生成された複数の第２学習用画像の各々について、第２学習用画像の色を補正済み画像の色へと補正する際の第２補正係数を計算する。
【0065】
ステップＳ１１０において、学習用データ生成部２６は、ステップＳ１０１で設定された第１学習用画像内の舌部分の画像と、ステップＳ１０２で計算された第１補正係数とを関連付けた第１学習用データを生成する。また、ステップＳ１１０において、学習用データ生成部２６は、ステップＳ１０６で生成された複数の第２学習用画像の各々について、第２学習用画像内の舌部分の画像と、ステップＳ１０８で計算された第２補正係数とを関連付けた第２学習用データを生成する。そして、学習用データ生成部２６は、第１学習用データと第２学習用データとを学習用データ記憶部２８へ格納する。
【0066】
ステップＳ１１２において、学習用データ生成部２６は、データ記憶部２０に格納されている全ての第１学習用画像に対して、ステップＳ１０１～ステップＳ１１０の各処理が実行されたか否かを判定する。データ記憶部２０に格納されている全ての第１学習用画像に対して、ステップＳ１０１～ステップＳ１１０の各処理が実行された場合には、ステップＳ１１２へ移行する。一方、ステップＳ１０１～ステップＳ１１０の各処理が実行されていない第１学習用画像が存在する場合には、ステップＳ１０１へ戻る。
【0067】
ステップＳ１１２において、学習済みモデル生成部３０は、学習用データ記憶部２８に格納された複数の第１学習用データと複数の第２学習用データとに基づいて、既知の機械学習アルゴリズムを用いて、舌が写る画像が入力されると当該画像の色を補正する補正係数が出力される学習済みモデルを生成する。そして、学習済みモデル生成部３０は、生成した学習済みモデルを学習済みモデル記憶部３２へ格納する。
【0068】
図６の学習済みモデル生成処理が実行されることにより、舌が写る画像が入力されると当該画像の色を補正する補正係数が出力される学習済みモデルが生成され、その学習済みモデルから出力された補正係数を用いて、舌の画像の色を補正することが可能となる。
【0069】
次に、情報処理装置１０は、所定の指示信号を受け付けると、図７に示されている情報処理を実行する。
【0070】
ステップＳ２００において、取得部３４は、対象となる舌が写る画像を取得する。
【0071】
ステップＳ２０２において、補正部３６は、学習済みモデル記憶部３２から学習済みモデルを読み出す。
【0072】
ステップＳ２０４において、補正部３６は、ステップＳ２００で取得された画像を、ステップＳ２０２で読み出された学習済みモデルへ入力することにより、学習済みモデルから出力された補正係数を取得する。
【0073】
ステップＳ２０６において、補正部３６は、ステップＳ２０４で取得された補正係数を用いて、ステップＳ２００で取得された画像の色を補正する。
【0074】
ステップＳ２０８において、出力部３８は、ステップＳ２０６で色が補正された画像を結果として出力する。
【0075】
以上説明したように、実施形態の情報処理装置１０は、学習用の舌とカラーチャートとが写る学習用画像を取得する。そして、情報処理装置１０は、学習用画像内のカラーチャートに写る色を、基準となる参照色へと補正する補正係数を計算する。情報処理装置１０は、学習用画像内の学習用の舌部分の画像と補正係数とを関連付けた学習用データを生成する。情報処理装置１０は、学習用データに基づいて、舌が写る画像が入力されると当該画像の色を補正する補正係数が出力される学習済みモデルを生成する。これにより、カラーチャートを舌と共に撮影しなくても、カラーチャートによる色補正方法と同様の色補正を行うための補正係数を取得することができる。また、その補正係数を用いて、舌が写る画像の色を補正することが可能となり、カラーチャートを舌と共に撮影しなくても、カラーチャートによる色補正方法と同様の色補正を行うことができる。
【0076】
また、情報処理装置１０は、第２学習用データを生成し、その第２学習用データに基づいて学習済みモデルを生成することにより、画像の色をより精度良く補正するための補正係数を得ることが可能となる。具体的には、学習用データの数が増加することにより、学習済みモデルが適切に学習される。さらに、複数の第１学習用画像の各画素値の分布範囲内となるように、複数の第２学習用画像を生成することにより、様々な光源下において撮影された実際の画像の色の変動と同様の、複数の第２学習用画像が生成される。
【0077】
なお、本開示の技術は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【0078】
例えば、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【0079】
なお、上記実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。または、プロセッサとしては、ＧＰＧＰＵ（Ｇｅｎｅｒａｌ－ｐｕｒｐｏｓｅ ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）を用いてもよい。また、各処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
【0080】
また、上記各実施形態では、プログラムがストレージに予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
【0081】
また、本実施形態の各処理を、汎用演算処理装置及び記憶装置等を備えたコンピュータ又はサーバ等により構成して、各処理がプログラムによって実行されるものとしてもよい。このプログラムは記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。もちろん、その他いかなる構成要素についても、単一のコンピュータやサーバによって実現しなければならないものではなく、ネットワークによって接続された複数のコンピュータに分散して実現してもよい。
【0082】
また、上記実施形態では、被写体が人の舌である場合を例に説明したが、これに限定されるもではない。被写体はどのようなものであってもよい。例えば、本実施形態は、被写体が人間の顔、生体組織、及び風景等であっても適用可能である。
【0083】
例えば、被写体に関しては、以下の変形例が考えられる。
【0084】
［変形例１］
例えば、人体のうち露出している各箇所（例えば、人体のうち外部に露出している肌、眼、唇、又は髪等）を被写体とするようにしてもよい。例えば、被写体が肌である場合には、肌の色を補正することが可能となり、基準となる光環境下において肌がどのように見えるのかということを再現することができる。より具体的には、例えば、ある光環境下において、化粧がされた肌を撮影した場合、基準となる光環境下においてその肌はどのように見えるのかということを再現することができる。また、基準となる光環境下における肌の色が特定された場合には、様々な光環境下においてその肌はどのような色に見えるのかということを再現することが可能となる。このため、本実施形態の技術は、例えば、肌に塗られた化粧品を評価する際の有用な技術ともなり得る。
また、同様に、眼が被写体である場合には、例えば、カラーコンタクトレンズを装着した際の、基準となる光環境下における眼の色を再現することが可能となる。また、同様に、基準となる光環境下における眼の色が特定された場合には、様々な光環境下においてその眼はどのような色に見えるのかということを再現することが可能となる。このため、本実施形態の技術は、例えば、カラーコンタクトレンズを評価する際の有用な技術ともなり得る。
また、同様に、唇が被写体である場合には、例えば、唇へ口紅を塗った際の、基準となる光環境下における眼の色を再現することが可能となる。同様に、基準となる光環境下における唇の色が特定された場合には、様々な光環境下においてその眼はどのような色に見えるのかということを再現することが可能となる。このため、本実施形態の技術は、例えば、口紅を評価する際の有用な技術ともなり得る。
また、同様に、髪が被写体である場合には、例えば、髪を染めた際の、基準となる光環境下における髪の色を再現することが可能となる。同様に、基準となる光環境下における髪の色が特定された場合には、様々な光環境下においてその髪はどのような色に見えるのかということを再現することが可能となる。このため、本実施形態の技術は、例えば、髪を染める技術を評価する際の有用な技術ともなり得る。
上述したように、美容系の商品又はサービスを評価する際には、特定の光環境下（例えば、美容系の施設における光環境下）における被写体の色と、特定の光環境下とは異なる光環境下（例えば、屋外、オフィス、ホテル、又はレストラン等における光環境下）における被写体の色とが異なる場合が多い。このような場合、特定の光環境下（例えば、美容施設）では良い見栄えであったのにもかかわらず、実際の光環境下（例えば、屋外等）では見栄えが良くないという場合もある。このため、例えば、本実施形態の技術を用いて、特定の光環境下（例えば、美容施設）で得られた被写体の色を、基準となる光環境下における色へと一旦補正した後に、様々な光環境下における色へと変換することにより、美容系の商品又はサービスを評価することが可能となる。なお、基準となる光環境下における色から様々な光環境下における色への変換処理は、既知の技術を採用することが可能である。
例えば、人体のうち露出している各箇所（例えば、人体のうち外部に露出している肌、眼、唇、又は髪等）を被写体とするようにしてもよい。例えば、被写体が肌である場合には、肌の色を補正することが可能となり、基準となる光環境下において肌がどのように見えるのかということを再現することができる。より具体的には、例えば、ある光環境下において、化粧がされた肌を撮影した場合、基準となる光環境下においてその肌はどのように見えるのかということを再現することができる。また、基準となる光環境下における肌の色が特定された場合には、様々な光環境下においてその肌はどのような色に見えるのかということを再現することが可能となる。このため、本実施形態の技術は、例えば、肌に塗られた化粧品を評価する際の有用な技術ともなり得る。
また、同様に、眼が被写体である場合には、例えば、カラーコンタクトレンズを装着した際の、基準となる光環境下における眼の色を再現することが可能となる。また、同様に、基準となる光環境下における眼の色が特定された場合には、様々な光環境下においてその眼はどのような色に見えるのかということを再現することが可能となる。このため、本実施形態の技術は、例えば、カラーコンタクトレンズを評価する際の有用な技術ともなり得る。
また、同様に、唇が被写体である場合には、例えば、唇へ口紅を塗った際の、基準となる光環境下における眼の色を再現することが可能となる。同様に、基準となる光環境下における唇の色が特定された場合には、様々な光環境下においてその眼はどのような色に見えるのかということを再現することが可能となる。このため、本実施形態の技術は、例えば、口紅を評価する際の有用な技術ともなり得る。
また、同様に、髪が被写体である場合には、例えば、髪を染めた際の、基準となる光環境下における髪の色を再現することが可能となる。同様に、基準となる光環境下における髪の色が特定された場合には、様々な光環境下においてその髪はどのような色に見えるのかということを再現することが可能となる。このため、本実施形態の技術は、例えば、髪を染める技術を評価する際の有用な技術ともなり得る。
上述したように、美容系の商品又はサービスを評価する際には、特定の光環境下（例えば、美容系の施設における光環境下）における被写体の色と、特定の光環境下とは異なる光環境下（例えば、屋外、オフィス、ホテル、又はレストラン等における光環境下）における被写体の色とが異なる場合が多い。このような場合、特定の光環境下（例えば、美容施設）では良い見栄えであったのにもかかわらず、実際の光環境下（例えば、屋外等）では見栄えが良くないという場合もある。このため、例えば、本実施形態の技術を用いて、特定の光環境下（例えば、美容施設）で得られた被写体の色を、基準となる光環境下における色へと一旦補正した後に、様々な光環境下における色へと変換することにより、美容系の商品又はサービスを評価することが可能となる。なお、基準となる光環境下における色から様々な光環境下における色への変換処理は、既知の技術を採用することが可能である。
【0085】
［変形例２］
または、例えば、人体のうち露出していない部分（例えば、人体のうち外部に露出していない各種の生体組織）を被写体とするようにしてもよい。例えば、歯、歯肉、のどちんこ（口蓋垂）、臓器、血管壁、気道壁、腸管壁、耳腔壁、鼻腔壁、膣内壁、又は子宮内壁等を被写体とするようにしてもよい。
この場合には、各種の撮影デバイスによって撮影された被写体の色を補正することにより、基準となる光環境下における被写体の色が特定され、各種の医療行為を実施する際の有用な情報となる。このため、本実施形態の技術は、医療行為をする際の有用な技術ともなり得る。
または、例えば、人体のうち露出していない部分（例えば、人体のうち外部に露出していない各種の生体組織）を被写体とするようにしてもよい。例えば、歯、歯肉、のどちんこ（口蓋垂）、臓器、血管壁、気道壁、腸管壁、耳腔壁、鼻腔壁、膣内壁、又は子宮内壁等を被写体とするようにしてもよい。
この場合には、各種の撮影デバイスによって撮影された被写体の色を補正することにより、基準となる光環境下における被写体の色が特定され、各種の医療行為を実施する際の有用な情報となる。このため、本実施形態の技術は、医療行為をする際の有用な技術ともなり得る。
【0086】
［変形例３］
または、例えば、各種製品を被写体とするようにしてもよい。例えば、工芸品が製造される工場又は試作室等の光源環境における色と、工芸品が実際に使用される際の光環境下における色とは異なることが多い。このような場合、特定の光環境下（例えば、工場等）では良い見栄えであったのにもかかわらず、実際の光環境下では見栄えが良くないという場合もある。このため、例えば、本実施形態の技術を用いて、特定の光環境下（例えば、工場等）で得られた工芸品等の各種製品の色を、基準となる光環境下における色へと一旦補正した後に、様々な光環境下における色へと変換することにより、工芸品等の各種製品の色を評価することが可能となる。
または、例えば、各種製品を被写体とするようにしてもよい。例えば、工芸品が製造される工場又は試作室等の光源環境における色と、工芸品が実際に使用される際の光環境下における色とは異なることが多い。このような場合、特定の光環境下（例えば、工場等）では良い見栄えであったのにもかかわらず、実際の光環境下では見栄えが良くないという場合もある。このため、例えば、本実施形態の技術を用いて、特定の光環境下（例えば、工場等）で得られた工芸品等の各種製品の色を、基準となる光環境下における色へと一旦補正した後に、様々な光環境下における色へと変換することにより、工芸品等の各種製品の色を評価することが可能となる。
【0087】
［変形例４］
または、例えば、各種食品（例えば、肉、魚、野菜、又は果物等）を被写体とするようにしてもよい。例えば、特定の光源環境下における各種食品の色と、実際に陳列される際の光環境下における各種食品の色とは異なることが多い。このため、例えば、本実施形態の技術を用いて、特定の光環境下で得られた各種食品の色を、基準となる光環境下における色へと一旦補正した後に、様々な光環境下における色へと変換することにより、各種食品の色を評価（又は鮮度の評価）することが可能となる。
または、例えば、各種食品（例えば、肉、魚、野菜、又は果物等）を被写体とするようにしてもよい。例えば、特定の光源環境下における各種食品の色と、実際に陳列される際の光環境下における各種食品の色とは異なることが多い。このため、例えば、本実施形態の技術を用いて、特定の光環境下で得られた各種食品の色を、基準となる光環境下における色へと一旦補正した後に、様々な光環境下における色へと変換することにより、各種食品の色を評価（又は鮮度の評価）することが可能となる。
【0088】
［変形例５］
または、例えば、被写体が置かれている光環境と被写体を撮影する撮像デバイス（より詳細には、撮像デバイスの各種設定値）との組み合わせ毎にグループを生成し、そのグループ毎に学習済みモデルを生成するようにしてもよい。一般的には、光環境と撮像デバイスとの組み合わせによって、被写体の本来の色がどのように変化するのかが定まる。光環境を定義するものとしては光源の種類が挙げられる。また、撮影デバイスを定義するものとしては、撮像デバイスが有するイメージセンサーの特性及び端末ソフトウェアによる色温度変換設定等が想定される。このため、被写体が置かれている光環境と被写体を撮影する撮像デバイスとの組み合わせ毎にグループを生成し、グループ毎に色の変化のばらつきを再現するように学習用データを増幅させ、グループ毎に補正係数を出力する学習済みモデルを生成する。これにより、被写体が置かれている光環境と被写体を撮影する撮像デバイスとの組み合わせに応じた補正係数を出力するための学習済みモデルを得ることができる。これにより、例えば、屋外撮影用の補正係数を得るための学習済みモデル、屋内撮影用の補正係数を得るための学習済みモデル、及び体内組織撮影用の補正係数等を出力する学習済みモデル等を個別に生成することができる。
例えば、内視鏡画像等を対象とする場合には、専用の光源と専用の撮影デバイスとが想定される。このため、内視鏡画像の画像サンプル群を増幅させ、それに基づいて学習済みモデルを生成することにより、内視鏡画像の色を補正する補正係数を出力することに特化した学習済みモデルが得られ、内視鏡画像の色をより適切に補正することが可能となる。なお、内視鏡画像の画像サンプル群を増幅させる際には、上述したように、画像サンプル群全体に対する補正係数の空間内の分布に一致する確率分布となるように画像が生成される。
また、光源の特性に依存したグループ化として、例えば、室内ポートレートに特化した画像サンプル群又は自然光下の野外風景に特化した画像サンプル群等を利用することにより、それぞれに特化した学習済みモデルを生成することが可能となり、それぞれの画像の色をより適切に補正することが可能となる。
または、例えば、被写体が置かれている光環境と被写体を撮影する撮像デバイス（より詳細には、撮像デバイスの各種設定値）との組み合わせ毎にグループを生成し、そのグループ毎に学習済みモデルを生成するようにしてもよい。一般的には、光環境と撮像デバイスとの組み合わせによって、被写体の本来の色がどのように変化するのかが定まる。光環境を定義するものとしては光源の種類が挙げられる。また、撮影デバイスを定義するものとしては、撮像デバイスが有するイメージセンサーの特性及び端末ソフトウェアによる色温度変換設定等が想定される。このため、被写体が置かれている光環境と被写体を撮影する撮像デバイスとの組み合わせ毎にグループを生成し、グループ毎に色の変化のばらつきを再現するように学習用データを増幅させ、グループ毎に補正係数を出力する学習済みモデルを生成する。これにより、被写体が置かれている光環境と被写体を撮影する撮像デバイスとの組み合わせに応じた補正係数を出力するための学習済みモデルを得ることができる。これにより、例えば、屋外撮影用の補正係数を得るための学習済みモデル、屋内撮影用の補正係数を得るための学習済みモデル、及び体内組織撮影用の補正係数等を出力する学習済みモデル等を個別に生成することができる。
例えば、内視鏡画像等を対象とする場合には、専用の光源と専用の撮影デバイスとが想定される。このため、内視鏡画像の画像サンプル群を増幅させ、それに基づいて学習済みモデルを生成することにより、内視鏡画像の色を補正する補正係数を出力することに特化した学習済みモデルが得られ、内視鏡画像の色をより適切に補正することが可能となる。なお、内視鏡画像の画像サンプル群を増幅させる際には、上述したように、画像サンプル群全体に対する補正係数の空間内の分布に一致する確率分布となるように画像が生成される。
また、光源の特性に依存したグループ化として、例えば、室内ポートレートに特化した画像サンプル群又は自然光下の野外風景に特化した画像サンプル群等を利用することにより、それぞれに特化した学習済みモデルを生成することが可能となり、それぞれの画像の色をより適切に補正することが可能となる。
【0089】
また、上記実施形態では、情報処理装置１０が、図６の学習済みモデル生成処理と図７の情報処理とを実行する場合を例に説明したが、これに限定されるものではない。例えば、学習済みモデル生成装置が図６の学習済みモデル生成処理を実行し、情報処理装置が図７の情報処理を実行するようにしてもよい。この場合には、学習済みモデル生成装置が、学習用取得部２２と、計算部２４と、学習用データ生成部２６と、学習済みモデル生成部３０とを少なくとも備える。また、この場合には、情報処理装置が、取得部３４と、補正部３６とを少なくとも備える。
【0090】
本明細書に記載された全ての文献、特許出願、および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【0091】
（付記）
以下、本開示の態様について付記する。
以下、本開示の態様について付記する。
【0092】
（付記１）
学習用の被写体とカラーチャートとが写る学習用画像を取得する学習用取得部と、
前記学習用画像内の前記カラーチャートに写る色を、基準となる参照色へと補正する補正係数を計算する計算部と、
前記学習用画像内の前記学習用の被写体部分の画像と前記補正係数とを関連付けた学習用データを生成する学習用データ生成部と、
前記学習用データに基づいて、被写体が写る画像が入力されると前記画像の色を補正する補正係数が出力される学習済みモデルを生成する学習済みモデル生成部と、
を含む学習済みモデル生成装置。
（付記２）
前記学習用画像は、第１学習用画像であり、
前記補正係数は、第１補正係数であり、
前記学習用データは、第１学習用データであり、
前記学習用データ生成部は、
前記第１補正係数を用いて、前記第１学習用画像内の前記学習用の被写体部分の画像の色を補正することにより、補正済み画像を生成し、
前記補正済み画像の色を変化させることにより、複数の第２学習用画像を生成し、
複数の第２学習用画像の各々について、前記第２学習用画像の色を前記補正済み画像の色へと補正する際の第２補正係数を計算し、前記第２学習用画像と前記第２補正係数とを関連付けた第２学習用データを生成し、
前記学習済みモデル生成部は、前記第１学習用データと前記第２学習用データとに基づいて、前記学習済みモデルを生成する、
付記１に記載の学習済みモデル生成装置。
（付記３）
前記学習用データ生成部は、複数の第１学習用画像の各画素値の分布範囲内となるように、複数の第２学習用画像を生成する、
付記１又は付記２に記載の学習済みモデル生成装置。
（付記４）
対象となる被写体が写る画像を取得する取得部と、
前記取得部により取得された前記画像を、予め生成された学習済みモデルへ入力することにより、前記学習済みモデルから出力された補正係数を取得し、該補正係数を用いて前記画像の色を補正する補正部と、
を含み、
前記学習済みモデルは、被写体が写る画像が入力されると前記画像の色を補正する補正係数が出力される学習済みモデルであって、かつ学習用の被写体と学習用の前記補正係数とが関連付けられた学習用データに基づいて予め学習された学習済みモデルであり、
学習用の前記補正係数は、学習用の被写体とカラーチャートとが写る学習用画像内の前記カラーチャートに写る色を、基準となる参照色へと補正するような補正係数である、
情報処理装置。
（付記５）
学習用の被写体とカラーチャートとが写る学習用画像を取得し、
前記学習用画像内の前記カラーチャートに写る色を、基準となる参照色へと補正する補正係数を計算し、
前記学習用画像内の前記学習用の被写体部分の画像と前記補正係数とを関連付けた学習用データを生成し、
前記学習用データに基づいて、被写体が写る画像が入力されると前記画像の色を補正する補正係数が出力される学習済みモデルを生成する、
処理をコンピュータが実行する学習済みモデル生成方法。
（付記６）
対象となる被写体が写る画像を取得し、
取得された前記画像を、予め生成された学習済みモデルへ入力することにより、前記学習済みモデルから出力された補正係数を取得し、該補正係数を用いて前記画像の色を補正し、
前記学習済みモデルは、被写体が写る画像が入力されると前記画像の色を補正する補正係数が出力される学習済みモデルであって、かつ学習用の被写体と学習用の前記補正係数とが関連付けられた学習用データに基づいて予め学習された学習済みモデルであり、
学習用の前記補正係数は、学習用の被写体とカラーチャートとが写る学習用画像内の前記カラーチャートに写る色を、基準となる参照色へと補正するような補正係数である、
処理をコンピュータが実行する情報処理方法。
（付記７）
学習用の被写体とカラーチャートとが写る学習用画像を取得し、
前記学習用画像内の前記カラーチャートに写る色を、基準となる参照色へと補正する補正係数を計算し、
前記学習用画像内の前記学習用の被写体部分の画像と前記補正係数とを関連付けた学習用データを生成し、
前記学習用データに基づいて、被写体が写る画像が入力されると前記画像の色を補正する補正係数が出力される学習済みモデルを生成する、
処理をコンピュータに実行させるための学習済みモデル生成プログラム。
（付記８）
対象となる被写体が写る画像を取得し、
取得された前記画像を、付記７に記載の学習済みモデル生成プログラムによって生成された前記学習済みモデルへ入力することにより、前記学習済みモデルから出力された前記補正係数を取得し、該補正係数を用いて前記画像の色を補正し、
前記学習済みモデルは、被写体が写る画像が入力されると前記画像の色を補正する補正係数が出力される学習済みモデルであって、かつ学習用の被写体と学習用の前記補正係数とが関連付けられた学習用データに基づいて予め学習された学習済みモデルであり、
学習用の前記補正係数は、学習用の被写体とカラーチャートとが写る学習用画像内の前記カラーチャートに写る色を、基準となる参照色へと補正するような補正係数である、
処理をコンピュータに実行させるための情報処理プログラム。
学習用の被写体とカラーチャートとが写る学習用画像を取得する学習用取得部と、
前記学習用画像内の前記カラーチャートに写る色を、基準となる参照色へと補正する補正係数を計算する計算部と、
前記学習用画像内の前記学習用の被写体部分の画像と前記補正係数とを関連付けた学習用データを生成する学習用データ生成部と、
前記学習用データに基づいて、被写体が写る画像が入力されると前記画像の色を補正する補正係数が出力される学習済みモデルを生成する学習済みモデル生成部と、
を含む学習済みモデル生成装置。
（付記２）
前記学習用画像は、第１学習用画像であり、
前記補正係数は、第１補正係数であり、
前記学習用データは、第１学習用データであり、
前記学習用データ生成部は、
前記第１補正係数を用いて、前記第１学習用画像内の前記学習用の被写体部分の画像の色を補正することにより、補正済み画像を生成し、
前記補正済み画像の色を変化させることにより、複数の第２学習用画像を生成し、
複数の第２学習用画像の各々について、前記第２学習用画像の色を前記補正済み画像の色へと補正する際の第２補正係数を計算し、前記第２学習用画像と前記第２補正係数とを関連付けた第２学習用データを生成し、
前記学習済みモデル生成部は、前記第１学習用データと前記第２学習用データとに基づいて、前記学習済みモデルを生成する、
付記１に記載の学習済みモデル生成装置。
（付記３）
前記学習用データ生成部は、複数の第１学習用画像の各画素値の分布範囲内となるように、複数の第２学習用画像を生成する、
付記１又は付記２に記載の学習済みモデル生成装置。
（付記４）
対象となる被写体が写る画像を取得する取得部と、
前記取得部により取得された前記画像を、予め生成された学習済みモデルへ入力することにより、前記学習済みモデルから出力された補正係数を取得し、該補正係数を用いて前記画像の色を補正する補正部と、
を含み、
前記学習済みモデルは、被写体が写る画像が入力されると前記画像の色を補正する補正係数が出力される学習済みモデルであって、かつ学習用の被写体と学習用の前記補正係数とが関連付けられた学習用データに基づいて予め学習された学習済みモデルであり、
学習用の前記補正係数は、学習用の被写体とカラーチャートとが写る学習用画像内の前記カラーチャートに写る色を、基準となる参照色へと補正するような補正係数である、
情報処理装置。
（付記５）
学習用の被写体とカラーチャートとが写る学習用画像を取得し、
前記学習用画像内の前記カラーチャートに写る色を、基準となる参照色へと補正する補正係数を計算し、
前記学習用画像内の前記学習用の被写体部分の画像と前記補正係数とを関連付けた学習用データを生成し、
前記学習用データに基づいて、被写体が写る画像が入力されると前記画像の色を補正する補正係数が出力される学習済みモデルを生成する、
処理をコンピュータが実行する学習済みモデル生成方法。
（付記６）
対象となる被写体が写る画像を取得し、
取得された前記画像を、予め生成された学習済みモデルへ入力することにより、前記学習済みモデルから出力された補正係数を取得し、該補正係数を用いて前記画像の色を補正し、
前記学習済みモデルは、被写体が写る画像が入力されると前記画像の色を補正する補正係数が出力される学習済みモデルであって、かつ学習用の被写体と学習用の前記補正係数とが関連付けられた学習用データに基づいて予め学習された学習済みモデルであり、
学習用の前記補正係数は、学習用の被写体とカラーチャートとが写る学習用画像内の前記カラーチャートに写る色を、基準となる参照色へと補正するような補正係数である、
処理をコンピュータが実行する情報処理方法。
（付記７）
学習用の被写体とカラーチャートとが写る学習用画像を取得し、
前記学習用画像内の前記カラーチャートに写る色を、基準となる参照色へと補正する補正係数を計算し、
前記学習用画像内の前記学習用の被写体部分の画像と前記補正係数とを関連付けた学習用データを生成し、
前記学習用データに基づいて、被写体が写る画像が入力されると前記画像の色を補正する補正係数が出力される学習済みモデルを生成する、
処理をコンピュータに実行させるための学習済みモデル生成プログラム。
（付記８）
対象となる被写体が写る画像を取得し、
取得された前記画像を、付記７に記載の学習済みモデル生成プログラムによって生成された前記学習済みモデルへ入力することにより、前記学習済みモデルから出力された前記補正係数を取得し、該補正係数を用いて前記画像の色を補正し、
前記学習済みモデルは、被写体が写る画像が入力されると前記画像の色を補正する補正係数が出力される学習済みモデルであって、かつ学習用の被写体と学習用の前記補正係数とが関連付けられた学習用データに基づいて予め学習された学習済みモデルであり、
学習用の前記補正係数は、学習用の被写体とカラーチャートとが写る学習用画像内の前記カラーチャートに写る色を、基準となる参照色へと補正するような補正係数である、
処理をコンピュータに実行させるための情報処理プログラム。
【符号の説明】
【0093】
１０ 情報処理装置
２０ データ記憶部
２２ 学習用取得部
２４ 計算部
２６ 学習用データ生成部
２８ 学習用データ記憶部
３０ 学習済みモデル生成部
３２ 学習済みモデル記憶部
３４ 取得部
３６ 補正部
３８ 出力部
２０ データ記憶部
２２ 学習用取得部
２４ 計算部
２６ 学習用データ生成部
２８ 学習用データ記憶部
３０ 学習済みモデル生成部
３２ 学習済みモデル記憶部
３４ 取得部
３６ 補正部
３８ 出力部
【要約】
【課題】カラーチャートを被写体と共に撮影しなくても、カラーチャートによる色補正方法と同様の色補正を被写体に対して行う。
【解決手段】情報処理装置１０は、学習用の被写体とカラーチャートとが写る学習用画像を取得する。情報処理装置１０は、学習用画像内のカラーチャートに写る色を、基準となる参照色へと補正する補正係数を計算する。情報処理装置１０は、学習用画像内の学習用の被写体部分の画像と補正係数とを関連付けた学習用データを生成する。情報処理装置１０は、学習用データに基づいて、被写体が写る画像が入力されると画像の色を補正する補正係数が出力される学習済みモデルを生成する。
【選択図】図１
【解決手段】情報処理装置１０は、学習用の被写体とカラーチャートとが写る学習用画像を取得する。情報処理装置１０は、学習用画像内のカラーチャートに写る色を、基準となる参照色へと補正する補正係数を計算する。情報処理装置１０は、学習用画像内の学習用の被写体部分の画像と補正係数とを関連付けた学習用データを生成する。情報処理装置１０は、学習用データに基づいて、被写体が写る画像が入力されると画像の色を補正する補正係数が出力される学習済みモデルを生成する。
【選択図】図１
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
