特開 2024-106428 画像変換装置、画像変換方法、および、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024106428

(43)【公開日】2024-08-08

(54)【発明の名称】画像変換装置、画像変換方法、および、プログラム

(51)【国際特許分類】

   G06T 3/4053 20240101AFI20240801BHJP

   G06T 7/00 20170101ALI20240801BHJP

【ＦＩ】

G06T3/40 730

G06T7/00 350B

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023010667

(22)【出願日】2023-01-27

(71)【出願人】

【識別番号】000002369

【氏名又は名称】セイコーエプソン株式会社

(74)【代理人】

【識別番号】110000028

【氏名又は名称】弁理士法人明成国際特許事務所

(72)【発明者】

【氏名】西村 秦

【テーマコード（参考）】

5B057

5L096

【Ｆターム（参考）】

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CC01

5B057CD06

5L096AA06

5L096DA01

5L096EA33

5L096HA11

(57)【要約】

【課題】高解像度化の倍率の指定について柔軟に対応する。
【解決手段】画像を高解像度化する画像変換装置は、学習データを用いた機械学習を行うことにより生成された少なくとも１つの機械学習モデルであって、画像をあらかじめ決められた設定倍率で高解像度化する機械学習モデルを記憶する記憶部と、高解像度化の処理についての目標倍率の指定を受け付ける受付部と、機械学習モデルを用いて、処理の対象となる画像に設定倍率で高解像度化の処理を実行する第１処理部と、機械学習モデルを用いずに、処理の対象となる画像に画素の補間処理を実行する第２処理部と、を備える。設定倍率と目標倍率とが異なる場合に、第１処理部が、処理の対象となる画像に設定倍率で高解像度化の処理を実行し、第２処理部が、第１処理部による高解像度化の処理の前または後に、処理の対象となる画像に目標倍率と設定倍率とに応じた補間処理を実行する。
【選択図】図１

【特許請求の範囲】

【請求項1】

画像を高解像度化する画像変換装置であって、
学習データを用いた機械学習を行うことにより生成された少なくとも１つの機械学習モデルであって、画像をあらかじめ決められた設定倍率で高解像度化する機械学習モデルを記憶する記憶部と、
前記高解像度化の処理についての目標倍率の指定を受け付ける受付部と、
前記機械学習モデルを用いて、処理の対象となる画像に前記設定倍率で高解像度化の処理を実行する第１処理部と、
前記機械学習モデルを用いずに、処理の対象となる画像に画素の補間処理を実行する第２処理部と、
を備え、
前記設定倍率と前記目標倍率とが異なる場合に、
前記第１処理部が、処理の対象となる画像に前記設定倍率で前記高解像度化の処理を実行し、
前記第２処理部が、前記第１処理部による前記高解像度化の処理の前または後に、処理の対象となる画像に前記目標倍率と前記設定倍率とに応じた前記補間処理を実行し、
前記設定倍率と前記目標倍率とが同じ場合に、
前記第１処理部が、処理の対象となる画像に前記設定倍率で前記高解像度化の処理を実行し、
前記第２処理部は、前記補間処理を実行しない、
画像変換装置。

【請求項2】

請求項１に記載の画像変換装置であって、
前記設定倍率が前記目標倍率より大きい場合に、
前記第２処理部は、前記第１処理部が処理の対象となる画像に前記高解像度化の処理を実行した後に、前記高解像度化の処理がなされた画像に、解像度を低くするための前記目標倍率と前記設定倍率とに応じた前記補間処理を実行する、
画像変換装置。

【請求項3】

請求項２に記載の画像変換装置であって、
前記設定倍率が前記目標倍率より小さい場合に、
前記第２処理部は、前記第１処理部が処理の対象となる画像に前記高解像度化の処理を少なくとも１回実行した後に、前記高解像度化の処理がなされた画像に、解像度を高くするための前記補間処理を実行する、
画像変換装置。

【請求項4】

請求項３に記載の画像変換装置であって、
前記記憶部が記憶する前記機械学習モデルは、前記設定倍率が倍率Ｌ（Ｌは２以上の整数）である第１学習モデルと、前記設定倍率が倍率Ｍ（Ｍは２以上の整数であって、Ｌとは異なる値）である第２学習モデルと、を含む、
画像変換装置。

【請求項5】

請求項４に記載の画像変換装置であって、
前記受付部は、画質の向上と処理速度の向上とのうちのいずれか優先すべきものの指定を受け付ける、
画像変換装置。

【請求項6】

請求項５に記載の画像変換装置であって、
前記倍率Ｌおよび前記倍率Ｍはいずれも２の累乗である、
画像変換装置。

【請求項7】

請求項５に記載の画像変換装置であって、
前記倍率Ｌおよび前記倍率Ｍはいずれも奇数である、
画像変換装置。

【請求項8】

画像を高解像度化する画像変換方法であって、
学習データを用いた機械学習を行うことにより生成された少なくとも１つの機械学習モデルであって、画像をあらかじめ決められた設定倍率で高解像度化する機械学習モデルを準備するステップと、
高解像度化の処理についての目標倍率の指定を受け付けるステップと、
処理の対象となる画像に、前記機械学習モデルを用いて前記設定倍率で前記高解像度化の処理を実行するステップと、
前記設定倍率と前記目標倍率とが異なる場合に、
前記高解像度化の処理の前または後に、前記機械学習モデルを用いずに、処理の対象となる画像に前記目標倍率と前記設定倍率とに応じた画素の補間処理を実行するステップと、
を含み、
前記設定倍率と前記目標倍率とが同じ場合に、
前記高解像度化の処理の前または後に、処理の対象となる画像に前記補間処理を実行しない、
画像変換方法。

【請求項9】

画像を高解像度化する画像変換処理をコンピューターに実行させるためのプログラムであって、
前記コンピューターに、
学習データを用いた機械学習を行うことにより生成された少なくとも１つの機械学習モデルであって、画像をあらかじめ決められた設定倍率で高解像度化する機械学習モデルを、前記機械学習モデルを記憶する記憶部から読み出す機能と、
前記高解像度化の処理についての目標倍率の指定を受け付ける機能と、
処理の対象となる画像に、前記機械学習モデルを用いて前記設定倍率で前記高解像度化の処理を実行する機能と、
前記設定倍率と前記目標倍率とが異なる場合に、
前記高解像度化の処理の前または後に、前記機械学習モデルを用いずに、処理の対象となる画像に前記目標倍率と前記設定倍率とに応じた画素の補間処理を実行する機能と、
前記設定倍率と前記目標倍率とが同じ場合に、
前記高解像度化の処理の前または後に、処理の対象となる画像に前記補間処理を実行しない機能と、
を実現させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像変換装置、画像変換方法、および、プログラムに関する。

【背景技術】

【0002】

特許文献１に記載されているように、機械学習モデルを用いて画像の解像度を上げる超解像技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【非特許文献1】Yulun Zhang et al., ”Image Super-Resolution Using Very Deep Residual Channel Attention Networks”,[online],2018年7月12日,<URL: https://arxiv.org/abs/1807.02758>

【発明の概要】

【発明が解決しようとする課題】

【0004】

低解像度画像を高解像度画像へ変換するための機械学習モデルは、機械学習のときに設定された倍率で画像の高解像度化の処理を実行する。このため、あらかじめ生成された機械学習モデルにおいて設定されている倍率以外で高解像度化を行うことができない。よって、高解像度化の倍率の指定について柔軟に対応できる技術が求められていた。

【課題を解決するための手段】

【0005】

本開示は、以下の形態として実現することが可能である。

【0006】

本開示の第１形態によれば、画像を高解像度化する画像変換装置が提供される。この画像変換装置は、学習データを用いた機械学習を行うことにより生成された少なくとも１つの機械学習モデルであって、画像をあらかじめ決められた設定倍率で高解像度化する機械学習モデルを記憶する記憶部と、前記高解像度化の処理についての目標倍率の指定を受け付ける受付部と、前記機械学習モデルを用いて、処理の対象となる画像に前記設定倍率で高解像度化の処理を実行する第１処理部と、前記機械学習モデルを用いずに、処理の対象となる画像に画素の補間処理を実行する第２処理部と、を備え、前記設定倍率と前記目標倍率とが異なる場合に、前記第１処理部が、処理の対象となる画像に前記設定倍率で前記高解像度化の処理を実行し、前記第２処理部が、前記第１処理部による前記高解像度化の処理の前または後に、処理の対象となる画像に前記目標倍率と前記設定倍率とに応じた前記補間処理を実行し、前記設定倍率と前記目標倍率とが同じ場合に、前記第１処理部が、処理の対象となる画像に前記設定倍率で前記高解像度化の処理を実行し、前記第２処理部は、前記補間処理を実行しない。

【0007】

本開示の第２形態によれば、画像を高解像度化する画像変換方法が提供される。この画像変換方法は、学習データを用いた機械学習を行うことにより生成された少なくとも１つの機械学習モデルであって、画像をあらかじめ決められた設定倍率で高解像度化する機械学習モデルを準備するステップと、高解像度化の処理についての目標倍率の指定を受け付けるステップと、処理の対象となる画像に、前記機械学習モデルを用いて前記設定倍率で前記高解像度化の処理を実行するステップと、前記設定倍率と前記目標倍率とが異なる場合に、前記高解像度化の処理の前または後に、前記機械学習モデルを用いずに、処理の対象となる画像に前記目標倍率と前記設定倍率とに応じた画素の補間処理を実行するステップと、を含み、前記設定倍率と前記目標倍率とが同じ場合に、前記高解像度化の処理の前または後に、処理の対象となる画像に前記補間処理を実行しない。

【0008】

本開示の第３形態によれば、画像を高解像度化する画像変換処理をコンピューターに実行させるためのプログラムが提供される。このプログラムは、前記コンピューターに、学習データを用いた機械学習を行うことにより生成された少なくとも１つの機械学習モデルであって、画像をあらかじめ決められた設定倍率で高解像度化する機械学習モデルを、前記機械学習モデルを記憶する記憶部から読み出す機能と、前記高解像度化の処理についての目標倍率の指定を受け付ける機能と、処理の対象となる画像に、前記機械学習モデルを用いて前記設定倍率で前記高解像度化の処理を実行する機能と、前記設定倍率と前記目標倍率とが異なる場合に、前記高解像度化の処理の前または後に、前記機械学習モデルを用いずに、処理の対象となる画像に前記目標倍率と前記設定倍率とに応じた画素の補間処理を実行する機能と、前記設定倍率と前記目標倍率とが同じ場合に、前記高解像度化の処理の前または後に、処理の対象となる画像に前記補間処理を実行しない機能と、を実現させる。

【図面の簡単な説明】

【0009】

【図1】第１実施形態にかかる画像変換装置の概略構成を示すブロック図である。

【図2】画像変換の処理を表したフローチャートである。

【図3】第２実施形態にかかる画像変換装置のメモリーに関するブロック図である。

【図4】第２実施形態における画像変換の処理を表したフローチャートである。

【発明を実施するための形態】

【0010】

Ａ．第１実施形態：
図１は、本実施形態にかかる画像変換装置１００の概略構成を示すブロック図である。画像変換装置１００は、入力された画像を指定された倍率で高解像度化処理した画像を生成する。高解像度化処理は、入力された画像から、入力された画像が有する解像度より高い解像度を有する画像を生成する処理である。解像度とは１つの画像を構成する画素の密度あるいは画素数を意味する。高解像度化処理では、画質の向上のため、例えば、補間される画素の画素値を周辺の画素の値を用いた計算によって求める。本明細書において、画像はデジタル化された画像を意味し、アナログ画像を含まない。

【0011】

画像変換装置１００は、メモリー１１０と、インターフェイス部１２０と、入力装置１３０と、表示装置１４０と、プロセッサー１５０と、を備えるコンピューターである。メモリー１１０を記憶部ともよぶ。

【0012】

メモリー１１０は、画像変換装置１００が実行する各種処理に使用される各種のプログラムおよびデータを記憶する。メモリー１１０には、機械学習モデルである第１学習モデル１１と、第２学習モデル１２と、を表すデータが格納されている。第１学習モデル１１および第２学習モデル１２は、例えば、畳み込みニューラルネットワーク（Convolutional Neural Networks: CNN）である。第１学習モデル１１および第２学習モデル１２はそれぞれ学習データを用いた機械学習により生成されている。

【0013】

第１学習モデル１１および第２学習モデル１２は、あらかじめ設定された設定倍率で低解像度画像を高解像度画像に変換する。以下、低解像度画像とは、変換前の画像の解像度より低い解像度を有する画像を意味する。第１学習モデル１１についての設定倍率は２倍である。なお、第１学習モデル１１についての設定倍率はこれに限られず、２以上の整数とされてもよい。第２学習モデル１２についての設定倍率は３倍である。なお、第２学習モデル１２についての設定倍率はこれに限られず、２以上の整数とされてもよい。ただし、第２学習モデル１２についての設定倍率は、第１学習モデル１１についての設定倍率とは異なる。それぞれ異なる設定倍率を有する２つの第１学習モデル１１および第２学習モデル１２が用意されているので、目標倍率に応じた機械学習モデルを選択することができる。第１学習モデル１１の設定倍率を倍率Ｌともよぶ。第２学習モデル１２の設定倍率を倍率Ｍともよぶ。

【0014】

インターフェイス部１２０には、入力装置１３０と、表示装置１４０とが接続されている。入力装置１３０は、例えば、キーボード、マウスである。表示装置１４０は、例えば、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイである。

【0015】

プロセッサー１５０は、メモリー１１０に記憶されているプログラムを実行することにより様々な機能を実現する。プロセッサー１５０は、メモリー１１０に格納されているプログラムを実行することで、受付部２１０と、第１処理部２２０と、第２処理部２３０として機能する。

【0016】

受付部２１０は、高解像度化の処理についての目標倍率の指定を受け付ける。第１処理部２２０は、第１学習モデル１１または第２学習モデル１２を用いて処理の対象となる画像に高解像度化の処理を実行する。第２処理部２３０は、機械学習モデルを用いずに、処理の対象となる画像に画素の補間処理を実行する。本明細書において、画素の補間処理は、画像の解像度を高くするために画素を補間する処理と、画像の解像度を低くするために画像の画素を間引く処理とを含む。第２処理部２３０によって用いられる画素の補間処理は、例えば、バイリニア法、バイキュービック法、ランチョス法である。

【0017】

図２は、画像変換処理を表したフローチャートである。図２に示す処理は、受付部２１０、第１処理部２２０、および、第２処理部２３０として機能するプロセッサー１５０により実行される。図２の処理が実行される前に、メモリー１１０に第１学習モデル１１とおよび第２学習モデル１２を表すデータが格納されていることを前提とする。例えば、ユーザーが入力装置１３０を介して処理の開始を指示すると、プロセッサー１５０は図２に示す処理を開始する。

【0018】

ステップＳ１００において、プロセッサー１５０は、例えば、入力画面を表示装置１４０に表示して、入力画像と指定倍率とを受け付ける。ユーザーは、入力画像ＩＭが格納されているメモリー１１０における領域を示すパスと、指定倍率とを入力装置１３０を用いて入力する。指定倍率は、ユーザーが所望する高解像度化についての倍率である。指定倍率を目標倍率ともよぶ。なお、図２の処理の開始前に、ユーザーはメモリー１１０の所望の領域に入力画像ＩＭを格納している。

【0019】

ステップＳ１０５において、プロセッサー１５０は、指定倍率が第１学習モデル１１の設定倍率または第２学習モデル１２の設定倍率と同じであるか否かを判別する。プロセッサー１５０は、指定倍率が第１学習モデル１１の設定倍率または第２学習モデル１２の設定倍率と同じである場合（ステップＳ１０５；ＹＥＳ）、ステップＳ１１０の処理を実行する。一方、指定倍率がいずれの設定倍率とも異なる場合（ステップＳ１０５；ＮＯ）、プロセッサー１５０はステップＳ１１５の処理を実行する。

【0020】

ステップＳ１１０において、プロセッサー１５０は、第１学習モデル１１および第２学習モデル１２のうち指定倍率と同じ設定倍率を有する機械学習モデルを用いて、処理の対象である入力画像に高解像度化の処理を実行する。例えば、指定倍率が２倍の場合、プロセッサー１５０は、第１学習モデル１１を用いて入力画像ＩＭに高解像度化の処理を実行する。例えば、入力画像ＩＭの解像度が、３００（ｄｐｉ）×３００（ｄｐｉ）である場合、高解像度化の処理により１インチあたりの画素数を２倍とした６００（ｄｐｉ）×６００（ｄｐｉ）の解像度を有する画像が生成される。

【0021】

ステップＳ１１５において、プロセッサー１５０は、第１学習モデル１１および第２学習モデル１２のうちあらかじめ決められた指定条件を満たす機械学習モデルを選択し、選択した機械学習モデルを用いて処理の対象である入力画像に高解像度化の処理を実行する。あらかじめ決められた指定条件とは、指定倍率に最も近い設定倍率を有することである。プロセッサー１５０は、メモリー１１０に格納されている機械学習モデルのうち、その設定倍率と指定倍率との差が最も小さい機械学習モデルを、あらかじめ決められた指定条件を満たす機械学習モデルとして選択する。指定条件を満たす２つの機械学習モデルがある場合、指定倍率より大きい設定倍率を有する機械学習モデルが選択される。指定条件を満たす２つの機械学習モデルがある場合とは、指定倍率が、２つの設定倍率の中間の値をとる場合である。機械学習モデルを用いない補間処理を用いるより、機械学習モデルを用いた高解像度化の処理を用いる方が、生成される画像の画質が向上する傾向にある。このため、本実施形態において、画像変換装置１００は、指定倍率に最も近い設定倍率を有する機械学習モデルを用いた高解像度化処理により、できるだけ指定倍率に近い中間画像を生成する。

【0022】

例えば、指定倍率が２．５倍の場合、プロセッサー１５０は、設定倍率が３倍である第２学習モデル１２を選択する。プロセッサー１５０は、第２学習モデル１２を用いて入力画像ＩＭに高解像度化の処理を実行する。例えば、入力画像ＩＭの解像度が、３００（ｄｐｉ）×３００（ｄｐｉ）である場合、高解像度化の処理により１インチあたりの画素数を３倍とした９００（ｄｐｉ）×９００（ｄｐｉ）の解像度を有する中間画像が生成される。

【0023】

また、例えば、３つの機械学習モデルが用意されており、それぞれの設定倍率が、２倍、４倍、８倍であったとする。指定倍率が３．８倍であるとする。この場合、指定倍率に最も近い４倍の設定倍率を有する機械学習モデルが指定条件を満たす機械学習モデルである。

【0024】

ステップＳ１２０において、プロセッサー１５０は、処理の対象である画像に画素の補間処理を実行する。処理の対象は、ステップＳ１１５における機械学習モデルを用いた高解像度化の処理により生成された中間画像である。

【0025】

ステップＳ１１５において、指定倍率より大きい設定倍率で高解像度化の処理が実行された場合、ステップＳ１２０において、解像度を低くするための補間処理であるダウンサンプリング処理が実行される。例えば、入力画像ＩＭの解像度が３００（ｄｐｉ）×３００（ｄｐｉ）であり、指定倍率が２．５倍であるとする。ステップＳ１１５で、入力画像ＩＭの解像度が３倍に変換された場合、９００（ｄｐｉ）×９００（ｄｐｉ）の解像度を有する中間画像が生成される。最終的に出力されるべき出力画像の解像度は、７５０（ｄｐｉ）×７５０（ｄｐｉ）である。この場合、プロセッサー１５０は、解像度を低くするために１インチあたりの画素数を０．８３倍とする画素の補間処理を中間画像に実行する。補間処理により、９００（ｄｐｉ）×９００（ｄｐｉ）の解像度を有する中間画像から、７５０（ｄｐｉ）×７５０（ｄｐｉ）の解像度を有する画像が生成される。

【0026】

また、ステップＳ１１５において、指定倍率より小さい設定倍率で高解像度化の処理が実行された場合、ステップＳ１２０において、解像度を高くするための補間処理であるアップサンプリング処理が実行される。

【0027】

ステップＳ１２５において、プロセッサー１５０は変換後の画像を出力画像としてメモリー１１０に保存する。その後、図２に示す処理が終了される。

【0028】

以上説明したように、本実施形態においては、画像変換装置１００は、機械学習モデルを用いた高解像度化の処理と機械学習モデルを用いない画像の画素の補間処理とを組み合わせて、指定倍率で高解像度化した出力画像を生成する。画像変換装置１００は、指定倍率と同一の設定倍率を有する機械学習モデルが用意されていない場合であっても、所望される倍率で高解像度化を行うことができる。よって、ユーザーは、指定倍率と同一の設定倍率を有する機械学習モデルが用意されていない場合であっても、所望される倍率で高解像度化された画像を取得できる。このようして高解像度化の倍率の指定について柔軟に対応することができる。

【0029】

また、ユーザーが小数値の指定倍率で高解像度化を行うことを所望することがある。用意されている機械学習モデルの設定倍率の値が整数である場合でも、画像変換装置１００は、機械学習モデルを用いた高解像度化の処理と機械学習モデルを用いない画像の画素の補間処理とを組み合わせることにより、小数値の指定倍率で高解像度化を行うことができる。このようして高解像度化の倍率の指定について柔軟に対応することができる。

【0030】

また、ユーザーが指定する可能性があるすべての設定倍率の機械学習モデルを用意しなくてもよい。よって、複数の設定倍率それぞれについて機械学習モデルが用意される態様に比べて、機械学習モデルを保存するメモリー１１０の容量を削減できる。また、複数の設定倍率それぞれについて機械学習モデルが用意される態様に比べて、機械学習モデルを生成するための機械学習を行う手間を省くことができる。

【0031】

また、本実施形態においては、機械学習モデルを用いた高解像度化の処理を先に実行し、機械学習モデルを用いない補間処理を実行する。機械学習モデルを用いない補間処理は、機械学習モデルを用いた高解像度化の処理に比べて、生成できる画像の画質が高くない傾向にある。機械学習モデルを用いない補間処理を低解像度の入力画像に行った場合、生成される画像の画質が、入力画像の画質より低下することも想定される。このため、画像変換装置１００は、生成できる画質の向上の精度を高くできる傾向にある機械学習モデルを用いた高解像度化の処理を先に実行することで、入力画像の画質より画質の高い中間画像をまず生成する。その後、画像変換装置１００は、機械学習モデルを用いない補間処理を実行する。機械学習モデルを用いない補間処理が実行された後に機械学習モデルを用いた高解像度化の処理が行われる態様に比べて、最終的に生成される画像の画質を向上できる。

【0032】

また、本実施形態においては、指定倍率とあらかじめ用意されている機械学習モデルの設定倍率とが同じでない場合に、指定倍率に最も近い設定倍率を有する機械学習モデルを用いて高解像度化の処理が行われる。機械学習モデルを用いない補間処理を用いるより、機械学習モデルを用いた高解像度化の処理を用いる方が、生成される画像の画質が向上する傾向にあるためである。このため、本実施形態において、画像変換装置１００は、指定倍率に最も近い設定倍率を有する機械学習モデルを選択し、機械学習モデルを用いた高解像度化処理によりできるだけ指定倍率に近い中間画像を生成する。

【0033】

Ｂ．第２実施形態：
第１実施形態においては、高解像度化の処理に用いる機械学習モデルの選択方法が一律であった。第２実施形態においては、ユーザーの所望する条件に合った機械学習モデルが用いられる。以下、第１実施形態と異なる構成を中心に説明する。第１実施形態にかかる構成と同様の構成については説明を省略する。

【0034】

図３は、本実施形態にかかる画像変換装置１００のメモリー１１０についてのブロック図である。本実施形態においては、画像変換装置１００は、第１学習モデル１１と、第２学習モデル１２と、第３学習モデル１３と、第４学習モデル１４と、のいずれかを用いて、処理の対象となる画像に高解像度化の処理を実行する。メモリー１１０には、あらかじめ機械学習により生成された第１学習モデル１１～第４学習モデル１４を表すデータが格納されている。第１学習モデル１１～第４学習モデル１４の設定倍率は、いずれも２の累乗（２の一乗以上の値）であるが、互いに異なる。第１学習モデル１１の設定倍率は２倍である。第２学習モデル１２の設定倍率は４倍である。第３学習モデル１３の設定倍率は８倍である。第４学習モデル１４の設定倍率は１６倍である。

【0035】

図４は、本実施形態における画像変換処理を表したフローチャートである。図４に示す処理は、受付部２１０、第１処理部２２０、および、第２処理部２３０として機能するプロセッサー１５０により実行される。図４の処理が実行される前に、メモリー１１０には第１学習モデル１１～第４学習モデル１４が格納されていることを前提とする。図４において、第１実施形態と同様の処理については同様の符号を付している。例えば、ユーザーが入力装置１３０を介して処理の開始を指示すると、プロセッサー１５０は図４に示す処理を開始する。

【0036】

ステップＳ１００の処理は、第１実施形態と同様である。本実施形態においては、技術の理解の容易のため、指定倍率は、第１学習モデル１１の設定倍率である２倍より大きく、第４学習モデル１４の設定倍率である１６倍より小さい値であることを前提とする。ステップＳ１０５の処理は第１実施形態と同様である。ステップＳ１１０の処理は第１実施形態と同様である。

【0037】

ステップＳ２００において、プロセッサー１５０は、例えば、入力画面を表示装置１４０に表示して、画質の向上と処理速度の向上とのうちのいずれか優先すべきものの指定を受け付ける。ユーザーは入力装置１３０を用いて優先すべきものの指定を入力する。

【0038】

ステップＳ２０５において、プロセッサー１５０は、画質の向上を優先すべきと指定されたか否かを判別する。画質の向上を優先することが指定された場合（ステップＳ２０５；ＹＥＳ）、プロセッサー１５０はステップＳ２１０の処理を実行する。一方、画質の向上を優先すべきと指定されていない、即ち、処理速度の向上を優先すべきと指定された場合、（ステップＳ２０５；ＮＯ）、プロセッサー１５０はステップＳ２２０の処理を実行する。

【0039】

ステップＳ２１０において、プロセッサー１５０は、メモリー１１０に格納されている複数の機械学習モデルのうち、あらかじめ決められた第１指定条件を満たす機械学習モデルを選択する。プロセッサー１５０は、選択した機械学習モデルを用いて処理の対象である入力画像に高解像度化の処理を実行する。あらかじめ決められ第１指定条件とは、指定倍率より大きな設定倍率を有することである。第１指定条件を満たす複数の機械学習モデルがある場合には、プロセッサー１５０は、それらのうちから指定倍率に最も近い設定倍率を有する機械学習モデルを選択する。

【0040】

ステップＳ２１５において、プロセッサー１５０は、処理の対象である画像に、解像度を低くするため画素の補間処理、即ち、ダウンサンプリング処理を実行する。ステップＳ２１０において、指定倍率より大きい設定倍率で高解像度化の処理が実行されるためである。

【0041】

ステップＳ２２０において、プロセッサー１５０は、メモリー１１０に格納されている複数の機械学習モデルのうち、あらかじめ決められた第２指定条件に該当する機械学習モデルを選択する。プロセッサー１５０は、選択した機械学習モデルを用いて処理の対象である入力画像に設定倍率で高解像度化の処理を実行する。あらかじめ決められた第２指定条件とは、指定倍率より小さい設定倍率を有することである。第２指定条件を満たす複数の機械学習モデルがある場合には、プロセッサー１５０は、それらのうちから指定倍率に最も近い設定倍率を有する機械学習モデルを選択する。

【0042】

指定倍率より小さい設定倍率を有する機械学習モデルが用いられる態様は、画質の向上を優先するため指定倍率より大きい設定倍率を有する機械学習モデルを用いられる態様に比べて、高解像度化の処理により補間の対象となる画素の数を少なくできる。これにより、Ｓ２２０，Ｓ２２５においては、画質の向上を優先するＳ２１０，Ｓ２１５の場合に比べて、処理速度を向上させることができる。

【0043】

例えば、指定倍率が２．５倍の場合、プロセッサー１５０は設定倍率が２倍である第１学習モデル１１を用いて入力画像ＩＭに高解像度化の処理を実行する。例えば、入力画像ＩＭの解像度が、３００（ｄｐｉ）×３００（ｄｐｉ）である場合、１インチ当たりの画素数を２倍とした６００（ｄｐｉ）×６００（ｄｐｉ）の解像度を有する中間画像が生成される。

【0044】

ステップＳ２２５において、プロセッサー１５０は、処理の対象である画像に、解像度を高くするための補間処理、即ち、アップサンプリング処理を実行する。ステップＳ２２０において、指定倍率より小さい設定倍率で高解像度化の処理が実行されるためである。例えば、入力画像ＩＭの解像度が、３００（ｄｐｉ）×３００（ｄｐｉ）であり、指定倍率が２．５倍であるとする。ステップＳ２２０で、入力画像の解像度が２倍に変換された場合、６００（ｄｐｉ）×６００（ｄｐｉ）の解像度を有する中間画像が生成される。最終的に出力されるべき出力画像の解像度は、７５０（ｄｐｉ）×７５０（ｄｐｉ）である。この場合、プロセッサー１５０は、解像度を高くするために１インチあたりの画素数を１．２５倍とする画素の補間処理を中間画像に実行する。補間処理により、６００（ｄｐｉ）×６００（ｄｐｉ）の解像度を有する中間画像から、７５０（ｄｐｉ）×７５０（ｄｐｉ）の解像度を有する画像が生成される。

【0045】

ステップＳ１２５において、プロセッサー１５０は変換後の画像を出力画像としてメモリー１１０に保存する。その後、図４に示す処理が終了される。

【0046】

以上説明したように、第１実施形態と同様に、画像変換装置１００は、機械学習モデルを用いた高解像度化の処理と機械学習モデルを用いない画像の画素の補間処理とを組み合わせることにより、所望される倍率で高解像度化された画像を生成できる。このようして高解像度化の倍率の指定について柔軟に対応することができる。また、本実施形態においては、画質の向上と処理速度の向上とのうちのユーザーが所望する方に応じた高解像度化処理を実行することができる。

【0047】

また、本実施形態においては、画質の向上を優先する場合であっても、処理速度の向上を優先する場合であっても、機械学習モデルを用いた高解像度化の処理を先に実行し、機械学習モデルを用いない補間処理を実行する。画像変換装置１００は、生成できる画質の向上の精度を高くできる傾向にある機械学習モデルを用いた高解像度化の処理を先に実行することで、入力画像の画質より画質の高い中間画像をまず生成する。その後、画像変換装置１００は、機械学習モデルを用いない補間処理を実行する。このようにして、機械学習モデルを用いない補間処理が実行された後に機械学習モデルを用いた高解像度化の処理が行われる態様に比べて、最終的に生成される画像の画質を向上できる。

【0048】

Ｃ．他の実施形態：
Ｃ１．他の実施形態１：
機械学習モデルを用いた高解像度化処理を２回以上実行した後に補間処理を実行してもよい。例えば、指定倍率が７．５倍であるとする。この場合、入力画像に設定倍率が２倍の機械学習モデルで高解像度化処理を実行することにより第１中間画像を生成する。その後、設定倍率が３倍の機械学習モデルで第１中間画像に高解像度化処理を実行することにより第２中間画像を生成する。さらに、１インチあたりの画素数を１．２５倍とする画素の補間処理を第２中間画像に実行することにより最終的な出力画像を生成する。このようにして、入力画像の解像度を指定倍率８倍とした高解像度画像を生成できる。

【0049】

Ｃ２．他の実施形態２：
第１実施形態および第２実施形態においては、機械学習モデルを用いた高解像度化処理の後に補間処理を実行する例を説明した。しかしながら、補間処理を先に実行し、補間処理がなされた画像に機械学習モデルを用いた高解像度化処理を少なくとも１回実行してもよい。

【0050】

Ｃ３．他の実施形態３：
第１実施形態および第２実施形態においては、２つ以上の機械学習モデルがあらかじめ用意されている例を説明した。しかしながら、１つの機械学習モデルだけがあらかじめ用意されてもよい。

【0051】

また、３つ以上の機械学習モデルがあらかじめ用意されていてもよい。設定倍率が異なる３つ以上の機械学習モデルのうちから、目標倍率に応じたいずれかを選択することができる。この場合、それぞれの設定倍率をすべて奇数（３以上の奇数）に設定することができる。あるいは、それぞれの設定倍率をすべて偶数に設定してもよい。あるいは、複数の機械学習モデルのうち少なくとも一部の機械学習モデルの設定倍率は、整数ではなく、小数であってもよい。

【0052】

また、画像変換装置１００の機能を実現する手段は、ソフトウェアに限られず、その一部または全部を、専用のハードウェアによって実現してもよい。例えば、専用のハードウェアとして、ＦＰＧＡ（Field Programmable Gate Array）またはＡＳＩＣ（Application Specific Integrated Circuit）に代表される回路を使用してもよい。

【0053】

Ｄ．他の形態：
本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替え、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

【0054】

（１）本開示の第１形態によれば、画像を高解像度化する画像変換装置が提供される。この画像変換装置は、学習データを用いた機械学習を行うことにより生成された少なくとも１つの機械学習モデルであって、画像をあらかじめ決められた設定倍率で高解像度化する機械学習モデルを記憶する記憶部と、前記高解像度化の処理についての目標倍率の指定を受け付ける受付部と、前記機械学習モデルを用いて、処理の対象となる画像に前記設定倍率で高解像度化の処理を実行する第１処理部と、前記機械学習モデルを用いずに、処理の対象となる画像に画素の補間処理を実行する第２処理部と、を備え、前記設定倍率と前記目標倍率とが異なる場合に、前記第１処理部が、処理の対象となる画像に前記設定倍率で前記高解像度化の処理を実行し、前記第２処理部が、前記第１処理部による前記高解像度化の処理の前または後に、処理の対象となる画像に前記目標倍率と前記設定倍率とに応じた前記補間処理を実行し、前記設定倍率と前記目標倍率とが同じ場合に、前記第１処理部が、処理の対象となる画像に前記設定倍率で前記高解像度化の処理を実行し、前記第２処理部は、前記補間処理を実行しない。
上記形態によれば、機械学習モデルを用いた高解像度化の処理と、機械学習モデルを用いない画像の画素の補間処理とを組み合わせるため、高解像度化の倍率の指定について柔軟に対応することができる。

【0055】

（２）上記形態において、前記設定倍率が前記目標倍率より大きい場合に、前記第２処理部は、前記第１処理部が処理の対象となる画像に前記高解像度化の処理を実行した後に、前記高解像度化の処理がなされた画像に、解像度を低くするための前記目標倍率と前記設定倍率とに応じた前記補間処理を実行してもよい。
画素の補間処理を先に実行し、その後に高解像度化の処理を実行する態様においては、低解像度の画像に画素の補間処理を実行することにより得られる画像の画質が低下する傾向にある。この場合、高解像度化の処理の対象となる画像の画質が、画素の補間処理が実行される前の画像の画質より低下することが想定される。上記形態によれば、このような問題の発生を回避できる。

【0056】

（３）上記形態において、前記設定倍率が前記目標倍率より小さい場合に、前記第２処理部は、前記第１処理部が処理の対象となる画像に前記高解像度化の処理を少なくとも１回実行した後に、前記高解像度化の処理がなされた画像に、解像度を高くするための前記補間処理を実行してもよい。
画素の補間処理を先に実行し、その後に高解像度化の処理を実行する態様においては、低解像度の画像に画素の補間処理を実行することにより得られる画像の画質が低下する傾向にある。この場合、高解像度化の処理の対象となる画像の画質が、画素の補間処理が実行される前の画像の画質より低下することが想定される。上記形態によれば、このような問題の発生を回避できる。

【0057】

（４）上記形態において、前記記憶部が記憶する前記機械学習モデルは、前記設定倍率が倍率Ｌ（Ｌは２以上の整数）である第１学習モデルと、前記設定倍率が倍率Ｍ（Ｍは２以上の整数であって、Ｌとは異なる値）である第２学習モデルと、を含んでもよい。
それぞれ異なる設定倍率を有する複数の機械学習モデルのうちから、目標倍率に応じた機械学習モデルを選択することができる。

【0058】

（５）上記形態において、前記受付部は、画質の向上と処理速度の向上とのうちのいずれか優先すべきものの指定を受け付けてもよい。
上記形態によれば、画質の向上と処理速度の向上とのうちの所望される方に応じた高解像度化処理を実行することができる。

【0059】

（６）上記形態において、前記倍率Ｌおよび前記倍率Ｍはいずれも２の累乗であってもよい。

【0060】

（７）前記倍率Ｌおよび前記倍率Ｍはいずれも奇数であってもよい。

【0061】

（８）本開示の第２形態によれば、画像を高解像度化する画像変換方法が提供される。この画像変換方法は、学習データを用いた機械学習を行うことにより生成された少なくとも１つの機械学習モデルであって、画像をあらかじめ決められた設定倍率で高解像度化する機械学習モデルを準備するステップと、高解像度化の処理についての目標倍率の指定を受け付けるステップと、処理の対象となる画像に、前記機械学習モデルを用いて前記設定倍率で前記高解像度化の処理を実行するステップと、前記設定倍率と前記目標倍率とが異なる場合に、前記高解像度化の処理の前または後に、前記機械学習モデルを用いずに、処理の対象となる画像に前記目標倍率と前記目標倍率とに応じた画素の補間処理を実行するステップと、を含み、前記設定倍率と前記目標倍率とが同じ場合に、前記高解像度化の処理の前または後に、処理の対象となる画像に前記補間処理を実行しない。
上記形態によれば、機械学習モデルを用いた高解像度化の処理と、機械学習モデルを用いない画像の画素の補間処理とを組み合わせるため、高解像度化の倍率の指定について柔軟に対応することができる。

【0062】

（９）本開示の第３形態によれば、画像を高解像度化する画像変換処理をコンピューターに実行させるためのプログラムが提供される。このプログラムは、前記コンピューターに、学習データを用いた機械学習を行うことにより生成された少なくとも１つの機械学習モデルであって、画像をあらかじめ決められた設定倍率で高解像度化する機械学習モデルを、前記機械学習モデルを記憶する記憶部から読み出す機能と、前記高解像度化の処理についての目標倍率の指定を受け付ける機能と、処理の対象となる画像に、前記機械学習モデルを用いて前記設定倍率で前記高解像度化の処理を実行する機能と、前記設定倍率と前記目標倍率とが異なる場合に、前記高解像度化の処理の前または後に、前記機械学習モデルを用いずに、処理の対象となる画像に前記目標倍率と前記設定倍率とに応じた画素の補間処理を実行する機能と、前記設定倍率と前記目標倍率とが同じ場合に、前記高解像度化の処理の前または後に、処理の対象となる画像に前記補間処理を実行しない機能と、を実現させる。
上記形態によれば、機械学習モデルを用いた高解像度化の処理と、機械学習モデルを用いない画像の画素の補間処理とを組み合わせるため、高解像度化の倍率の指定について柔軟に対応することができる。

【0063】

本開示は、上記以外の種々の形態で実現することも可能である。例えば、コンピュータープログラムを記録した一時的でない記録媒体（non-transitory storage medium）の形態で実現することができる。

【符号の説明】

【0064】

１１…第１学習モデル、１２…第２学習モデル、１００…画像変換装置、１１０…メモリー、１２０…インターフェイス部、１３０…入力装置、１４０…表示装置、１５０…プロセッサー、２１０…受付部、２２０…第１処理部、２３０…第２処理部、ＩＭ…入力画像

【図1】

【図2】

【図3】

【図4】