特開2024-162406画像処理装置、画像処理方法、ニューラルネットワークの学習方法、テクスチャマッピングシステム、テクスチャマッピング方法およびエッジデバイス
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024162406
(43)【公開日】2024-11-21
(54)【発明の名称】画像処理装置、画像処理方法、ニューラルネットワークの学習方法、テクスチャマッピングシステム、テクスチャマッピング方法およびエッジデバイス
(51)【国際特許分類】
G06T 3/4046 20240101AFI20241114BHJP
G06T 15/04 20110101ALI20241114BHJP
【ＦＩ】
G06T3/40 725
G06T15/04
【審査請求】未請求
【請求項の数】23
【出願形態】ＯＬ
(21)【出願番号】P 2023077885
(22)【出願日】2023-05-10
(71)【出願人】
【識別番号】504437801
【氏名又は名称】グリー株式会社
(74)【代理人】
【識別番号】230104019
【弁護士】
【氏名又は名称】大野 聖二
(74)【代理人】
【識別番号】230112025
【弁護士】
【氏名又は名称】小林 英了
(74)【代理人】
【識別番号】230117802
【弁護士】
【氏名又は名称】大野 浩之
(74)【代理人】
【識別番号】100167933
【弁理士】
【氏名又は名称】松野 知紘
(72)【発明者】
【氏名】佐藤 数史
(72)【発明者】
【氏名】辻 俊晶
【テーマコード（参考）】
5B057
5B080
【Ｆターム（参考）】
5B057CA12
5B057CA16
5B057CB12
5B057CB16
5B057CD05
5B057CE02
5B057CE05
5B057CE06
5B057DA20
5B057DB02
5B057DC40
5B080AA13
5B080GA22
(57)【要約】
【課題】（１）精細感をできるだけ損なうことなく、画像の画素数を増やすこと、および／または、（２）テクスチャマッピングにおいてできるだけ伝送量を減らすこと。
【解決手段】画像の精細感を向上させるニューラルネットワーク部に入力される画像を生成する画像処理装置であって、
処理対象である第１画像の画素数を増やして第２画像を生成する高画素数化処理部と、
前記第２画像の精細感を向上させて、前記ニューラルネットワーク部に入力される画像を生成する精細感向上部と、を備える画像処理装置が提供される。
【選択図】図１
【解決手段】画像の精細感を向上させるニューラルネットワーク部に入力される画像を生成する画像処理装置であって、
処理対象である第１画像の画素数を増やして第２画像を生成する高画素数化処理部と、
前記第２画像の精細感を向上させて、前記ニューラルネットワーク部に入力される画像を生成する精細感向上部と、を備える画像処理装置が提供される。
【選択図】図１
【特許請求の範囲】
【請求項1】
画像の精細感を向上させるニューラルネットワーク部に入力される画像を生成する画像処理装置であって、
処理対象である第１画像の画素数を増やして第２画像を生成する高画素数化処理部と、
前記第２画像の精細感を向上させて、前記ニューラルネットワーク部に入力される画像を生成する精細感向上部と、を備える画像処理装置。
処理対象である第１画像の画素数を増やして第２画像を生成する高画素数化処理部と、
前記第２画像の精細感を向上させて、前記ニューラルネットワーク部に入力される画像を生成する精細感向上部と、を備える画像処理装置。
【請求項2】
前記精細感向上部は、
前記第２画像に対してエッジを強調する処理を行って第３画像を生成し、
前記第３画像に対してエッジを保存しつつノイズを除去して前記ニューラルネットワーク部に入力される画像を生成する、請求項１に記載の画像処理装置。
前記第２画像に対してエッジを強調する処理を行って第３画像を生成し、
前記第３画像に対してエッジを保存しつつノイズを除去して前記ニューラルネットワーク部に入力される画像を生成する、請求項１に記載の画像処理装置。
【請求項3】
前記精細感向上部は、
前記第２画像に対してエッジ強調を行って第３画像を生成するエッジ強調フィルタと、
前記第３画像に対してエッジを保存しつつノイズを除去して、前記ニューラルネットワーク部に入力される画像を生成するエッジ保存ノイズ除去フィルタと、を有する、請求項１に記載の画像処理装置。
前記第２画像に対してエッジ強調を行って第３画像を生成するエッジ強調フィルタと、
前記第３画像に対してエッジを保存しつつノイズを除去して、前記ニューラルネットワーク部に入力される画像を生成するエッジ保存ノイズ除去フィルタと、を有する、請求項１に記載の画像処理装置。
【請求項4】
前記エッジ強調フィルタは、カーネルを用いたフィルタである、請求項３に記載の画像処理装置。
【請求項5】
前記エッジ保存ノイズ除去フィルタは、バイラテラルフィルタである、請求項３または４に記載の画像処理装置。
【請求項6】
請求項１乃至４のいずれかに記載の画像処理装置と、
前記画像処理装置によって生成された画像の精細感を向上させるニューラルネットワーク部と、を備える画像処理システム。
前記画像処理装置によって生成された画像の精細感を向上させるニューラルネットワーク部と、を備える画像処理システム。
【請求項7】
画像の精細感を向上させるニューラルネットワーク部に入力される画像を生成する画像処理方法であって、
処理対象である第１画像の画素数を増やして第２画像を生成するステップと、
前記第２画像の精細感を向上させて、前記ニューラルネットワーク部に入力される画像を生成するステップと、を含む画像処理方法。
処理対象である第１画像の画素数を増やして第２画像を生成するステップと、
前記第２画像の精細感を向上させて、前記ニューラルネットワーク部に入力される画像を生成するステップと、を含む画像処理方法。
【請求項8】
元画像の画素数を減らして第１画像を生成するステップと、
前記第１画像の画素数を増やして第２画像を生成するステップと、
前記第２画像の精細感を向上させて第３画像を生成するステップと、
前記元画像および前記第３画像を用いて、画像の精細感を向上させるニューラルネットワーク部の学習を行うステップと、を含むニューラルネットワークの学習方法。
前記第１画像の画素数を増やして第２画像を生成するステップと、
前記第２画像の精細感を向上させて第３画像を生成するステップと、
前記元画像および前記第３画像を用いて、画像の精細感を向上させるニューラルネットワーク部の学習を行うステップと、を含むニューラルネットワークの学習方法。
【請求項9】
処理対象である第１画像の画素数を増やして第２画像を生成するステップと、
前記第２画像の精細感を向上させて第３画像を生成するステップと、
画像の精細感を向上させる学習済ニューラルネットワーク部に前記第３画像を入力して、画像の精細感を向上させるステップと、を含む画像の画像処理方法。
前記第２画像の精細感を向上させて第３画像を生成するステップと、
画像の精細感を向上させる学習済ニューラルネットワーク部に前記第３画像を入力して、画像の精細感を向上させるステップと、を含む画像の画像処理方法。
【請求項10】
クラウドサーバおよびエッジデバイスを備え、
前記クラウドサーバは、最大画素数が第１画素数である１以上の第１テクスチャ画像を前記エッジデバイスに送信する送信部を有し、
前記エッジデバイスは、
前記クラウドサーバから送信される前記１以上の第１テクスチャ画像を受信する受信部と、
前記１以上の第１テクスチャ画像の少なくとも１つに基づき、前記第１画素数より画素数が多い第２画素数である第２テクスチャ画像を生成する高画素数化処理部と、
前記第２テクスチャ画像に基づいてテクスチャマッピングを行うテクスチャマッピング部と、を有するテクスチャマッピングシステム。
前記クラウドサーバは、最大画素数が第１画素数である１以上の第１テクスチャ画像を前記エッジデバイスに送信する送信部を有し、
前記エッジデバイスは、
前記クラウドサーバから送信される前記１以上の第１テクスチャ画像を受信する受信部と、
前記１以上の第１テクスチャ画像の少なくとも１つに基づき、前記第１画素数より画素数が多い第２画素数である第２テクスチャ画像を生成する高画素数化処理部と、
前記第２テクスチャ画像に基づいてテクスチャマッピングを行うテクスチャマッピング部と、を有するテクスチャマッピングシステム。
【請求項11】
前記高画素数化処理部は、ニューラルネットワークを用いて前記第２テクスチャ画像を生成し、
前記送信部は、前記ニューラルネットワークのネットワークパラメータを前記エッジデバイスに送信する、請求項１０に記載のテクスチャマッピングシステム。
前記送信部は、前記ニューラルネットワークのネットワークパラメータを前記エッジデバイスに送信する、請求項１０に記載のテクスチャマッピングシステム。
【請求項12】
前記高画素数化処理部は、
（１）前記１以上の第１テクスチャ画像の少なくとも１つに基づき、前記第２画素数より多い第３画素数である第３テクスチャ画像を生成する、または、
（２）前記１以上の第１テクスチャ画像の少なくとも１つに基づいて生成された前記第２テクスチャ画像に基づき、前記第３画素数である第３テクスチャ画像を生成する、
請求項１０または１１に記載のテクスチャマッピングシステム。
（１）前記１以上の第１テクスチャ画像の少なくとも１つに基づき、前記第２画素数より多い第３画素数である第３テクスチャ画像を生成する、または、
（２）前記１以上の第１テクスチャ画像の少なくとも１つに基づいて生成された前記第２テクスチャ画像に基づき、前記第３画素数である第３テクスチャ画像を生成する、
請求項１０または１１に記載のテクスチャマッピングシステム。
【請求項13】
前記高画素数化処理部は、
前記１以上の第１テクスチャ画像の少なくとも１つに基づいて生成された前記第２テクスチャ画像を、複数の第１分割画像に分割し、
前記複数の第１分割画像のそれぞれの画素数を増やして、複数の第２分割画像を生成し、
前記複数の第２分割画像を結合して第３テクスチャ画像を生成する、請求項１０または１１に記載のテクスチャマッピングシステム。
前記１以上の第１テクスチャ画像の少なくとも１つに基づいて生成された前記第２テクスチャ画像を、複数の第１分割画像に分割し、
前記複数の第１分割画像のそれぞれの画素数を増やして、複数の第２分割画像を生成し、
前記複数の第２分割画像を結合して第３テクスチャ画像を生成する、請求項１０または１１に記載のテクスチャマッピングシステム。
【請求項14】
前記１以上の第１テクスチャ画像の画素数は、前記第１画素数であり、
前記第２テクスチャ画像の画素数は、前記第２画素数であり、
前記第１分割画像のそれぞれの画素数は、前記第１画素数であり、
前記第２分割画像のそれぞれの画素数は、前記第２画素数であり、
前記高画素数化処理部は、画像の画素数を前記第１画素数から前記第２画素数に増加させるニューラルネットワーク部を有し、
前記ニューラルネットワーク部は、
前記１以上の第１テクスチャ画像の少なくとも１つに基づいて、前記第２テクスチャ画像を生成し、かつ、
前記複数の第１分割画像のそれぞれに基づいて、前記複数の第２分割画像のそれぞれを生成する、請求項１３に記載のテクスチャマッピングシステム。
前記第２テクスチャ画像の画素数は、前記第２画素数であり、
前記第１分割画像のそれぞれの画素数は、前記第１画素数であり、
前記第２分割画像のそれぞれの画素数は、前記第２画素数であり、
前記高画素数化処理部は、画像の画素数を前記第１画素数から前記第２画素数に増加させるニューラルネットワーク部を有し、
前記ニューラルネットワーク部は、
前記１以上の第１テクスチャ画像の少なくとも１つに基づいて、前記第２テクスチャ画像を生成し、かつ、
前記複数の第１分割画像のそれぞれに基づいて、前記複数の第２分割画像のそれぞれを生成する、請求項１３に記載のテクスチャマッピングシステム。
【請求項15】
前記高画素数化処理部は、前記複数の第２分割画像を結合する際、１つの前記第２分割画像と別の前記第２分割画像との境界に対して平滑化処理を行う、請求項１３に記載のテクスチャマッピングシステム。
【請求項16】
前記送信部は、前記第２テクスチャ画像の生成に用いられる補助情報を前記エッジデバイスに送信し、
前記高画素数化処理部は、前記１以上の第１テクスチャ画像の少なくとも１つと、前記補助情報と、に基づき、前記第２テクスチャ画像を生成する、請求項１０または１１に記載のテクスチャマッピングシステム。
前記高画素数化処理部は、前記１以上の第１テクスチャ画像の少なくとも１つと、前記補助情報と、に基づき、前記第２テクスチャ画像を生成する、請求項１０または１１に記載のテクスチャマッピングシステム。
【請求項17】
前記高画素数化処理部は、
前記１以上の第１テクスチャ画像の少なくとも１つに基づき、前記第２画素数の第１仮テクスチャ画像を生成する第１ニューラルネットワーク部と、
前記仮テクスチャ画像と、前記補助情報とに基づき、前記第２テクスチャ画像を生成するテクスチャ画像生成部と、を有する、請求項１６に記載のテクスチャマッピングシステム。
前記１以上の第１テクスチャ画像の少なくとも１つに基づき、前記第２画素数の第１仮テクスチャ画像を生成する第１ニューラルネットワーク部と、
前記仮テクスチャ画像と、前記補助情報とに基づき、前記第２テクスチャ画像を生成するテクスチャ画像生成部と、を有する、請求項１６に記載のテクスチャマッピングシステム。
【請求項18】
前記クラウドサーバは、
前記第２画素数である元画像を低画素数化して低画素数画像を生成する低画素数化処理部と
前記第１ニューラルネットワーク部と同じ処理により、前記低画素数画像に基づき、第２仮テクスチャ画像を生成する第２ニューラルネットワーク部と、
前記元画像と前記第２仮テクスチャ画像との差分に応じた前記補助情報を生成する補助情報生成部と、を有する、請求項１７に記載のテクスチャマッピングシステム。
前記第２画素数である元画像を低画素数化して低画素数画像を生成する低画素数化処理部と
前記第１ニューラルネットワーク部と同じ処理により、前記低画素数画像に基づき、第２仮テクスチャ画像を生成する第２ニューラルネットワーク部と、
前記元画像と前記第２仮テクスチャ画像との差分に応じた前記補助情報を生成する補助情報生成部と、を有する、請求項１７に記載のテクスチャマッピングシステム。
【請求項19】
前記補助情報生成部は、前記差分を圧縮して前記補助情報を生成する、請求項１８に記載のテクスチャマッピングシステム。
【請求項20】
前記補助情報を前記エッジデバイスに送信するのに必要なデータ量は、前記元画像を前記エッジデバイスに送信するのに必要なデータ量より少ない、請求項１８に記載のテクスチャマッピングシステム。
【請求項21】
クラウドサーバが、最大画素数が第１画素数である１以上の第１テクスチャ画像をエッジデバイスに送信するステップと、
エッジデバイスが、前記クラウドサーバから送信される前記１以上の第１テクスチャ画像を受信するステップと、
前記エッジデバイスが、前記１以上の第１テクスチャ画像の少なくとも１つに基づき、前記第１画素数より画素数が多い第２画素数である第２テクスチャ画像を生成するステップと、
前記エッジデバイスが、前記第２テクスチャ画像に基づいてテクスチャマッピングを行うステップと、を含むテクスチャマッピング方法。
エッジデバイスが、前記クラウドサーバから送信される前記１以上の第１テクスチャ画像を受信するステップと、
前記エッジデバイスが、前記１以上の第１テクスチャ画像の少なくとも１つに基づき、前記第１画素数より画素数が多い第２画素数である第２テクスチャ画像を生成するステップと、
前記エッジデバイスが、前記第２テクスチャ画像に基づいてテクスチャマッピングを行うステップと、を含むテクスチャマッピング方法。
【請求項22】
クラウドサーバから送信される、最大画素数が第１画素数である１以上の第１テクスチャ画像を受信する受信部と、
前記１以上の第１テクスチャ画像の少なくとも１つに基づき、前記第１画素数より画素数が多い第２画素数である第２テクスチャ画像を生成する高画素数化処理部と、
前記第２テクスチャ画像に基づいてテクスチャマッピングを行うテクスチャマッピング部と、を備えるエッジデバイス。
前記１以上の第１テクスチャ画像の少なくとも１つに基づき、前記第１画素数より画素数が多い第２画素数である第２テクスチャ画像を生成する高画素数化処理部と、
前記第２テクスチャ画像に基づいてテクスチャマッピングを行うテクスチャマッピング部と、を備えるエッジデバイス。
【請求項23】
エッジデバイスが、クラウドサーバから送信される、最大画素数が第１画素数である１以上の第１テクスチャ画像を受信するステップと、
前記エッジデバイスが、前記１以上の第１テクスチャ画像の少なくとも１つに基づき、前記第１画素数より画素数が多い第２画素数である第２テクスチャ画像を生成するステップと、
前記エッジデバイスが、前記第２テクスチャ画像に基づいてテクスチャマッピングを行うステップと、を含むテクスチャマッピング方法。
前記エッジデバイスが、前記１以上の第１テクスチャ画像の少なくとも１つに基づき、前記第１画素数より画素数が多い第２画素数である第２テクスチャ画像を生成するステップと、
前記エッジデバイスが、前記第２テクスチャ画像に基づいてテクスチャマッピングを行うステップと、を含むテクスチャマッピング方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置、画像処理方法、ニューラルネットワークの学習方法、テクスチャマッピングシステム、テクスチャマッピング方法およびエッジデバイスに関する。
【背景技術】
【0002】
（１）非特許文献１には、機械学習を用いた超解像技術が開示されている。詳細には、同文献には、バイキュービック補間によって低画素数画像の画素数を増加させた高画素数画像を生成し、その高画素数画像を畳み込みニューラルネットワークによって精細感を向上させることが開示されている。
【0003】
（２）テクスチャマッピングにおいて、ミップマップと呼ばれる技術が知られている。同技術は、同一コンテンツであるテクスチャに関して、画素数が互いに異なる複数のテクスチャ画像を用意しておき、適切なテクスチャ画像を用いてテクスチャマッピングを行うものである。一例として、複数のテクスチャ画像がクラウドサーバからエッジデバイスに送信され、エッジデバイスにおいてテクスチャマッピングが行われる。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】Chao Dong, Chen Change Loy, Kaiming He, Xiaoou Tang "Image Super-Resolution Using Deep Convolutional Networks" 6/2014, ECCV 2014, (1309)
【非特許文献2】https://imagingsolution.net/imaging/bilateralfilter/
【発明の概要】
【発明が解決しようとする課題】
【0005】
本開示の課題は、（１）精細感をできるだけ損なうことなく、画像の画素数を増やすこと、および／または、（２）テクスチャマッピングにおいてできるだけ伝送量を減らすこと、である。
【課題を解決するための手段】
【0006】
本開示の一態様によれば、
［１］
画像の精細感を向上させるニューラルネットワーク部に入力される画像を生成する画像処理装置であって、
処理対象である第１画像の画素数を増やして第２画像を生成する高画素数化処理部と、
前記第２画像の精細感を向上させて、前記ニューラルネットワーク部に入力される画像を生成する精細感向上部と、を備える画像処理装置が提供される。
［１］
画像の精細感を向上させるニューラルネットワーク部に入力される画像を生成する画像処理装置であって、
処理対象である第１画像の画素数を増やして第２画像を生成する高画素数化処理部と、
前記第２画像の精細感を向上させて、前記ニューラルネットワーク部に入力される画像を生成する精細感向上部と、を備える画像処理装置が提供される。
【0007】
［２］
［１］に記載の画像処理装置において、
前記精細感向上部は、
前記第２画像に対してエッジを強調する処理を行って第３画像を生成し、
前記第３画像に対してエッジを保存しつつノイズを除去して前記ニューラルネットワーク部に入力される画像を生成してもよい。
［１］に記載の画像処理装置において、
前記精細感向上部は、
前記第２画像に対してエッジを強調する処理を行って第３画像を生成し、
前記第３画像に対してエッジを保存しつつノイズを除去して前記ニューラルネットワーク部に入力される画像を生成してもよい。
【0008】
［３］
［１］に記載の画像処理装置において、
前記精細感向上部は、
前記第２画像に対してエッジ強調を行って第３画像を生成するエッジ強調フィルタと、
前記第３画像に対してエッジを保存しつつノイズを除去して、前記ニューラルネットワーク部に入力される画像を生成するエッジ保存ノイズ除去フィルタと、を有してもよい。
［１］に記載の画像処理装置において、
前記精細感向上部は、
前記第２画像に対してエッジ強調を行って第３画像を生成するエッジ強調フィルタと、
前記第３画像に対してエッジを保存しつつノイズを除去して、前記ニューラルネットワーク部に入力される画像を生成するエッジ保存ノイズ除去フィルタと、を有してもよい。
【0009】
［４］
［３］に記載の画像処理装置において、
前記エッジ強調フィルタは、カーネルを用いたフィルタであってもよい。
［３］に記載の画像処理装置において、
前記エッジ強調フィルタは、カーネルを用いたフィルタであってもよい。
【0010】
［５］
［３］または［４］に記載の画像処理装置において、
前記エッジ保存ノイズ除去フィルタは、バイラテラルフィルタであってもよい。
［３］または［４］に記載の画像処理装置において、
前記エッジ保存ノイズ除去フィルタは、バイラテラルフィルタであってもよい。
【0011】
本開示の一態様によれば、
［６］
［１］乃至［５］のいずれかに記載の画像処理装置と、
前記画像処理装置によって生成された画像の精細感を向上させるニューラルネットワーク部と、を備える画像処理システムが提供される。
［６］
［１］乃至［５］のいずれかに記載の画像処理装置と、
前記画像処理装置によって生成された画像の精細感を向上させるニューラルネットワーク部と、を備える画像処理システムが提供される。
【0012】
本開示の一態様によれば、
［７］
画像の精細感を向上させるニューラルネットワーク部に入力される画像を生成する画像処理方法であって、
処理対象である第１画像の画素数を増やして第２画像を生成するステップと、
前記第２画像の精細感を向上させて、前記ニューラルネットワーク部に入力される画像を生成するステップと、を含む画像処理方法が提供される。
［７］
画像の精細感を向上させるニューラルネットワーク部に入力される画像を生成する画像処理方法であって、
処理対象である第１画像の画素数を増やして第２画像を生成するステップと、
前記第２画像の精細感を向上させて、前記ニューラルネットワーク部に入力される画像を生成するステップと、を含む画像処理方法が提供される。
【0013】
本開示の一態様によれば、
［８］
元画像の画素数を減らして第１画像を生成するステップと、
前記第１画像の画素数を増やして第２画像を生成するステップと、
前記第２画像の精細感を向上させて第３画像を生成するステップと、
前記元画像および前記第３画像を用いて、画像の精細感を向上させるニューラルネットワーク部の学習を行うステップと、を含むニューラルネットワークの学習方法が提供される。
［８］
元画像の画素数を減らして第１画像を生成するステップと、
前記第１画像の画素数を増やして第２画像を生成するステップと、
前記第２画像の精細感を向上させて第３画像を生成するステップと、
前記元画像および前記第３画像を用いて、画像の精細感を向上させるニューラルネットワーク部の学習を行うステップと、を含むニューラルネットワークの学習方法が提供される。
【0014】
本開示の一態様によれば、
［９］
処理対象である第１画像の画素数を増やして第２画像を生成するステップと、
前記第２画像の精細感を向上させて第３画像を生成するステップと、
画像の精細感を向上させる学習済ニューラルネットワーク部に前記第３画像を入力して、画像の精細感を向上させるステップと、を含む画像の画像処理方法が提供される。
［９］
処理対象である第１画像の画素数を増やして第２画像を生成するステップと、
前記第２画像の精細感を向上させて第３画像を生成するステップと、
画像の精細感を向上させる学習済ニューラルネットワーク部に前記第３画像を入力して、画像の精細感を向上させるステップと、を含む画像の画像処理方法が提供される。
【0015】
本開示の一態様によれば、
［１０］
クラウドサーバおよびエッジデバイスを備え、
前記クラウドサーバは、最大画素数が第１画素数である１以上の第１テクスチャ画像を前記エッジデバイスに送信する送信部を有し、
前記エッジデバイスは、
前記クラウドサーバから送信される前記１以上の第１テクスチャ画像を受信する受信部と、
前記１以上の第１テクスチャ画像の少なくとも１つに基づき、前記第１画素数より画素数が多い第２画素数である第２テクスチャ画像を生成する高画素数化処理部と、
前記第２テクスチャ画像に基づいてテクスチャマッピングを行うテクスチャマッピング部と、を有するテクスチャマッピングシステムが提供される。
［１０］
クラウドサーバおよびエッジデバイスを備え、
前記クラウドサーバは、最大画素数が第１画素数である１以上の第１テクスチャ画像を前記エッジデバイスに送信する送信部を有し、
前記エッジデバイスは、
前記クラウドサーバから送信される前記１以上の第１テクスチャ画像を受信する受信部と、
前記１以上の第１テクスチャ画像の少なくとも１つに基づき、前記第１画素数より画素数が多い第２画素数である第２テクスチャ画像を生成する高画素数化処理部と、
前記第２テクスチャ画像に基づいてテクスチャマッピングを行うテクスチャマッピング部と、を有するテクスチャマッピングシステムが提供される。
【0016】
［１１］
［１０］に記載のテクスチャマッピングシステムにおいて、
前記高画素数化処理部は、ニューラルネットワークを用いて前記第２テクスチャ画像を生成し、
前記送信部は、前記ニューラルネットワークのネットワークパラメータを前記エッジデバイスに送信してもよい。
［１０］に記載のテクスチャマッピングシステムにおいて、
前記高画素数化処理部は、ニューラルネットワークを用いて前記第２テクスチャ画像を生成し、
前記送信部は、前記ニューラルネットワークのネットワークパラメータを前記エッジデバイスに送信してもよい。
【0017】
［１２］
［１０］または［１１］に記載のテクスチャマッピングシステムにおいて、
前記高画素数化処理部は、
（１）前記１以上の第１テクスチャ画像の少なくとも１つに基づき、前記第２画素数より多い第３画素数である第３テクスチャ画像を生成する、または、
（２）前記１以上の第１テクスチャ画像の少なくとも１つに基づいて生成された前記第２テクスチャ画像に基づき、前記第３画素数である第３テクスチャ画像を生成してもよい。
［１０］または［１１］に記載のテクスチャマッピングシステムにおいて、
前記高画素数化処理部は、
（１）前記１以上の第１テクスチャ画像の少なくとも１つに基づき、前記第２画素数より多い第３画素数である第３テクスチャ画像を生成する、または、
（２）前記１以上の第１テクスチャ画像の少なくとも１つに基づいて生成された前記第２テクスチャ画像に基づき、前記第３画素数である第３テクスチャ画像を生成してもよい。
【0018】
［１３］
［１０］または［１１］に記載のテクスチャマッピングシステムにおいて、
前記高画素数化処理部は、
前記１以上の第１テクスチャ画像の少なくとも１つに基づいて生成された前記第２テクスチャ画像を、複数の第１分割画像に分割し、
前記複数の第１分割画像のそれぞれの画素数を増やして、複数の第２分割画像を生成し、
前記複数の第２分割画像を結合して第３テクスチャ画像を生成してもよい。
［１０］または［１１］に記載のテクスチャマッピングシステムにおいて、
前記高画素数化処理部は、
前記１以上の第１テクスチャ画像の少なくとも１つに基づいて生成された前記第２テクスチャ画像を、複数の第１分割画像に分割し、
前記複数の第１分割画像のそれぞれの画素数を増やして、複数の第２分割画像を生成し、
前記複数の第２分割画像を結合して第３テクスチャ画像を生成してもよい。
【0019】
［１４］
［１３］に記載のテクスチャマッピングシステムにおいて、
前記１以上の第１テクスチャ画像の画素数は、前記第１画素数であり、
前記第２テクスチャ画像の画素数は、前記第２画素数であり、
前記第１分割画像のそれぞれの画素数は、前記第１画素数であり、
前記第２分割画像のそれぞれの画素数は、前記第２画素数であり、
前記高画素数化処理部は、画像の画素数を前記第１画素数から前記第２画素数に増加させるニューラルネットワーク部を有し、
前記ニューラルネットワーク部は、
前記１以上の第１テクスチャ画像の少なくとも１つに基づいて、前記第２テクスチャ画像を生成し、かつ、
前記複数の第１分割画像のそれぞれに基づいて、前記複数の第２分割画像のそれぞれを生成してもよい。
［１３］に記載のテクスチャマッピングシステムにおいて、
前記１以上の第１テクスチャ画像の画素数は、前記第１画素数であり、
前記第２テクスチャ画像の画素数は、前記第２画素数であり、
前記第１分割画像のそれぞれの画素数は、前記第１画素数であり、
前記第２分割画像のそれぞれの画素数は、前記第２画素数であり、
前記高画素数化処理部は、画像の画素数を前記第１画素数から前記第２画素数に増加させるニューラルネットワーク部を有し、
前記ニューラルネットワーク部は、
前記１以上の第１テクスチャ画像の少なくとも１つに基づいて、前記第２テクスチャ画像を生成し、かつ、
前記複数の第１分割画像のそれぞれに基づいて、前記複数の第２分割画像のそれぞれを生成してもよい。
【0020】
［１５］
［１３または１４］に記載のテクスチャマッピングシステムにおいて、
前記高画素数化処理部は、前記複数の第２分割画像を結合する際、１つの前記第２分割画像と別の前記第２分割画像との境界に対して平滑化処理を行ってもよい。
［１３または１４］に記載のテクスチャマッピングシステムにおいて、
前記高画素数化処理部は、前記複数の第２分割画像を結合する際、１つの前記第２分割画像と別の前記第２分割画像との境界に対して平滑化処理を行ってもよい。
【0021】
［１６］
［１０］乃至［１５］のいずれかに記載のテクスチャマッピングシステムにおいて、
前記送信部は、前記第２テクスチャ画像の生成に用いられる補助情報を前記エッジデバイスに送信し、
前記高画素数化処理部は、前記１以上の第１テクスチャ画像の少なくとも１つと、前記補助情報と、に基づき、前記第２テクスチャ画像を生成してもよい。
［１０］乃至［１５］のいずれかに記載のテクスチャマッピングシステムにおいて、
前記送信部は、前記第２テクスチャ画像の生成に用いられる補助情報を前記エッジデバイスに送信し、
前記高画素数化処理部は、前記１以上の第１テクスチャ画像の少なくとも１つと、前記補助情報と、に基づき、前記第２テクスチャ画像を生成してもよい。
【0022】
［１７］
［１６］に記載のテクスチャマッピングシステムにおいて、
前記高画素数化処理部は、
前記１以上の第１テクスチャ画像の少なくとも１つに基づき、前記第２画素数の第１仮テクスチャ画像を生成する第１ニューラルネットワーク部と、
前記仮テクスチャ画像と、前記補助情報とに基づき、前記第２テクスチャ画像を生成するテクスチャ画像生成部と、を有してもよい。
［１６］に記載のテクスチャマッピングシステムにおいて、
前記高画素数化処理部は、
前記１以上の第１テクスチャ画像の少なくとも１つに基づき、前記第２画素数の第１仮テクスチャ画像を生成する第１ニューラルネットワーク部と、
前記仮テクスチャ画像と、前記補助情報とに基づき、前記第２テクスチャ画像を生成するテクスチャ画像生成部と、を有してもよい。
【0023】
［１８］
［１７］に記載のテクスチャマッピングシステムにおいて、
前記クラウドサーバは、
前記第２画素数である元画像を低画素数化して低画素数画像を生成する低画素数化処理部と
前記第１ニューラルネットワーク部と同じ処理により、前記低画素数画像に基づき、第２仮テクスチャ画像を生成する第２ニューラルネットワーク部と、
前記元画像と前記第２仮テクスチャ画像との差分に応じた前記補助情報を生成する補助情報生成部と、を有してもよい。
［１７］に記載のテクスチャマッピングシステムにおいて、
前記クラウドサーバは、
前記第２画素数である元画像を低画素数化して低画素数画像を生成する低画素数化処理部と
前記第１ニューラルネットワーク部と同じ処理により、前記低画素数画像に基づき、第２仮テクスチャ画像を生成する第２ニューラルネットワーク部と、
前記元画像と前記第２仮テクスチャ画像との差分に応じた前記補助情報を生成する補助情報生成部と、を有してもよい。
【0024】
［１９］
［１８］に記載のテクスチャマッピングシステムにおいて、
前記補助情報生成部は、前記差分を圧縮して前記補助情報を生成してもよい。
［１８］に記載のテクスチャマッピングシステムにおいて、
前記補助情報生成部は、前記差分を圧縮して前記補助情報を生成してもよい。
【0025】
［２０］
［１８］または［１９］に記載のテクスチャマッピングシステムにおいて、
前記補助情報を前記エッジデバイスに送信するのに必要なデータ量は、前記元画像を前記エッジデバイスに送信するのに必要なデータ量より少なくてよい。
［１８］または［１９］に記載のテクスチャマッピングシステムにおいて、
前記補助情報を前記エッジデバイスに送信するのに必要なデータ量は、前記元画像を前記エッジデバイスに送信するのに必要なデータ量より少なくてよい。
【0026】
本開示の一態様によれば、
［２１］
クラウドサーバが、最大画素数が第１画素数である１以上の第１テクスチャ画像をエッジデバイスに送信するステップと、
エッジデバイスが、前記クラウドサーバから送信される前記１以上の第１テクスチャ画像を受信するステップと、
前記エッジデバイスが、前記１以上の第１テクスチャ画像の少なくとも１つに基づき、前記第１画素数より画素数が多い第２画素数である第２テクスチャ画像を生成するステップと、
前記エッジデバイスが、前記第２テクスチャ画像に基づいてテクスチャマッピングを行うステップと、を含むテクスチャマッピング方法が提供される。
［２１］
クラウドサーバが、最大画素数が第１画素数である１以上の第１テクスチャ画像をエッジデバイスに送信するステップと、
エッジデバイスが、前記クラウドサーバから送信される前記１以上の第１テクスチャ画像を受信するステップと、
前記エッジデバイスが、前記１以上の第１テクスチャ画像の少なくとも１つに基づき、前記第１画素数より画素数が多い第２画素数である第２テクスチャ画像を生成するステップと、
前記エッジデバイスが、前記第２テクスチャ画像に基づいてテクスチャマッピングを行うステップと、を含むテクスチャマッピング方法が提供される。
【0027】
本開示の一態様によれば、
［２２］
クラウドサーバから送信される、最大画素数が第１画素数である１以上の第１テクスチャ画像を受信する受信部と、
前記１以上の第１テクスチャ画像の少なくとも１つに基づき、前記第１画素数より画素数が多い第２画素数である第２テクスチャ画像を生成する高画素数化処理部と、
前記第２テクスチャ画像に基づいてテクスチャマッピングを行うテクスチャマッピング部と、を備えるエッジデバイスが提供される。
［２２］
クラウドサーバから送信される、最大画素数が第１画素数である１以上の第１テクスチャ画像を受信する受信部と、
前記１以上の第１テクスチャ画像の少なくとも１つに基づき、前記第１画素数より画素数が多い第２画素数である第２テクスチャ画像を生成する高画素数化処理部と、
前記第２テクスチャ画像に基づいてテクスチャマッピングを行うテクスチャマッピング部と、を備えるエッジデバイスが提供される。
【0028】
本開示の一態様によれば、
［２３］
エッジデバイスが、クラウドサーバから送信される、最大画素数が第１画素数である１以上の第１テクスチャ画像を受信するステップと、
前記エッジデバイスが、前記１以上の第１テクスチャ画像の少なくとも１つに基づき、前記第１画素数より画素数が多い第２画素数である第２テクスチャ画像を生成するステップと、
前記エッジデバイスが、前記第２テクスチャ画像に基づいてテクスチャマッピングを行うステップと、を含むテクスチャマッピング方法が提供される。
［２３］
エッジデバイスが、クラウドサーバから送信される、最大画素数が第１画素数である１以上の第１テクスチャ画像を受信するステップと、
前記エッジデバイスが、前記１以上の第１テクスチャ画像の少なくとも１つに基づき、前記第１画素数より画素数が多い第２画素数である第２テクスチャ画像を生成するステップと、
前記エッジデバイスが、前記第２テクスチャ画像に基づいてテクスチャマッピングを行うステップと、を含むテクスチャマッピング方法が提供される。
【図面の簡単な説明】
【0029】
【図1】第１実施形態に係る画像処理システム１００の概略構成を示すブロック図。
【図2】エッジ強調フィルタ１２１の一例を説明する図。
【図3】ニューラルネットワーク部２の学習を行う手順を示すフローチャート。
【図4】ニューラルネットワーク部２による推論を行う手順を示すフローチャート。
【図5】第２実施形態に係るテクスチャマッピングシステム２００の概略構成を示すブロック図。
【図6】テクスチャマッピングシステム２００の処理動作を説明する図。
【図7A】高画素数化処理部４２の処理の一例を説明する図。
【図8A】高画素数化処理部４２の処理の別の例を説明する図。
【図9A】ニューラルネットワーク部４２３の学習手法を説明する図。
【図9B】ニューラルネットワーク部４２３の学習を行う手順を示すフローチャート。
【図10A】ニューラルネットワーク部４２４の学習手法を説明する図。
【図10B】ニューラルネットワーク部４２４の学習を行う手順を示すフローチャート。
【図11A】高画素数化処理部４２の処理のまた別の例を説明する図。
【図12A】第３実施形態に係るテクスチャマッピングシステム２０１の概略構成を示すブロック図。
【図12B】第３実施形態においてクラウドサーバ３によって行われる補助情報の生成を説明する図。
【図12C】第３実施形態においてエッジデバイス４によって行われる補助情報を利用したテクスチャ画像の生成を説明する図。
【発明を実施するための形態】
【0030】
以下、本発明に係る実施形態について、図面を参照しながら具体的に説明する。
【0031】
（第１実施形態）
第１実施形態は、精細感をできるだけ損なうことなく、画像の画素数を増やすものである。なお、処理対象の画像は、動画でもよいし、静止画（動画を構成する静止画を含む）でもよい。
第１実施形態は、精細感をできるだけ損なうことなく、画像の画素数を増やすものである。なお、処理対象の画像は、動画でもよいし、静止画（動画を構成する静止画を含む）でもよい。
【0032】
図１は、第１実施形態に係る画像処理システム１００の概略構成を示すブロック図である。この画像処理システム１００は、前処理部１（画像処理装置）と、ニューラルネットワーク部２とを備えている。
【0033】
前処理部１は、ニューラルネットワーク部２に入力される画像を生成するものであり、高画素数化処理部１１と、精細感向上部１２とを有する。
【0034】
高画素数化処理部１１は、例えばバイキュービック補間により、処理対象である低画素数画像（第１画像）の画素数を増やして、精細感向上部１２に入力される画像（第２画像）を生成する。低画素数画像の画素数は、例えば２０４８画素×１０２４画素である。高画素数化処理部１１によって生成される画像の画素数は、例えば４０９６画素×２０４８画素である。ただし、これらの画素数は例示にすぎない。
【0035】
精細感向上部１２は、高画素数化処理部１１によって生成された画像の精細感を向上させ、ニューラルネットワーク部２に入力される画像を生成する。なお、精細感向上部１２に入力される画像の画素数と、精細感向上部１２から出力される画像の画素数は、異なっていてもよいし、同じでもよい。以下、精細感向上部１２の構成例を具体的に説明する。
【0036】
高画素数化処理部１１がバイキュービック補間によって画素数を増やす場合、斜め方向のエッジにジャギーが現れることがある。また、バイキュービック補間では、ぼけた（高周波帯域が失われた）画像が生成されることもある。そのため、そのような斜め方向のジャギーを含む画像やぼけた画像をニューラルネットワーク部２に入力しても、十分に精細感がある高画素数画像を生成できるとは限らない。
【0037】
そこで、本実施形態では、高画素数化処理部１１によって生成された画像に対して、精細感向上部１２はエッジを強調する処理を行う。さらに、当該処理によって生成された画像（第３画像）に対して、精細感向上部１２はエッジを保存しつつノイズを除去し、ニューラルネットワーク部２に入力される画像を生成する。そのための構成例として、精細感向上部１２は、エッジ強調フィルタ１２１と、エッジ保存ノイズ除去フィルタ１２２とを有する。
【0038】
エッジ強調フィルタ１２１は、高画素数化処理部１１によって生成された画像に対して、エッジ強調を行う。
【0039】
図２は、エッジ強調フィルタ１２１の一例を説明する図である。図示のように、エッジ強調フィルタ１２１はカーネルを用いたフィルタであってよい。同フィルタでは、処理対象画素に対して、横方向（２Ｗ＋１）画素、縦方向（２Ｗ＋１）画素のウィンドウが設定される（図２の例では、Ｗ＝１）。そして、エッジ強調フィルタ１２１はウィンドウ内の各画素に重み係数を適用した値を合算して得られる値をフィルタ処理後の処理対象画素の値とする。
【0040】
具体的には、図２に示すｋは正の数であり、処理対象画素に適用される重み係数は１より大きい。また、処理対象画素の周囲の画素に適用される重み係数は負である。図２に示す例では、処理対象画素に適用される重み係数は１より８＊ｋ／９だけ大きく、周囲の画素に適用される重み係数はいずれも－ｋ／８である。そして、重み係数の合計値は１である。
【0041】
ｋの値が大きい程エッジが強調される一方で、ノイズも強調されてしまう。そのため、ｋの値は、どのような画像を処理するのか、エッジ保存およびノイズ除去のいずれを重視するか等を考慮して、適宜設定すればよい。
【0042】
図２に戻り、エッジ保存ノイズ除去フィルタ１２２は、エッジ強調フィルタ１２１によって生成された画像に対して、エッジを保存しつつノイズを除去して、ニューラルネットワーク部２に入力される画像を生成する。エッジ保存ノイズ除去フィルタ１２２は、例えばバイラテラルフィルタであってよい。
【0043】
バイラテラルフィルタも、処理対象画素に対して、横方向（２Ｗ＋１）画素、縦方向（２Ｗ＋１）画素のウィンドウが設定される点、および、ウィンドウ内の各画素に重み係数を適用した値を合算して得られる値をフィルタ処理後の処理対象画素の値とする点はカーネルを用いたフィルタと同様である。ただし、処理対象画素の周囲の画素に適用される重み係数が一定ではない。
【0044】
具体的には、処理対象画素の周囲の画素に対して、処理対象画素から遠い画素ほど、小さな値の重み係数が適用される。この点は一般的なガウシアンフィルタと同様である。さらに、処理対象画素の周囲の画素に対して、処理対象画素と値が近い画素ほど、大きい値の重み係数が適用される。
【0045】
より具体的には、画像における左からｉ番目、上からｊ番目の画素（ｉ，ｊ）について、フィルタ処理前の処理対象画素の値をｆ（ｉ，ｊ）、フィルタ処理後の処理対象画素の値をｇ（ｉ，ｊ）とすると、フィルタ処理後の画素値をｇ（ｉ，ｊ）は下記（１）式で表される。
【数1】
【0046】
（１）式における下記（２）式がガウシアンフィルタに追加される項である。
【数2】
【0047】
ここで、σ1はガウシアンフィルタのかかり具合を制御するパラメータである。また、σ2はバイテラルフィルタのかかり具合を制御するパラメータである。σ1およびσ2の値は適宜設定すればよい。
【0048】
なお、以上説明した精細感向上部１２の構成は例示にすぎない。精細感向上部１２は高画素数化処理部１１によって生成された画像の精細感を向上させる任意の処理を行うものであればよい。言い換えると、高画素数化処理部１１によって生成される画像と、この画像に対して適宜の処理を行って生成される画像と、を比較して、後者の方が精細感が向上しているのであれば、当該適宜の処理を行う処理部は精細感向上部１２に該当すると言える。
【0049】
以上説明した前処理部１から出力される画像がニューラルネットワーク部２に入力され、その精細感をニューラルネットワーク部２がさらに向上させる。より具体的には、ニューラルネットワーク部２は、前処理部１に入力される低画素数画像よりも画素数が多い高画素数画像を処理し、精細感が向上した画像を生成して出力する。ニューラルネットワーク部２に入力される画像の画素数と、ニューラルネットワーク部２から出力される画像の画素数は、同じでもよいし、異なっていてもよい。
【0050】
ニューラルネットワーク部２の学習および推論の両方に同図の画像処理システム１００を適用できる。
【0051】
図３は、ニューラルネットワーク部２の学習を行う手順を示すフローチャートである。ここでは、効果的な学習結果を得るために十分に多数の元画像（Ｇｒｏｕｎｄ Ｔｒｕｔｈ：ＧＴ）が存在することを前提とする。
【0052】
まず、適宜の手法（例えばダウンサンプリング）によって元画像の画素数を減らし、低画素数画像を生成する（ステップＳ１）。次いで、図１の高画素数化処理部１１が低画素数画像の画素数を増やして高画素数画像を生成する（ステップＳ２）。そして、精細感向上部１２は高画素数画像の精細感を向上させる（ステップＳ３）。
【0053】
このようにして生成される高画素数画像と、元画像の組を多数用意する。そして、高画素数画像を入力とし、元画像を正解データとして、ニューラルネットワーク部２の学習を行う（ステップＳ４）。具体例として、高画素数画像に対してニューラルネットワーク部２が処理して得られた画像と、元画像との差（例えば、平均二乗誤差）を損失関数とし、この損失関数ができるだけ小さくなるよう（すなわち、できるだけ精細感が失われないよう）、ニューラルネットワーク部２のネットワークパラメータ（重み）が学習により算出される。
【0054】
このようにしてニューラルネットワーク部２の学習が行われ、ニューラルネットワーク部２は高画素数画像の精細感を向上させることができるようになる。
【0055】
図４は、ニューラルネットワーク部２による推論を行う手順を示すフローチャートである。ここでは、ニューラルネットワーク部２が学習済であることを想定している。
【0056】
まず、図１の高画素数化処理部１１が処理対象である低画素数画像の画素数を増やして高画素数画像を生成する（ステップＳ１１）。そして、精細感向上部１２は高画素数画像の精細感を向上させる（ステップＳ１２）。次いで、精細感が向上した画像が学習済のニューラルネットワーク部２に入力され、ニューラルネットワーク部２によって精細感がより向上した画像が生成される（ステップＳ１３）。
【0057】
このように、第１実施形態では、精細感向上部１２が精細感を向上させる処理を行って得られた画像をニューラルネットワーク部２に画像を入力する。そのため、精細感をできるだけ損なうことなく画像の画素数を増やすことができる。
【0058】
（第２実施形態）
第２実施形態は、テクスチャマッピングにおいて、できるだけ伝送量を減らすものである。
第２実施形態は、テクスチャマッピングにおいて、できるだけ伝送量を減らすものである。
【0059】
テクスチャマッピングとは、コンピュータグラフィックスにおいて、ポリゴンデータから構成されるオブジェクトにテクスチャ画像を貼り付ける（マッピングする）ものである。テクスチャマッピングで用いられるミップマップ技術では、特定のテクスチャに対して画素数が互いに異なる複数のテクスチャ画像を用意しておく。そして、貼り付け対象となるオブジェクトとの距離に応じて適切な画素数のテクスチャ画像を選択的に貼り付ける。これにより、描画速度を高速化するとともにエリアシングを回避できる。
【0060】
画素数が互いに異なる複数のテクスチャ画像をクラウドサーバに保持しておき、エッジデバイス（例えばスマートフォン、タブレット端末）に送信してエッジデバイスにおいて適切な画素数のテクスチャ画像を用いてテクスチャマッピングを行う構成が考えられる。しかしながら、そのような構成では、クラウドサーバからエッジデバイスへ多数のテクスチャ画像を送信することとなり、データ伝送量が多く、ネットワークの負荷が大きいという問題がある。また、クラウドサーバに多くのテクスチャ画像を保持しておかなければならず、クラウドサーバに容量の大きな記憶媒体が必要になるという問題もある。
【0061】
そこで、本実施形態では、クラウドサーバからエッジデバイスへ画素数が少ないテクスチャ画像のみを送信し、エッジデバイスで画素数が多いテクスチャ画像を生成することとする。以下、詳細に説明する。
【0062】
図５は、第２実施形態に係るテクスチャマッピングシステム２００の概略構成を示すブロック図である。このテクスチャマッピングシステム２００はクラウドサーバ３およびエッジデバイス４を備えている。
【0063】
クラウドサーバ３は記憶手段３１および送信部３２を有する。記憶手段３１には、互いに画素数が異なる複数（以下、（ｍ－２）個とする。）のテクスチャ画像（第１～第（ｍ－２）テクスチャ画像）が保持されている。送信部３２はこれらテクスチャ画像をエッジデバイス４に送信する。
【0064】
図６は、テクスチャマッピングシステム２００の処理動作を説明する図である。図示の例では、クラウドサーバ３の記憶手段３１に記憶される第１テクスチャ画像の画素数は１画素×１画素、第２テクスチャ画像の画素数は２×２画素、第（ｍ－２）テクスチャ画像の画素数はｎ／４画素×ｎ／４画素であり、これらがエッジデバイス４に送信される。言い換えると、送信部３２によってエッジデバイス４に送信されるテクスチャ画像の最大画素数はｎ／４×ｎ／４画素である。ただし、画素数に特段の制限はなく、例えば水平方向の画素数と垂直方向の画素数が異なっていてもよい。
【0065】
図５に戻り、エッジデバイス４は、受信部４１と、高画素数化処理部４２と、テクスチャマッピング部４３と、記憶手段４４とを有する。
【0066】
受信部４１はクラウドサーバ３から送信されるテクスチャを受信し、記憶手段４４に記憶させる。上記の例では、受信部４１によって第１～第（ｍ－２）テクスチャ画像が受信され、記憶手段４４に記憶される。
【0067】
高画素数化処理部４２は、受信したテクスチャ画像に基づき、クラウドサーバ３から送信されない画素数のテクスチャ画像を生成し、記憶手段４４に記憶させる。上記の例では、高画素数化処理部４２によって、画素数がｎ／２画素×ｎ／２画素である第（ｍ－１）テクスチャ画像と、画素数がｎ×ｎ画素である第ｍテクスチャ画像が生成され、記憶手段４４に記憶される（図６参照）。
【0068】
高画素数化処理部４２はニューラルネットワークを含んで構成されてよい。高画素数化処理部４２は、少なくとも画素数を増やす処理を行い、合わせて精細感を向上させる処理を行うのが望ましい。高画素数処理部４２は、例えば第１実施形態で述べた画像処理システム１００を含んでいてもよいし、非特許文献１に記載されるものでもよい。高画素数化処理部４２による処理の具体例は後述する。
【0069】
テクスチャマッピング部４３は、記憶手段４４に記憶されているテクスチャ画像に基づいて、テクスチャマッピングを行う。具体例として、テクスチャマッピング部４３は、記憶手段４４に記憶されている複数のテクスチャ画像のうち、貼り付け対象となるオブジェクトとの距離に応じて適切な画素数のテクスチャ画像を選択して、貼り付けを行う。選択されるテクスチャ画像は、クラウドサーバ３から受信されたものである場合もあり得るし、高画素数化処理部４２が生成したものである場合もあり得る。
【0070】
なお、クラウドサーバ３からエッジデバイス４に送信されるテクスチャ画像の数に制限はなく、少なくとも１つのテクスチャ画像が送信されればよい。また、エッジデバイス４が生成するテクスチャ画像の数にも制限はなく、受信されるテクスチャ画像の最大画素数より画素数が多い少なくとも１つのテクスチャ画像を生成すればよい。
【0071】
以下、高画素数化処理部４２が第（ｍ－２）テクスチャ画像から第（ｍ－１）テクスチャ画像および第ｍテクスチャ画像を生成する処理の具体例を示す。
【0072】
【0073】
本例では、図７Ａに示すように、画素数がｎ／４×ｎ／４である第（ｍ－２）テクスチャ画像に対してあるニューラルネットワークを適用して画素数がｎ／２×ｎ／２である第（ｍ－１）テクスチャ画像を生成するとともに、第（ｍ－２）テクスチャ画像に対して別のニューラルネットワークを適用して画素数がｎ×ｎである第ｍテクスチャ画像を生成する。
【0074】
そのための構成例として、図７Ｂに示すように、高画素数化処理部４２はニューラルネットワーク部４２１，４２２を有する。図示しないが、ニューラルネットワーク部４２１，４２２は、バイキュービック補間等によって入力される画像の画素数を増加させる処理部と、ニューラルネットワークとから構成されてもよい。後述するニューラルネットワーク部も同様である。
【0075】
ニューラルネットワーク部４２１には、画素数がｎ／４×ｎ／４である第（ｍ－２）テクスチャ画像が入力される。そして、ニューラルネットワーク部４２１は、第（ｍ－２）テクスチャ画像の画素数を水平方向および垂直方向にそれぞれ２倍にして、画素数がｎ／２×ｎ／２である第（ｍ－１）テクスチャ画像を生成する。
【0076】
ニューラルネットワーク部４２２には、画素数がｎ／４×ｎ／４である第（ｍ－２）テクスチャ画像が入力される。そして、ニューラルネットワーク部４２２は、第（ｍ－２）テクスチャ画像の画素数を水平方向および垂直方向にそれぞれ４倍にして、画素数がｎ×ｎである第ｍテクスチャ画像を生成する。
【0077】
この場合、ニューラルネットワーク部４２１，４２２のネットワーク構造およびネットワークパラメータ数は同じでもよいし、異なっていてもよい。ただし、ニューラルネットワーク部４２１は画素数を２倍にするものであり、ニューラルネットワーク部４２２は画素数を４倍にするものであるから、学習は別個に行われる。よって、ネットワークパラメータの値は互いに異なったものとなる。
【0078】
なお、ネットワークパラメータは、エッジデバイス４の記憶手段４４に予め記憶されていてもよいし、クラウドサーバ３の送信部３２から送信されてもよい。ニューラルネットワーク部４２１，４２２の学習には、例えば図３で説明した手法を適用してよい。この点は後述する各ニューラルネットワーク部についても同様である。
【0079】
【0080】
本例では、図８Ａに示すように、画素数がｎ／４×ｎ／４である第（ｍ－２）テクスチャ画像に対してあるニューラルネットワークを適用して画素数がｎ／２×ｎ／２である第（ｍ－１）テクスチャ画像を生成し、さらに、生成された第（ｍ－１）テクスチャ画像に対して別のニューラルネットワークを適用して画素数がｎ×ｎである第ｍテクスチャ画像を生成する。
【0081】
そのための構成例として、図８Ｂに示すように、高画素数化処理部４２はニューラルネットワーク部４２３，４２４を有する。
【0082】
ニューラルネットワーク部４２３には、画素数がｎ／４×ｎ／４である第（ｍ－２）テクスチャ画像が入力される。そして、ニューラルネットワーク部４２１は、第（ｍ－２）テクスチャ画像の画素数を水平方向および垂直方向にそれぞれ２倍にして、画素数がｎ／２×ｎ／２である第（ｍ－１）テクスチャ画像を生成する。
【0083】
ニューラルネットワーク部４２４には、ニューラルネットワーク部４２３によって生成された画素数がｎ／２×ｎ／２である第（ｍ－１）テクスチャ画像が入力される。そして、ニューラルネットワーク部４２４は、第（ｍ－１）テクスチャ画像の画素数を水平方向および垂直方向にそれぞれ２倍にして、画素数がｎ×ｎである第ｍテクスチャ画像を生成する。
【0084】
以下、ニューラルネットワーク部４２３，４２４の好適な学習の手法について説明する。
図９Ａは、ニューラルネットワーク部４２３の学習手法を説明する図である。また、図９Ｂは、ニューラルネットワーク部４２３の学習を行う手順を示すフローチャートである。
図９Ａは、ニューラルネットワーク部４２３の学習手法を説明する図である。また、図９Ｂは、ニューラルネットワーク部４２３の学習を行う手順を示すフローチャートである。
【0085】
まず、適宜の手法（例えばダウンサンプリング）によって、画素数がｎ×ｎである元画像（ＧＴ）Ｉ１の画素数を減らし、画素数がｎ／２×ｎ／２である画像Ｉ２を生成する（ステップＳ２１）。さらに、適宜の手法（例えばダウンサンプリング）によって、画像Ｉ２の画素数を減らし、画素数がｎ／４×ｎ／４である画像Ｉ３を生成する（ステップＳ２２）。
【0086】
このようにして生成される画素数がｎ／２×ｎ／２である画像Ｉ２と、ｎ／４×ｎ／４である画像Ｉ３の組を多数用意する。そして、後者を入力とし、前者を正解データとして、ニューラルネットワーク部４２３の学習を行う（ステップＳ２３）。具体例として、画像Ｉ３に対してニューラルネットワーク部４２３が処理して得られた画素数がｎ／２×ｎ／２である画像Ｉ４と、画像Ｉ２との差（例えば、平均二乗誤差）を損失関数とし、この損失関数ができるだけ小さくなるよう、ニューラルネットワーク部４２３のネットワークパラメータ（重み）が学習により算出される。
【0087】
図１０Ａは、ニューラルネットワーク部４２４の学習手法を説明する図である。また、図１０Ｂは、ニューラルネットワーク部４２４の学習を行う手順を示すフローチャートである。なお、上述したようにして既にニューラルネットワーク部４２３の学習が既に完了しているものとする。
【0088】
まず、適宜の手法（例えばダウンサンプリング）によって、画素数がｎ×ｎである元画像（ＧＴ）Ｉ１の画素数を減らし、画素数がｎ／２×ｎ／２である画像Ｉ２を生成する（ステップＳ３１）。さらに、適宜の手法（例えばダウンサンプリング）によって、画像Ｉ２の画素数を減らし、画素数がｎ／４×ｎ／４である画像Ｉ３を生成する（ステップＳ３２）。以上は図９ＢのステップＳ２１，Ｓ２２と同様である。
【0089】
次いで、学習済のニューラルネットワーク部４２３により、画像Ｉ３から画素数がｎ／２×ｎ／２である画像Ｉ４を生成する（ステップＳ３３）。
【0090】
このようにして生成される画素数がｎ／２×ｎ／２である画像Ｉ４と、元画像Ｉ１の組を多数用意する。そして、前者を入力とし、後者を正解データとして、ニューラルネットワーク部４２４の学習を行う（ステップＳ３４）。具体例として、画像Ｉ４に対してニューラルネットワーク部４２４が処理して得られた画素数がｎ／２×ｎ／２である画像Ｉ５と、元画像Ｉ１との差（例えば、平均二乗誤差）を損失関数とし、この損失関数ができるだけ小さくなるよう、ニューラルネットワーク部４２４のネットワークパラメータ（重み）が学習により算出される。
【0091】
このような手法によれば、まずニューラルネットワーク部４２３が学習されるため、ニューラルネットワーク部４２４の学習を元画像に遡って行うことができる。したがって、より高画質のテクスチャ画像をできる。
【0092】
【0093】
本例では、図１１Ａに示すように、画素数がｎ／４×ｎ／４である第（ｍ－２）テクスチャ画像ｐ１に対してニューラルネットワークを適用して画素数がｎ／２×ｎ／２である第（ｍ－１）テクスチャ画像ｐ２を生成する。
【0094】
第（ｍ－１）テクスチャ画像ｐ２を４分割（詳細には、垂直方向および水平方向にそれぞれ２等分）して、画素数がｎ／４×ｎ／４である４つの分割画像ｐ２１～ｐ２２を生成する。分割画像ｐ２１～ｐ２４のそれぞれに対してニューラルネットワークを適用して、画素数がｎ／２×ｎ／２である４つの分割画像ｐ３１～ｐ３４を生成する。そして、分割画像ｐ３１～ｐ３４を結合し（貼り合わせ）、必要に応じて平滑化処理を行って、画素数がｎ×ｎである第ｍテクスチャ画像ｐ３を生成する。
【0095】
そのための構成例として、図１１Ｂに示すように、高画素数化処理部４２は、ニューラルネットワーク部４２５と、分割部４２６と、結合部４２７とを有する。
【0096】
ニューラルネットワーク部４２５には、第（ｍ－２）テクスチャ画像ｐ１と、分割部４２６からの分割画像ｐ２１～ｐ２４とが順に入力される。これらの画像の画素数はいずれもｎ／４×ｎ／４である。そして、ニューラルネットワーク部４２５は、入力される画像の高画素数化を行い、画素数がｎ／２×ｎ／２の画像を出力する。
【0097】
具体的には、ニューラルネットワーク部４２５は、第（ｍ－２）テクスチャ画像が入力されると、これを高画素化して第（ｍ－１）テクスチャ画像ｐ２を生成し、記憶手段４４（図５）に記憶するとともに、分割部４２６に入力する。また、ニューラルネットワーク部４２５は、分割画像ｐ２１～ｐ２４が入力されると、これを高画素化してそれぞれ分割画像ｐ３１～ｐ３４を生成し、結合部４２７に入力する。
【0098】
分割部４２６には、ニューラルネットワーク部４２５から出力される第（ｍ－１）テクスチャ画像ｐ２が入力される。そして、分割部４２６は、画素数がｎ／２×ｎ／２である第（ｍ－１）テクスチャ画像ｐ２を４分割し、画素数がｎ／４×ｎ／４である分割画像ｐ２１～ｐ２４を生成する。
【0099】
結合部４２７には、ニューラルネットワーク部４２５から出力される、画素数がｎ／２×ｎ／２である分割画像ｐ３１～ｐ３４が入力される。そして、結合部４２７はこれらを結合して画素数がｎ×ｎである第ｍテクスチャ画像ｐ３を生成する。結合部４２７は、分割画像ｐ３１～ｐ３４の境界の不連続が目立たないよう、例えば平滑化フィルタを境界付近の画素に適用するのが望ましい。
【0100】
このような構成であれば、ニューラルネットワーク部４２５が、第（ｍ－２）テクスチャ画像ｐ１に対しても、分割画像ｐ２１～ｐ２４に対しても、高画素数化処理を行う。そのため、ニューラルネットワーク部４２５は、画素数がｎ／４×ｎ／４である画像から、画素数がｎ／２×ｎ／２である画像を生成する１種類のネットワークパラメータのみ保持していればよい。そのため、クラウドサーバ３から送信するべき、あるいは、エッジデバイス４で保持しておくべきネットワークパラメータの容量を少なくすることができる。
【0101】
以上のように、第２実施形態では、第１～第（ｍ－２）テクスチャ画像をクラウドサーバ３からエッジデバイス４に送信し、エッジデバイス４にてより高画素数の第（ｍ－１）および第ｍテクスチャ画像を生成する。第（ｍ－１）および第ｍテクスチャ画像をクラウドサーバ３からエッジデバイス４へ送信する必要がないため、クラウドサーバ３からエッジデバイス４への伝送量を減らすことができる。加えて、クラウドサーバ３に高画素数のテクスチャ画像を保持しておく必要がなく、クラウドサーバ３の記憶手段３１を低容量化できる。
【0102】
（第３実施形態）
次に述べる第３実施形態は第２実施形態の変形例である。以下、第２実施形態との相違を中心に説明する。
次に述べる第３実施形態は第２実施形態の変形例である。以下、第２実施形態との相違を中心に説明する。
【0103】
本実施形態におけるクラウドサーバ３の送信部３２は、エッジデバイス４におけるテクスチャ画像生成に用いられる補助情報を、エッジデバイス４に送信する。そして、エッジデバイス４の高画素数化処理部４２は、クラウドサーバ３から送信されるテクスチャ画像および補助情報に基づき、クラウドサーバ３から送信されるテクスチャ画像の最大画素数より多い画素数のテクスチャ画像を生成する。以下、補助情報の具体例を説明する。
【0104】
図１２Ａは、第３実施形態に係るテクスチャマッピングシステム２０１の概略構成を示すブロック図である。図１２Ｂは、第３実施形態においてクラウドサーバ３によって行われる補助情報の生成を説明する図である。図１２Ｃは、第３実施形態においてエッジデバイス４によって行われる補助情報を利用したテクスチャ画像の生成を説明する図である。
【0105】
このクラウドサーバ３は、低画素数化処理部３３と、ニューラルネットワーク部３４と、補助情報生成部３５とをさらに有する。
【0106】
記憶手段３１には、図６に示すテクスチャ画像に加え、元画像としての画素数がｎ／２×ｎ／２のテクスチャ画像ｑ１を保持している。ただし、このテクスチャ画像ｑ１はエッジデバイス４へ送信されない。
【0107】
低画素数化処理部３３は、適宜の手法（例えばダウンサンプリング）によってテクスチャ画像ｑ１の画素数を減らし、画素数がｎ／４×ｎ／４である低画素数画像ｑ２を生成する。
【0108】
ニューラルネットワーク部３４は、低画素数画像ｑ２の画素数を水平方向および垂直方向にそれぞれ２倍にして、画素数がｎ／２×ｎ／２である仮テクスチャ画像ｑ３を生成する。
【0109】
補助情報生成部３５は、元画像であるテクスチャ画像ｑ１と、仮テクスチャ画像ｑ３との差分に応じた補助情報を生成する。一例として、補助情報生成部３５は両画像の差分画像を補助情報とする。補助情報生成部３５は両画像の差分を圧縮するのが望ましく、具体例として差分画像を圧縮したＪＰＥＧ画像を生成し、これを補助情報とする。
【0110】
テクスチャ画像ｑ１を送信するのに必要なデータ量に比べて、補助情報を送信するのに必要なデータ量が少なくなるよう、差分を圧縮することで、テクスチャ画像ｑ１を送信よりは伝送量を削減できる。このようにして生成された補助情報が送信部３２によってエッジデバイス４に送信される。
【0111】
一方、エッジデバイス４の高画素数化処理部４２は、ニューラルネットワーク部４２８と、テクスチャ画像生成部４２９とを有する。
【0112】
ニューラルネットワーク部４２８は、エッジデバイス４から送信される、画素数がｎ／４×ｎ／４である第（ｍ－２）テクスチャ画像ｒ１に対してニューラルネットワーク部３４と同様の処理を行い、画素数がｎ／２×ｎ／２である第（ｍ－１）仮テクスチャ画像ｒ２を生成する。この第（ｍ－１）仮テクスチャ画像ｒ２はクラウドサーバ３で生成される仮テクスチャ画像ｑ３と同じ画像となる。
【0113】
テクスチャ画像生成部４２９は、第（ｍ－１）仮テクスチャ画像ｒ２と、クラウドサーバ３からの補助情報とに基づき、第（ｍ－１）テクスチャ画像ｒ３を生成する。具体例として、補助情報は上述したＪＰＥＧ画像であり、テクスチャ画像生成部４２９は、第（ｍ－１）仮テクスチャ画像ｒ２における各画素に、ＪＰＥＧ画像における各画素を加算し、第（ｍ－１）テクスチャ画像ｒ３を生成する。これにより、クラウドサーバ３が保持する元画像としてのテクスチャ画像ｑ１に近い第（ｍ－１）テクスチャ画像ｒ３がエッジデバイス４にて生成される。
【0114】
なお、ＪＰＥＧ画像は圧縮率が可変である。そのため、圧縮率を低くすることで、元画像であるテクスチャ画像ｑ１により近い高画質な第（ｍ－１）テクスチャ画像ｒ３を生成できる。一方、圧縮率を高くすることで、クラウドサーバ３からエッジデバイス４への伝送量を削減できる。よって、テクスチャ画像の画質と伝送量とのバランスを考慮し、補助情報生成部３５が適切な圧縮率を設定すればよい。
【0115】
このように、第３実施形態では、伝送量を減らしつつ、より高画質な高画素数のテクスチャ画像を生成できる。
【0116】
本明細書で述べた各機能部の任意の一部または全部をプログラムによって実現するようにしてもよい。本明細書で言及したプログラムは、コンピュータ読み取り可能な記録媒体に非一時的に記録して頒布されてもよいし、インターネットなどの通信回線（無線通信も含む）を介して頒布されてもよいし、任意の端末にインストールされた状態で頒布されてもよい。
【0117】
上記の記載に基づいて、当業者であれば、本発明の追加の効果や種々の変形例を想到できるかもしれないが、本発明の態様は、上述した個々の実施形態には限定されるものではない。特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
【0118】
例えば、本明細書において１台の装置（あるいは部材、以下同じ）として説明されるもの（図面において１台の装置として描かれているものを含む）を複数の装置によって実現してもよい。逆に、本明細書において複数の装置として説明されるもの（図面において複数の装置として描かれているものを含む）を１台の装置によって実現してもよい。あるいは、ある装置（例えばサーバ）に含まれるとした手段や機能の一部または全部が、他の装置（例えばユーザ端末）に含まれるようにしてもよい。また、「システム」とは、１台の装置から構成されてもよいし、２以上の装置（例えばサーバとユーザ端末、あるいは複数のユーザ端末）から構成されてもよい。
【0119】
また、本明細書に記載された事項の全てが必須の要件というわけではない。特に、本明細書に記載され、特許請求の範囲に記載されていない事項は任意の付加的事項ということができる。
【0120】
なお、本出願人は本明細書の「先行技術文献」欄の文献に記載された文献公知発明を知っているにすぎず、本発明は必ずしも同文献公知発明における課題を解決することを目的とするものではないことにも留意されたい。本発明が解決しようとする課題は本明細書全体を考慮して認定されるべきものである。例えば、本明細書において、特定の構成によって所定の効果を奏する旨の記載がある場合、当該所定の効果の裏返しとなる課題が解決されるということもできる。ただし、必ずしもそのような特定の構成を必須の要件とする趣旨ではない。
【符号の説明】
【0121】
１００ 画像処理システム
１ 前処理部
１１ 高画素数化処理部
１２ 精細感向上部
１２１ エッジ強調フィルタ
１２２ エッジ保存ノイズ除去フィルタ
２ ニューラルネットワーク部
２００，２０１ テクスチャマッピングシステム
３ クラウドサーバ
３１ 記憶手段
３２ 送信部
３３ 低画素数化処理部
３４ ニューラルネットワーク部
３５ 補助情報生成部
４ エッジデバイス
４１ 受信部
４２ 高画素数化処理部
４２１～４２５，４２８ ニューラルネットワーク部
４２６ 分割部
４２７ 結合部
４２９ テクスチャ画像生成部
４３ テクスチャマッピング部
４４ 記憶手段
１ 前処理部
１１ 高画素数化処理部
１２ 精細感向上部
１２１ エッジ強調フィルタ
１２２ エッジ保存ノイズ除去フィルタ
２ ニューラルネットワーク部
２００，２０１ テクスチャマッピングシステム
３ クラウドサーバ
３１ 記憶手段
３２ 送信部
３３ 低画素数化処理部
３４ ニューラルネットワーク部
３５ 補助情報生成部
４ エッジデバイス
４１ 受信部
４２ 高画素数化処理部
４２１～４２５，４２８ ニューラルネットワーク部
４２６ 分割部
４２７ 結合部
４２９ テクスチャ画像生成部
４３ テクスチャマッピング部
４４ 記憶手段
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8A】
【図8B】
【図9A】
【図9B】
【図10A】
【図10B】
【図11A】
【図11B】
【図12A】
【図12B】
【図12C】
