ホーム > 特許ランキング > 楽天グループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024093923
(43)【公開日】2024-07-09
(54)【発明の名称】情報処理システム、情報処理方法及びプログラム
(51)【国際特許分類】
G06T 19/00 20110101AFI20240702BHJP
G06T 15/04 20110101ALI20240702BHJP
G06T 15/50 20110101ALI20240702BHJP
【ＦＩ】
G06T19/00 A
G06T15/04
G06T15/50 600
【審査請求】有
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2022210579
(22)【出願日】2022-12-27
(71)【出願人】
【識別番号】399037405
【氏名又は名称】楽天グループ株式会社
(74)【代理人】
【識別番号】110000154
【氏名又は名称】弁理士法人はるか国際特許事務所
(72)【発明者】
【氏名】バルソピア ヴィヴェク
(72)【発明者】
【氏名】ローハス メナンヅロ
【テーマコード（参考）】
5B050
5B080
【Ｆターム（参考）】
5B050AA03
5B050BA09
5B050BA12
5B050BA13
5B050CA07
5B050DA01
5B050EA04
5B050EA26
5B050FA02
5B050FA05
5B080AA13
5B080BA02
5B080CA00
5B080FA02
5B080GA22
(57)【要約】
【課題】画像変換の態様を拡張することができる情報処理システム、情報処理方法及びプログラムを提供する。
【解決手段】元画像取得手段（１１０）は、物体（Ｏ）を示す元画像（ＯＩ）を取得する。仮想画像生成手段（１２０）は、物体（Ｏ）を表す３Ｄモデル（Ｍ）と、照明データ（Ｌ）と、テクスチャデータ（Ｔ）と、に基づいて、仮想視点（ＶＶ）から見た、３Ｄモデル（Ｍ）が配置された仮想空間（ＶＳ）の様子を示す仮想画像（ＶＩ）を生成する。特徴抽出手段（１３０）は、元画像（ＯＩ）から元画像特徴量（ＯＦ）を抽出するとともに、仮想画像（ＶＩ）から仮想画像特徴量（ＶＦ）を抽出する。パラメータ調整手段（１４０）は、元画像特徴量（ＯＦ）と仮想画像特徴量（ＶＦ）との類似度が大きくなるように、照明データ（Ｌ）のパラメータ及びテクスチャデータ（Ｔ）のパラメータを調整する。
【選択図】図３
【解決手段】元画像取得手段（１１０）は、物体（Ｏ）を示す元画像（ＯＩ）を取得する。仮想画像生成手段（１２０）は、物体（Ｏ）を表す３Ｄモデル（Ｍ）と、照明データ（Ｌ）と、テクスチャデータ（Ｔ）と、に基づいて、仮想視点（ＶＶ）から見た、３Ｄモデル（Ｍ）が配置された仮想空間（ＶＳ）の様子を示す仮想画像（ＶＩ）を生成する。特徴抽出手段（１３０）は、元画像（ＯＩ）から元画像特徴量（ＯＦ）を抽出するとともに、仮想画像（ＶＩ）から仮想画像特徴量（ＶＦ）を抽出する。パラメータ調整手段（１４０）は、元画像特徴量（ＯＦ）と仮想画像特徴量（ＶＦ）との類似度が大きくなるように、照明データ（Ｌ）のパラメータ及びテクスチャデータ（Ｔ）のパラメータを調整する。
【選択図】図３
【特許請求の範囲】
【請求項1】
物体を示す元画像を取得する元画像取得手段と、
前記物体を表す３Ｄモデル、照明データ、及びテクスチャデータに基づいて、仮想視点から見た、前記３Ｄモデルが配置された仮想空間の様子を示す仮想画像を生成する仮想画像生成手段と、
前記元画像から元画像特徴量を抽出するとともに、前記仮想画像から仮想画像特徴量を抽出する特徴抽出手段と、
前記元画像特徴量と前記仮想画像特徴量との類似度が大きくなるように、前記照明データのパラメータ及び前記テクスチャデータのパラメータを調整するパラメータ調整手段と、
を有する、情報処理システム。
前記物体を表す３Ｄモデル、照明データ、及びテクスチャデータに基づいて、仮想視点から見た、前記３Ｄモデルが配置された仮想空間の様子を示す仮想画像を生成する仮想画像生成手段と、
前記元画像から元画像特徴量を抽出するとともに、前記仮想画像から仮想画像特徴量を抽出する特徴抽出手段と、
前記元画像特徴量と前記仮想画像特徴量との類似度が大きくなるように、前記照明データのパラメータ及び前記テクスチャデータのパラメータを調整するパラメータ調整手段と、
を有する、情報処理システム。
【請求項2】
前記元画像は、現実空間に配置された前記物体の撮影画像である、
請求項１に記載の情報処理システム。
請求項１に記載の情報処理システム。
【請求項3】
前記元画像特徴量は、前記元画像の各色の度数分布を示し、
前記仮想画像特徴量は、前記仮想画像の各色の度数分布を示し、
前記特徴抽出手段は、前記元画像から、前記元画像における前記物体の形状及び配置に関する情報を含む第１の中間特徴量を抽出し、前記第１の中間特徴量から前記元画像特徴量を抽出するとともに、前記仮想画像から、前記仮想画像における前記物体の形状及び配置に関する情報を含む第２の中間特徴量を抽出し、前記第２の中間特徴量から前記仮想画像特徴量を抽出する、
請求項１又は２に記載の情報処理システム。
前記仮想画像特徴量は、前記仮想画像の各色の度数分布を示し、
前記特徴抽出手段は、前記元画像から、前記元画像における前記物体の形状及び配置に関する情報を含む第１の中間特徴量を抽出し、前記第１の中間特徴量から前記元画像特徴量を抽出するとともに、前記仮想画像から、前記仮想画像における前記物体の形状及び配置に関する情報を含む第２の中間特徴量を抽出し、前記第２の中間特徴量から前記仮想画像特徴量を抽出する、
請求項１又は２に記載の情報処理システム。
【請求項4】
前記仮想画像生成手段は、互いに異なる複数の前記仮想視点のそれぞれにそれぞれが対応するとともに、当該仮想視点から見た前記仮想空間の様子を示す複数の前記仮想画像を生成し、
前記特徴抽出手段は、前記複数の仮想画像のそれぞれから、当該仮想画像に対応する仮想画像特徴量を抽出し、
前記パラメータ調整手段は、前記元画像特徴量と、前記複数の仮想画像のそれぞれに対応する仮想画像特徴量と、の類似度が大きくなるように、前記照明データのパラメータ及び前記テクスチャデータのパラメータを調整する、
請求項１又は２に記載の情報処理システム。
前記特徴抽出手段は、前記複数の仮想画像のそれぞれから、当該仮想画像に対応する仮想画像特徴量を抽出し、
前記パラメータ調整手段は、前記元画像特徴量と、前記複数の仮想画像のそれぞれに対応する仮想画像特徴量と、の類似度が大きくなるように、前記照明データのパラメータ及び前記テクスチャデータのパラメータを調整する、
請求項１又は２に記載の情報処理システム。
【請求項5】
前記３Ｄモデルと、前記パラメータ調整手段によりパラメータが調整された前記照明データ及び前記テクスチャデータと、に基づいて、前記元画像とは異なる、前記物体を示す画像である変換画像を生成する変換画像生成手段を更に有する、
請求項１又は２に記載の情報処理システム。
請求項１又は２に記載の情報処理システム。
【請求項6】
物体を示す元画像を取得する元画像取得ステップと、
前記物体を表す３Ｄモデル、照明データ、及びテクスチャデータに基づいて、仮想視点から見た、前記３Ｄモデルが配置された仮想空間の様子を示す仮想画像を生成する仮想画像生成ステップと、
前記元画像から元画像特徴量を抽出するとともに、前記仮想画像から仮想画像特徴量を抽出する特徴抽出ステップと、
前記元画像特徴量と前記仮想画像特徴量との類似度が大きくなるように、前記照明データのパラメータ及び前記テクスチャデータのパラメータを調整するパラメータ調整ステップと、
を有する、情報処理方法。
前記物体を表す３Ｄモデル、照明データ、及びテクスチャデータに基づいて、仮想視点から見た、前記３Ｄモデルが配置された仮想空間の様子を示す仮想画像を生成する仮想画像生成ステップと、
前記元画像から元画像特徴量を抽出するとともに、前記仮想画像から仮想画像特徴量を抽出する特徴抽出ステップと、
前記元画像特徴量と前記仮想画像特徴量との類似度が大きくなるように、前記照明データのパラメータ及び前記テクスチャデータのパラメータを調整するパラメータ調整ステップと、
を有する、情報処理方法。
【請求項7】
物体を示す元画像を取得する元画像取得手段、
前記物体を表す３Ｄモデル、照明データ、及びテクスチャデータに基づいて、仮想視点から見た、前記３Ｄモデルが配置された仮想空間の様子を示す仮想画像を生成する仮想画像生成手段、
前記元画像から元画像特徴量を抽出するとともに、前記仮想画像から仮想画像特徴量を抽出する特徴抽出手段、
前記元画像特徴量と前記仮想画像特徴量との類似度が大きくなるように、前記照明データのパラメータ及び前記テクスチャデータのパラメータを調整するパラメータ調整手段、
としてコンピュータを機能させるためのプログラム。
前記物体を表す３Ｄモデル、照明データ、及びテクスチャデータに基づいて、仮想視点から見た、前記３Ｄモデルが配置された仮想空間の様子を示す仮想画像を生成する仮想画像生成手段、
前記元画像から元画像特徴量を抽出するとともに、前記仮想画像から仮想画像特徴量を抽出する特徴抽出手段、
前記元画像特徴量と前記仮想画像特徴量との類似度が大きくなるように、前記照明データのパラメータ及び前記テクスチャデータのパラメータを調整するパラメータ調整手段、
としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理システム、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
物体を示す元画像に対して画像変換を行い、元画像と異なる、前記物体を示す画像を得る技術が知られている。例えば、元画像に対して、回転や拡大・縮小、明るさの変更、色調の変更等の操作を行うことにより、様々な画像を大量に得ることができる。このようにして得られた大量の画像は、例えば、画像認識用の機械学習モデルの学習データとして用いられる（下記特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】再表２０２１／０３８６７８公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記従来技術では、画像変換の態様は限られている。例えば、元画像が示す物体の向きやポーズ、形状、配置を変えることは、上記従来技術では困難である。
【0005】
本発明は、上記課題に鑑みてなされたものであって、その目的は、画像変換の態様を拡張する情報処理システム、情報処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
本開示に係る情報処理システムは、物体を示す元画像を取得する元画像取得手段と、前記物体を表す３Ｄモデル、照明データ、及びテクスチャデータに基づいて、仮想視点から見た、前記３Ｄモデルが配置された仮想空間の様子を示す仮想画像を生成する仮想画像生成手段と、前記元画像から元画像特徴量を抽出するとともに、前記仮想画像から仮想画像特徴量を抽出する特徴抽出手段と、前記元画像特徴量と前記仮想画像特徴量との類似度が大きくなるように、前記照明データのパラメータ及び前記テクスチャデータのパラメータを調整するパラメータ調整手段と、を有する。
【図面の簡単な説明】
【0007】
【図1】本実施形態の情報処理システムのハードウェア構成の一例を示す図である。
【図2】本実施形態の情報処理システムの処理の概要を示す図である。
【図3】本実施形態の情報処理システムで実現される機能の一例を示す機能ブロック図である。
【図4】仮想画像を生成する様子を示す図である。
【図5】複数の仮想視点のそれぞれから見た仮想画像を生成する様子を示す図である。
【図6】本実施形態の情報処理システムにおいて実行される処理の一例を示すフロー図である。
【図7】本実施形態の情報処理システムにおいて実行される処理の一例を示すフロー図である。
【発明を実施するための形態】
【0008】
［１．本実施形態の情報処理システムのハードウェア構成］
以下、本開示に係る情報処理システムの実施形態の一例を説明する。図１は、本実施形態の情報処理システム１のハードウェア構成の一例を示す図である。図１に示すように、情報処理システム１は、例えば、サーバコンピュータやパーソナルコンピュータ等のコンピュータであり、制御部１１、記憶部１２、通信部１３、操作部１４及び表示部１５を含む。なお、図１には、情報処理システム１が１台のコンピュータにより構成される場合を示すが、情報処理システム１は、複数台のコンピュータにより構成されていてもよい。
以下、本開示に係る情報処理システムの実施形態の一例を説明する。図１は、本実施形態の情報処理システム１のハードウェア構成の一例を示す図である。図１に示すように、情報処理システム１は、例えば、サーバコンピュータやパーソナルコンピュータ等のコンピュータであり、制御部１１、記憶部１２、通信部１３、操作部１４及び表示部１５を含む。なお、図１には、情報処理システム１が１台のコンピュータにより構成される場合を示すが、情報処理システム１は、複数台のコンピュータにより構成されていてもよい。
【0009】
制御部１１は、少なくとも１つのプロセッサを含む。記憶部１２は、ＲＡＭ等の揮発性メモリと、フラッシュメモリ等の不揮発性メモリと、を含む。通信部１３は、有線通信用の通信インタフェースと、無線通信用の通信インタフェースと、の少なくとも一方を含む。操作部１４は、キーボード、マウス、又はタッチパネル等の入力デバイスである。表示部１５は、液晶ディスプレイ又は有機ＥＬディスプレイ等のディスプレイである。
【0010】
なお、記憶部１２に記憶されるプログラムは、ネットワークＮを介して供給されてもよい。また、コンピュータ読み取り可能な情報記憶媒体に記憶されたプログラムが、情報記憶媒体を読み取る読取部（例えば、光ディスクドライブやメモリカードスロット）、又は、外部機器とデータの入出力をするための入出力部（例えば、ＵＳＢポート）を介して供給されてもよい。
【0011】
［２．本実施形態の情報処理システムの概要］
以下、本実施形態の情報処理システム１の概要を説明する。図２は、本実施形態の情報処理システム１の処理の概要を示す図である。
以下、本実施形態の情報処理システム１の概要を説明する。図２は、本実施形態の情報処理システム１の処理の概要を示す図である。
【0012】
図２に示すように、本実施形態の情報処理システム１は、元画像ＯＩが示す物体Ｏの外観と、物体Ｏを表す３ＤモデルＭ、照明データＬ及びテクスチャデータＴに基づいて生成した仮想画像ＶＩが示す物体Ｏの外観と、の類似度が大きくなるように、照明データＬ及びテクスチャデータＴのパラメータを調整する。元画像ＯＩが示す物体Ｏの外観と仮想画像ＶＩが示す物体Ｏの外観との類似度の評価は、具体的には、元画像ＯＩから抽出した元画像特徴量ＯＦと仮想画像ＶＩから抽出した仮想画像特徴量ＶＦとの類似度を評価することにより行われる。なお、本明細書において、「物体Ｏの外観」は、物体Ｏの向きやポーズ、形状、配置以外の物体Ｏの見た目（例えば色や材質感等）を意味するものとする。
【0013】
本実施形態の情報処理システム１によれば、上記した照明データＬ及びテクスチャデータＴのパラメータ調整により、元画像ＯＩが示す物体Ｏの外観を反映した照明データＬ及びテクスチャデータＴを得ることができる。そして、こうして得られた照明データＬ及びテクスチャデータＴを用いて、３ＤモデルＭを種々の条件下でレンダリングすることにより、元画像ＯＩを様々な態様で変換した画像を得ることができる。なお、本明細書において、「変換」の語は広義に用いられる。すなわち、元画像ＯＩを「変換」するとは、物体Ｏを示す元画像ＯＩに基づいて、元画像ＯＩとは異なる、物体Ｏを示す画像（以下、「変換画像」という。）を得ることを意味するものとし、元画像ＯＩに対して何らかの操作を行い、元画像ＯＩから直接的に変換画像を得ることのみを意味するものではない。以降、本実施形態の情報処理システム１の詳細について説明する。
【0014】
【0015】
図３は、本実施形態の情報処理システム１で実現される機能の一例を示す機能ブロック図である。図３に示すように、本実施形態では、元画像記憶部１００、３Ｄモデル記憶部１０１、照明データ記憶部１０２、テクスチャデータ記憶部１０３、特徴抽出器記憶部１０４、元画像取得部１１０、仮想画像生成部１２０、特徴抽出部１３０、パラメータ調整部１４０、及び変換画像生成部１５０が、情報処理システム１で実現される。元画像記憶部１００、３Ｄモデル記憶部１０１、照明データ記憶部１０２、テクスチャデータ記憶部１０３、及び特徴抽出器記憶部１０４は、記憶部１２を主として実現される。元画像取得部１１０、仮想画像生成部１２０、特徴抽出部１３０、パラメータ調整部１４０、及び変換画像生成部１５０は、制御部１１を主として実現される。
【0016】
［元画像記憶部］
元画像記憶部１００は、元画像ＯＩを記憶する。
元画像記憶部１００は、元画像ＯＩを記憶する。
【0017】
図２に示すように、元画像ＯＩは、物体Ｏを示す画像である。
【0018】
物体Ｏは、一定の形状と大きさを有する物体である。本実施形態では、例として、物体Ｏは犬である。なお、物体Ｏは、人や動物、植物等の生物であってもよいし、石や山、建物等の無生物であってもよい。
【0019】
元画像ＯＩは、物体Ｏの一部又は全部を示す。本実施形態では、元画像ＯＩに物体Ｏの全部が示されるが、元画像ＯＩは物体Ｏの一部のみが示されてもよい。また、本実施形態では、元画像ＯＩが示す物体Ｏは１つであるが、元画像ＯＩが示す物体Ｏは複数であってもよい。元画像ＯＩが示す物体Ｏが複数である場合、各物体Ｏは互いに同じ種類のものであってもよいし、互いに異なる種類のものであってよい。本実施形態の例に即して説明すれば、元画像ＯＩは、犬のほかにも、鳥や木、山等を示してもよい。
【0020】
本実施形態では、元画像ＯＩは、現実空間に配置された物体Ｏの撮影画像である。これにより、現実空間に配置された物体Ｏの撮影画像から、現実には存在しない形態の物体Ｏを示す変換画像を得ることができる。一例として、本実施形態の情報処理システム１を用いて、現実空間に配置された新品のネジの撮影画像を変換することにより、現実に存在しない形態の当該ネジを示す変換画像（錆びたネジを示す画像や折れ曲がったネジを示す画像、駆動部が潰れたネジを示す画像等）を得ることができる。このようにして得られた多様な形態のネジを示す変換画像は、例えば不良品検出用の機械学習モデルの学習データとして用いることができる。なお、元画像ＯＩは、現実空間に配置された物体Ｏの撮影画像に限られず、例えば、手描きの絵画や３Ｄモデルのレンダリング画像であってもよい。
【0021】
［元画像取得部］
元画像取得部１１０は、元画像ＯＩを取得する。本実施形態では、元画像ＯＩは、元画像記憶部１００に記憶されているので、元画像取得部１１０は、元画像記憶部１００から元画像ＯＩを取得する。なお、元画像ＯＩは、外部の情報記憶媒体又はコンピュータに記憶されていてもよい。この場合、元画像取得部１１０は、外部の情報記憶媒体又はコンピュータから元画像ＯＩを取得してもよい。
元画像取得部１１０は、元画像ＯＩを取得する。本実施形態では、元画像ＯＩは、元画像記憶部１００に記憶されているので、元画像取得部１１０は、元画像記憶部１００から元画像ＯＩを取得する。なお、元画像ＯＩは、外部の情報記憶媒体又はコンピュータに記憶されていてもよい。この場合、元画像取得部１１０は、外部の情報記憶媒体又はコンピュータから元画像ＯＩを取得してもよい。
【0022】
［３Ｄモデル記憶部］
３Ｄモデル記憶部１０１は、３ＤモデルＭについてのデータを記憶する。
３Ｄモデル記憶部１０１は、３ＤモデルＭについてのデータを記憶する。
【0023】
図２に示すように、３ＤモデルＭは、物体Ｏを表すモデルである。３ＤモデルＭは、物体Ｏの立体形状を表す少なくとも１つのポリゴンによって構成される。本実施形態では、３ＤモデルＭは、物体Ｏの立体形状を表すメッシュデータに相当し、後述のテクスチャデータＴを含まないモデルデータに相当する。本実施形態では、３ＤモデルＭはソリッドモデルとするが、３ＤモデルＭはワイヤフレームモデルやサーフェスモデルであってもよい。本実施形態では、３ＤモデルＭは、３Ｄ－ＣＡＤ等の任意の３ＤＣＧソフトウェアにより予め作成されているものとする。３ＤモデルＭについてのデータは、３ＤモデルＭのポリゴンを定義する各頂点の３次元座標を示す。本実施形態では、３ＤモデルＭについてのデータは３Ｄモデル記憶部１０１に記憶されるが、３ＤモデルＭについてのデータは、外部の情報記憶媒体又はコンピュータに記憶されていてもよい。
【0024】
３ＤモデルＭの数は、元画像ＯＩが示す物体Ｏの数と同数である。本実施形態では、元画像ＯＩが示す物体Ｏが１つであるため、３ＤモデルＭの数も１つである。
【0025】
ところで、「物体Ｏを表す」とは、元画像ＯＩが示す物体Ｏと同位概念の物体の立体形状を表すことを意味し、元画像ＯＩが示す物体Ｏそのものの立体形状を表すことを必ずしも意味しない。例えば、元画像ＯＩが示す物体Ｏが「ジョン」と名付けられた個体のビーグル犬である場合、３ＤモデルＭは、元画像ＯＩが示す物体Ｏと同位概念の物体であるビーグル犬の立体形状を表すものであれば足り、「ジョン」と名付けられた個体のビーグル犬そのものの立体形状を表すものである必要は無い。
【0026】
なお、３ＤモデルＭは、元画像ＯＩが示す物体Ｏそのものの立体形状を表すものであることが好ましい。これにより、元画像ＯＩが示す物体Ｏの外観及び形状を高い精度で維持しつつ、元画像ＯＩが示す物体Ｏの向き、ポーズ、又は位置を変化させた変換画像を得ることができる。
【0027】
［照明データ記憶部］
照明データ記憶部１０２は、照明データＬを記憶する。
照明データ記憶部１０２は、照明データＬを記憶する。
【0028】
照明データＬは、３ＤモデルＭに光を照射する光源についてのデータである。具体的には、照明データＬは、例えば、光源から照射される光の強度及び色、並びに、後述する仮想空間ＶＳにおける光源の位置及び向きをパラメータとして含む。なお、照明データＬが含むパラメータはこれらに限られず、照明データＬは、これら以外のパラメータを含んでもよいし、これらのパラメータを含まなくてもよい。光源としては、点光源、線光源、面光源、ボリューム光源等、任意の光源が利用可能である。また、イメージベースドライティングを利用する場合は、現実世界の全方向の光情報をキャプチャした画像が光源として利用されてもよい。
【0029】
［テクスチャデータ記憶部］
テクスチャデータ記憶部１０３は、テクスチャデータＴを記憶する。
テクスチャデータ記憶部１０３は、テクスチャデータＴを記憶する。
【0030】
テクスチャデータＴは、３ＤモデルＭの表面に設定されるテクスチャについてのデータである。テクスチャは、質感とも呼ばれ、例えば、物体Ｏの色、光沢感、透明度、金属感、凹凸等を含む。テクスチャデータＴは、具体的には、３ＤモデルＭの表面に設定されるテクスチャを示す画像データである。本実施形態では、テクスチャデータＴは、例えば、物体Ｏ表面の拡散反射率（アルベド）、法線ベクトル（ノーマル）、鏡面反射率、メタリック、粗さ（ラフネス）、光沢、異方度、透明度等をパラメータとして含む。なお、テクスチャデータＴが含むパラメータはこれらに限られず、テクスチャデータＴは、これら以外のパラメータを含んでもよいし、これらのパラメータを含まなくてもよい。
【0031】
【0032】
図２及び図４に示すように、仮想画像生成部１２０は、３ＤモデルＭ、照明データＬ及びテクスチャデータＴに基づいて、仮想視点ＶＶから見た、３ＤモデルＭが配置された仮想空間ＶＳの様子を示す仮想画像ＶＩを生成する。別の言い方をすれば、仮想画像生成部１２０は、照明データＬ、テクスチャデータＴ、及び仮想視点ＶＶをレンダリング条件として、３ＤモデルＭのレンダリング処理を行うということもできる。また、別の言い方をすれば、仮想画像生成部１２０は、３ＤモデルＭ、照明データＬ及びテクスチャデータＴに基づいて、物理ベースレンダリングを行い、レンダリング画像を生成するということもできる。また、別の言い方をすれば、仮想画像生成部１２０は、元画像ＯＩが示す物体Ｏに係る新視点画像を生成するということもできる、なお、レンダリング条件は、上記以外に、例えば仮想空間ＶＳの背景画像や、生成する仮想画像ＶＩの解像度・アスペクト比等を含んでもよい。仮想画像ＶＩの生成には、フォワードレンダリング、ディファードレンダリング等の種々の公知のレンダリング手法（レンダリングパイプライン）が利用可能である。
【0033】
仮想空間ＶＳは、仮想的な３次元空間である。仮想空間ＶＳには、互いに直交する３つの座標軸が設定される。これら３つの座標軸は、ワールド座標系の座標軸である。原点は任意の位置であってよく、仮想空間ＶＳ内の位置は３次元座標で表される。なお、仮想画像生成部１２０では、仮想空間ＶＳには背景画像が設定されてもよい。背景画像は、例えば、木や山、空等の風景を示す画像である。
【0034】
仮想視点ＶＶは、仮想カメラとも呼ばれるものであり、ビュー座標系の座標軸を定義する。仮想画像生成部１２０では、仮想視点ＶＶのパラメータ（位置・画角・拡大倍率等）が設定される。
【0035】
【0036】
すなわち、図５に示すように、仮想画像生成部１２０は、より具体的には、互いに異なる複数の仮想視点ＶＶ１，ＶＶ２，ＶＶ３のそれぞれにそれぞれが対応するとともに、当該仮想視点から見た仮想空間ＶＳの様子を示す複数の仮想画像ＶＩ１，ＶＩ２，ＶＩ３を生成する。なお、本実施形態では、仮想視点の数は３つであるが、仮想視点の数は、これより少なくてもよく、これより多くてもよい。
【0037】
本実施形態の情報処理システム１は、上記のように、複数の仮想視点ＶＶ１，ＶＶ２，ＶＶ３のそれぞれから見た仮想空間ＶＳの様子を示す仮想画像ＶＩを生成する。すなわち、本実施形態の情報処理システム１は、元画像ＯＩが示す物体Ｏの外観を、複数の仮想視点ＶＶ１，ＶＶ２，ＶＶ３のそれぞれから見た物体Ｏの外観に反映させることができる。これにより、後述するように、元画像ＯＩが示す物体Ｏの向きやポーズ、形状、配置を変えた変換画像において、元画像ＯＩが示す物体Ｏの外観を好適に保つことができる。
【0038】
［特徴抽出器記憶部］
特徴抽出器記憶部１０４は、特徴抽出部１３０での処理に用いられる特徴抽出器を記憶する。具体的には、特徴抽出器記憶部１０４は、特徴抽出器のプログラム及びパラメータを記憶する。
特徴抽出器記憶部１０４は、特徴抽出部１３０での処理に用いられる特徴抽出器を記憶する。具体的には、特徴抽出器記憶部１０４は、特徴抽出器のプログラム及びパラメータを記憶する。
【0039】
特徴抽出器は、画像の特徴を抽出する学習済みの機械学習モデルである。特徴抽出器は、後述する第１の中間特徴量及び第２の中間特徴量の抽出に用いられる。本実施形態では、特徴抽出器として、学習済みのＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）から全結合層を除いたものが用いられる。なお、特徴抽出器としては、ＣＮＮから全結合層を除いたもの以外にも、学習済みの公知の機械学習モデルが利用可能である。
【0040】
［特徴抽出部］
特徴抽出部１３０は、元画像ＯＩから元画像特徴量ＯＦを抽出するとともに、仮想画像ＶＩから仮想画像特徴量ＶＦを抽出する。本実施形態では、特徴抽出部１３０は、複数の仮想画像ＶＩ１，ＶＩ２，ＶＩ３のそれぞれから、当該仮想画像に対応する仮想画像特徴量ＶＦを抽出する。
特徴抽出部１３０は、元画像ＯＩから元画像特徴量ＯＦを抽出するとともに、仮想画像ＶＩから仮想画像特徴量ＶＦを抽出する。本実施形態では、特徴抽出部１３０は、複数の仮想画像ＶＩ１，ＶＩ２，ＶＩ３のそれぞれから、当該仮想画像に対応する仮想画像特徴量ＶＦを抽出する。
【0041】
具体的には、特徴抽出部１３０は、元画像ＯＩから第１の中間特徴量を抽出し、第１の中間特徴量から元画像特徴量ＯＦを抽出する。また、特徴抽出部１３０は、仮想画像ＶＩから第２の中間特徴量を抽出し、第２の中間特徴量から仮想画像特徴量ＶＦを抽出する。特徴抽出部１３０は、第１の中間特徴量及び第２の中間特徴量を、それぞれ先述の特徴抽出器を用いて抽出する。
【0042】
第１の中間特徴量は、元画像ＯＩにおける物体Ｏの形状及び配置に関する情報を含む。また、第２の中間特徴量は、仮想画像ＶＩにおける物体Ｏの形状及び配置に関する情報を含む。本実施形態では、学習済みのＣＮＮから全結合層を除いたものを特徴抽出器として用いるので、具体的には、第１の中間特徴量及び第２の中間特徴量は、それぞれ、ＣＮＮの畳み込み層から出力される特徴マップである。ここで、特徴マップの数は、フィルタ（カーネル）の数と同数である。
【0043】
ここで、元画像特徴量ＯＦは、元画像ＯＩの各色の度数分布を示す特徴量である。また、仮想画像特徴量ＶＦは、仮想画像ＶＩの各色の度数分布を示す特徴量である。別の言い方をすれば、元画像特徴量ＯＦは、元画像ＯＩにおける物体Ｏの形状及び配置に関する情報を含まない特徴量である。また、仮想画像特徴量ＶＦは、仮想画像ＶＩにおける物体Ｏの形状及び配置に関する情報を含まない特徴量である。本実施形態では、元画像特徴量ＯＦ及び仮想画像特徴量ＶＦは、それぞれ、ＣＮＮ等の学習済みの特徴抽出器から出力可能な特徴量に相当するベクトル表現であってよい。本実施形態では、具体的には、元画像特徴量ＯＦ及び仮想画像特徴量ＶＦは、それぞれ、ＣＮＮの畳み込み層から出力される特徴マップ同士の相関を計算することによって得られるグラム行列である。このグラム行列は、具体的には、ＣＮＮの畳み込み層から出力される特徴マップ同士の内積を計算することによって得られる。画像特徴量は、テクスチャパターンの度数分布をあわせて示す特徴量であってよい。
【0044】
［パラメータ調整部］
パラメータ調整部１４０は、元画像特徴量ＯＦと仮想画像特徴量ＶＦとの類似度が大きくなるように、照明データＬのパラメータ及びテクスチャデータＴのパラメータを調整する。すなわち、パラメータ調整部１４０は、元画像ＯＩの各色の度数分布を示す特徴量と仮想画像ＶＩの各色の度数分布を示す特徴量との類似度が大きくなるように、照明データＬのパラメータ及びテクスチャデータＴのパラメータを調整する。パラメータ調整部１４０は、元画像ＯＩの配色と仮想画像ＶＩの配色との類似度が大きくなるように、照明データＬのパラメータ及びテクスチャデータＴのパラメータを調整するということもできる。これにより、本実施形態の情報処理システム１は、元画像ＯＩにおける物体Ｏの配置と、仮想画像ＶＩにおける物体Ｏの配置と、が異なっていても、元画像ＯＩが示す物体Ｏの外観を、変換画像が示す物体Ｏの外観に的確に反映させることができる。
パラメータ調整部１４０は、元画像特徴量ＯＦと仮想画像特徴量ＶＦとの類似度が大きくなるように、照明データＬのパラメータ及びテクスチャデータＴのパラメータを調整する。すなわち、パラメータ調整部１４０は、元画像ＯＩの各色の度数分布を示す特徴量と仮想画像ＶＩの各色の度数分布を示す特徴量との類似度が大きくなるように、照明データＬのパラメータ及びテクスチャデータＴのパラメータを調整する。パラメータ調整部１４０は、元画像ＯＩの配色と仮想画像ＶＩの配色との類似度が大きくなるように、照明データＬのパラメータ及びテクスチャデータＴのパラメータを調整するということもできる。これにより、本実施形態の情報処理システム１は、元画像ＯＩにおける物体Ｏの配置と、仮想画像ＶＩにおける物体Ｏの配置と、が異なっていても、元画像ＯＩが示す物体Ｏの外観を、変換画像が示す物体Ｏの外観に的確に反映させることができる。
【0045】
具体的には、パラメータ調整部１４０は、元画像特徴量ＯＦと仮想画像特徴量ＶＦとに基づいて、損失を計算し、当該損失が小さくなるように、照明データＬのパラメータ及びテクスチャデータＴのパラメータを調整する。損失の計算自体は、二乗誤差やクロスエントロピー等の公知の計算方法が利用可能である。また、照明データＬのパラメータ及びテクスチャデータＴのパラメータの調整自体は、勾配降下法や誤差逆伝播法等の公知のパラメータ調整方法が利用可能である。なお、パラメータ調整部１４０では、特徴抽出器に係るパラメータ（重み係数やバイアス等）は調整されず固定されたままである。
【0046】
本実施形態では、パラメータ調整部１４０は、元画像特徴量ＯＦと、複数の仮想画像ＶＩ１，ＶＩ２，ＶＩ３のそれぞれに対応する仮想画像特徴量ＶＦと、の類似度が大きくなるように、照明データＬのパラメータ及びテクスチャデータＴのパラメータを調整する。具体的には、まず、パラメータ調整部１４０は、元画像特徴量ＯＦと仮想画像ＶＩ１に対応する仮想画像特徴量ＶＦとの類似度が大きくなるように、照明データＬのパラメータ及びテクスチャデータＴのパラメータを調整する。次に、パラメータ調整部１４０は、元画像特徴量ＯＦと仮想画像ＶＩ２に対応する仮想画像特徴量ＶＦとの類似度が大きくなるように、照明データＬのパラメータ及びテクスチャデータＴのパラメータを調整する。最後に、パラメータ調整部１４０は、元画像特徴量ＯＦと仮想画像ＶＩ３に対応する仮想画像特徴量ＶＦとの類似度が大きくなるように、照明データＬのパラメータ及びテクスチャデータＴのパラメータを調整する。
【0047】
ここで、元画像ＯＩが示す物体Ｏの向きと、最初にパラメータ調整部１４０での処理に供される仮想画像特徴量ＶＦに対応する仮想画像ＶＩ１が示す物体Ｏの向きと、は一致していることが好ましい。これにより、照明データＬのパラメータ及びテクスチャデータＴのパラメータの調整に係る処理負荷が軽減される。
【0048】
なお、パラメータ調整部１４０は、仮想空間ＶＳに背景画像が設定される場合、照明データＬのパラメータ及びテクスチャデータＴのパラメータに加え、当該背景画像のパラメータを調整してもよい。
【0049】
なお、上記した特徴抽出部１３０及びパラメータ調整部１４０は、例えば、参考文献（Gatys, L.A., Ecker, A.S., Bethge, M.: Image style transfer using convolutional neural networks. In: CVPR. (2016)）の記載に従って構成されてもよい。
【0050】
［変換画像生成部］
変換画像生成部１５０は、３ＤモデルＭと、パラメータ調整部１４０によりパラメータが調整された照明データＬ及びテクスチャデータＴと、に基づいて、変換画像を生成する。変換画像は、元画像ＯＩのバリエーションであるということもできる。変換画像生成部１５０で実行される処理の内容は仮想画像生成部１２０と同様である。
変換画像生成部１５０は、３ＤモデルＭと、パラメータ調整部１４０によりパラメータが調整された照明データＬ及びテクスチャデータＴと、に基づいて、変換画像を生成する。変換画像は、元画像ＯＩのバリエーションであるということもできる。変換画像生成部１５０で実行される処理の内容は仮想画像生成部１２０と同様である。
【0051】
本実施形態の情報処理システム１は、上記のように、パラメータ調整した照明データＬ及びテクスチャデータＴを用いて変換画像を生成する。この変換画像の生成の際に、種々の条件（３ＤモデルＭの位置・ポーズ・形状・向き、仮想視点ＶＶの位置・拡大倍率・画角等）を変化させることによって、様々な変換画像を生成することができる。また、変換画像の生成の際に、照明データＬのパラメータやテクスチャデータＴのパラメータを更に調整し、照明の位置・明るさや、物体Ｏ表面に設定されるテクスチャを変化させることによって、より様々な変換画像を生成することができる。
【0052】
また、本実施形態の情報処理システム１によれば、上記のような様々な変換画像を大量に生成することが容易となる。このようにして得られた大量の変換画像は、例えば、画像認識用の機械学習モデルの学習データとして利用することができる。
【0053】
なお、本実施形態の情報処理システム１の用途は、上記した変換画像の生成に限られない。例えば、本実施形態の情報処理システム１は、ビデオゲームに登場するゲームオブジェクトの作成に用いることもできる。すなわち、（１）物体Ｏとしてゲームキャラクターを示す元画像ＯＩが作成される。（２）当該ゲームキャラクターを表す３ＤモデルＭ、照明データＬ、及びテクスチャデータＴに基づいて、仮想画像ＶＩが生成される。（３）上記のパラメータ調整を行うことによって、元画像ＯＩの外観を反映させたゲームオブジェクトが得られる。
【0054】
［４．本実施形態の情報処理システムにおいて実行される処理］
最後に、図６及び図７を用い、本実施形態の情報処理システム１において実行される処理について説明する。図６及び図７は、本実施形態の情報処理システム１において実行される処理の一例を示すフロー図である。図６及び図７に示す処理は、制御部１１が記憶部１２に記憶されたプログラムに従って動作することによって実行される。下記に説明する処理は、図３に示す機能ブロックにより実行される処理の一例である。
最後に、図６及び図７を用い、本実施形態の情報処理システム１において実行される処理について説明する。図６及び図７は、本実施形態の情報処理システム１において実行される処理の一例を示すフロー図である。図６及び図７に示す処理は、制御部１１が記憶部１２に記憶されたプログラムに従って動作することによって実行される。下記に説明する処理は、図３に示す機能ブロックにより実行される処理の一例である。
【0055】
図６に示すように、まず、制御部１１は、記憶部１２から元画像ＯＩを取得する（Ｓ１００）。制御部１１は、取得した元画像ＯＩから、第１の中間特徴量を抽出する（Ｓ１０１）。制御部１１は、更に第１の中間特徴量から元画像特徴量ＯＦを抽出し、抽出した元画像特徴量ＯＦを記憶部１２に格納する（Ｓ１０２）。
【0056】
図７に移り、制御部１１は、仮想視点ＶＶを設定する（Ｓ１０３）。具体的には、制御部１１は、仮想視点ＶＶの位置・画角・拡大倍率等のパラメータを設定する。次いで、制御部１１は、記憶部１２から、３ＤモデルＭ、照明データＬ、及びテクスチャデータＴを取得し（Ｓ１０４）、これらに基づいて、仮想画像ＶＩを生成する（Ｓ１０５）。
【0057】
制御部１１は、生成した仮想画像ＶＩから第２の中間特徴量を抽出する（Ｓ１０６）。記憶部１２は、更に第２の中間特徴量から仮想画像特徴量ＶＦを抽出し、抽出した仮想画像特徴量ＶＦを記憶部１２に格納する（Ｓ１０７）。制御部１１は、記憶部１２に格納された元画像特徴量ＯＦと仮想画像特徴量ＶＦとの類似度が大きくなるように、照明データＬのパラメータ及びテクスチャデータＴのパラメータを調整する（Ｓ１０８）。
【0058】
制御部１１は、元画像特徴量ＯＦと仮想画像特徴量ＶＦとの類似度が所定の条件を満たしておらず、照明データＬのパラメータ及びテクスチャデータＴのパラメータの調整を再度繰り返すと判定した場合（Ｓ１０９；Ｎ）、Ｓ１０５からＳ１０８の処理を再度実行する。具体的には、制御部１１は、元画像特徴量ＯＦと仮想画像特徴量ＶＦとに基づいて計算される損失が所定の閾値未満になるまで、照明データＬのパラメータ及びテクスチャデータＴのパラメータの調整を繰り返す。
【0059】
一方、制御部１１は、元画像特徴量ＯＦと仮想画像特徴量ＶＦとの類似度が所定の条件を満たし、パラメータ調整を終了すると判定した場合（Ｓ１０９；Ｙ）、次いで、仮想視点ＶＶを変えて仮想画像ＶＩを生成するか否かを判定する（Ｓ１１０）。制御部１１は、仮想視点ＶＶを変えて仮想画像ＶＩを生成すると判定した場合（Ｓ１１０；Ｎ）、Ｓ１０３からＳ１０９の処理を再度実行する。具体的には、制御部１１は、所定数の仮想視点ＶＶのそれぞれについて、Ｓ１０３からＳ１０９の処理を繰り返す。一方、制御部１１は、仮想視点ＶＶを変えて仮想画像ＶＩを生成しないと判定した場合（Ｓ１１０；Ｙ）、本処理を終了する。
【0060】
［５．付記］
例えば、本開示に係る情報処理システムは、下記のような構成も可能である。
例えば、本開示に係る情報処理システムは、下記のような構成も可能である。
【0061】
（１）
物体を示す元画像を取得する元画像取得手段と、
前記物体を表す３Ｄモデル、照明データ、及びテクスチャデータに基づいて、仮想視点から見た、前記３Ｄモデルが配置された仮想空間の様子を示す仮想画像を生成する仮想画像生成手段と、
前記元画像から元画像特徴量を抽出するとともに、前記仮想画像から仮想画像特徴量を抽出する特徴抽出手段と、
前記元画像特徴量と前記仮想画像特徴量との類似度が大きくなるように、前記照明データのパラメータ及び前記テクスチャデータのパラメータを調整するパラメータ調整手段と、
を有する、情報処理システム。
物体を示す元画像を取得する元画像取得手段と、
前記物体を表す３Ｄモデル、照明データ、及びテクスチャデータに基づいて、仮想視点から見た、前記３Ｄモデルが配置された仮想空間の様子を示す仮想画像を生成する仮想画像生成手段と、
前記元画像から元画像特徴量を抽出するとともに、前記仮想画像から仮想画像特徴量を抽出する特徴抽出手段と、
前記元画像特徴量と前記仮想画像特徴量との類似度が大きくなるように、前記照明データのパラメータ及び前記テクスチャデータのパラメータを調整するパラメータ調整手段と、
を有する、情報処理システム。
【0062】
（２）
前記元画像は、現実空間に配置された前記物体の撮影画像である、
（１）に記載の情報処理システム。
前記元画像は、現実空間に配置された前記物体の撮影画像である、
（１）に記載の情報処理システム。
【0063】
（３）
前記元画像特徴量は、前記元画像の各色の度数分布を示し、
前記仮想画像特徴量は、前記仮想画像の各色の度数分布を示し、
前記特徴抽出手段は、前記元画像から、前記元画像における前記物体の形状及び配置に関する情報を含む第１の中間特徴量を抽出し、前記第１の中間特徴量から前記元画像特徴量を抽出するとともに、前記仮想画像から、前記仮想画像における前記物体の形状及び配置に関する情報を含む第２の中間特徴量を抽出し、前記第２の中間特徴量から前記仮想画像特徴量を抽出する、
（１）又は（２）に記載の情報処理システム。
前記元画像特徴量は、前記元画像の各色の度数分布を示し、
前記仮想画像特徴量は、前記仮想画像の各色の度数分布を示し、
前記特徴抽出手段は、前記元画像から、前記元画像における前記物体の形状及び配置に関する情報を含む第１の中間特徴量を抽出し、前記第１の中間特徴量から前記元画像特徴量を抽出するとともに、前記仮想画像から、前記仮想画像における前記物体の形状及び配置に関する情報を含む第２の中間特徴量を抽出し、前記第２の中間特徴量から前記仮想画像特徴量を抽出する、
（１）又は（２）に記載の情報処理システム。
【0064】
（４）
前記仮想画像生成手段は、互いに異なる複数の前記仮想視点のそれぞれにそれぞれが対応するとともに、当該仮想視点から見た前記仮想空間の様子を示す複数の前記仮想画像を生成し、
前記特徴抽出手段は、前記複数の仮想画像のそれぞれから、当該仮想画像に対応する仮想画像特徴量を抽出し、
前記パラメータ調整手段は、前記元画像特徴量と、前記複数の仮想画像のそれぞれに対応する仮想画像特徴量と、の類似度が大きくなるように、前記照明データのパラメータ及び前記テクスチャデータのパラメータを調整する、
（１）から（３）のいずれかに記載の情報処理システム。
前記仮想画像生成手段は、互いに異なる複数の前記仮想視点のそれぞれにそれぞれが対応するとともに、当該仮想視点から見た前記仮想空間の様子を示す複数の前記仮想画像を生成し、
前記特徴抽出手段は、前記複数の仮想画像のそれぞれから、当該仮想画像に対応する仮想画像特徴量を抽出し、
前記パラメータ調整手段は、前記元画像特徴量と、前記複数の仮想画像のそれぞれに対応する仮想画像特徴量と、の類似度が大きくなるように、前記照明データのパラメータ及び前記テクスチャデータのパラメータを調整する、
（１）から（３）のいずれかに記載の情報処理システム。
【0065】
（５）
前記３Ｄモデルと、前記パラメータ調整手段によりパラメータが調整された前記照明データ及び前記テクスチャデータと、に基づいて、前記元画像とは異なる、前記物体を示す画像である変換画像を生成する変換画像生成手段を更に有する、
（１）から（４）のいずれかに記載の情報処理システム。
前記３Ｄモデルと、前記パラメータ調整手段によりパラメータが調整された前記照明データ及び前記テクスチャデータと、に基づいて、前記元画像とは異なる、前記物体を示す画像である変換画像を生成する変換画像生成手段を更に有する、
（１）から（４）のいずれかに記載の情報処理システム。
【0066】
以上に説明した本実施形態の情報処理システム１によれば、画像変換の態様を拡張することができる。
【符号の説明】
【0067】
１ 情報処理システム、Ｎ ネットワーク、１１ 制御部、１２ 記憶部、１３ 通信部、１４ 操作部、１５ 表示部、１００ 元画像記憶部、１０１ ３Ｄモデル記憶部、１０２ 照明データ記憶部、１０３ テクスチャデータ記憶部、１０４ 特徴抽出器記憶部、１１０ 元画像取得部、１２０ 仮想画像生成部、１３０ 特徴抽出部、１４０ パラメータ調整部、１５０ 変換画像生成部、ＯＩ 元画像、Ｏ 物体、Ｍ ３Ｄモデル、Ｌ 照明データ、Ｔ テクスチャデータ、ＶＩ，ＶＩ１,ＶＩ２,ＶＩ３ 仮想画像、ＯＦ 元画像特徴量、ＶＦ 仮想画像特徴量、ＶＶ，ＶＶ１,ＶＶ２,ＶＶ３ 仮想視点、ＶＳ 仮想空間。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】