ホーム > 特許ランキング > 国立大学法人 東京大学
▶ 国立大学法人 東京大学の特許一覧 ▶ 株式会社島精機製作所の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023081701
(43)【公開日】2023-06-13
(54)【発明の名称】画像処理システム、及び画像処理プログラム
(51)【国際特許分類】
G06T 15/04 20110101AFI20230606BHJP
G06T 19/00 20110101ALI20230606BHJP
【ＦＩ】
G06T15/04
G06T19/00 A
【審査請求】未請求
【請求項の数】5
【出願形態】ＯＬ
(21)【出願番号】P 2021195629
(22)【出願日】2021-12-01
(71)【出願人】
【識別番号】504137912
【氏名又は名称】国立大学法人 東京大学
(71)【出願人】
【識別番号】000151221
【氏名又は名称】株式会社島精機製作所
(74)【代理人】
【識別番号】100100147
【弁理士】
【氏名又は名称】山野 宏
(72)【発明者】
【氏名】盧 承鐸
(72)【発明者】
【氏名】五十嵐 健夫
(72)【発明者】
【氏名】一角 佳成
(72)【発明者】
【氏名】雪下 陽一
【テーマコード（参考）】
5B050
5B080
【Ｆターム（参考）】
5B050BA13
5B050CA07
5B050DA10
5B050EA07
5B050EA13
5B050EA18
5B050EA19
5B050EA27
5B050FA02
5B050FA09
5B050GA08
5B080AA13
5B080AA19
5B080BA02
5B080DA06
5B080FA09
5B080GA22
(57)【要約】
【課題】２次元のベース画像に含まれる対象画像の立体形状に対応した形状のコントロールグリッドを自動で作成する画像処理システムを提供する。
【解決手段】２次元のベース画像に含まれる立体物の対象画像にテクスチャをマッピングするためのコントロールグリッドをユーザーが操作することで、前記対象画像にマッピングされたテクスチャを変形させる画像処理システムであって、前記対象画像に対応する３Ｄモデルを平面に投影したＸＹ画像のデータと、前記３Ｄモデルを平面展開したＵＶ画像のデータとを記憶するメモリと、前記ＵＶ画像に設定された初期グリッドに基づいて、前記コントロールグリッドを作成する編集部と、を備える画像処理システム。
【選択図】図１
【解決手段】２次元のベース画像に含まれる立体物の対象画像にテクスチャをマッピングするためのコントロールグリッドをユーザーが操作することで、前記対象画像にマッピングされたテクスチャを変形させる画像処理システムであって、前記対象画像に対応する３Ｄモデルを平面に投影したＸＹ画像のデータと、前記３Ｄモデルを平面展開したＵＶ画像のデータとを記憶するメモリと、前記ＵＶ画像に設定された初期グリッドに基づいて、前記コントロールグリッドを作成する編集部と、を備える画像処理システム。
【選択図】図１
【特許請求の範囲】
【請求項1】
２次元のベース画像に含まれる立体物の対象画像にテクスチャをマッピングするためのコントロールグリッドをユーザーが操作することで、前記対象画像にマッピングされたテクスチャを変形させる画像処理システムにおいて、
前記対象画像に対応する３Ｄモデルを一方向から見たＸＹ画像と、前記ＸＹ画像を平面展開したＵＶ画像に関する情報を含む画像データとを記憶するメモリと、
前記ＵＶ画像に設定された初期グリッドに基づいて、前記コントロールグリッドを作成する編集部と、を備え、
前記ＸＹ画像は、複数のＸＹメッシュによって構成され、
前記ＵＶ画像は、前記複数のＸＹメッシュのそれぞれに対応する複数のＵＶメッシュによって構成され、
前記初期グリッドは、複数の第一メッシュと、各第一メッシュを変形させる複数の第一制御点とを備え、
前記コントロールグリッドは、前記複数の第一メッシュのそれぞれに対応する複数の第二メッシュと、前記複数の第一制御点のそれぞれに対応する複数の第二制御点とを備え、
前記編集部は、
前記第一制御点の位置情報、前記ＸＹメッシュの位置情報、及び前記ＵＶメッシュの位置情報に基づいて、前記第二制御点の位置を決める決定部と、
前記決定部の決定に基づいて前記コントロールグリッドを作成する第一作成部と、を備える、
画像処理システム。
前記対象画像に対応する３Ｄモデルを一方向から見たＸＹ画像と、前記ＸＹ画像を平面展開したＵＶ画像に関する情報を含む画像データとを記憶するメモリと、
前記ＵＶ画像に設定された初期グリッドに基づいて、前記コントロールグリッドを作成する編集部と、を備え、
前記ＸＹ画像は、複数のＸＹメッシュによって構成され、
前記ＵＶ画像は、前記複数のＸＹメッシュのそれぞれに対応する複数のＵＶメッシュによって構成され、
前記初期グリッドは、複数の第一メッシュと、各第一メッシュを変形させる複数の第一制御点とを備え、
前記コントロールグリッドは、前記複数の第一メッシュのそれぞれに対応する複数の第二メッシュと、前記複数の第一制御点のそれぞれに対応する複数の第二制御点とを備え、
前記編集部は、
前記第一制御点の位置情報、前記ＸＹメッシュの位置情報、及び前記ＵＶメッシュの位置情報に基づいて、前記第二制御点の位置を決める決定部と、
前記決定部の決定に基づいて前記コントロールグリッドを作成する第一作成部と、を備える、
画像処理システム。
【請求項2】
前記決定部は、前記第二制御点の位置を変数とする目的関数が最小となる前記第二制御点の集合を求め、
前記目的関数は、点Ｘの位置と点ｘｋとの差の二乗であり、
前記点Ｘは、前記ＵＶ画像上の点ｕｋを前記第二制御点に基づいて前記ＸＹ画像上に移動させた点であり、
前記点ｘｋは、前記ＸＹ画像上における前記点ｕｋに対応する点である、請求項１に記載の画像処理システム。
前記目的関数は、点Ｘの位置と点ｘｋとの差の二乗であり、
前記点Ｘは、前記ＵＶ画像上の点ｕｋを前記第二制御点に基づいて前記ＸＹ画像上に移動させた点であり、
前記点ｘｋは、前記ＸＹ画像上における前記点ｕｋに対応する点である、請求項１に記載の画像処理システム。
【請求項3】
前記決定部は、前記複数の第二制御点が規則的に並ぶように正則化を行う、請求項２に記載の画像処理システム。
【請求項4】
前記メモリは、立体物の平面画像と、前記立体物の３Ｄモデルを一方向から見た第一画像と、前記第一画像を平面展開した第二画像と、の対応関係を学習した学習モデルを記憶しており、
前記第一画像は、複数のメッシュによって構成されており、
前記第二画像は、前記複数のメッシュのそれぞれに対応する複数の別のメッシュによって構成されており、
前記編集部は、前記学習モデルを参照し、前記ベース画像の前記対象画像の輪郭形状の情報に基づいて前記ＸＹ画像と前記ＵＶ画像とを作成する第二作成部を備える、請求項１から請求項３のいずれか１項に記載の画像処理システム。
前記第一画像は、複数のメッシュによって構成されており、
前記第二画像は、前記複数のメッシュのそれぞれに対応する複数の別のメッシュによって構成されており、
前記編集部は、前記学習モデルを参照し、前記ベース画像の前記対象画像の輪郭形状の情報に基づいて前記ＸＹ画像と前記ＵＶ画像とを作成する第二作成部を備える、請求項１から請求項３のいずれか１項に記載の画像処理システム。
【請求項5】
コンピュータに、
テクスチャマッピングされる対象画像に対応する３Ｄモデルを一方向から見たＸＹ画像と、前記ＸＹ画像を平面展開したＵＶ画像に関する情報を含む画像データをメモリから読み出す第一処理と、
前記ＵＶ画像に設定された初期グリッドに基づいて、前記対象画像にテクスチャをマッピングするためのコントロールグリッドを作成する第二処理と、を実行させ、
前記ＸＹ画像は、複数のＸＹメッシュによって構成され、
前記ＵＶ画像は、前記複数のＸＹメッシュのそれぞれに対応する複数のＵＶメッシュによって構成され、
前記初期グリッドは、複数の第一メッシュと、各第一メッシュを変形させる複数の第一制御点とを備え、
前記コントロールグリッドは、前記複数の第一メッシュのそれぞれに対応する複数の第二メッシュと、前記複数の第一制御点のそれぞれに対応する複数の第二制御点とを備え、
前記第二処理は、前記コンピュータに、前記第一制御点の位置情報、前記ＸＹメッシュの位置情報、及び前記ＵＶメッシュの位置情報に基づいて、前記第二制御点の位置を決定させ、前記決定に基づいて前記コントロールグリッドを作成させる、
画像処理プログラム。
テクスチャマッピングされる対象画像に対応する３Ｄモデルを一方向から見たＸＹ画像と、前記ＸＹ画像を平面展開したＵＶ画像に関する情報を含む画像データをメモリから読み出す第一処理と、
前記ＵＶ画像に設定された初期グリッドに基づいて、前記対象画像にテクスチャをマッピングするためのコントロールグリッドを作成する第二処理と、を実行させ、
前記ＸＹ画像は、複数のＸＹメッシュによって構成され、
前記ＵＶ画像は、前記複数のＸＹメッシュのそれぞれに対応する複数のＵＶメッシュによって構成され、
前記初期グリッドは、複数の第一メッシュと、各第一メッシュを変形させる複数の第一制御点とを備え、
前記コントロールグリッドは、前記複数の第一メッシュのそれぞれに対応する複数の第二メッシュと、前記複数の第一制御点のそれぞれに対応する複数の第二制御点とを備え、
前記第二処理は、前記コンピュータに、前記第一制御点の位置情報、前記ＸＹメッシュの位置情報、及び前記ＵＶメッシュの位置情報に基づいて、前記第二制御点の位置を決定させ、前記決定に基づいて前記コントロールグリッドを作成させる、
画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理システム、及び画像処理プログラムに関する。
【背景技術】
【0002】
画像処理システムの一つとして、特許文献１のマッピング装置が挙げられる。このマッピング装置では、２次元のベース画像に含まれる立体物の対象画像にテクスチャがマッピングされる。図７は、ニットセーターの画像にテクスチャをマッピングする手順の一例を示す。図７の左図に示されるニットウェアの袖にテクスチャをマッピングするには、右図に示されるようにユーザーが対象画像である袖の画像にコントロールグリッドを設定する。コントロールグリッドは、対象画像にマッピングされるテクスチャを変形させるためのものである。テクスチャの変形にはＦＦＤ（Ｆｒｅｅ－Ｆｏｒｍ Ｄｅｆｏｒｍａｔｉｏｎ）の技術が用いられる。コントロールグリッドは、複数のメッシュの集合体である。各メッシュの頂点は制御点と呼ばれる。ユーザーが制御点を動かすことで、コントロールグリッドに含まれる複数のメッシュが変形する。メッシュの変形に伴ってテクスチャも変形する。
【0003】
コントロールグリッドの形状に応じて変形されたテクスチャは、対象画像の輪郭線の内側にマッピングされる。ユーザーは、対象画像の立体形状に沿ったテクスチャとなるように対象画像の立体形状を想像しながら複数の制御点の位置を調整する。一度、コントロールグリッドの形状が決定されれば、ユーザーはテクスチャの種類を変更するだけで、テクスチャに応じたニットセーターの見た目を確認できる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００６－０５９１７６号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１の技術では、初期に設定されるコントロールグリッドは単純な形状を備えるため、コントロールグリッドの形状が対象画像の立体形状に対応した形状となっていないことが多い。その場合、ユーザーがコントロールグリッドを操作して、対象画像にマッピングされたテクスチャが対象画像の立体形状に適した見た目となるようにテクスチャを変形させる。この操作は非常に煩雑である。対象画像の立体形状が複雑になると、コントロールグリッドの調整とテクスチャが立体形状に沿っているかの確認とを再三繰り返す必要がある。
【0006】
本発明は上記事情に鑑みてなされたものであり、本発明の目的の一つは、２次元のベース画像に含まれる対象画像の立体形状に対応した形状のコントロールグリッドを自動で作成する画像処理システムを提供することにある。
【課題を解決するための手段】
【0007】
＜１＞本発明の一態様に係る画像処理システムは、
２次元のベース画像に含まれる立体物の対象画像にテクスチャをマッピングするためのコントロールグリッドをユーザーが操作することで、前記対象画像にマッピングされたテクスチャを変形させる画像処理システムであって、
前記対象画像に対応する３Ｄモデルを一方向から見たＸＹ画像と、前記ＸＹ画像を平面展開したＵＶ画像に関する情報を含む画像データとを記憶するメモリと、
前記ＵＶ画像に設定された初期グリッドに基づいて、前記コントロールグリッドを作成する編集部と、を備え、
前記ＸＹ画像は、複数のＸＹメッシュによって構成され、
前記ＵＶ画像は、前記複数のＸＹメッシュのそれぞれに対応する複数のＵＶメッシュによって構成され、
前記初期グリッドは、複数の第一メッシュと、各第一メッシュを変形させる複数の第一制御点とを備え、
前記コントロールグリッドは、前記複数の第一メッシュのそれぞれに対応する複数の第二メッシュと、前記複数の第一制御点のそれぞれに対応する複数の第二制御点とを備え、
前記編集部は、
前記第一制御点の位置情報、前記ＸＹメッシュの位置情報、及び前記ＵＶメッシュの位置情報に基づいて、前記第二制御点の位置を決める決定部と、
前記決定部の決定に基づいて前記コントロールグリッドを作成する第一作成部と、を備える。
２次元のベース画像に含まれる立体物の対象画像にテクスチャをマッピングするためのコントロールグリッドをユーザーが操作することで、前記対象画像にマッピングされたテクスチャを変形させる画像処理システムであって、
前記対象画像に対応する３Ｄモデルを一方向から見たＸＹ画像と、前記ＸＹ画像を平面展開したＵＶ画像に関する情報を含む画像データとを記憶するメモリと、
前記ＵＶ画像に設定された初期グリッドに基づいて、前記コントロールグリッドを作成する編集部と、を備え、
前記ＸＹ画像は、複数のＸＹメッシュによって構成され、
前記ＵＶ画像は、前記複数のＸＹメッシュのそれぞれに対応する複数のＵＶメッシュによって構成され、
前記初期グリッドは、複数の第一メッシュと、各第一メッシュを変形させる複数の第一制御点とを備え、
前記コントロールグリッドは、前記複数の第一メッシュのそれぞれに対応する複数の第二メッシュと、前記複数の第一制御点のそれぞれに対応する複数の第二制御点とを備え、
前記編集部は、
前記第一制御点の位置情報、前記ＸＹメッシュの位置情報、及び前記ＵＶメッシュの位置情報に基づいて、前記第二制御点の位置を決める決定部と、
前記決定部の決定に基づいて前記コントロールグリッドを作成する第一作成部と、を備える。
【0008】
＜２＞上記画像処理システムの一例では、
前記決定部は、前記第二制御点の位置を変数とする目的関数が最小となる前記第二制御点の集合を求め、
前記目的関数は、点Ｘの位置と点ｘｋとの差の二乗であり、
前記点Ｘは、前記ＵＶ画像上の点ｕｋを前記第二制御点に基づいて前記ＸＹ画像上に移動させた点であり、
前記点ｘｋは、前記ＸＹ画像上における前記点ｕｋに対応する点である。
前記決定部は、前記第二制御点の位置を変数とする目的関数が最小となる前記第二制御点の集合を求め、
前記目的関数は、点Ｘの位置と点ｘｋとの差の二乗であり、
前記点Ｘは、前記ＵＶ画像上の点ｕｋを前記第二制御点に基づいて前記ＸＹ画像上に移動させた点であり、
前記点ｘｋは、前記ＸＹ画像上における前記点ｕｋに対応する点である。
【0009】
＜３＞上記形態＜２＞の画像処理システムの一例では、
前記決定部は、前記複数の第二制御点が規則的に並ぶように正則化を行う。
前記決定部は、前記複数の第二制御点が規則的に並ぶように正則化を行う。
【0010】
＜４＞上記画像処理システムの一例では、
前記メモリは、立体物の平面画像と、前記立体物の３Ｄモデルを一方向から見た第一画像と、前記第一画像を平面展開した第二画像と、の対応関係を学習した学習モデルを記憶しており、
前記第一画像は、複数のメッシュによって構成されており、
前記第二画像は、前記複数のメッシュのそれぞれに対応する複数の別のメッシュによって構成されており、
前記編集部は、前記学習モデルを参照し、前記ベース画像の前記対象画像の輪郭形状の情報に基づいて前記ＸＹ画像と前記ＵＶ画像とを作成する第二作成部を備える。
前記メモリは、立体物の平面画像と、前記立体物の３Ｄモデルを一方向から見た第一画像と、前記第一画像を平面展開した第二画像と、の対応関係を学習した学習モデルを記憶しており、
前記第一画像は、複数のメッシュによって構成されており、
前記第二画像は、前記複数のメッシュのそれぞれに対応する複数の別のメッシュによって構成されており、
前記編集部は、前記学習モデルを参照し、前記ベース画像の前記対象画像の輪郭形状の情報に基づいて前記ＸＹ画像と前記ＵＶ画像とを作成する第二作成部を備える。
【0011】
＜５＞本発明の一態様に係る画像処理プログラムは、
コンピュータに、
テクスチャマッピングされる対象画像に対応する３Ｄモデルを一方向から見たＸＹ画像と、前記ＸＹ画像を平面展開したＵＶ画像に関する情報を含む画像データをメモリから読み出す第一処理と、
前記ＵＶ画像に設定された初期グリッドに基づいて、前記対象画像にテクスチャをマッピングするためのコントロールグリッドを作成する第二処理と、を実行させ、
前記ＸＹ画像は、複数のＸＹメッシュによって構成され、
前記ＵＶ画像は、前記複数のＸＹメッシュのそれぞれに対応する複数のＵＶメッシュによって構成され、
前記初期グリッドは、複数の第一メッシュと、各第一メッシュを変形させる複数の第一制御点とを備え、
前記コントロールグリッドは、前記複数の第一メッシュのそれぞれに対応する複数の第二メッシュと、前記複数の第一制御点のそれぞれに対応する複数の第二制御点とを備え、
前記第二処理は、前記コンピュータに、前記第一制御点の位置情報、前記ＸＹメッシュの位置情報、及び前記ＵＶメッシュの位置情報に基づいて、前記第二制御点の位置を決定させ、前記決定に基づいて前記コントロールグリッドを作成させる。
コンピュータに、
テクスチャマッピングされる対象画像に対応する３Ｄモデルを一方向から見たＸＹ画像と、前記ＸＹ画像を平面展開したＵＶ画像に関する情報を含む画像データをメモリから読み出す第一処理と、
前記ＵＶ画像に設定された初期グリッドに基づいて、前記対象画像にテクスチャをマッピングするためのコントロールグリッドを作成する第二処理と、を実行させ、
前記ＸＹ画像は、複数のＸＹメッシュによって構成され、
前記ＵＶ画像は、前記複数のＸＹメッシュのそれぞれに対応する複数のＵＶメッシュによって構成され、
前記初期グリッドは、複数の第一メッシュと、各第一メッシュを変形させる複数の第一制御点とを備え、
前記コントロールグリッドは、前記複数の第一メッシュのそれぞれに対応する複数の第二メッシュと、前記複数の第一制御点のそれぞれに対応する複数の第二制御点とを備え、
前記第二処理は、前記コンピュータに、前記第一制御点の位置情報、前記ＸＹメッシュの位置情報、及び前記ＵＶメッシュの位置情報に基づいて、前記第二制御点の位置を決定させ、前記決定に基づいて前記コントロールグリッドを作成させる。
【発明の効果】
【0012】
本発明の一態様に係る画像処理システムは、２次元のベース画像に示される対象画像の立体形状に対応した形状のコントロールグリッドを自動で作成する。従って、ユーザーによるコントロールグリッドの操作の手間が大幅に低減される。また、対象画像の立体形状が複雑であっても、その立体形状に沿ったテクスチャが得られ易い。
【0013】
上記形態＜２＞の構成では、対象画像の立体形状に対応した形状のコントロールグリッドが作成され易い。
【0014】
上記形態＜３＞の構成では、より一層、対象画像の立体形状に対応した形状のコントロールグリッドが作成され易い。
【0015】
上記形態＜４＞の構成では、画像処理システムに２次元のベース画像のデータが入力されるだけで、ベース画像に示される対象画像に応じたＸＹ画像とＵＶ画像のデータが作成される。即ち、ユーザーがＸＹ画像とＵＶ画像のデータを用意する必要がない。
【0016】
本発明の一態様に係る画像処理プログラムは、画像処理システムに対象画像の立体形状に適合したコントロールグリッドを作成させることができる。
【図面の簡単な説明】
【0017】
【発明を実施するための形態】
【0018】
以下、本発明の実施形態の一例を図に基づいて説明する。
【0019】
＜実施形態１＞
本例では、画像処理システムの一例として、マッピング画像をユーザーに提示する画像処理システムを説明する。マッピング画像は、２次元のベース画像に含まれる立体物の対象画像にテクスチャをマッピングした画像である。画像処理システム１は、ユーザーによるマッピング画像の編集を可能にするように構成されている。図１に示される本例の画像処理システム１は、入力部２とメモリ３と編集部４と表示部５とを備える。画像処理システム１の各構成は、有線又は無線などによって互いに接続されている。図１に示される構成はあくまで一例であって、構成の一部が省略されていても良いし、別の構成が付加されていても良い。
本例では、画像処理システムの一例として、マッピング画像をユーザーに提示する画像処理システムを説明する。マッピング画像は、２次元のベース画像に含まれる立体物の対象画像にテクスチャをマッピングした画像である。画像処理システム１は、ユーザーによるマッピング画像の編集を可能にするように構成されている。図１に示される本例の画像処理システム１は、入力部２とメモリ３と編集部４と表示部５とを備える。画像処理システム１の各構成は、有線又は無線などによって互いに接続されている。図１に示される構成はあくまで一例であって、構成の一部が省略されていても良いし、別の構成が付加されていても良い。
【0020】
≪入力部≫
本例の入力部２は、立体形状を有する対象画像を所定の方向から見た２次元のベース画像のデータなどを編集部４又はメモリ３に入力する際に利用される。入力部２は、各種の入力インターフェースを含む。２次元画像のデータは、ＵＳＢメモリなどのメディアを介して入力されても良いし、無線ネットワーク又は有線ネットワークを介して入力されても良い。
本例の入力部２は、立体形状を有する対象画像を所定の方向から見た２次元のベース画像のデータなどを編集部４又はメモリ３に入力する際に利用される。入力部２は、各種の入力インターフェースを含む。２次元画像のデータは、ＵＳＢメモリなどのメディアを介して入力されても良いし、無線ネットワーク又は有線ネットワークを介して入力されても良い。
【0021】
入力部２は、ユーザーがマッピング画像を編集するためのデバイスを備える。デバイスとしては、例えば、キーボード、マウス、スキャナ、又はデジタイザ等を備えることが挙げられる。
【0022】
≪メモリ≫
メモリ３は、ハードディスク又はソリッドステートドライブなどの記憶媒体である。メモリ３は、コンピューターに存在していても良いし、ネットワーク上に存在しても良い。本例のメモリ３には、画像データ３１と学習モデル３２とが記憶されている。学習モデル３２は必須ではない。メモリ３には、本例の画像処理をコンピュータに実行させるための画像処理プログラムが記憶されていても良い。画像処理プログラムは、ネットワーク上に存在しても良い。
メモリ３は、ハードディスク又はソリッドステートドライブなどの記憶媒体である。メモリ３は、コンピューターに存在していても良いし、ネットワーク上に存在しても良い。本例のメモリ３には、画像データ３１と学習モデル３２とが記憶されている。学習モデル３２は必須ではない。メモリ３には、本例の画像処理をコンピュータに実行させるための画像処理プログラムが記憶されていても良い。画像処理プログラムは、ネットワーク上に存在しても良い。
【0023】
画像データ３１は、ベース画像のデータと、ＸＹ画像のデータと、ＵＶ画像のデータとを含む。ベース画像のデータは、立体物が表示される２次元画像のデータである。ベース画像のデータは、ラスターデータであっても良いし、ベクターデータであっても良い。ベース画像が写真の場合、ベース画像中の対象画像の輪郭や皺が抽出される。ベース画像の対象画像には、まだテクスチャがマッピングされていない。
【0024】
ＸＹ画像６１とＵＶ画像６５に関するデータの説明に先立ち、ＸＹ画像６１とＵＶ画像６５の一例を図２に基づいて説明する。図２における対象画像はニットウェアの袖の画像である。図２にはＸＹ画像６１とＵＶ画像６５とが並んで表示されている。ＸＹ画像６１は、袖に対応する３Ｄモデルを一方向から見た画像である。ＸＹ画像６１の輪郭線は、ベース画像における対象画像の輪郭線にほぼ一致する。ここで、本例の画像処理システム１は袖の３Ｄモデルを保有しているわけではない。ＸＹ画像６１はあくまで２次元の画像である。３Ｄモデルは複数のポリゴンからなっている。従って、３Ｄモデルを一方向から見たＸＹ画像６１は、複数のポリゴンを平面に投影した複数のＸＹメッシュ６１ｍによって構成されている。図２に示されるＸＹメッシュ６１ｍは誇張して示されており、実際のＸＹメッシュ６１ｍは非常に小さい。本例の個々のＸＹメッシュ６１ｍは略三角形であるが、ＸＹメッシュ６１ｍの形状は特に限定されない。
【0025】
ＵＶ画像６５は、ＸＹ画像６１を平面展開した画像である。ＸＹ画像６１の袖は折り曲げられており、袖のいたるところに皺がある。この袖を皺がない状態でまっすぐに伸ばした画像がＵＶ画像６５である。ＸＹ画像６１において皺によって隠れる部分、即ちベース画像における袖のうち、皺で隠れる部分にはテクスチャがマッピングされない。従って、ＵＶ画像６５には、皺で隠れる部分は存在しない。ＵＶ画像６５は複数のＵＶメッシュ６５ｍによって構成されている。各ＵＶメッシュ６５ｍは、ＸＹ画像６１のＸＹメッシュ６１ｍに対応している。図２におけるＵＶメッシュ６５ｍは誇張して示されている。
【0026】
画像データ３１に含まれるＸＹ画像６１とＵＶ画像６５に関する情報としては、以下のものが挙げられる。ＸＹ画像６１に関する情報として、ＸＹ画像６１を構成する複数のＸＹメッシュ６１ｍの数に関する情報と、各ＸＹメッシュ６１ｍの位置に関する情報とが挙げられる。ＵＶ画像６５に関する情報として、ＵＶ画像６５を構成する複数のＵＶメッシュ６５ｍの数に関する情報と、各ＵＶメッシュ６５ｍの位置に関する情報とが挙げられる。画像データ３１には更に、ＸＹメッシュ６１ｍの各頂点と、ＵＶメッシュ６５ｍの各頂点とを対応させる変形情報が含まれる。変形情報は、例えばＵＶメッシュ６５ｍの各頂点の位置座標を、ＸＹメッシュ６１ｍの各頂点の位置座標に移動させる関数Ｍである。関数Ｍは、例えば回転に関する関数、スケールの変更に関する関数、及びスキューに関する関数を含む。ここで、図２では、説明の便宜上、ＸＹ画像６１とＵＶ画像６５が図示されているが、これらの画像６１，６５は必ずしも視覚的にユーザーに提示される必要はない。この場合、ＸＹ画像６１とＵＶ画像６５は実際の画像ではなく、コンピュータで内部処理をするための概念である。つまり、本例の画像処理システム１は、ＸＹ画像６１とＵＶ画像６５を作成可能なメッシュの数や位置の情報を有していれば良い。
【0027】
学習モデル３２については、後述する編集部４の学習部４４によって作成される。学習モデル３２の詳細については後述する。
【0028】
≪表示部≫
表示部５は、編集部４から出力された出力画像を表示する。出力画像には、入力部２から入力された２次元のベース画像、テクスチャ画像、及びコントロールグリッドなどが含まれる。表示部５は例えば液晶ディスプレイ、又は有機ＥＬディスプレイなどである。表示部５はタッチパネルでも良い。タッチパネルからなる表示部５は入力部２の一部を兼ねる。
表示部５は、編集部４から出力された出力画像を表示する。出力画像には、入力部２から入力された２次元のベース画像、テクスチャ画像、及びコントロールグリッドなどが含まれる。表示部５は例えば液晶ディスプレイ、又は有機ＥＬディスプレイなどである。表示部５はタッチパネルでも良い。タッチパネルからなる表示部５は入力部２の一部を兼ねる。
【0029】
≪編集部≫
編集部４は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのハードウェアプロセッサが画像処理プログラム（ソフトウェア）を実行することにより実現される。編集部４の一部又は全部は、ハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。画像処理プログラムは、予め画像処理システム１のメモリ３に記憶されていても良いし、本例の画像処理システム１とは別の場所にあるメモリに記憶されていても良い。
編集部４は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのハードウェアプロセッサが画像処理プログラム（ソフトウェア）を実行することにより実現される。編集部４の一部又は全部は、ハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。画像処理プログラムは、予め画像処理システム１のメモリ３に記憶されていても良いし、本例の画像処理システム１とは別の場所にあるメモリに記憶されていても良い。
【0030】
本例の編集部４は、決定部４０と第一作成部４１と第二作成部４２と画像作成部４３と学習部４４とを備える。本例の画像処理システム１は、ＵＶ画像６５（図２）に設定された初期グリッドに基づいて、ベース画像の対象画像６（図３）にテクスチャをマッピングするためのコントロールグリッド８を作成する機能を有する。このコントロールグリッド８の作成に関わる構成が決定部４０と第一作成部４１である。コントロールグリッド８に基づいてベース画像の対象画像６にテクスチャをマッピングする構成が画像作成部４３である。本例の画像処理システム１は更に、ベース画像に含まれる対象画像６に基づいてＸＹ画像６１とＵＶ画像６５とを作成する機能を有する。この機能に関わる構成が第二作成部４２と学習部４４である。まずは、コントロールグリッド８の作成に関わる決定部４０と第一作成部４１とを説明する。
【0031】
［決定部］
決定部４０は、図３に示されるように、ＵＶ画像６５に設定される初期グリッド７に基づいてベース画像の対象画像６にコントロールグリッド８を設定する。図３では、初期グリッド７とコントロールグリッド８とが並んで示されている。初期グリッド７は、複数の第一メッシュ７ｍと、各第一メッシュ７０を変形させる複数の第一制御点７ｃとを備える。第一メッシュ７ｍは、ＵＶメッシュ６５ｍ（図２）よりも大きい。第一メッシュ７ｍの形状は矩形であるが、特に限定されない。第一制御点７ｃは、各第一メッシュ７ｍの頂点（黒点参照）に設定される。初期グリッド７は、ユーザーが入力部２を介して設定しても良いし、編集部４が自動で設定しても良い。第一制御点７ｃの数、即ち第一メッシュ７ｍの数はユーザーによって変更可能である。初期グリッド７は、ＵＶ画像６５を内包するように設定される。
決定部４０は、図３に示されるように、ＵＶ画像６５に設定される初期グリッド７に基づいてベース画像の対象画像６にコントロールグリッド８を設定する。図３では、初期グリッド７とコントロールグリッド８とが並んで示されている。初期グリッド７は、複数の第一メッシュ７ｍと、各第一メッシュ７０を変形させる複数の第一制御点７ｃとを備える。第一メッシュ７ｍは、ＵＶメッシュ６５ｍ（図２）よりも大きい。第一メッシュ７ｍの形状は矩形であるが、特に限定されない。第一制御点７ｃは、各第一メッシュ７ｍの頂点（黒点参照）に設定される。初期グリッド７は、ユーザーが入力部２を介して設定しても良いし、編集部４が自動で設定しても良い。第一制御点７ｃの数、即ち第一メッシュ７ｍの数はユーザーによって変更可能である。初期グリッド７は、ＵＶ画像６５を内包するように設定される。
【0032】
コントロールグリッド８は、複数の第二メッシュ８ｍと、各第二メッシュ８ｍを変形させる複数の第二制御点８ｃとを備える。コントロールグリッド８は初期グリッド７に基づいて作成される。従って、各第二メッシュ８ｍは第一メッシュ７ｍに対応しており、各第二制御点８ｃは第一制御点７ｃに対応している。
【0033】
コントロールグリッド８に含まれる第二制御点８ｃは、逆ＦＦＤによって求められる。逆ＦＦＤでは、画像の変形結果から制御点の位置を求める。逆ＦＦＤを理解するために、まずＦＦＤを図４を参照し簡単に説明する。ＦＦＤでは、スマイルマークの画像９を内包するコントロールグリッド９０が設定される。この状態から、上側の三つの制御点９１が上方に移動されると、移動された制御点９１の位置に基づいて画像９を構成する各部の位置が移動する。その結果、縦方向に延びた画像９２が得られる。
【0034】
一方、逆ＦＦＤでは、変形前の画像９と変形後の画像９２とが存在する状態から、変形後の画像９２に対応する制御点９１の位置を決定する。具体的には、画像９における点ｕｋと画像９２における点ｘｋとが対応している場合を考える。仮想の第二制御点の位置に基づいて点ｕｋが点Ｘに移動する。この点Ｘの位置と点ｘｋの位置とのずれが最小となる仮想の制御点が、最適な制御点９１と考えられる。
【0035】
本例の決定部４０は、上述した逆ＦＦＤの考え方に基づいて、図３に示されるコントロールグリッド８の各第二制御点８ｃの位置を決める。最適な第二制御点８ｃは、以下の数式（１）によって求められる。数式（１）は、第二制御点８ｃの位置を変数とする目的関数が最小となる第二制御点８ｃの集合を求める式である。数式（１）のカッコ内の第一項は目的関数、第二項は、第二制御点８ｃの決定に制約をかける正則化項である。
【0036】
【数1】
【0037】
数式（１）における『Ｐ』は第二制御点８ｃの位置である。目的関数における『ｘｋ』はＸＹ画像６１におけるＸＹメッシュ６１ｍの頂点の位置、『ｕｋ』はＵＶ画像６５におけるＵＶメッシュ６５ｍの頂点の位置である。『Ｘ（ｕｋ，Ｐ）』は、点ｕｋを第二制御点８ｃに基づいてＸＹ画像６１上に移動させた位置を示す。『Ｘ（ｕｋ，Ｐ）』は、以下の数式（２）に示されるマトリックスによって表される。『Ｗ』は一つの第二メッシュ８ｍを取り囲む４つの第二制御点８ｃの重心である。
【0038】
【数2】
【0039】
数式（１）のカッコ内の第２項は正則化項である。本例の正則化項は、第二制御点８ｃが規則正しく並ぶように制約をかけるものである。制約化項の『λ』は重み（ｗｅｉｇｈｔ）である。『Ｌｉｊ（Ｐ）』は以下の数式（３）に示されるマトリックスによって表される。正則化項によって付与される制約は、簡単に説明すると、ある第二制御点８ｃが、その第二制御点８ｃを左右に挟む二つの第二制御点８ｃの中央で、かつその第二制御点８ｃを上下に挟む二つの第二制御点８ｃの中央にある、という制約である。初期グリッド７のうち、ＵＶ画像６５が存在しない領域、又はＵＶ画像６５の面積が非常に小さい領域において、ＵＶメッシュ６５ｍの頂点の位置から第二制御点８ｃを求めることは困難である。正則化は、このような領域の第一制御点７ｃに対応する第二制御点８ｃの位置を適切に求めることに有効である。
【0040】
【数3】
【0041】
［第一作成部］
第一作成部４１は、決定部４０によって決定された最適な第二制御点８ｃの集合に基づいて、図３に示されるコントロールグリッド８のデータを作成する。コントロールグリッド８のデータは、第二メッシュ８ｍの数と位置に関する情報、及び第二制御点８ｃの位置に関する情報を含む。
第一作成部４１は、決定部４０によって決定された最適な第二制御点８ｃの集合に基づいて、図３に示されるコントロールグリッド８のデータを作成する。コントロールグリッド８のデータは、第二メッシュ８ｍの数と位置に関する情報、及び第二制御点８ｃの位置に関する情報を含む。
【0042】
［画像作成部］
画像作成部４３は、第一作成部４１によって作成されたコントロールグリッド８のデータに基づいて、対象画像６にコントロールグリッド８を重ねた画像を出力画像として生成する。また、画像作成部４３は、コントロールグリッド８の形状に合わせてＦＦＤの手法に基づいてテクスチャを変形する。変形されたテクスチャは、対象画像６に重ねられる。ここで、ＸＹ画像６１とＵＶ画像６５のデータはもっぱらコントロールグリッド８の作成に利用され、テクスチャの変形には利用されない。
画像作成部４３は、第一作成部４１によって作成されたコントロールグリッド８のデータに基づいて、対象画像６にコントロールグリッド８を重ねた画像を出力画像として生成する。また、画像作成部４３は、コントロールグリッド８の形状に合わせてＦＦＤの手法に基づいてテクスチャを変形する。変形されたテクスチャは、対象画像６に重ねられる。ここで、ＸＹ画像６１とＵＶ画像６５のデータはもっぱらコントロールグリッド８の作成に利用され、テクスチャの変形には利用されない。
【0043】
［第二作成部］
第二作成部４２は、ベース画像に基づいてＸＹ画像６１とＵＶ画像６５とを作成する。第二作成部４２は必須ではない。ＸＹ画像６１のデータとＵＶ画像６５のデータは、例えば以下の非特許文献の技術に基づいて作成され得る。
・非特許文献１…Ｈａｓｈｉｍｏｔｏ， ｅｔ ａｌ.，“Ｎｅｕｒａｌｌｙ－Ｇｕｉｄｅｄ Ｔｅｘｔｕｒｉｎｇ ｆｏｒ Ｇａｒｍｅｎｔ Ｌｉｎｅ Ｄｒａｗｉｎｇｓ”，ＳＡ’２０ Ｔｅｃｈｎｉｃａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｄｅｃｅｍｂｅｒ ４－１３，２０２０，Ｖｉｒｔｕａｌ Ｅｖｅｎｔ， Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
第二作成部４２は、ベース画像に基づいてＸＹ画像６１とＵＶ画像６５とを作成する。第二作成部４２は必須ではない。ＸＹ画像６１のデータとＵＶ画像６５のデータは、例えば以下の非特許文献の技術に基づいて作成され得る。
・非特許文献１…Ｈａｓｈｉｍｏｔｏ， ｅｔ ａｌ.，“Ｎｅｕｒａｌｌｙ－Ｇｕｉｄｅｄ Ｔｅｘｔｕｒｉｎｇ ｆｏｒ Ｇａｒｍｅｎｔ Ｌｉｎｅ Ｄｒａｗｉｎｇｓ”，ＳＡ’２０ Ｔｅｃｈｎｉｃａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｄｅｃｅｍｂｅｒ ４－１３，２０２０，Ｖｉｒｔｕａｌ Ｅｖｅｎｔ， Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【0044】
非特許文献の技術を簡単に説明すると、機械学習によって編集部４に学習モデル３２を取得させる技術であって、その学習モデル３２に基づいて編集部４にＸＹ画像６１とＵＶ画像６５のデータを作成させる技術である。
【0045】
第二作成部４２は、メモリ３に記憶される学習モデル３２を参照し、ベース画像に含まれる対象画像６の輪郭形状の情報から、対象画像６に対応するＸＹ画像６１を作成する。更に、第二作成部４２は、学習モデル３２を参照し、ＸＹ画像６１に対応するＵＶ画像６５を作成する。
【0046】
［学習部］
学習部４４は、学習モデル３２を構築する。学習モデル３２の構築するための教師データは、例えば図５に示される平面画像１０と第一画像１１と第二画像１２である。平面画像１０は立体物を一方向から見た画像である。第一画像１１は、立体物の３Ｄモデルを一方向から見た画像である。第一画像１１は、３Ｄモデルのポリゴンを平面に投影した複数のメッシュ１１ｍによって構成されている。第二画像１２は、第一画像１１を平面展開した画像である。第二画像１２は、各メッシュ１１ｍに対応するメッシュ１２ｍによって構成されている。図５では、メッシュ１１ｍ，１２ｍの一部のみが示されている。学習部４４は、平面画像１０と第一画像１１と第二画像１２との対応関係をデータとして取得し、学習モデル３２として蓄積する。学習モデル３２は、平面画像１０を入力変数、第一画像１１を出力変数とする学習モデルと、第一画像１１を入力変数、第二画像１２を出力変数とする学習モデルとで構成されている。
学習部４４は、学習モデル３２を構築する。学習モデル３２の構築するための教師データは、例えば図５に示される平面画像１０と第一画像１１と第二画像１２である。平面画像１０は立体物を一方向から見た画像である。第一画像１１は、立体物の３Ｄモデルを一方向から見た画像である。第一画像１１は、３Ｄモデルのポリゴンを平面に投影した複数のメッシュ１１ｍによって構成されている。第二画像１２は、第一画像１１を平面展開した画像である。第二画像１２は、各メッシュ１１ｍに対応するメッシュ１２ｍによって構成されている。図５では、メッシュ１１ｍ，１２ｍの一部のみが示されている。学習部４４は、平面画像１０と第一画像１１と第二画像１２との対応関係をデータとして取得し、学習モデル３２として蓄積する。学習モデル３２は、平面画像１０を入力変数、第一画像１１を出力変数とする学習モデルと、第一画像１１を入力変数、第二画像１２を出力変数とする学習モデルとで構成されている。
【0047】
ここで、画像処理システム１が第二作成部４２を備える場合であっても、学習部４４は必須ではない。例えば、本例の画像処理システム１とは別のシステムによって学習モデル３２が作成された場合、その学習モデル３２がメモリ３に記憶されていれば、学習部４４は必要ない。
【0048】
≪実施形態１の構成の効果≫
実施形態１に示される画像処理システム１によれば、２次元のベース画像に含まれる対象画像６の立体形状に対応したコントロールグリッド８が自動で作成される。従って、ユーザーによるコントロールグリッド８の操作の手間が大幅に低減される。この点を、図６に基づいて説明する。
実施形態１に示される画像処理システム１によれば、２次元のベース画像に含まれる対象画像６の立体形状に対応したコントロールグリッド８が自動で作成される。従って、ユーザーによるコントロールグリッド８の操作の手間が大幅に低減される。この点を、図６に基づいて説明する。
【0049】
図６は、本例の画像処理システム１を用いたテクスチャの調整手順を説明する図である。図６（Ａ）には、ベース画像の対象画像６が示されている。図６に示される対象画像６はスカートである。本例の画像処理システム１は、図６（Ｂ）に示すように、ベース画像のデータに基づいて、ベース画像中の対象画像６にコントロールグリッド８を設定する。コントロールグリッド８は、対象画像６の立体形状におおむね沿った形状になっている。また、コントロールグリッド８に基づいて対象画像６に合成されたテクスチャのチェック柄も、対象画像６の立体形状におおむね沿った形状となっている。
【0050】
ユーザーは、表示部５に表示されるチェック柄を参照しながら、図６（Ｃ）に示されるようにコントロールグリッド８を変形させる。ユーザーは、満足のいく結果が得られたらコントロールグリッド８の編集を終了する。ユーザーは、コントロールグリッド８を非表示に切り替える。その結果、図６（Ｄ）に示されるように、対象画像６にテクスチャがマッピングされたマッピング画像が得られる。
【0051】
≪画像処理システムの用途≫
画像処理システム１の用途は、ニットウェアの柄の確認に限定されるわけではない。画像処理システム１は、例えば、インテリアの宣材写真におけるインテリアの柄を変更することに利用することができる。その他、画像処理システム１は、漫画のスクリーントーンの作成に利用することもできる。
画像処理システム１の用途は、ニットウェアの柄の確認に限定されるわけではない。画像処理システム１は、例えば、インテリアの宣材写真におけるインテリアの柄を変更することに利用することができる。その他、画像処理システム１は、漫画のスクリーントーンの作成に利用することもできる。
【符号の説明】
【0052】
１ 画像処理システム
２ 入力部
３ メモリ
３１ 画像データ、３２ 学習モデル
４ 編集部
４０ 決定部、４１ 第一作成部、４２ 第二作成部、４３ 画像作成部、４４ 学習部
５ 表示部
６ 対象画像
６１ ＸＹ画像、６１ｍ ＸＹメッシュ、６５ ＵＶ画像、６５ｍ ＵＶメッシュ
７ 初期グリッド
７ｃ 第一制御点、７ｍ 第一メッシュ
８ コントロールグリッド
８ｃ 第二制御点、８ｍ 第二メッシュ
９，９２ 画像、９０ コントロールグリッド、９１ 制御点
１０ 平面画像
１１ 第一画像、１１ｍ メッシュ、１２ 第二画像、１２ｍ メッシュ
２ 入力部
３ メモリ
３１ 画像データ、３２ 学習モデル
４ 編集部
４０ 決定部、４１ 第一作成部、４２ 第二作成部、４３ 画像作成部、４４ 学習部
５ 表示部
６ 対象画像
６１ ＸＹ画像、６１ｍ ＸＹメッシュ、６５ ＵＶ画像、６５ｍ ＵＶメッシュ
７ 初期グリッド
７ｃ 第一制御点、７ｍ 第一メッシュ
８ コントロールグリッド
８ｃ 第二制御点、８ｍ 第二メッシュ
９，９２ 画像、９０ コントロールグリッド、９１ 制御点
１０ 平面画像
１１ 第一画像、１１ｍ メッシュ、１２ 第二画像、１２ｍ メッシュ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】