(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-08-04
(54)【発明の名称】認識領域のスタイルを変換するシステム及び方法
(51)【国際特許分類】
G06T 5/00 20060101AFI20220728BHJP
G06T 1/40 20060101ALI20220728BHJP
G06T 11/80 20060101ALI20220728BHJP
【ＦＩ】
G06T5/00
G06T1/40
G06T11/80 A
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021569352
(86)(22)【出願日】2020-04-03
(85)【翻訳文提出日】2021-11-19
(86)【国際出願番号】 KR2020004590
(87)【国際公開番号】W WO2020235806
(87)【国際公開日】2020-11-26
(31)【優先権主張番号】10-2019-0059322
(32)【優先日】2019-05-21
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＺＩＧＢＥＥ
２．ＭＥＭＯＲＹ ＳＴＩＣＫ
(71)【出願人】
【識別番号】521508782
【氏名又は名称】コオダットゥデイ インク
【氏名又は名称原語表記】ＣＯＲＥＤＯＴＴＯＤＡＹ ＩＮＣ．
【住所又は居所原語表記】５０， ＵＮＩＳＴ－ｇｉｌ， Ｅｏｎｙａｎｇ－ｅｕｐ， Ｕｌｊｕ－ｇｕｎ， Ｕｌｓａｎ ４４９１９， Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100121382
【弁理士】
【氏名又は名称】山下 託嗣
(72)【発明者】
【氏名】キム，キョン フン
(72)【発明者】
【氏名】ジャン，ボン ス
【テーマコード（参考）】
5B050
5B057
【Ｆターム（参考）】
5B050AA09
5B050BA06
5B050BA13
5B050CA01
5B050DA01
5B050EA11
5B057CE08
5B057CE20
(57)【要約】
本発明に係る変換対象である認識領域のスタイルを変換するシステムは、適用対象及び認識領域に関する情報を受信する通信モジュールと、前記認識領域のスタイルを変換するためのプログラムが格納されたメモリと、前記メモリに格納されたプログラムを実行させるプロセッサとを含み、前記プロセッサは、前記プログラムを実行させることにより、前記適用対象のスタイルをディープラーニング（Ｄｅｅｐ ｌｅａｒｎｉｎｇ）に基づいて訓練されたスタイル変換のガイドラインとして設定し、前記通信モジュールにより受信した認識領域に前記ガイドラインを適用して出力する。
【特許請求の範囲】
【請求項1】
認識領域のスタイルを変換する方法において、適用対象のスタイルをディープラーニング（Ｄｅｅｐ ｌｅａｒｎｉｎｇ）に基づいて訓練されたスタイル変換のガイドラインとして設定する段階と、
変換対象である前記認識領域をキャプチャする段階と、
前記設定されたガイドラインを前記認識領域に適用する段階と、
前記ガイドラインが適用された認識領域を出力する段階とを含み、
前記適用対象は、プロジェクタビームを介して出力された画風イメージであり、
前記スタイル変換の適用対象である画風イメージを、前記プロジェクタビームを介して出力する段階を更に含み、
前記設定されたガイドラインを前記認識領域に適用する段階は、
前記設定されたガイドラインを前記認識領域内に含まれている背景及び客体に適用し、前記プロジェクタビームを介して出力された画風イメージに混合して適用することを特徴とする、スタイル変換方法。
【請求項2】
前記設定されたガイドラインを前記認識領域に適用する段階は、前記認識領域内の背景に前記画風イメージの原本が含まれている場合、前記ガイドラインを前記原本の画風イメージと混合して適用するものであることを特徴とする請求項１に記載のスタイル変換方法。
【請求項3】
前記プロジェクタビームの出力領域及び前記認識領域は、同一又は異なる大きさを有するように設定する段階を更に含むことを特徴とする請求項１に記載のスタイル変換方法。
【請求項4】
認識領域のスタイルを変換する方法において、適用対象のスタイルをディープラーニング（Ｄｅｅｐ ｌｅａｒｎｉｎｇ）に基づいて訓練されたスタイル変換のガイドラインとして設定する段階と、
変換対象である前記認識領域をキャプチャする段階と、
前記設定されたガイドラインを前記認識領域に適用する段階と、
前記ガイドラインが適用された認識領域を出力する段階とを含み、
前記適用対象は、プロジェクタビームを介して出力された画風イメージであり、
前記スタイル変換の適用対象である画風イメージを前記プロジェクタビームを介して出力する段階と、
前記プロジェクタビームの出力領域及び前記認識領域は、同一又は異なる大きさを有するように設定する段階とを含み、
前記設定されたガイドラインを前記認識領域に適用する段階は、
前記出力領域及び認識領域が互いに同一の大きさを有するように設定された場合、前記ガイドラインを前記認識領域内に出力された画風イメージ全体に重複して適用するものである、スタイル変換方法。
【請求項5】
認識領域のスタイルを変換する方法において、適用対象のスタイルをディープラーニング（Ｄｅｅｐ ｌｅａｒｎｉｎｇ）に基づいて訓練されたスタイル変換のガイドラインとして設定する段階と、
変換対象である前記認識領域をキャプチャする段階と、
前記設定されたガイドラインを前記認識領域に適用する段階と、
前記ガイドラインが適用された認識領域を出力する段階とを含み、
前記適用対象は、プロジェクタビームを介して出力された画風イメージであり、
前記スタイル変換の適用対象である画風イメージを前記プロジェクタビームを介して出力する段階と、
前記プロジェクタビームの出力領域及び前記認識領域は、同一又は異なる大きさを有するように設定する段階を更に含み、
前記設定されたガイドラインを前記認識領域に適用する段階は、
前記出力領域及び認識領域が互いに異なる大きさを有するように設定された場合、前記出力領域と重畳する認識領域内に出力された画風イメージには、前記ガイドラインが重複して適用され、重畳していない認識領域には、前記ガイドラインが１次的に適用されるものである、スタイル変換方法。
【請求項6】
認識領域のスタイルを変換する方法において、適用対象のスタイルをディープラーニング（Ｄｅｅｐ ｌｅａｒｎｉｎｇ）に基づいて訓練されたスタイル変換のガイドラインとして設定する段階と、
変換対象である前記認識領域をキャプチャする段階と、
前記設定されたガイドラインを前記認識領域に適用する段階と、
前記ガイドラインが適用された認識領域を出力する段階とを含み、
前記適用対象は、特定のスタイルを含む実物又はイメージに含まれている特定の客体であり、
前記スタイル変換のガイドラインとして設定する段階は、前記実物又はイメージに含まれている特定の客体の特定のスタイルを前記ガイドラインとして設定するものであり、
前記スタイル変換のガイドラインとして設定する段階は、
前記実物又はイメージに含まれている複数の特定の客体のうちの何れか１つをランダムに又はユーザの入力により選択する段階と、
前記選択された特定の客体に含まれている複数の特定のスタイルのうちの何れか１つをランダムに又はユーザの入力により選択する段階と、
前記選択された特定の客体の特定のスタイルを前記ガイドラインとして設定する段階と、
を含むことを特徴とする、スタイル変換方法。
【請求項7】
変換対象である認識領域のスタイルを変換するシステムにおいて、適用対象及び認識領域に関する情報を受信する通信モジュールと、
前記認識領域のスタイルを変換するためのプログラムが格納されたメモリと、
前記メモリに格納されたプログラムを実行させるプロセッサとを含み、
前記プロセッサは、前記プログラムを実行させることにより、前記適用対象のスタイルをディープラーニング（Ｄｅｅｐ ｌｅａｒｎｉｎｇ）に基づいて訓練されたスタイル変換のガイドラインとして設定し、前記通信モジュールにより受信した認識領域に前記ガイドラインを適用して出力し、
前記適用対象は、プロジェクタビームを介して出力された画風イメージであり、
前記プロセッサは、前記スタイル変換の適用対象である画風イメージを前記プロジェクタビームを介して出力し、前記設定されたガイドラインを前記認識領域内に含まれている背景及び客体に適用し、前記プロジェクタビームを介して出力された画風イメージに混合して適用することを特徴とする、スタイル変換システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、認識領域のスタイルを変換するシステム及び方法に関する。
【背景技術】
【0002】
近年、ディープラーニング分野では、画家のスタイルが反映されたイメージを一般の写真に混合して、画家の画風が盛り込まれた新たな絵を生成する、いわばスタイル変換という技術が浮上している。
【0003】
このようなスタイル変換は、技術の発達に伴い、ある程度コンピュータに関する知識を持っている人であれば簡単に使用できる普遍化した水準にまで至るようになった。
【0004】
しかし、従来技術によるスタイル変換技術は、画家の画風が投影されたイメージを特定の写真やイメージに適用するにとどまっており、実物の客体のスタイルを反映したり、実際の認識領域をキャプチャしてスタイルを反映するなど、ユーザの様々なニーズを満たしていないという問題があった。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は上記事情に鑑みてなされたものであって、その目的は、スタイルを適用して変換しようとする認識領域をキャプチャし、プロジェクタビームを介して出力された画家の画風イメージや、イメージ又は実物の客体に適用された特定のスタイルをキャプチャされた認識領域に適用できるスタイル変換システム及び方法を提供することにある。
【0006】
なお、本実施例が達成しようとする技術的課題は、前述した技術的課題に限らず、更に他の技術的な課題が存在し得る。
【課題を解決するための手段】
【0007】
上述した技術的課題を達成するための技術的手段として、本発明の一側面に係る認識領域のスタイルを変換する方法は、適用対象のスタイルをディープラーニング（Ｄｅｅｐ ｌｅａｒｎｉｎｇ）に基づいて訓練されたスタイル変換のガイドラインとして設定する段階と、変換対象である前記認識領域をキャプチャする段階と、前記設定されたガイドラインを前記認識領域に適用する段階と、前記ガイドラインが適用された認識領域を出力する段階とを含む。
【0008】
一実施例として、前記適用対象は、プロジェクタビームを介して出力された画風イメージであってもよい。
【0009】
本発明に係るスタイル変換方法は、一実施例として、前記スタイル変換の適用対象である画風イメージを、前記プロジェクタビームを介して出力する段階を更に含むことができる。
【0010】
一実施例として、前記設定されたガイドラインを前記認識領域に適用する段階は、前記設定されたガイドラインを前記認識領域内に含まれている背景や客体に適用し、前記プロジェクタビームを介して出力された画風イメージに混合して適用することができる。
【0011】
一実施例として、前記設定されたガイドラインを前記認識領域に適用する段階は、前記認識領域内の背景に前記画風イメージのオリジナルが含まれている場合、前記ガイドラインを前記オリジナルの画風イメージに混合して適用することができる。
【0012】
発明に係るスタイル変換方法は、一実施例として、前記プロジェクタビームの出力領域及び前記認識領域を、同一又は異なる大きさを有するように設定できる。
【0013】
一実施例として、前記設定されたガイドラインを前記認識領域に適用する段階は、前記出力領域及び認識領域が互いに同一の大きさを有するように設定された場合、前記ガイドラインを前記認識領域内に出力された画風イメージ全体に重複して適用することができる。
【0014】
一実施例として、前記設定されたガイドラインを前記認識領域に適用する段階は、前記出力領域及び認識領域が互いに異なる大きさを有するように設定された場合、前記出力領域と重畳する認識領域内に出力された画風イメージには、前記ガイドラインが重複して適用され、重畳していない認識領域には、前記ガイドラインが１次的に適用されることができる。
【0015】
一実施例として、前記適用対象は、特定のスタイルを含む実物又はイメージに含まれている特定の客体であってもよい。
【0016】
一実施例として、前記スタイル変換のガイドラインとして設定する段階は、前記実物又はイメージに含まれている特定の客体の特定のスタイルを前記ガイドラインとして設定することができる。
【0017】
一実施例として、前記スタイル変換のガイドラインとして設定する段階は、前記実物又はイメージに含まれている複数の特定の客体のうちの何れか１つをランダムに又はユーザの入力により選択する段階と、前記選択された特定の客体に含まれている複数の特定のスタイルのうちの何れか１つをランダムに又はユーザの入力により選択する段階と、前記選択された特定の客体の特定のスタイルを前記ガイドラインとして設定する段階とを含むことができる。
【0018】
また、本発明の他の側面に係る変換対象である認識領域のスタイルを変換するシステムは、適用対象及び認識領域に関する情報を受信する通信モジュールと、前記認識領域のスタイルを変換するためのプログラムが格納されたメモリと、前記メモリに格納されたプログラムを実行させるプロセッサとを含む。このとき、前記プロセッサは、前記プログラムを実行させることにより、前記適用対象のスタイルをディープラーニング（Ｄｅｅｐ ｌｅａｒｎｉｎｇ）に基づいて訓練されたスタイル変換のガイドラインとして設定し、前記通信モジュールにより受信した認識領域に前記ガイドラインを適用して出力する。
【発明の効果】
【0019】
前述した本発明の課題を解決するための手段のうちの何れか１つによれば、特定のスタイルを含んでいる適用対象の範囲をイメージだけではなく、実際の客体のスタイルや写真内に含まれている特定の領域のスタイルに拡張させることができるという長所がある。
【0020】
また、プロジェクトビームを用いることによって、限られた写真空間に限定された認識領域を実際の客体と背景に拡張でき、出力された画風イメージやオリジナルに対しても重複適用が可能であり、より多様なスタイル適用が可能であるという長所がある。
【0021】
本発明の効果は、以上で言及した効果に限らず、言及していない更に他の効果は、下記の記載から通常の技術者が明確に理解できるだろう。
【図面の簡単な説明】
【0022】
【図1】従来技術によるスタイル変換を説明する図である。
【図2】本発明の一実施例に係るスタイル変換システムのブロック図である。
【図3】本発明の一実施例に係るスタイル変換方法のフローチャートである。
【図4a】キャプチャされた認識領域を示す図である。
【図4b】ガイドラインが適用されて出力された認識領域を示す図である。
【図5a】実物の客体又はイメージに含まれている特定のスタイルをガイドラインとして設定して認識領域に適用する一実施例を説明する図である。
【図5b】実物の客体又はイメージに含まれている特定のスタイルをガイドラインとして設定して認識領域に適用する一実施例を説明する図である。
【図5c】実物の客体又はイメージに含まれている特定のスタイルをガイドラインとして設定して認識領域に適用する一実施例を説明する図である。
【図5d】実物の客体又はイメージに含まれている特定のスタイルをガイドラインとして設定して認識領域に適用する一実施例を説明する図である。
【発明を実施するための形態】
【0023】
以下、添付の図面を参照して本発明の属する技術分野における通常の知識を有する者が容易に実施できるように本発明の実施例を詳細に説明する。しかし、本発明は様々な異なる形態で実現でき、ここで説明する実施例に限定されない。なお、図面において本発明を明確に説明するために説明と関係のない部分は省略した。
【0024】
明細書全体に亘ってある部分がある構成要素を「含む」とするとき、これは特に反対の記載がない限り、他の構成要素を除外するのではなく、他の構成要素を更に含むことができることを意味する。
【0025】
図１は、従来技術によるスタイル変換を説明する図である。
【0026】
スタイル変換は、ｉｍａｇｅ-ｔｏｉｍａｇｅ ｔｒａｎｓｌａｔｉｏｎ又はｔｅｘｔｕｒｅ ｔｒａｎｓｆｅｒなどと呼ばれ、これは１つのイメージＰを他のイメージＡのスタイルを有する新たなイメージｘを生成する方式である。
【0027】
例えば、図１のように、一般の写真イメージＰに「ゴッホ」の「星が輝く夜」のスタイルを適用するようにして、ｘのような新たなイメージを生成する方式を意味する。
【0028】
本発明の一実施例は、前記のようなスタイル変換から更には、写真ではなくプロジェクトビームを用いて、実際の人間と同じ客体と背景に直接スタイルを適用できるようにすることができ、また実物の客体やイメージに含まれている特定のスタイルを直接適用できるようにすることを特徴とする。
【0029】
以下、図２を参照して本発明の一実施例に係るスタイル変換システム１００について説明する。
【0030】
図２は、本発明の一実施例に係るスタイル変換システム１００のブロック図である。
【0031】
本発明の一実施例に係るスタイル変換システム１００は、通信モジュール１１０、メモリ１２０及びプロセッサ１３０を含むように構成できる。
【0032】
通信モジュール１１０は、変換対象である認識領域と適用対象に関する情報を受信する。
【0033】
このような通信モジュール１１０は、有線通信モジュール及び無線通信モジュールを何れも含むことができる。有線通信モジュールは電力線通信装置、電話線通信装置、ケーブルホーム（ＭｏＣＡ）、イーサネット（Ｅｔｈｅｒｎｅｔ）（登録商標）、ＩＥＥＥ１２９４、統合有線ホームネットワーク及びＲＳ－４８５制御装置で実現できる。また、無線通信モジュールは、ＷＬＡＮ（ｗｉｒｅｌｅｓｓ ＬＡＮ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＨＤＲ ＷＰＡＮ、ＵＷＢ、ＺｉｇＢｅｅ、Ｉｍｐｕｌｓｅ Ｒａｄｉｏ、６０ＧＨｚ ＷＰＡＮ、Ｂｉｎａｒｙ-ＣＤＭＡ、無線ＵＳＢ技術や無線ＨＤＭＩ（登録商標）技術などに具現できる。
【0034】
本発明における適用対象は、画家の画風など特定のスタイルを含んでいる対象を意味する。一実施例としてプロジェクタビームを介して出力された画家の画風イメージであるか、特定のスタイルを含む実物又はイメージに含まれている特定の客体であり得る。
【0035】
本発明における認識領域は、前記特定のスタイルを適用するための領域を意味する。一実施例として、認識領域は、カメラによりキャプチャされた特定の領域であるか、又はスキャナによりスキャンされた特定のイメージであり得る。
【0036】
メモリ１２０には、認識領域のスタイルを変換するためのプログラムが格納され、プロセッサ１３０は、メモリ１２０に格納されたプログラムを実行させる。ここで、メモリとは、電源が供給されなくても格納された情報を維持し続ける不揮発性格納装置及び揮発性格納装置を意味する。
【0037】
例えば、メモリ１２０は、コンパクトフラッシュ（登録商標）（ｃｏｍｐａｃｔ ｆｌａｓｈ;ＣＦ）カード、ＳＤ（ｓｅｃｕｒｅ ｄｉｇｉｔａｌ）カード、メモリスティック（ｍｅｍｏｒｙ ｓｔｉｃｋ）、ソリッドステートドライブ（ｓｏｌｉｄ－ｓｔａｔｅ ｄｒｉｖｅ;ＳＳＤ）及びマイクロ（ｍｉｃｒｏ）ＳＤカードなどといったＮＡＮＤ型フラッシュメモリ（ＮＡＮＤ ｆｌａｓｈ ｍｅｍｏｒｙ）、ハードディスクドライブ（ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ；ＨＤＤ）などといった磁気コンピュータ記憶装置、及び、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭなどといった光学ディスクドライブ（ｏｐｔｉｃａｌ ｄｉｓｃ ｄｒｉｖｅ）などを含むことができる。
【0038】
プロセッサ１３０は、メモリ１２０に格納されたプログラムを実行することによって、適用対象のスタイルをディープラーニングに基づいて訓練されたスタイル変換のガイドラインとして設定する。
【0039】
そして、通信モジュール１１０により受信した認識領域にガイドラインを適用して出力する。
【0040】
【0041】
図３は、本発明の一実施例に係るスタイル変換方法のフローチャートである。
【0042】
本発明の一実施例に係るスタイル変換方法は、まず適用対象のスタイルをディープラーニングに基づいて訓練されたスタイル変換のガイドラインとして設定する（Ｓ１１０）。
【0043】
本発明における適用対象は、一実施例として、プロジェクタビームを介して出力された画風イメージであり得る。
【0044】
即ち、本発明の一実施例は、スタイル変換の適用対象である画風イメージを、プロジェクタビームを介して出力し、出力された画風イメージのスタイルをスタイル変換のガイドラインとして設定できる。
【0045】
また、本発明の前記適用対象は、一実施例として、特定のスタイルを含む実物又はイメージに含まれている特定の客体であってもよい。
【0046】
即ち、実物の客体や映像、又はイメージに含まれている特定の客体に適用された特定のスタイルを抽出してスタイル変換のガイドラインとして設定できる。
【0047】
次に、変換対象の認識領域をキャプチャする（Ｓ１２０）。
【0048】
一実施例として、認識領域は、カメラによりキャプチャされた特定の領域であるか、スキャナによりスキャンされた特定のイメージであり、以下、説明の便宜上、カメラによりキャプチャされた特定の領域であると仮定する。
【0049】
次に、設定されたガイドラインをキャプチャされた認識領域に適用し（Ｓ１３０）、ガイドラインが適用された認識領域を出力する（Ｓ１４０）。
【0050】
以下、プロジェクタビームを用いてスタイルイメージをガイドラインとして設定して認識領域に適用する一実施例をまず設定した後、実物の客体又はイメージに含まれている特定のスタイルをガイドラインとして設定して認識領域に適用する一実施例を説明する。
【0051】
【0052】
図４ａは、「ゴッホ」の「星が輝く夜」という画風イメージをプロジェクタビームを介して出力した図である。
【0053】
図４ａを更に具体的に説明すると、右側の領域には画風イメージのオリジナルが配置されており、左側の領域にはプロジェクタビームを介して画風イメージが出力されており、左側の領域の一部には客体である人が位置している。このような図４ａの領域全体は、カメラにより認識された認識領域を示す。
【0054】
本発明の一実施例は、プロジェクタビームを介して出力された「星が輝く夜」の画風イメージに適用された「ゴッホ」の画風スタイルを、ディープラーニングに基づいて訓練されたスタイル変換のガイドラインとして設定する。
【0055】
そして、カメラを介して、図４ａのように、認識領域をキャプチャした後、設定された「星が輝く夜」の画風スタイルのガイドラインを認識領域に適用する。
【0056】
そのとき、本発明の一実施例は、設定されたガイドラインを認識領域内に含まれている背景や客体に適用し、プロジェクタビームを介して出力された画風イメージに混合して適用できる。
【0057】
即ち、図４ａでプロジェクタビームを介して出力された画風イメージと客体、そしてこれを除いた残りの背景領域に「星が輝く夜」の画風スタイルのガイドラインを適用できる。
【0058】
この過程でプロジェクタビームを介して出力された画風イメージには、「星が輝く夜」の画風スタイルのガイドラインがもう一度適用されることによって、図４ｂのように認識領域内の画風イメージには、更に「ゴッホ」スタイルが適用された結果物が出力されることができる。
【0059】
また、本発明の一実施例は、認識領域内の背景に画風イメージのオリジナルが含まれている場合、ガイドラインをオリジナルの画風イメージに混合して適用できる。
【0060】
即ち、図４ａにおいてプロジェクタビームを介して出力された画風イメージとは別に、認識領域内にオリジナルの画風イメージが含まれている場合、オリジナルの画風イメージには「星が輝く夜」の画風スタイルのガイドラインがもう一度適用されることによって、図４ｂのように、認識領域内の画風イメージには、更に「ゴッホ」スタイルが適用された結果物を出力できる。
【0061】
結果として、図４ｂのように、認識領域内のオリジナルの画風イメージとプロジェクタビームを介して出力された画風イメージには、ガイドラインとして設定された画風イメージが追加的に適用され、より強烈なスタイルを有するよう変換でき、その他の客体や背景領域には１回の画風イメージスタイルを適用できる。
【0062】
一実施例として、ガイドラインの適用領域及び適用強度は、ユーザによって調節できる。
【0063】
例えば、ユーザは、図４ａで人の客体領域に対してのみガイドラインが適用されるようにでき、適用強度も予め設定された複数の等級に従って適用されるようにもできる。
【0064】
一方、本発明の一実施例において、プロジェクタビームの出力領域とカメラなどによってキャプチャされた認識領域を、互いに同一又は異なる大きさを有するように設定できる。
【0065】
一実施例として、プロジェクタビームの出力領域と認識領域が互いに同一の大きさを有するように設定された場合、前記ガイドラインを、認識領域内に出力された画風イメージ全体に重複して適用できる。
【0066】
即ち、プロジェクタビームの出力領域と認識領域が互いに同一の大きさに設定された場合は、プロジェクタビームを介して出力しようとする画風イメージの大きさと同一の大きさを有するようにカメラの認識領域を設定したものであるため、認識領域全体には画風イメージの全体がそのままマッチングして含まれることになる。
【0067】
従って、認識領域にガイドラインが適用される場合には、既にスタイルが適用された画風イメージに重複してガイドラインが適用され、その結果、図４ｂのプロジェクタビームの出力領域のように、より強烈なスタイルを有するように変換されることになる。
【0068】
また、他の実施例として、プロジェクタビームの出力領域と認識領域が互いに異なる大きさを有するように設定された場合、プロジェクタビームの出力領域と重畳する認識領域内に出力された画風イメージにはガイドラインが重複して適用され、図４ｂのプロジェクタビームの出力領域のように、より強烈なスタイルを有するように変換されることになり得る。
【0069】
そして、プロジェクタビームの出力領域と重畳していない認識領域には、ガイドラインが１次的にのみ適用され、重複して適用されたものよりは強烈ではないスタイルを有するように変換できる。
【0070】
このようなプロジェクタビームを用いた実施例は、画家の画風が反映されたイメージを、プロジェクタビームを発射してガイドラインを描き、これをスタイル変換に適用して、写真にどのように画家の画風を反映すべきか、ディープラーニングアルゴリズムにガイドラインを示す役割を果たせる。
【0071】
【0072】
本発明の更に他の実施例において、適用対象は、特定のスタイルを含む実物又はイメージに含まれている特定の客体であり得る。
【0073】
これにより、本発明は、実物又はイメージに含まれている特定の客体の特定のスタイルをガイドラインとして設定してスタイル変換に適用できる。
【0074】
例えば、図５ａのように画家の画風を反映したい部分を発泡スチロールなどの物体を用いて表現し、これをキャプチャしてガイドラインとして設定してスタイル変換に適用できる。
【0075】
また、図５ｂのように、発泡スチロールで表現された加工物は、写真にどのように画家の画風を反映すべきか、ディープラーニングアルゴリズムであるスタイル変換にガイドラインを示す役割を果たせる。
【0076】
このようなガイドラインが設定されると、生い茂った木型ペーパーカッティング、発泡スチロールなどの加工物で表現された図５ｃのような変換対象の認識領域をキャプチャし、前記設定されたガイドラインを認識領域に適用することにより、図５ｄのように、加工物を区分してスタイルを変換することができる。このとき、図５ｄの場合は、木の葉の形状が画家の画風によって変形されたものである。
【0077】
一方、本発明の一実施例は、実物又はイメージに含まれている複数の特定の客体の特定のスタイルを選択して適用できる。
【0078】
まず、実物又はイメージに含まれている複数の特定の客体のうちの何れか１つをランダムに又はユーザの入力により選択できる。
【0079】
そして、選択された特定の客体に含まれている複数の特定のスタイルのうちの何れか１つをランダムに又はユーザの入力により選択でき、その結果、選択された特定の客体の特定のスタイルをガイドラインとして設定してスタイル変換に適用できる。
【0080】
上述した説明において、段階Ｓ１１０ないし段階Ｓ１４０は、本発明の実現例によって、追加の段階に更に分割されるか、より少ない段階に組み合わせることができる。また、一部の段階を必要に応じて省略することもでき、段階同士の順序を変更することもできる。更に、その他の省略された内容であっても、図２でのスタイル変換システム１００について既に記述された内容は、図３ないし図５ｄのスタイル変換方法にも適用される。
【0081】
本発明の一実施例は、コンピュータにより実行される媒体に格納されたコンピュータプログラム又はコンピュータにより実行可能な命令語を含む記録媒体の形態によっても実現できる。コンピュータ読み取り可能な媒体は、コンピュータによりアクセスできる任意の可用媒体であり、揮発性及び不揮発性媒体、分離型及び非分離型媒体を全て含む。また、コンピュータ読み取り可能な媒体は、コンピュータ格納媒体及び通信媒体を何れも含めることができる。コンピュータ格納媒体は、コンピュータ読み取り可能な命令語、データの構造、プログラムモジュール又はその他のデータのような情報の格納のための任意の方法又は技術により実現された揮発性及び不揮発性、分離型及び非分離型媒体を全て含む。通信媒体は、典型的にコンピュータ読み取り可能な命令語、データの構造、プログラムモジュール、又は搬送波のような変調されたデータ信号のその他のデータ、又はその他の伝送メカニズムを含み、任意の情報伝達媒体を含む。
【0082】
本発明の方法やシステムは、特定の実施例と関連して説明されているが、それらの構成要素又は動作の一部又は全部は、汎用のハードウェアアーキテクチャを有するコンピュータシステムを用いて実現できる。
【0083】
前述した本発明の説明は、例示のためのものであり、本発明の属する技術分野における通常の知識を有する者は、本発明の技術的思想や必須の特徴を変更することなく、他の具体的な形態に容易に変形可能であることが理解できるはずである。そのため、以上で記述した実施例はあらゆる面で例示的なものであり、限定的でないものと理解すべきである。例えば、単一型に説明されている各構成要素を分散して実施することもでき、同様に、分散したものと説明されている構成要素も結合した形態として実施することもできる。
【0084】
本発明の範囲は、前記詳細な説明よりは後述する特許請求の範囲によって示され、特許請求の範囲の意味及び範囲、そしてその均等な概念から導き出される全ての変更又は変形された形態が本発明の範囲に含まれるものと解釈されるべきである。
【図1】
【図2】
【図3】
【図4a】
【図4b】
【図5a】
【図5b】
【図5c】
【図5d】
【手続補正書】
【提出日】2021-11-19
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
スタイル変換システムにより行われる、認識領域のスタイルを変換する方法において、適用対象のスタイルをディープラーニング（Ｄｅｅｐ ｌｅａｒｎｉｎｇ）に基づいて訓練されたスタイル変換のガイドラインとして設定する段階と、
変換対象である前記認識領域をキャプチャする段階と、
前記設定されたガイドラインを前記認識領域に適用する段階と、
前記ガイドラインが適用された認識領域を出力する段階と、
を含み、
前記適用対象は、プロジェクタビームを介して出力された画風イメージを含み、
前記設定されたガイドラインを前記認識領域に適用する段階は、
前記設定されたガイドラインを前記認識領域内に含まれている背景及び客体に適用し、前記プロジェクタビームを介して出力された画風イメージに混合して適用することを特徴とする、スタイル変換方法。
【請求項2】
前記設定されたガイドラインを前記認識領域に適用する段階は、前記認識領域内の背景に前記画風イメージのオリジナルが含まれている場合、前記ガイドラインを前記オリジナルの画風イメージに混合して適用するものであることを特徴とする請求項１に記載のスタイル変換方法。
【請求項3】
前記プロジェクタビームの出力領域及び前記認識領域を、同一又は異なる大きさを有するように設定する段階を更に含むことを特徴とする請求項１に記載のスタイル変換方法。
【請求項4】
前記設定されたガイドラインを前記認識領域に適用する段階は、前記出力領域及び認識領域が互いに同一の大きさを有するように設定された場合、前記ガイドラインを前記認識領域内に出力された画風イメージ全体に重複して適用することを特徴とする請求項３に記載のスタイル変換方法。
【請求項5】
前記設定されたガイドラインを前記認識領域に適用する段階は、前記出力領域及び認識領域が互いに異なる大きさを有するように設定された場合、前記出力領域と重畳する認識領域内に出力された画風イメージには、前記ガイドラインが重複して適用され、重畳していない認識領域には、前記ガイドラインが１次的に適用されるものであることを特徴とする請求項３に記載のスタイル変換方法。
【請求項6】
前記適用対象は、特定のスタイルを含む実物又はイメージに含まれている複数の特定の客体を更に含むことを特徴とする請求項１に記載のスタイル変換方法。
【請求項7】
前記スタイル変換のガイドラインとして設定する段階は、
前記実物又はイメージに含まれている複数の特定の客体のうちの何れか１つの特定の客体がランダムに選択され、前記選択された特定の客体に含まれている複数の特定のスタイルのうちの何れか１つの特定のスタイルがランダムに選択される場合、前記選択された特定の客体の特定のスタイルを前記ガイドラインとして設定することを特徴とする請求項６に記載のスタイル変換方法。
【請求項8】
変換対象である認識領域のスタイルを変換するシステムにおいて、適用対象及び認識領域に関する情報を受信する通信モジュールと、
前記認識領域のスタイルを変換するためのプログラムが格納されたメモリと、
前記メモリに格納されたプログラムを実行させるプロセッサと、
を含み、
前記プロセッサは、
前記プログラムを実行させることにより、前記適用対象のスタイルをディープラーニング（Ｄｅｅｐ ｌｅａｒｎｉｎｇ）に基づいて訓練されたスタイル変換のガイドラインとして設定し、
前記通信モジュールにより受信した認識領域に前記ガイドラインを適用して出力し、
前記適用対象は、プロジェクタビームを介して出力された画風イメージを含み、
前記プロセッサは、前記設定されたガイドラインを前記認識領域に適用する際に、前記設定されたガイドラインを前記認識領域内に含まれている背景及び客体に適用し、前記プロジェクタビームを介して出力された画風イメージに混合して適用することを特徴とする、
スタイル変換システム。
【請求項9】
前記プロセッサは、前記設定されたガイドラインを前記認識領域に適用する際に、前記認識領域内の背景に前記画風イメージのオリジナルが含まれている場合、前記ガイドラインを前記オリジナルの画風イメージに混合して適用するものであることを特徴とする請求項８に記載のスタイル変換システム。
【請求項10】
前記プロジェクタビームの出力領域及び前記認識領域は、同一又は異なる大きさを有するように設定可能であることを特徴とする請求項８に記載のスタイル変換システム。
【請求項11】
前記プロセッサは、前記設定されたガイドラインを前記認識領域に適用する際に、前記出力領域及び認識領域が互いに同一の大きさを有するように設定された場合、前記ガイドラインを前記認識領域内に出力された画風イメージ全体に重複して適用することを特徴とする請求項１０に記載のスタイル変換システム。
【請求項12】
前記プロセッサは、前記設定されたガイドラインを前記認識領域に適用する際に、前記出力領域及び認識領域が互いに異なる大きさを有するように設定された場合、前記出力領域と重畳する認識領域内に出力された画風イメージには、前記ガイドラインが重複して適用され、重畳していない認識領域には、前記ガイドラインが１次的に適用されるものであることを特徴とする請求項１０に記載のスタイル変換システム。
【請求項13】
前記適用対象は、特定のスタイルを含む実物又はイメージに含まれている複数の特定の客体を更に含むことを特徴とする請求項８に記載のスタイル変換システム。
【請求項14】
前記プロセッサは、前記スタイル変換のガイドラインとして設定する際に、前記実物又はイメージに含まれている複数の特定の客体のうちの何れか１つの特定の客体がランダムに選択され、前記選択された特定の客体に含まれている複数の特定のスタイルのうちの何れか１つの特定のスタイルがランダムに選択される場合、前記選択された特定の客体の特定のスタイルを前記ガイドラインとして設定することを特徴とする請求項１３に記載のスタイル変換システム。
【国際調査報告】