特許 7502312 スタイル変換

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-10

(45)【発行日】2024-06-18

(54)【発明の名称】スタイル変換

(51)【国際特許分類】

   G06T 11/20 20060101AFI20240611BHJP

   G06F 40/103 20200101ALI20240611BHJP

【ＦＩ】

G06T11/20 600

G06F40/103

【請求項の数】 15

(21)【出願番号】P 2021546228

(86)(22)【出願日】2020-02-03

(65)【公表番号】

(43)【公表日】2022-04-26

(86)【国際出願番号】 US2020016309

(87)【国際公開番号】W WO2020180437

(87)【国際公開日】2020-09-10

【審査請求日】2023-01-05

(31)【優先権主張番号】201910161417.9

(32)【優先日】2019-03-04

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】314015767

【氏名又は名称】マイクロソフト テクノロジー ライセンシング，エルエルシー

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(74)【代理人】

【識別番号】100162950

【弁理士】

【氏名又は名称】久下 範子

(72)【発明者】

【氏名】ウォン，ジンペン

(72)【発明者】

【氏名】リン，チン－イュー

【審査官】岡本 俊威

(56)【参考文献】

【文献】国際公開第２０１８／０２０４６２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １１／００ －１１／８０

Ｇ０６Ｆ ４０／１０３－４０／１１７

(57)【特許請求の範囲】

【請求項1】

編集可能である第１のスタイルを有する、標的オブジェクトを取得することであって、前記標的オブジェクトはデータ要素の視覚表現を含む、取得することと、
基準オブジェクトを含む基準画像を取得することと、
前記基準オブジェクトの第２のスタイルを取得することであって、前記基準オブジェクトの前記第２のスタイルは、ニューラルネットワークにより前記基準画像から抽出される、取得することと、
前記視覚表現に関連付けられたカテゴリに基づいて、前記第２のスタイルが前記データ要素の前記視覚表現に適用できるかどうか決定することと、
前記第２のスタイルを使用して前記第１のスタイルを修正することと、
前記第１のスタイルを前記標的オブジェクトに再適用することと、
を含み、
前記基準画像は符号器により前記基準画像の表現へ変換され、前記基準画像の前記表現は復号器により前記基準オブジェクトの前記第２のスタイルへ変換される、コンピュータ実装方法。

【請求項2】

前記基準画像の前記表現は複数の復号器により前記第２のスタイルの複数の要素へそれぞれ変換される、請求項１に記載の方法。

【請求項3】

前記基準オブジェクトの前記第２のスタイルは所定の規則により抽出される、請求項１に記載の方法。

【請求項4】

前記基準オブジェクト及び前記標的オブジェクトは、各々がグラフ及び表の少なくとも１つを含む、請求項１に記載の方法。

【請求項5】

前記第２のスタイルを有する前記標的オブジェクトを表示することと、
前記第２のスタイルを有する前記表示された標的オブジェクトに対する編集操作を受信したことに応答して、前記標的オブジェクトの前記第２のスタイルを修正することと
をさらに含む、請求項１に記載の方法。

【請求項6】

処理ユニット及び
前記処理ユニットへ結合されたメモリであって、その上に格納された命令を含むメモリ
を含むデバイスであって、前記命令は、前記処理ユニットにより実行されると、前記デバイスに
編集可能である第１のスタイルを有する、標的オブジェクトを取得することであって、前記標的オブジェクトはデータ要素の視覚表現を含む、取得することと、
基準オブジェクトを含む基準画像を取得することと、
前記基準オブジェクトの第２のスタイルを取得することであって、前記基準オブジェクトの前記第２のスタイルは、ニューラルネットワークにより前記基準画像から抽出される、取得することと、
前記視覚表現に関連付けられたカテゴリに基づいて、前記第２のスタイルが前記データ要素の前記視覚表現に適用できるかどうか決定することと、
前記第２のスタイルを使用して前記第１のスタイルを修正することと、
前記第１のスタイルを前記標的オブジェクトに再適用することと、
を含む動作を行わせ、
前記基準画像は符号器により前記基準画像の表現へ変換され、前記基準画像の前記表現は復号器により前記基準オブジェクトの前記第２のスタイルへ変換される、デバイス。

【請求項7】

前記基準画像の前記表現は複数の復号器により前記第２のスタイルの複数の要素へそれぞれ変換される、請求項６に記載のデバイス。

【請求項8】

前記基準オブジェクトの前記第２のスタイルは所定の規則により抽出される、請求項６に記載のデバイス。

【請求項9】

前記基準オブジェクト及び前記標的オブジェクトは、各々がグラフ及び表の少なくとも１つを含む、請求項６に記載のデバイス。

【請求項10】

前記動作は、
前記第２のスタイルを有する前記標的オブジェクトを表示することと、
前記第２のスタイルを有する前記表示された標的オブジェクトに対する編集操作を受信したことに応答して、前記標的オブジェクトの前記第２のスタイルを修正することと
をさらに含む、請求項６に記載のデバイス。

【請求項11】

非一時的なコンピュータ記憶媒体上に格納されるとともに機械実行可能命令を含むコンピュータプログラムであって、前記機械実行可能命令は、デバイスにより実行されると、デバイスに
編集可能である第１のスタイルを有する、標的オブジェクトを取得することであって、前記標的オブジェクトはデータ要素の視覚表現を含む、取得することと、
基準オブジェクトを含む基準画像を取得することと、
前記基準オブジェクトの第２のスタイルを取得することであって、前記基準オブジェクトの前記第２のスタイルは、ニューラルネットワークにより前記基準画像から抽出される、取得することと、
前記視覚表現に関連付けられたカテゴリに基づいて、前記第２のスタイルが前記データ要素の前記視覚表現に適用できるかどうか決定することと、
前記第２のスタイルを使用して前記第１のスタイルを修正することと、
前記第１のスタイルを前記標的オブジェクトに再適用することと、
を含む動作を行わせ、
前記基準画像は符号器により前記基準画像の表現へ変換され、前記基準画像の前記表現は復号器により前記基準オブジェクトの前記第２のスタイルへ変換される、コンピュータプログラム。

【請求項12】

前記基準画像の前記表現は複数の復号器により前記第２のスタイルの複数の要素へそれぞれ変換される、請求項１１に記載のコンピュータプログラム。

【請求項13】

前記基準オブジェクトの前記第２のスタイルは所定の規則により抽出される、請求項１１に記載のコンピュータプログラム。

【請求項14】

前記基準オブジェクト及び前記標的オブジェクトは、各々がグラフ及び表の少なくとも１つを含む、請求項１１に記載のコンピュータプログラム。

【請求項15】

前記第２のスタイルを有する前記標的オブジェクトを表示することと、
前記第２のスタイルを有する前記表示された標的オブジェクトに対する編集操作を受信したことに応答して、前記標的オブジェクトの前記第２のスタイルを修正することと
をさらに含む、請求項１１に記載のコンピュータプログラム。

【発明の詳細な説明】

【背景技術】

【0001】

背景
[0001] グラフ及び表のような編集可能オブジェクトは、日常生活において重要な役割を有する。しかし、これらの編集可能オブジェクトを使用する間、ユーザはしばしば、どのような種類の設計又はスタイル（例えば色及びレイアウトなど）が使用されるべきかを判断することに、戸惑い又は困難を感じる。また、使用される設計又はスタイルを知っていても、ユーザはこのようなスタイルを迅速に適用することができない。その代りに、ユーザは、各スタイル要素に従って編集可能オブジェクト内の各々の要素を調整する必要があり、そのような操作の時間費用は極めて高い。

【発明の概要】

【0002】

概要
[0002] 本開示の様々な実装形態は、編集可能オブジェクト（例えばグラフ、表など）のスタイル変換解決策を提供する。いくつかの実装形態では、編集可能な第１のスタイルを有する、標的オブジェクトが取得され得る。基準オブジェクトを含む基準画像が取得され得る。基準オブジェクトの第２のスタイルが取得され得、基準オブジェクトの第２のスタイルは基準画像から抽出される。第２のスタイルは標的オブジェクトへ適用され得る。

【0003】

[0003] 本概要は、以下の「発明を実施するための形態」においてさらに説明される概念のうちの選択されたものを単純化された形式で導入するために提供される。本概要は、主題の重要な又は必須の特徴を特定することを目的としておらず、また、主題の範囲を制限するために使用されることも目的としていない。

【図面の簡単な説明】

【0004】

図面の簡単な説明

【図1】[0004]本開示の様々な実装形態を実装するための計算デバイスを示すブロック図である。

【図2】[0005]本開示のいくつかの実装形態によるスタイル変換のためのアーキテクチャの概略図を示す。

【図3】[0006]本開示のいくつかの実装形態によるスタイル変換のためのモデルの概略図を示す。

【図4】[0007]本開示のいくつかの実装形態による復号器の概略図を示す。

【図5】[0008]本開示のいくつかの実装形態によるスタイル変換の方法の流れ図を示す。

【図6】[0009]本開示のいくつかの実装形態によるスタイル変換の別の方法の流れ図を示す。

【発明を実施するための形態】

【0005】

[0010] これらの図において、同じ又は同様な参照符号は、同じ又は同様な要素を指示する。

【0006】

発明の詳細な説明
[0011] 本開示は次に、いくつかの例示的実装形態を参照して論述される。これらの実装形態は、本主題の範囲に関するいかなる制限も示唆するものではなく、当業者が本開示をより良く理解し、したがって実装することを可能にする目的のためだけに論述される、ということを理解すべきである。

【0007】

[0012] 本明細書で使用されるように、用語「含む」及びその変形は、「含むがそれに限定されない」を意味するオープン用語として読まれるべきである。用語「に基づく」は「に少なくとも部分的に基づく」として読まれるべきである。用語「１つの実装形態（one implementation）」及び「実装形態（an implementation）」は「少なくとも１つの実装形態」として読まれるべきである。用語「別の実装形態」は「少なくとも１つの他の実装形態」として読まれるべきである。用語「第１」、「第２」などは、異なるか又は同じオブジェクトを指し得る。明示的及び暗黙的な他の定義が以下に含まれ得る。

【0008】

[0013] 本開示の基本原理及びいくつかの例示的実装形態が、添付図面を参照して以下に説明される。図１は、本開示の複数の実装形態を行い得る計算デバイス１００のブロック図を示す。図１に示す計算デバイス１００は例示に過ぎず、本開示により説明される実装形態の機能及び範囲に関する制約を構成しないものとするということを理解すべきである。図１によると、計算デバイス１００は、汎用計算デバイスの形式の計算デバイス１００を含む。計算デバイス１００の部品は限定しないが、１つ又は複数のプロセッサ又は処理ユニット１１０、メモリ１２０、ストレージデバイス１３０、１つ又は複数の通信ユニット１４０、１つ又は複数の入力デバイス１５０、及び１つ又は複数の出力デバイス１６０を含み得る。

【0009】

[0014] いくつかの実装形態では、計算デバイス１００は、計算能力を有する様々なユーザ端末又はサービス端末として実装され得る。サービス端末は、様々なサービス提供者により提供されるサーバ、大規模計算デバイスなどであり得る。ユーザ端末は、例えば任意のタイプの可動端末、固定端末又は携帯端末であり、モバイルフォン、サイト、ユニット、デバイス、マルチメディアコンピュータ、マルチメディアタブレット、インターネットノード、コミュニケータ、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、ネットブックコンピュータ、タブレットコンピュータ、パーソナル通信システム（ＰＣＳ：Personal Communication System）デバイス、パーソナルナビゲーションデバイス、パーソナルデジタルアシスタント（ＰＤＡ：Personal Digital Assistant）、音声／ビデオプレーヤ、ディジタルカメラ／ビデオ、定位デバイス、テレビジョン受信機、無線放送受信機、電子ブックデバイス、ゲームデバイス又はこれらのデバイスのアクセサリ及び周辺デバイスからなるこれらの任意の他の組み合わせ、又はこれらの任意の他の組み合わせを含む。計算デバイス１００が任意のタイプのユーザ固有インターフェース（例えば、「ウェアラブル」回路など）を支援し得るということも理解され得る。

【0010】

[0015] 処理ユニット１１０は、物理的又は仮想的プロセッサであり得、メモリ１２０内に格納されたプログラムに基づき、様々な処理を実行し得る。マルチプロセッサシステムでは、複数の処理ユニットが、計算デバイス１００の並列処理能力を強化することと並行してコンピュータ実装可能命令を実行する。処理ユニット１１０は、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、コントローラ及びマイクロコントローラとしても知られ得る。

【0011】

[0016] 計算デバイス１００は通常、複数のコンピュータストレージ媒体を含む。このような媒体は、計算デバイス１００によりアクセス可能な任意の実現可能媒体であり得、限定しないが、揮発性及び不揮発性媒体、着脱可能及び着脱不能媒体を含む。メモリ１２０は、揮発性メモリ（例えばレジスタ、キャッシュ、ランダムアクセスメモリ（ＲＡＭ））、不揮発性メモリ（読み出し専用メモリ（ＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、フラッシュなど）又はそれらの任意の組み合わせであり得る。メモリ１２０は、本明細書において説明される様々な実装形態の機能を実行するように構成されたフォーマットペインタ１２２を含み得る。フォーマットペインタ１２２は、対応機能を行うために処理ユニット１１０によりアクセスされ及び操作され得る。

【0012】

[0017] ストレージデバイス１３０は、着脱可能又は着脱不能媒体であり得、情報及び／又はデータを格納するために使用され得るとともに計算デバイス１００内でアクセスされ得る、機械可読媒体を含み得る。計算デバイス１００はさらに、別の着脱可能／着脱不能、揮発性／不揮発性ストレージ媒体を含み得る。図１には示さないが、着脱可能及び不揮発性ディスクから読み出すか又はそれへ書き込むためのディスクドライブ、並びに着脱可能及び不揮発性光ディスクから読み出すか又は書き込むための光ディスクドライブが設けられ得る。このような場合、各ドライブは、１つ又は複数のデータ媒体インターフェースを介し、バス（図示せず）へ接続され得る。

【0013】

[0018] 通信ユニット１４０は、通信媒体を介し、別の計算デバイスとの通信を実装する。加えて、計算デバイス１００の部品の機能は、単一コンピュータクラスタ又は複数の計算機により実現され得、これらの計算機は通信接続を介し通信し得る。したがって、計算デバイス１００は、１つ若しくは複数の他のサーバへの論理接続、パーソナルコンピュータ（ＰＣ）、又は別の一般ネットワークノードを使用することにより、ネットワーク環境において操作され得る。

【0014】

[0019] 入力デバイス１５０は、マウス、キーボード、トラックボール、音声入力デバイスなどの、１つ又は複数の様々な入力デバイスであり得る。出力デバイス１６０は、１つ又は複数の出力デバイス（例えばディスプレイ、ラウドスピーカ、プリンタなど）であり得る。計算デバイス１００はまた、必要に応じ、通信ユニット１４０を介し１つ又は複数の外部デバイス（図示せず）と通信し得、外部デバイス（例えばストレージデバイス、ディスプレイデバイスなど）は、ユーザが計算デバイス１００と、又は計算デバイス１００が１つ若しくは複数の他の計算デバイスと通信することを可能にする任意のデバイス（ネットワークカード、モデムなど）と相互作用することを可能にする１つ若しくは複数のデバイスと通信する。このような通信は、入出力（Ｉ／Ｏ）インターフェース（図示せず）を介し実行され得る。

【0015】

[0020] いくつかの実装形態では、個々のデバイス上に一体化されることとは別に、計算デバイス１００のそれぞれの部品の一部又はすべてはまた、クラウドコンピューティングアーキテクチャの形式でも設定され得る。クラウドコンピューティングアーキテクチャでは、これらの部品はリモートで配置され得、及び本開示により説明される機能を実装するように共働し得る。いくつかの実装形態では、クラウドコンピューティングは、計算サービス、ソフトウェアサービス、データアクセスサービス及び格納サービスを、このようなサービスを提供するシステム若しくはハードウェアの物理位置又は構成を端末ユーザに通知することなく提供する。様々な実装形態では、クラウドコンピューティングは、好適なプロトコルを使用することにより、広域ネットワーク（インターネットなど）を介しサービスを提供する。例えば、クラウドコンピューティング提供者は、ウェブブラウザ又は任意の他の計算部品を介しアクセスされ得るアプリケーションを、広域ネットワークを介し提供する。クラウドコンピューティングアーキテクチャのソフトウェア又は部品及び対応データは、遠隔位置におけるサーバ上に格納され得る。クラウドコンピューティングアーキテクチャ環境内の計算資源は、リモートデータセンタにおいてマージ又は分散され得る。クラウドコンピューティングインフラストラクチャは、ユーザの単独アクセス点として示されたとしても、共有データセンタを介しサービスを提供し得る。したがって、本明細書において説明される部品及び機能は、遠隔位置におけるサービス提供者からのクラウドコンピューティングアーキテクチャを使用することにより提供され得る。代替的に、部品及び機能はまた、従来のサーバから提供され得るか、又はクライアントデバイス上に直接若しくは他のやり方で取り付けられ得る。

【0016】

[0021] 計算デバイス１００は、本開示の実装形態に従ってスタイル変換解決策を実装するために使用され得る。ここで、編集可能オブジェクトは、編集可能スタイルを有する標的オブジェクト（例えば、プレゼンテーションアプリケーション、テキスト処理アプリケーション、及び／又はスプレッドシートアプリケーション内で生成されるグラフ若しくは表）を指す。例えば、グラフのスタイルは、色、パターン、境界、陰影、座標などを含み得る。外観の単一又は特定の要素を反映する一般的な形式とは異なり、編集可能オブジェクトの「スタイル」はオブジェクトの外観全体を表し、及び、しばしば様々な外観要素により具現化される。例えば、編集可能オブジェクトの「スタイル」は、オブジェクトの色、パターン、境界、陰影、及び外観全体及び／又はレイアウトを明示する座標などの要素を含む。

【0017】

[0022] いくつかの実装形態では、編集可能オブジェクトはまた、プレゼンテーションアプリケーション、テキスト処理アプリケーション及び／又はスプレッドシートアプリケーションにより生成される文書であり得る。例えば、編集可能オブジェクトとして、これらの文書のスタイルは、フォント、サイズ、行間隔、インデント、背景、レイアウトなどを具現化し得る。

【0018】

[0023] 編集可能オブジェクト（例えばグラフ又は表）のスタイル変換中、計算デバイス１００は、グラフなどの基準オブジェクトを含み得る基準画像１７０を、入力デバイス１５０を介し受信し得る。フォーマットペインタ１２２は、基準画像１７０を処理し、及び基準画像１７０内の基準オブジェクトのスタイルを抽出し得る。加えて、計算デバイス１００は、グラフ又は表であり得る編集可能オブジェクトを、入力デバイス１５０を介し受信し得る。例えば、基準オブジェクトの抽出されたスタイルは、そのスタイルを修正するために編集可能オブジェクトへ適用され得る。修正された編集可能オブジェクトは、出力１８０として出力デバイス１６０へ、次にさらにユーザへ提供され得る。例えば、修正された編集可能オブジェクトはディスプレイ上に示され、及びユーザに提示され得る。

【0019】

[0024] 本開示の例示的実装形態は、図２～５を参照して以下に詳細に説明される。図２は本開示のいくつかの実装形態によるスタイル変換のアーキテクチャ２００の概略図を示す。フォルマントペインタ１２２は、アーキテクチャ２００により少なくとも部分的に実装され得る。図２は図解だけの目的のために提供されており、したがって本開示の範囲を制限するように意図されていないということを理解すべきである。本開示の精神及び範囲から逸脱することなく、例えば、スタイル変換のためのアーキテクチャ２００内の１つ若しくは複数のモジュールは、１つのモジュールへ結合され得、１つ若しくは複数のモジュールはスタイル変換のためにアーキテクチャ２００内へ追加され得、スタイル変換のためのアーキテクチャ２００の１つ若しくは複数のモジュールは置換され得る、及び／又は、同様である。

【0020】

[0025] ユーザは、基準画像２０２をローカル計算デバイスからインポートし得るか、又は基準画像２０２をネットワーク（例えば基準画像２０２のリンクを提供する）から取得し得る。基準画像２０２は、編集可能でないことがあり、グラフなどの基準オブジェクトを含む。便宜のために、オブジェクトは、グラフを参照して以下に説明される。しかし、本開示の原理は、表のような他のオブジェクトへもまた適用され得る、ということを理解すべきである。

【0021】

[0026] 基準画像２０２は、その中の基準オブジェクトのスタイルを取得するために、スタイル解析される。例えば、基準画像２０２のスタイルは、ローカル計算デバイスにおいて解析され得る。代替的に、基準画像２０２はサーバ（例えばクラウド）へアップロードされ得、サーバは基準画像２０２のスタイルを解析し、次に解析結果をローカルデバイスへ提供する。基準オブジェクトのスタイル２０６が取得された後、スタイル２０６は、所定のスタイルを有するグラフ２０４へ適用される。グラフ２０４は、プレゼンテーションアプリケーション、テキスト処理アプリケーション、及び／又はスプレッドシートアプリケーションにより生成され得る。グラフ２０４のスタイルは、スタイル２０６を有する出力グラフ２０８を取得するように、スタイル２０６により修正又は置換される。

【0022】

[0027] いくつかの実装形態では、スタイル解析は所定の規則により行われ得る。棒グラフを一例として挙げると、基準画像２０２内の最大面積を有する色は背景色と考えられ得、２番目の最大面積を有する色は棒グラフ内の棒の色と考えられ得る。規則ベースモデルに基づき、スタイルは少ない計算資源で抽出され得、スタイル変換の応答時間はそれに応じて低減され、このことは制限された計算資源上のオフラインスタイル変換の実装に好ましい。

【0023】

[0028] いくつかの実装形態では、スタイル解析はニューラルネットワークにより実装され得る。例えば、図３は本開示のいくつかの実装形態によるスタイル変換のためのニューラルネットワークモデル３００の概略図を示す。図３に示すように、ニューラルネットワークモデル３００は、基準画像内の基準グラフのスタイルを解析又は抽出するためのスタイル解析部３２０と、解析又は抽出されたスタイルを標的グラフ内へ適用するためのスタイル適応部３４０とを含む。スタイル解析部３２０は、画像又はオブジェクトのスタイルを抽出するための大規模データセットに基づき訓練され得る。

【0024】

[0029] スタイル解析部３２０では、基準画像３０２は、基準画像３０２を基準画像３０２の表現（例えばベクトル表現）へ変換するために、符号器３０４へ提供される。例えば、符号器３０４は、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）により実装され得る。

【0025】

[0030] スタイルは、色、パターン、背景、境界、陰影、及び数値等の表示／非表示のような複数のスタイル要素を含み得る。したがって、復号器は対応するスタイル要素を復号化するために使用され得る。図３に示すように、様々なスタイル要素を取得するために、Ｎ個の異なるスタイル要素をそれぞれ復号化するための復号器３０６－１～３０６－Ｎが使用される。例えば、復号器３０６－１は色系列を出力する色関連スタイル要素を取得し得る。復号器３０６－１～３０６－Ｎにより出力されたスタイル要素は、解析されたスタイルとして併せて結合され得、次にスタイル適応部３４０へ出力される。

【0026】

[0031] いくつかの実装形態では、基準グラフ（例えば棒グラフ）内の様々な部分（背景、バーなど）を検出するために、オブジェクト検出モジュール（図示せず）がスタイル解析部３２０内に追加され得る。オブジェクト検出モジュールの出力は、基準グラフの特徴をより良く抽出するために復号器へ提供され得る。例えば、符号器３０４の特徴ベクトル内の背景に対応する部分は、背景関連情報を抽出する復号器へ提供され得る。このようにして、基準グラフの関連スタイル要素が、より効率的に抽出され得る。

【0027】

[0032] いくつかの実装形態では、復号器のうちのいくつかに対応する機能は、計算効率を増強するために、規則ベースモデルにより置換され得る。例えば、色は、グラフの最も高い計算複雑性を有するスタイル要素の１つであり得る。したがって、色のスタイル要素は、計算効率を増強するために、規則ベースモデルにより実装され得る。

【0028】

[0033] 図３に示すように、スタイル適応部３４０は、スタイル解析部３２０から取得されたスタイルを、所定のスタイルを有するグラフ３１０へ適用する、スタイルアダプタ３０８を含む。グラフ３１０の所定のスタイルは、出力グラフ３１２を取得するために、基準画像３０２から抽出されたスタイルへ修正される。出力グラフ３１２は、ユーザが出力グラフ３１２のスタイルをさらに修正又は編集するために出力グラフ３１２のスタイルを操作し得るように、ディスプレイ上に示され得る。ユーザは、出力グラフ３１２の表示効果を改善するために、出力グラフ３１２をトリミング又はチューニングし得る。

【0029】

[0034] 図４は本開示のいくつかの実装形態による復号器４００の概略図を示す。復号器４００は、図３に示す復号器３０６－１～３０６－Ｎの任意のものへ適用され得る。しかし、図３に示す復号器３０６－１～３０６－Ｎはまた、任意の他の好適なモデルにより実装され得るということを理解すべきである。

【0030】

[0035] 復号器４００は基準画像の表現４０６を符号器から受信し、表現４０６は開始タグ４０４のベクトル表現４０６と共に再帰型ニューラルネットワーク４０８へ提供される。再帰型ニューラルネットワーク４０８は、この例では長短期記憶（ＬＳＴＭ：Long Short-Term Memory）である。しかし、任意の他の好適なネットワーク（例えばゲート式回帰ユニット（ＧＲＵ：Gated Recurrent Unit）など）もまた置き換えとして採用され得るということも理解すべきである。再帰型ニューラルネットワーク４０８は、第１の色４１０を出力し、及び次の反復のために第２の色４１４を取得するように、第１の色４１０の表現４１２及び基準画像の表現４０６を併せて再帰型ニューラルネットワーク４０８へ提供する。第２の色４１４の表現及び基準画像の表現４０６は、次の反復のために終了タグ４１８を取得するように、再帰型ニューラルネットワーク４０８へ提供される。これらの色を含む系列の出力４２０は、さらなる処理のために後続処理モジュールへ提供される。

【0031】

[0036] 図５は、本開示のいくつかの実装形態によるスタイル変換の方法５００の流れ図を示す。例えば、方法５００は、計算デバイス１００により実装され得、及び、図２～４において実証された例示的アーキテクチャ及び例示的モデルにおいてもまた実装され得る。

【0032】

[0037] ５０２において、第１のスタイルを有する標的オブジェクトが取得される。標的オブジェクトのスタイルは編集可能である。例えば、標的オブジェクトはグラフ及び表のうちの少なくとも１つを含み得る。

【0033】

[0038] ５０４において、基準オブジェクトを含む基準画像が取得される。例えば、基準オブジェクトはグラフ及び／又は表を含み得る。基準オブジェクト及び標的オブジェクトは、同じか又は異なるタイプを有し得る。例えば、基準オブジェクトは棒グラフであり得、一方、標的オブジェクトは棒グラフ又は円グラフであり得る。

【0034】

[0039] ５０６において、基準オブジェクトの第２のスタイルが取得され、基準オブジェクトの第２のスタイルは基準画像から抽出される。いくつかの実装形態では、基準オブジェクトの第２のスタイルは、所定の規則を介し抽出され得る。

【0035】

[0040] いくつかの実装形態では、基準オブジェクトの第２のスタイルはニューラルネットワークを介し基準画像から抽出され得る。例えば、基準画像は符号器を介し基準画像の表現へ変換され、基準画像の表現は復号器を介し基準画像のスタイルへ変換される。例えば、基準画像の表現は複数の復号器を介しスタイルの複数の要素へそれぞれ変換される。

【0036】

[0041] ５０８において、第２のスタイルが標的オブジェクトへ適用される。例えば、第２のスタイルは第１のスタイルとは異なり得る。スタイルは複数の異なる要素の組み合わせを表す。第２のスタイル内の１つの要素が第１のスタイルと異なるならば、２つのスタイルは異なる。このようにして、第１のスタイルは第２のスタイルへ修正される。いくつかの実装形態では、第２のスタイルを有する標的オブジェクトが表示される。第２のスタイルを有する標的オブジェクトに対する編集操作を受信したことに応答して、標的オブジェクトの第２のスタイルは修正され得る。この場合、ユーザは標的オブジェクトのスタイルをさらに修正し得る。代替的に、いくつかの場合、第２のスタイルは第１のスタイルと同じであり得る。したがって、第２のスタイルが標的オブジェクトへ適用されると、標的オブジェクトのスタイルは変化しない。

【0037】

[0042] 基準画像内のスタイルを編集可能オブジェクトへ変換する解決策は、図２～５を参照して上に説明された。いくつかの実装形態では、１つの編集可能オブジェクトのスタイルは、別の編集可能オブジェクトへ変換され得る。図６は、本開示のいくつかの実装形態による編集可能オブジェクトのスタイルを別の編集可能オブジェクトへ変換する方法６００の流れ図を示す。方法６００は、計算デバイス１００により実装され得る。

【0038】

[0043] ６０２において、編集可能オブジェクトが取得される。編集可能オブジェクトはデータセットへ関連付けられ得る。例えば、編集可能オブジェクトは、関連データに基づき生成され得るか、又は別のツールにより生成された編集可能オブジェクトから複製され得る。編集可能オブジェクトは、データセット又はデータセットを含む表を視覚化するためのグラフであり得る。編集可能オブジェクトはまた、データセットに基づいて描かれたグラフ（例えば棒グラフ）であり得る。便宜のために、以下では編集可能オブジェクトは標的編集可能オブジェクトと呼ばれ、対応データセットは標的データセットと呼ばれる。

【0039】

[0044] ６０４において、標的編集可能オブジェクトとの類似性が所定の閾値未満である１つ又は複数の事前定義された編集可能オブジェクトが、複数の事前定義された編集可能オブジェクトから判断される。事前定義された編集可能オブジェクトは、より高い美観度でデータに整合するスタイルであり得る、それぞれのスタイルを有する。類似性は様々な好適なやり方で測定され得る。例えば、２つのデータ間の類似性は、データ量のサイズ、行の数、列の数及びデータ値のサイズなどにより測定され得る。

【0040】

[0045] さらに、標的編集可能オブジェクト（例えばグラフ）に関連する意味論的情報もまた考慮され得る。例えば、標的編集可能オブジェクトと事前定義された編集可能オブジェクトとの類似性はグラフ内のテキストコンテンツに基づき判断され得る。例えば、グラフのタイトルが「パーセント」を含むならば、グラフは円グラフの形式で表示されるのがより好ましく、グラフはより円グラフに似ている。このようにして、推奨スタイルは標的編集可能オブジェクトのオリジナルタイプとは異なり得る。別の例では、グラフの主題における類似性もまた考慮され得る。例えば、入力グラフの主題は、入力グラフのタイトル及びデータの行又は列のタグに基づき取得又は導出され得、入力グラフの主題は事前定義されたグラフの同様な主題と比較される。

【0041】

[0046] いくつかの実装形態では、複数の事前定義された編集可能オブジェクトは複数の様々なカテゴリ（科学カテゴリ、金融カテゴリなど）に関連付けられ得る。このような場合、標的データセットとの類似性が所定の閾値未満である１つ又は複数のデータセットが、複数のカテゴリからそれぞれ判断され得る。したがって、様々なカテゴリ内のスタイルがユーザへ推奨され得る。

【0042】

[0047] ６０６において、１つ又は複数の事前定義された編集可能オブジェクトがユーザ選択のために表示される。その代りに又は追加的に、最も高い類似性を有するデータセットに対応するスタイルが、標的編集可能オブジェクト内へ直接適用され得る。このようなスタイルは、編集可能オブジェクトを取得した後に自動的に表示され得る。代替的に、スタイルはまた、ユーザがあるボタン又はインターフェース要素をクリックした後に表示され得る。

【0043】

[0048] ６０８において、１つ又は複数の事前定義された編集可能オブジェクトのうち１つの選択を受信したことに応答して、編集可能オブジェクトのスタイルは標的編集可能オブジェクトへ適用される。

【0044】

[0049] このようにして、いくつかのより良好なスタイルが、選択するためにユーザへ好都合に推薦され得、これによりスタイル変換の便利度を強化する。

【0045】

[0050] 本開示のいくつかの例示的実装形態が以下に列挙される。

【0046】

[0051] 第１の態様では、コンピュータ実装方法が提供される。本方法は、編集可能である第１のスタイルを有する、標的オブジェクトを取得すること；基準オブジェクトを含む基準画像を取得すること；基準オブジェクトの第２のスタイルを取得することであって、基準オブジェクトの第２のスタイルは基準画像から抽出される、取得すること；及び第２のスタイルを標的オブジェクトへ適用することを含む。

【0047】

[0052] いくつかの実装形態では、基準オブジェクトの第２のスタイルは、ニューラルネットワークにより基準画像から抽出される。

【0048】

[0053] いくつかの実装形態では、基準画像は符号器により基準画像の表現へ変換され、基準画像の表現は復号器により基準オブジェクトの第２のスタイルへ変換される。

【0049】

[0054] いくつかの実装形態では、基準画像の表現は複数の復号器により第２のスタイルの複数の要素へそれぞれ変換される。

【0050】

[0055] いくつかの実装形態では、基準オブジェクトの第２のスタイルは所定の規則により抽出される。

【0051】

[0056] いくつかの実装形態では、基準オブジェクト及び標的オブジェクトは、各々がグラフ及び表の少なくとも１つを含む。

【0052】

[0057] いくつかの実装形態では、本方法はさらに、第２のスタイルを有する標的オブジェクトを表示すること；及び第２のスタイルを有する表示された標的オブジェクトに対する編集操作を受信したことに応答して、標的オブジェクトの第２のスタイルを修正することを含む。

【0053】

[0058] 第２の態様では、処理ユニット；及び処理ユニットへ結合されたメモリであって、その上に格納された命令を含むメモリを含むデバイスが提供され、命令は、処理ユニットにより実行されると、デバイスに：編集可能である第１のスタイルを有する、標的オブジェクトを取得すること；基準オブジェクトを含む基準画像を取得すること；基準オブジェクトの第２のスタイルを取得することであって、基準オブジェクトの第２のスタイルは基準画像から抽出される、取得すること；及び第２のスタイルを標的オブジェクトへ適用することを含む動作を行わせる。

【0054】

[0059] いくつかの実装形態では、基準オブジェクトの第２のスタイルは、ニューラルネットワークにより基準画像から抽出される。

【0055】

[0060] いくつかの実装形態では、基準画像は符号器により基準画像の表現へ変換され、基準画像の表現は復号器により基準オブジェクトの第２のスタイルへ変換される。

【0056】

[0061] いくつかの実装形態では、基準画像の表現は複数の復号器により第２のスタイルの複数の要素へそれぞれ変換される。

【0057】

[0062] いくつかの実装形態では、基準オブジェクトの第２のスタイルは所定の規則により抽出される。

【0058】

[0063] いくつかの実装形態では、基準オブジェクト及び標的オブジェクトは、各々がグラフ及び表の少なくとも１つを含む。

【0059】

[0064] いくつかの実装形態では、動作は、第２のスタイルを有する標的オブジェクトを表示すること；及び第２のスタイルを有する表示された標的オブジェクトに対する編集操作を受信したことに応答して、標的オブジェクトの第２のスタイルを修正することをさらに含む。

【0060】

[0065] 第３の態様では、本開示は、非一時的コンピュータ記憶媒体内に有形に格納されるとともにコンピュータ実行可能命令を含む、コンピュータプログラム製品を提供する。コンピュータ実行可能命令は、デバイスにより実行されると、デバイスに本開示の第１の態様における方法を行わせる。

【0061】

[0066] 第４の態様では、本開示は、その上にコンピュータ実行可能命令が格納されたコンピュータ可読ストレージ媒体を提供する。コンピュータ実行可能命令は、デバイスにより実行されるとデバイスに本開示の第１の態様における方法を行わせる。

【0062】

[0067] 本明細書において説明された機能は、１つ又は複数のハードウェア論理部品により少なくとも部分的に行われ得る。例えば、限定しないが、使用され得る例示的タイプのハードウェア論理部品は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ：Application-specific Integrated Circuit）、特定用途向け標準製品（ＡＳＳＰ：Application-specific Standard Product）、システム・オン・チップシステム（ＳＯＣ）、コンプレックスプログラマブル論理デバイス（ＣＰＬＤ：Complex Programmable Logic Device）などを含む。

【0063】

[0068] 本開示の方法を行うためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせで書かれ得る。これらのプログラムコードは、プロセッサ又はコントローラにより実行されると、流れ図及び／又はブロック図において規定された機能及び／又は操作が実装されるように、汎用コンピュータ、特殊用途コンピュータ、又は他のプログラム可能データ処理装置のプロセッサ若しくはコントローラへ提供され得る。プログラムコードは、スタンドアロンソフトウェアパッケージとして、完全に機械上で、部分的に機械上で、部分的に機械上で、及び部分的にリモートマシン上で又は完全にリモートマシン若しくはサーバ上で実行し得る。

【0064】

[0069] 本開示の文脈では、機械可読媒体は、命令実行システム、装置若しくはデバイスによるか又はそれに関連する使用のためにプログラムを含み得るか若しくは格納し得る、任意の有形媒体であり得る。機械可読媒体は、機械可読信号媒体又は機械可読ストレージ媒体であり得る。機械可読媒体は、限定しないが、電子、磁気、光、電磁気、赤外線、又は半導体システム、装置、デバイス又はこれらの任意の組み合わせであり得る。機械可読ストレージ媒体のより具体的な例は、１つ又は複数のワイヤを有する電子的接続、携帯型コンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学的ストレージデバイス、磁気的ストレージデバイス、又はこれらの任意の好適な組み合わせを含む。

【0065】

[0070] さらに、操作は特定順序で描写されたが、操作は示された特定順序で又は順次実行されることを要求される又はすべての示された操作は期待される結果を達成するように実行されることを要求されるということを理解すべきである。いくつかの環境では、マルチタスキング及び並列処理が有利かもしれない。同様に、いくつかの特定実装形態の詳細が上記論述内に含まれるが、これらは、本明細書において説明された主題の範囲に対する制限として解釈されるべきでない。別個の実装形態の文脈の中で説明されたいくつかの特徴はまた、単一実装形態において組み合わせで実装され得る。逆に、単一実装形態の文脈の中で説明された様々な特徴もまた、複数の実装形態において個別に、又は任意の好適な副組み合わせ（sub-combination）で提供され得る。

【0066】

[0071] 本主題は構造的特徴及び／又は方法論的行為に固有の言語で説明されたが、添付の特許請求の範囲において規定される主題は必ずしも上述の特定の特徴又は行為に限定されないということを理解すべきである。むしろ、上述の特定の特徴及び行為は、特許請求の範囲を実装する例示的形式として開示されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】