特開 2023-145571 コンテンツ評価装置、プログラム、方法、及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023145571

(43)【公開日】2023-10-11

(54)【発明の名称】コンテンツ評価装置、プログラム、方法、及びシステム

(51)【国際特許分類】

   G06T 11/80 20060101AFI20231003BHJP

   G06T 7/00 20170101ALI20231003BHJP

【ＦＩ】

G06T11/80 F

G06T7/00 300F

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2023118824

(22)【出願日】2023-07-21

(62)【分割の表示】P 2023515733の分割

【原出願日】2023-01-11

(31)【優先権主張番号】P 2022013011

(32)【優先日】2022-01-31

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000139403

【氏名又は名称】株式会社ワコム

(74)【代理人】

【識別番号】100176072

【弁理士】

【氏名又は名称】小林 功

(74)【代理人】

【識別番号】100169225

【弁理士】

【氏名又は名称】山野 明

(72)【発明者】

【氏名】井出 信孝

(72)【発明者】

【氏名】玉野 浩

(72)【発明者】

【氏名】田内 文太

(72)【発明者】

【氏名】柯 勁甫

(57)【要約】

【課題】単に完成品の描画内容を用いて評価する場合と比べて、コンテンツをより精緻に評価可能なコンテンツ評価装置、プログラム、方法、及びシステムを提供する。
【解決手段】コンテンツ評価装置（１６）は、コンテンツ（８０）の創作の開始時点から終了時点までの創作期間内における描画状態に関する状態特徴量を算出し、状態特徴量を表現するための特徴量空間（９０）上の点の集合又は軌跡である絵紋（１００）を生成する。
【選択図】図１３

【特許請求の範囲】

【請求項1】

コンテンツの創作の開始時点から終了時点までの創作期間内における描画状態に関する状態特徴量を算出する特徴量算出部と、
前記特徴量算出部により算出された前記状態特徴量を表現するための特徴量空間上の点の集合又は軌跡である絵紋を生成する絵紋生成部を備える、コンテンツ評価装置。

【請求項2】

前記絵紋に関する絵紋情報又は前記絵紋情報から派生した派生情報の表示を指示する表示指示部をさらに備える、
請求項１に記載のコンテンツ評価装置。

【請求項3】

前記状態特徴量は、３よりも大きい次元数を有し、
前記絵紋情報は、次元数が３以下に削減された前記絵紋である、
請求項２に記載のコンテンツ評価装置。

【請求項4】

前記派生情報は、前記コンテンツの創作者に気づきを与えるための気づき情報である、
請求項２に記載のコンテンツ評価装置。

【請求項5】

前記絵紋を示す絵紋データを用いて前記コンテンツを評価するコンテンツ評価部をさらに備える、
請求項１～４のいずれか１項に記載のコンテンツ評価装置。

【請求項6】

一連の操作を通じて創作されるコンテンツの描画状態に関する状態特徴量の時系列を算出する第１算出部と、
前記第１算出部により算出された前記状態特徴量の時系列を用いて、単独の又は連続する操作の前後にわたる状態特徴量の変化量を求め、前記変化量から前記単独の又は連続する操作に関する操作特徴量を算出する第２算出部と、
を備える、コンテンツ評価装置。

【請求項7】

前記状態特徴量は、単語同士の関係性を示す概念グラフにより定義される特徴量空間上の座標値である、
請求項６に記載のコンテンツ評価装置。

【請求項8】

前記概念グラフは、言語の種類毎に設けられ、
前記第１算出部は、前記コンテンツを示すコンテンツデータ及び前記コンテンツの創作に関わる関連データのうち少なくとも一方から言語の種類を特定し、前記言語の種類に対応する前記概念グラフを用いて前記状態特徴量の時系列を算出する、
請求項７に記載のコンテンツ評価装置。

【請求項9】

前記第１算出部は、少なくとも、前記コンテンツのラスタデータ及びストロークデータの両方に基づいて前記状態特徴量の時系列を算出する、
請求項６に記載のコンテンツ評価装置。

【請求項10】

前記単独の操作は、１本のストロークを描画するためのストローク操作である、
請求項６に記載のコンテンツ評価装置。

【請求項11】

前記操作特徴量は、前記ストローク操作が行われる直前の第１描画状態を始点とし、前記ストローク操作が行われた直後の第２描画状態を終点とするベクトルの大きさ又は向きである、
請求項１０に記載のコンテンツ評価装置。

【請求項12】

前記状態特徴量又は前記操作特徴量の時系列を用いて、前記コンテンツの描画状態に対応する創作工程の種類を識別する工程識別部をさらに備える、
請求項６～１１のいずれか１項に記載のコンテンツ評価装置。

【請求項13】

一連の操作を通じて創作されるコンテンツの描画状態に関する状態特徴量の時系列を算出する第１算出ステップと、
算出された前記状態特徴量の時系列を用いて、単独の又は連続する操作の前後にわたる状態特徴量の変化量を求め、前記変化量から前記単独の又は連続する操作に関する操作特徴量を算出する第２算出ステップと、
を１つ又複数のコンピュータに実行させる、コンテンツ評価プログラム。

【請求項14】

一連の操作を通じて創作されるコンテンツの描画状態に関する状態特徴量の時系列を算出する第１算出ステップと、
算出された前記状態特徴量の時系列を用いて、単独の又は連続する操作の前後にわたる状態特徴量の変化量を求め、前記変化量から前記単独の又は連続する操作に関する操作特徴量を算出する第２算出ステップと、
を１つ又複数のコンピュータが実行する、コンテンツ評価方法。

【請求項15】

一連の操作を通じて創作されるコンテンツを示すコンテンツデータを生成可能なユーザ装置と、
前記ユーザ装置との間で通信可能に構成されるサーバ装置と、
を備え、
前記サーバ装置は、
前記コンテンツの描画状態に関する状態特徴量の時系列を算出する第１算出部と、
前記第１算出部により算出された前記状態特徴量の時系列を用いて、単独の又は連続する操作の前後にわたる状態特徴量の変化量を求め、前記変化量から前記単独の又は連続する操作に関する操作特徴量を算出する第２算出部と、
を備える、コンテンツ評価システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンテンツ評価装置、プログラム、方法、及びシステムに関する。

【背景技術】

【0002】

従来から、コンピュータシステムを用いて、無体物であるデジタルコンテンツ（以下、単に「コンテンツ」ともいう）を複数のユーザ同士で共有するための技術が知られている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６７３４５０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

近時、人工知能技術の進歩に伴い、コンテンツを生成するための様々な機械学習モデル（一例として、敵対的生成ネットワーク；ＧＡＮｓ）が提案されている。例えば、この類の機械学習モデルを用いて、コンテンツの模倣品が自動的かつ精緻に生成できるようになれば、完成品の描画内容を単に比較するだけでは、コンテンツの真贋の判定が難しくなることが予想される。

【0005】

本発明はこのような問題に鑑みてなされたものであり、その目的は、単に完成品の描画内容を用いて評価する場合と比べて、コンテンツをより精緻に評価可能なコンテンツ評価装置、プログラム、方法、及びシステムを提供することにある。

【課題を解決するための手段】

【0006】

本発明の第１態様におけるコンテンツ評価装置は、コンテンツの創作の開始時点から終了時点までの創作期間内における描画状態に関する状態特徴量を算出する特徴量算出部と、前記特徴量算出部により算出された前記状態特徴量を表現するための特徴量空間上の点の集合又は軌跡である絵紋を生成する絵紋生成部を備える。

【0007】

本発明の第２態様におけるコンテンツ評価装置は、一連の操作を通じて創作されるコンテンツの描画状態に関する状態特徴量の時系列を算出する第１算出部と、前記第１算出部により算出された前記状態特徴量の時系列を用いて１つの操作の前後にわたる状態特徴量の変化量を求め、前記変化量から前記１つの操作に関する操作特徴量を算出する第２算出部と、を備える。

【0008】

本発明の第３態様におけるコンテンツ評価プログラムは、一連の操作を通じて創作されるコンテンツの描画状態に関する状態特徴量の時系列を算出する第１算出ステップと、算出された前記状態特徴量の時系列を用いて１つの操作の前後にわたる状態特徴量の変化量を求め、前記変化量から前記１つの操作に関する操作特徴量を算出する第２算出ステップと、を１つ又複数のコンピュータに実行させる。

【0009】

本発明の第４態様におけるコンテンツ評価方法では、一連の操作を通じて創作されるコンテンツの描画状態に関する状態特徴量の時系列を算出する第１算出ステップと、
算出された前記状態特徴量の時系列を用いて１つの操作の前後にわたる状態特徴量の変化量を求め、前記変化量から前記１つの操作に関する操作特徴量を算出する第２算出ステップと、を１つ又複数のコンピュータが実行する。

【0010】

本発明の第５態様におけるコンテンツ評価システムは、一連の操作を通じて創作されるコンテンツを示すコンテンツデータを生成可能なユーザ装置と、前記ユーザ装置との間で通信可能に構成されるサーバ装置と、を備え、前記サーバ装置は、前記コンテンツの描画状態に関する状態特徴量の時系列を算出する第１算出部と、前記第１算出部により算出された前記状態特徴量の時系列を用いて１つの操作の前後にわたる状態特徴量の変化量を求め、前記変化量から前記１つの操作に関する操作特徴量を算出する第２算出部と、を備える。

【発明の効果】

【0011】

本発明によれば、単に完成品の描画内容を用いて評価する場合と比べて、コンテンツをより精緻に評価することができる。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態におけるコンテンツ評価システムの全体構成図である。

【図2】図１におけるサーバ装置の構成の一例を示すブロック図である。

【図3】図２に示す特徴量算出部の詳細な機能ブロック図である。

【図4】サーバ装置による特徴量情報の算出動作の一例を示すフローチャートである。

【図5】図１のユーザ装置を用いて創作されたコンテンツの一例を示す図である。

【図6】図５におけるアートワークの描画状態の遷移を示す図である。

【図7】図１及び図２のコンテンツデータが有するデータ構造の一例を示す図である。

【図8】図３のグラフデータが有するデータ構造の一例を示す図である。

【図9】第１絵紋データが有するデータ構造の一例を示す図である。

【図10】状態特徴量の算出方法の一例を示す図である。

【図11】第２絵紋データが有するデータ構造の一例を示す図である。

【図12】操作特徴量の算出方法の一例を示す図である。

【図13】創作工程の識別方法の第１例を示す図である。

【図14】創作工程の識別方法の第２例を示す図である。

【発明を実施するための形態】

【0013】

以下、添付図面を参照しながら本発明の実施形態について説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を付して、重複する説明は省略する。

【0014】

［コンテンツ評価システム１０の構成］
＜全体構成＞
図１は、本発明の一実施形態におけるコンテンツ評価システム１０の全体構成図である。コンテンツ評価システム１０は、電子化されたコンテンツ（いわゆるデジタルコンテンツ）を評価するための「コンテンツ評価サービス」を提供するために設けられる。このコンテンツ評価システム１０は、具体的には、１つ又は複数のユーザ装置１２と、１本又は複数本の電子ペン１４と、サーバ装置１６（「コンテンツ評価装置」に相当）と、を含んで構成される。各々のユーザ装置１２とサーバ装置１６とは、ネットワークＮＴを介して通信可能に接続されている。

【0015】

ユーザ装置１２は、コンテンツ評価サービスを利用するユーザ（例えば、コンテンツの創作者）が所有するコンピュータであって、例えば、タブレット、スマートフォン、パーソナルコンピュータなどから構成される。ユーザ装置１２は、いずれも後述するコンテンツデータＤ１及び関連データＤ２を生成し、自身が生成した各種データを、ネットワークＮＴを介してサーバ装置１６に供給可能に構成される。このユーザ装置１２は、具体的には、プロセッサ２１と、メモリ２２と、通信ユニット２３と、表示ユニット２４と、タッチセンサ２５と、を含んで構成される。

【0016】

プロセッサ２１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＭＰＵ（Micro-Processing Unit）を含む演算処理装置によって構成される。プロセッサ２１は、メモリ２２に格納されたプログラム及びデータを読み出すことで、コンテンツを記述するインクデータ（以下、デジタルインクともいう）を生成する生成処理、デジタルインクが示すコンテンツを表示させるレンダリング処理などを行う。

【0017】

メモリ２２は、プロセッサ２１が各構成要素を制御するのに必要なプログラム及びデータを記憶している。メモリ２２は、非一過性であり、かつ、コンピュータ読み取り可能な記憶媒体から構成される。ここで、コンピュータ読み取り可能な記憶媒体は、［１］コンピュータシステムに内蔵されるハードディスク（ＨＤＤ：Hard Disk Drive）、ソリッドステートドライブ（ＳＳＤ：Solid State Drive）などの記憶装置、［２］光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ（Compact Disk）－ＲＯＭ、フラッシュメモリなどの可搬媒体などから構成される。

【0018】

通信ユニット２３は、外部装置との間で有線通信又は無線通信を行う通信機能を有する。これにより、ユーザ装置１２は、例えば、サーバ装置１６との間で、コンテンツデータＤ１、関連データＤ２、又は提示データＤ３などの様々なデータのやり取りを行うことができる。

【0019】

表示ユニット２４は、画像又は映像を含むコンテンツを可視的に表示可能であり、例えば、液晶パネル、有機ＥＬ（Electro-Luminescence）パネル、電子ペーパーから構成される。なお、表示ユニット２４に可撓性をもたせることで、ユーザは、ユーザ装置１２のタッチ面を湾曲又は屈曲させた状態のまま、様々な筆記操作を行うことができる。

【0020】

タッチセンサ２５は、複数のセンサ電極を面状に配置してなる静電容量方式のセンサである。このタッチセンサ２５は、例えば、センサ座標系のＸ軸の位置を検出するための複数本のＸライン電極と、Ｙ軸の位置を検出するための複数本のＹライン電極と、を含んで構成される。なお、タッチセンサ２５は、上記した相互容量方式のセンサに代えて、ブロック状の電極を二次元格子状に配置した自己容量方式のセンサであってもよい。

【0021】

電子ペン１４は、ペン型のポインティングデバイスであり、ユーザ装置１２との間で一方向又は双方向に通信可能に構成される。この電子ペン１４は、例えば、アクティブ静電結合方式（ＡＥＳ）又は電磁誘導方式（ＥＭＲ）のスタイラスである。ユーザとしての生徒は、電子ペン１４を把持し、ユーザ装置１２が有するタッチ面にペン先を押し当てながら移動させることで、ユーザ装置１２に絵や文字などを書き込むことができる。

【0022】

サーバ装置１６は、コンテンツの評価に関する統括的な制御を行うコンピュータであり、クラウド型あるいはオンプレミス型のいずれであってもよい。ここで、サーバ装置１６を単体のコンピュータとして図示しているが、サーバ装置１６は、これに代わって分散システムを構築するコンピュータ群であってもよい。

【0023】

＜サーバ装置１６のブロック図＞
図２は、図１におけるサーバ装置１６の構成の一例を示すブロック図である。サーバ装置１６は、具体的には、通信部３０と、制御部３２と、記憶部３４と、を備える。

【0024】

通信部３０は、外部装置に対して電気信号を送受信するインターフェースである。これにより、サーバ装置１６は、コンテンツデータＤ１及び関連データＤ２のうち少なくとも一方をユーザ装置１２から取得するとともに、自身が生成した提示データＤ３をユーザ装置１２に提供することができる。

【0025】

制御部３２は、ＣＰＵやＧＰＵを含むプロセッサにより構成される。制御部３２は、記憶部３４に格納されたプログラム及びデータを読み出して実行することで、データ取得部４０、特徴量算出部４２、コンテンツ評価部４４（「真贋判定部」や「工程識別部」に相当）、情報生成部４６（「絵紋生成部」に相当）及び表示指示部４８として機能する。

【0026】

データ取得部４０は、評価対象であるコンテンツに関する各種データ（例えば、コンテンツデータＤ１や関連データＤ２など）を取得する。データ取得部４０は、通信を介して外部装置から各種データを取得してもよいし、各種データを記憶部３４から読み出して取得してもよい。

【0027】

特徴量算出部４２は、データ取得部４０により取得されたコンテンツデータＤ１及び関連データＤ２のうち少なくとも一方から、コンテンツに関する特徴量を算出する。この特徴量には、［１］コンテンツの描画状態に関する特徴量（以下「状態特徴量」という）又は［２］コンテンツを創作するために行われた個々の操作に関する特徴量（以下、「操作特徴量」という）が含まれる。特徴量算出部４２の具体的な構成については、図３で詳しく説明する。

【0028】

コンテンツ評価部４４は、特徴量算出部４２により算出された状態特徴量又は操作特徴量の時系列を用いて、コンテンツを評価する評価処理を行う。コンテンツ評価部４４は、例えば、［１］コンテンツの作風、［２］創作者の癖、［３］創作者の心理状態、又は［４］外部環境の状態を評価する。ここで、「作風」とは、コンテンツに現われた創作者の個性又は思想を意味する。「癖」の一例として、色使い、ストロークの描画傾向、機器の使い方の傾向、操作ミスの程度などが挙げられる。「心理状態」の一例として、喜怒哀楽を含む感情の他に、眠気、リラックス、緊張などの様々な状態が挙げられる。「外部環境」の一例として、周辺の明るさ、寒暖、天気、季節などが挙げられる。

【0029】

また、コンテンツ評価部４４は、評価対象のコンテンツに対応する特徴量の時系列（つまり、第１時系列特徴量）と、真正のコンテンツに対応する特徴量の時系列（つまり、第２時系列特徴量）との間の類似度を求め、この類似度に基づいて評価対象のコンテンツの真贋性を判定する。この類似度には、例えば、相関係数、ノルムなどを含む様々な指標が用いられる。

【0030】

また、コンテンツ評価部４４は、特徴量算出部４２により算出された状態特徴量又は操作特徴量の時系列を用いて、コンテンツの描画状態に対応する創作工程の種類を推定することができる。創作工程の種類の一例として、構図工程、線画工程、色付け工程、仕上げ工程などが挙げられる。また、色付け工程は、例えば、下塗り工程、本塗り工程などに細分化されてもよい。

【0031】

情報生成部４６は、特徴量算出部４２により算出された各種特徴量（より詳しくは、状態特徴量又は操作特徴量）の時系列を用いて、いずれも後述する絵紋情報５４又は派生情報５６を生成する。あるいは、情報生成部４６は、コンテンツ評価部４４による評価結果を示す評価結果情報５８を生成する。

【0032】

表示指示部４８は、情報生成部４６により生成された情報の表示を指示する。この「表示」には、サーバ装置１６に設けられる出力デバイス（不図示）に表示する場合の他に、絵紋情報５４、派生情報５６又は評価結果情報５８を含む提示データＤ３をユーザ装置１２（図１）などの外部装置に送信する場合も含まれる。

【0033】

記憶部３４は、制御部３２が各構成要素を制御するのに必要なプログラム及びデータを記憶している。記憶部３４は、非一過性であり、かつ、コンピュータ読み取り可能な記憶媒体で構成されている。ここで、コンピュータ読み取り可能な記憶媒体は、［１］コンピュータシステムに内蔵されるＨＤＤ、ＳＳＤなどの記憶装置、［２］光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、フラッシュメモリなどの可搬媒体などから構成される。

【0034】

図２の例では、記憶部３４には、単語の概念に関するデータベース（以下、「概念グラフ５０」という）、コンテンツに関するデータベース（以下、「コンテンツＤＢ５２」という）が構築されるとともに、絵紋情報５４、派生情報５６、及び評価結果情報５８が格納されている。

【0035】

概念グラフ５０は、単語同士の関係性を示すグラフ（つまり、オントロジーグラフ）であり、ノード及びリンク（あるいはエッジ）により構成される。ノードを構成する個々の単語には、Ｎ次元（例えば、Ｎ≧３）の特徴量空間上の座標値が対応付けられている。つまり、個々の単語は、自然言語処理の「分散表現」として定量化されている。

【0036】

概念グラフ５０には、名詞、形容詞、副詞、動詞又はこれらを組み合わせた複合語が含まれる。また、概念グラフ５０には、コンテンツの形態を直接的に表現する単語（例えば、物体の種類・色彩・形状・模様など）に限られず、感情や状態などの精神的な表現に関する単語が登録されてもよい。また、概念グラフ５０には、日常的に使用される単語に限られず、日常的に使用されない単語（例えば、架空の物体、創作工程の種類）であってもよい。また、概念グラフ５０は、日本語、英語、中国語などの言語の種類毎に設けられてもよい。概念グラフ５０を使い分けることで、国毎又は地域毎の文化の違いをより精緻に反映させることができる。

【0037】

コンテンツＤＢ５２は、［１］コンテンツデータＤ１、［２］関連データＤ２、及び［３］コンテンツデータＤ１又は関連データＤ２を用いて生成された情報（以下、「生成情報」という）が関連付けて登録されている。この「生成情報」には、絵紋情報５４、派生情報５６、及び評価結果情報５８が含まれる。

【0038】

コンテンツデータＤ１は、コンテンツを構成するコンテンツ要素の集合体であり、コンテンツの創作過程を表現可能に構成される。コンテンツデータＤ１は、例えば、手書きによるコンテンツを表現するためのインクデータ（以下、デジタルインク）からなる。デジタルインクを記述するための「インク記述言語」として、例えば、ＷＩＬＬ（Wacom Ink Layer Language）、ＩｎｋＭＬ（Ink Markup Language）、ＩＳＦ（Ink Serialized Format）が挙げられる。コンテンツは、例えば、絵画、書画、イラスト、文字などを含むアートワーク（あるいは、デジタルアート）であってもよい。

【0039】

関連データＤ２は、コンテンツの創作に関連する様々な情報を含む。関連データＤ２には、例えば、［１］コンテンツの創作者の識別情報や属性などを含む創作者情報、［２］表示ユニット２４の解像度・サイズ・種類、タッチセンサ２５の検出性能・種類、筆圧カーブの形状などを含む「デバイスドライバ側の設定条件」、［３］コンテンツの種類、カラーパレットやブラシの色情報、視覚効果の設定などを含む「描画アプリ側の設定条件」、［４］描画アプリの実行を通じ逐次的に記憶されている「創作者の操作履歴」又は［５］創作者の生体状態を示す「バイタルデータ」などが挙げられる。

【0040】

絵紋情報５４は、上記した特徴量空間上で定義される絵紋又は加工された絵紋を含む。ここで、「絵紋」は、状態特徴量を表現するための特徴量空間上の点の集合又は軌跡を意味する。「加工された絵紋」の一例として、次元数が削減された絵紋（すなわち、断面図）や、点数が間引かれた絵紋などが挙げられる。絵紋情報５４は、上記した創作者情報、具体的には、コンテンツ又は創作者の識別情報と対応付けて記憶されている。

【0041】

派生情報５６は、絵紋情報５４から派生した情報であり、例えば、コンテンツの創作者に気づきを与えるための可視情報（以下、「気づき情報」という）を含む。気づき情報の一例として、［１］状態特徴量としての単語群や、［２］この単語群に含まれる単語を抽象化又は婉曲化した別の表現（例えば、特徴の強さを示すシンボル、類似性が高い別の単語など）が挙げられる。派生情報５６は、絵紋情報５４と同様に、創作者情報（具体的には、コンテンツ又は創作者の識別情報）と対応付けて記憶されている。

【0042】

評価結果情報５８は、コンテンツ評価部４４によるコンテンツの評価結果を示しており、評価結果の一例として、［１］分類カテゴリーや得点などを含む単体評価の結果、［２］類似度や真贋判定などを含む比較評価の結果が挙げられる。

【0043】

＜特徴量算出部４２の機能ブロック図＞
図３は、図２に示す特徴量算出部４２の詳細な機能ブロック図である。この特徴量算出部４２は、データ整形部６０、ラスタライズ処理部６２、単語変換部６４、データ統合部６６、状態特徴量算出部６８（「第１算出部」に相当）及び操作特徴量算出部７０（「第２算出部」に相当）として機能する。

【0044】

データ整形部６０は、データ取得部４０により取得されたコンテンツデータＤ１及び関連データＤ２に対して整形処理を行い、整形済みのデータ（以下、「非ラスタデータ」という）を出力する。具体的には、データ整形部６０は、［１］両方のデータ同士を関連付ける関連付け処理、［２］コンテンツの創作期間内における一連の操作に順番を付与する付与処理、［３］不要なデータを除去する除去処理を行う。ここで、「不要データ」の一例として、［１］創作期間内で取り消されたユーザ操作に関する操作データ、［２］コンテンツの完成に寄与しないユーザ操作に関する操作データ、［３］上記した関連付け処理を行った結果、整合性が認められない各種データなどが挙げられる。

【0045】

ラスタライズ処理部６２は、データ取得部４０により取得されたコンテンツデータＤ１に含まれるベクトルデータをラスタデータに変換する「ラスタライズ処理」を行う。ベクトルデータは、ストロークの形態（例えば、形状、太さ、色など）を示すストロークデータを意味する。ラスタデータは、複数の画素値から構成される画像データを意味する。

【0046】

単語変換部６４は、入力データを１つ又は２つ以上の単語（以下、単語群という）に変換するためのデータ変換処理を行う。単語変換部６４は、第１単語群を出力するための第１変換器と、第２単語群を出力するための第２変換器と、を備える。

【0047】

第１変換器は、ラスタライズ処理部６２からのラスタデータを入力とし、画像の検出結果（物体の種類及び位置に関する存在確率）を示すテンソルデータを出力とする学習器から構成される。この学習器は、例えば、機械学習がなされた畳み込みニューラルネットワーク（例えば、「Ｍａｓｋ Ｒ－ＣＮＮ」など）により構築されてもよい。単語変換部６４は、概念グラフ５０を記述するグラフデータ７２を参照し、第１変換器により検出された物体の種類を示す単語群のうち、概念グラフ５０に登録されている単語群を「第１単語群」として決定する。

【0048】

第２変換器は、データ整形部６０からの非ラスタデータを入力とし、単語毎の得点を出力とする学習器から構成される。この学習器は、例えば、機械学習がなされたニューラルネットワーク（例えば、「ＬｉｇｈｔＧＢＭ」や「ＸＧＢｏｏｓｔ」など）により構築されてもよい。単語変換部６４は、概念グラフ５０を記述するグラフデータ７２を参照し、第２変換器により変換された単語群のうち、概念グラフ５０に登録されている単語群を「第２単語群」として決定する。

【0049】

データ統合部６６は、単語変換部６４により逐次的に得られた操作毎のデータ（より詳しくは、第１単語群及び第２単語群）を統合する。この操作は、１本のストロークを描画するための「ストローク操作」であるが、これと併せて又はこれとは別に、コンテンツの創作に影響し得る様々なユーザ操作であってもよい。また、この統合は、１つずつの操作単位で行われてもよいし、連続する２つ以上の操作単位で行われてもよい。

【0050】

状態特徴量算出部６８は、少なくとも、コンテンツのラスタデータ及びストロークデータの両方に基づいて、一連の操作を通じて創作されるコンテンツの描画状態に関する特徴量（以下、「状態特徴量」という）を時系列的に算出する。この状態特徴量の時系列は、コンテンツに固有の模様である「絵紋」に相当する。この状態特徴量は、例えば、［１］単語群を構成する単語の種類・個数、又は［２］概念グラフ５０により定義される特徴量空間上の座標値であってもよい。あるいは、状態特徴量算出部６８は、コンテンツデータＤ１又は関連データＤ２から言語の種類を特定し、言語の種類に対応する概念グラフ５０を用いて状態特徴量の時系列を算出してもよい。

【0051】

操作特徴量算出部７０は、状態特徴量算出部６８により算出された状態特徴量の時系列を用いて、単独の又は連続する操作の前後にわたる状態特徴量の変化量を求め、当該変化量から当該操作に関する操作特徴量を時系列的に算出する。この操作特徴量の時系列は、コンテンツに固有の模様である「絵紋」に相当する。この操作特徴量は、例えば、１つの操作が行われる直前の第１描画状態を始点とし、１つの操作が行われた直後の第２描画状態を終点とするベクトルの大きさ又は向きである。

【0052】

［コンテンツ評価システム１０の動作］
この実施形態におけるコンテンツ評価システム１０は、以上のように構成される。続いて、コンテンツ評価システム１０の一部を構成するサーバ装置１６の動作、具体的には、特徴量情報の算出動作について、図３の機能ブロック図、図４のフローチャート、並びに図５～図１２を参照しながら説明する。

【0053】

図４のステップＳＰ１０において、データ取得部４０は、評価対象のコンテンツに関する各種データ、例えば、コンテンツデータＤ１及び関連データＤ２のうち少なくとも一方を取得する。

【0054】

図５は、図１のユーザ装置１２を用いて創作されたコンテンツの一例を示す図である。本図のコンテンツは、手書きにより創作されたアートワーク８０である。コンテンツの創作者は、ユーザ装置１２及び電子ペン１４を駆使しながら、所望のアートワーク８０を完成させる。アートワーク８０は、創作者による一連の操作、あるいは、複数種類の創作工程を通じて創作される。

【0055】

図６は、図５におけるアートワーク８０の描画状態の遷移を示す図である。１番目の仕掛り作品８０ａは、全体の構図を定める「構図工程」での描画状態を示している。２番目の仕掛り作品８０ｂは、線画を作成する「線画工程」での描画状態を示している。３番目の仕掛り作品８０ｃは、色塗りを行う「色付け工程」での描画状態を示している。４番目の仕掛り作品８０ｄは、仕上げるための「仕上げ工程」での描画状態を示している。

【0056】

図７は、図１及び図２のコンテンツデータＤ１が有するデータ構造の一例を示す図である。本図の例では、コンテンツデータＤ１がデジタルインクである場合を示している。デジタルインクは、[１]文書メタデータ（document metadata）、［２］意味データ（ink semantics）、［３］装置データ（devices）、［４］ストロークデータ（strokes）、［５］分類データ（groups）、及び［６］文脈データ（contexts）を順次配列してなるデータ構造を有する。

【0057】

ストロークデータ８２は、手書きによるコンテンツを構成する個々のストロークを記述するためのデータであり、コンテンツを構成するストロークの形状及び該ストロークの書き順を示している。図７から理解されるように、１本のストロークは、＜ｔｒａｃｅ＞タグ内に順次配列される複数のポイントデータにより記述される。各々のポイントデータは、少なくとも指示位置（Ｘ座標、Ｙ座標）からなり、カンマなどのデリミタで区切られる。図示の便宜上、ストロークの始点及び終点を示すポイントデータのみを表記し、複数の経由点を示すポイントデータを省略している。このポイントデータには、上記した指示位置の他に、ストロークの生成又は編集の順番や、電子ペン１４の筆圧、姿勢などが含まれてもよい。

【0058】

図４のステップＳＰ１２において、データ整形部６０は、ステップＳＰ１０で取得されたコンテンツデータＤ１及び関連データＤ２に対する整形処理を行う。この整形により、ラスタ形式ではないデータ（以下、「非ラスタデータ」ともいう）がストローク操作毎に対応付けられる。

【0059】

ステップＳＰ１４において、特徴量算出部４２は、コンテンツの創作期間内にてまだ選択されていない１つの描画状態を指定する。特徴量算出部４２は、１回目の処理にて、１番目のストローク操作が行われた描画状態を指定する。

【0060】

ステップＳＰ１６において、ラスタライズ処理部６２は、ステップＳＰ１４で指定された描画状態を再現するようにラスタライズ処理を行う。具体的には、ラスタライズ処理部６２は、直近の画像に対して１本のストロークを追加する描画処理を行う。これにより、変換対象であるラスタデータ（つまり、画像）が更新される。

【0061】

ステップＳＰ１８において、単語変換部６４は、ステップＳＰ１４，ＳＰ１６で作成された各データを１つ又は２つ以上の単語から構成される単語群に変換する。具体的には、単語変換部６４は、ラスタライズ処理部６２からのラスタデータを第１単語群に変換するとともに、データ整形部６０からの非ラスタデータを第２単語群に変換する。単語変換部６４は、［１］ラスタデータの変換及び［２］非ラスタデータの変換を行う際、概念グラフ５０を記述するグラフデータ７２を参照する。

【0062】

図８は、図３のグラフデータ７２が有するデータ構造の一例を示す図である。このグラフデータ７２は、グラフを構成するノードに関する「ノード情報」と、グラフを構成するリンクに関する「リンク情報」との間の対応関係を示すテーブル形式のデータである。ノード情報には、例えば、ノードＩＤ（identification）、単語名、分散表現（特徴量空間上の座標値）、表示フラグが含まれる。リンク情報には、ノード同士のリンクの有無や、各リンクに付与されるラベルが含まれる。

【0063】

図４のステップＳＰ２０において、特徴量算出部４２は、すべてのストローク操作でのデータ変換が終了したか否かを確認する。１回目の処理では変換がまだ終了していないので（ステップＳＰ２０：ＮＯ）、特徴量算出部４２は、ステップＳＰ１４に戻る。

【0064】

ステップＳＰ１４において、特徴量算出部４２は、２回目の処理において、２番目のストローク操作が行われた描画状態を指定する。以下、特徴量算出部４２は、すべての描画状態でのデータ変換が終了するまでの間、ステップＳＰ１４～ＳＰ２０の動作を順次繰り返す。この動作を繰り返している間、データ統合部６６は、ストローク操作毎にデータを集約して統合する。その後、すべてのストローク操作でのデータ変換が終了した場合（ステップＳＰ２０：ＹＥＳ）、次のステップＳＰ２２に進む。

【0065】

ステップＳＰ２２において、状態特徴量算出部６８は、ステップＳＰ１４～ＳＰ２０の実行を通じて統合された統合データを用いて、状態特徴量の時系列を算出する。これにより、第１の絵紋を示す第１絵紋データ７４が生成される。

【0066】

図９は、第１絵紋データ７４が有するデータ構造の一例を示す図である。この第１絵紋データ７４は、アートワーク８０の描画状態の識別情報である「状態ＩＤ」と、描画状態に関する「状態特徴量」との間の対応関係を示すテーブル形式のデータである。状態特徴量には、例えば、第１単語群、第２単語群、及び座標値が含まれる。この座標値は、Ｎ次元の特徴量空間９０上で定義される。次元数Ｎは、３以上の整数であり、数百オーダーの数値であることが望ましい。

【0067】

図１０は、状態特徴量の算出方法の一例を示す図である。図示の便宜上、特徴量空間９０は、第１成分及び第２成分を二軸とする平面座標系で表現されている。第１単語群に相当する単語群Ｇ１は、複数個（本図例では、６個）の単語９２から構成される。第２単語群に相当する単語群Ｇ２は、複数個（本図例では、７個）の単語９４から構成される。

【0068】

ここで、状態特徴量算出部６８は、２つの単語群Ｇ１，Ｇ２の和集合を求め、点集合の代表点９６の座標値を描画状態における特徴量（つまり、状態特徴量）として算出する。状態特徴量算出部６８は、単語群Ｇ１，Ｇ２に属するすべての単語を用いて和集合を求めてもよいし、他の単語との間で関係性が低い単語（具体的には、リンクがない独立したノード）を除外した上で和集合を求めてもよい。また、状態特徴量算出部６８は、例えば、点集合の重心を代表点９６として特定してもよいし、他の統計的手法を用いて代表点９６を特定してもよい。

【0069】

図４のステップＳＰ２４において、操作特徴量算出部７０は、ステップＳＰ２２により算出された状態特徴量の時系列を用いて、操作特徴量の時系列を算出する。これにより、第２の絵紋を示す第２絵紋データ７６が生成される。

【0070】

図１１は、第２絵紋データ７６が有するデータ構造の一例を示す図である。この第２絵紋データ７６は、ストローク操作の識別情報である「ストロークＩＤ」と、各ストローク操作に関する「操作特徴量」との間の対応関係を示すテーブル形式のデータである。操作特徴量には、例えば、増加した単語、減少した単語、及び変位量が含まれる。変位量は、図９の「座標値」と同様に、Ｎ次元の特徴量空間９０上で定義される。

【0071】

図１２は、操作特徴量の算出方法の一例を模式的に示す図である。図示の便宜上、図１０の場合と同様に、特徴量空間９０は、第１成分及び第２成分を二軸とする平面座標系で表現されている。本図の星印は、概念グラフ５０により定義された単語の位置（いわゆる、分散表現）を示している。本図の丸印は、描画状態の位置（つまり、状態特徴量）を示している。

【0072】

例えば、ｉ番目の描画状態からｉ番目のストローク操作を行うことで、（ｉ＋１）番目の描画状態に遷移したとする。この場合、位置Ｐを始点とし、かつ位置Ｑを終点とするベクトル（あるいは変位量）が、ｉ番目の操作特徴量に相当する。以下、同様に、位置Ｑを始点とし、かつ位置Ｒを終点とするベクトル（あるいは変位量）が、（ｉ＋１）番目の操作特徴量に相当する。

【0073】

図４のステップＳＰ２６において、特徴量算出部４２は、ステップＳＰ２２，ＳＰ２４でそれぞれ算出された特徴量情報を保存する。具体的には、特徴量算出部４２は、第１絵紋データ７４及び第２絵紋データ７６を、コンテンツ又は創作者と対応付けた状態にて記憶部３４に供給する。これにより、第１絵紋データ７４及び第２絵紋データ７６が、それぞれ利用可能な状態でコンテンツＤＢ５２に登録される。以上のようにして、サーバ装置１６は、図４のフローチャートに示す動作を終了する。

【0074】

［絵紋データの使用例］
＜第１例：創作工程の識別＞
コンテンツ評価部４４は、状態特徴量又は操作特徴量の時系列（つまり、絵紋データ）を用いて、アートワーク８０の描画状態に対応する創作工程の種類を識別してもよい。例えば、概念グラフ５０にて創作工程を示す単語が定義されている場合、コンテンツ評価部４４は、第１単語群又は第２単語群に含まれる単語の有無に応じて創作工程を識別することができる。以下、概念グラフ５０にて創作工程を示す単語が定義されていない場合での創作工程の識別方法について、図１３及び図１４を参照しながら説明する。

【0075】

図１３は、創作工程の識別方法の第１例を示す図である。図示の便宜上、図１０及び図１２の場合と同様に、特徴量空間は、第１成分及び第２成分を二軸とする平面座標系で表現されている。本図の絵紋１００は、アートワーク８０の創作の開始時点から終了時点までの一連の創作過程を示している。より具体的には、絵紋１００は、ストローク操作毎に算出された代表点９６（図１０）の集合体である。絵紋１００を構成する各点は、創作工程の種類に応じて異なる濃淡で描画されている。本図から理解されるように、点集合のクラスタが、創作工程毎に形成される傾向がある。そこで、コンテンツ評価部４４は、絵紋１００の点集合に対してクラスタリング処理を行い、区分されたグループの属否に応じて創作工程を識別することができる。なお、絵紋１００は、点の集合体（つまり、散布図）に代えて、１本の線からなる軌跡であってもよい。

【0076】

図１４は、創作工程の識別方法の第２例を示す図である。グラフの横軸はストロークＩＤを示すとともに、グラフの縦軸は操作特徴量を示している。この操作特徴量は、状態特徴量の変位量の大きさ、つまりベクトルの「ノルム」に相当する。本図から理解されるように、次の創作工程に移行するタイミングで特徴点が大きく移動し、ノルムが一時的かつ急激に増加する傾向がみられる。そこで、コンテンツ評価部４４は、操作特徴量の時間プロファイルに対してピーク検出処理を行い、検出された複数のピークの位置関係から創作工程の移行タイミングを識別することができる。

【0077】

＜２．気づき情報の提示＞
サーバ装置１６は、アートワーク８０の創作者に対して、創作活動に関わる様々な情報を提示してもよい。この場合、表示指示部４８は、情報生成部４６により生成された絵紋情報５４又は派生情報５６の表示を指示する。より詳しくは、表示指示部４８は、アートワーク８０に関する絵紋情報５４又は派生情報５６を含む提示データＤ３を、当該アートワーク８０の創作者が所有するユーザ装置１２に送信する。

【0078】

そうすると、ユーザ装置１２のプロセッサ２１は、サーバ装置１６から受信した提示データＤ３を用いて表示信号を生成し、当該表示信号を表示ユニット２４に供給する。これにより、表示ユニット２４が有する表示画面内に、絵紋情報５４又は派生情報５６が可視化して表示される。

【0079】

例えば、ユーザ装置１２は、派生情報５６の一態様である気づき情報をアートワーク８０と併せて表示させてもよい。気づき情報を可視化することで、アートワーク８０に対する新たな発見や解釈を創作者に促すことが可能となり、創作者に対して新たなインスピレーションが付与される。その結果、アートの創作活動に関する「正のスパイラル」が生まれる。

【0080】

［実施形態のまとめ］
以上のように、この実施形態におけるコンテンツ評価システム１０は、コンテンツ（例えば、アートワーク８０）を示すコンテンツデータＤ１を生成可能な１つ又は複数のユーザ装置１２と、各々のユーザ装置１２との間で通信可能に構成されるコンテンツ評価装置（ここでは、サーバ装置１６）と、を備える。

【0081】

［１］サーバ装置１６は、アートワーク８０の創作の開始時点から終了時点までの創作期間内における描画状態に関する状態特徴量を算出する特徴量算出部４２と、特徴量算出部４２により算出された状態特徴量を表現するための特徴量空間９０上の点の集合又は軌跡である絵紋１００を生成する絵紋生成部（ここでは、情報生成部４６）を備える。

【0082】

また、この実施形態におけるコンテンツ評価方法及びプログラムによれば、１つ又は複数のコンピュータ（ここでは、サーバ装置１６）が、アートワーク８０の創作の開始時点から終了時点までの創作期間内における描画状態に関する状態特徴量を算出し（図４のステップＳＰ２２）、算出された状態特徴量を表現するための特徴量空間９０上の点の集合又は軌跡である絵紋１００を生成する。

【0083】

このように、描画状態に関する状態特徴量を表現するための特徴量空間９０上の点の集合又は軌跡、すなわち絵紋１００を生成するので、単に完成品の描画内容を用いて評価する場合と比べて、アートワーク８０をより精緻に評価することができる。

【0084】

また、サーバ装置１６は、絵紋１００に関する絵紋情報５４又は絵紋情報５４から派生した派生情報５６の表示を指示する表示指示部４８をさらに備えてもよい。また、状態特徴量が３よりも大きい次元数を有する場合、絵紋情報５４は、次元数が３以下に削減された絵紋であってもよい。また、派生情報５６は、アートワーク８０の創作者に気づきを与えるための気づき情報であってもよい。また、サーバ装置１６は、絵紋１００を示す絵紋データ（ここでは、第１絵紋データ７４又は第２絵紋データ７６）を用いてアートワーク８０を評価するコンテンツ評価部４４をさらに備えてもよい。

【0085】

［２］サーバ装置１６は、一連の操作を通じて創作されるコンテンツ（ここでは、アートワーク８０）の描画状態に関する状態特徴量の時系列を算出する第１算出部（ここでは、状態特徴量算出部６８）と、状態特徴量算出部６８により算出された状態特徴量の時系列を用いて１つの操作の前後にわたる状態特徴量の変化量を求め、当該変化量から１つの操作に関する操作特徴量を算出する第２算出部（ここでは、操作特徴量算出部７０）と、を備える。

【0086】

また、この実施形態におけるコンテンツ評価方法及びプログラムによれば、１つ又は複数のコンピュータ（ここでは、サーバ装置１６）が、一連の操作を通じて創作されるアートワーク８０の描画状態に関する状態特徴量の時系列を算出する第１算出ステップ（図４のステップＳＰ２２）と、算出された状態特徴量の時系列を用いて、単独の又は連続する操作の前後にわたる状態特徴量の変化量を求め、当該変化量から単独の又は連続する操作に関する操作特徴量を算出する第２算出ステップ（図４のステップＳＰ２４）と、を実行する。

【0087】

このように、１つの操作の前後にわたる状態特徴量の変化量を求め、当該変化量から１つの操作に関する操作特徴量を算出するので、単に完成品の描画内容を用いて評価する場合と比べて、アートワーク８０をより精緻に評価することができる。

【0088】

また、状態特徴量は、単語同士の関係性を示す概念グラフ５０により定義される特徴量空間９０上の座標値であってもよい。また、概念グラフ５０が言語の種類毎に設けられる場合、状態特徴量算出部６８は、アートワーク８０を示すコンテンツデータＤ１及びアートワーク８０の創作に関わる関連データＤ２のうち少なくとも一方から言語の種類を特定し、言語の種類に対応する概念グラフ５０を用いて状態特徴量の時系列を算出してもよい。また、状態特徴量算出部６８は、少なくとも、アートワーク８０のラスタデータ及びストロークデータの両方に基づいて状態特徴量の時系列を算出してもよい。

【0089】

また、操作特徴量は、１本のストロークを描画するためのストローク操作が行われる直前の第１描画状態を始点とし、ストローク操作が行われた直後の第２描画状態を終点とするベクトルの大きさ又は向きであってもよい。また、コンテンツ評価部４４は、状態特徴量又は操作特徴量の時系列を用いて、アートワーク８０の描画状態に対応する創作工程の種類を識別してもよい。

【0090】

［変形例］
なお、本発明は、上記した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。あるいは、技術的に矛盾が生じない範囲で各々の構成を任意に組み合わせてもよい。あるいは、技術的に矛盾が生じない範囲でフローチャートを構成する各ステップの実行順を変更してもよい。

【符号の説明】

【0091】

１０…コンテンツ評価システム、１２…ユーザ装置、１４…電子ペン、１６…サーバ装置（コンテンツ評価装置）、４０…データ取得部、４２…特徴量算出部、４４…コンテンツ評価部（工程識別部）、４６…情報生成部（絵紋生成部）、４８…表示指示部、５０…概念グラフ、５４…絵紋情報、５６…派生情報、８０…アートワーク（コンテンツ）、９０…特徴量空間、１００…絵紋、Ｄ１…コンテンツデータ、Ｄ２…関連データ、Ｄ３…提示データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】