IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

特開2024-39974レイアウト支援システム、レイアウト支援装置、情報蓄積装置、レイアウト支援方法、およびレイアウト支援プログラム
<>
  • 特開-レイアウト支援システム、レイアウト支援装置、情報蓄積装置、レイアウト支援方法、およびレイアウト支援プログラム 図1
  • 特開-レイアウト支援システム、レイアウト支援装置、情報蓄積装置、レイアウト支援方法、およびレイアウト支援プログラム 図2
  • 特開-レイアウト支援システム、レイアウト支援装置、情報蓄積装置、レイアウト支援方法、およびレイアウト支援プログラム 図3
  • 特開-レイアウト支援システム、レイアウト支援装置、情報蓄積装置、レイアウト支援方法、およびレイアウト支援プログラム 図4
  • 特開-レイアウト支援システム、レイアウト支援装置、情報蓄積装置、レイアウト支援方法、およびレイアウト支援プログラム 図5
  • 特開-レイアウト支援システム、レイアウト支援装置、情報蓄積装置、レイアウト支援方法、およびレイアウト支援プログラム 図6
  • 特開-レイアウト支援システム、レイアウト支援装置、情報蓄積装置、レイアウト支援方法、およびレイアウト支援プログラム 図7
  • 特開-レイアウト支援システム、レイアウト支援装置、情報蓄積装置、レイアウト支援方法、およびレイアウト支援プログラム 図8
  • 特開-レイアウト支援システム、レイアウト支援装置、情報蓄積装置、レイアウト支援方法、およびレイアウト支援プログラム 図9
  • 特開-レイアウト支援システム、レイアウト支援装置、情報蓄積装置、レイアウト支援方法、およびレイアウト支援プログラム 図10
  • 特開-レイアウト支援システム、レイアウト支援装置、情報蓄積装置、レイアウト支援方法、およびレイアウト支援プログラム 図11
  • 特開-レイアウト支援システム、レイアウト支援装置、情報蓄積装置、レイアウト支援方法、およびレイアウト支援プログラム 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024039974
(43)【公開日】2024-03-25
(54)【発明の名称】レイアウト支援システム、レイアウト支援装置、情報蓄積装置、レイアウト支援方法、およびレイアウト支援プログラム
(51)【国際特許分類】
   G06T 11/60 20060101AFI20240315BHJP
   G06F 16/583 20190101ALI20240315BHJP
【FI】
G06T11/60 100A
G06F16/583
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022144754
(22)【出願日】2022-09-12
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 HARAKENZO WORLD PATENT & TRADEMARK
(72)【発明者】
【氏名】戸泉 貴裕
【テーマコード(参考)】
5B050
5B175
【Fターム(参考)】
5B050AA10
5B050BA06
5B050BA15
5B050BA16
5B050CA07
5B050CA08
5B050EA09
5B050FA02
5B050FA05
5B050FA08
5B050FA13
5B175DA02
5B175HB03
(57)【要約】
【課題】レイアウトの効率化に寄与する。
【解決手段】レイアウト支援システム(1)は、複数の既存コンテンツの画像特徴量を抽出してレイアウト情報と対応付けてデータベースに記録する情報蓄積装置(10)と、データベースに記録された各画像特徴量と、対象コンテンツについて生成された比較用特徴量との類似度に基づいて、データベースに記録されているレイアウト情報の中から対象コンテンツに適合するものを検出するレイアウト支援装置(11)と、を含む。
【選択図】図1
【特許請求の範囲】
【請求項1】
複数の既存コンテンツのそれぞれについて、当該既存コンテンツを構成する各構成要素のレイアウトと各構成要素に設定された優先順位とを示す画像から画像特徴量を抽出し、当該画像特徴量と前記複数の構成要素のレイアウトを示すレイアウト情報とを対応付けてデータベースに記録する情報蓄積装置と、
前記データベースに記録された各画像特徴量と、レイアウトの対象となる対象コンテンツを構成する各構成要素に設定された優先順位を少なくとも示す対象コンテンツ情報から生成された比較用特徴量との類似度を算出し、当該類似度に基づいて、前記データベースに記録されているレイアウト情報の中から前記対象コンテンツに適合するレイアウト情報を検出するレイアウト支援装置と、を含むレイアウト支援システム。
【請求項2】
前記情報蓄積装置は、前記既存コンテンツの各構成要素のレイアウトを各構成要素の位置および範囲を示す図形で表すと共に、各構成要素に設定された優先順位を各図形の表示態様で表した前記画像を生成する画像生成手段を備える、請求項1に記載のレイアウト支援システム。
【請求項3】
前記画像生成手段は、優先順位が上位の所定数の前記構成要素に対応する図形はそれぞれ異なる表示態様で表し、他の構成要素に対応する図形は同じ表示態様で表した前記画像を生成する、請求項2に記載のレイアウト支援システム。
【請求項4】
前記対象コンテンツ情報は、前記対象コンテンツを構成する各構成要素の内容を示す情報を含み、
前記レイアウト支援装置は、前記既存コンテンツを構成する各構成要素の内容を示す既存コンテンツ情報と前記画像特徴量とを対応付けた訓練データを用いて生成された、前記対象コンテンツを構成する各構成要素の内容に応じた前記比較用特徴量を生成するための比較用特徴量生成モデルを用いて前記比較用特徴量を生成する比較用特徴量生成手段を備える、請求項1から3の何れか1項に記載のレイアウト支援システム。
【請求項5】
前記レイアウト支援装置は、前記対象コンテンツの構成要素のそれぞれから抽出した特徴量を統合して所定のデータサイズの統合特徴量を生成する統合手段を備え、
前記比較用特徴量生成手段は、前記比較用特徴量生成モデルに前記統合特徴量を入力することにより前記比較用特徴量を生成する、請求項4に記載のレイアウト支援システム。
【請求項6】
前記対象コンテンツの構成要素のそれぞれから抽出した複数の特徴量を混合して複数の混合特徴量を生成する情報混合手段を備え、
前記比較用特徴量生成手段は、前記複数の混合特徴量に基づいて前記統合特徴量を生成する、請求項5に記載のレイアウト支援システム。
【請求項7】
複数の既存コンテンツのそれぞれについて、当該既存コンテンツを構成する各構成要素のレイアウトを示すレイアウト情報と、当該レイアウトと各構成要素に設定された優先順位とを示す画像から抽出された画像特徴量とが対応付けて記録されたデータベースを参照し、当該データベースに記録された各画像特徴量と、レイアウトの対象となる対象コンテンツを構成する各構成要素に設定された優先順位を少なくとも示す対象コンテンツ情報から生成された比較用特徴量との類似度を算出する特徴量比較手段と、
前記類似度に基づいて、前記複数の既存コンテンツのレイアウト情報の中から前記対象コンテンツに適合するレイアウト情報を検出する検出手段と、を備えるレイアウト支援装置。
【請求項8】
複数の既存コンテンツのそれぞれについて、当該既存コンテンツを構成する各構成要素のレイアウトと各構成要素に設定された優先順位とを示す画像から画像特徴量を抽出する画像特徴量抽出手段と、
当該画像特徴量と複数の前記構成要素のレイアウトを示すレイアウト情報とを対応付けてデータベースに記録する情報蓄積手段と、を備える情報蓄積装置。
【請求項9】
少なくとも1つのプロセッサが、
複数の既存コンテンツのそれぞれについて、当該既存コンテンツを構成する各構成要素のレイアウトを示すレイアウト情報と、当該レイアウトと各構成要素に設定された優先順位とを示す画像から抽出された画像特徴量とが対応付けて記録されたデータベースを参照し、当該データベースに記録された各画像特徴量と、レイアウトの対象となる対象コンテンツを構成する各構成要素に設定された優先順位を少なくとも示す対象コンテンツ情報から生成された比較用特徴量との類似度を算出することと、
前記類似度に基づいて、前記複数の既存コンテンツのレイアウト情報の中から前記対象コンテンツに適合するレイアウト情報を検出することと、を含むレイアウト支援方法。
【請求項10】
コンピュータを、
複数の既存コンテンツのそれぞれについて、当該既存コンテンツを構成する各構成要素のレイアウトを示すレイアウト情報と、当該レイアウトと各構成要素に設定された優先順位とを示す画像から抽出された画像特徴量とが対応付けて記録されたデータベースを参照し、当該データベースに記録された各画像特徴量と、レイアウトの対象となる対象コンテンツを構成する各構成要素に設定された優先順位を少なくとも示す対象コンテンツ情報から生成された比較用特徴量との類似度を算出する特徴量比較手段、および
前記類似度に基づいて、前記複数の既存コンテンツのレイアウト情報の中から前記対象コンテンツに適合するレイアウト情報を検出する検出手段、として機能させるレイアウト支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
ニュースなどの情報が書かれた紙媒体やウェブページにおける構成要素のレイアウト作成を支援するレイアウト支援システム等に関する。
【背景技術】
【0002】
ニュースなどの情報が書かれた紙媒体における記事のレイアウトは、従来から人手で行われており、その作業を省力化および効率化する技術が求められている。そのような技術が開示された文献の1つとして、例えば下記の特許文献1が挙げられる。
【0003】
特許文献1には、人手で作成された既存の文書ページのレイアウト画像を正解データとして用いると共に、当該文書ページのレイアウトをランダムに入れ替えた偽レイアウト画像を不正解データとして用いてスコアリングモデルを生成することが記載されている。特許文献1に記載の情報処理装置は、自動生成したレイアウト画像を上記のスコアリングモデルにより評価して、その評価結果に基づいて妥当なレイアウトを自動で決定する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2020‐057381号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載の技術は、効率性という点で改善の余地がある。具体的には、特許文献1に記載の技術では、レイアウト画像の自動生成において、ランダムに決定した配置座標を用いてレイアウト画像を生成する。このため、明らかに不適当なレイアウト画像も多数生成されると想定されるが、そのような不適当なレイアウト画像についても逐一スコアリングモデルで評価する必要があり、非効率である。
【0006】
本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的の一例は、レイアウトの効率化に寄与する技術を提供することである。
【課題を解決するための手段】
【0007】
本発明の一態様に係るレイアウト支援システムは、複数の既存コンテンツのそれぞれについて、当該既存コンテンツを構成する各構成要素のレイアウトと各構成要素に設定された優先順位とを示す画像から画像特徴量を抽出し、当該画像特徴量と複数の前記構成要素のレイアウトを示すレイアウト情報とを対応付けてデータベースに記録する情報蓄積装置と、前記データベースに記録された各画像特徴量と、レイアウトの対象となる対象コンテンツを構成する各構成要素に設定された優先順位を少なくとも示す対象コンテンツ情報から生成された比較用特徴量との類似度を算出し、当該類似度に基づいて、前記データベースに記録されているレイアウト情報の中から前記対象コンテンツに適合するレイアウト情報を検出するレイアウト支援装置と、を含む。
【0008】
本発明の一態様に係るレイアウト支援装置は、複数の既存コンテンツのそれぞれについて、当該既存コンテンツを構成する各構成要素のレイアウトを示すレイアウト情報と、当該レイアウトと各構成要素に設定された優先順位とを示す画像から抽出された画像特徴量とが対応付けて記録されたデータベースを参照し、当該データベースに記録された各画像特徴量と、レイアウトの対象となる対象コンテンツを構成する各構成要素に設定された優先順位を少なくとも示す対象コンテンツ情報から生成された比較用特徴量との類似度を算出する特徴量比較手段と、前記類似度に基づいて、前記複数の既存コンテンツのレイアウト情報の中から前記対象コンテンツに適合するレイアウト情報を検出する検出手段と、を備える。
【0009】
本発明の一態様に係る情報蓄積装置は、複数の既存コンテンツのそれぞれについて、当該既存コンテンツを構成する各構成要素のレイアウトと各構成要素に設定された優先順位とを示す画像から画像特徴量を抽出する画像特徴量抽出手段と、当該画像特徴量と複数の前記構成要素のレイアウトを示すレイアウト情報とを対応付けてデータベースに記録する情報蓄積手段と、を備える。
【0010】
本発明の一態様に係るレイアウト支援方法は、少なくとも1つのプロセッサが、複数の既存コンテンツのそれぞれについて、当該既存コンテンツを構成する各構成要素のレイアウトを示すレイアウト情報と、当該レイアウトと各構成要素に設定された優先順位とを示す画像から抽出された画像特徴量とが対応付けて記録されたデータベースを参照し、当該データベースに記録された各画像特徴量と、レイアウトの対象となる対象コンテンツを構成する各構成要素に設定された優先順位を少なくとも示す対象コンテンツ情報から生成された比較用特徴量との類似度を算出することと、前記類似度に基づいて、前記複数の既存コンテンツのレイアウト情報の中から前記対象コンテンツに適合するレイアウト情報を検出することと、を含む。
【0011】
本発明の一態様に係るレイアウト支援プログラムは、コンピュータを、複数の既存コンテンツのそれぞれについて、当該既存コンテンツを構成する各構成要素のレイアウトを示すレイアウト情報と、当該レイアウトと各構成要素に設定された優先順位とを示す画像から抽出された画像特徴量とが対応付けて記録されたデータベースを参照し、当該データベースに記録された各画像特徴量と、レイアウトの対象となる対象コンテンツを構成する各構成要素に設定された優先順位を少なくとも示す対象コンテンツ情報から生成された比較用特徴量との類似度を算出する特徴量比較手段、および前記類似度に基づいて、前記複数の既存コンテンツのレイアウト情報の中から前記対象コンテンツに適合するレイアウト情報を検出する検出手段、として機能させる。
【発明の効果】
【0012】
本発明の一態様によれば、レイアウトの効率化に寄与することができる。
【図面の簡単な説明】
【0013】
図1】本発明の例示的実施形態1に係るレイアウト支援システムの構成を示すブロック図である。
図2】本発明の例示的実施形態1に係る情報蓄積方法およびレイアウト支援方法の流れを示すフロー図である。
図3】本発明の例示的実施形態2に係る情報蓄積方法およびレイアウト支援方法の概要を示す図である。
図4】本発明の例示的実施形態2に係る情報蓄積装置の構成例を示すブロック図である。
図5】本発明の例示的実施形態2に係るレイアウト支援装置の構成例を示すブロック図である。
図6】画像生成部による画像の生成例を示す図である。
図7】統合特徴量の生成例を示す図である。
図8】統合特徴量の他の生成例を示す図である。
図9】上記情報蓄積装置が実行する処理の流れを示すフロー図である。
図10】上記レイアウト支援装置が比較用特徴量生成モデルを生成する処理の流れを示すフロー図である。
図11】上記レイアウト支援装置が対象コンテンツのレイアウト支援のために実行する処理の流れを示すフロー図である。
図12】本発明の各例示的実施形態に係る各装置の各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータの一例を示す図である。
【発明を実施するための形態】
【0014】
〔例示的実施形態1〕
本発明の第1の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
【0015】
(レイアウト支援システムの構成)
本例示的実施形態に係るレイアウト支援システム1の構成について、図1を参照して説明する。図1は、レイアウト支援システム1の構成を示すブロック図である。図1に示すように、レイアウト支援システム1には、情報蓄積装置10とレイアウト支援装置11とが含まれている。
【0016】
また、図示のように、情報蓄積装置10は、画像特徴量抽出部(画像特徴量抽出手段)101と情報蓄積部(情報蓄積手段)102を備える。
【0017】
画像特徴量抽出部101は、複数の既存コンテンツのそれぞれについて、当該既存コンテンツを構成する各構成要素のレイアウトと各構成要素に設定された優先順位とを示す画像から画像特徴量を抽出する。
【0018】
情報蓄積部102は、画像特徴量抽出部101が抽出する画像特徴量と、既存コンテンツの複数の構成要素のレイアウトを示すレイアウト情報とを対応付けてデータベースに記録する。
【0019】
このように、本例示的実施形態に係る情報蓄積装置10は、複数の既存コンテンツのそれぞれについて、当該既存コンテンツを構成する各構成要素のレイアウトと各構成要素に設定された優先順位とを示す画像から画像特徴量を抽出する画像特徴量抽出部101と、当該画像特徴量とレイアウト情報とを対応付けてデータベースに記録する情報蓄積部102と、を備える。このため、本例示的実施形態に係る情報蓄積装置10によれば、レイアウトの効率化に寄与することが可能になるという効果が得られる。
【0020】
また、図示のように、レイアウト支援装置11は、特徴量比較部(特徴量比較手段)111と検出部(検出手段)112を備える。
【0021】
特徴量比較部111は、複数の既存コンテンツのそれぞれについて、当該既存コンテンツを構成する各構成要素のレイアウトを示すレイアウト情報と、当該レイアウトと各構成要素に設定された優先順位とを示す画像から抽出された画像特徴量とが対応付けて記録されたデータベースを参照し、当該データベースに記録された各画像特徴量と、レイアウトの対象となる対象コンテンツを構成する各構成要素に設定された優先順位を少なくとも示す対象コンテンツ情報から生成された比較用特徴量との類似度を算出する。
【0022】
検出部112は、特徴量比較部111が算出する類似度に基づいて、複数の既存コンテンツのレイアウト情報の中から、対象コンテンツに適合するレイアウト情報を検出する。
【0023】
このように、本例示的実施形態に係るレイアウト支援装置11は、複数の既存コンテンツのそれぞれについて、当該既存コンテンツを構成する各構成要素のレイアウトを示すレイアウト情報と、当該レイアウトと各構成要素に設定された優先順位とを示す画像から抽出された画像特徴量とが対応付けて記録されたデータベースを参照し、当該データベースに記録された各画像特徴量と、レイアウトの対象となる対象コンテンツを構成する各構成要素に設定された優先順位を少なくとも示す対象コンテンツ情報から生成された比較用特徴量との類似度を算出する特徴量比較部111と、特徴量比較部111が算出する類似度に基づいて、複数の既存コンテンツのレイアウト情報の中から対象コンテンツに適合するレイアウト情報を検出する検出部112と、を備える。このため、本例示的実施形態に係るレイアウト支援装置11によれば、レイアウトの効率化に寄与することが可能になるという効果が得られる。
【0024】
以上のように、本例示的実施形態に係るレイアウト支援システム1は、複数の既存コンテンツのそれぞれについて、当該既存コンテンツを構成する各構成要素のレイアウトと各構成要素に設定された優先順位とを示す画像から画像特徴量を抽出し、当該画像特徴量とレイアウト情報とを対応付けてデータベースに記録する情報蓄積装置10と、データベースに記録された各画像特徴量と、レイアウトの対象となる対象コンテンツを構成する各構成要素に設定された優先順位を少なくとも示す対象コンテンツ情報から生成された比較用特徴量との類似度を算出し、当該類似度に基づいて、前記データベースに記録されているレイアウト情報の中から前記対象コンテンツに適合するレイアウト情報を検出するレイアウト支援装置11と、を含む。このため、本例示的実施形態に係るレイアウト支援システム1によれば、レイアウトの効率化に寄与することが可能になるという効果が得られる。
【0025】
(情報蓄積プログラム/レイアウト支援プログラム)
上述の情報蓄積装置10の機能は、プログラムによって実現することもできる。本例示的実施形態に係る情報蓄積プログラムは、コンピュータを、上述した画像特徴量抽出部101および上述した情報蓄積部102として機能させる。このため、本例示的実施形態に係る情報蓄積プログラムによれば、レイアウトの効率化に寄与することが可能になるという効果が得られる。
【0026】
同様に、上述のレイアウト支援装置11の機能もプログラムによって実現することもできる。本例示的実施形態に係るレイアウト支援プログラムは、コンピュータを、複数の既存コンテンツのそれぞれについて、当該既存コンテンツを構成する各構成要素のレイアウトを示すレイアウト情報と、当該レイアウトと各構成要素に設定された優先順位とを示す画像から抽出された画像特徴量とが対応付けて記録されたデータベースを参照し、当該データベースに記録された各画像特徴量と、レイアウトの対象となる対象コンテンツを構成する各構成要素に設定された優先順位を少なくとも示す対象コンテンツ情報から生成された比較用特徴量との類似度を算出する特徴量比較部111、および特徴量比較部111が算出する類似度に基づいて、複数の既存コンテンツのレイアウト情報の中から前記対象コンテンツに適合するレイアウト情報を検出する検出部112、として機能させる。このため、本例示的実施形態に係るレイアウト支援プログラムによれば、レイアウトの効率化に寄与することが可能になるという効果が得られる。
【0027】
(情報蓄積方法/レイアウト支援方法の流れ)
本例示的実施形態に係る情報蓄積方法およびレイアウト支援方法の流れについて、図2を参照して説明する。図2は、情報蓄積方法およびレイアウト支援方法の流れを示すフロー図である。なお、図2に記載の各ステップの実行主体は、情報蓄積装置10またはレイアウト支援装置11が備えるプロセッサであってもよいし、他の装置が備えるプロセッサであってもよく、各ステップの実行主体がそれぞれ異なる装置に設けられたプロセッサであってもよい。
【0028】
S101では、少なくとも1つのプロセッサが、既存コンテンツを構成する各構成要素のレイアウトと各構成要素に設定された優先順位とを示す画像から画像特徴量を抽出する。
【0029】
S102では、少なくとも1つのプロセッサが、S11で抽出された画像特徴量と、既存コンテンツの複数の構成要素のレイアウトを示すレイアウト情報とを対応付けてデータベースに記録する。以上説明したS101およびS102の処理は、複数の既存コンテンツのそれぞれについて実行される。これにより、上述のデータベースには、複数の既存コンテンツのそれぞれに対応する画像特徴量およびレイアウト情報が記録される。
【0030】
このように、本例示的実施形態に係る情報蓄積方法においては、少なくとも1つのプロセッサが、複数の既存コンテンツのそれぞれについて、当該既存コンテンツを構成する各構成要素のレイアウトと各構成要素に設定された優先順位とを示す画像から画像特徴量を抽出すること(S101)と、抽出された画像特徴量と既存コンテンツの複数の構成要素のレイアウトを示すレイアウト情報とを対応付けてデータベースに記録すること(S102)とを含む。このため、本例示的実施形態に係る情報蓄積方法によれば、レイアウトの効率化に寄与することが可能になるという効果が得られる。
【0031】
一方、S111では、少なくとも1つのプロセッサが、複数の既存コンテンツのそれぞれについて、当該既存コンテンツを構成する各構成要素のレイアウトを示すレイアウト情報と、当該レイアウトと各構成要素に設定された優先順位とを示す画像から抽出された画像特徴量とが対応付けて記録されたデータベースを参照し、当該データベースに記録された各画像特徴量と、レイアウトの対象となる対象コンテンツを構成する各構成要素に設定された優先順位を少なくとも示す対象コンテンツ情報から生成された比較用特徴量との類似度を算出する。
【0032】
S112では、少なくとも1つのプロセッサが、S111で算出された類似度に基づいて、複数の既存コンテンツのレイアウト情報の中から対象コンテンツに適合するレイアウト情報を検出する。
【0033】
このように、本例示的実施形態に係るレイアウト支援方法においては、少なくとも1つのプロセッサが、複数の既存コンテンツのそれぞれについて、当該既存コンテンツを構成する各構成要素のレイアウトを示すレイアウト情報と、当該レイアウトと各構成要素に設定された優先順位とを示す画像から抽出された画像特徴量とが対応付けて記録されたデータベースを参照し、当該データベースに記録された各画像特徴量と、レイアウトの対象となる対象コンテンツを構成する各構成要素に設定された優先順位を少なくとも示す対象コンテンツ情報から生成された比較用特徴量との類似度を算出すること(S111)と、算出された類似度に基づいて、複数の既存コンテンツのレイアウト情報の中から対象コンテンツに適合するレイアウト情報を検出すること(S112)とを含む。このため、本例示的実施形態に係る情報蓄積方法によれば、レイアウトの効率化に寄与することが可能になるという効果が得られる。
【0034】
〔例示的実施形態2〕
(レイアウト支援方法の概要)
図3は、本例示的実施形態にかかる情報蓄積方法およびレイアウト支援方法の概要を示す図である。図3に示すS201~S204の処理が、レイアウト済みの既存コンテンツのアーカイブデータから抽出した各種情報をデータベースに記録する情報蓄積方法に含まれる。一方、S211~S213の処理が、レイアウトの対象となる対象コンテンツの適合するレイアウトを示すレイアウト情報を検出するレイアウト支援方法に含まれる。なお、これらの各処理は、少なくとも1つのプロセッサにより実行される。
【0035】
情報蓄積方法におけるS201では、少なくとも1つのプロセッサが、既存コンテンツのアーカイブデータから、当該既存コンテンツのレイアウトを示すレイアウト情報を抽出する。
【0036】
レイアウト情報は、既存コンテンツの各構成要素がどのようにレイアウトされているかを示す情報であればよい。例えば、各構成要素をレイアウトする対象領域における、各構成要素の位置および範囲を示す情報をレイアウト情報としてもよい。この場合、例えば当該対象領域に設定された座標系における座標値により各構成要素の位置および範囲を表したものをレイアウト情報としてもよい。
【0037】
既存コンテンツは、複数の構成要素が所定の領域にレイアウトされたものであればよい。例えば、既存コンテンツは、ニュースなどの情報が書かれた紙媒体や、ウェブページ等のコンテンツであってもよい。また、既存コンテンツの構成要素とは、他の構成要素と内容的に区別可能な要素であればよく、どのような要素を1つの構成要素とするかは予め定めておけばよい。例えば、1つの記事を1つの構成要素としてもよいし、内容が関連した複数の記事からなる記事のグループを1つの構成要素としてもよい。また、例えば、1つの記事を1つの既存コンテンツとしてもよい。この場合、当該記事を構成するタイトル、本文、写真、および図等が既存コンテンツの構成要素となる。
【0038】
S202では、少なくとも1つのプロセッサが、既存コンテンツのアーカイブデータから、既存コンテンツの各構成要素に設定された優先順位を少なくとも示す既存コンテンツ情報を抽出する。なお、既存コンテンツ情報には、既存コンテンツを構成する各構成要素の内容を示す情報が含まれていてもよい。
【0039】
S203では、少なくとも1つのプロセッサが、既存コンテンツにおける構成要素のレイアウトと各構成要素の優先順位とを示す画像を生成する。当該画像の生成方法については後記「画像の生成方法」の項目で説明する。
【0040】
S204では、S203で生成された画像から画像特徴量が抽出される。画像特徴量の抽出手法は特に限定されない。例えば、種々の画像と各画像の画像特徴量との関係を学習することにより生成された画像特徴量抽出モデルを用いて画像特徴量を抽出してもよい。例えば、ResNet(Residual neural network)等のニューラルネットワークモデルを画像特徴量抽出モデルとしてもよい。
【0041】
そして、少なくとも1つのプロセッサは、S201で抽出したレイアウト情報と、S204で抽出した画像特徴量と、S202で抽出された既存コンテンツ情報とを対応付けてデータベースに記録する。このうち、画像特徴量とレイアウト情報の組み合わせは、レイアウト支援方法において推奨するレイアウト情報を検出するために用いられる。一方、画像特徴量と既存コンテンツ情報の組み合わせは、後述する比較用特徴量生成モデルの生成および更新に用いられる訓練データとして利用される。このため、画像特徴量とレイアウト情報の組み合わせと、画像特徴量と既存コンテンツ情報の組み合わせは、それぞれ別のデータベースに記録するようにしてもよい。
【0042】
レイアウト支援方法におけるS211では、少なくとも1つのプロセッサが、レイアウトの対象となる対象コンテンツに関する対象コンテンツ情報から、比較用特徴量を生成する。対象コンテンツ情報には、対象コンテンツを構成する各構成要素に設定された優先順位を少なくとも示す情報が含まれている。また、対象コンテンツ情報には、対象コンテンツを構成する各構成要素の内容を示す情報が含まれていてもよい。
【0043】
詳細は後述するが、S211における比較用特徴量の生成には、上述した比較用特徴量生成モデルが用いられる。そして、比較用特徴量生成モデルを用いて生成された比較用特徴量は、データベースに記録されている画像特徴量との類似度が算出可能な特徴量となっている。
【0044】
S212では、少なくとも1つのプロセッサが、S211で生成した比較用特徴量と、データベースに記録されている各画像特徴量との類似度をそれぞれ算出する。なお、類似度は類似している程度を示す指標となる値である。特徴量間の類似度を算出する方法は任意であり、例えばS212では、比較用特徴量と画像特徴量とのコサイン類似度が算出されてもよい。
【0045】
S213では、少なくとも1つのプロセッサが、S212で算出した類似度に基づいて、データベースに記録されている複数の既存コンテンツのレイアウト情報の中から、対象コンテンツに適合するレイアウト情報を検出する。
【0046】
以上のように、本例示的実施形態に係る情報蓄積方法は、少なくとも1つのプロセッサが、複数の既存コンテンツのそれぞれについて、当該既存コンテンツを構成する各構成要素のレイアウトと各構成要素に設定された優先順位とを示す画像から画像特徴量を抽出することと、当該画像特徴量とレイアウト情報とを対応付けてデータベースに記録することとを含む。
【0047】
また、本例示的実施形態に係るレイアウト支援方法は、少なくとも1つのプロセッサが、データベースに記録された各画像特徴量と、レイアウトの対象となる対象コンテンツを構成する各構成要素に設定された優先順位を少なくとも示す対象コンテンツ情報から生成された比較用特徴量との類似度を算出することと、当該類似度に基づいて、データベースに記録されているレイアウト情報の中から対象コンテンツに適合するレイアウト情報を検出することとを含む。
【0048】
既存コンテンツにおいては、各構成要素がそれらの優先順位に応じて適切にレイアウトされている可能性が高い。よって、上記の構成によれば、対象コンテンツの各構成要素をそれらの優先順位に応じて適切にレイアウトできる可能性が高いレイアウト情報を検出することができる。また、上記の構成によれば、特許文献1のように多数のレイアウト画像が生成されることがないから、レイアウトの効率化に寄与することが可能になる。
【0049】
また、本例示的実施形態に係る情報蓄積方法では、新しいレイアウトの既存コンテンツが入手された場合に、そのレイアウト情報等をデータベースに追加することができる。そして、本例示的実施形態に係るレイアウト支援方法によれば、データベースを参照して、その新しいレイアウトを活用することが可能になる。
【0050】
(情報蓄積装置の構成)
図4は、本例示的実施形態にかかる情報蓄積装置20の構成例を示すブロック図である。図示のように、情報蓄積装置20は、情報蓄積装置20の各部を統括して制御する制御部200と、他の装置と通信するための通信部201と、各種データを記憶する記憶部202と、入力操作を受け付けるための入力部203と、データを出力するための出力部204と、を備えている。
【0051】
また、制御部200には、データ取得部2001、コンテンツ情報取得部2002、レイアウト情報取得部2003、画像生成部2004、画像特徴量抽出部2005、および情報蓄積部2006が含まれている。そして、記憶部202には、データベース2021が記憶されている。なお、画像生成部2004については後記「画像の生成方法」の項目で説明する。
【0052】
データ取得部2001は、複数の構成要素がレイアウトされた既存コンテンツを取得する。例えば、データ取得部2001は、図3の例のようにアーカイブデータから既存コンテンツを取得してもよい。データ取得部2001が取得する既存コンテンツは、例えばニュースなどの情報が書かれた紙媒体のページあるいはウェブページ等を画像化した画像データであってもよい。
【0053】
なお、データ取得部2001は、レイアウト支援装置21がレイアウトの支援をする対象コンテンツと同種の既存コンテンツを取得することが好ましい。例えば、レイアウト支援装置21がニュースなどの情報が書かれた紙媒体のレイアウトの支援をする場合、データ取得部2001は、ニュースなどの情報が書かれた紙媒体のデータを既存コンテンツとして取得することが好ましい。
【0054】
コンテンツ情報取得部2002は、データ取得部2001が取得する既存コンテンツの既存コンテンツ情報を取得する。既存コンテンツ情報は、既存コンテンツを構成する各構成要素の優先順位を示す情報を少なくとも含むものであればよく、各構成要素の内容を示す情報を含むことが好ましい。
【0055】
例えば、既存コンテンツが複数の記事がレイアウトされた紙面データである場合、コンテンツ情報取得部2002は、各記事の優先順位を示す情報を含む既存コンテンツ情報を取得すればよい。また、当該既存コンテンツ情報には、既存コンテンツの各構成要素の内容を示す情報として、各記事のタイトルの文字数あるいはタイトルの数、各記事の本文の文字数あるいは行数、各記事に含まれる写真の数、および各記事に含まれる表の数、の少なくとも何れかを示す情報が含まれていてもよい。既存コンテンツ情報には、この他にも、例えばタイトルや本文の文字列から抽出した特徴量や、記事のジャンル等を示す情報が含まれていてもよい。
【0056】
例えば、コンテンツ情報取得部2002は、データ取得部2001が取得する既存コンテンツを解析し、当該既存コンテンツを構成する各構成要素の優先順位や各構成要素の内容を示すコンテンツ情報を抽出してもよい。例えば、コンテンツ情報取得部2002は、一般的に優先順位が高い構成要素はレイアウトの対象領域の右上の方に配置されやすいことに基づき、各構成要素の配置から当該構成要素の優先順位を決定し、決定した優先順位を示す既存コンテンツ情報を生成してもよい。
【0057】
また、コンテンツ情報取得部2002は、レイアウト支援システムのユーザが入力部203を介して入力する既存コンテンツ情報を取得してもよいし、他の装置に記録されている既存コンテンツ情報を、通信部201を介した通信により取得してもよい。
【0058】
レイアウト情報取得部2003は、データ取得部2001が取得する既存コンテンツのレイアウトを示すレイアウト情報を取得する。例えば、レイアウト情報取得部2003は、データ取得部2001が取得する既存コンテンツを解析し、当該既存コンテンツを構成する各構成要素の位置および範囲を特定して、特定した位置および範囲を示すレイアウト情報を生成してもよい。また、例えば、レイアウト情報取得部2003は、通信部201あるいは入力部203を介して既存コンテンツ情報を取得してもよい。
【0059】
画像特徴量抽出部2005は、画像生成部2004が生成する画像から、当該画像の特徴を示す画像特徴量を抽出する。画像特徴量の抽出手法が特に限定されないことは図3に基づいて説明したとおりである。
【0060】
情報蓄積部2006は、画像特徴量抽出部2005が抽出する画像特徴量と、レイアウト情報取得部2003が取得するレイアウト情報とを対応付けてデータベース2021に記録する。また、情報蓄積部2006は、コンテンツ情報取得部2002が取得する既存コンテンツ情報と、画像特徴量抽出部2005が抽出する画像特徴量とを対応付けて訓練データを生成する訓練データ生成手段としての機能も有する。なお、情報蓄積部2006とは別に訓練データ生成手段を設けてもよい。
【0061】
データベース2021には、上述のように、画像特徴量とレイアウト情報とが対応付けて記録される。また、データベース2021には、上述のように、既存コンテンツ情報と画像特徴量が対応付けられた訓練データが記録される。なお、訓練データをデータベース2021とは別のデータベースに記録してもよい。また、データベース2021は、情報蓄積装置20の外部の装置に設けられたものであってもよい。
【0062】
(レイアウト支援装置の構成)
図5は、本例示的実施形態にかかるレイアウト支援装置21の構成例を示すブロック図である。レイアウト支援装置21は、図4に示した情報蓄積装置20と共にレイアウト支援システムを構成する。
【0063】
図5に示すように、レイアウト支援装置21は、レイアウト支援装置21の各部を統括して制御する制御部210と、他の装置と通信するための通信部211と、各種データを記憶する記憶部212と、入力操作を受け付けるための入力部213と、データを出力する出力部214と、を備えている。
【0064】
また、制御部210には、データ取得部2101、学習部2102、特徴量抽出部2103、統合部2104、比較用特徴量生成部2105、特徴量比較部2106、検出部2107、および表示制御部2108が含まれている。そして、記憶部212には、比較用特徴量生成モデル2121が記憶されている。なお、学習部2102、特徴量抽出部2103、統合部2104、比較用特徴量生成部2105、および比較用特徴量生成モデル2121については後記「比較用特徴量の生成方法」の項目で説明する。
【0065】
データ取得部2101は、レイアウトの対象となる対象コンテンツの対象コンテンツ情報を取得する。上述のように、対象コンテンツ情報は、対象コンテンツを構成する各構成要素に設定された優先順位を示すものであればよく、各構成要素の内容を示す情報を含んでいてもよい。各構成要素の内容を示す情報としては、上述した既存コンテンツ情報と同様に、タイトルや本文の文字数などを示す情報が適用できる。
【0066】
対象コンテンツ情報の取得方法は、特に限定されない。例えば、データ取得部2101は、対象コンテンツの各構成要素を解析して、各構成要素に設定された優先順位や文字数等を特定し、それらの情報を対象コンテンツ情報として抽出してもよい。また、例えば、データ取得部2101は、通信部211または入力部213を介して対象コンテンツ情報を取得してもよい。
【0067】
特徴量比較部2106は、情報蓄積装置20の生成するデータベース2021を参照し、比較用特徴量生成部2105が生成する比較用特徴量と、データベース2021に記録された各画像特徴量との類似度を算出する。上述のように類似度の算出方法は任意である。なお、特徴量比較部2106は、情報蓄積装置20と通信部211を介して通信することによりデータベース2021を参照してもよい。また、データベース2021を予め記憶部212に記憶させておいてもよい。
【0068】
検出部2107は、特徴量比較部2106が算出する類似度に基づいて、データベース2021に記録されている複数の既存コンテンツのレイアウト情報の中から対象コンテンツに適合するレイアウト情報を検出する。例えば、検出部2107は、類似度が最も高い画像特徴量に対応付けられたレイアウト情報を対象コンテンツに適合するレイアウト情報として検出してもよい。また、例えば、検出部2107は、類似度が所定の閾値以上であった画像特徴量に対応付けられたレイアウト情報を対象コンテンツに適合するレイアウト情報として検出してもよい。なお、検出部2107は、複数のレイアウト情報を対象コンテンツに適合するレイアウト情報として検出してもよい。
【0069】
表示制御部2108は、検出部2107の検出結果を表示させる。例えば、出力部214が表示装置である場合には、表示制御部2108は、出力部214に検出結果を表示出力させる。また、表示制御部2108は、レイアウト支援装置21の外部の表示装置に検出結果を表示させてもよい。
【0070】
具体的には、表示制御部2108は、レイアウト情報に示される各構成要素の位置および範囲を示す座標値を表示させてもよい。また、例えば、表示制御部2108は、レイアウト情報に示される各構成要素の位置および範囲を図形で表した画像を表示させてもよい。さらに、例えば、表示制御部2108は、レイアウト情報に示される各構成要素の位置および範囲に、各構成要素を配置したプレビュー画像を表示させてもよい。
【0071】
なお、検出部2107の検出結果を表示させる処理は必須ではない。例えば、検出部2107の検出結果は、記憶部212等に記憶させておき、適宜利用できるようにしてもよい。この場合、レイアウト支援装置21は、検出部2107が検出したレイアウト情報に従って対象コンテンツを自動でレイアウトしてもよい。
【0072】
(画像の生成方法)
情報蓄積装置20の画像生成部2004は、既存コンテンツの各構成要素のレイアウトを各構成要素の位置および範囲を示す図形で表すと共に、各構成要素に設定された優先順位を各図形の表示態様で表した画像を生成する。これにより、例示的実施形態1に係るレイアウト支援システム1の奏する効果に加えて、既存コンテンツを構成する各構成要素のレイアウトと各構成要素に設定された優先順位とを示す画像特徴量を抽出可能な画像を自動で生成することができるという効果が得られる。
【0073】
図6は、画像生成部2004による画像の生成例を示す図である。図6には、EX1とEX2の2つの例を示している。何れの例においても、対象となる既存コンテンツの構成要素はA1~A5の5つであり、構成要素A1~A5の優先順位はそれぞれ1~5に設定されている。これらの情報はコンテンツ情報取得部2002によりコンテンツ情報として取得されている。
【0074】
また、図示のように、構成要素A1~A5の位置および範囲を示す情報がレイアウト情報取得部2003により抽出されている。なお、図6の例では、構成要素A1~A5の位置および範囲が、これらをレイアウトする対象領域を示す座標平面上における座標値で示されている。
【0075】
画像生成部2004は、上記のレイアウト情報を用いて、レイアウトの対象領域を示す平面上に、構成要素A1~A5の位置および範囲を示す図形を規定する。図6の例では、構成要素A1~A5は何れも矩形で表されている。また、図6では、各矩形に当該矩形に対応する構成要素の番号(A1~A5)を付記している。EX1および2では、同じレイアウト情報を用いているので各矩形の位置および範囲は同じである。
【0076】
EX1では、画像生成部2004は、構成要素A1~A5に対応する図形に対し、優先順位毎に予め設定された塗りつぶしパターンを適用している。つまり、図6の例では、優先順位が一位の構成要素A1に対応する図形には、一位の優先順位について予め設定されたパターンであるドットパターンが適用されている。また、優先順位が二位の構成要素A2に対応する図形には、二位の優先順位について予め設定されたパターンである右上がり斜線のパターンが適用されている。同様に、構成要素A3~A5についても順位に応じた所定のパターンが適用されている。
【0077】
このようにして生成された画像においては、構成要素A1~A5の位置および範囲が図形の位置および範囲により表されていると共に、構成要素A1~A5の優先順位が各図形の表示態様で表されている。よって、このような画像から抽出した画像特徴量には、構成要素A1~A5の位置および範囲すなわちレイアウトと、構成要素A1~A5の優先順位が反映される。
【0078】
なお、図6では、図形の塗りつぶしパターン(模様あるいはテクスチャと呼ぶこともできる)により優先順位を表しているが、優先順位は画像特徴量に反映されるような任意の表示態様により表すことができる。例えば、画像生成部2004は、各図形を優先順位に応じた色で塗りつぶした画像を生成してもよいし、各図形を優先順位に応じた輝度値または濃度値とした画像を生成してもよいし、各図形に優先順位に応じた背景画像を貼り付けた画像を生成してもよい。
【0079】
また、画像生成部2004は、各図形の配置に基づいて当該図形の表示態様を決定してもよい。この場合、画像生成部2004が優先順位を決定し、コンテンツ情報取得部2002は画像生成部2004が決定した優先順位を示す情報を含むコンテンツ情報を生成すればよい。
【0080】
例えば、一般的に、コンテンツにおける重要性の高いあるいは注目してもらいたい構成要素は、レイアウトの対象領域の右上または左上に配置することが多い。このため、画像生成部2004は、対象領域に配置する図形の優先順位を、対象領域の右上における所定位置に近い順として各図形の表示態様を決定してもよい。例えば、画像生成部2004は、対象領域の右上端の座標値と、各図形の右上端の座標値との距離を算出し、優先順位を当該距離が短い順としてもよい。同様に、画像生成部2004は、対象領域に配置する図形の優先順位を、対象領域の左上における所定位置に近い順として各図形の表示態様を決定してもよい。
【0081】
一方、EX2では、画像生成部2004は、優先順位が上位の構成要素A1~A4に対応する図形の表示態様はそれぞれ異なるものとしているが、優先順位が下位の構成要素A5に対応する図形の表示態様は構成要素A4と同じにしている。具体的には、EX2では、画像生成部2004は、優先順位が上位の構成要素A1~A3に対応する図形の表示態様はそれぞれ異なるものとする一方、優先順位が4位以下の構成要素A4、A5に対応する図形は表示態様を同じにしている。
【0082】
このように、画像生成部2004は、優先順位が上位の所定数の構成要素に対応する図形はそれぞれ異なる表示態様で表し、他の構成要素に対応する図形は同じ表示態様で表した画像を生成してもよい。
【0083】
一般に、コンテンツの構成要素のうち優先順位の高いものは閲覧者の目に入りやすい位置に配置されるため、優先順位とレイアウトとの相関が高いことが多い。一方、優先順位の低い構成要素は、優先順位の高い構成要素を配置した後の残りのスペースに適宜配置されるため、優先順位とレイアウトとの相関が低いことがある。
【0084】
よって、上記の構成によれば、例示的実施形態1に係るレイアウト支援システム1の奏する効果に加えて、既存コンテンツのレイアウトの実体に即したレイアウトを再現することが可能なレイアウト情報を検出することができるという効果が得られる。なお、優先順位が何位までの構成要素に対応する図形の表示態様を異なるものとするかは適宜設定しておけばよい。
【0085】
なお、画像生成部2004は省略して、画像特徴量抽出部2005が、データ取得部2001が取得する既存コンテンツの画像(例えばニュースなどの情報が書かれた紙媒体やウェブページの画像)から画像特徴量を抽出する構成としてもよい。
【0086】
(比較用特徴量の生成方法)
比較用特徴量生成部2105は、対象コンテンツ情報に基づいて比較用特徴量を生成する。本項目では、比較用特徴量の生成方法について説明する。なお、上述のように、対象コンテンツ情報には、対象コンテンツを構成する各構成要素の優先順位を示す情報が含まれている。また、ここでは対象コンテンツ情報には各構成要素の内容を示す情報も含まれているとする。
【0087】
図3(特にS212)に基づいて説明したように、対象コンテンツに適合するレイアウト情報を検出するにあたり、比較用特徴量はデータベース2021に記録された画像特徴量と比較され、比較用特徴量と画像特徴量とが類似している程度を示す類似度が算出される。
【0088】
このため、比較用特徴量は、画像特徴量と比較可能な特徴量とする必要がある。しかし、対象コンテンツはレイアウトを決定する対象となるコンテンツであるから、通常は対象コンテンツの画像は存在せず、それゆえ対象コンテンツ情報から画像特徴量を抽出することはできない。
【0089】
そこで、比較用特徴量生成部2105は、既存コンテンツ情報と画像特徴量との関係をモデル化した比較用特徴量生成モデル2121を用いて比較用特徴量を生成する。比較用特徴量は、対象コンテンツ情報を用いて予測する画像特徴量の予測値であるともいえる。このようにして生成された比較用特徴量は、データベース2021に記録された画像特徴量と比較することが可能であり、当該比較用特徴量と当該画像特徴量との類似度を算出することも可能である。
【0090】
比較用特徴量生成モデル2121のアルゴリズムは特に限定されず、例えば比較用特徴量生成モデル2121をニューラルネットワークモデルとしてもよい。ただし、比較用特徴量生成モデル2121をニューラルネットワークモデルとする場合を含め、一般的に学習モデルの入力データは固定長とする必要がある。しかし、対象コンテンツの構成要素の数は変動し得る。
【0091】
そこで、レイアウト支援装置21では、特徴量抽出部2103が対象コンテンツ情報に示される各構成要素に関する情報から、構成要素ごとにその特徴を示す特徴量を抽出する。そして、統合部2104がそれらの特徴量を統合して所定のデータ長の特徴量(以下、統合特徴量と呼ぶ)を生成する。
【0092】
これにより、対象コンテンツ情報を構成する構成要素の数によらず、所定のデータ長の統合特徴量を生成することができる。そして、比較用特徴量生成部2105は、統合特徴量を比較用特徴量生成モデル2121に入力することにより、比較用特徴量を生成することができる。
【0093】
図7は、統合特徴量の生成例を示す図である。例えば、対象コンテンツ情報をテンソルで表す場合、各構成要素に関する情報(優先順位や文字数等)は、各構成要素について同じデータ長で表すことができる。ここでは、当該データ長をdと表す。一方、構成要素に関する情報は、構成要素の数だけ存在する。構成要素の数をN(Nは2以上の整数)とすると、対象コンテンツ情報全体では、d×Nのサイズのテンソルとなる。なお、特徴量抽出を行う前に、対象コンテンツ情報に含まれる各構成要素に関する情報を、構成要素の優先順位の順にソートしておいてもよい。
【0094】
特徴量抽出部2103は、これらN個の構成要素のそれぞれから特徴量を抽出する。特徴量の抽出方法は特に限定されず、例えばニューラルネットワーク等の特徴量抽出モデルを用いて特徴量を抽出してもよい。これにより、図示のように各構成要素に対応する特徴量が抽出される。抽出される特徴量の数はN個となる。
【0095】
次に、統合部2104は、抽出されたN個の特徴量を統合して1つにまとめ、統合特徴量を生成する。統合特徴量は例えば(1×d)のテンソルである。特徴量の統合方法は特に限定されず、例えば、統合部2104は、抽出されたN個の特徴量の平均値を統合特徴量として算出してもよい。また、例えば、統合部2104は、(N×1)のサイズの変換行列を用いて、N個の特徴量を(1×d)のテンソルに変換してもよい。
【0096】
なお、上記変換行列は、想定される構成要素の数だけ用意しておけばよい。例えば、対象コンテンツの構成要素が2~10の範囲であれば、(2×1)サイズ~(10×1)サイズまでの変換行列を用意しておけばよい。また、上記変換行列は、学習により最適化したものであってもよい。すなわち、学習の際にランダムに構成要素数を選択し、選択した構成要素数に対応するパラメータ行列を学習する、という処理を繰り返すことにより、各構成要素数に対応した変換行列を生成することができる。
【0097】
また、レイアウト支援装置21は、対象コンテンツ情報から統合特徴量を生成する過程において、対象コンテンツの構成要素のそれぞれから抽出した複数の特徴量を混合してもよい。これについて図8に基づいて説明する。図8は、統合特徴量の他の生成例を示す図である。なお、図8では図示を省略しているが、図8の生成例においても、図7の生成例と同様に特徴量抽出の対象となるのは(d×N)サイズのテンソルで表された対象コンテンツ情報である。
【0098】
図8の生成例では、まず、対象コンテンツ情報から各構成要素についての第1の特徴量を抽出する。第1の特徴量の抽出は特徴量抽出部2103が行えばよい。次に、抽出されたN個の第1の特徴量を構成要素の方向に混合する。以下、混合することにより得られた特徴量を混合特徴量と呼ぶ。混合特徴量は複数生成される。なお、混合特徴量の生成は、図5に示す制御部210の機能ブロックの1つとして情報混合手段を追加し、当該情報混合手段に実行させればよい。
【0099】
例えば、情報混合手段は、(N×N)あるいは(N×M)の変換行列を用いて、(d×N)サイズのテンソルで表された対象コンテンツ情報を、(N×d)あるいは(M×d)サイズのテンソルに変換することにより混合特徴量を生成してもよい。なお、Mは2以上の整数でありM≠Nである。なお、混合特徴量の生成方法は特に限定されず、例えば、情報混合手段はAttention等のアルゴリズムを用いて混合特徴量を生成してもよい。
【0100】
情報混合手段が生成する複数の混合特徴量を、統合部2104が統合して統合特徴量としてもよいが、図8の生成例のように、混合特徴量に対して特徴量抽出を行ってもよい。図8の生成例では、各混合特徴量から第2の特徴量が抽出されており、それら第2の特徴量が統合部2104により統合されて統合特徴量が生成されている。このように、対象コンテンツ情報から統合特徴量を生成する仮定においては、複数回の特徴量抽出を行うようにしてもよい。
【0101】
なお、第2の特徴量の抽出方法は特に限定されず、例えば、ニューラルネットワーク等の特徴量抽出モデルを用いて特徴量を抽出してもよい。この場合、第1の特徴量を抽出する特徴量抽出モデルとは異なる、混合特徴量から特徴量を抽出するための特徴量抽出モデルを用意しておけばよい。また、第2の特徴量を抽出する手段は図5に示す制御部210の機能ブロックの1つとして追加すればよい。
【0102】
以上のように、対象コンテンツ情報は、対象コンテンツを構成する各構成要素の内容を示す情報を含んでいてもよい。そして、この場合、比較用特徴量生成部2105は、比較用特徴量生成モデル2121を用いて比較用特徴量を生成してもよい。なお、比較用特徴量生成モデル2121は、既存コンテンツを構成する各構成要素の内容を示す既存コンテンツ情報と画像特徴量とを対応付けた訓練データを用いて生成されたものであり、対象コンテンツを構成する各構成要素の内容に応じた比較用特徴量を生成するためのモデルである。これにより、対象コンテンツを構成する各構成要素の内容を反映させた特徴量であり、かつ、画像特徴量と比較可能な特徴量である比較用特徴量を生成することができる。
【0103】
また以上のように、レイアウト支援装置21は、対象コンテンツの構成要素のそれぞれから抽出した特徴量を統合して所定のデータサイズの統合特徴量を生成する統合部2104を備えていてもよい。この場合、比較用特徴量生成部2105は、比較用特徴量生成モデル2121に統合特徴量を入力することにより比較用特徴量を生成する。
【0104】
これにより、対象コンテンツの構成要素がいくつあるかにかかわらず、所定のデータサイズの比較用特徴量を生成することができる。つまり、上記の構成によれば、例示的実施形態1に係るレイアウト支援システム1の奏する効果に加えて、対象コンテンツの構成要素数にかかわらず妥当なレイアウト情報を検出することが可能になるという効果が得られる。
【0105】
また以上のように、レイアウト支援装置21は、対象コンテンツの構成要素のそれぞれから抽出した複数の特徴量を混合して複数の混合特徴量を生成する情報混合部を備えていてもよい。この場合、比較用特徴量生成部2105は、複数の混合特徴量に基づいて統合特徴量を生成する。
【0106】
上記の構成によれば、例示的実施形態1に係るレイアウト支援システム1の奏する効果に加えて、構成要素の相互関係(例えば、ある構成要素と他の構成要素との位置関係等)を加味した妥当性の高い統合特徴量を生成することが可能になるという効果が得られる。
【0107】
(処理の流れ:情報蓄積方法)
情報蓄積装置20が実行する処理(情報蓄積方法)の流れを図9に基づいて説明する。図9は、情報蓄積装置20が実行する処理の流れを示すフロー図である。
【0108】
S221では、データ取得部2001が既存コンテンツを取得する。既存コンテンツの取得方法は特に限定されない。例えば、データ取得部2001は、図3の例のように既存コンテンツのアーカイブデータから既存コンテンツを取得してもよいし、ユーザが入力部203を介して入力する既存コンテンツを取得してもよいし、通信部201を介して既存コンテンツを取得してもよい。
【0109】
S222では、コンテンツ情報取得部2002が、S221で取得された既存コンテンツの既存コンテンツ情報を取得する。上述のように、コンテンツ情報取得部2002は、既存コンテンツを解析することによって既存コンテンツ情報を抽出してもよいし、通信部201あるいは入力部203を介して既存コンテンツ情報を取得してもよい。
【0110】
S223では、レイアウト情報取得部2003が、S221で取得された既存コンテンツのレイアウト情報を取得する。上述のように、レイアウト情報取得部2003は、データ取得部2001が取得する既存コンテンツを解析し、当該既存コンテンツを構成する各構成要素の位置および範囲を特定して、特定した位置および範囲を示すレイアウト情報を生成してもよい。また、例えば、レイアウト情報取得部2003は、通信部201あるいは入力部203を介して既存コンテンツ情報を取得してもよい。
【0111】
S224では、画像生成部2004が、S222で取得された既存コンテンツ情報(より具体的には当該既存コンテンツ情報に示される各構成要素の優先順位)と、S223で取得されたレイアウト情報とに基づき、既存コンテンツの各構成要素のレイアウトを各構成要素の位置および範囲を示す図形で表すと共に、各構成要素に設定された優先順位を各図形の表示態様で表した画像を生成する。
【0112】
S225では、画像特徴量抽出部2005が、S224で生成された画像から、当該画像の特徴を示す画像特徴量を抽出する。
【0113】
S226では、情報蓄積部2006が、S225で抽出された画像特徴量と、S223で取得されたレイアウト情報とを対応付けてデータベース2021に記録する。これらは、レイアウト支援装置21による検索の対象となる情報である。
【0114】
S227では、情報蓄積部2006は、S225で抽出された画像特徴量と、S222で取得された既存コンテンツ情報とを対応付けてデータベース2021に記録する。これらは、比較用特徴量生成モデル2121の生成または更新に用いられる訓練データとなる。S226およびS227の処理が終了することにより、図9の処理は終了となる。以上の処理は、複数の既存コンテンツのそれぞれについて行われる。なお、S226の処理とS227の処理とを統合し、画像特徴量とレイアウト情報とコンテンツ情報とを対応付けて記録するようにしてもよい。
【0115】
(処理の流れ:比較用特徴量生成モデルの生成方法)
レイアウト支援装置21が比較用特徴量生成モデル2121を生成する処理(比較用特徴量生成モデルの生成方法)の流れを図10に基づいて説明する。図10は、レイアウト支援装置21が比較用特徴量生成モデル2121を生成する処理の流れを示すフロー図である。なお、比較用特徴量生成モデル2121を更新する場合の処理も同様である。
【0116】
S231では、学習部2102が、訓練データセットを取得する。訓練データセットは、既存コンテンツ情報と画像特徴量とが対応付けられた訓練データを複数含むデータセットである。例えば、学習部2102は、通信部211を介して情報蓄積装置20と通信することによりデータベース2021から訓練データセットを取得してもよいし、入力部213を介して入力される訓練データセットを取得してもよい。
【0117】
S232では、学習部2102は、S231で取得した訓練データセットからランダムにバッチサイズの訓練データを取得する。
【0118】
S233では、比較用特徴量生成部2105が、学習中の比較用特徴量生成モデル2121を用いて、S232で取得された訓練データに基づく比較用特徴量を生成する。例えば、比較用特徴量生成部2105は、訓練データに含まれる既存コンテンツ情報から特徴量抽出部2103が抽出した特徴量を統合部2104が統合することにより生成された統合特徴量を、学習中の比較用特徴量生成モデル2121に入力することにより比較用特徴量を生成する。
【0119】
S234では、学習部2102が、S233で生成された比較用特徴量に基づいて、学習中の比較用特徴量生成モデル2121のモデルパラメータを更新する。モデルパラメータの更新方法は特に限定されない。例えば、学習部2102は、S232で取得した訓練データに示される画像特徴量とS233で生成された比較用特徴量との間の損失を、損失関数を用いて算出してもよい。そして、学習部2102は、算出した損失から比較用特徴量生成モデル2121に含まれる各モデルパラメータの勾配を算出し、算出した勾配に基づいて各モデルパラメータを更新してもよい。この場合、勾配の計算には例えば誤差逆伝搬法が適用でき、モデルパラメータの更新には確率的勾配降下法やAdam等が適用できる。
【0120】
S235では、学習部2102は、モデルパラメータの更新を終了するか否かを判定する。S235でYESと判定された場合にはS236に進み、S235でNOと判定された場合にはS232に戻る。なお、モデルパラメータの更新を終了する条件は予め定めておけばよい。例えば、学習部2102は、更新回数が所定回数に達したことを条件としてモデルパラメータの更新を終了してもよい。
【0121】
S236では、学習部2102は、更新後のモデルパラメータすなわち学習済みの比較用特徴量生成モデル2121を記憶部212に記録する。これにより、図10の処理は終了する。
【0122】
(処理の流れ:レイアウト支援方法)
レイアウト支援装置21が対象コンテンツのレイアウト支援のために実行する処理(レイアウト支援方法)の流れを図11に基づいて説明する。図11は、レイアウト支援装置21が対象コンテンツのレイアウト支援のために実行する処理の流れを示すフロー図である。
【0123】
S241では、データ取得部2101が、対象コンテンツ情報を取得する。上述のように、対象コンテンツ情報の取得方法は特に限定されない。例えば、データ取得部2101は、対象コンテンツの各構成要素(例えば、レイアウトされていないタイトルや本文、写真等)を解析して対象コンテンツ情報として抽出してもよい。また、例えば、データ取得部2101は、通信部211または入力部213を介して対象コンテンツ情報を取得してもよい。
【0124】
S242では、比較用特徴量が生成される。S242においては、例えば、特徴量抽出部2103が、S241で取得された対象コンテンツ情報から、対象コンテンツの各構成要素の特徴量を抽出し、統合部2104が抽出された各特徴量を統合して統合特徴量を生成してもよい。そして、比較用特徴量生成部2105が、比較用特徴量生成モデル2121に上記統合特徴量を入力することにより比較用特徴量を生成してもよい。
【0125】
S243では、特徴量比較部2106が、情報蓄積装置20の生成したデータベース2021を参照し、S242で生成された比較用特徴量と、データベース2021に記録された各画像特徴量との類似度を算出する。
【0126】
S244では、検出部2107が、S243で算出された類似度に基づいて、データベース2021に記録されている複数の既存コンテンツのレイアウト情報の中から対象コンテンツに適合するレイアウト情報を検出する。なお、S243では、必ずしもデータベース2021に記録された全ての画像特徴量との類似度を算出する必要はなく、例えば、特徴量比較部2106は、類似度が閾値以上となるレイアウト情報が検出された時点で類似度の算出を終了してもよい。
【0127】
S245では、表示制御部2108が、S244の検出結果を表示装置に表示させる。これにより、図11の処理は終了する。なお、S245の処理は行わず、S244の検出結果を記憶部212等に記録して終了としてもよい。
【0128】
〔変形例〕
上述の例示的実施形態で説明した各処理の実行主体は任意であり、上述の例に限られない。つまり、相互に通信可能な複数の装置によりレイアウト支援システムを構築することができ、当該複数の装置は情報蓄積装置10とレイアウト支援装置11、あるいは情報蓄積装置20とレイアウト支援装置21の組み合わせに限られない。
【0129】
例えば、図1に示す各ブロックの機能をそれぞれ独立の装置に持たせてもレイアウト支援システム1と同様の機能を有するレイアウト支援システムを構築することができる。また、例えば、図5に示すレイアウト支援装置21が備えるブロックのうち、比較用特徴量生成モデル2121の生成に関するブロックの機能をレイアウト支援装置21とは別の装置に持たせてもよい。この場合、レイアウト支援装置21は、当該別の装置により生成された比較用特徴量生成モデル2121を取得し、使用すればよい。
【0130】
また、情報蓄積装置10とレイアウト支援装置11の両方の機能を備えた1つのレイアウト支援装置であれば、レイアウト支援システム1と同様の機能を実現できる。同様に、情報蓄積装置20とレイアウト支援装置21の両方の機能を備えた1つのレイアウト支援装置であっても、例示的実施形態2に係るレイアウト支援システムと同様の機能を実現できる。
【0131】
〔ソフトウェアによる実現例〕
情報蓄積装置10、20、およびレイアウト支援装置11、21の一部又は全部の機能は、集積回路(ICチップ)等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
【0132】
後者の場合、情報蓄積装置10、20、およびレイアウト支援装置11、21は、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例(以下、コンピュータCと記載する)を図12に示す。コンピュータCは、少なくとも1つのプロセッサC1と、少なくとも1つのメモリC2と、を備えている。メモリC2には、コンピュータCを情報蓄積装置10、20、またはレイアウト支援装置11、21として動作させるためのプログラム(情報蓄積プログラム/レイアウト支援プログラム)Pが記録されている。コンピュータCにおいて、プロセッサC1は、プログラムPをメモリC2から読み取って実行することにより、情報蓄積装置10、20、またはレイアウト支援装置11、21の各機能が実現される。
【0133】
プロセッサC1としては、例えば、CPU(Central Processing Unit)、GPU(Graphic Processing Unit)、DSP(Digital Signal Processor)、MPU(Micro Processing Unit)、FPU(Floating point number Processing Unit)、PPU(Physics Processing Unit)、TPU(Tensor Processing Unit)、量子プロセッサ、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリC2としては、例えば、フラッシュメモリ、HDD(Hard Disk Drive)、SSD(Solid State Drive)、又は、これらの組み合わせなどを用いることができる。
【0134】
なお、コンピュータCは、プログラムPを実行時に展開したり、各種データを一時的に記憶したりするためのRAM(Random Access Memory)を更に備えていてもよい。また、コンピュータCは、他の装置との間でデータを送受信するための通信インタフェースを更に備えていてもよい。また、コンピュータCは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インタフェースを更に備えていてもよい。
【0135】
また、プログラムPは、コンピュータCが読み取り可能な、一時的でない有形の記録媒体Mに記録することができる。このような記録媒体Mとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータCは、このような記録媒体Mを介してプログラムPを取得することができる。また、プログラムPは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータCは、このような伝送媒体を介してプログラムPを取得することもできる。
【0136】
〔付記事項1〕
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
【0137】
〔付記事項2〕
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
【0138】
(付記1)
複数の既存コンテンツのそれぞれについて、当該既存コンテンツを構成する各構成要素のレイアウトと各構成要素に設定された優先順位とを示す画像から画像特徴量を抽出し、当該画像特徴量と複数の前記構成要素のレイアウトを示すレイアウト情報とを対応付けてデータベースに記録する情報蓄積装置と、前記データベースに記録された各画像特徴量と、レイアウトの対象となる対象コンテンツを構成する各構成要素に設定された優先順位を少なくとも示す対象コンテンツ情報から生成された比較用特徴量との類似度を算出し、当該類似度に基づいて、前記データベースに記録されているレイアウト情報の中から前記対象コンテンツに適合するレイアウト情報を検出するレイアウト支援装置と、を含むレイアウト支援システム。
【0139】
(付記2)
前記情報蓄積装置は、前記既存コンテンツの各構成要素のレイアウトを各構成要素の位置および範囲を示す図形で表すと共に、各構成要素に設定された優先順位を各図形の表示態様で表した前記画像を生成する画像生成手段を備える、付記1に記載のレイアウト支援システム。
【0140】
(付記3)
前記画像生成手段は、優先順位が上位の所定数の前記構成要素に対応する図形はそれぞれ異なる表示態様で表し、他の構成要素に対応する図形は同じ表示態様で表した前記画像を生成する、付記2に記載のレイアウト支援システム。
【0141】
(付記4)
前記対象コンテンツ情報は、前記対象コンテンツを構成する各構成要素の内容を示す情報を含み、前記レイアウト支援装置は、前記既存コンテンツを構成する各構成要素の内容を示す既存コンテンツ情報と前記画像特徴量とを対応付けた訓練データを用いて生成された、前記対象コンテンツを構成する各構成要素の内容に応じた前記比較用特徴量を生成するための比較用特徴量生成モデルを用いて前記比較用特徴量を生成する比較用特徴量生成手段を備える、付記1から3の何れかに記載のレイアウト支援システム。
【0142】
(付記5)
前記レイアウト支援装置は、前記対象コンテンツの構成要素のそれぞれから抽出した特徴量を統合して所定のデータサイズの統合特徴量を生成する統合手段を備え、前記比較用特徴量生成手段は、前記比較用特徴量生成モデルに前記統合特徴量を入力することにより前記比較用特徴量を生成する、付記4に記載のレイアウト支援システム。
【0143】
(付記6)
前記対象コンテンツの構成要素のそれぞれから抽出した複数の特徴量を混合して複数の混合特徴量を生成する情報混合手段を備え、前記比較用特徴量生成手段は、複数の混合特徴量に基づいて前記統合特徴量を生成する、付記5に記載のレイアウト支援システム。
【0144】
(付記7)
複数の既存コンテンツのそれぞれについて、当該既存コンテンツを構成する各構成要素のレイアウトを示すレイアウト情報と、当該レイアウトと各構成要素に設定された優先順位とを示す画像から抽出された画像特徴量とが対応付けて記録されたデータベースを参照し、当該データベースに記録された各画像特徴量と、レイアウトの対象となる対象コンテンツを構成する各構成要素に設定された優先順位を少なくとも示す対象コンテンツ情報から生成された比較用特徴量との類似度を算出する特徴量比較手段と、前記類似度に基づいて、前記複数の既存コンテンツのレイアウト情報の中から前記対象コンテンツに適合するレイアウト情報を検出する検出手段と、を備えるレイアウト支援装置。
【0145】
(付記8)
複数の既存コンテンツのそれぞれについて、当該既存コンテンツを構成する各構成要素のレイアウトと各構成要素に設定された優先順位とを示す画像から画像特徴量を抽出する画像特徴量抽出手段と、当該画像特徴量と複数の前記構成要素のレイアウトを示すレイアウト情報とを対応付けてデータベースに記録する情報蓄積手段と、を備える情報蓄積装置。
【0146】
(付記9)
少なくとも1つのプロセッサが、複数の既存コンテンツのそれぞれについて、当該既存コンテンツを構成する各構成要素のレイアウトを示すレイアウト情報と、当該レイアウトと各構成要素に設定された優先順位とを示す画像から抽出された画像特徴量とが対応付けて記録されたデータベースを参照し、当該データベースに記録された各画像特徴量と、レイアウトの対象となる対象コンテンツを構成する各構成要素に設定された優先順位を少なくとも示す対象コンテンツ情報から生成された比較用特徴量との類似度を算出することと、前記類似度に基づいて、前記複数の既存コンテンツのレイアウト情報の中から前記対象コンテンツに適合するレイアウト情報を検出することと、を含むレイアウト支援方法。
【0147】
(付記10)
コンピュータを、複数の既存コンテンツのそれぞれについて、当該既存コンテンツを構成する各構成要素のレイアウトを示すレイアウト情報と、当該レイアウトと各構成要素に設定された優先順位とを示す画像から抽出された画像特徴量とが対応付けて記録されたデータベースを参照し、当該データベースに記録された各画像特徴量と、レイアウトの対象となる対象コンテンツを構成する各構成要素に設定された優先順位を少なくとも示す対象コンテンツ情報から生成された比較用特徴量との類似度を算出する特徴量比較手段、および前記類似度に基づいて、前記複数の既存コンテンツのレイアウト情報の中から前記対象コンテンツに適合するレイアウト情報を検出する検出手段、として機能させるレイアウト支援プログラム。
【0148】
(付記11)
少なくとも1つのプロセッサを備え、前記プロセッサは、複数の既存コンテンツのそれぞれについて、当該既存コンテンツを構成する各構成要素のレイアウトを示すレイアウト情報と、当該レイアウトと各構成要素に設定された優先順位とを示す画像から抽出された画像特徴量とが対応付けて記録されたデータベースを参照し、当該データベースに記録された各画像特徴量と、レイアウトの対象となる対象コンテンツを構成する各構成要素に設定された優先順位を少なくとも示す対象コンテンツ情報から生成された比較用特徴量との類似度を算出する処理と、前記類似度に基づいて、前記複数の既存コンテンツのレイアウト情報の中から前記対象コンテンツに適合するレイアウト情報を検出する検出処理と、を実行するレイアウト支援装置。
【0149】
なお、上記レイアウト支援装置は、更にメモリを備えていてもよく、このメモリには、前記類似度を算出する処理と、前記対象コンテンツに適合するレイアウト情報を検出する処理とを前記プロセッサに実行させるためのレイアウト支援プログラムが記憶されていてもよい。また、このレイアウト支援プログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
【0150】
(付記12)
少なくとも1つのプロセッサを備え、前記プロセッサは、複数の既存コンテンツのそれぞれについて、当該既存コンテンツを構成する各構成要素のレイアウトと各構成要素に設定された優先順位とを示す画像から画像特徴量を抽出する処理と、当該画像特徴量と複数の前記構成要素のレイアウトを示すレイアウト情報とを対応付けてデータベースに記録する処理と、を実行する情報蓄積装置。
【0151】
なお、上記情報蓄積装置は、更にメモリを備えていてもよく、このメモリには、前記画像特徴量を抽出する処理と、前記データベースに記録する処理とを前記プロセッサに実行させるための情報蓄積プログラムが記憶されていてもよい。また、この情報蓄積プログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
【符号の説明】
【0152】
1 レイアウト支援システム
10 情報蓄積装置
101 画像特徴量抽出部
102 情報蓄積部
11 レイアウト支援装置
111 特徴量比較部
112 検出部
20 情報蓄積装置
2004 画像生成部
2005 画像特徴量抽出部
2006 情報蓄積部
2021 データベース
21 レイアウト支援装置
2104 統合部
2105 比較用特徴量生成部
2106 特徴量比較部
2107 検出部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12