特開 2024-107473 情報処理装置、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024107473

(43)【公開日】2024-08-08

(54)【発明の名称】情報処理装置、情報処理方法及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240801BHJP

【ＦＩ】

G06T7/00 350B

【審査請求】有

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2024097707

(22)【出願日】2024-06-17

(62)【分割の表示】P 2019174565の分割

【原出願日】2019-09-25

(31)【優先権主張番号】P 2018185188

(32)【優先日】2018-09-28

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000002897

【氏名又は名称】大日本印刷株式会社

(74)【代理人】

【識別番号】100122529

【弁理士】

【氏名又は名称】藤枡 裕実

(74)【代理人】

【識別番号】100135954

【弁理士】

【氏名又は名称】深町 圭子

(74)【代理人】

【識別番号】100119057

【弁理士】

【氏名又は名称】伊藤 英生

(74)【代理人】

【識別番号】100131369

【弁理士】

【氏名又は名称】後藤 直樹

(74)【代理人】

【識別番号】100171859

【弁理士】

【氏名又は名称】立石 英之

(72)【発明者】

【氏名】田端 聡

(72)【発明者】

【氏名】廣川 慧吾

(72)【発明者】

【氏名】吉原 寛樹

(72)【発明者】

【氏名】前田 遥

(57)【要約】

【課題】適切なレイアウトを生成することができる情報処理装置等を提供する。
【解決手段】情報処理装置１は、複数のコンテンツを取得する取得部と、前記複数のコン
テンツを所定の領域内に配置したレイアウト画像を生成する生成部と、複数のレイアウト
画像を学習済みの識別器を用いて、生成した前記レイアウト画像の評価を取得する評価部
と、評価結果を出力する出力部とを備えることを特徴とする。これにより、適切なレイア
ウトを生成することができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数のコンテンツを取得する取得部と、
前記複数のコンテンツを所定の領域内に配置したレイアウト画像を生成する生成部と、
複数のレイアウト画像を学習済みの識別器を用いて、生成した前記レイアウト画像の評価を取得する評価部と、
評価結果を出力する出力部と、を備え
前記取得部は、前記複数のコンテンツと、前記レイアウト画像のページ数とを取得し、
前記生成部は、前記ページ数に応じて前記複数のコンテンツを各ページに割り当てて配置した複数の前記レイアウト画像を生成し、
前記評価部は、前記ページに応じて異なる前記識別器を用い、前記複数のレイアウト画像夫々の評価を取得する
ことを特徴とする情報処理装置。

【請求項2】

前記生成部は、前記複数のコンテンツの配置が異なる複数の前記レイアウト画像を生成し、
前記評価部は、前記識別器を用いて、前記複数のレイアウト画像の順位を取得し、
前記出力部は、前記順位を出力する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記取得部は、前記コンテンツの配置条件を規定する条件情報を取得し、
前記評価部は、前記条件情報に基づき、前記識別器から取得した前記評価を変更する
ことを特徴とする請求項１または２に記載の情報処理装置。

【請求項4】

前記取得部は、前記コンテンツの配置条件を規定する条件情報を取得し、
前記生成部は、前記条件情報に基づいて前記レイアウト画像を生成する
ことを特徴とする請求項１～３のいずれか１項に記載の情報処理装置。

【請求項5】

前記複数のレイアウト画像のうちの任意の２つのレイアウト画像の類似度を算出する算出部を備え、
前記評価部は、前記識別器による評価値と前記算出部で算出した類似度とを用いて、前記複数のレイアウト画像の評価を行う請求項１～４のいずれか１項に記載の情報処理装置。

【請求項6】

複数のコンテンツと、レイアウト画像のページ数と、を取得し、
前記ページ数に応じて前記複数のコンテンツを各ページに割り当てて所定の領域内に配置した複数の前記レイアウト画像を生成し、
複数の前記レイアウト画像を前記ページに応じて異なる学習済みの識別器を用いて、生成した前記複数のレイアウト画像夫々の評価を取得し、
評価結果を出力する
処理をコンピュータに実行させることを特徴とする情報処理方法。

【請求項7】

複数のコンテンツと、レイアウト画像のページ数と、を取得し、
前記ページ数に応じて前記複数のコンテンツを各ページに割り当てて所定の領域内に配置した複数の前記レイアウト画像を生成し、
複数の前記レイアウト画像を前記ページに応じて異なる学習済みの識別器を用いて、生成した前記複数のレイアウト画像夫々の評価を取得し、
評価結果を出力する
処理をコンピュータに実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

雑誌、書籍、新聞等のレイアウト作成を支援する種々の手法が提案されている。例えば特許文献１では、レイアウト素材であるテキスト、画像等のコンテンツ間の関連度合いを算出し、関連度合いが高いコンテンツ同士が近くに配置されるようレイアウトを決定する情報処理装置等が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００９－１６９５３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に係る発明は、関連度合いが高いコンテンツ同士を近くに配置しているに過ぎず、全体として見た場合には適切なレイアウトになっていない虞がある。

【0005】

一つの側面では、適切なレイアウトを生成することができる情報処理装置等を提供することを目的とする。

【課題を解決するための手段】

【0006】

一つの側面では、情報処理装置は、複数のコンテンツを取得する取得部と、前記複数のコンテンツを所定の領域内に配置したレイアウト画像を生成する生成部と、複数のレイアウト画像を学習済みの識別器を用いて、生成した前記レイアウト画像の評価を取得する評価部と、評価結果を出力する出力部とを備えることを特徴とする。

【発明の効果】

【0007】

一つの側面では、適切なレイアウトを生成することができる。

【図面の簡単な説明】

【0008】

【図1】レイアウト生成システムの構成例を示す模式図である。

【図2】サーバの構成例を示すブロック図である。

【図3】本実施の形態の概要を示す説明図である。

【図4】レイアウト学習処理に関する説明図である。

【図5】レイアウト生成処理に関する説明図である。

【図6】レイアウト学習処理の処理手順の一例を示すフローチャートである。

【図7】レイアウト生成処理の処理手順の一例を示すフローチャートである。

【図8】実施の形態２の概要を示す説明図である。

【図9】実施の形態２に係るレイアウト生成処理の処理手順の一例を示すフローチャートである。

【図10】上述した形態のサーバの動作を示す機能ブロック図である。

【図11】スコアリングモデル１４１の要部を示す説明図である。

【図12】総合スコアの算出の一例を示す説明図である。

【図13】実施の形態４の概要を示す説明図である。

【図14】実施の形態４のレイアウト生成処理の処理手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
図１は、レイアウト生成システムの構成例を示す模式図である。本実施の形態では、雑誌、書籍、新聞等の文書のページレイアウトを自動生成するレイアウト生成システムについて説明する。レイアウト生成システムは、情報処理装置１及び端末２を有する。各装置は、インターネット等のネットワークＮを介して通信接続されている。

【0010】

情報処理装置１は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばサーバ装置、パーソナルコンピュータ等である。本実施の形態では情報処理装置１がサーバ装置であるものとし、以下の説明では簡潔のためサーバ１と読み替える。サーバ１は、文書ページのレイアウト素材である画像、テキスト等のコンテンツを端末２から取得し、各コンテンツを文書ページ内に配置したレイアウト画像を生成する。本実施の形態でサーバ１は、後述するように、既存の文書ページのレイアウトを機械学習によって学習済みのスコアリングモデル１４１（識別器）を用い、生成したレイアウト画像の評価値を表すスコアを算出する。サーバ１は、算出したスコアに応じて、生成したレイアウト画像の情報を端末２に返却（出力）する。

【0011】

端末２は、本システムを利用する各ユーザが使用する端末装置であり、例えばパーソナルコンピュータ、スマートフォン、タブレット端末等である。本システムのユーザは、例えば雑誌、書籍等を作成する出版社であり、本システムを利用して文書ページのレイアウトを作成する。

【0012】

なお、サーバ１が生成するレイアウト画像は雑誌、書籍等の印刷物に関するページだけでなく、Ｗｅｂページのように、Ｗｅｂ上のページレイアウトに関するものであってもよい。

【0013】

図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、主記憶部１２、通信部１３、補助記憶部１４を備える。制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を有し、補助記憶部１４に記憶されたプログラムＰを読み出して実行することにより、サーバ１に係る種々の情報処理、制御処理等を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。

【0014】

補助記憶部１４は大容量メモリ、ハードディスク等であり、制御部１１が処理を実行するために必要なプログラムＰ、その他のデータを記憶している。また、補助記憶部１４は、レイアウト画像のスコアを算出するために用いられるスコアリングモデル１４１を記憶している。スコアリングモデル１４１は、レイアウト画像のスコア算出用の学習済みモデル（識別器）であり、後述するように、既存の文書ページのレイアウト画像を教師データとして生成された学習済みモデルである。

【0015】

なお、補助記憶部１４はサーバ１に接続された外部記憶装置であってもよい。また、サーバ１は複数のコンピュータからなるマルチコンピュータであってもよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。

【0016】

また、本実施の形態においてサーバ１は上記の構成に限られず、例えば可搬型記憶媒体に記憶された情報を読み取る読取部、操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。

【0017】

図３は、本実施の形態の概要を示す説明図である。図３では、端末２からの要求を受けて、サーバ１が文書ページのレイアウト画像を生成する様子を模式的に示している。図３に基づき、本実施の形態の概要について説明する。まずサーバ１は、文書ページに配置する複数のコンテンツのデータを端末２から取得し、レイアウト画像の生成依頼を受け付ける。例えばサーバ１は、ＸＭＬ（Extensible Markup Language）ファイルのように、文書ページに配置するテキスト、画像等が構造化された文書データを取得する。なお、端末２から取得するコンテンツのデータは構造化されたデータに限定されず、非構造化データであってもよい。

【0018】

なお、サーバ１は端末２からコンテンツのデータを取得する際に、作成する文書のページ数の指定入力を併せて受け付ける。後述するように、サーバ１は、上記で取得した複数のコンテンツを各ページに割り当てて配置し、ページ毎にレイアウト画像を生成する。複数ページのレイアウト画像を生成する処理について、詳しくは後述する。

【0019】

サーバ１はプログラムＰを実行することにより、レイアウト情報生成部１１１、レイアウト画像生成部１１２、及びレイアウト評価部１１３の機能を有する。レイアウト情報生成部１１１は、端末２から取得した複数のコンテンツを、文書ページに相当する所定の領域内に配置するためのレイアウト情報を生成する。具体的には、レイアウト情報生成部１１１は、文書レイアウトとしての最低限の規定（グリッドを揃える、各コンテンツが被らないようにする等）を設けた上で、当該規定に反しない限度で、各コンテンツを所定の領域内に配置する配置座標、あるいは各コンテンツのサイズ（ページ内に占める大きさ）をランダムに決定する。

【0020】

レイアウト情報生成部１１１は、各コンテンツの配置座標等をランダムに決定し、複数パターンのレイアウト情報を生成する。図３では、Ｎ通りのレイアウト情報を生成する様子を図示している。レイアウト情報生成部１１１は、各々のレイアウトパターンで各コンテンツの座標、サイズ等が異なるようにして、互いにレイアウトが異なるＮ通りのレイアウト情報を生成する。

【0021】

レイアウト画像生成部１１２は、レイアウト情報生成部１１１が生成したレイアウト情報に従い、各コンテンツを所定の領域内に配置したレイアウト画像を生成する。具体的には、レイアウト画像生成部１１２は、レイアウト情報生成部１１１が生成したＮ通りのレイアウト情報それぞれに対応して、Ｎ通りのレイアウト画像を生成する。

【0022】

レイアウト評価部１１３は、生成されたＮ通りのレイアウト画像それぞれについて、レイアウトの確からしさを評価したスコアを算出する。具体的には、レイアウト評価部１１３は、既存の文書ページのレイアウトを学習済みのスコアリングモデル１４１（識別器）を用いて、生成されたＮ通りのレイアウト画像それぞれのスコアを算出する。スコアリングモデル１４１について、詳しくは後述する。

【0023】

サーバ１は、上記で算出したスコアに基づき、Ｎ通りのレイアウト画像の順位を特定する。サーバ１は、特定した順位に応じて、生成したレイアウト画像の情報を端末２に出力する。例えばサーバ１は、予め定められた上位Ｍ位までのレイアウト画像を特定し、上位Ｍ位までのレイアウト画像に対応するレイアウト情報（配置情報）を端末２に出力する。端末２では、サーバ１から取得したレイアウト情報を所定の文書編集ソフトにインポートし、ユーザが最終的な文書ページを作成する。

【0024】

なお、例えばサーバ１は、閾値以上のスコアを有するレイアウト画像の情報を出力するようにしてもよい。また、例えばサーバ１は、生成した全てのレイアウト画像の情報を出力し、併せてスコアや順位を提示（出力）するようにしてもよい。このように、サーバ１は算出したスコア（評価）に応じてレイアウト画像の情報を提示することができればよく、その態様は順位に基づくものに限定されない。

【0025】

図４は、レイアウト学習処理に関する説明図である。本実施の形態では、サーバ１はスコアリングモデル１４１として、ディープラーニングにより構築されるニューラルネットワーク、具体的にはＣＮＮ（Convolution Neural Network）を用いてスコアを算出する。図４では、既存の文書ページのレイアウト画像を教師データとしてディープラーニングを行い、スコアリングモデル１４１を構築（生成）する様子を概念的に図示している。図４に基づき、スコアリングモデル１４１を構築するためのレイアウト学習処理について説明する。

【0026】

なお、本実施の形態ではスコアリングモデル１４１がＣＮＮであるものとして説明するが、スコアリングモデル１４１はその他のニューラルネットワーク、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク、決定木など、その他の学習済みモデルであってもよい。

【0027】

本実施の形態でサーバ１は、ランク学習の手法を用いてスコアリングモデル１４１を生成する。ランク学習は、データ集合の序列を学習する学習手法である。ディープラーニングによりランク学習を行うニューラルネットワークとしては、例えばＤｅｅｐＬａｎｋ、ＳｉａｍｅｓｅＮｅｔ等が知られている。ランク学習は公知の学習手法であるため、その詳細な説明は省略する。

【0028】

例えばサーバ１は、人手で作成された既存の文書ページのレイアウト画像を端末２から取得し、学習用の教師データとして用いる。以下の説明では便宜上、当該レイアウト画像を「既存レイアウト画像」と呼ぶ。例えばサーバ１は、既存レイアウト画像をスコアが「１」の正解データとして用いる。

【0029】

さらにサーバ１は、既存レイアウト画像内に配置されているコンテンツの配置座標をランダムに入れ替え、コンテンツの配置を変更した複数のレイアウト画像を生成する。以下の説明では便宜上、当該レイアウト画像を「偽レイアウト画像」と呼ぶ。サーバ１は、偽レイアウト画像をスコアが「０」の不正解データとして用いる。

【0030】

サーバ１は、既存レイアウト画像と、既存レイアウト画像からコンテンツの配置を変更した偽レイアウト画像とをニューラルネットワークに入力し、ランク学習を行う。具体的には、サーバ１は、既存レイアウト画像のスコアが偽レイアウト画像のスコアよりも高くなるよう学習を行う。サーバ１は、既存レイアウト画像のスコアと、上記で生成した複数の偽レイアウト画像それぞれのスコアとを比較し、既存レイアウト画像のスコアが、複数の偽レイアウト画像のいずれのスコアよりも高くなるよう学習を行う。これによりサーバ１は、スコアリングモデル１４１を生成する。サーバ１は、生成したスコアリングモデル１４１を用いてレイアウト画像のスコアを算出する。

【0031】

なお、上記でサーバ１は教師データの一部（偽レイアウト画像）を自ら生成するものとしたが、教師データは全て人手で作成されたものであってもよい。また、教師データに対し、人手でスコアや順位といった正解値をラベル付けしておいてもよい。

【0032】

また、レイアウトの学習処理と生成処理とを行う処理主体（サーバ１）は同一でなくともよい。

【0033】

図５は、レイアウト生成処理に関する説明図である。図５では、レイアウト画像を生成する処理について、概念的に図示している。上述の如く、サーバ１は、文書ページに配置するコンテンツの構造化データを端末２から取得する。さらにサーバ１は、コンテンツのデータを取得する際に、併せて端末２から、ユーザにより指定された文書のページ数Ｋを取得する。

【0034】

サーバ１は、指定されたページ数Ｋとなるように、端末２から取得した複数のコンテンツを各ページに割り当てて配置し、Ｋ個のレイアウト画像を生成する。サーバ１は、各コンテンツを配置するページ及び配置座標をランダムに決定してＫページ分のレイアウト画像を生成していき、図５に示すように、Ｎ通りのレイアウト画像群を生成する。すなわち、サーバ１は最終的にＫ×Ｎ個のレイアウト画像を生成する。

【0035】

サーバ１は、生成した各レイアウト画像をスコアリングモデル１４１に入力し、レイアウト画像のスコアを算出する。この場合にサーバ１は、例えば入力するレイアウト画像のページ毎に異なるスコアリングモデル１４１を用意しておき、各ページに対応するスコアリングモデル１４１にレイアウト画像を入力してスコアを算出する。例えばサーバ１は、ページ数に応じてＫ個のスコアリングモデル１４１を用意してもよく、文書内のページの区分（例えば雑誌である場合の、表紙、目次ページ、記事ページ、広告ページ等の別）に応じてスコアリングモデル１４１を用意してもよい。サーバ１は、学習時に各ページに対応するレイアウト画像を教師データとして用いて学習を行い、各ページに対応するスコアリングモデル１４１を生成しておく。

【0036】

サーバ１は、Ｎ通りの各レイアウト画像群それぞれについて、各ページに対応するスコアリングモデル１４１を用いて各ページのレイアウト画像のスコアを算出する。そしてサーバ１は、全てのページのスコアを合算し、デザインスコアを算出する。サーバ１は、算出したデザインスコアに基づき、Ｎ通りのレイアウト画像群の順位付けを行う。このようにしてサーバ１は、生成したレイアウト画像の順位を取得する。

【0037】

既に説明したように、サーバ１は、Ｎ通りのレイアウト画像群のうち、デザインスコアが上位Ｍ位までのレイアウト画像群の情報を端末２に出力する。

【0038】

上述の如く、サーバ１は文書レイアウトを学習済みのスコアリングモデル１４１を用いてレイアウト画像を評価し、評価が高いレイアウト画像をユーザに提示する。これにより、ユーザが文書レイアウトを決める手間が省かれ、文書作成の効率化を図ることができる。

【0039】

図６は、レイアウト学習処理の処理手順の一例を示すフローチャートである。図６に基づき、レイアウト学習処理の処理内容について説明する。サーバ１の制御部１１は、教師データとする既存レイアウト画像を取得する（ステップＳ１１）。既存レイアウト画像は、人手で作成された文書ページのレイアウト画像である。制御部１１は、ステップＳ１１で取得した既存レイアウト画像に含まれる各コンテンツを再配置した偽レイアウト画像を生成する（ステップＳ１２）。例えば制御部１１は、ステップＳ１１で取得した既存レイアウト画像に含まれる複数のコンテンツをランダムに再配置し、複数の偽レイアウト画像を生成する。

【0040】

制御部１１は、ステップＳ１１で取得した既存レイアウト画像、及びステップＳ１２で生成した偽レイアウト画像に基づき、レイアウト画像を入力した場合にレイアウト画像のスコア（評価）を出力するよう学習したスコアリングモデル１４１を生成する（ステップＳ１３）。上述の如く、制御部１１はランク学習の手法を用いて学習を行い、ＣＮＮに係るスコアリングモデル１４１を生成する。具体的には、制御部１１は、ステップＳ１１で取得したレイアウト画像を正解データとし、ステップＳ１２で生成した偽レイアウト画像を不正解データとして学習を行う。制御部１１は、一連の処理を終了する。

【0041】

図７は、レイアウト生成処理の処理手順の一例を示すフローチャートである。図７に基づき、レイアウト生成処理の処理内容について説明する。サーバ１の制御部１１は、端末２から、文書ページに配置する複数のコンテンツと、指定ページ数とを取得する（ステップＳ３１）。制御部１１は、指定されたページ数に応じて、複数のコンテンツを各ページに割り当てて配置するレイアウト情報を生成する（ステップＳ３２）。具体的には、制御部１１は、所定の領域内に各コンテンツを配置する配置座標をランダムに決定し、複数パターンのレイアウト情報を生成する。制御部１１は、生成したレイアウト情報に従って、所定の領域内にコンテンツを配置した各ページのレイアウト画像を生成する（ステップＳ３３）。具体的には、制御部１１は、ステップＳ３２で生成した複数パターンのレイアウト情報に従い、複数パターンのレイアウト画像を生成する。

【0042】

制御部１１は、複数のレイアウト画像を学習済みのスコアリングモデル１４１を用いて、ステップＳ３３で生成した各ページのレイアウト画像のスコアを算出する（ステップＳ３４）。具体的には、制御部１１は、ページ毎に異なるスコアリングモデル１４１を用いて、各ページのスコアを算出する。制御部１１は、ステップＳ３３で生成した複数パターンのレイアウト画像それぞれについてスコアを算出する。

【0043】

制御部１１は、各ページのレイアウト画像のスコアを合算し、複数パターンそれぞれについてデザインスコアを算出する（ステップＳ３５）。制御部１１は、算出したデザインスコアに応じて各パターンのレイアウト画像の順位付けを行い、上位のレイアウト画像に係るレイアウト情報を端末２に出力する（ステップＳ３６）。制御部１１は、一連の処理を終了する。

【0044】

なお、上記ではスコアリングモデル１４１がレイアウト画像のスコア（評価値）を出力するものとしたが、レイアウト画像としての適否を示す識別結果のみを出力するようにしてもよい。すなわち、サーバ１は、学習済みモデルを用いてレイアウト画像の評価を取得可能であればよく、取得する評価は連続的な確率値に限定されない。

【0045】

以上より、本実施の形態１によれば、スコアリングモデル１４１を用いて算出したスコアに応じてレイアウト画像の情報を出力することで、適切なレイアウトをユーザに提示することができる。

【0046】

また、本実施の形態１によれば、スコアリングモデル１４１を用いて複数のレイアウト画像の順位を決定し、決定した順位に応じてレイアウト画像を出力することで、より適切なレイアウトをユーザに提示することができる。

【0047】

また、本実施の形態１によれば、ページ毎に異なるスコアリングモデル１４１を用いてレイアウト画像のスコアを算出することで、各ページの特性を考慮してレイアウト画像を適切に評価することができる。

【0048】

（実施の形態２）
本実施の形態では、ユーザが予めレイアウトの条件を指定しておき、指定された条件に従ったレイアウトを出力する形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。図８は、実施の形態２の概要を示す説明図である。図８の内容は図３とほぼ同様であるため、共通する事項については説明を省略する。図８に基づき、本実施の形態の概要を説明する。

【0049】

本実施の形態では、サーバ１は、端末２からレイアウト画像の生成依頼を受け付ける際に、各コンテンツのデータ、指定ページ数のほかに、各コンテンツを文書ページに配置する際の条件を規定する条件情報を取得する。条件情報は、文書を作成するユーザが任意に指定するレイアウト条件であり、レイアウトを決定する上で必要な、人間（ユーザ）にしかわからないコンテンツの事前知識情報である。

【0050】

本実施の形態でサーバ１は、画像、テキスト等のコンテンツのうち、画像について条件情報の入力を受け付ける。例えばサーバ１は、各画像の重要度、及び各画像が文書ページ内に配置される順序の入力を受け付ける。重要度は、例えば複数段階のランクで入力される。順序は、例えば昇順の数字で入力される。

【0051】

例えば文書が雑誌である場合、画像の重要度に応じて、画像のサイズを見開きサイズとするか、一ページサイズとするか、二分の一ページサイズとするか等、重要度が高いものほどサイズが大きくなるようにレイアウトすることが多い。そこでサーバ１は、画像の重要度を条件情報として取得し、重要度に応じて画像のサイズを決定する。

【0052】

また、複数の画像が互いに関連ある場合、ページ内にどの画像を先に配置すべきか、その画像内容に応じて順序を決定することが多い。例えば、ある被写体の全体像の写真と細部の写真とをページ内にレイアウトする場合、基本的には先に全体像の写真を配置した方が良い。そこでサーバ１は、画像の配置順序を条件情報として取得する。

【0053】

実施の形態１と同様に、サーバ１は各コンテンツをランダムに配置したレイアウト画像を生成し、スコアリングモデル１４１に入力してデザインスコアを算出する。さらに本実施の形態では、サーバ１は、算出したデザインスコアを、上記の条件情報に基づいて補正する。すなわち、サーバ１は、条件情報に応じてレイアウト画像の評価を変更する。

【0054】

具体的には、サーバ１は、各ページのレイアウト画像におけるコンテンツ（画像）のサイズ、配置順序等を条件情報で規定された重要度、配置順序等と比較し、各コンテンツが条件情報に反したサイズ、順序等で配置されているか否かを判定する。そしてサーバ１は、条件情報に反して配置されたコンテンツ数を計数する。すなわち、サーバ１は、ユーザが指定したレイアウト条件に反する違反数を計数する。

【0055】

サーバ１は、計数したコンテンツ数（違反数）に所定の係数を乗算し、デザインスコアから減算する。すなわち、サーバ１は、違反数に応じてペナルティを与える。サーバ１は、上記の処理によって最終的に算出されたデザインスコアに基づいて順位付けを行い、上位のレイアウト画像の情報を端末２に出力する。

【0056】

上述の如く、サーバ１はコンテンツの配置条件を規定する条件情報を事前に取得し、条件情報に基づいてレイアウト画像を評価する。これにより、ユーザが所望するレイアウト画像を提示することができる。

【0057】

なお、上記では条件情報をレイアウト画像の評価にのみ用いたが、本実施の形態はこれに限定されるものではなく、サーバ１は、条件情報をレイアウト画像の生成に用いてもよい。例えばサーバ１は、条件情報で規定される画像の重要度、配置順序等を参照して画像サイズ等を決定し、各ページに配置する。この場合でも、上記と同様の効果を奏する。

【0058】

図９は、実施の形態２に係るレイアウト生成処理の処理手順の一例を示すフローチャートである。サーバ１の制御部１１は、文書ページに配置する複数のコンテンツ及び指定ページ数に加えて、コンテンツの配置条件を規定する条件情報を端末２から取得する（ステップＳ２０１）。条件情報は、各コンテンツをページ内に配置する際のレイアウト条件を規定する情報であり、例えば上述の如く、コンテンツの重要度、配置順序等の情報である。制御部１１は、処理をステップＳ３２に移行する。

【0059】

レイアウト画像のデザインスコアを算出した後（ステップＳ３４）、制御部１１は、ステップＳ２０１で取得した条件情報に基づき、デザインスコアを補正（変更）する（ステップＳ２０２）。具体的には、制御部１１は、生成したレイアウト画像における各コンテンツのサイズ、配置順序等を条件情報で規定されたコンテンツの重要度、配置順序等と比較し、各コンテンツが条件情報に反したサイズ、順序等で配置されているか否かを判定する。制御部１１は、条件情報に反して配置されたコンテンツ数を計数し、計数したコンテンツ数に応じてデザインスコアから所定値を減算する。制御部１１は、処理をステップＳ３６に移行する。

【0060】

以上より、本実施の形態２によれば、ユーザが指定した条件情報に応じてレイアウト画像を評価することで、より適切なレイアウトを提示することができる。

【0061】

また、本実施の形態２によれば、ユーザが指定した条件情報に基づきレイアウト画像を生成することもできる。

【0062】

（実施の形態３）
図１０は、上述した形態のサーバ１の動作を示す機能ブロック図である。制御部１１がプログラムＰを実行することにより、サーバ１は以下のように動作する。取得部１０１は、複数のコンテンツを取得する。生成部１０２は、前記複数のコンテンツを所定の領域内に配置したレイアウト画像を生成する。評価部１０３は、複数のレイアウト画像を学習済みの識別器を用いて、生成した前記レイアウト画像の評価を取得する。出力部１０４は、評価結果を出力する。

【0063】

本実施の形態３は以上の如きであり、その他は実施の形態１及び２と同様であるので、対応する部分には同一の符号を付してその詳細な説明を省略する。

【0064】

（実施の形態４）
上述の実施の形態では、適切なレイアウトをユーザに提供することができる。レイアウトを決定する場合、特に初期の検討段階では、レイアウトのバリエーションが豊富であることが望ましい場合もある。以下、この点について説明する。

【0065】

レイアウト評価部１１３は、生成されたＮ通りのレイアウト画像それぞれについて、レイアウトの確からしさを評価したスコアを算出するとともに（実施の形態１～３と同様）、生成されたＮ通りのレイアウト画像それぞれについて多様性を表す多様性スコアを算出し、両方のスコアに基づいて総合スコアを算出する。以下、総合スコアの算出方法について説明する。

【0066】

図１１は、スコアリングモデル１４１の要部を示す説明図である。スコアリングモデル１４１は、例えば、ＣＮＮとすることができ、全結合層１４１ａ、１４１ｂを有する。なお、全結合層の数は図１１の例に限定されない。全結合層１４１ａ、１４１ｂでは、入力も出力もベクトルとなる。全結合層１４１ｂは出力層の前段に位置しているので、入力されたレイアウト画像の特徴を組み合わせたものであるため、レイアウトを分類するための識別部に相当する。実施の形態４では、全結合層１４１ｂのベクトルをレイアウト画像の特徴を識別する識別指標として用いる。なお、他の全結合層を用いてもよい。

【0067】

図１２は、総合スコアの算出の一例を示す説明図である。便宜上、Ｎ通りのレイアウト画像をＧ１、Ｇ２、Ｇ３、…、ＧＮと表す。実施の形態１～３において、算出したデザインスコアをＳＴｉとする。ここで、ｉ＝１～Ｍである。例えば、レイアウト画像ＧｉのデザインスコアはＳＴｉである。レイアウト画像Ｇｉとレイアウト画像Ｇｊとの間の多様性スコアをＳＤｉ、ｊ（またはＳＤ（ｉ、ｊ））で表す。ここで、ｊ＝１～Ｍであり、ｉ＜ｊとする。

【0068】

例えば、図１２の例では、レイアウト画像Ｇ１のデザインスコアは、ＳＴ１であり、レイアウト画像Ｇ２、Ｇ３、…、ＧＮとの間の多様性スコアは、ＳＤ（１、２）、ＳＤ（１、３）、…、ＳＤ（１、Ｎ）である。また、レイアウト画像Ｇ２のデザインスコアは、ＳＴ２であり、レイアウト画像Ｇ１、Ｇ３、…、ＧＮとの間の多様性スコアは、ＳＤ（１、２）、ＳＤ（２、３）、…、ＳＤ（２、Ｎ）である。なお、ＳＤ（２、１）はＳＤ（１、２）と等しいので、ＳＤ（１、２）という表記で統一している。他のレイアウト画像も同様である。

【0069】

図１１に示すように、Ｎ個のレイアウト画像のうち、レイアウト画像Ｇｉをスコアリングモデル１４１に入力したときの全結合層１４１ｂのベクトルをベクトルｄｉとし、レイアウト画像Ｇｊをスコアリングモデル１４１に入力したときの全結合層１４１ｂのベクトルをベクトルｄｊとする。ここで、ｉ≠ｊである。レイアウト画像ＧｉとＧｊとの間の多様性スコアＳＤｉ、ｊは、１からベクトルｄｉとｄｊのコサイン類似度を引いた値とすることができる。レイアウト画像ＧｉとＧｊのレイアウトが似ている場合、ベクトルｄｉとｄｊのコサイン類似度が１に近づくので、多様性スコアＳＤｉ、ｊは０に近づく。一方、レイアウト画像ＧｉとＧｊのレイアウトが似ていない場合、ベクトルｄｉとｄｊのコサイン類似度が０に近づくので、多様性スコアＳＤｉ、ｊは１に近づく。

【0070】

総合スコアＳは、Ｓ＝Σ（ＳＴｉ＋λ・ＳＤｉ、ｊ）という式で算出することができる。ここで、Σは、ｉ、ｊについて１からＮまでの和である。λは重み付けパラメータ（重み付け係数）で所要の値に設定することができる。

【0071】

図１３は、実施の形態４の概要を示す説明図である。レイアウト評価部１１３は、算出部としての機能を有し、複数のレイアウト画像のうちの任意の２つのレイアウト画像の類似度を算出する。レイアウト評価部１１３は、デザインを評価するスコアと、多様性を評価するスコアを用いて総合スコアを求め、求めた総合スコアが最大となる選択セット（サブセット）を求める。すなわち、選択セットを構成するＭ個のレイアウト画像全体に対する総合スコアは最大となっている。より具体的には、レイアウト評価部１１３は、実施の形態１～３で説明したデザインスコアに、さらに多様性スコアを考慮して総合スコアを算出し、レイアウト画像を評価することができる。

【0072】

デザインスコアＳＴｉは、レイアウト画像の適切さを示し、例えば、作品らしさを表す指標である。一方、多様性スコアＳＤｉ、ｊは、類似していないことを示す、あるいはバリエーションの度合いが高いことを表す指標である。総合スコアＳを用いることにより、図１３に模式的に例示するように、作品らしさや適切さが高く、かつ多様性に富んだレイアウト画像（上位Ｍ）を出力することができる。

【0073】

図１４は、実施の形態４のレイアウト生成処理の処理手順の一例を示すフローチャートである。図１４に基づき、レイアウト生成処理の処理内容について説明する。サーバ１の制御部１１は、端末２から、文書ページに配置する複数のコンテンツと、指定ページ数とを取得する（ステップＳ３１）。制御部１１は、指定されたページ数に応じて、複数のコンテンツを各ページに割り当てて配置するレイアウト情報を生成する（ステップＳ３２）。具体的には、制御部１１は、所定の領域内に各コンテンツを配置する配置座標をランダムに決定し、複数パターンのレイアウト情報を生成する。制御部１１は、生成したレイアウト情報に従って、所定の領域内にコンテンツを配置した各ページのレイアウト画像を生成する（ステップＳ３３）。具体的には、制御部１１は、ステップＳ３２で生成した複数パターンのレイアウト情報に従い、複数パターンのレイアウト画像を生成する。

【0074】

制御部１１は、複数のレイアウト画像を学習済みのスコアリングモデル１４１を用いて、ステップＳ３３で生成した各ページのレイアウト画像のスコアを算出する（ステップＳ３４）。具体的には、制御部１１は、ページ毎に異なるスコアリングモデル１４１を用いて、各ページのスコアを算出する。制御部１１は、ステップＳ３３で生成した複数パターンのレイアウト画像それぞれについてスコアを算出する。

【0075】

制御部１１は、各ページのレイアウト画像のスコアを合算し、複数パターンそれぞれについてデザインスコアを算出する（ステップＳ３５）。制御部１１は、各ページのレイアウト画像の多様性スコアを算出する（Ｓ２１１）。具体的には、制御部１１は、ページ毎に異なるスコアリングモデル１４１を用いて、各ページの多様性スコアを算出することができる。制御部１１は、ステップＳ３３で生成した複数パターンのレイアウト画像それぞれについて多様性スコアを算出する。

【0076】

制御部１１は、各ページのレイアウト画像の多様性スコアを合算し、複数パターンそれぞれについて多様性スコアを算出する（ステップＳ２１２）。制御部１１は、デザインスコア及び多様性スコアに基づいて複数パターンそれぞれについて総合スコアを算出する（Ｓ２１３）。制御部１１は、算出した総合スコアに応じて各パターンのレイアウト画像の順位付けを行い、総合スコアが最大となるＭ個のセット（組み合わせ）を端末２に出力する（ステップＳ３６）。制御部１１は、一連の処理を終了する。

【0077】

以上より、実施の形態４によれば、スコアリングモデル１４１を用いて算出したスコアに応じてレイアウト画像の情報を出力することで、適切なレイアウト（作品らしさが高いレイアウト）であり、かつ、多様性に富んだレイアウトをユーザに提示することができる。

【0078】

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0079】

１ サーバ（情報処理装置）
１１ 制御部
１２ 主記憶部
１３ 通信部
１４ 補助記憶部
Ｐ プログラム
１４１ スコアリングモデル
１４１ａ、１４１ｂ 全結合層
２ 端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】