特許 7540196 情報処理装置、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-19

(45)【発行日】2024-08-27

(54)【発明の名称】情報処理装置、情報処理方法およびプログラム

(51)【国際特許分類】

   G06T 11/60 20060101AFI20240820BHJP

   H04N 1/387 20060101ALI20240820BHJP

   G06F 40/114 20200101ALI20240820BHJP

【ＦＩ】

G06T11/60 100A

H04N1/387 110

G06F40/114

【請求項の数】 12

(21)【出願番号】P 2020088433

(22)【出願日】2020-05-20

(65)【公開番号】P2021182347

(43)【公開日】2021-11-25

【審査請求日】2023-03-28

(73)【特許権者】

【識別番号】000002897

【氏名又は名称】大日本印刷株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】田中 隆寛

【審査官】益戸 宏

(56)【参考文献】

【文献】特開２０１４－１３０４５３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １１／６０

Ｈ０４Ｎ １／３８７

Ｇ０６Ｆ ４０／１１４

(57)【特許請求の範囲】

【請求項1】

複数のテキストコンテンツと複数の画像コンテンツとを含む複数のコンテンツを取得する取得部と、
取得した前記コンテンツを前記コンテンツ同士の関係性に基づいて複数のコンテンツグループに分割する分割部と、
前記コンテンツグループ毎に、所定の領域にレイアウトするレイアウト部とを備え、
前記分割部は、
前記テキストコンテンツを複数のテキストコンテンツグループに分割する第１分割部と、
前記画像コンテンツを複数の画像コンテンツグループに分割する第２分割部と、
分割した前記テキストコンテンツグループと分割した前記画像コンテンツグループとを組み合わせて前記コンテンツグループを生成する生成部とを備える
情報処理装置。

【請求項2】

前記レイアウト部は、複数の前記コンテンツグループのそれぞれを１ページ毎にレイアウトする
請求項１に記載の情報処理装置。

【請求項3】

前記レイアウト部は、複数の前記コンテンツグループのそれぞれを同一の情報媒体の異なる領域にレイアウトする
請求項１に記載の情報処理装置。

【請求項4】

個々の前記テキストコンテンツグループと、個々の前記画像コンテンツグループとの相関を評価する相関評価部を備え、
前記生成部は、相関の高い前記テキストコンテンツグループと前記画像コンテンツグループとを組み合わせて前記コンテンツグループを生成する
請求項１から請求項３のいずれか一つに記載の情報処理装置。

【請求項5】

前記相関評価部は、前記テキストコンテンツグループに含まれる個々の前記テキストコンテンツと、前記画像コンテンツグループに含まれる個々の前記画像コンテンツとの相関値を算出する相関値算出部を備え、
前記相関評価部は、前記テキストコンテンツと前記画像コンテンツとを総当たりで組み合わせて算出したそれぞれの相関値に基づいて前記テキストコンテンツグループと前記画像コンテンツグループとの相関を評価する
請求項４に記載の情報処理装置。

【請求項6】

前記相関値算出部は、前記画像コンテンツから検出された物体を示す単語が前記テキストコンテンツに出現する出現頻度の合計値に基づいて前記相関値を算出する
請求項５に記載の情報処理装置。

【請求項7】

前記相関値算出部は、前記画像コンテンツから検出された物体を示す単語が前記テキストコンテンツに出現する出現頻度と、前記画像コンテンツから検出された前記物体の数との積の合計値に基づいて前記相関値を算出する
請求項５に記載の情報処理装置。

【請求項8】

前記相関値算出部は、前記画像コンテンツから検出された物体が前記画像コンテンツに占める比率と、前記物体を示す単語が前記テキストコンテンツに出現する出現頻度との積の合計値に基づいて前記相関値を算出する
請求項５に記載の情報処理装置。

【請求項9】

前記相関値算出部は、テキストコンテンツと画像コンテンツとを入力した場合に相関値を出力する学習モデルに、取得したテキストコンテンツと取得した画像コンテンツとを入力して、前記学習モデルから出力された相関値を取得する
請求項５に記載の情報処理装置。

【請求項10】

算出した前記相関値に基づいて前記コンテンツをレイアウトする
請求項５から請求項９のいずれか一つに記載の情報処理装置。

【請求項11】

複数のテキストコンテンツと複数の画像コンテンツとを含む複数のコンテンツを取得し、
取得した前記テキストコンテンツを複数のテキストコンテンツグループに分割し、
取得した前記画像コンテンツを複数の画像コンテンツグループに分割し、
分割した前記テキストコンテンツグループと分割した前記画像コンテンツグループとを組み合わせてコンテンツグループを生成し、
前記コンテンツグループ毎に、所定の領域にレイアウトする
処理をコンピュータが実行する情報処理方法。

【請求項12】

複数のテキストコンテンツと複数の画像コンテンツとを含む複数のコンテンツを取得し、
取得した前記テキストコンテンツを複数のテキストコンテンツグループに分割し、
取得した前記画像コンテンツを複数の画像コンテンツグループに分割し、
分割した前記テキストコンテンツグループと分割した前記画像コンテンツグループとを組み合わせてコンテンツグループを生成し、
前記コンテンツグループ毎に、所定の領域にレイアウトする
処理をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法およびプログラムに関する。

【背景技術】

【0002】

画像と、画像に関連づけられたテキストとをページ上にレイアウトする編集装置が提案されている（特許文献１）。画像とテキストとの相関値を算出する学習モデルが提案されている（非特許文献１）

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１０－２８２３６５号公報

【非特許文献】

【0004】

【文献】Ying Zhang and Huchuana Lu, Deep Cross-Modal Projection Learning for Image-Text Matching, Computer Vision ECCV 2018 15th European Conference, Munich, Germany, September 8-14, 2018, Proceedings, Part IP707-723

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１の編集装置は、あらかじめ用意された１ページ分の画像およびテキストを受け付けてレイアウトする。一つの側面では、複数ページ分のコンテンツを取得して、グループに分けた後にレイアウトする情報処理装置等を提供することを目的とする。

【課題を解決するための手段】

【0006】

情報処理装置は、複数のテキストコンテンツと複数の画像コンテンツとを含む複数のコンテンツを取得する取得部と、取得した前記コンテンツを前記コンテンツ同士の関係性に基づいて複数のコンテンツグループに分割する分割部と、前記コンテンツグループ毎に、所定の領域にレイアウトするレイアウト部とを備え、前記分割部は、前記テキストコンテンツを複数のテキストコンテンツグループに分割する第１分割部と、前記画像コンテンツを複数の画像コンテンツグループに分割する第２分割部と、分割した前記テキストコンテンツグループと分割した前記画像コンテンツグループとを組み合わせて前記コンテンツグループを生成する生成部とを備える。

【発明の効果】

【0007】

一つの側面では、複数ページ分のコンテンツを取得して、グループに分けた後にレイアウトする情報処理装置等を提供できる。

【図面の簡単な説明】

【0008】

【図1】編集支援処理の概要を説明する説明図である。

【図2】情報処理装置の構成を説明する説明図である。

【図3】ページ配分装置が行なう編集支援処理の概要を説明する説明図である。

【図4】ページレイアウト装置が行なう編集支援処理の概要を説明する説明図である。

【図5】テキストと画像との相関値を算出する方法を説明する説明図である。

【図6】テキストと画像との相関値を算出する方法を説明する説明図である。

【図7】テキストグループと画像グループとの相関値を算出する方法を説明する説明図である。

【図8】テキストグループと画像グループとの相関値を算出する方法の変形例を説明する説明図である。

【図9】情報処理装置が表示する画面の例である。

【図10】情報処理装置が表示する画面の例である。

【図11】プログラムの処理の流れを説明するフローチャートである。

【図12】グループ分けのサブルーチンの処理の流れを説明するフローチャートである。

【図13】グループ間対応付けのサブルーチンの処理の流れを説明するフローチャートである。

【図14】グループ間相関値算出のサブルーチンの処理の流れを説明するフローチャートである。

【図15】プログラムの処理の流れを説明するフローチャートである。

【図16】実施の形態２の概要を説明する説明図である。

【図17】実施の形態２のプログラムの処理の流れを説明するフローチャートである。

【図18】実施の形態３のプログラムの処理の流れを説明するフローチャートである。

【図19】実施の形態４のテキストグループと画像グループとの関連付けを説明する説明図である。

【図20】実施の形態４のテキストグループと画像グループとの関連付けを説明する説明図である。

【図21】実施の形態４のテキストグループと画像グループとの関連付けを説明する説明図である。

【図22】実施の形態４のプログラムの処理の流れを説明するフローチャートである。

【図23】学習モデルを説明する説明図である。

【図24】訓練ＤＢのレコードレイアウトを説明する説明図である。

【図25】実施の形態５のプログラムの処理の流れを説明するフローチャートである。

【図26】実施の形態６のページ配分装置が行なう編集支援処理の概要を説明する説明図である。

【図27】実施の形態６のページレイアウト装置が行なう編集支援処理の概要を説明する説明図である。

【図28】実施の形態７の情報処理装置の構成を説明する説明図である。

【図29】実施の形態８の情報処理装置の機能ブロック図である。

【発明を実施するための形態】

【0009】

［実施の形態１］
図１は、編集支援処理の概要を説明する説明図である。本実施の形態の編集支援処理は、作成済の複数のコンテンツ３０を読者が読みやすい状態に配置する編集作業を支援する。本実施の形態においては、数ページにわたる雑誌の特集記事の編集作業を支援する場合を例にして説明する。なお、編集支援処理の対象は雑誌に限定しない。たとえば、書籍、パンフレット、カタログ、新聞、メニューまたはチラシ等、任意の媒体の編集支援処理を行なってもよい。媒体は、紙媒体であっても、電子書籍等のデジタル型の媒体であってもよい。

【0010】

特集記事の素材であるコンテンツ３０は、テキストコンテンツ３１と画像コンテンツ３６とを含む。画像コンテンツ３６は、写真であっても、イラストであっても、動画であってもよい。なお、以下の説明では画像コンテンツ３６は静止画である場合を例にして説明する。

【0011】

テキストコンテンツ３１の代わりに、音声コンテンツが使用されてもよい。テキストコンテンツ３１および画像コンテンツ３６には、音声データが関連づけられていてもよい。ページ配分装置１１は、コンテンツ３０全体を受け付けて、１ページ分または見開きページ１組分のページコンテンツ４１に配分する。

【0012】

ページコンテンツ４１は、コンテンツグループの例示である。ページ配分装置１１は、複数のコンテンツ３０を複数のコンテンツグループに分割する分割部の例示である。以下の説明においては、１ページ分と見開きページ１組分との双方を単に１ページ分と記載する場合がある。

【0013】

ページ配分装置１１が配分したページコンテンツ４１は、テキストコンテンツ３１とコンテンツ３０とを含む。ページレイアウト装置１２は、それぞれのページコンテンツ４１を受け付けて、読者が読みやすい状態に配置したページレイアウト３０６を生成する。ページレイアウト装置１２は、ページコンテンツ４１を所定の領域にレイアウトするレイアウト部の例示である。

【0014】

編集者は、ページ配分装置１１が出力したページコンテンツ４１を確認し、必要に応じてページ間でのコンテンツ３０の入れ替え等の操作を行なう。さらに編集者は、ページレイアウト装置１２が出力したページレイアウト３０６を確認し、必要に応じてコンテンツ３０の配置調整およびコンテンツ３０自体の修正等の操作を行なう。以上により、特集記事の編集が完了する。

【0015】

図２は、情報処理装置２０の構成を説明する説明図である。情報処理装置２０は、ページ配分装置１１およびページレイアウト装置１２を実現するハードウェアである。ページ配分装置１１とページレイアウト装置１２とは、同一の情報処理装置２０で実現されても、別々の情報処理装置２０で実現されてもよい。

【0016】

情報処理装置２０は、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、表示部２５、入力部２６およびバスを備える。制御部２１は、本実施の形態のプログラムを実行する演算制御装置である。制御部２１には、一または複数のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＴＰＵ（Tensor Processing Unit）またはマルチコアＣＰＵ等が使用される。制御部２１は、バスを介して情報処理装置２０を構成するハードウェア各部と接続されている。

【0017】

主記憶装置２２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の記憶装置である。主記憶装置２２には、制御部２１が行なう処理の途中で必要な情報および制御部２１で実行中のプログラムが一時的に保存される。

【0018】

補助記憶装置２３は、ＳＲＡＭ、フラッシュメモリ、ハードディスクまたは磁気テープ等の記憶装置である。補助記憶装置２３には、制御部２１に実行させるプログラムおよびプログラムの実行に必要な各種データが保存される。通信部２４は、情報処理装置２０とネットワークとの間の通信を行なうインターフェイスである。

【0019】

表示部２５は、液晶表示パネルまたは有機ＥＬ表示パネル等である。入力部２６は、キーボード、タッチパネルおよびマイク等である。表示部２５と入力部２６とは、積層されてタッチパネルを構成していてもよい。

【0020】

情報処理装置２０は、ユーザである編集者が使用する汎用のパソコン、スマートフォン、タブレット、大型計算機、または、大型計算機上で動作する仮想マシンである。情報処理装置２０は、分散処理を行なう複数のパソコン、または大型計算機等のハードウェアにより構成されても良い。情報処理装置２０は、クラウドコンピューティングシステムまたは量子コンピュータにより構成されても良い。情報処理装置２０は、本実施の形態の編集支援処理専用のハードウェアであってもよい。

【0021】

図３は、ページ配分装置１１が行なう編集支援処理の概要を説明する説明図である。ページ配分装置１１を実現する制御部２１は、ネットワークを介して接続されたコンテンツサーバからコンテンツ３０を取得する。コンテンツ３０は、複数のテキストコンテンツ３１および複数の画像コンテンツ３６を含む。

【0022】

制御部２１は、それぞれのテキストコンテンツ３１の特徴量を示す特徴量ベクトルを抽出する（ステップＳ５０１）。テキストコンテンツ３１の特徴量ベクトルは、たとえばテキストコンテンツ３１中の所定の単語の出現頻度に基づいて生成される。テキストコンテンツ３１の特徴量ベクトルは、ＴＦ－ＩＤＦ（Term Frequency Inverse Document Frequency）、ＢｏＷ（Bag of Words）またはＤｏｃ２Ｖｅｃ（Document to Vector）等の任意の手法により生成できる。

【0023】

制御部２１は、特徴量ベクトルのクラスタリングを行ない、テキストコンテンツ３１を複数のテキストグループ３２に分類する（ステップＳ５０２）。テキストグループ３２は、テキストコンテンツ３１をグループ分けしたテキストコンテンツグループの例示である。制御部２１は、ステップＳ５０２により複数のテキストコンテンツ３１を複数のテキストグループ３２に分割する第１分割部の機能を実現する。

【0024】

クラスタリングには、たとえばｋ－ｍｅａｎｓ法、ＮＮ（Nearest Neighbor)法、Ｋ－ＮＮ（K Nearest Neighbor)法またはウォード法等の任意の手法を使用できる。

【0025】

なお、ステップＳ５０２で分類したテキストグループ３２に含まれるテキストの合計文字数が所定の文字数を超える場合、制御部２１は再度クラスタリングを行なって当該テキストグループ３２を分割する。ステップＳ５０２で分類したテキストグループ３２の数が所定のグループ数を超える場合、制御部２１は文字数の少ないテキストグループ３２同士を統合する。文字数の少ないテキストグループ３２が複数存在する場合、制御部２１は再度クラスタリングを行なって統合するテキストグループ３２を定めてもよい。

【0026】

制御部２１は、それぞれの画像コンテンツ３６の特徴量を示す特徴量ベクトルを抽出する（ステップＳ５０３）。画像コンテンツ３６の特徴量ベクトルは、たとえば画像コンテンツ３６を構成する画素の輝度ヒストグラムに基づいて生成される。

【0027】

画像コンテンツ３６の特徴量ベクトルは、ＳＩＦＴ（Scale Invariant Feature Transform）特徴量、ＳＵＲＦ（Speeded Up Robust Features）特徴量またはＨＯＧ（Histograms of Oriented Gradients）特徴量等に基づいて生成されたベクトルであってもよい。

【0028】

画像コンテンツ３６の特徴量ベクトルは、ＶＧＧ１６、ＶＧＧ１９またはＲｅｓＮｅｔ等の公知の学習モデルに画像コンテンツ３６を入力し、学習モデルに含まれるコンボリューション層およびプーリング層からの出力に基づいて生成されたベクトルであってもよい。画像コンテンツ３６の特徴量ベクトルは、学習済のオートエンコーダにより生成されてもよい。

【0029】

制御部２１は、特徴量ベクトルのクラスタリングを行ない、画像コンテンツ３６を複数の画像グループ３７に分類する（ステップＳ５０４）。画像グループ３７は、画像コンテンツ３６をグループ分けした画像コンテンツグループの例示である。制御部２１は、ステップＳ５０４により複数の画像コンテンツ３６を複数の画像グループ３７に分割する第２分割部の機能を実現する。

【0030】

クラスタリングには、たとえばｋ－ｍｅａｎｓ法、ＮＮ法、Ｋ－ＮＮ法またはウォード法等の任意の手法を使用できる。画像コンテンツ３６のクラスタリング（ステップＳ５０４）に用いる手法と、テキストコンテンツ３１のクラスタリング（ステップＳ５０２）に用いる手法とは、同一の手法であっても、異なる手法であってもよい。

【0031】

なお、ステップＳ５０４で分類した画像グループ３７に含まれる画像の合計サイズが所定のサイズを超える場合、制御部２１は再度クラスタリングを行なって当該画像グループ３７を分割する。ステップＳ５０４で分類した画像グループ３７の数が所定のグループ数を超える場合、制御部２１は合計サイズの少ない画像グループ３７同士を統合する。サイズの小さい画像グループ３７が複数存在する場合、制御部２１は再度クラスタリングを行なって統合する画像グループ３７を定めてもよい。

【0032】

制御部２１は、テキストグループ３２と画像グループ３７との対応付けを行ない（ステップＳ５０５）、所定のページ数に対応する数のページコンテンツ４１を生成する。テキストグループ３２と画像グループ３７とを対応付ける方法については、後述する。

【0033】

それぞれのページコンテンツ４１は、複数のテキストグループ３２または複数の画像グループ３７を含んでもよい。１つのページコンテンツ４１に含まれるテキストコンテンツ３１と画像コンテンツ３６とが、１ページ用のコンテンツ３０に対応する。以上の処理により、ページ配分装置１１は取得したコンテンツ３０を所定のページ数に配分する。

【0034】

制御部２１は所定のページ数よりも少ない数のページコンテンツ４１または多い数のページコンテンツ４１を生成してもよい。このようにする場合には、ユーザが所定のページ数に合わせ込む最終調整を行なう。

【0035】

図４は、ページレイアウト装置１２が行なう編集支援処理の概要を説明する説明図である。ページレイアウト装置１２を実現する制御部２１は、ページ配分装置１１で配分された１つのページコンテンツ４１、すなわち１ページ分のコンテンツ３０を取得する。制御部２１は、それぞれのテキストコンテンツ３１とそれぞれの画像コンテンツ３６との相関値を算出する（ステップＳ５１１）。相関値はコンテンツ同士の関係性を示す指標の例示である。相関値を算出する方法については、後述する。

【0036】

図４においては、太線で示す「テキストＡ」と「画像ｂ」との相関値が最も大きく、細線で示す「テキストＢ」と「画像ｃ」との相関値が２番目に大きく、それ以外の点線で示すテキストコンテンツ３１と画像コンテンツ３６との組み合わせの相関値は小さい。

【0037】

制御部２１は、それぞれの相関値に基づいて相関の高いテキストコンテンツ３１と画像コンテンツ３６との組み合わせを抽出する。図４に示す例では、制御部２１は「テキストＡ」と「画像ｂ」との相関が高く、それ以外のコンテンツ３０間の相関は高くないと評価する。

【0038】

制御部２１は「テキストＡ」と「画像ｂ」とを近接配置するという制約条件のもとに、ページレイアウト３０６を生成する（ステップＳ５１２）。所定のコンテンツ３０を所定の制約条件に基づいてレイアウトするアプリケーションソフトウェアは公知であるため、ページレイアウト３０６を生成する処理の詳細については説明を省略する。以上の処理により、ページレイアウト装置１２はページ配分装置１１が配分した１ページ分のコンテンツ３０を適切にレイアウトする。

【0039】

レイアウト生成時の制約条件は図４に示す例に限定しない。たとえば、「テキストＡ」と「画像ａ」との相関値、および、「テキストＡ」と「画像ｂ」との相関値が同程度に大きい値である場合には、制御部２１は「テキストＡ」と「画像ａ」と「画像ｂ」との３つのコンテンツ３０を近接配置するように制約条件を定める。

【0040】

たとえば、どのテキストコンテンツ３１とどの画像コンテンツ３６との間の相関値も同程度である場合には、制御部２１は特に制約条件を定めずにレイアウトを生成する。

【0041】

なお制御部２１は、ステップＳ５１１で算出した相関値同士の相対評価により相関の高い組み合わせを判定する。すなわち、制御部２１は算出した複数の相関値の中で最も大きい相関値に対応するテキストコンテンツ３１と画像コンテンツ３６との組み合わせを、最も相関の高い組み合わせであると判定する。

【0042】

制御部２１は、相関値が所定の閾値を超える組み合わせを相関の高い組み合わせであると判定しても良い。閾値を用いて判定する場合には、制御部２１はすべての組み合わせについて相関値を算出しなくてもよい。制御部２１は、所定の閾値を超える相関値を算出した後に、以後の相関値の算出を省略することにより、処理時間を短縮できる。

【0043】

図５および図６は、テキストと画像との相関値を算出する方法を説明する説明図である。図５は、テキストコンテンツ３１と、テキストコンテンツ３１に含まれるキーワードの出現頻度とを示す。図５の下側のグラフの横軸はテキストコンテンツ３１に含まれるキーワードを示し、縦軸はそれぞれのキーワードの出現頻度を示す。

【0044】

図５に示す例においては、あらかじめ「花嫁」、「花婿」、「花」、「椅子」、「夕焼け」、「写真」および「参加者」等のキーワードが設定されている。キーワードは、たとえば特集記事のテーマ、または、掲載される雑誌の想定読者層等に基づいてあらかじめ設定されている。それぞれのキーワードの出現回数を表１に示す。

【0045】

【表1】

【0046】

表１より、キーワードの総出現回数は１０回である。（１）式に、それぞれのキーワードの出現頻度を算出する式を示す。
出現頻度＝出現回数／総出現回数 ‥‥‥（１）

【0047】

（１）式により算出されたキーワードと出現頻度との関係が、図５の下側のグラフに示されている。

【0048】

キーワードを設定する代わりに、形態素解析等の手法を用いてテキストコンテンツ３１から単語を抽出してもよい。たとえば制御部２１は、テキストコンテンツ３１から名詞を取り出して、キーワードの代わりに使用する。制御部２１は、テキストコンテンツ３１から取り出した単語を類義語ごとに分類した後に、それぞれの類義語の出現頻度を算出してもよい。

【0049】

図６を用いて、テキストコンテンツ３１と画像コンテンツ３６との相関値を算出する方法を説明する。図６にはＮｏ．１からＮｏ．３の３つの例を示す。Ｎｏ．１は、第１画像コンテンツ３６１とテキストコンテンツ３１との相関値、Ｎｏ．２は、第２画像コンテンツ３６２とテキストコンテンツ３１との相関値、Ｎｏ．３は第３画像コンテンツ３６３とテキストコンテンツ３１との相関値をそれぞれ示す。

【0050】

画像列には、それぞれの画像コンテンツ３６から所定のキーワードに対応する物体を検出した結果を示す。物体の検出は、たとえばＲ－ＣＮＮ（Regions with Convolutional Neural Network）、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮまたはＭａｓｋ Ｒ－ＣＮＮ等の手法により行なえる。これらの物体検出手法は公知であるため、詳細については説明を省略する。図６においては、Ｒ－ＣＮＮ等の手法により検出された物体を示すバウンディングボックスが、それぞれの画像コンテンツ３６に重畳表示されている。

【0051】

テキストコンテンツ３１と画像コンテンツ３６との相関値は、画像コンテンツ３６から検出されたキーワードがテキストコンテンツ３１中に出現する出現頻度の総和により算出する。（２）式に、テキストコンテンツ３１と画像コンテンツ３６との相関値を算出する式を示す。

【0052】

【数1】

【0053】

具体例を挙げて説明する。Ｎｏ．１に示す第１画像コンテンツ３６１から、「花嫁」および「花婿」が検出されている。相関値は、テキストコンテンツ３１中の「花嫁」の検出頻度である０．３と、「花婿」の検出頻度である０．２との合計値である０．５である。

【0054】

Ｎｏ．２に示す第２画像コンテンツ３６２から、「椅子」および「花」が検出されている。相関値は、テキストコンテンツ３１中の「椅子」の検出頻度である０．１と、「花」の検出頻度である０．１との合計値である０．２である。Ｎｏ．３に示す第３画像コンテンツ３６３から、「夕焼け」が検出されている。相関値は、テキストコンテンツ３１中の「夕焼け」の検出頻度である０．１である。

【0055】

以上の処理により、制御部２１は図４のステップＳ５１１に記載したテキストコンテンツ３１と画像コンテンツ３６との間の相関値算出の機能を実現する。

【0056】

［コンテンツ間相関値算出方法の変形例－１］
テキストコンテンツ３１と画像コンテンツ３６との相関値は、画像コンテンツ３６から検出されたキーワードの数と、テキストコンテンツ３１中に出現する出現頻度との積の総和により算出してもよい。（３）式に、テキストコンテンツ３１と画像コンテンツ３６との相関値を算出する式の変形例を示す。

【0057】

【数2】

【0058】

具体例を挙げて説明する。Ｎｏ．２に示す第２画像コンテンツ３６２から、３個の「椅子」および１個の「花」が検出されている。相関値は、テキストコンテンツ３１中の「椅子」の検出頻度である０．１と「椅子」の検出数３との積、および、「花」の検出頻度である０．１と「花」の検出数１との積の合計値である０．４である。

【0059】

［コンテンツ間相関値算出方法の変形例－２］
テキストコンテンツ３１と画像コンテンツ３６との相関値は、画像コンテンツ３６から検出されたキーワードに対応する部分の面積と、テキストコンテンツ３１中に出現する出現頻度との積の総和により算出してもよい。（４）式に、テキストコンテンツ３１と画像コンテンツ３６との相関値を算出する式の変形例を示す。

【0060】

【数3】

【0061】

具体例を挙げて説明する。表２に、図６のＮｏ．１に示す第１画像コンテンツ３６１中のキーワードに対応するバウンディングボックスの面積を、第１画像コンテンツ３６１全体の面積に対する比率で示す。

【0062】

【表2】

【0063】

第１画像コンテンツ３６１から、面積が０．２８の「花嫁」および面積が０．２９の「花婿」が検出されている。相関値は、「花嫁」の検出頻度である０．３と「花嫁」の面積である０．２８との積、および、「花婿」の検出頻度である０．２と「花婿」の面積である０．２９との積の合計値である０．１４２である。

【0064】

同様に表３に、図６のＮｏ．２に示す第２画像コンテンツ３６２中のキーワードに対応するバウンディングボックスの面積を、第２画像コンテンツ３６２全体の面積に対する比率で示す。なお、「椅子」の面積は、３個のバウンディングボックスの面積の合計である。

【0065】

【表3】

【0066】

第２画像コンテンツ３６２から、３個合計の面積が０．０８の「椅子」および面積が０．１の「花」が検出されている。相関値は、「椅子」の検出頻度である０．１と「椅子」の面積である０．０８との積、および、「花」の検出頻度である０．１と「花」の面積である０．１０との積の合計値である０．０１８である。

【0067】

なお、画像コンテンツ３６からの物体検出にＭａｓｋ Ｒ－ＣＮＮ等の物体の領域を検出できる手法を使用する場合には、物体の領域の面積を使用できる。バウンディングボックスの面積を使用する場合よりも高い精度で相関値を算出できる。

【0068】

（１）式から（３）式は、相関値算出式の例示である。相関値算出式は、これらの例示に限定されない。制御部２１は、複数の相関値算出式を用いてそれぞれ算出した相関値同士を演算して、テキストコンテンツ３１と画像コンテンツ３６との相関値を算出してもよい。複数の相関値算出式を用いた総合評価により相関値を算出する情報処理装置２０を提供できる。

【0069】

図７は、テキストグループ３２と画像グループ３７との相関値を算出する方法を説明する説明図である。制御部２１は、テキストグループ３２に含まれるそれぞれのテキストコンテンツ３１と、画像グループ３７に含まれるそれぞれの画像コンテンツ３６との相関値を算出する。図７において、Ｒ_Aaは「テキストＡ」と「画像ａ」との相関値を、Ｒ_Abは「テキストＡ」と「画像ｂ」との相関値をそれぞれ示す。

【0070】

テキストグループ３２と画像グループ３７との相関値は、テキストコンテンツ３１と画像コンテンツ３６とを総当たりで組み合わせて算出した相関値の平均により算出する。（５）式に、テキストコンテンツ３１と画像コンテンツ３６との相関値を算出する式を示す。

【0071】

【数4】

Ｍは、テキストグループに含まれるテキストコンテンツの数である。
Ｎは、画像グループに含まれる画像コンテンツの数である。
Ｒijは、ｉ番目のテキストコンテンツとｊ番目の画像コンテンツとの間の相関値である。

【0072】

図３を使用して説明したステップＳ５０５において、制御部２１はそれぞれのテキストグループ３２と画像グループ３７との間の相関値を算出し、相関値の高いテキストグループ３２と画像グループ３７との組み合わせに基づいてページコンテンツ４１を生成する。

【0073】

前述のとおり、それぞれのページコンテンツ４１は、複数のテキストグループ３２または複数の画像グループ３７を含んでもよい。たとえば、一つのテキストグループ３２に対して同程度の相関値を有する２つの画像グループ３７が存在する場合、制御部２１は当該テキストグループ３２と、両方の画像グループ３７とから１つのページコンテンツ４１を生成してもよい。

【0074】

［グループ間相関値算出方法の変形例］
図８は、テキストグループ３２と画像グループ３７との相関値を算出する方法の変形例を説明する説明図である。制御部２１は、テキストグループ３２に含まれるテキストコンテンツ３１をすべて結合して、１つの結合テキスト３３を生成する。制御部２１は結合テキスト３３と画像グループ３７に含まれるそれぞれの画像コンテンツ３６との相関値を算出する。

【0075】

図８において、Ｒ_aは「結合テキスト」と「画像ａ」との相関値を、Ｒ_bは「結合テキスト」と「画像ｂ」との相関値をそれぞれ示す。テキストグループ３２と画像グループ３７との相関値は、結合テキスト３３とそれぞれの画像コンテンツ３６とを組み合わせて算出した相関値の平均により算出する。

【0076】

図９は、情報処理装置２０が表示する画面の例である。図９を使用して、ページ配分装置１１がコンテンツ３０を配分した結果を表示する画面の例を説明する。図９に示す画面は、ページコンテンツ欄５１、サムネール欄５２、ページ欄５５、保存ボタン５８および終了ボタン５９を含む。

【0077】

ページコンテンツ欄５１には、ページ配分装置１１が配分した１つのページコンテンツ４１に含まれるテキストコンテンツ３１および画像コンテンツ３６が表示されている。ページ配分装置１１により、１ページ目のページコンテンツ４１にはハンバーガに関するテキストコンテンツ３１および画像コンテンツ３６が配分されている。

【0078】

サムネール欄５２には、他のページコンテンツ４１が縮小したサムネールで表示されている。たとえばページ配分装置１１は第２ページにはサラダに関するテキストコンテンツ３１および画像コンテンツ３６を、第３ページにはデザートに関するテキストコンテンツ３１および画像コンテンツ３６を配分する。

【0079】

ユーザによる操作に基づいて制御部２１はページコンテンツ欄５１に表示するページを切り替える。ユーザによるテキストコンテンツ３１または画像コンテンツ３６のドラッグアンドドロップ操作に基づいて、制御部２１は指定されたテキストコンテンツ３１または画像コンテンツ３６を他のページコンテンツ４１に移動させる。ユーザによるサムネール欄５２のドラッグアンドドロップ操作に基づいて、制御部２１はページの順番を入れ替える。

【0080】

制御部２１は、ユーザによるページの追加および削除等の操作を受け付けてもよい。図９を使用して説明した画面により、ユーザはコンテンツ３０のページ配分を適宜変更できる。関連するコンテンツ３０同士が１つのページコンテンツ４１に配分されているため、ユーザは速やかにページ間のコンテンツ３０の調整を行なえる。

【0081】

ユーザによる保存ボタン５８の選択を受け付けた場合、制御部２１はユーザの指示を反映したページコンテンツ４１を保存する。ユーザによる終了ボタン５９の選択を受け付けた場合、制御部２１は図９を使用して説明した画面の表示を終了し、それぞれのページコンテンツ４１をページレイアウト装置１２に入力する。

【0082】

どのページコンテンツ４１にも配分されないコンテンツ３０が存在する場合、制御部２１は、そのようなコンテンツ３０を表示する専用の欄を表示してもよい。ページ配分装置１１による自動配分に適さないコンテンツ３０であっても、ユーザが確認して、適切なページコンテンツ４１に配分できる。

【0083】

なお、制御部２１は図９を使用して説明した画面を表示せず、ページ配分装置１１が配分したページコンテンツ４１をページレイアウト装置１２に直接入力してもよい。終了ボタン５９の選択を受け付けた場合、ページコンテンツ４１を保存した後に処理を終了してもよい。ユーザは同一の情報処理装置２０または別の情報処理装置２０を使用して、保存されたページコンテンツ４１をページレイアウト装置１２に入力する操作を指示できる。

【0084】

図１０は、情報処理装置２０が表示する画面の例である。図１０を使用して、ページレイアウト装置１２がページレイアウト３０６を生成した結果を表示する画面の例を説明する。図１０に示す画面は、レイアウト欄５３、サムネール欄５４、ページ欄５５、採用ボタン５７、保存ボタン５８および終了ボタン５９を含む。

【0085】

レイアウト欄５３には、ページレイアウト装置１２がページコンテンツ４１に基づいて生成したページレイアウト３０６が表示されている。サムネール欄５４には、同一のページコンテンツ４１に基づいてページレイアウト装置１２が生成した別のページレイアウト３０６がサムネール表示されている。

【0086】

図１０においては、図６を使用して説明したテキストコンテンツ３１と、相関値の高い第１画像コンテンツ３６１とを近接配置するページレイアウト３０６が複数生成されている。

【0087】

ユーザによる操作に基づいて制御部２１はレイアウト欄５３に表示するページレイアウト３０６を切り替える。ユーザは、複数のページレイアウト３０６を見比べて、採用するページレイアウト３０６を判断する。採用ボタン５７の選択を受け付けた場合、制御部２１はレイアウト欄５３に表示中のページレイアウト３０６が採用された旨を記録する。

【0088】

ユーザによる操作に基づいて、制御部２１はレイアウト欄５３およびサムネール欄５４に表示するページを切り替える。ユーザによる保存ボタン５８の選択を受け付けた場合、制御部２１はユーザにより採用されたページレイアウト３０６を記録する。ユーザによる終了ボタン５９の選択を受け付けた場合、制御部２１は図１０を使用して説明した画面の表示を終了する。

【0089】

制御部２１は、レイアウト欄５３に表示したページレイアウト３０６の編集を受け付けてもよい。たとえばユーザは、コンテンツ３０の位置の変更、コンテンツ３０の編集、および別のページへのコンテンツ３０の移動等の操作を行なえる。ページレイアウト３０６の編集は、デスクトップパブリッシング用のアプリケーションソフトウェア等で従来から行われているため、説明を省略する。

【0090】

図１１は、プログラムの処理の流れを説明するフローチャートである。制御部２１は、図１１を使用して説明するプログラムにより、ページ配分装置１１の機能を実現する。制御部２１は、コンテンツ３０を取得する（ステップＳ６０１）。コンテンツ３０には、テキストコンテンツ３１および画像コンテンツ３６が含まれている。

【0091】

情報処理装置２０は、テキストコンテンツ３１を入力に用いてグループ分けのサブルーチンを起動する（ステップＳ６０２）。グループ分けのサブルーチンは、入力された複数のコンテンツ３０をグループに分けるサブルーチンである。ステップＳ６０２で起動したグループ分けのサブルーチンは、図３を使用して説明したステップＳ５０１およびステップＳ５０２の機能を実現する。グループ分けのサブルーチンの処理の流れは後述する。

【0092】

制御部２１は、画像コンテンツ３６を入力に用いてグループ分けのサブルーチンを起動する（ステップＳ６０３）。ステップＳ６０３で起動するサブルーチンは、ステップＳ６０２で起動するサブルーチンと同一のサブルーチンである。ステップＳ６０３で起動したグループ分けのサブルーチンは、図３を使用して説明したステップＳ５０３およびステップＳ５０４の機能を実現する。

【0093】

制御部２１は、グループ間対応付けのサブルーチンを起動する（ステップＳ６０４）。グループ間対応付けのサブルーチンは、テキストグループ３２と画像グループ３７とを対応づけてページコンテンツ４１を生成するサブルーチンである。グループ間対応付けのサブルーチンの処理の流れは後述する。

【0094】

制御部２１は、ページコンテンツ４１を出力する（ステップＳ６０５）。たとえば、制御部２１は図９を使用して説明した画面を表示装置に出力して、ユーザによる操作を受け付ける。制御部２１は補助記憶装置２３または外部の大容量記憶装置にページコンテンツ４１を出力してもよい。補助記憶装置２３または外部の大容量記憶装置に保存されたページコンテンツ４１は、ページレイアウト装置１２の入力に使用される。

【0095】

図１２は、グループ分けのサブルーチンの処理の流れを説明するフローチャートである。グループ分けのサブルーチンは、入力された複数のコンテンツ３０をグループに分けるサブルーチンである。なお、１回の起動時にグループ分けのサブルーチンに入力されるコンテンツ３０は、テキストコンテンツ３１または画像コンテンツ３６のいずれか一方である。

【0096】

制御部２１は、１つのコンテンツ３０を取得する（ステップＳ６１１）。制御部２１は、取得したコンテンツ３０の特徴量ベクトルを生成する（ステップＳ６１２）。ステップＳ６１１で取得したコンテンツ３０がテキストコンテンツ３１である場合、制御部２１は所定の単語の出現頻度、ＴＦ－ＩＤＦ、ＢｏＷまたはＤｏｃ２Ｖｅｃ等の手法により特徴量ベクトルを生成する。

【0097】

ステップＳ６１１で取得したコンテンツ３０が画像コンテンツ３６である場合、制御部２１は輝度ヒストグラム、ＳＩＦＴ、ＳＵＲＦ、ＨＯＧ、または所定の学習モデルにより特徴量ベクトルを生成する。制御部２１はテキストコンテンツ３１および画像コンテンツ３６それぞれの特徴量ベクトルを生成する手法の選択をユーザから受け付けてもよい。

【0098】

制御部２１は、生成した特徴量ベクトルを補助記憶装置２３に記憶する（ステップＳ６１３）。制御部２１は、コンテンツ３０の処理を終了したか否かを判定する（ステップＳ６１４）。

【0099】

処理を終了していないと判定した場合（ステップＳ６１４でＮＯ）、制御部２１はステップＳ６１１に戻る。処理を終了したと判定した場合（ステップＳ６１４でＹＥＳ）、制御部２１はステップＳ６１３で記録した特徴量ベクトルのクラスタリングを行なう（ステップＳ６１５）。

【0100】

ステップＳ６１５のクラスタリングには、ｋ－ｍｅａｎｓ法、ＮＮ法、Ｋ－ＮＮ法またはウォード法等の任意の手法を使用できる。ｋ－ｍｅａｎｓ法等の非階層型クラスタリング手法を使用する場合には、制御部２１は作成するページ数と同数のクラスタを作成する。制御部２１は、ユーザによるクラスタリング手法の選択を受け付けてもよい。

【0101】

制御部２１は、補助記憶装置２３にクラスタリング結果を記録する（ステップＳ６１６）。制御部２１は処理を終了する。本サブルーチンを用いて複数のテキストコンテンツ３１をクラスタリングすることにより、テキストグループ３２が生成される。本サブルーチンを用いて複数の画像コンテンツ３６をクラスタリングすることにより、画像グループ３７が生成される。

【0102】

なお、ステップＳ６１５とステップＳ６１６との間で、制御部２１はクラスタリングにより生成したそれぞれのクラスタのサイズを判定し、所定のサイズよりも大きいクラスタについては再度のクラスタリングを行なって分割してもよい。

【0103】

図１３は、グループ間対応付けのサブルーチンの処理の流れを説明するフローチャートである。グループ間対応付けのサブルーチンは、テキストグループ３２と画像グループ３７とを対応づけてページコンテンツ４１を生成するサブルーチンである。

【0104】

制御部２１は、１つの画像グループ３７を取得する（ステップＳ６２１）。制御部２１は１つのテキストグループ３２を取得する（ステップＳ６２２）。制御部２１は、グループ間相関値算出のサブルーチンを起動する（ステップＳ６２３）。グループ間相関値算出のサブルーチンは、テキストグループ３２と画像グループ３７との間の相関値を算出するサブルーチンである。グループ間相関値算出のサブルーチンの処理の流れは後述する。

【0105】

制御部２１は、テキストグループ３２の処理を終了したか否かを判定する（ステップＳ６２４）。終了していないと判定した場合（ステップＳ６２４でＮＯ）、制御部２１はステップＳ６２２に戻る。終了したと判定した場合（ステップＳ６２４でＹＥＳ）、制御部２１は画像グループ３７の処理を終了したか否かを判定する（ステップＳ６２５）。

【0106】

終了していないと判定した場合（ステップＳ６２５でＮＯ）、制御部２１はステップＳ６２１に戻る。終了したと判定した場合（ステップＳ６２５でＹＥＳ）、制御部２１は相関値が上位であるテキストグループ３２と画像グループ３７との組み合わせを１組抽出する（ステップＳ６２６）。

【0107】

制御部２１は、抽出した組み合わせの一方または両方が他のグループと対応付け済であるか否かを判定する（ステップＳ６２７）。対応付け済ではないと判定した場合（ステップＳ６２７でＮＯ）、制御部２１はステップＳ６２６で抽出したテキストグループ３２と画像グループ３７との対応付けを、補助記憶装置２３または主記憶装置２２に記録する（ステップＳ６２８）。

【0108】

対応付け済であると判定した場合（ステップＳ６２７でＹＥＳ）、またはステップＳ６２８の終了後、制御部２１は所定の閾値よりも相関値が大きいテキストグループ３２と画像グループ３７との組み合わせの処理を終了したか否かを判定する（ステップＳ６２９）。

【0109】

終了してないと判定した場合（ステップＳ６２９でＮＯ）、制御部２１はステップＳ６２６に戻る。終了したと判定した場合（ステップＳ６２９でＹＥＳ）、制御部２１は処理を終了する。グループ間対応付けのサブルーチンにより、制御部２１はテキストグループ３２と画像グループ３７とを組み合わせてページコンテンツ４１を生成する生成部の機能を実現する。

【0110】

図１４は、グループ間相関値算出のサブルーチンの処理の流れを説明するフローチャートである。グループ間相関値算出のサブルーチンは、テキストグループ３２と画像グループ３７との間の相関値を算出するサブルーチンである。

【0111】

制御部２１は、処理中の画像グループ３７から１つの画像コンテンツ３６を取得する（ステップＳ６３１）。制御部２１はステップＳ６３１で取得した画像コンテンツ３６から所定のキーワードに対応する物体を検出する（ステップＳ６３２）。物体の検出には、たとえばＲ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮまたはＭａｓｋ Ｒ－ＣＮＮ等の任意の手法を使用できる。

【0112】

制御部２１は、処理中のテキストグループ３２から１つのテキストコンテンツ３１を取得する（ステップＳ６３３）。制御部２１は、ステップＳ６３３で取得したテキストコンテンツ３１から所定のキーワードそれぞれの出現頻度を（１）式に基づいて算出する（ステップＳ６３４）。

【0113】

制御部２１は、ステップＳ６３１で取得した画像コンテンツ３６とステップＳ６３３で取得したテキストコンテンツ３１との相関値を（２）式に基づいて算出する（ステップＳ６３５）。ステップＳ６３５により、制御部２１はテキストコンテンツ３１と画像コンテンツ３６との相関値を算出する相関値算出部の機能を実現する。制御部２１は、ステップＳ６３５で算出した相関値を補助記憶装置２３または主記憶装置２２に記録する（ステップＳ６３６）。

【0114】

制御部２１は、処理中のテキストグループ３２に含まれるすべてのテキストコンテンツ３１の処理を終了したか否かを判定する（ステップＳ６３７）。終了していないと判定した場合（ステップＳ６３７でＮＯ）、制御部２１はステップＳ６３３に戻る。

【0115】

終了したと判定した場合（ステップＳ６３７でＹＥＳ）、制御部２１は処理中の画像グループ３７に含まれるすべての画像コンテンツ３６の処理を終了したか否かを判定する（ステップＳ６３８）。終了していないと判定した場合（ステップＳ６３８でＮＯ）、制御部２１はステップＳ６３１に戻る。

【0116】

終了したと判定した場合（ステップＳ６３８でＹＥＳ）、制御部２１はテキストグループ３２と画像グループ３７との間の相関値を算出する（ステップＳ６３９）。具体的には、制御部２１はステップＳ６３６で記録したそれぞれの相関値の平均値を算出する。ステップＳ６３９により、制御部２１はテキストグループ３２と画像グループ３７との相関を評価する相関評価部の機能を実現する。制御部２１は処理を終了する。

【0117】

図１５は、プログラムの処理の流れを説明するフローチャートである。制御部２１は、図１５を使用して説明するプログラムにより、ページレイアウト装置１２の機能を実現する。

【0118】

制御部２１は、ページコンテンツ４１を取得する（ステップＳ６４１）。制御部２１は、処理中のページコンテンツ４１から１つの画像コンテンツ３６を取得する（ステップＳ６４２）。制御部２１は、ステップＳ６４２で取得した画像コンテンツ３６から所定のキーワードに対応する物体を検出する（ステップＳ６４３）。物体の検出には、たとえばＲ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮまたはＭａｓｋ Ｒ－ＣＮＮ等の任意の手法を使用できる。

【0119】

制御部２１は、処理中のページコンテンツ４１から１つのテキストコンテンツ３１を取得する（ステップＳ６４４）。制御部２１は、ステップＳ６４４で取得したテキストコンテンツ３１から所定のキーワードそれぞれの出現頻度を（１）式に基づいて算出する（ステップＳ６４５）。

【0120】

制御部２１は、ステップＳ６４２で取得した画像コンテンツ３６とステップＳ６４４で取得したテキストコンテンツ３１との相関値を（２）式に基づいて算出する（ステップＳ６４６）。制御部２１は、ステップＳ６３５で算出した相関値を補助記憶装置２３、主記憶装置２２または外部の記憶装置に記録する（ステップＳ６４７）。

【0121】

制御部２１は、処理中のテキストグループ３２に含まれるすべてのテキストコンテンツ３１の処理を終了したか否かを判定する（ステップＳ６４８）。終了していないと判定した場合（ステップＳ６４８でＮＯ）、制御部２１はステップＳ６４４に戻る。

【0122】

終了したと判定した場合（ステップＳ６４８でＹＥＳ）、制御部２１は処理中のページコンテンツ４１に含まれるすべての画像コンテンツ３６の処理を終了したか否かを判定する（ステップＳ６４９）。終了していないと判定した場合（ステップＳ６４９でＮＯ）、制御部２１はステップＳ６４２に戻る。

【0123】

終了したと判定した場合（ステップＳ６４９でＹＥＳ）、制御部２１はステップＳ６４７で記録した相関値が上位であるテキストコンテンツ３１と画像コンテンツ３６との組み合わせを抽出する（ステップＳ６５０）。

【0124】

具体的には、制御部２１はステップＳ６４６で算出した複数の相関値を比較して、相対的に高い相関値を示す画像コンテンツ３６とテキストコンテンツ３１との組み合わせから順に組み合わせを抽出する。制御部２１は、たとえば相関値が上位１０パーセント等、相対的に高い相関値を示す画像コンテンツ３６とテキストコンテンツ３１との組み合わせから、組み合わせをランダムに抽出してもよい。制御部２１は、所定の閾値を超える相関値を示す画像コンテンツ３６とテキストコンテンツ３１との組み合わせから、組み合わせをランダムに抽出してもよい。

【0125】

制御部２１は、ステップＳ６５０で抽出した組み合わせを近接配置する条件でページレイアウト３０６の案を複数生成する（ステップＳ６５１）。所定のコンテンツ３０を所定の制約条件に基づいてレイアウトするアプリケーションソフトウェアは公知であるため、ページレイアウト３０６を生成する処理の詳細については説明を省略する。ステップＳ６５１により制御部２１は本実施の形態のレイアウト部の機能を実現する。

【0126】

制御部２１は、生成したページレイアウト３０６を出力する（ステップＳ６５２）。たとえば、制御部２１は図１０を使用して説明した画面を表示装置に出力して、ユーザによる操作を受け付ける。制御部２１は補助記憶装置２３または外部の大容量記憶装置に生成したページレイアウト３０６を出力してもよい。ユーザは、補助記憶装置２３または外部の大容量記憶装置に保存されたページレイアウト３０６を別の情報処理装置２０を使用して閲覧できる。

【0127】

制御部２１は、ステップＳ６５０で抽出した組み合わせを補助記憶装置２３、主記憶装置２２または外部の記憶装置に記録してもよい。ユーザは、記録された組み合わせに基づく制約条件を公知のデスクトップパブリケーション用ソフトウェアに入力して、ページレイアウト３０６を生成できる。

【0128】

制御部２１は、ステップＳ６５１で生成した複数のページレイアウト３０６に順位をつけて、高い順位のページレイアウト３０６を優先的に表示してもよい。たとえば制御部２１は、同じ雑誌の過去の特集記事の誌面との類似度の高いページレイアウト３０６に高い順位をつけることにより、雑誌のスタイルに沿ったページレイアウト３０６を表示できる。類似度は、たとえば過去の記事に基づいて学習した学習モデルにより判定できる。

【0129】

本実施の形態によると、複数ページ分のコンテンツ３０を取得して、ページごとに振り分ける情報処理装置を提供できる。それぞれのページコンテンツ４１に、相関値の高いテキストコンテンツ３１および画像コンテンツ３６を配分することにより、ユーザが多量のコンテンツ３０をまとめて処理する手間を省力化する情報処理装置を提供できる。

【0130】

本実施の形態によると、１ページ分のページコンテンツ４１を取得して、関連性の高いコンテンツ３０同士を近接配置したページレイアウト３０６を出力する情報処理装置２０を提供できる。テキストコンテンツ３１と、テキストコンテンツ３１との相関値が高い画像コンテンツ３６とが自動的に近接配置されるため、ユーザが修正する手間を省力化する情報処理装置２０を提供できる。

【0131】

本実施の形態によると、ページ配分装置１１による処理とページレイアウト装置１２による処理とを連続的に行なう情報処理装置２０を提供できる。たとえば雑誌の特集記事用のコンテンツ３０を執筆者から受け取ってから、編集が完了した原稿を印刷所に渡すまでの所要期間の短縮を支援する情報処理装置２０を提供できる。

【0132】

本実施の形態によると、ページ配分装置１１による処理の終了後に、図９を使用して説明した画面を用いてユーザがページコンテンツ４１を修正できる情報処理装置２０を提供できる。

【0133】

本実施の形態によると、１つのページコンテンツ４１に基づいて複数のページレイアウト３０６の案をユーザに提示する情報処理装置２０を提供できる。ユーザは、好ましいページレイアウト３０６を選択して、適宜編集を行なえる。

【0134】

［実施の形態２］
本実施の形態は、複数のページレイアウト３０６を生成した後に、相関値の高いコンテンツ３０同士が近接配置されたページレイアウト３０６を選択する情報処理装置２０に関する。実施の形態１と共通する部分については、説明を省略する。

【0135】

図１６は、実施の形態２の概要を説明する説明図である。図１６は、ページレイアウト装置１２が生成したページレイアウト３０６の例を示す。図６を使用して説明したテキストコンテンツ３１と、相関値の高い第１画像コンテンツ３６１との距離をＬで示す。

【0136】

図１６は、テキストコンテンツ３１が配置された領域の重心と、第１画像コンテンツ３６１の重心とにより、距離Ｌを定義する例を示す。距離Ｌは、テキストコンテンツ３１が配置された領域と、第１画像コンテンツ３６１の縁との間の最短距離により定義してもよい。

【0137】

本実施の形態においては、制御部２１はページレイアウト３０６に含まれるコンテンツ３０を適宜配置した複数のページレイアウト３０６を生成した後に、相関値の高いテキストコンテンツ３１と画像コンテンツ３６との間の距離Ｌが小さいページレイアウト３０６を抽出して表示する。

【0138】

図１７は、実施の形態２のプログラムの処理の流れを説明するフローチャートである。図１７のプログラムは、図１５を使用して説明したプログラムの代わりに実行されるプログラムである。ステップＳ６４１からステップＳ６５０までの処理の流れは、図１５を使用して説明したプログラムの処理の流れと同一であるため、説明を省略する。

【0139】

制御部２１は、ステップＳ６４１で取得したページコンテンツ４１を配置したページレイアウト３０６の案を複数生成する（ステップＳ６６１）。制御部２１は、ステップＳ６６１で生成したそれぞれのページレイアウト３０６について、制御部２１は、ステップＳ６５０で抽出したテキストコンテンツ３１と画像コンテンツ３６との間の距離Ｌを算出する（ステップＳ６６２）。

【0140】

制御部２１は、ステップＳ６６１で生成した複数のページレイアウト３０６のうち、ステップＳ６６２で算出した距離Ｌが短いページレイアウト３０６を抽出する（ステップＳ６６３）。具体的には制御部２１は、距離Ｌが所定の閾値よりも短いページレイアウト３０６を抽出する。制御部２１は、距離Ｌが短い方から所定の数のページレイアウト３０６を抽出してもよい。

【0141】

制御部２１は、抽出したページレイアウト３０６を出力する（ステップＳ６６４）。たとえば、制御部２１は図１０を使用して説明した画面を表示装置に出力して、ユーザによる操作を受け付ける。制御部２１は補助記憶装置２３または外部の大容量記憶装置に生成したページレイアウト３０６を出力してもよい。ユーザは、補助記憶装置２３または外部の大容量記憶装置に保存されたページレイアウト３０６を別の情報処理装置２０を使用して閲覧できる。

【0142】

本実施の形態によると、多様なページレイアウト３０６を出力可能な情報処理装置２０を実現できる。

【0143】

制御部２１は、ステップＳ６４１からステップＳ６５０までの処理と、ステップＳ６６１との処理とは並列処理により独立して実行してもよい。並列処理を行なうことにより、ページコンテンツ４１を入力してからページレイアウト３０６が表示されるまでの待ち時間が短い情報処理装置２０を提供できる。

【0144】

［実施の形態３］
本実施の形態は、コンテンツ３０同士の相関値および距離に基づいてページレイアウト３０６を選択する情報処理装置２０に関する。実施の形態１と共通する部分については、説明を省略する。

【0145】

表４に、ページレイアウト３０６の選択基準の例を示す。行方向は、ページコンテンツ４１の中で比較的相関値が高いテキストコンテンツ３１と画像コンテンツ３６との相関値の大きさを３段階で示す。列方向は、当該テキストコンテンツ３１と画像コンテンツ３６との間の距離Ｌを３段階で示す。

【0146】

【表4】

【0147】

「採用」は、ページレイアウト３０６を採用する、すなわち図１０を使用して説明した画面を介してユーザに提示することを意味する。「不採用」はページレイアウト３０６を採用しない、すなわちユーザに提示しないことを意味する。

【0148】

ページコンテンツ４１の中で比較的相関値が高いテキストコンテンツ３１と画像コンテンツ３６との相関値が「高」である場合、制御部２１は、テキストコンテンツ３１と画像コンテンツ３６との間の距離Ｌが「短い」場合のみ「採用」であると判定する。比較的相関値が高いテキストコンテンツ３１と画像コンテンツ３６との相関値が「中」である場合、制御部２１は、テキストコンテンツ３１と画像コンテンツ３６との間の距離Ｌが「短い」場合および「中程度」である場合に「採用」であると判定する。

【0149】

ページコンテンツ４１の中で比較的相関値が高いテキストコンテンツ３１と画像コンテンツ３６との相関値が「低」である場合、制御部２１は、テキストコンテンツ３１と画像コンテンツ３６との間の距離Ｌにかかわらす「採用」であると判定する。

【0150】

図１６を使用して、さらに具体的に説明する。前述のとおり、ページコンテンツ４１の中で、テキストコンテンツ３１と第１画像コンテンツ３６１との組み合わせの相関値が高い。このテキストコンテンツ３１と第１画像コンテンツ３６１との間の相関値の「高」、「中」、「低」の別、および、距離Ｌの「短い」、「中程度」、「長い」の別に基づいて、「採用」または「不採用」が判定される。

【0151】

以上により、相関値が高いテキストコンテンツ３１と画像コンテンツ３６との間の距離Ｌは短く、相関値が中程度以下のテキストコンテンツ３１と画像コンテンツ３６との間の距離Ｌは離れていても許容する情報処理装置２０を提供できる。

【0152】

なお、表１は例示でありこれに限定するものではない。たとえば相関値および距離Ｌは３段階に限定しない。２段階または４段階以上に区切ってもよい。

【0153】

［選択基準の変形例］
表５に、ページレイアウト３０６の選択基準の変形例を示す。行方向は、ページコンテンツ４１の中で比較的相関値が高いテキストコンテンツ３１と画像コンテンツ３６との相関値の大きさを３段階で示す。列方向は、当該テキストコンテンツ３１と画像コンテンツ３６との間の距離Ｌを３段階で示す。

【0154】

【表5】

【0155】

本変形例によると、相関値が相対的に低いテキストコンテンツ３１と画像コンテンツ３６との間の距離Ｌが短いページレイアウト３０６を「不採用」と判定する情報処理装置２０を提供できる。相関値がそれほど高くない組み合わせが近接配置されることによる読者の混乱を避けたページレイアウト３０６を提示できる。

【0156】

図１８は、実施の形態３のプログラムの処理の流れを説明するフローチャートである。図１８のプログラムは、図１５を使用して説明したプログラムの代わりに実行されるプログラムである。ステップＳ６４１からステップＳ６６２までの処理の流れは、図１７を使用して説明したプログラムの処理の流れと同一であるため、説明を省略する。

【0157】

制御部２１は、ステップＳ６６１で生成した複数のページレイアウト３０６のそれぞれの採否を、表４または表５に基づいて判定する（ステップＳ６７１）。具体的には制御部２１は、ステップＳ６５０で抽出した相関値上位の組み合わせに対応する相関値を行方向に、ステップＳ６６２で算出した距離Ｌを縦方向に使用して表４または表５に基づいて「採用」または「不採用」を判定する。ステップＳ６７１により、制御部２１はページレイアウト３０６の評価を判定する判定部の機能を実現する。

【0158】

制御部２１は、「採用」であると判定したページレイアウト３０６を出力する（ステップＳ６７２）。たとえば、制御部２１は図１０を使用して説明した画面を表示装置に出力して、ユーザによる操作を受け付ける。制御部２１は補助記憶装置２３または外部の大容量記憶装置に生成したページレイアウト３０６を出力してもよい。ユーザは、補助記憶装置２３または外部の大容量記憶装置に保存されたページレイアウト３０６を別の情報処理装置２０を使用して閲覧できる。

【0159】

本実施の形態によると、ステップＳ６５０で抽出した相関値上位の組み合わせの相関値に基づいて、テキストコンテンツ３１と画像コンテンツ３６との間の距離Ｌの許容範囲を定める情報処理装置２０を提供できる。

【0160】

［実施の形態４］
本実施の形態は、ページ数よりも多くのページコンテンツ４１が生成された場合に、一部のページコンテンツ４１を統合する情報処理装置２０に関する。実施の形態１と共通する部分については、説明を省略する。

【0161】

図１９から図２１は、実施の形態４のテキストグループ３２と画像グループ３７との関連付けを説明する説明図である。図１９は、ページ配分装置１１から出力された第１ページコンテンツ４１１から第４ページコンテンツ４１４までの４個のページコンテンツ４１を模式的に示す。それぞれのページコンテンツ４１は、テキストグループ３２と画像グループ３７とを含む。

【0162】

制御部２１は、それぞれのページコンテンツ４１のサイズが所定のサイズより大きいか否かを判定する。ページコンテンツ４１のサイズは、テキストグループ３２に含まれるテキストコンテンツ３１の文字数および画像グループ３７に含まれる画像コンテンツ３６の画素数に基づいて算出される。以下の説明では第４ページコンテンツ４１４のサイズが所定のサイズより大きいと制御部２１が判定した場合を例にして説明する。

【0163】

図２０は、ページコンテンツ４１間の相関値を算出した状況を模式的に示す。図２０においては、所定のサイズよりも大きいと判定された第４ページコンテンツ４１４は、相関値の算出対象から除かれている。Ｒ₁₂は、第１ページコンテンツ４１１と第２ページコンテンツ４１２との間の相関値を示す。Ｒ₁₃は、第１ページコンテンツ４１１と第３ページコンテンツ４１３との間の相関値を示す。Ｒ₂₃は、第２ページコンテンツ４１２と第３ページコンテンツ４１３との間の相関値を示す。太線で示すＲ₁₂が最も大きく、細線で示すＲ₁₃が２番目に大きく、点線で示すＲ₂₃が最も小さい。

【0164】

制御部２１は、破線で示すように第１ページコンテンツ４１１と第２ページコンテンツ４１２とを統合する。以上により４ページ分のページコンテンツ４１から３ページ分のページコンテンツ４１が生成される。

【0165】

図２１を使用して、ページコンテンツ４１同士の相関値を算出する方法の概要を説明する。制御部２１は、テキストグループ３２同士の相関値Ｒtextを算出する。具体的を挙げて説明する。制御部２１は第１ページコンテンツ４１１に含まれるそれぞれのテキストコンテンツ３１から抽出した特徴量ベクトルにより第１テキスト特徴量ベクトル群を生成する。同様に制御部２１は、第２ページコンテンツ４１２に含まれるそれぞれのテキストコンテンツ３１から抽出した特徴量ベクトルにより第２テキスト特徴量ベクトル群を生成する。

【0166】

制御部２１は、第１テキスト特徴量ベクトル群と第２テキスト特徴量ベクトル群との距離の逆数に基づいて、両者の相関値Ｒtextを算出する。二つのテキスト特徴量ベクトル群間の距離は、たとえばユークリッド距離、チェビシェフ距離またはミンコフスキー距離等の、任意の手法により算出できる。

【0167】

制御部２１は第１ページコンテンツ４１１に含まれるそれぞれの画像コンテンツ３６から抽出した特徴量ベクトルにより第１画像特徴量ベクトル群を生成する。同様に制御部２１は、第２ページコンテンツ４１２に含まれるそれぞれの画像コンテンツ３６から抽出した特徴量ベクトルにより第２画像特徴量ベクトル群を生成する。

【0168】

制御部２１は、第１画像特徴量ベクトル群と第２画像特徴量ベクトル群との距離の逆数に基づいて、両者の相関値Ｒimageを算出する。二つの画像特徴量ベクトル群間の距離は、たとえばユークリッド距離、チェビシェフ距離またはミンコフスキー距離等の、任意の手法により算出できる。

【0169】

制御部２１は、テキストグループ３２同士の相関値Ｒtextと、画像グループ３７同士の相関値Ｒimageとに基づいて、第１ページコンテンツ４１１と第２ページコンテンツ４１２との間の相関値Ｒ₁₂を算出する。相関値Ｒ₁₂は、たとえばＲtextとＲimageとの平均値である。相関値Ｒ₁₂は、ＲtextとＲimageとの和であってもよい。相関値Ｒ₁₂は、（６）式に基づいて算出されてもよい。
相関値Ｒ₁₂＝ｋ・Ｒtext ＋ Ｒimage ‥‥‥（６）

【0170】

図２２は、実施の形態４のプログラムの処理の流れを説明するフローチャートである。図２２のプログラムは、生成されたページコンテンツ４１の一部を結合して、所定の数のページコンテンツ４１を生成するプログラムである。図２２のプログラムは、図１１を使用して説明したプログラムが予定のページ数よりも多数のページコンテンツ４１が生成された場合に実行される。

【0171】

制御部２１は、ページ配分装置１１により生成されたすべてのページコンテンツ４１を結合候補に登録する（ステップＳ７０１）。制御部２１は、結合候補に登録されたページコンテンツ４１から１つのページコンテンツ４１を抽出する（ステップＳ７０２）。制御部２１は、ステップＳ７０２で抽出したページコンテンツ４１のサイズが１ページ分の適正なサイズであるか否かを判定する（ステップＳ７０３）。

【0172】

適正なサイズであると判定した場合（ステップＳ７０３でＹＥＳ）、制御部２１は処理中のページコンテンツ４１を結合候補から削除する（ステップＳ７０４）。適正なサイズではないと判定した場合（ステップＳ７０３でＮＯ）、制御部２１は処理中のページコンテンツ４１のサイズが大きすぎるか否かを判定する（ステップＳ７０５）。

【0173】

大きすぎると判定した場合（ステップＳ７０５でＹＥＳ）、制御部２１は図１１を使用して説明したプログラムを使用して処理中のページコンテンツ４１を分割する（ステップＳ７０６）。制御部２１は、結合候補を更新する（ステップＳ７０７）。具体的には制御部２１は、処理中のページコンテンツ４１を結合候補から削除し、分割後のページコンテンツ４１を結合候補に登録する。

【0174】

大きすぎないと判定した場合（ステップＳ７０５でＮＯ）、またはステップＳ７０４の終了後、制御部２１は結合候補の処理を終了したか否かを判定する（ステップＳ７０８）。終了していないと判定した場合（ステップＳ７０８でＮＯ）、制御部２１はステップＳ７０２に戻る。

【0175】

終了したと判定した場合（ステップＳ７０８でＹＥＳ）、制御部２１は結合候補に含まれるページコンテンツ４１から抽出した２つのページコンテンツ４１間の相関値をそれぞれ算出する（ステップＳ７０９）。ページコンテンツ４１間の相関値の算出方法は図２１を使用して説明したため、詳細なフローチャートは省略する。

【0176】

制御部２１は、相関値が高いページコンテンツ４１の組み合わせを抽出する（ステップＳ７１０）。制御部２１は、ステップＳ７１０で抽出した組み合わせのページコンテンツ４１の合計サイズが１ページ分の適正なサイズであるか否かを判定する（ステップＳ７１１）。

【0177】

適正なサイズであると判定した場合（ステップＳ７１１でＹＥＳ）、制御部２１は抽出したページコンテンツ４１を結合して１つのページコンテンツ４１を生成する（ステップＳ７１２）。制御部２１は、抽出したページコンテンツ４１を結合候補から削除する（ステップＳ７１３）。

【0178】

適正なサイズではないと判定した場合（ステップＳ７１１でＮＯ）、制御部２１は処理中のページコンテンツ４１の合計サイズが大きすぎるか否かを判定する（ステップＳ７１４）。大きすぎないと判定した場合（ステップＳ７１４でＮＯ）、制御部２１は抽出したページコンテンツ４１を結合して１つのページコンテンツ４１を生成する（ステップＳ７１５）。

【0179】

制御部２１は、結合候補を更新する（ステップＳ７１６）。具体的には制御部２１は、ステップＳ７１０で抽出したページコンテンツ４１を結合候補から削除し、ステップＳ７１５で結合後のページコンテンツ４１を結合候補に登録する。

【0180】

大きいと判定した場合(ステップＳ７１４でＹＥＳ)、ステップＳ７１３の終了後、または、ステップＳ７１６の終了後、制御部２１は処理を終了するか否かを判定する（ステップＳ７１７）。たとえばページコンテンツ４１が所定のページ数と同数になった場合、または、結合候補に登録されたページコンテンツ４１の処理をすべて終了した場合に、制御部２１は処理を終了すると判定する。

【0181】

処理を終了しないと判定した場合（ステップＳ７１７でＮＯ）、制御部２１はステップＳ７１０に戻る。処理を終了すると判定した場合（ステップＳ７１７でＹＥＳ）、制御部２１は処理を終了する。

【0182】

本実施の形態によると、ページコンテンツ４１を自動的に結合する情報処理装置２０を提供できる。

【0183】

［実施の形態５］
本実施の形態は、学習モデル４５を用いてテキストコンテンツ３１と画像コンテンツ３６との相関値を算出する情報処理装置２０に関する。実施の形態１と共通する部分については、説明を省略する。

【0184】

図２３は、学習モデル４５を説明する説明図である。学習モデル４５は、テキストコンテンツ３１と画像コンテンツ３６との入力を受け付けて、両者の相関値を出力する。学習モデル４５は、たとえば非特許文献１に開示されたモデルを使用できるが、これに限定するものではない。

【0185】

本実施の形態の制御部２１は、図１４を使用して説明したフローチャートのステップＳ６３５および図１５を使用して説明したフローチャートのステップＳ６４６において、画像コンテンツ３６とテキストコンテンツ３１とを学習モデル４５に入力し、出力される相関値を取得する。

【0186】

図２４は、訓練ＤＢ（Database）のレコードレイアウトを説明する説明図である。訓練ＤＢは、学習モデル４５の訓練に使用する訓練データを記録したＤＢである。訓練ＤＢは、テキストフィールド、画像フィールドおよび相関値フィールドを有する。

【0187】

テキストフィールドには、テキストコンテンツ３１が記録されている。画像フィールドには画像コンテンツ３６が記録されている。相関値フィールドには、たとえば実施の形態１で説明した方法により算出したテキストコンテンツ３１と画像コンテンツ３６との相関値が記録されている。訓練ＤＢは、１組の訓練データについて１つのレコードを有する。

【0188】

図２５は、実施の形態５のプログラムの処理の流れを説明するフローチャートである。図２５のプログラムは、学習モデル４５の訓練に使用される。情報処理装置２０を用いて学習モデル４５の機械学習を行なう場合を例にして説明する。

【0189】

図２５のプログラムは情報処理装置２０とは別のハードウェアで実行され、機械学習が完了した学習モデル４５がネットワークを介して補助記憶装置２３に複写されてもよい。一つのハードウェアで学習させた学習モデル４５を、複数の情報処理装置２０で使用できる。

【0190】

図２５のプログラムの実行に先立ち、たとえば非特許文献１の図１に開示された、双方向ＬＳＴＭ（Long short-term memory）とＣＮＮ（Convolutional Neural Network）とを含む未学習のモデルが準備されている。図２５のプログラムにより、準備されたモデルの各パラメータが調整されて、機械学習が行なわれる。

【0191】

情報処理装置２０の制御部２１は、訓練ＤＢから１エポックの訓練に使用する訓練レコードを取得する（ステップＳ８１１）。制御部２１は、モデルの一方の入力層にテキストコンテンツ３１が、他方の入力層に画像コンテンツ３６が入力された場合に、出力層層から相関値が出力されるように、モデルのパラメータを調整する（ステップＳ８１２）。

【0192】

制御部２１は、処理を終了するか否かを判定する（ステップＳ８１３）。たとえば、制御部２１は所定のエポック数の学習を終了した場合に、処理を終了すると判定する。制御部２１は、訓練ＤＢからテストデータを取得して機械学習中のモデルに入力し、所定の精度の出力が得られた場合に処理を終了すると判定してもよい。

【0193】

処理を終了しないと判定した場合（ステップＳ８１３でＮＯ）、制御部２１はステップＳ８１１に戻る。処理を終了すると判定した場合（ステップＳ８１３でＹＥＳ）、制御部２１は学習済のモデルのパラメータを補助記憶装置２３に記録する（ステップＳ８１４）。その後、制御部２１は処理を終了する。以上の処理により、学習済のモデルが生成される。

【0194】

本実施の形態によると、機械学習により生成した学習モデル４５を使用する情報処理装置２０を提供できる。

【0195】

学習モデル４５は、画像コンテンツ３６の入力を受け付けて、画像コンテンツ３６を文章で説明するテキストを出力するモデルであってもよい。このような学習モデル４５を用いて画像コンテンツ３６をテキストに変換できる。その後、公知であるテキストデータ同士の相関算出手法を用いて、画像コンテンツ３６とテキストコンテンツ３１との相関値を算出できる。

【0196】

制御部２１は、学習モデル４５を用いて算出した相関値と、実施の形態１の（１）式から（３）式で説明した相関値算出式を用いて算出した相関値とを演算して、テキストコンテンツ３１と画像コンテンツ３６との相関値を算出してもよい。複数の相関値算出手法を用いた総合評価により相関値を算出する情報処理装置２０を提供できる。

【0197】

［実施の形態６］
本実施の形態は、任意の種類のコンテンツの配置を支援する情報処理装置２０に関する。実施の形態１と共通する部分については、説明を省略する。

【0198】

図２６は、実施の形態６のページ配分装置が行なう編集支援処理の概要を説明する説明図である。ページ配分装置１１を実現する制御部２１は、ネットワークを介して接続されたコンテンツサーバから複数のコンテンツ３０を取得する。コンテンツ３０は、たとえばテキストコンテンツ３１、または画像コンテンツ３６である。コンテンツ３０は、複数の種類であっても、１つの種類であっても良い。

【0199】

制御部２１は、様々な種類のコンテンツ３０を同一種類のコンテンツ３０に変換する（ステップＳ５２１）。たとえばそれぞれのコンテンツをテキストコンテンツ３１に変換する場合を例にして説明する。

【0200】

コンテンツ３０が画像コンテンツ３６、動画コンテンツまたは音声コンテンツ等である場合、制御部２１はそれぞれのコンテンツ３０を説明するテキストを出力する学習モデル４５を用いてテキストコンテンツ３１に変換する。コンテンツ３０が長いテキストコンテンツ３１である場合、制御部２１は長いテキストを要約する学習モデル４５を用いて所定の長さのテキストコンテンツ３１に変換する。以上により、制御部２１はそれぞれのコンテンツ３０の形式を揃える。

【0201】

なお、制御部２１はそれぞれのコンテンツ３０を画像コンテンツ３６または音声コンテンツ等の、任意の形式に変換してもよい。以下の説明ではステップＳ５２１により変換されたコンテンツ３０を変換コンテンツ３９と記載する。

【0202】

制御部２１は、ステップＳ５２１で変換したそれぞれの変換コンテンツ３９の特徴量を示す特徴量ベクトルを抽出する（ステップＳ５２２）。制御部２１は、特徴量ベクトルのクラスタリングを行ない、変換コンテンツ３９を複数のクラスタに分類する（ステップＳ５２３）。

【0203】

制御部２１は、それぞれの変換コンテンツ３９を元のコンテンツ３０に復元する（ステップＳ５２４）。以上により制御部２１は入力されたコンテンツ３０から複数のページコンテンツ４１を生成する。

【0204】

図２７は、実施の形態６のページレイアウト装置１２が行なう編集支援処理の概要を説明する説明図である。ページレイアウト装置１２を実現する制御部２１は、ページ配分装置１１で配分された１つのページコンテンツ４１、すなわち１ページ分のコンテンツ３０を取得する。制御部２１は、それぞれのコンテンツ３０同士の相関値を算出する（ステップＳ５３１）。

【0205】

具体的には、制御部２１はそれぞれのコンテンツ３０に対応する変換コンテンツ３９同士の相関値を算出する。ページコンテンツ４１に含まれるコンテンツ３０が１種類のみである場合には、制御部２１は変換コンテンツ３９を使用せずコンテンツ３０同士の相関値を算出してもよい。

【0206】

制御部２１は、算出した相関値同士の相対評価または絶対評価に基づいて相関の高いコンテンツ３０同士の組み合わせを抽出する。図２７においては、太線で示す「コンテンツＣ」と「コンテンツＤ」との相関値が最も大きく、細線で示す「コンテンツＡ」と「コンテンツＢ」との相関値が２番目に大きく、それ以外の点線で示すコンテンツ３０同士の組み合わせの相関値は小さい。

【0207】

制御部２１は「コンテンツＣ」と「コンテンツＤ」とを近接配置するという制約条件のもとに、ページレイアウト３０６を生成する（ステップＳ５３２）。以上の処理により、ページレイアウト装置１２はページ配分装置１１が配分した１ページ分のコンテンツ３０を適切にレイアウトする。

【0208】

本実施の形態によると、任意の種類のコンテンツの配置を支援する情報処理装置２０を提供できる。

【0209】

［実施の形態７］
図２８は、実施の形態７の情報処理装置２０の構成を説明する説明図である。本実施の形態は、汎用のコンピュータ９０と、プログラム９７とを組み合わせて動作させることにより、本実施の形態の情報処理装置２０を実現する形態に関する。実施の形態１と共通する部分については、説明を省略する。

【0210】

コンピュータ９０は、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、表示部２５、入力部２６、読取部２９およびバスを備える。コンピュータ９０は、汎用のパーソナルコンピュータ、タブレット、スマートフォンまたはサーバコンピュータ等の情報機器である。

【0211】

プログラム９７は、可搬型記録媒体９６に記録されている。制御部２１は、読取部２９を介してプログラム９７を読み込み、補助記憶装置２３に保存する。また制御部２１は、コンピュータ９０内に実装されたフラッシュメモリ等の半導体メモリ９８に記憶されたプログラム９７を読出してもよい。さらに、制御部２１は、通信部２４および図示しないネットワークを介して接続される図示しない他のサーバコンピュータからプログラム９７をダウンロードして補助記憶装置２３に保存してもよい。

【0212】

プログラム９７は、コンピュータ９０の制御プログラムとしてインストールされ、主記憶装置２２にロードして実行される。これにより、コンピュータ９０は上述した情報処理装置２０として機能する。

【0213】

コンピュータ９０は、汎用のパソコン、タブレット、スマートフォン、大型計算機、大型計算機上で動作する仮想マシン、クラウドコンピューティングシステム、または、量子コンピュータである。コンピュータ９０は、分散処理を行なう複数のパソコン等であってもよい。

【0214】

［実施の形態８］
図２９は、実施の形態８の情報処理装置２０の機能ブロック図である。情報処理装置２０は、取得部８１と、分割部８２と、レイアウト部８５とを備える。取得部８１は、複数のコンテンツ３０を取得する。分割部８２は、取得したコンテンツ３０をコンテンツ３０同士の関係性に基づいて複数のコンテンツグループ４１に分割する。レイアウト部８５は、コンテンツグループ４１ごとに、所定の領域にレイアウトする。

【0215】

各実施例で記載されている技術的特徴（構成要件）はお互いに組合せ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【0216】

（付記１）
複数のコンテンツを取得する取得部と、
取得した前記コンテンツ同士の相関値を算出する相関値算出部と、
算出した前記相関値に基づいて前記コンテンツをレイアウトするレイアウト部とを備える
情報処理装置。

【0217】

（付記２）
前記コンテンツは、テキストコンテンツと画像コンテンツとを含み、
前記相関値算出部は、取得した前記テキストコンテンツと取得した前記画像コンテンツとの相関値を算出する
付記１に記載の情報処理装置。

【0218】

（付記３）
前記取得部は、複数の前記画像コンテンツを取得し、
前記相関値算出部は、前記画像コンテンツのそれぞれと前記テキストコンテンツとの相関値とを算出する
付記２に記載の情報処理装置。

【0219】

（付記４）
前記取得部は、複数の前記テキストコンテンツを取得し、
前記相関値算出部は、前記テキストコンテンツのそれぞれと前記画像コンテンツとの相関値とを算出する
付記２または付記３に記載の情報処理装置。

【0220】

（付記５）
前記相関値算出部は、前記画像コンテンツから検出された物体を示す単語が前記テキストコンテンツに出現する出現頻度の合計値に基づいて前記相関値を算出する
付記２から付記４のいずれか一つに記載の情報処理装置。

【0221】

（付記６）
前記相関値算出部は、前記画像コンテンツから検出された物体を示す単語が前記テキストコンテンツに出現する出現頻度と、前記画像コンテンツから検出された前記物体の数との積の合計値に基づいて前記相関値を算出する
付記２から付記４のいずれか一つに記載の情報処理装置。

【0222】

（付記７）
前記相関値算出部は、前記画像コンテンツから検出された物体が前記画像コンテンツに占める比率と、前記物体を示す単語が前記テキストコンテンツに出現する出現頻度との積の合計値に基づいて前記相関値を算出する
付記２から付記４のいずれか一つに記載の情報処理装置。
（付記８）
前記相関値算出部は、テキストコンテンツと画像コンテンツとを入力した場合に相関値を出力する学習モデルに、取得したテキストコンテンツと取得した画像コンテンツとを入力して、前記学習モデルから出力された相関値を取得する
付記２から付記４のいずれか一つに記載の情報処理装置。

【0223】

（付記９）
前記レイアウト部は、複数のレイアウトを生成し、
前記相関値に基づいて前記レイアウトの評価を判定する判定部を備える
付記１から付記８のいずれか一つに記載の情報処理装置。

【0224】

（付記１０）
前記レイアウト部は、前記相関値が他の組み合わせに比べて高い前記コンテンツの組み合わせを近接配置した前記レイアウトを生成する
付記１から付記９のいずれか一つに記載の情報処理装置。

【0225】

（付記１１）
前記取得部は、１ページ分、または、見開きページ１組分の前記コンテンツを取得する
付記１から付記１０のいずれか一つに記載の情報処理装置。

【0226】

（付記１２）
複数のコンテンツを取得し、
取得した前記コンテンツ同士の相関値を算出し、
算出した前記相関値に基づいて前記コンテンツをレイアウトする
処理をコンピュータに実行させる情報処理方法。

【0227】

（付記１３）
複数のコンテンツを取得し、
取得した前記コンテンツ同士の相関値を算出し、
算出した前記相関値に基づいて前記コンテンツをレイアウトする
処理をコンピュータに実行させるプログラム。

【符号の説明】

【0228】

１１ ページ配分装置（分割部）
１２ ページレイアウト装置（レイアウト部）
２０ 情報処理装置
２１ 制御部
２２ 主記憶装置
２３ 補助記憶装置
２４ 通信部
２５ 表示部
２６ 入力部
２９ 読取部
３０ コンテンツ
３０６ ページレイアウト
３１ テキストコンテンツ
３２ テキストグループ（テキストコンテンツグループ）
３３ 結合テキスト
３６ 画像コンテンツ
３６１ 第１画像コンテンツ
３６２ 第２画像コンテンツ
３６３ 第３画像コンテンツ
３７ 画像グループ（画像コンテンツグループ）
３９ 変換コンテンツ
４１ ページコンテンツ（コンテンツグループ）
４１１ 第１ページコンテンツ
４１２ 第２ページコンテンツ
４１３ 第３ページコンテンツ
４１４ 第４ページコンテンツ
４５ 学習モデル
５１ ページコンテンツ欄
５２ サムネール欄
５３ レイアウト欄
５４ サムネール欄
５５ ページ欄
５７ 採用ボタン
５８ 保存ボタン
５９ 終了ボタン
８１ 取得部
８２ 分割部
８５ レイアウト部
９０ コンピュータ
９６ 可搬型記録媒体
９７ プログラム
９８ 半導体メモリ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】