特許 7395915 情報処理装置、コンピュータプログラム及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-04

(45)【発行日】2023-12-12

(54)【発明の名称】情報処理装置、コンピュータプログラム及び情報処理方法

(51)【国際特許分類】

   G06F 3/04842 20220101AFI20231205BHJP

   G06T 11/80 20060101ALI20231205BHJP

   G06F 16/35 20190101ALI20231205BHJP

   G06F 16/55 20190101ALI20231205BHJP

   G06F 16/906 20190101ALI20231205BHJP

【ＦＩ】

G06F3/04842

G06T11/80 C

G06F16/35

G06F16/55

G06F16/906

【請求項の数】 4

(21)【出願番号】P 2019180605

(22)【出願日】2019-09-30

(65)【公開番号】P2021056871

(43)【公開日】2021-04-08

【審査請求日】2022-07-26

(73)【特許権者】

【識別番号】000002897

【氏名又は名称】大日本印刷株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】下山 荘介

【審査官】岩橋 龍太郎

(56)【参考文献】

【文献】特表２０１６－５３５９０７（ＪＰ，Ａ）

【文献】特開平１０－０７４２５１（ＪＰ，Ａ）

【文献】特開２０１６－２００９７８（ＪＰ，Ａ）

【文献】特開２０１７－０５４２１４（ＪＰ，Ａ）

【文献】特開２００７－２５７４７０（ＪＰ，Ａ）

【文献】特開２０１０－０２０６４２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８－３／０４８９５

Ｇ０６Ｆ １３／００

Ｇ０６Ｆ １６／００－１６／９５８

Ｈ０４Ｌ ５１／００－５１／５８

Ｈ０４Ｌ ６７／００－６７／７５

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １１／６０－１３／８０

Ｇ０６Ｔ １７／０５

Ｇ０６Ｔ １９／００－１９／２０

Ｇ０６Ｆ ４０／００－４０／１９７

Ｇ０６Ｆ ４０／２０－４０／５８

(57)【特許請求の範囲】

【請求項1】

関連性のあるコンテンツの組に含まれる画像の画像特徴量、前記コンテンツの組に含まれる文書の文書特徴量、及び前記画像と文書との相対位置情報を入力した場合、前記コンテンツの組の関連性の有無を出力するように学習した学習済みモデルを用いて、入力された複数のコンテンツを有するレイアウトデータからコンテンツの組の関連性の有無を特定する特定部と、
前記特定部で特定した関連性のあるコンテンツの組を対応付けてクラスタコンテンツとして抽出する抽出部と、
前記抽出部で抽出したクラスタコンテンツを含むレイアウトデータを表示画面に表示する表示部と、
前記表示画面に表示したクラスタコンテンツを選択する操作を受け付ける受付部と
を備え、
前記入力されたコンテンツの組は、画像と文書の組であり、
前記表示部は、
前記受付部で前記操作を受け付けた場合、前記クラスタコンテンツよって関連付けられたコンテンツそれぞれを選択した表示態様で表示する情報処理装置。

【請求項2】

前記クラスタコンテンツを一つのコンテンツとしてグループ化するグループ化処理部を備える請求項１に記載の情報処理装置。

【請求項3】

コンピュータに、
関連性のあるコンテンツの組に含まれる画像の画像特徴量、前記コンテンツの組に含まれる文書の文書特徴量、及び前記画像と文書との相対位置情報を入力した場合、前記コンテンツの組の関連性の有無を出力するように学習した学習済みモデルを用いて、入力された複数のコンテンツを有するレイアウトデータからコンテンツの組の関連性の有無を特定する処理と、
特定した関連性のあるコンテンツの組を対応付けてクラスタコンテンツとして抽出する処理と、
抽出したクラスタコンテンツを含むレイアウトデータを表示画面に表示する処理と、
前記表示画面に表示したクラスタコンテンツを選択する操作を受け付ける処理と
を実行させ、
前記入力されたコンテンツの組は、画像と文書の組であり、
さらに、前記操作を受け付けた場合、前記クラスタコンテンツよって関連付けられたコンテンツそれぞれを選択した表示態様で表示する処理を実行させるコンピュータプログラム。

【請求項4】

関連性のあるコンテンツの組に含まれる画像の画像特徴量、前記コンテンツの組に含まれる文書の文書特徴量、及び前記画像と文書との相対位置情報を入力した場合、前記コンテンツの組の関連性の有無を出力するように学習した学習済みモデルを用いて、入力された複数のコンテンツを有するレイアウトデータからコンテンツの組の関連性の有無を特定し、
特定された関連性のあるコンテンツの組を対応付けてクラスタコンテンツとして抽出し、
抽出したクラスタコンテンツを含むレイアウトデータを表示画面に表示し、
前記表示画面に表示したクラスタコンテンツを選択する操作を受け付け、
前記入力されたコンテンツの組は、画像と文書の組であり、
さらに、前記操作を受け付けた場合、前記クラスタコンテンツよって関連付けられたコンテンツそれぞれを選択した表示態様で表示する情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、コンピュータプログラム及び情報処理方法に関する。

【背景技術】

【0002】

雑誌、書籍、新聞等のレイアウト作成を支援する種々の手法が提案されている。特許文献１には、ドキュメントから複数のコンテンツを抽出し、抽出した複数のコンテンツ間の意味的な関連性の度合いに基づいてドキュメント上の各コンテンツの位置を決定し、決定した位置にコンテンツを配置した新たなドキュメントを生成する情報処理装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００９－１６９５３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１の情報処理装置では、ドキュメント内のコンテンツに対して所要の操作（例えば、複写、移動などの操作）を行う場合には、コンテンツ毎に個別に操作を行う必要がある。特に、関連性のあるコンテンツに対しては、同様の操作を繰り返す可能性が高く煩雑となる。

【0005】

本発明は、斯かる事情に鑑みてなされたものであり、文書内のコンテンツに対する操作性を向上させることができる情報処理装置、コンピュータプログラム及び情報処理方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の実施の形態に係る情報処理装置は、関連性のあるコンテンツの組を教師データとして学習した学習済みモデルを用いて、入力されたコンテンツの組の関連性の有無を特定する特定部と、前記特定部で特定した関連性のあるコンテンツの組を対応付けてクラスタコンテンツとして抽出する抽出部とを備える。

【0007】

本発明の実施の形態に係るコンピュータプログラムは、コンピュータに、関連性のあるコンテンツの組を教師データとして学習した学習済みモデルを用いて、入力されたコンテンツの組の関連性の有無を特定する処理と、特定した関連性のあるコンテンツの組を対応付けてクラスタコンテンツとして抽出する処理とを実行させる。

【0008】

本発明の実施の形態に係る情報処理方法は、関連性のあるコンテンツの組を教師データとして学習した学習済みモデルを用いて、入力されたコンテンツの組の関連性の有無を特定し、特定された関連性のあるコンテンツの組を対応付けてクラスタコンテンツとして抽出する。

【発明の効果】

【0009】

本発明によれば、文書内のコンテンツに対する操作性が向上する。

【図面の簡単な説明】

【0010】

【図1】本実施の形態の情報処理装置の構成の一例を示すブロック図である。

【図2】レイアウトデータの一例を示す模式図である。

【図3】関連グラフの一例を示す模式図である。

【図4】画像の特徴量の算出方法の一例を示す模式図である。

【図5】キャプションの特徴量の算出方法の一例を示す模式図である。

【図6】画像及びキャプションの関連性判定の第１例を示す模式図である。

【図7】画像及びキャプションの関連性判定の第２例を示す模式図である。

【図8】ニューラルネットワークの学習方法の第１例を示す模式図である。

【図9】ニューラルネットワークの学習方法の第２例を示す模式図である。

【図10】クラスタコンテンツに対する操作の第１例を示す模式図である。

【図11】クラスタコンテンツに対する操作の第２例を示す模式図である。

【図12】情報処理装置のクラスタコンテンツ抽出処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本開示の実施の形態を図面に基づいて説明する。図１は本実施の形態の情報処理装置５０の構成の一例を示すブロック図である。情報処理装置５０は、通信ネットワーク１を介してサーバ１０に接続することができる。また、情報処理装置５０にはスキャナ２０を接続することができる。サーバ１０は、レイアウトデータを蓄積するデータサーバとすることができるが、これに限定されない。

【0012】

情報処理装置５０は、装置全体を制御する制御部５１、通信部５２、記憶部５３、レイアウトデータ推定部５４、特定部５５、抽出部５６、表示パネル５７、表示部５８及び操作部５９を備える。

【0013】

制御部５１は、ＣＰＵ、ＲＯＭ及びＲＡＭなどで構成することができる。

【0014】

通信部５２は、通信ネットワーク１を介して、サーバ１０との間で通信を行う機能を有し、所要の情報の送受信を行うことができる。より具体的には、通信部５２は、サーバ１０からレイアウトデータを取得することができる。

【0015】

図２はレイアウトデータの一例を示す模式図である。レイアウトデータは、例えば、文書の１頁に相当する領域内の余白を除いたレイアウト枠に複数のコンテンツが配置された状態を表す情報を含む。コンテンツには、例えば、タイトル、本文（テキスト）、画像（図）、キャプション（画像の説明文）などが含まれる。レイアウトデータは、コンテンツを配置するために必要なデータであり、例えば、各コンテンツのサイズ、コンテンツの座標、コンテンツ間の相対座標などを含む。図２の例では、文書の１頁内に、タイトル、本文Ａ、Ｂ、画像Ａ、Ｂ、Ｃ、キャプションＡ、Ｂ、Ｃが配置されている。なお、レイアウトデータは、図２の例に限定されない。

【0016】

通信部５２は、スキャナ２０との間のインタフェース機能も備え、スキャナ２０から、例えば、ＰＤＦファイルを取得することができる。

【0017】

レイアウトデータ推定部５４は、物体検出ニューラルネットワークを備え、スキャナ２０から得られたＰＤＦファイルを画像化し、レイアウトデータを推定することができる。

【0018】

記憶部５３は、ハードディスク又はフラッシュメモリなどで構成することができ、通信部５２を介して取得したレイアウトデータ、レイアウトデータ推定部５４で推定したレイアウトデータを記憶することができる。

【0019】

特定部５５は、関連性のあるコンテンツの組を教師データとして学習した学習済みモデルを用いて、入力されたコンテンツの組の関連性の有無を特定する。学習済みモデルは、後述のニューラルネットワーク５５１、５５２、５５３である。

【0020】

特定部５５は、レイアウトデータに基づいて、関連性のあるコンテンツの組を特定する。「関連性があるコンテンツ」とは、例えば、ユーザが、表示パネル５７に表示された文書内のコンテンツに対して同様の操作（例えば、複写、移動、削除、拡縮など）を繰り返す可能性が高いコンテンツ同士とすることができる。関連性のあるコンテンツ同士は、例えば、模式的に、関連グラフで表すことができる。

【0021】

図３は関連グラフの一例を示す模式図である。図３に示すように、１つのレイアウト内に複数のコンテンツとして画像Ｇ１、Ｇ２、Ｇ３、キャプションＣ１、Ｃ２、Ｃ３が含まれるとする。画像Ｇ１とキャプションＣ１及びＣ２とがお互いに関連性があり、キャプションＣ３と画像Ｇ２及びＧ３とがお互いに関連性があるとする。この場合、関連グラフは、画像Ｇ１とキャプションＣ１とが繋がり、かつ、画像Ｇ１とキャプションＣ２とが繋がったグラフで表すことができる。また、関連グラフは、キャプションＣ３と画像Ｇ２とが繋がり、かつ、キャプションＣ３と画像Ｇ３とが繋がったグラフで表すことができる。

【0022】

次に、コンテンツ同士の関連性の判定方法について説明する。以下では、コンテンツとして、図３に示すように、画像とキャプションを例に挙げて説明するが、他のコンテンツも同様である。関連性の判定には、画像の特徴量、キャプションの特徴量、コンテンツ（画像及びキャプション）間の相対位置情報（相対座標）を用いる。まず、画像の特徴量の算出方法について説明する。

【0023】

図４は画像の特徴量の算出方法の一例を示す模式図である。特定部５５は、ニューラルネットワーク５５１を有する。ニューラルネットワーク５５１は、例えば、畳み込みニューラルネットワークであり、入力層５５１ａ、畳み込み層５５１ｂ、プーリング層５５１ｃ、畳み込み層５５１ｄ、プーリング層５５１ｅ、全結合層５５１ｆが、この順で接続されている。なお、畳み込み層、プーリング層及び全結合層の数は便宜上のものであり、図４に示す数に限定されない。また、便宜上、活性化関数の層、出力層は省略している。入力層５５１ａには、画像Ｇ１が入力される。全結合層５５１ｆは、入力された画像Ｇ１の特徴を組み合わせたものであるため、全結合層５５１ｆから特徴量ｇ１（ベクトル）を算出することができる。他の画像Ｇ２、Ｇ３も同様にして、特徴量ｇ２、ｇ３を算出することができる。なお、画像の特徴量の算出は、ニューラルネットワークを用いる方法に限定されるものではなく、エッジ検出、線検出、領域分割、テクスチャ解析などの一般的な画像処理を用いてもよい。

【0024】

次に、キャプションの特徴量の算出方法について説明する。

【0025】

図５はキャプションの特徴量の算出方法の一例を示す模式図である。特定部５５は、ニューラルネットワーク５５２を有する。ニューラルネットワーク５５２は、例えば、ｗｏｒｄ２ｖｅｃであり、入力層５５２ａ、隠れ層５５２ｂ、出力層５５２ｃが、この順で接続されている。入力層５５２ａと隠れ層５５２ｂとの間、隠れ層５５２ｂと出力層５５２ｃとの間はそれぞれ重みＷ、Ｗ′で全結合されている。入力層５５２ａには、特定部５５が有する言語処理部（例えば、形態素析処理）によって、キャプションＣ１から抽出された単語（または単語の列）が入力される。具体的には、形態素解析によってキャプションＣ１を複数の単語に分割し、分割した単語をベクトルに変換して入力層５５２ａに入力する。この場合、各単語のベクトルを平均化したベクトルを入力層５５２ａに入力してもよい。入力層５５２ａにベクトルを入力すると、キャプションＣ１の意味がベクトル表現化され、特徴量ｃ１（ベクトル）を算出することができる。他のキャプションＣ２、Ｃ３も同様にして、特徴量ｃ２、ｃ３を算出することができる。なお、キャプションの特徴量の算出は、ニューラルネットワークを用いる方法に限定されるものではなく、一般的な言語処理を用いてもよい。例えば、辞書データを用い、キャプションから意味を持つ持つ最小単位である単語を抽出し、抽出した単語を所要の次元数のベクトルに変換してもよい。なお、タイトルの特徴量、本文の特徴量もニューラルネットワーク５５２を用いて算出することができる。

【0026】

次に、コンテンツ（画像及びキャプション）同士の関連性の判定方法について説明する。

【0027】

図６は画像及びキャプションの関連性判定の第１例を示す模式図である。特定部５５は、ニューラルネットワーク５５３を有する。ニューラルネットワーク５５３に入力データを入力する。入力データは、画像の特徴量、キャプションの特徴量、及び当該画像と当該キャプションの相対位置情報を成分とするベクトルである。相対位置情報は、レイアウト上の画像Ｇ１の座標とキャプションＣ１の座標との間の相対座標、画像Ｇ１のレイアウト上のサイズ、キャプションＣ１のレイアウト上のサイズなどを含む。図６の例では、画像Ｇ１の特徴量ｇ１（ベクトル）、キャプションＣ１の特徴量ｃ１（ベクトル）、画像Ｇ１とキャプションＣ１との相対位置情報（ベクトル）を１個のベクトルとしている。

【0028】

ニューラルネットワーク５５３が出力するスコアが閾値以上であるので、画像Ｇ１とキャプションＣ１とは、図３に示す関連グラフのとおり、関連性があると判定することができる。なお、ニューラルネットワーク５５３は、ＳＶＭ（Support Vector Machine）、ベイジアンネットワークなど他の機械学習を用いてもよい。

【0029】

図７は画像及びキャプションの関連性判定の第２例を示す模式図である。図７の例では、画像Ｇ２の特徴量ｇ２（ベクトル）、キャプションＣ１の特徴量ｃ１（ベクトル）、画像Ｇ２とキャプションＣ１との相対位置情報（ベクトル）を１個のベクトルとして、ニューラルネットワーク５５３に入力している。

【0030】

ニューラルネットワーク５５３が出力するスコアが閾値未満であるので、画像Ｇ２とキャプションＣ１とは、図３に示す関連グラフのとおり、関連性がないと判定することができる。

【0031】

上述のように、ニューラルネットワーク５５３には、レイアウト上の任意の画像及びキャプションの組について、各特徴量と相対位置情報が入力され、それぞれの組について関連性の有無が判定される。

【0032】

次に、ニューラルネットワーク５５３の学習方法について説明する。

【0033】

図８はニューラルネットワーク５５３の学習方法の第１例を示す模式図である。ニューラルネットワーク５５３の入力層には、学習用入力データとしてのベクトルを入力する。学習用のベクトルは、画像の特徴量、キャプションの特徴量、及び当該画像と当該キャプションの相対位置情報を成分とするベクトルである。図８の例では、画像Ｇ１の特徴量ｇ１（ベクトル）、キャプションＣ２の特徴量ｃ２（ベクトル）、画像Ｇ１とキャプションＣ２との相対位置情報（ベクトル）を１個のベクトルとしている。図３に示すように、画像Ｇ１とキャプションＣ２との間に関連性がある場合、教師ラベル「１」を出力層に与え、ニューラルネットワーク５５３の学習を行う。教師ラベル「１」は正解の組であることを示すラベルである。

【0034】

図９はニューラルネットワーク５５３の学習方法の第２例を示す模式図である。ニューラルネットワーク５５３の入力層には、学習用入力データとしてのベクトルを入力する。学習用のベクトルは、画像の特徴量、キャプションの特徴量、及び当該画像と当該キャプションの相対位置情報を成分とするベクトルである。図９の例では、画像Ｇ２の特徴量ｇ２（ベクトル）、キャプションＣ１の特徴量ｃ１（ベクトル）、画像Ｇ２とキャプションＣ１との相対位置情報（ベクトル）を１個のベクトルとしている。図３に示すように、画像Ｇ２とキャプションＣ１との間に関連性がない場合、教師ラベル「０」を出力層に与え、ニューラルネットワーク５５３の学習を行う。教師ラベル「０」は不正解の組であることを示すラベルである。

【0035】

図８及び図９に示すような学習用入力データと教師ラベルとを多数用いてニューラルネットワーク５５３を学習させることができる。

【0036】

上述のように、文書内の複数のコンテンツから、任意の２つのコンテンツを選択し、選択したコンテンツ同士の関連性を示すスコア（指標）を算出し、算出したスコアが所定の閾値以上であれば、関連性ありと判定し、算出したスコアが閾値未満であれば、関連性なしと判定することにより、関連性のあるコンテンツの組を特定することができる。

【0037】

また、紙媒体の文書をスキャナ２０等で読み取るだけで、文書内の関連性のあるコンテンツの組を特定することができる。

【0038】

抽出部５６は、特定部で特定した関連性のあるコンテンツの組を対応付けてクラスタコンテンツとして抽出する。クラスタコンテンツは、関連性のあるコンテンツ同士を一つのコンテンツとして纏めたものであり、関連性のあるコンテンツ同士は、一つのコンテンツとして扱うことができる。

【0039】

上述の構成により、クラスタコンテンツに対して所要の操作を行うと、関連性のあるコンテンツ同士に対して操作が行われたものとして扱われるので、文書内のコンテンツに対する操作性が向上する。

【0040】

次に、クラスタコンテンツに対する操作について説明する。

【0041】

表示部５８は、表示パネル５７にコンテンツが配置された文書を表示することができる。表示パネル５７は、液晶パネル又は有機ＥＬ（Electro Luminescence）ディスプレイ等で構成することができる。なお、表示パネル５７に代えて、情報処理装置５０とは別個の表示装置を備える構成でもよい。

【0042】

操作部５９は、例えば、ハードウェアキーボード、マウスなどで構成され、表示パネル５７に表示されたアイコンなどの操作、文字等の入力などを行うことができる。なお、操作部５９は、タッチパネルで構成してもよい。

【0043】

図１０はクラスタコンテンツに対する操作の第１例を示す模式図である。図１０に示すように、表示パネル５７に複数のコンテンツが配置された文書（例えば、１頁、あるいは両開きの２頁相当）が表示されている。図１０の例では、コンテンツとして、タイトル、本文Ａ、本文Ｂ、画像Ａ、キャプションＡ、キャプションＢが表示されている。また、画像ＡとキャプションＡ及びＢとがお互いに関連性があるとする。

【0044】

図１０の左図のように、アイコン１００を画像Ａ（または画像Ａの周辺、キャプションＡ又はＢでもよい）に近づけて、タッチ操作及びドラッグ操作を行うと、右図に示すように、画像ＡとともにキャプションＡ及びＢを同じように移動させることができる。画像Ａ、キャプションＡ及びキャプションＢは、1個のクラスタコンテンツ１０１を構成している。

【0045】

このように、表示部５８は、表示パネル５７に表示したクラスタコンテンツを選択する操作を受け付けた場合、クラスタコンテンツよって関連付けられたコンテンツそれぞれを選択した表示態様で表示する。例えば、表示パネル５７に表示されたクラスタコンテンツ内の一のコンテンツまたはコンテンツの周辺を選択する操作を行い、表示パネル５７上を移動（ドラッグ）すると、クラスタコンテンツ内のすべてのコンテンツが選択された表示態様で表示され、クラスタコンテンツ全体を移動（ドラッグ）させることができる。これにより、関連性のあるコンテンツに対しては、同様の操作を繰り返す必要がなく、文書内のコンテンツに対する操作性が向上する。

【0046】

図１１はクラスタコンテンツに対する操作の第２例を示す模式図である。図１１に示すように、表示パネル５７に複数のコンテンツが配置された文書（例えば、１頁、あるいは両開きの２頁相当）が表示されている。図１１の例では、コンテンツとして、本文Ａ、本文Ｂ、本文Ｃ、画像Ａ、キャプションＡが表示されている。また、本文Ｂと本文Ｃとがお互いに関連性があるとする。

【0047】

図１１の左図のように、アイコン１００を本文Ｂ（または本文Ｂの周辺、本文Ｃでもよい）に近づけて、タッチ操作及びドラッグ操作を行うと、右図に示すように、本文Ｂとともに本文Ｃを同じように移動させることができる。本文Ｂと本文Ｃは、1個のクラスタコンテンツ１０２を構成している。これにより、関連性のあるコンテンツに対しては、同様の操作を繰り返す必要がなく、文書内のコンテンツに対する操作性が向上する。

【0048】

制御部５１は、グループ化処理部としての機能を有し、クラスタコンテンツを一つのコンテンツとしてグループ化する。具体的には、制御部５１は、クラスタコンテンツの一のコンテンツに対して所定の処理を行う場合、当該クラスタコンテンツの他のコンテンツに対して当該所定の処理と同じ処理を行うことができる。例えば、所定の処理として、文書内のコンテンツに対する編集処理（例えば、複写、移動、拡縮、削除など）の場合、一のコンテンツに対して編集処理を行うと当該一のコンテンツと関連性のある他のコンテンツに対しても同様の編集処理を行うことができ、文書内のコンテンツに対する操作性を向上させることができる。

【0049】

また、制御部５１は、クラスタコンテンツに対して所定の処理を行う場合、クラスタコンテンツ内のコンテンツそれぞれに対して当該所定の処理と同じ処理を行うことができる。例えば、所定の処理として、文書内のコンテンツを探索する処理の場合、クラスタコンテンツ単位で探索することができ、文書内のコンテンツに対する操作性を向上させることができる。

【0050】

図１２は情報処理装置５０のクラスタコンテンツ抽出処理の一例を示すフローチャートである。以下では、便宜上、処理の主体を制御部５１として説明する。制御部５１は、レイアウトデータを取得し（Ｓ１１）、レイアウトデータの構造情報（例えば、コンテンツのサイズ、座標）を取得する（Ｓ１２）。

【0051】

制御部５１は、コンテンツの組を選択し（Ｓ１３）、選択したコンテンツの特徴量を抽出する（Ｓ１４）。制御部５１は、抽出した特徴量及び選択したコンテンツの相対位置情報に基づいて、選択したコンテンツの関連性を判定する（Ｓ１５）。

【0052】

制御部５１は、未処理のコンテンツの有無を判定し（Ｓ１６）、未処理のコンテンツがある場合（Ｓ１６でＹＥＳ）、ステップＳ１３以降の処理を続ける。未処理のコンテンツがない場合（Ｓ１６でＮＯ）、制御部５１は、関連性のあるコンテンツ同士を纏めてクラスタコンテンツとして抽出し（Ｓ１７）、処理を終了する。

【0053】

情報処理装置５０は、例えば、ＣＰＵ（例えば、複数のプロセッサコアを実装したマルチ・プロセッサなど）、ＧＰＵ（Graphics Processing Units）、ＲＡＭなどを備えたコンピュータを用いて実現することもできる。図１２に示すような処理の手順を定めたコンピュータプログラム（記録媒体に記録可能）をコンピュータに備えられたＲＡＭにロードし、コンピュータプログラムをＣＰＵ（プロセッサ）で実行することにより、コンピュータ上で情報処理装置５０を実現することができる。

【0054】

本実施の形態の情報処理装置は、関連性のあるコンテンツの組を教師データとして学習した学習済みモデルを用いて、入力されたコンテンツの組の関連性の有無を特定する特定部と、前記特定部で特定した関連性のあるコンテンツの組を対応付けてクラスタコンテンツとして抽出する抽出部とを備える。

【0055】

本実施の形態のコンピュータプログラムは、コンピュータに、関連性のあるコンテンツの組を教師データとして学習した学習済みモデルを用いて、入力されたコンテンツの組の関連性の有無を特定する処理と、特定した関連性のあるコンテンツの組を対応付けてクラスタコンテンツとして抽出する処理とを実行させる。

【0056】

本実施の形態の情報処理方法は、関連性のあるコンテンツの組を教師データとして学習した学習済みモデルを用いて、入力されたコンテンツの組の関連性の有無を特定し、特定された関連性のあるコンテンツの組を対応付けてクラスタコンテンツとして抽出する。

【0057】

特定部は、関連性のあるコンテンツの組を教師データとして学習した学習済みモデルを用いて、入力されたコンテンツの組の関連性の有無を特定する。
コンテンツには、例えば、タイトル、本文（テキスト）、画像（図）、キャプション（画像の説明文）などが含まれる。レイアウトデータは、コンテンツを配置するために必要なデータであり、例えば、各コンテンツのサイズ、コンテンツの座標、コンテンツ間の相対座標などを含む。「関連性があるコンテンツ」とは、例えば、ユーザが、同様の操作（例えば、複写、移動など）を繰り返す可能性が高いコンテンツ同士とすることができる。

【0058】

文書内の複数のコンテンツから、任意の２つのコンテンツを選択し、選択したコンテンツ同士の関連性を示す指標を算出し、算出した指標が所定の閾値以上であれば、関連性ありと判定し、算出した指標が閾値未満であれば、関連性なしと判定することにより、関連性のあるコンテンツの組を特定することができる。

【0059】

抽出部は、特定部で特定した関連性のあるコンテンツの組を対応付けてクラスタコンテンツとして抽出する。クラスタコンテンツは、関連性のあるコンテンツ同士を一つのコンテンツとして纏めたものであり、関連性のあるコンテンツ同士は、一つのコンテンツとして扱うことができる。

【0060】

上述の構成により、クラスタコンテンツに対して所要の操作を行うと、関連性のあるコンテンツ同士に対して操作が行われたものとして扱われるので、文書内のコンテンツに対する操作性が向上する。

【0061】

本実施の形態の情報処理装置において、前記入力されたコンテンツの組は、画像データと文書データの組である。

【0062】

これにより、画像と文書とをクラスタコンテンツとして抽出することができる。

【0063】

本実施の形態の情報処理装置は、前記クラスタコンテンツを一つのコンテンツとしてグループ化するグループ化処理部を備える。

【0064】

グループ化処理部は、抽出部で抽出したクラスタコンテンツに対して所定の処理を行う場合、クラスタコンテンツよって関連付けられたコンテンツそれぞれに対して当該所定の処理と同じ処理を行うことができる。例えば、所定の処理として、文書内のコンテンツを探索する処理の場合、クラスタコンテンツ単位で探索することができ、文書内のコンテンツに対する操作性を向上させることができる。

【0065】

また、グループ化処理部は、クラスタコンテンツの一のコンテンツに対して所定の処理を行う場合、当該クラスタコンテンツの他のコンテンツに対して当該所定の処理と同じ処理を行うことができる。例えば、所定の処理として、文書内のコンテンツに対する編集処理（例えば、複写、移動、拡縮、削除など）の場合、一のコンテンツに対して編集処理を行うと当該一のコンテンツと関連性のある他のコンテンツに対しても同様の編集処理を行うことができ、文書内のコンテンツに対する操作性を向上させることができる。

【0066】

本実施の形態の情報処理装置は、前記抽出部で抽出したクラスタコンテンツを表示画面に表示する表示部と、前記表示画面に表示したクラスタコンテンツを選択する操作を受け付ける受付部とを備え、前記表示部は、前記受付部で前記操作を受け付けた場合、前記クラスタコンテンツよって関連付けられたコンテンツそれぞれを選択した表示態様で表示する。

【0067】

表示部は、抽出部で抽出したクラスタコンテンツを表示画面に表示する。受付部で表示画面に表示したクラスタコンテンツを選択する操作を受け付けた場合、表示部は、クラスタコンテンツよって関連付けられたコンテンツそれぞれを選択した表示態様で表示する。例えば、表示画面に表示されたクラスタコンテンツ内の一のコンテンツまたはコンテンツの周辺を選択する操作を行い、例えば、表示画面上を移動（ドラッグ）すると、クラスタコンテンツ内のすべてのコンテンツが選択された表示態様で表示され、クラスタコンテンツ全体を移動（ドラッグ）させることができる。これにより、関連性のあるコンテンツに対しては、同様の操作を繰り返す必要がなく、文書内のコンテンツに対する操作性が向上する。

【符号の説明】

【0068】

１ 通信ネットワーク
１０ サーバ
２０ スキャナ
５０ 情報処理装置
５１ 制御部
５２ 通信部
５３ 記憶部
５４ レイアウトデータ推定部
５５ 特定部
５５１、５５２、５５３ ニューラルネットワーク
５６ 抽出部
５７ 表示パネル
５８ 表示部
５９ 操作部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】