特開 2022-189449 情報処理装置及び情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022189449

(43)【公開日】2022-12-22

(54)【発明の名称】情報処理装置及び情報処理システム

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20221215BHJP

【ＦＩ】

G06Q50/10

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2021098026

(22)【出願日】2021-06-11

(71)【出願人】

【識別番号】000002897

【氏名又は名称】大日本印刷株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】伊藤 悠一

(72)【発明者】

【氏名】下山 荘介

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049CC12

(57)【要約】      （修正有）

【課題】コンテンツを構成するマイクロコンテンツの領域を自動的に取得することが可能な情報処理装置及び情報処理システムを提供する。
【解決手段】情報処理装置による処理手順は、コンテンツを含むコンテンツ画像を取得し、コンテンツ画像を入力した場合に、コンテンツを構成するマイクロコンテンツの領域を推定する学習モデルに、取得したコンテンツ画像を入力して、マイクロコンテンツの領域を推定し、推定した推定結果に応じて、コンテンツの上に、推定した各マイクロコンテンツの領域を異なる態様で表示する。
【選択図】図１０

【特許請求の範囲】

【請求項1】

コンテンツを含むコンテンツ画像を取得する取得部と、
コンテンツ画像を入力した場合に、コンテンツを構成するマイクロコンテンツの領域を推定する学習モデルに、前記取得部が取得したコンテンツ画像を入力して、前記マイクロコンテンツの領域を推定する推定部と、
前記推定部が推定した推定結果に応じて、前記コンテンツの上に、推定した各マイクロコンテンツの領域を異なる態様で表示する表示部と
を備える情報処理装置。

【請求項2】

前記推定部が推定したマイクロコンテンツの領域に対する修正もしくは削除、または新たなマイクロコンテンツの領域の追加を受け付ける第１受付部
を備える請求項１に記載の情報処理装置。

【請求項3】

前記コンテンツと、前記第１受付部が受け付けたマイクロコンテンツの領域とに基づき、前記学習モデルの再学習を行う再学習部
を備える請求項２に記載の情報処理装置。

【請求項4】

前記推定結果は、前記マイクロコンテンツの領域及び該領域の種類を含む
ことを特徴とする請求項１から３までのいずれかひとつに記載の情報処理装置。

【請求項5】

前記表示部は、前記マイクロコンテンツの領域の種類ごとに前記マイクロコンテンツの領域を前記コンテンツの上に表示する
ことを特徴とする請求項１から４までのいずれかひとつに記載の情報処理装置。

【請求項6】

前記マイクロコンテンツの領域の推定確度の閾値に対する設定を受け付ける第２受付部
を備える請求項１から５までのいずれかひとつに記載の情報処理装置。

【請求項7】

前記推定部が推定したマイクロコンテンツの領域の推定確度が、前記第２受付部が受け付けた推定確度の閾値以下であるマイクロコンテンツの領域を抽出する第１抽出部を備え、
前記表示部は、前記第１抽出部が抽出したマイクロコンテンツの領域を前記コンテンツの上に表示する
ことを特徴とする請求項６に記載の情報処理装置。

【請求項8】

前記マイクロコンテンツの領域の重なり度合いの閾値に対する設定を受け付ける第３受付部
を備える請求項１から７までのいずれかひとつに記載の情報処理装置。

【請求項9】

前記推定部が推定したマイクロコンテンツの領域の重なり度合いが、前記第３受付部が受け付けた重なり度合いの閾値以上であるマイクロコンテンツの領域を抽出する第２抽出部を備え、
前記表示部は、前記第２抽出部が抽出したマイクロコンテンツの領域を前記コンテンツの上に表示する
ことを特徴とする請求項８に記載の情報処理装置。

【請求項10】

前記表示部は、前記推定部が推定したマイクロコンテンツの領域の重なり度合いが、前記第３受付部が受け付けた重なり度合いの閾値以上である場合、前記領域を前記重なり度合いに対応した色分け表示する
ことを特徴とする請求項８又は９に記載の情報処理装置。

【請求項11】

前記マイクロコンテンツの領域の重なり度合いは、前記領域と、前記領域に重なる領域との重複面積の割合である
ことを特徴とする請求項８から１０までのいずれかひとつに記載の情報処理装置。

【請求項12】

情報処理装置と、情報処理端末とを備える情報処理システムであって、
前記情報処理装置は、
コンテンツを含むコンテンツ画像を取得する取得部と、
コンテンツ画像を入力した場合に、コンテンツを構成するマイクロコンテンツの領域を推定する学習モデルに、前記取得部が取得したコンテンツ画像を入力して、前記マイクロコンテンツの領域を推定する推定部と、
前記推定部が推定した推定結果を送信する送信部とを備え、
前記情報処理端末は、
前記送信部が送信した推定結果を受信する受信部と、
前記受信部が受信した推定結果に応じて、前記コンテンツの上に、推定した各マイクロコンテンツの領域を異なる態様で表示する表示部と
を備える情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置及び情報処理システムに関する。

【背景技術】

【0002】

近年、コンテンツを再構成する技術が知られている。例えば特許文献１には、構造化された再構成対象のコンテンツデータを構造解析して再構成対象のコンテンツデータの構成要素であるマイクロコンテンツに関する構造情報を取得し、再構成対象のコンテンツデータの構造情報を入力して再構成対象のコンテンツデータに適用するレイアウトを自動的に決定するコンテンツ再構成装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－００４０６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に係る発明は、コンテンツから該コンテンツを構成するマイクロコンテンツの領域を切り出す（取得する）ことができないという問題がある。

【0005】

一つの側面では、コンテンツを構成するマイクロコンテンツの領域を自動的に取得することが可能な情報処理装置等を提供することを目的とする。

【課題を解決するための手段】

【0006】

一つの側面に係る情報処理装置は、コンテンツを含むコンテンツ画像を取得する取得部と、コンテンツ画像を入力した場合に、コンテンツを構成するマイクロコンテンツの領域を推定する学習モデルに、前記取得部が取得したコンテンツ画像を入力して、前記マイクロコンテンツの領域を推定する推定部と、前記推定部が推定した推定結果に応じて、前記コンテンツの上に、推定した各マイクロコンテンツの領域を異なる態様で表示する表示部とを備える。

【発明の効果】

【0007】

一つの側面では、コンテンツを構成するマイクロコンテンツの領域を自動的に取得することが可能となる。

【図面の簡単な説明】

【0008】

【図1】マイクロコンテンツ制作におけるコンテンツ切り出しシステムの概要を示す説明図である。

【図2】コンピュータの構成例を示すブロック図である。

【図3】サーバの構成例を示すブロック図である。

【図4】マイクロコンテンツＤＢのレコードレイアウトの一例を示す説明図である。

【図5】領域推定モデルを説明する説明図である。

【図6】マイクロコンテンツの領域を推定する際の処理手順を示すフローチャートである。

【図7】マイクロコンテンツの領域の推定結果を表示する画面の一例を示す説明図である。

【図8】重畳領域を説明する説明図である。

【図9】領域の種類ごとにマイクロコンテンツの領域を表示する際の処理手順を示すフローチャートである。

【図10】推定確度の閾値に基づいてマイクロコンテンツの領域を抽出する際の処理手順を示すフローチャートである。

【図11】重なり度合いの閾値に基づいてマイクロコンテンツの領域を抽出する際の処理手順を示すフローチャートである。

【図12】マイクロコンテンツの変更を受け付ける際の処理手順を示すフローチャートである。

【図13】上述した形態のコンピュータの動作を示す機能ブロック図である。

【発明を実施するための形態】

【0009】

以下、本発明をその実施形態を示す図面に基づいて詳述する。

【0010】

（実施形態１）
実施形態１は、人工知能（ＡＩ：Artificial Intelligence）を用いて、マイクロコンテンツ制作におけるマイクロコンテンツの領域を推定する形態に関する。マイクロコンテンツは、電子書籍または記事などのコンテンツのうち、コンテンツの全体から一部分を切り出したコンテンツである。なお、本実施形態では、採点パッケージにおけるマイクロコンテンツ制作の例を説明するが、他の種類（例えば、電子書籍または記事）のマイクロコンテンツ制作にも同様に適用することができる。

【0011】

図１は、マイクロコンテンツ制作におけるコンテンツ切り出しシステムの概要を示す説明図である。本実施形態のシステムは、情報処理装置１及び情報処理装置２を含み、各装置はインターネット等のネットワークＮを介して情報の送受信を行う。

【0012】

情報処理装置１は、コンテンツを構成するマイクロコンテンツの領域の推定、推定されたマイクロコンテンツの領域の表示及び送信等を行う情報処理装置である。情報処理装置１は、例えばサーバ装置、パーソナルコンピュータまたは汎用のタブレットＰＣ（パソコン）等である。本実施形態において、情報処理装置１は、マイクロコンテンツの領域を推定するパーソナルコンピュータであるものとし、以下では簡潔のためコンピュータ１と読み替える。

【0013】

情報処理装置２は、コンピュータ１が推定したマイクロコンテンツの領域の登録処理を行う情報処理装置である。情報処理装置２は、例えばサーバ装置、パーソナルコンピュータまたは汎用のタブレットＰＣ等である。本実施形態において、情報処理装置２はサーバ装置であるものとし、以下では簡潔のためサーバ２と読み替える。

【0014】

本実施形態に係るコンピュータ１は、コンテンツを含むコンテンツ画像を取得する。コンピュータ１は、コンテンツ画像を入力した場合に、コンテンツを構成するマイクロコンテンツの領域を推定する学習モデルに、取得したコンテンツ画像を入力してマイクロコンテンツの領域を推定する。コンピュータ１は、推定した各マイクロコンテンツの領域をコンテンツの上に表示する。

【0015】

図２は、コンピュータ１の構成例を示すブロック図である。コンピュータ１は、制御部１１、記憶部１２、通信部１３、入力部１４、表示部１５、読取部１６及び大容量記憶部１７を含む。各構成はバスＢで接続されている。

【0016】

制御部１１はＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の演算処理装置を含み、記憶部１２に記憶された制御プログラム１Ｐを読み出して実行することにより、コンピュータ１に係る種々の情報処理、制御処理等を行う。なお、制御プログラム１Ｐは、単一のコンピュータ上で、または１つのサイトにおいて配置されるか、もしくは複数のサイトにわたって分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開することができる。なお、図１では制御部１１を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。

【0017】

記憶部１２はＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ素子を含み、制御部１１が処理を実行するために必要な制御プログラム１Ｐ又はデータ等を記憶している。また、記憶部１２は、制御部１１が演算処理を実行するために必要なデータ等を一時的に記憶する。通信部１３は通信に関する処理を行うための通信モジュールである。

【0018】

入力部１４は、マウス、キーボード、タッチパネル、ボタン等の入力デバイスであり、受け付けた操作情報を制御部１１へ出力する。表示部１５は、液晶ディスプレイ又は有機ＥＬ（electroluminescence）ディスプレイ等であり、制御部１１の指示に従い各種情報を表示する。

【0019】

読取部１６は、ＣＤ（Compact Disc）－ＲＯＭ又はＤＶＤ（Digital Versatile Disc）－ＲＯＭを含む可搬型記憶媒体１ａを読み取る。制御部１１が読取部１６を介して、制御プログラム１Ｐを可搬型記憶媒体１ａより読み取り、大容量記憶部１７に記憶しても良い。また、ネットワークＮ等を介して他のコンピュータから制御部１１が制御プログラム１Ｐをダウンロードし、大容量記憶部１７に記憶しても良い。さらにまた、半導体メモリ１ｂから、制御部１１が制御プログラム１Ｐを読み込んでも良い。

【0020】

大容量記憶部１７は、例えばＨＤＤ（Hard disk drive:ハードディスク）、ＳＳＤ(Solid State Drive:ソリッドステートドライブ)等の記録媒体を備える。大容量記憶部１７は、領域推定モデル１７１を含む。領域推定モデル１７１は、コンテンツを含むコンテンツ画像に基づいて、該コンテンツを構成するマイクロコンテンツの領域を推定する推定器であり、機械学習により生成された学習済みモデルである。

【0021】

コンピュータ１は、種々の情報処理及び制御処理等をコンピュータ単体で実行しても良いし、複数のコンピュータで分散して実行しても良いし、仮想マシンで分散して実行しても良い。なお、コンピュータ１に係る種々の情報処理及び制御処理等が、通信環境を有するサーバ装置等で実行されても良い。

【0022】

図３は、サーバ２の構成例を示すブロック図である。サーバ２は、制御部２１、記憶部２２、通信部２３、読取部２４及び大容量記憶部２５を含む。各構成はバスＢで接続されている。

【0023】

制御部２１はＣＰＵ、ＭＰＵ、ＧＰＵ等の演算処理装置を含み、記憶部２２に記憶された制御プログラム２Ｐを読み出して実行することにより、サーバ２に係る種々の情報処理、制御処理等を行う。なお、制御プログラム２Ｐは、単一のコンピュータ上で、または１つのサイトにおいて配置されるか、もしくは複数のサイトにわたって分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように展開することができる。なお、図３では制御部２１を単一のプロセッサであるものとして説明するが、マルチプロセッサであっても良い。

【0024】

記憶部２２はＲＡＭ、ＲＯＭ等のメモリ素子を含み、制御部２１が処理を実行するために必要な制御プログラム２Ｐ又はデータ等を記憶している。また、記憶部２２は、制御部２１が演算処理を実行するために必要なデータ等を一時的に記憶する。通信部２３は通信に関する処理を行うための通信モジュールである。

【0025】

読取部２４は、ＣＤ－ＲＯＭ又はＤＶＤ－ＲＯＭを含む可搬型記憶媒体２ａを読み取る。制御部２１が読取部２４を介して、制御プログラム２Ｐを可搬型記憶媒体２ａより読み取り、大容量記憶部２５に記憶しても良い。また、ネットワークＮ等を介して他のコンピュータから制御部２１が制御プログラム２Ｐをダウンロードし、大容量記憶部２５に記憶しても良い。さらにまた、半導体メモリ２ｂから、制御部２１が制御プログラム２Ｐを読み込んでも良い。

【0026】

大容量記憶部２５は、例えばＨＤＤ、ＳＳＤ等の記録媒体を備える。大容量記憶部２５は、マイクロコンテンツＤＢ（database）２５１を含む。マイクロコンテンツＤＢ２５１は、コンテンツを構成するマイクロコンテンツに関する情報を記憶している。

【0027】

サーバ２は、種々の情報処理及び制御処理等をコンピュータ単体で実行しても良いし、複数のコンピュータで分散して実行しても良いし、仮想マシンで分散して実行しても良い。

【0028】

図４は、マイクロコンテンツＤＢ２５１のレコードレイアウトの一例を示す説明図である。マイクロコンテンツＤＢ２５１は、コンテンツＩＤ列、コンテンツ列、領域ＩＤ列、種類列及び座標列を含む。コンテンツＩＤ列は、各コンテンツを識別するために、一意に特定されるコンテンツのＩＤを記憶している。コンテンツ列は、コンテンツを含むコンテンツ画像、またはＰＤＦ（Portable Document Format）ファイル等の画像データであるコンテンツを記憶している。領域ＩＤ列は、コンテンツを構成するマイクロコンテンツの領域を特定するための領域ＩＤを記憶している。

【0029】

種類列は、マイクロコンテンツの領域の種類を記憶している。コンテンツは、電子書籍、記事、新聞または雑誌等のデータである。マイクロコンテンツは、コンテンツの全体から切り出されたテキストまたは画像単位の各種データであり、汎用性の高い状態に変換されたコンテンツである。マイクロコンテンツの領域の種類は、マイクロコンテンツに応じて設定される。例えば、コンテンツが雑誌である場合、マイクロコンテンツはタイトル、サブタイトル、図及びキャプションに分類される。なお、本実施形態では、コンテンツが採点パッケージであり、マイクロコンテンツが回答欄、問題欄及び図に分類される。マイクロコンテンツの領域の種類は、回答欄領域、問題欄領域及び図領域に設定される。

【0030】

座標列は、マイクロコンテンツの領域の座標値を記憶している。座標列には、例えば領域の左上の座標値及び右下の座標値が記憶される。なお、座標列には、例えば領域の四隅の座標値が記憶されても良い。

【0031】

続いて、領域推定モデル１７１を用いてマイクロコンテンツの領域を推定する処理を説明する。コンピュータ１は、コンテンツを含むコンテンツ画像を大容量記憶部１７または外部装置から取得する。コンピュータ１は、コンテンツを構成するマイクロコンテンツの領域を推定する領域推定モデル１７１に、取得したコンテンツ画像を入力して、マイクロコンテンツの領域を推定した推定結果を出力する。

【0032】

図５は、領域推定モデル１７１を説明する説明図である。領域推定モデル１７１は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される。領域推定モデル１７１は、コンテンツを含むコンテンツ画像を入力とし、該コンテンツを構成するマイクロコンテンツの領域を推定した推定結果を出力とする検出器である。本実施形態では、領域推定モデル１７１は、物体検出手法の１つであるＲｅｐＰｏｉｎｔｓ（Point Set Representation for Object Detection）で構築される。

【0033】

ＲｅｐＰｏｉｎｔｓは、アンカーを使用しない物体検出手法であり、入力された画像に対し、予め定められたカテゴリに属する物体の矩形領域を出力する。ＲｅｐＰｏｉｎｔｓは、ＹＯＬＯ(You Only Look Once)またはＦａｓｔｅｒ－ＲＣＮＮ（Regions with Convolutional Neural Networks）等の代表的な物体検出手法で使用されるようなアンカーを使用せず、物体の領域を表現できる物体領域の代表的なポイント（点）の集合（Point Set Representation; RepPoints）を求めて、そこから矩形領域に変換する物体検出手法である。

【0034】

具体的には、コンピュータ１は、コンテンツを含むコンテンツ画像と、該コンテンツを構成する各マイクロコンテンツの領域の種類及び座標値とが対応付けられた訓練データの組み合わせをサーバ２のマイクロコンテンツＤＢ２５１から複数取得する。訓練データは、コンテンツ画像に対し、コンテンツを構成する各マイクロコンテンツの領域の種類及び座標値がラベル付けされたデータである。なお、訓練データは、過去に人手で切り出された大量のマイクロコンテンツの領域から収集されても良い。

【0035】

コンピュータ１は、取得した訓練データを用いて学習を行う。具体的には、コンピュータ１は、訓練データであるコンテンツ画像を領域推定モデル１７１に入力して、コンテンツ画像を特徴量マップに変換する。コンピュータ１は、変換した特徴量マップから、マイクロコンテンツの領域を代表するＮ個のポイントを得る。コンピュータ１は、得たＮ個のポイントから矩形領域を作成する。コンピュータ１は、作成した矩形領域（疑似矩形領域）と、訓練データであるマイクロコンテンツの矩形領域（真の矩形領域）との誤差によって定義される損失関数（例えば、Focal Loss）を用いて評価することにより、損失（point loss）を計算する。

【0036】

このように、コンピュータ１は、画像中のマイクロコンテンツに特徴的なポイントから推定領域処理と、各ポイントから得られる特徴量を集約するクラス分類処理を行い、領域推定モデル１７１を生成する。コンピュータ１は、訓練データを用いて領域推定モデル１７１の学習を行うことで、コンテンツを構成するマイクロコンテンツの領域を推定する可能なモデルを構築することができる。

【0037】

コンピュータ１は、コンテンツを含むコンテンツ画像を取得した場合、取得したコンテンツ画像を領域推定モデル１７１に入力する。コンピュータ１は、領域推定モデル１７１に各マイクロコンテンツの領域を表現できるマイクロコンテンツの領域の代表的なポイントの集合を求めて、マイクロコンテンツの矩形領域に変換する。コンピュータ１は、変換したマイクロコンテンツの領域を出力として取得する。

【0038】

マイクロコンテンツの領域を推定した推定結果が領域推定モデル１７１から出力される。推定結果は、マイクロコンテンツの領域の推定確度、種類及び座標値を含む。種類は、例えば問題欄、回答欄及び図を含む。座標値は、例えば領域の左上の座標値及び右下の座標値であっても良く、または領域の四隅の座標値であっても良い。図５では、コンテンツ画像に対し、問題欄、回答欄及び図それぞれのマイクロコンテンツの領域の推定結果が出力される。

【0039】

図示のように、推定されたマイクロコンテンツの領域７１ａは、左上の座標値が（ｘ１，ｙ１）であり、右下の座標値が（ｘ１’，ｙ１’）であり、領域の種類が問題欄であり、且つ、推定確度が０．９２である。また、推定されたマイクロコンテンツの領域７１ｂは、左上の座標値が（ｘ２，ｙ２）であり、右下の座標値が（ｘ２’，ｙ２’）であり、領域の種類が回答欄であり、且つ、推定確度が０．９である。また、推定されたマイクロコンテンツの領域７１ｃは、左上の座標値が（ｘ３，ｙ３）であり、右下の座標値が（ｘ３’，ｙ３’）であり、領域の種類が図であり、且つ、推定確度が０．９５である。

【0040】

なお、上述したＲｅｐＰｏｉｎｔｓの物体検出手法によるマイクロコンテンツの領域の推定処理に限るものではない。例えば、ＹＯＬＯ、Ｆａｓｔｅｒ－ＲＣＮＮ、またはResidual Network(ResNet)等の推定手法を用いてマイクロコンテンツの領域を推定しても良い。

【0041】

図６は、マイクロコンテンツの領域を推定する際の処理手順を示すフローチャートである。コンピュータ１の制御部１１は、コンテンツを含むコンテンツ画像を通信部１３または入力部１４から取得する（ステップＳ１０１）。制御部１１は、領域推定モデル１７１を用いて、コンテンツを構成する各マイクロコンテンツの領域を推定する（ステップＳ１０２）。具体的には、制御部１１は、取得したコンテンツ画像を領域推定モデル１７１に入力して、コンテンツを構成するマイクロコンテンツの領域を推定した推定結果を出力する。

【0042】

制御部１１は表示部１５を介して、マイクロコンテンツの領域を推定した推定結果をコンテンツ上に重畳表示する（ステップＳ１０３）。推定結果は、各マイクロコンテンツの領域の推定確度、種類及び座標値を含む。制御部１１は、コンテンツＩＤ及び推定結果を通信部１３によりサーバ２に送信する（ステップＳ１０４）。サーバ２の制御部２１は、コンピュータ１から送信されたコンテンツＩＤ及び推定結果を通信部２３により受信する（ステップＳ２０１）。

【0043】

制御部２１はコンテンツＩＤに対応付けて、受信した推定結果を大容量記憶部２５のマイクロコンテンツＤＢ２５１に記憶する（ステップＳ２０２）。具体的には、制御部２１は、各マイクロコンテンツの領域に対して領域ＩＤを割り振る。制御部２１は、各マイクロコンテンツの領域に対し、割り振ったマイクロコンテンツの領域ＩＤ、種類及び座標値をコンテンツＩＤに対応付けて一つのレコードとしてマイクロコンテンツＤＢ２５１に記憶する。制御部２１は、処理を終了する。

【0044】

本実施形態によると、コンテンツを含むコンテンツ画像に基づき、領域推定モデル１７１を用いて該コンテンツを構成するマイクロコンテンツの領域を推定することが可能となる。

【0045】

本実施形態によると、マイクロコンテンツ制作におけるコンテンツの切り出し作業をより人手に頼ることなく高精度かつ自動的に推定することが可能となる。

【0046】

本実施形態によると、マイクロコンテンツ制作におけるコンテンツの切り出し作業の効率を向上することが可能となる。

【0047】

（実施形態２）
実施形態２は、マイクロコンテンツの領域の推定結果に応じて、コンテンツの上に、推定された各マイクロコンテンツの領域を異なる態様で表示する形態に関する。なお、実施形態１と重複する内容については説明を省略する。

【0048】

コンピュータ１は、領域推定モデル１７１を用いて推定した各マイクロコンテンツの領域を取得する。コンピュータ１は、取得した各マイクロコンテンツの領域の種類、推定確度または重なり度合いに応じて、各マイクロコンテンツの領域をコンテンツの上に異なる態様で表示する。なお、重なり度合いに関しては後述する。また、推定されたマイクロコンテンツの領域に対する修正もしくは削除、または新たなマイクロコンテンツの領域の追加を受け付けることができる。

【0049】

図７は、マイクロコンテンツの領域の推定結果を表示する画面の一例を示す説明図である。該画面は、種類Ａ領域枠１１ａ、種類Ｂ領域枠１１ｂ、種類Ｃ領域枠１１ｃ、コンテンツ表示欄１１ｄ、種類Ａ選択ボタン１２ａ、種類Ｂ選択ボタン１２ｂ、種類Ｃ選択ボタン１２ｃ、追加ボタン１３ａ、削除ボタン１３ｂ、修正ボタン１３ｃ、低スコア閾値設定欄１４ａ及び領域重畳閾値設定欄１４ｂを含む。

【0050】

種類Ａ領域枠１１ａは、領域の種類が種類Ａであるマイクロコンテンツの領域の周囲を領域毎に囲む領域枠である。種類Ｂ領域枠１１ｂは、領域の種類が種類Ｂであるマイクロコンテンツの領域の周囲を領域毎に囲む領域枠である。種類Ｃ領域枠１１ｃは、領域の種類が種類Ｃであるマイクロコンテンツの領域の周囲を領域毎に囲む領域枠である。コンテンツ表示欄１１ｄは、コンテンツを表示する表示欄である。

【0051】

図示のように、マイクロコンテンツの領域の種類は、種類Ａ、種類Ｂ及び種類Ｃの３種類である。種類Ａは、コンテンツのタイトル（マイクロコンテンツＡ）の領域を示す種類である。種類Ｂは、コンテンツ中の本文（マイクロコンテンツＢ）の領域を示す種類である。種類Ｃは、コンテンツ中の図（マイクロコンテンツＣ）の領域を示す種類である。なお、上述したマイクロコンテンツの領域の種類に限定せず、例えば、採点パッケージにおけるマイクロコンテンツの領域の種類を回答欄、問題欄及び図に設定しても良い。

【0052】

また、マイクロコンテンツの領域の種類に応じて、種類Ａ選択ボタン１２ａ、種類Ｂ選択ボタン１２ｂ及び種類Ｃ選択ボタン１２ｃが設けられている。種類Ａ選択ボタン１２ａは、領域の種類が種類Ａであるマイクロコンテンツの領域の選択を受け付けるボタンである。種類Ｂ選択ボタン１２ｂは、領域の種類が種類Ｂであるマイクロコンテンツの領域の選択を受け付けるボタンである。種類Ｃ選択ボタン１２ｃは、領域の種類が種類Ｃであるマイクロコンテンツの領域の選択を受け付けるボタンである。

【0053】

コンピュータ１は、コンテンツを含むコンテンツ画像を取得する。コンピュータ１は、取得したコンテンツ画像をコンテンツ表示欄１１ｄに表示する。コンピュータ１は、取得したコンテンツ画像を領域推定モデル１７１に入力して、コンテンツを構成する各マイクロコンテンツの領域を推定した推定結果を取得する。コンピュータ１は、推定結果に含まれるマイクロコンテンツの領域の種類及び座標値を取得する。

【0054】

コンピュータ１は、種類Ａ選択ボタン１２ａのタッチ（クリック）操作を受け付けた場合、領域推定モデル１７１を用いて推定したマイクロコンテンツの領域から、種類Ａであるマイクロコンテンツ（コンテンツＡ）の領域を抽出する。コンピュータ１は、抽出したマイクロコンテンツの領域の座標値に基づいて、当該マイクロコンテンツの領域の周囲を領域毎に囲む種類Ａ領域枠１１ａをコンテンツの上に重畳表示する。この場合、コンピュータ１は、種類Ａ領域枠１１ａのみを表示し、種類Ｂ領域枠１１ｂ及び種類Ｃ領域枠１１ｃを表示しないように制御する。

【0055】

コンピュータ１は、種類Ｂ選択ボタン１２ｂのタッチ操作を受け付けた場合、領域推定モデル１７１を用いて推定したマイクロコンテンツ（コンテンツＢ）の領域から、種類Ｂであるマイクロコンテンツの領域を抽出する。コンピュータ１は、抽出したマイクロコンテンツの領域の座標値に基づいて、当該マイクロコンテンツの領域の周囲を領域毎に囲む種類Ｂ領域枠１１ｂをコンテンツの上に重畳表示する。この場合、コンピュータ１は、種類Ｂ領域枠１１ｂのみを表示し、種類Ａ領域枠１１ａ及び種類Ｃ領域枠１１ｃを表示しないように制御する。

【0056】

コンピュータ１は、種類Ｃ選択ボタン１２ｃのタッチ操作を受け付けた場合、領域推定モデル１７１を用いて推定したマイクロコンテンツの領域から、種類Ｃであるマイクロコンテンツ（図）の領域を抽出する。コンピュータ１は、抽出したマイクロコンテンツの領域の座標値に基づいて、当該マイクロコンテンツの領域の周囲を領域毎に囲む種類Ｃ領域枠１１ｃをコンテンツの上に重畳表示する。この場合、コンピュータ１は、種類Ｃ領域枠１１ｃのみを表示し、種類Ａ領域枠１１ａ及び種類Ｂ領域枠１１ｂを表示しないように制御する。

【0057】

なお、マイクロコンテンツの領域の表示態様（形式）は、マイクロコンテンツの領域がコンピュータ１側で認識できる形式であれば具体的な形式は限定されない。例えば、マイクロコンテンツの領域を示す枠線の形状として「実線」、「点線」もしくは「二重線」等を利用しても良く、または、枠線の色として、青、緑もしくは赤等を利用しても良い。

【0058】

例えばコンピュータ１は、種類Ａであるマイクロコンテンツの領域の枠線を点線に設定し、種類Ｂであるマイクロコンテンツの領域の枠線を実線に設定し、種類Ｃであるマイクロコンテンツの領域の枠線を二重線に設定しても良い。または、コンピュータ１は、種類Ａであるマイクロコンテンツの領域の枠線の色を青に設定し、種類Ｂであるマイクロコンテンツの領域の枠線の色を黄色に設定し、種類Ｃであるマイクロコンテンツの領域の枠線の色を赤に設定しても良い。

【0059】

なお、図７では単一の領域種類を選択した例を説明したが、これに限るものではない。例えば、複数の領域種類（例えば、種類Ａ及び種類Ｂ）を選択し、選択した複数の領域種類に対応するマイクロコンテンツの領域を同時にコンテンツの上に表示しても良い。

【0060】

追加ボタン１３ａは、新たなマイクロコンテンツの領域を追加するためのボタンである。削除ボタン１３ｂは、マイクロコンテンツの領域を削除するためのボタンである。修正ボタン１３ｃは、マイクロコンテンツの領域を修正するためのボタンである。

【0061】

コンピュータ１は、追加ボタン１３ａのタッチ操作を受け付けた場合、例えばマウス等のポインティングデバイスを用いて、ドラッグ操作によりマイクロコンテンツの領域を示す枠を生成する。コンピュータ１は、生成した枠をコンテンツの上に表示する。この場合、追加されたマイクロコンテンツの領域に対して領域の種類を設定することができる。具体的には、コンピュータ１は、マイクロコンテンツの領域の種類を設定するためのコンボボックス１３ｄを生成して画面に表示する。コンボボックス１３ｄには、種類Ａ、種類Ｂ及び種類Ｃを含む領域の種類が選択可能に設定される。コンピュータ１は、コンボボックス１３ｄを通じて、領域の種類の設定を受け付ける。

【0062】

コンピュータ１は、削除ボタン１３ｂのタッチ操作を受け付けた場合、削除対象となるマイクロコンテンツの領域の選択を受け付け、受け付けたマイクロコンテンツの領域を削除する。

【0063】

コンピュータ１は、修正ボタン１３ｃのタッチ操作を受け付けた場合、マイクロコンテンツの領域を示す枠をドラッグアンドドロップすることで、修正対象となる領域の位置の移動、大きさまたは形状（正方形または長方形）の修正を受け付ける。また、マイクロコンテンツの領域の種類に対する修正を受け付けることができる。具体的には、コンピュータ１は、修正対象となる領域の選択を受け付け、該領域が選択された状態に、領域の種類を選択可能なコンボボックス１３ｄを生成して画面に表示する。コンピュータ１は、コンボボックス１３ｄを通じて、修正対象となる領域の種類の修正を受け付ける。

【0064】

コンピュータ１は、変更（修正、削除または追加）後のマイクロコンテンツの領域情報（領域の種類及び座標値等）をサーバ２に送信する。サーバ２は、コンピュータ１から送信されたマイクロコンテンツの領域情報を受信してマイクロコンテンツＤＢ２５１に記憶する。

【0065】

具体的には、サーバ２は、追加されたマイクロコンテンツの領域に対して領域ＩＤを割り振る。コンピュータ１は、コンテンツＩＤに対応付けて、割り振った領域ＩＤ、領域の種類及び座標値を一つのレコードとしてマイクロコンテンツＤＢ２５１に記憶する。サーバ２は、削除されたマイクロコンテンツの領域のレコードをマイクロコンテンツＤＢ２５１から削除する。サーバ２は、修正されたマイクロコンテンツの領域に対し、コンテンツＩＤに対応付けて、該マイクロコンテンツの領域の種類及び座標値を更新する。

【0066】

低スコア閾値設定欄１４ａは、領域の推定確度（スコア）の閾値の設定を受け付ける欄である。図示のように、低スコア閾値設定欄１４ａは、スライダーバーであり、連続的な確度値（「０」から「１」までの範囲の値）の設定を受け付ける。スライダーバーをマウスの左ボタンまたは指を押しながら左右に動かし、推定確度の閾値を調整することができる。なお、図７では、低スコア閾値設定欄１４ａがスライダーバーである例を説明したが、これに限るものではない。例えば、低スコア閾値設定欄１４ａが推定確度の閾値の入力を受け付けるテキストフィールドであっても良い。

【0067】

コンピュータ１は、低スコア閾値設定欄１４ａの設定操作を受け付けた場合、推定確度の閾値の設定を受け付ける。コンピュータ１は、取得した推定結果に含まれる各マイクロコンテンツの領域確度と、受け付けた推定確度の閾値とを比較する。コンピュータ１は比較結果に基づき、推定確度の閾値以下であるマイクロコンテンツの領域を低スコア領域として抽出（特定）する。コンピュータ１は、抽出した低スコア領域をコンテンツの上に重畳表示する。

【0068】

具体的には、コンピュータ１は、領域の種類の選択を受け付けた場合、選択された領域の種類における低スコア領域をコンテンツの上に重畳表示する。例えば、種類Ｂが選択された場合、種類Ｂである低スコア領域の周囲を囲む種類Ｂ領域枠１１ｂをコンテンツの上に重畳表示する。なお、種類が選択されていない場合、コンピュータ１は、すべての領域の種類（例えば、種類Ａ、種類Ｂ及び種類Ｃ）における低スコア領域をコンテンツの上に重畳表示する。

【0069】

また、コンピュータ１は、設定された推定確度の閾値の変更を低スコア閾値設定欄１４ａにより受け付けた場合、変更後の確度の閾値に基づき、コンテンツの上に重畳表示される低スコア領域を更新する。具体的には、コンピュータ１は、推定確度の閾値の変更を受け付けた場合、推定結果に含まれる各マイクロコンテンツの領域確度と、受け付けた変更後の推定確度の閾値とを再比較する。コンピュータ１は再比較結果に基づき、変更後の推定確度の閾値以下であるマイクロコンテンツの領域を低スコア領域として抽出する。コンピュータ１は、抽出した低スコア領域をコンテンツの上に重畳表示する。

【0070】

すなわち、コンピュータ１は、推定確度の閾値の変更に伴い、コンテンツの上に重畳表示されている低スコア領域を更新して再表示する。推定確度の閾値が高いほど、低スコア領域を多く抽出する可能性がある。

【0071】

また、低スコア領域に対して色分けで表示することができる。例えばコンピュータ１は、低スコア領域を赤で表示しても良い。

【0072】

続いて、重なり度合いの閾値の設定の受付処理を説明する前に、重畳領域について説明する。図８は、重畳領域を説明する説明図である。図８Ａは、高重畳領域の一例を示す説明図である。図８Ｂは、低重畳領域の一例を示す説明図である。

【0073】

マイクロコンテンツの重畳領域は、マイクロコンテンツの領域の重なり度合いに基づいて特定される。マイクロコンテンツの領域の重なり度合いは、マイクロコンテンツの領域と、該領域に他のマイクロコンテンツが重なる領域との重複面積の割合である。

【0074】

以下では、領域Ａに対する領域Ｂの重なり度合いに基づいて重畳領域を説明する。コンピュータ１は、領域の推定結果に含まれている領域Ａ及び領域Ｂの座標値を取得する。コンピュータ１は、取得した領域Ａ及び領域Ｂの座標値に基づいて、領域Ａに対する領域Ｂの重なり度合いを算出する。コンピュータ１は、算出した領域Ｂの重なり度合いと、所定の重なり度合いの閾値とを比較する。

【0075】

コンピュータ１は、算出した領域Ｂの重なり度合いが閾値（例えば、０．６）以上である場合、高重畳領域として判定する。図８Ａは高重畳領域を例示している。また、コンピュータ１は、領域Ｂを重なり度合いに対応した色分けで表示する。例えばコンピュータ１は、領域Ｂを示す枠線の色を、領域Ａとは異なる色（例えば、赤）で表示する。コンピュータ１は、算出した領域Ｂの重なり度合いが閾値未満である場合、低重畳領域として判定する。図８Ｂは低重畳領域を例示している。なお、本実施形態では、低重畳領域と判断された領域Ｂは色分け表示の対象外となる。

【0076】

続いて、図７に戻り、領域の重なり度合いの閾値の設定の受付処理を説明する。領域重畳閾値設定欄１４ｂは、重畳領域を判定するための領域の重なり度合いの閾値の設定を受け付ける欄である。図示のように、領域重畳閾値設定欄１４ｂは、連続的な重なり度合い値（「０」から「１」までの範囲の値）の設定を受け付ける。なお、図７では、領域重畳閾値設定欄１４ｂがスライダーバーである例を説明したが、これに限るものではない。例えば、領域重畳閾値設定欄１４ｂが重なり度合いの閾値の入力を受け付けるテキストフィールドであっても良い。

【0077】

コンピュータ１は、領域重畳閾値設定欄１４ｂの設定操作を受け付けた場合、マイクロコンテンツの領域の重なり度合いの閾値の設定を受け付ける。コンピュータ１は、取得した推定結果に含まれる各マイクロコンテンツの領域の座標値に基づき、各領域の重なり度合いを算出する。コンピュータ１は、算出した各領域の重なり度合いと、受け付けた重なり度合いの閾値とを比較する。

【0078】

コンピュータ１は、重なり度合いの閾値以上であるマイクロコンテンツの領域（重畳領域）を推定結果から抽出（特定）する。コンピュータ１は、抽出した重畳領域を重なり度合いに対応した色分けでコンテンツの上に重畳表示する。例えばコンピュータ１は、重畳領域を示す枠線の色を赤で表示する。

【0079】

なお、複数の重なり度合いの閾値を設定することができる。例えばコンピュータ１は、算出した重なり度合いが所定の第１重なり度合いの閾値（例えば、０．４５）以上であり、且つ、算出した重なり度合いが所定の第２重なり度合いの閾値（例えば、０．７５）未満である場合、該領域を示す枠線の色を黄色で表示する。コンピュータ１は、算出した重なり度合いが所定の第２重なり度合いの閾値以上である場合、該領域を示す枠線の色を赤で表示する。

【0080】

また、コンピュータ１は、設定された重なり度合いの閾値の変更を領域重畳閾値設定欄１４ｂにより受け付けた場合、領域の重なり度合いが変更後の重なり度合いの閾値以上であるマイクロコンテンツの領域を再抽出する。コンピュータ１は、再抽出したマイクロコンテンツの領域をコンテンツの上に重畳表示する。すなわち、コンピュータ１は、重なり度合いの閾値の変更に伴い、コンテンツの上に重畳表示されている重畳領域を更新して再表示する。重なり度合いの閾値が低いほど、重畳面積の小さい重畳領域を多く抽出する可能性がある。

【0081】

なお、各々のマイクロコンテンツの領域に対して推定確度の閾値または重なり度合いの閾値を変更することが可能である。例えば、コンピュータ１は、変更対象となるマイクロコンテンツの領域の選択を受け付ける。コンピュータ１は、選択されたマイクロコンテンツの領域に対し、個別的に推定確度の閾値または重なり度合いの閾値の設定を受け付けても良い。

【0082】

なお、コンピュータ１は、マイクロコンテンツの領域の種類、推定確度の閾値または重なり度合いの閾値のいずれか１つまたはその組み合わせに基づいて、推定された複数のマイクロコンテンツの領域から該当する領域を抽出しても良い。例えば、コンピュータ１は、領域の種類が種類Ｂであり、且つ、推定確度が閾値以下であるマイクロコンテンツの領域を抽出することができる。コンピュータ１は、抽出したマイクロコンテンツの領域をコンテンツの上に表示する。

【0083】

図９は、領域の種類ごとにマイクロコンテンツの領域を表示する際の処理手順を示すフローチャートである。コンピュータ１の制御部１１は、コンテンツを含むコンテンツ画像を取得する（ステップＳ１１１）。コンテンツ画像が予め大容量記憶部１７に記憶されている場合、制御部１１は大容量記憶部１７からコンテンツ画像を取得する。なお、制御部１１は、コンテンツ画像を通信部１３により外部装置から取得しても良い。

【0084】

制御部１１は、取得したコンテンツ画像に基づき、領域推定モデル１７１を用いてマイクロコンテンツの領域を推定する（ステップＳ１１２）。具体的には、制御部１１は、取得したコンテンツ画像を領域推定モデル１７１に入力して、コンテンツを構成するマイクロコンテンツの領域を推定した推定結果を出力する。

【0085】

制御部１１は、マイクロコンテンツの領域の種類の選択を入力部１４により受け付ける（ステップＳ１１３）。制御部１１は、受け付けた領域の種類に応じて、該当する領域を推定結果から抽出する（ステップＳ１１４）。制御部１１は、抽出した各領域に対し、それぞれの領域と当該領域の隣の領域との重なり度合いを算出する（ステップＳ１１５）。制御部１１は、抽出した複数の領域から、一つの領域を取得する（ステップＳ１１６）。

【0086】

制御部１１は、算出した各領域の重なり度合いが所定の重なり度合いの閾値以上であるか否かを判定する（ステップＳ１１７）。制御部１１は、該領域の重なり度合いが所定の閾値未満であると判定した場合（ステップＳ１１７でＮＯ）、表示部１５を介して、コンテンツの上に該領域を表示する（ステップＳ１１９）。制御部１１は、後述するステップＳ１２０の処理に遷移する。

【0087】

制御部１１は、該領域の重なり度合いが所定の閾値以上であると判定した場合（ステップＳ１１７でＹＥＳ）、表示部１５を介して、コンテンツの上に該領域を色分け表示する（ステップＳ１１８）。例えば制御部１１は、コンテンツの上に該領域を赤で表示しても良い。

【0088】

制御部１１は、抽出した複数の領域の中で該領域が最後の領域であるか否かを判定する（ステップＳ１２０）。制御部１１は、該領域が最後の領域でないと判定した場合（ステップＳ１２０でＮＯ）、ステップＳ１１６の処理に戻る。制御部１１は、該領域が最後の領域であると判定した場合（ステップＳ１２０でＹＥＳ）、処理を終了する。

【0089】

図１０は、推定確度の閾値に基づいてマイクロコンテンツの領域を抽出する際の処理手順を示すフローチャートである。コンピュータ１の制御部１１は、コンテンツを含むコンテンツ画像を取得する（ステップＳ１３１）。制御部１１は、取得したコンテンツ画像に基づき、領域推定モデル１７１を用いてマイクロコンテンツの領域を推定する（ステップＳ１３２）。

【0090】

制御部１１は、マイクロコンテンツの領域の推定確度の閾値の設定を入力部１４により受け付ける（ステップＳ１３３）。制御部１１は、受け付けた推定確度の閾値以下であるマイクロコンテンツの領域を、ステップＳ１３２の処理で推定した複数のマイクロコンテンツの領域から抽出する（ステップＳ１３４）。制御部１１は、抽出したマイクロコンテンツの領域を表示部１５により表示し（ステップＳ１３５）、処理を終了する。

【0091】

図１１は、重なり度合いの閾値に基づいてマイクロコンテンツの領域を抽出する際の処理手順を示すフローチャートである。コンピュータ１の制御部１１は、コンテンツを含むコンテンツ画像を取得する（ステップＳ１４１）。制御部１１は、取得したコンテンツ画像に基づき、領域推定モデル１７１を用いてマイクロコンテンツの領域を推定する（ステップＳ１４２）。制御部１１は、マイクロコンテンツの領域の重なり度合いの閾値の設定を入力部１４により受け付ける（ステップＳ１４３）。

【0092】

制御部１１は、推定結果に含まれる各マイクロコンテンツの領域の座標値に基づき、各領域の重なり度合いを算出する（ステップＳ１４４）。制御部１１は、算出した領域の重なり度合いが、受け付けた重なり度合いの閾値以上であるマイクロコンテンツの領域を推定結果から抽出する（ステップＳ１４５）。制御部１１は、抽出したマイクロコンテンツの領域を表示部１５により表示し（ステップＳ１４６）、処理を終了する。

【0093】

図１２は、マイクロコンテンツの変更を受け付ける際の処理手順を示すフローチャートである。コンピュータ１の制御部１１は、推定されたマイクロコンテンツの領域を取得する（ステップＳ１５１）。例えば、制御部１１は領域推定モデル１７１を用いて、マイクロコンテンツの領域を推定し、推定したマイクロコンテンツの領域を取得しても良い。または、制御部１１は通信部１３を介して、推定されたマイクロコンテンツの領域をサーバ２のマイクロコンテンツＤＢ２５１から取得しても良い。

【0094】

制御部１１は、取得したマイクロコンテンツの領域を表示部１５により表示する（ステップＳ１５２）。制御部１１は、表示されている各マイクロコンテンツの領域に対し、修正、削除または追加を含む変更操作を入力部１４により受け付ける（ステップＳ１５３）。制御部１１は、コンテンツＩＤ及び変更後のマイクロコンテンツの領域情報（領域の種類及び座標値等）を通信部１３によりサーバ２に送信する（ステップＳ１５４）。

【0095】

サーバ２の制御部２１は、コンピュータ１から送信されたコンテンツＩＤ及び変更後の領域情報を通信部２３により受信する（ステップＳ２５１）。制御部２１は、受信したコンテンツＩＤに対応付けて、受信した変更後の領域情報を大容量記憶部２５のマイクロコンテンツＤＢ２５１に記憶し（ステップＳ２５２）、処理を終了する。

【0096】

また、変更後のマイクロコンテンツの領域情報に基づいて訓練データを作成し、作成した訓練データを用いて領域推定モデル１７１を再学習することができる。具体的には、コンピュータ１は、コンテンツを含むコンテンツ画像、該コンテンツを構成する各マイクロコンテンツの変更後の領域の種類及び座標値をサーバ２のマイクロコンテンツＤＢ２５１から取得する。コンピュータ１は、取得したコンテンツ画像と、コンテンツを構成する各マイクロコンテンツの領域の種類及び座標値とが対応付けられた訓練データの組み合わせを複数作成する。

【0097】

コンピュータ１は、取得した訓練データ用いて、実施形態１の学習処理と同様に、領域推定モデル１７１を再学習する。なお、訓練データに関しては、変更後の領域情報に限定せず、例えば変更なしの領域情報と変更後の領域情報との組み合わせに基づいて作成されても良い。

【0098】

なお、本実施形態では、マイクロコンテンツの領域をコンピュータ１側で表示した例を説明したが、これに限るものではない。例えば、コンピュータ１は、領域推定モデル１７１を用いて推定したマイクロコンテンツの領域を端末装置に送信する。端末装置は、コンピュータ１から送信されたマイクロコンテンツの領域を受信する。端末装置は、上述した表示処理と同様に、受信したマイクロコンテンツの領域をコンテンツの上に異なる態様で表示しても良い。

【0099】

本実施形態によると、領域推定モデル１７１を用いて推定したマイクロコンテンツの領域をコンテンツ上に異なる態様で表示することが可能となる。

【0100】

本実施形態によると、マイクロコンテンツの領域の推定確度の閾値または重なり度合いの閾値の設定を受け付けることが可能となる。

【0101】

本実施形態によると、設定されたマイクロコンテンツの領域の推定確度の閾値または重なり度合いの閾値に基づき、該当するマイクロコンテンツの領域を抽出してコンテンツの上に表示することが可能となる。

【0102】

本実施形態によると、推定されたマイクロコンテンツの領域に対する変更を受け付けることが可能となる。

【0103】

本実施形態によると、変更後のマイクロコンテンツの領域を用いて領域推定モデル１７１を再学習することにより、マイクロコンテンツの領域の推定精度を向上することが可能となる。

【0104】

（実施形態３）
図１３は、上述した形態のコンピュータ１の動作を示す機能ブロック図である。制御部１１が制御プログラム１Ｐを実行することにより、コンピュータ１は以下のように動作する。

【0105】

取得部１０ａは、コンテンツを含むコンテンツ画像を取得する。推定部１０ｂは、取得部１０ａが取得したコンテンツ画像を領域推定モデル１７１に入力して、コンテンツを構成する各マイクロコンテンツの領域を推定する。表示部１０ｃは、推定部１０ｂが推定した推定結果に応じて、コンテンツの上にマイクロコンテンツの領域を異なる態様で表示する。

【0106】

第１受付部１０ｄは、推定部１０ｂが推定したマイクロコンテンツの領域に対する修正もしくは削除、または新たなマイクロコンテンツの領域の追加を受け付ける。第２受付部１０ｅは、マイクロコンテンツの領域の推定確度の閾値に対する設定を受け付ける。第３受付部１０ｆは、マイクロコンテンツの領域の重なり度合いの閾値に対する設定を受け付ける。再学習部１０ｇは、コンテンツと、第１受付部１０ｄが受け付けた変更後のマイクロコンテンツの領域とに基づき、領域推定モデル１７１の再学習を行う。

【0107】

第１抽出部１０ｈは、推定部１０ｂが推定したマイクロコンテンツの領域の推定確度が、第２受付部１０ｅが受け付けた推定確度の閾値以下であるマイクロコンテンツの領域を抽出する。第２抽出部１０ｉは、推定部１０ｂが推定したマイクロコンテンツの領域の重なり度合いが、第３受付部１０ｆが受け付けた重なり度合いの閾値以上であるマイクロコンテンツの領域を抽出する。

【0108】

本実施の形態３は以上の如きであり、その他は実施の形態１から２と同様であるので、対応する部分には同一の符号を付してその詳細な説明を省略する。

【0109】

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0110】

１ 情報処理装置（コンピュータ）
１１ 制御部
１２ 記憶部
１３ 通信部
１４ 入力部
１５ 表示部
１６ 読取部
１７ 大容量記憶部
１７１ 領域推定モデル
１ａ 可搬型記憶媒体
１ｂ 半導体メモリ
１Ｐ 制御プログラム
２ 情報処理装置（サーバ）
２１ 制御部
２２ 記憶部
２３ 通信部
２４ 読取部
２５ 大容量記憶部
２５１ マイクロコンテンツＤＢ
２ａ 可搬型記憶媒体
２ｂ 半導体メモリ
２Ｐ 制御プログラム
１０ａ 取得部
１０ｂ 推定部
１０ｃ 表示部
１０ｄ 第１受付部
１０ｅ 第２受付部
１０ｆ 第３受付部
１０ｇ 再学習部
１０ｈ 第１抽出部
１０ｉ 第２抽出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】