IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 大日本印刷株式会社の特許一覧

特開2024-51443図版提示装置、プログラム及び学習装置
<>
  • 特開-図版提示装置、プログラム及び学習装置 図1
  • 特開-図版提示装置、プログラム及び学習装置 図2
  • 特開-図版提示装置、プログラム及び学習装置 図3
  • 特開-図版提示装置、プログラム及び学習装置 図4
  • 特開-図版提示装置、プログラム及び学習装置 図5
  • 特開-図版提示装置、プログラム及び学習装置 図6
  • 特開-図版提示装置、プログラム及び学習装置 図7
  • 特開-図版提示装置、プログラム及び学習装置 図8
  • 特開-図版提示装置、プログラム及び学習装置 図9
  • 特開-図版提示装置、プログラム及び学習装置 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024051443
(43)【公開日】2024-04-11
(54)【発明の名称】図版提示装置、プログラム及び学習装置
(51)【国際特許分類】
   G06T 7/00 20170101AFI20240404BHJP
【FI】
G06T7/00 350B
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022157623
(22)【出願日】2022-09-30
(71)【出願人】
【識別番号】000002897
【氏名又は名称】大日本印刷株式会社
(74)【代理人】
【識別番号】100106002
【弁理士】
【氏名又は名称】正林 真之
(74)【代理人】
【識別番号】100165157
【弁理士】
【氏名又は名称】芝 哲央
(74)【代理人】
【識別番号】100120891
【弁理士】
【氏名又は名称】林 一好
(72)【発明者】
【氏名】吉田 亮彦
(72)【発明者】
【氏名】石原 義久
(72)【発明者】
【氏名】西田 篤史
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096DA01
5L096DA04
5L096HA11
5L096KA04
5L096KA15
(57)【要約】
【課題】書類に含まれる図版の検査を効率的に行うための図版提示装置、プログラム及び学習装置を提供する。
【解決手段】図版提示装置1は、意味を有する図案であってイラスト記号を含むアイコンの画像を学習した学習モデルを記憶するモデル記憶部22と、処理対象の印刷物画像にモデル記憶部22に記憶された学習モデルを適用して、印刷物画像に含まれる図版を検出する図版検出部16と、印刷物画像に対して図版検出部16が検出した図版を判別可能にした提示画像を出力する提示処理部17と、を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
意味を有する図案であってイラスト記号を含むアイコンの画像を学習した学習モデルを記憶するモデル記憶部と、
処理対象の印刷物画像に前記モデル記憶部に記憶された前記学習モデルを適用して、前記印刷物画像に含まれる図版を検出する図版検出手段と、
前記印刷物画像に対して前記図版検出手段が検出した前記図版を判別可能にした提示画像を出力する提示画像出力手段と、
を備える、図版提示装置。
【請求項2】
請求項1に記載の図版提示装置において、
前記学習モデルは、前記アイコンの画像が示す意味に関する確認を促すための注釈情報をさらに学習したものであり、
前記提示画像出力手段は、前記図版検出手段が検出した前記図版に対応する前記注釈情報をさらに付加した前記提示画像を出力する、図版提示装置。
【請求項3】
請求項2に記載の図版提示装置において、
前記提示画像出力手段は、前記図版検出手段が検出した前記図版に対応する前記注釈情報を吹き出しの形式で付加した前記提示画像を出力する、図版提示装置。
【請求項4】
請求項2又は請求項3に記載の図版提示装置において、
前記提示画像に有する前記図版に対する選択操作を受け付ける操作受付手段を備え、
前記提示画像出力手段は、前記操作受付手段が前記選択操作を受け付けた場合に、前記図版に対応する前記注釈情報を付加した前記提示画像を出力する、図版提示装置。
【請求項5】
請求項2に記載の図版提示装置において、
前記図版検出手段が検出した前記図版に対して一意の識別情報を付与する識別情報付与手段を備え、
前記提示画像出力手段は、前記識別情報付与手段が付与した一意の識別情報を、対応する前記図版の近傍に付加した前記提示画像を出力し、
前記識別情報と、前記識別情報に対応する前記図版の前記注釈情報とを対応付けた対応情報を出力する対応情報出力手段を備える、図版提示装置。
【請求項6】
請求項5に記載の図版提示装置において、
前記提示画像に有する前記図版に対する選択操作を受け付ける操作受付手段を備え、
前記対応情報出力手段は、前記操作受付手段が前記選択操作を受け付けた場合に、前記図版に対応する前記対応情報を出力する、図版提示装置。
【請求項7】
請求項1から請求項3までのいずれかに記載の図版提示装置において、
前記モデル記憶部は、前記アイコンの画像が示す意味に応じた分類ごとに前記アイコンの画像を学習した前記学習モデルを記憶する、図版提示装置。
【請求項8】
コンピュータを、
処理対象の印刷物画像に、モデル記憶部に記憶された、意味を有する図案であってイラスト記号を含むアイコンの画像を学習した学習モデルを適用して、前記印刷物画像に含まれる図版を検出する図版検出手段と、
前記印刷物画像に対して前記図版検出手段が検出した前記図版を判別可能にした提示画像を出力する提示画像出力手段と、
して機能させるためのプログラム。
【請求項9】
意味を有する図案であってイラスト記号を含むアイコンの画像と、前記アイコンの画像が示す意味に関する確認を促すための注釈情報とを用いて学習モデルを学習する学習手段と、
前記学習手段が学習した前記学習モデルを、モデル記憶部に登録するモデル登録手段と、
を備える、学習装置。
【請求項10】
請求項9に記載の学習装置において、
前記学習手段は、異なる複数の前記アイコンの画像であって、前記複数の前記アイコンの画像が関連性を有する、前記複数の前記アイコンの画像と、前記注釈情報とを用いて前記学習モデルを学習する、学習装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、図版提示装置、プログラム及び学習装置に関する。
【背景技術】
【0002】
従来、例えば、パンフレットや帳票等のユーザに頒布する書類は、ユーザがどのような者であっても一見して見やすいものであることが望ましい。
そのため、作成した書類の文字についての文字検査方法が開示されている(例えば、特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平9-223136号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1は、文字の検査の効率化と検査確度の向上を図ることを課題としたものである。
パンフレットや帳票等のユーザに頒布する書類において、文字だけで構成されているものは少なく、絵や写真等の図版も存在する。近年では、UD(ユニバーサルデザイン)を意識したデザインが求められているため、図版を多用する書類も多くなってきている。
【0005】
そこで、本発明は、書類に含まれる図版の検査を効率的に行うための図版提示装置、プログラム及び学習装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明は、以下のような解決手段により、前記課題を解決する。
第1の発明は、意味を有する図案であってイラスト記号を含むアイコンの画像を学習した学習モデルを記憶するモデル記憶部と、処理対象の印刷物画像に前記モデル記憶部に記憶された前記学習モデルを適用して、前記印刷物画像に含まれる図版を検出する図版検出手段と、前記印刷物画像に対して前記図版検出手段が検出した前記図版を判別可能にした提示画像を出力する提示画像出力手段と、を備える、図版提示装置である。
第2の発明は、第1の発明の図版提示装置において、前記学習モデルは、前記アイコンの画像が示す意味に関する確認を促すための注釈情報をさらに学習したものであり、前記提示画像出力手段は、前記図版検出手段が検出した前記図版に対応する前記注釈情報をさらに付加した前記提示画像を出力する、図版提示装置である。
第3の発明は、第2の発明の図版提示装置において、前記提示画像出力手段は、前記図版検出手段が検出した前記図版に対応する前記注釈情報を吹き出しの形式で付加した前記提示画像を出力する、図版提示装置である。
第4の発明は、第2の発明又は第3の発明の図版提示装置において、前記提示画像に有する前記図版に対する選択操作を受け付ける操作受付手段を備え、前記提示画像出力手段は、前記操作受付手段が前記選択操作を受け付けた場合に、前記図版に対応する前記注釈情報を付加した前記提示画像を出力する、図版提示装置である。
第5の発明は、第2の発明の図版提示装置において、前記図版検出手段が検出した前記図版に対して一意の識別情報を付与する識別情報付与手段を備え、前記提示画像出力手段は、前記識別情報付与手段が付与した一意の識別情報を、対応する前記図版の近傍に付加した前記提示画像を出力し、前記識別情報と、前記識別情報に対応する前記図版の前記注釈情報とを対応付けた対応情報を出力する対応情報出力手段を備える、図版提示装置である。
第6の発明は、第5の発明の図版提示装置において、前記提示画像に有する前記図版に対する選択操作を受け付ける操作受付手段を備え、前記対応情報出力手段は、前記操作受付手段が前記選択操作を受け付けた場合に、前記図版に対応する前記対応情報を出力する、図版提示装置である。
第7の発明は、第1の発明から第6の発明までのいずれかの図版提示装置において、前記モデル記憶部は、前記アイコンの画像が示す意味に応じた分類ごとに前記アイコンの画像を学習した前記学習モデルを記憶する、図版提示装置である。
第8の発明は、第1の発明から第7の発明までのいずれかの図版提示装置としてコンピュータを機能させるためのプログラムである。
第9の発明は、意味を有する図案であってイラスト記号を含むアイコンの画像と、前記アイコンの画像が示す意味に関する確認を促すための注釈情報とを用いて学習モデルを学習する学習手段と、前記学習手段が学習した前記学習モデルを、モデル記憶部に登録するモデル登録手段と、を備える、学習装置である。
第10の発明は、第9の発明の学習装置において、前記学習手段は、異なる複数の前記アイコンの画像であって、前記複数の前記アイコンの画像が関連性を有する、前記複数の前記アイコンの画像と、前記注釈情報とを用いて前記学習モデルを学習する、学習装置である。
【発明の効果】
【0007】
本発明によれば、書類に含まれる図版の検査を効率的に行うための図版提示装置、プログラム及び学習装置を提供することができる。
【図面の簡単な説明】
【0008】
図1】本実施形態に係る図版提示システムの全体構成図及び図版提示装置の機能ブロック図である。
図2】本実施形態に係る図版提示装置のモデル構築処理を示すフローチャートである。
図3】本実施形態に係る図版提示装置で学習するアイコン画像の例、及び、図版に対する注釈情報の出力例を示す図である。
図4】本実施形態に係る図版提示装置の図版提示処理を示すフローチャートである。
図5】本実施形態に係る図版提示処理による端末における出力例を示す図である。
図6】本実施形態に係る図版に対する注釈情報の出力例を示す図である。
図7】本実施形態に係る図版に対する注釈情報の出力例を示す図である。
図8】本実施形態に係る図版に対する注釈情報の出力例を示す図である。
図9】本実施形態に係る図版及び注釈情報の例を示す図である。
図10】本実施形態に係る図版提示処理による端末における他の出力例を示す図である。
【発明を実施するための形態】
【0009】
以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
(実施形態)
<図版提示システム100>
図1は、本実施形態に係る図版提示システム100の全体概要図及び図版提示装置1の機能ブロック図である。
【0010】
図1に示す図版提示システム100は、図版提示装置1と、端末4と、ウェブサーバ6とを備えたシステムである。
図版提示システム100は、端末4からの依頼に応じて、図版提示装置1が、印刷物画像に含まれる図版を検出し、検出した図版を判別可能にした提示画像を、依頼のあった端末4に出力するシステムである。
図版提示装置1と、端末4と、ウェブサーバ6とは、通信ネットワークNを介して通信可能に接続されている。通信ネットワークNは、例えば、インターネット回線等であり、有線であるか無線であるかを問わない。
【0011】
<図版提示装置1>
図版提示装置1は、検査対象(処理対象)の印刷物画像を、端末4から受信する。ここで、印刷物画像とは、例えば、作成済ではあるがデザインの検証が終了していない印刷物の画像であり、具体的には、パンフレット、リーフレット、カタログ等の画像データをいう。そして、図版提示装置1は、受信した印刷物画像に含まれる図版を検出し、検出した図版を判別可能にした提示画像を、端末4に出力する。
また、図版提示装置1は、ウェブサーバ6に格納された様々なウェブページに有するアイコン画像(アイコンの画像)を収集する。ここで、アイコン画像とは、意味を有する図案であってイラスト記号を含む画像をいう。そして、図版提示装置1は、収集したアイコン画像と、アイコン画像が示す意味に対する説明文である注釈情報とを入力データとして学習モデルを学習する。
そして、図版提示装置1は、印刷物画像に含まれる図版を検出するに際して、学習した学習モデルを用いる。
【0012】
図版提示装置1は、例えば、サーバである。図版提示装置1は、その他、パーソナルコンピュータ(PC)等であってもよい。
図1に示すように、図版提示装置1は、制御部10と、記憶部20と、通信インタフェース部29とを備える。
制御部10は、図版提示装置1の全体を制御する中央処理装置(CPU)である。制御部10は、記憶部20に記憶されているオペレーティングシステム(OS)やアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
【0013】
制御部10は、モデル構築部11と、図版提示部14とを備える。
モデル構築部11は、図版の検出に用いる学習モデルを学習する。
モデル構築部11は、入力データ取得部12と、学習部13(学習手段、モデル登録手段)とを備える。
【0014】
入力データ取得部12は、例えば、アイコン画像と、アイコン画像が示す意味に関する確認を促すための注釈情報とを、入力データとして取得する。ここで、入力データ取得部12は、分類が同じ1つ以上のアイコン画像と、分類に対応する注釈情報とを入力データとして取得してもよい。ここで、同じ意味を有するアイコン画像を、分類が同じであるとする。
また、入力データ取得部12は、分類が同じ複数の異なるアイコン画像を1つのセットとし、1つ以上のセットと、分類に対応する注釈情報とを入力データとして取得してもよい。ここで、セットとは、複数のアイコン画像の各々は、異なる意味を示す画像であるが、複数のアイコン画像をまとめて有することで、各画像の意味とは異なる関係性を有する画像の集合である。
また、入力データ取得部12が入力データとして取得するアイコン画像は、例えば、ウェブサーバ6に記憶されたウェブページから収集されたものであってよい。
【0015】
学習部13は、入力データ取得部12が取得した分類が同じアイコン画像と注釈情報とを入力データとして機械学習を実行し、学習モデルを学習する。学習モデルの学習には、例えば、畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)等を用いることができる。そして、学習部13は、学習した学習モデルを、モデル記憶部22に登録する。
【0016】
図版提示部14は、印刷物画像に対してモデル構築部11で学習し、モデル記憶部22に記憶された学習モデルを用いて、印刷物画像から図版を検出し、検出した図版を判別可能にした提示画像を出力する。
図版提示部14は、印刷物画像受付部15と、図版検出部16(図版検出手段)と、提示処理部17(識別番号付与手段、提示画像出力手段、対応情報出力手段)と、操作受付部18(操作受付手段)とを備える。
【0017】
印刷物画像受付部15は、例えば、端末4から印刷物画像を受け付ける。
図版検出部16は、処理対象の印刷物画像にモデル記憶部22に記憶された学習モデルを適用して、印刷物画像に含まれる図版を検出する。ここで、印刷物画像は、例えば、PDF形式の画像ファイルである。
【0018】
提示処理部17は、印刷物画像に対して図版検出部16が検出した図版を判別可能にした提示画像を出力する。
また、提示処理部17は、検出した図版に対応する注釈情報をさらに付加した提示画像を出力してもよい。そして、提示処理部17は、注釈情報を、例えば、図版に対して吹き出しの形式で付加した提示画像を出力してもよい。
さらに、提示処理部17は、検出した図版ごとに図版を一意に示す識別情報である図版ID(IDentification)を付与し、図版IDを図版の近傍に付加した提示画像を出力してもよい。また、提示処理部17は、図版IDと注釈情報とを対応付けた対応情報を出力してもよい。
【0019】
さらにまた、提示処理部17は、次に説明する操作受付部が図版に対する選択操作を受け付けた場合に、図版に対応する注釈情報を付加した提示画像を出力してもよい。
操作受付部18は、例えば、図版に対する選択操作を、端末4から受け付ける。
なお、各機能部の詳細は、後述する。
【0020】
記憶部20は、制御部10が各種の処理を実行するために必要なプログラム、データ等を記憶するためのハードディスク、半導体メモリ素子等の記憶領域である。
記憶部20は、プログラム記憶部21と、モデル記憶部22とを備える。
プログラム記憶部21は、各種のプログラムを記憶する記憶領域である。プログラム記憶部21は、図版提示プログラム21aと、学習プログラム21bとを記憶している。
【0021】
図版提示プログラム21aは、図版提示装置1の制御部10のうち、図版提示部14が実行する各種機能を行うためのプログラムである。
また、学習プログラム21bは、図版提示装置1の制御部10のうち、モデル構築部11が実行する各種機能を行うためのプログラムである。
なお、図版提示プログラム21aと、学習プログラム21bとは、一例である。例えば、図版提示プログラム21aと、学習プログラム21bとの機能を有する1つのプログラムを、記憶部20に記憶してもよし、例えば、各機能で細分化した複数のプログラムを、記憶部20に記憶してもよい。
【0022】
モデル記憶部22は、モデル構築部11で学習した学習モデルを記憶するための記憶領域である。
通信インタフェース部29は、通信ネットワークNを介して、例えば、端末4やウェブサーバ6との間の通信を行うためのインタフェースである。
【0023】
<端末4>
図1に示す端末4は、印刷物画像を作成した、例えば、デザイナ自身や、デザイナから依頼を受けたチェック者等(以下、チェック者等を、ユーザという。)が使用する端末であり、例えば、PCである。端末4は、その他、タブレットに代表されるコンピュータの機能を併せ持った携帯型の端末等でもよい。
端末4は、例えば、図版提示装置1に対して、図版の確認をしたい印刷物画像を送信し、図版提示装置1から、図版を判別可能にした提示画像を受信して出力する。
端末4は、図示しないが、制御部と、記憶部と、入力部と、表示部と、通信インタフェース部等とを備える。
【0024】
ここで、コンピュータとは、制御部、記憶装置等を備えた情報処理装置をいい、図版提示装置1及び端末4は、各々制御部、記憶部等を備えた情報処理装置であり、コンピュータの概念に含まれる。
【0025】
<ウェブサーバ6>
ウェブサーバ6は、ウェブページを記憶したウェブサーバである。ウェブページは、学習モデルの学習に使用するアイコン画像を収集するのに用いる。
【0026】
<図版提示システム100の処理>
次に、図版提示システム100における処理について説明する。
まず、学習モデルを学習する処理について、図2に基づき説明する。
図2は、本実施形態に係る図版提示装置1のモデル構築処理を示すフローチャートである。
図3は、本実施形態に係る図版提示装置1で学習するアイコン画像の例、及び、図版に対する注釈情報の出力例を示す図である。
以下で説明するモデル構築処理は、例えば、図版提示装置1を構築し、図版提示処理(後述する)を実行する前に行う処理である。なお、図版提示装置1の制御部10は、モデル構築処理を定期的に行ってもよい。
【0027】
図2のステップS(以下、「ステップS」を単に「S」という。)11において、図版提示装置1の制御部10(入力データ取得部12)は、ウェブサーバ6のウェブページからアイコン画像を収集する。ここで、ウェブサーバ6のウェブページからアイコン画像を収集する方法は、どのような方法を用いてもよい。例えば、図版提示装置1の構築に携わる技術者が、ウェブページのアイコン画像を指定することで、制御部10は、アイコン画像を収集してもよい。また、制御部10は、ウェブページを収集した後に、画像処理によってアイコン画像を抽出してもよい。
【0028】
S12において、制御部10は、収集したアイコン画像を分類する。ここで、分類は、アイコン画像が示す意味に応じたものであり、同じ意味であるが図案が異なるアイコン画像を、同じまとまりにすることをいう。分類には、例えば、矢印、左右矢印、肯定、否定、注意、・・・といった様々な分類がある。
図3(A)は、分類が矢印のアイコン画像群31の例を示す。
アイコン画像群31は、一般的な矢印の図案の他、三角で示される矢印や、五角形で示される矢印、山形の矢印、半分の矢印、カッコで示される矢印、指の方向指示等、様々な図案を、矢印の分類として含む。なお、制御部10は、矢印の大きさや向き、色等が異なるものであっても、同じアイコン画像群31に含まれるように分類する。
【0029】
図2のS13において、制御部10(入力データ取得部12)は、分類ごとに注釈情報を受け付けることで、分類ごとの注釈情報を取得する。例えば、分類が矢印であれば、注釈情報は、「前後の内容が連動しているか確認してください。」といった、アイコン画像(図版)が示す意味に関する確認を促すための注意文である。例えば、分類と注釈情報との対応付けを予め用意しておき、制御部10は、この対応付けを用いることで当該処理を実現してもよい。
S14において、制御部10(学習部13)は、分類ごとに、アイコン画像と注釈情報とを入力データとして機械学習を実行し、学習モデルを学習する。
S15において、制御部10(学習部13)は、学習した学習モデルを、モデル記憶部22に記憶させる。その後、制御部10は、本処理を終了する。
【0030】
次に、学習モデルを使用した図版提示処理について説明する。
図4は、本実施形態に係る図版提示装置1の図版提示処理を示すフローチャートである。
図5は、本実施形態に係る図版提示処理による端末4における出力例を示す図である。
図6から図8までは、本実施形態に係る図版に対する注釈情報の出力例を示す図である。
図9は、本実施形態に係る図版及び注釈情報の例を示す図である。
【0031】
例えば、端末4において、印刷物画像を図版提示装置1にアップロードする処理を行うと、端末4から印刷物画像の画像データが図版提示装置1に送信されるので、図版提示装置1の制御部10は、本処理を開始する。
図4のS21において、制御部10(印刷物画像受付部15)は、印刷物画像を受け付ける。
図5(A)に、受け付けた印刷物画像70の例を示す。印刷物画像70は、文字(図において破線で示されている。)や図版を含む画像である。
【0032】
図4のS22において、制御部10(図版検出部16)は、受け付けた印刷物画像にモデル記憶部22に記憶された学習モデルを適用して、印刷物画像に含まれる図版を検出する。
S23において、制御部10(提示処理部17)は、印刷物画像に対してS22の処理で検出した図版を判別可能にした提示画像を出力する。
図5(B)は、端末4に出力される提示画像71の例を示す。
提示画像71は、囲い領域71aを有する。囲い領域71aは、矢印の図版を含む。囲い領域71aにより、矢印の図版が判別可能にされている。
【0033】
図4のS24において、制御部10(操作受付部18)は、図版の選択操作を受け付けたか否かを判断する。例えば、端末4に出力された提示画像71において、端末4のユーザによって囲い領域71aを選択する操作がされた場合に、制御部10は、図版の選択操作を受け付けたと判断する。図版の選択操作を受け付けた場合(S24:YES)には、制御部10は、処理をS25に移す。他方、図版の選択操作を受け付けていない場合(S24:NO)には、制御部10は、処理をS26に移す。
【0034】
S25において、制御部10(提示処理部17)は、選択操作がされた図版に対応する注釈情報を付加した提示画像を出力する。
図5(C)は、矢印の図版72aに対する注釈情報72bを付加した提示画像71の例を示す。
制御部10は、ユーザによる選択操作がされると、注釈情報72bを出力し続けるように制御してもよいし、図版に対して再度の選択操作がされると、出力されていた注釈情報72bを非表示にして、図5(B)の状態に戻してもよい。
【0035】
図4のS26において、制御部10は、処理を終了するか否かを判断する。例えば、端末4から提示画像の画面を閉じる操作等がされることで、制御部10は、処理を終了すると判断する。処理を終了する場合(S26:YES)には、制御部10は、本処理を終了する。他方、処理を終了しない場合(S26:NO)には、制御部10は、処理をS24に移す。
【0036】
なお、図5では、印刷物画像70に1つの矢印の図版を含むものを例に説明した。印刷物画像に複数の図版を含む場合には、図4のS22の処理において、制御部10は、複数の図版を検出し、S23の処理において、制御部10は、検出した複数の図版を判別可能にした提示画像を出力する。
このように、図版を判別可能にした提示画像を出力するので、端末4のユーザは、図版を認識できる。また、図版に対する注釈情報を出力するので、端末4のユーザは、図版が正しく使用されているか、注釈情報を参考にしながら確認できる。
【0037】
なお、図版に対する注釈情報の出力については、様々なものがある。以下に、一例を説明する。
図3(B)は、左右を示す両矢印の図版31bに対する注釈情報41bの出力例を示す。図版31bに対応する注釈情報41bは、図5(C)に示す図版72aに対応する注釈情報72bと同じであってよい。
図3(C)は、分岐及び分割を示す矢印の図版31cに対する注釈情報41cの出力例を示す。
なお、図示していないが、図3(C)とは異なるものであって、複数から1つを示す矢印である結合及び集約を示す矢印の図版もあるが、その場合の注釈情報は、図3(C)と同じ内容であってよい。
【0038】
図6(A)は、加算記号の図版32aに対する注釈情報42aの出力例を示す。図版32aは、加算記号であるため、注釈情報42aは、前後の加算の関係に関する注意文になっている。
なお、図示していないが、図6(A)に類似のものとして、減算記号の図版や、乗算記号の図版、除算記号の図版がある。これらも、図6(A)の図版32aと同様であり、対応する注釈情報は、前後の減算や乗算、除算に関する注意文になっている。
図6(B)は、不等号(小なり)の図版33aに対する注釈情報43aの出力例を示す。図版33aは、不等号であるため、注釈情報43aは、前後の内容の大小や優劣の関係に関する注意文になっている。
なお、図示していないが、図6(B)に類似のものとして、不等号(大なり)や、イコールの付いた不等号の図版がある。これらも、図6(B)の図版33aと同様であり、対応する注釈情報は、注釈情報43aと同様であってよい。
【0039】
図6(C)は、等号の図版34aに対する注釈情報44aの出力例を示す。図版34aは、等号であるため、注釈情報44aは、前後の内容が等しい関係に関する注意文になっている。
図6(D)は、等号否定の図版34bに対する注釈情報44bの出力例を示す。図版34bは、等号否定であるため、注釈情報44aは、前後の内容が等しくない関係に関する注意文になっている。
【0040】
図7(A)は、吹き出しの図版35aに対する注釈情報45aの出力例を示す。図版35aは、吹き出しであるため、注釈情報45aは、指し示す先の内容が補足であるかに関する注意文になっている。
なお、図7(A)に示す吹き出しの形状ではない他の吹き出しの形状であっても同様である。
図7(B)は、警告の図版36aに対する注釈情報46aの出力例を示す。図版36aは、警告を示すものであるため、注釈情報46aは、内容が警告事項であるかに関する注意文になっている。
図7(C)は、禁止警告の図版36bに対する注釈情報46bの出力例を示す。図版36bは、禁止を示すものであるため、注釈情報46bは、内容が禁止事項であるかに関する注意文になっている。
図7(D)は、電球の図版36cに対する注釈情報46cの出力例を示す。図版36cは、電球であるため、注釈情報46cは、内容がヒントを表すかに関する注意文になっている。
【0041】
上記で例示したものは、1つの図版に対する注釈情報の出力例であった。
次に説明するものは、複数の図版に対する注釈情報の出力に関するものである。
図8(A)は、男女の人型の図版37a及び37bに対する注釈情報47aの出力例を示す。図版37aは、男を表すものであり、図版37bは、女を表すものである。また、図版37aと図版37bとは、近接した位置に配置されている。そのため、注釈情報47aは、内容が対になっているかに関する注意文になっている。
図8(B)は、松の図版38aと、竹の図版38bと、梅の図版38cとに対する注釈情報48aの出力例を示す。松と竹と梅とは、一緒に使われることで一般的にレベルを表すものである。そのため、図版38aから38cまでが近接した位置に配置されている場合に、注釈情報48aが出力され、注釈情報48aは、内容がレベルにあっているかに関する注意文になっている。
【0042】
上記において、個々の分類において、図版に対する注釈情報の例を説明した。
その他、図9に示す表50のように、様々な分類の図版に対する注釈情報がある。制御部10は、例えば。表50に示すものを全て含む学習モデルを学習する。なお、図9に示す表50にある図版は、一例である。制御部10は、学習モデルを、表50に示す図版以外においても、様々な図版を検出できるように学習する。
【0043】
また、図5(B)及び図5(C)で示した図版提示処理による端末における出力例としての提示画像は、一例である。他の態様で図版を判別可能にしたものであってもよい。
図10は、本実施形態に係る図版提示処理による端末4における他の出力例を示す図である。
図10は、提示画像71と、検出リスト81(対応情報)とを含む出力画像90を示す。
提示画像71は、検出した図版を囲うように囲い領域71bを備える。また、囲い領域71bは、検出番号として図版IDを有する。図版IDは、検出した図版の近傍に付加される。そのため、図版IDによって図版が判別可能である。
検出リスト81は、検出した図版の図版IDと、注釈情報とが対応付けられたリストである。レコード81bは、囲い領域71bに対応した図版の注釈情報を示す。
なお、検出した図版を囲う囲い領域71bは、表示と非表示とを切替可能になっており、例えば、検出リスト81のレコード81bに対する端末4のユーザからの選択操作を制御部10が受け付けると、囲い領域71bを表示又は非表示に切り替えてもよい。
また、検出リスト81についても、表示と非表示とを切替可能になっており、端末4のユーザからの指示により、制御部10は、検出リスト81を表示又は非表示に切り替えてもよい。
さらに、囲い領域71bに対する端末4のユーザからの選択操作を制御部10が受け付けると、検出リスト81のレコード81bを強調表示するようにしてもよい。
【0044】
このように、本実施形態の図版提示装置1によれば、以下のような効果がある。
(1)処理対象の印刷物画像に、意味を有する図案であってイラスト記号を含むアイコン画像を学習した学習モデルを適用して、印刷物画像に含まれる図版を検出し、印刷物画像に対して検出した図版を判別可能にした提示画像を出力する。
よって、印刷物画像に含まれる図版を明示でき、ユーザに図版の存在を知らせることができる。
(2)学習モデルは、アイコン画像が示す意味に関する確認を促すための注釈情報をさらに学習したものであり、検出した図版に対応する注釈情報をさらに付加した提示画像を出力する。
よって、印刷物画像に含まれる図版に加えて、図版の意味に関する確認を促すための注釈情報を出力することで、ユーザの印刷物画像に対する図版のチェックを効率的に行わせるものになり得る。
【0045】
(3)検出した図版に対応する注釈情報を吹き出しの形式で付加した提示画像を出力するので、図版と注釈情報との関連がより明確な表示態様で、ユーザに図版及び注釈情報を確認させることができる。
(4)提示画像に有する図版に対する選択操作を受け付けた場合に、図版に対応する注釈情報を付加した提示画像を出力するので、図版の提示段階では情報を最小限に出力することで提示画像が煩雑な状態になるのを避けつつ、ユーザの選択操作に応じて注釈情報を出力できる。
【0046】
(5)検出した図版に対して一意の識別情報である図版IDを付与し、付与した図版IDを、対応する図版の近傍に付加した提示画像を出力し、図版IDと図版の注釈情報とを対応付けた検出リストを出力する。
よって、提示画像には、図版IDを含むものにでき、検出リストに図版IDと注釈情報とを対応付けて出力することで、提示画像の煩雑さを解消しつつ、注釈情報も出力できる。
(6)提示画像に有する図版に対する選択操作を受け付けた場合に、図版に対応する検出リストを出力するので、検出リストは、ユーザによる選択操作によって出力することができる。
【0047】
(7)モデル記憶部22は、アイコン画像が示す意味に応じた分類ごとにアイコン画像を学習した学習モデルを記憶するので、学習モデルを、分類ごとに学習したものにできる。
(8)意味を有する図案であってイラスト記号を含むアイコン画像と、アイコン画像が示す意味に関する確認を促すための注釈情報とを用いて学習モデルを学習し、学習した学習モデルを、モデル記憶部22に登録する。
よって、図版の検出に用いる学習モデルを、アイコン画像と注釈情報とを用いて学習させることで得られる。
(9)異なる複数のアイコン画像であって、複数のアイコン画像が関連性を有する、複数のアイコン画像と、注釈情報とを用いて学習モデルを学習するので、例えば、複数のアイコン画像を1つの注釈情報に対応付けた学習モデルを学習できる。その結果、図版に対して適切な注釈情報を出力でき、図版の検査を効率的に行うことが可能になる。
【0048】
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載したものに限定されない。なお、上述した実施形態及び後述する変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。
【0049】
(変形形態)
(1)本実施形態では、端末4から図版提示装置1に対してアクセスして処理を行うものを例に説明したが、これに限定されない。図版提示装置は、例えば、入力部と表示部とを備えたスタンドアロンのパーソナルコンピュータ(PC)等であってもよい。
【0050】
(2)本実施形態では、学習モデルの学習と、図版の提示とを、1台の図版提示装置が行うものを例に説明したが、これに限定されない。学習モデルの学習と、図版の提示とは、別々の装置であってもよい。その場合、図版の提示を行う装置に、学習装置が学習した学習モデルを移植したり、図版の提示を行う装置と、学習モデルの学習装置とを、通信可能に接続したりすればよい。
【0051】
(3)本実施形態では、ユーザによる図版の選択操作によって注釈情報を出力するものを例に説明したが、これに限定されない。図版と共に注釈情報も最初から一律に出力されるものであってもよい。
【符号の説明】
【0052】
1 図版提示装置
4 端末
6 ウェブサーバ
10 制御部
11 モデル構築部
12 入力データ取得部
13 学習部
14 図版提示部
15 印刷物画像受付部
16 図版検出部
17 提示処理部
18 操作受付部
20 記憶部
21a 図版提示プログラム
21b 学習プログラム
22 モデル記憶部
71 提示画像
81 検出リスト
100 図版提示システム
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10