(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0004】
原稿画像からマーキングにより囲まれた画像を切り出す情報処理装置においては、益々ユーザーフレンドリーであることが望まれる。
【0005】
以上のような事情に鑑み、本開示の目的は、原稿画像からマーキングにより囲まれた画像を切り出す情報処理装置及びプログラムにおいて、ユーザーの利便性を向上することにある。
【課題を解決するための手段】
【0006】
本開示の一形態に係る情報処理装置は、
原稿画像から、属性情報を示す画像である属性画像を含み得るエリアである属性エリアを検出する属性エリア検出部と、
前記属性エリアに含まれる属性画像を検出する属性画像検出部と、
前記属性画像が示す属性情報を抽出する属性情報抽出部と、
前記原稿画像のうち前記属性エリアを除くエリアである記事エリアから、マーキング画像を検出するマーキング検出部と、
前記原稿画像から、前記マーキング画像により囲まれた画像であるマーキングエリア画像を生成するマーキングエリア画像生成部と、
前記マーキングエリア画像と前記属性情報を示す文字列とを合成して、合成画像を生成する合成画像生成部と
を具備する。
【0007】
本実施形態によれば、マーキングエリア画像内からは得られない属性情報を、マーキングエリア外に存在する属性画像から、抽出することが可能である。
【0008】
情報処理装置は、
前記マーキングエリア画像と、前記属性情報を示す文字列とを、互いに関連付けて記録する画像記録部
をさらに具備する。
【0009】
本形態によれば、マーキングエリア画像と属性情報を示す文字列とを、互いに関連付けて記録することで、ユーザーにとって、後々のマーキングエリア画像の管理を容易かつ効率的に行うことができる。
【0010】
前記画像記録部は、複数組の前記マーキングエリア画像と前記属性情報を示す文字列とを記録し、
前記合成画像生成部は、さらに、
前記画像記録部に記録された複数組の前記マーキングエリア画像と前記属性情報を示す文字列のうち、
同じ前記属性情報を示す文字列に関連付けられた複数の前記マーキングエリア画像と、前記同じ属性情報を示す文字列とを合成して、合成画像を生成する。
【0011】
本形態によれば、複数組のマーキングエリア画像と属性情報のうち、同じ属性情報に関連付けられた複数のマーキングエリア画像と、同じ属性情報を示す文字列とを合成して、合成画像を生成することで、ユーザーにとっての利便性が向上する。
【0012】
前記属性エリア検出部は、前記原稿画像の縁からの距離が閾値未満であって特定の長さの罫線と、前記原稿画像の縁とに挟まれたエリアを、前記属性エリアとして検出する。
【0013】
これにより、属性エリアを正確に検出する可能性が高まる。
【0014】
前記属性画像は、文字列を含み、
前記属性画像検出部は、光学文字認識(Optical Character Recognition)により、前記属性画像に含まれる前記文字列を識別し、
前記属性情報抽出部は、前記文字列を、前記属性情報を記憶するデータベースと照合することにより、前記属性画像が示す属性情報を抽出する。
【0015】
本形態によれば、属性情報抽出部は、文字列を含まない属性画像をパターン認識することにより、属性情報を抽出してもよい。あるいは、属性情報抽出部は、文字列を含む属性画像の場合、属性画像に含まれる文字列をOCRにより識別し、文字列から属性情報を抽出してもよい。
【0016】
情報処理装置は、
前記合成画像を印刷する画像形成部
をさらに具備する。
【0017】
本形態によれば、情報処理装置は、画像形成装置である。
【0018】
情報処理装置は、
原稿から前記原稿画像を読み取る画像読取部
をさらに具備する。
【0019】
本形態によれば、情報処理装置は、画像読取部(スキャナー)をさらに具備する画像形成装置である。
【0020】
本開示の一形態に係るプログラムは、
情報処理装置を、
原稿画像から、属性情報を示す画像である属性画像を含み得るエリアである属性エリアを検出する属性エリア検出部と、
前記属性エリアに含まれる属性画像を検出する属性画像検出部と、
前記属性画像が示す属性情報を抽出する属性情報抽出部と、
前記原稿画像のうち前記属性エリアを除くエリアである記事エリアから、マーキング画像を検出するマーキング検出部と、
前記原稿画像から、前記マーキング画像により囲まれた画像であるマーキングエリア画像を生成するマーキングエリア画像生成部と、
前記マーキングエリア画像と前記属性情報を示す文字列とを合成して、合成画像を生成する合成画像生成部と
して機能させる。
【発明の効果】
【0021】
本開示によれば、原稿画像からマーキングにより囲まれた画像を切り出す情報処理装置及びプログラムにおいて、ユーザーの利便性が向上する。
【0022】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【発明を実施するための形態】
【0024】
以下、図面を参照しながら、本開示の実施形態を説明する。
【0025】
1.画像形成装置のハードウェア構成
図1は、本開示の一実施形態に係る画像形成装置のハードウェア構成を示す。
【0026】
本発明の実施形態に係る情報処理装置は、画像形成装置(例えば、MFP、Multifunction Peripheral)であり、以下MFPと称する。
【0027】
MFP1は、制御部11を備える。制御部11は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)及び専用のハードウェア回路等から構成され、MFP1の全体的な動作制御を司る。MFP1を各機能部(後述)として機能させるコンピュータプログラムは、ROM等の非一過性の記憶媒体に記憶される。
【0028】
制御部11は、画像読取部12、画像処理部14、画像メモリー15、画像形成部16、操作部17、記憶部18、ネットワーク通信部13等と接続されている。制御部11は、接続されている上記各部の動作制御や、各部との間での信号又はデータの送受信を行う。
【0029】
制御部11は、ユーザーから、操作部17またはネッワーク接続されたパーソナルコンピュータ(図示せず)等を通じて入力されるジョブの実行指示に従って、スキャナ機能、印刷機能及びコピー機能機能などの各機能についての動作制御を実行するために必要な機構の駆動及び処理を制御する。
【0030】
画像読取部12は、原稿から画像を読み取る。
【0031】
画像処理部14は、画像読取部12で読み取られた画像の画像データを必要に応じて画像処理する。例えば、画像処理部14は、画像読取部12により読み取られた画像が画像形成された後の品質を向上させるために、シェーディング補正等の画像処理を行う。
【0032】
画像メモリー15は、画像読取部12による読み取りで得られた原稿画像のデータを一時的に記憶したり、画像形成部16での印刷対象となるデータを一時的に記憶したりする領域を有する。
【0033】
画像形成部16は、画像読取部12で読み取られた画像データ等の画像形成を行う。
【0034】
操作部17は、MFP1が実行可能な各種動作及び処理についてユーザーからの指示を受け付けるタッチパネル部および操作キー部を備える。タッチパネル部は、タッチパネルが設けられたLCD(Liquid Crystal Display)等の表示部17aを備えている。
【0035】
ネットワーク通信部13は、ネットワークに接続するためのインタフェースである。
【0036】
記憶部18は、画像読取部12によって読み取られた原稿画像等を記憶する、HDD(Hard Disk Drive)などの大容量の記憶装置である。
【0037】
2.画像形成装置の機能的構成
図2は、画像形成装置の機能的構成を示す。
【0038】
MFP1は、コンピューター読み取り可能な非一過性の記憶媒体の一例であるROMに記憶された情報処理プログラムをRAMにロードして実行することで、属性エリア検出部101、属性画像検出部102、属性情報抽出部103、マーキング検出部104、マーキングエリア画像生成部105、画像記録部106及び合成画像生成部107として機能する。
【0039】
属性エリア検出部101は、原稿画像から属性エリアを検出し、検出した属性エリアを切り出す。
【0040】
属性画像検出部102は、属性エリア検出部101が原稿画像から切り出した属性エリアから、属性エリアに含まれる属性画像を検出する。
【0041】
属性情報抽出部103は、属性画像検出部102が検出した属性画像が示す属性情報を抽出する。
【0042】
マーキング検出部104は、原稿画像のうち属性エリアを除くエリアである記事エリアから、マーキング画像を検出する。
【0043】
マーキングエリア画像生成部105は、原稿画像から、マーキング検出部104が検出したマーキング画像により囲まれた画像を切り出して、マーキングエリア画像を生成する。
【0044】
画像記録部106は、マーキングエリア画像生成部105が生成したマーキングエリア画像と、属性情報抽出部103が抽出した属性情報を示す文字列とを、互いに関連付けて記録する。
【0045】
合成画像生成部107は、マーキングエリア画像生成部105が生成したマーキングエリア画像と、属性情報抽出部103が抽出した属性情報を示す文字列(テキスト)とを合成して、合成画像を生成する。合成画像生成部107は、生成した合成画像を画像形成部16に出力し、印刷させる。
【0046】
3.画像形成装置の動作フロー
図3は、画像形成装置の動作フローを示す。
【0047】
前提として、原稿(典型的には、新聞紙面)の一部の記事に、ユーザーにより、蛍光マーカーペン等を用いて、マーキングが記入されている。マーキングは、記事を枠線で囲むように記入されている。言い換えれば、マーキングは、線分などではなく、無端状である。
【0048】
画像読取部12(スキャナー)は、原稿を光学的にスキャンし、原稿画像を読み取る(ステップS101)。「原稿画像」は、マーキングが付されている原稿(典型的には、新聞紙面)の画像である。
【0049】
図4は、原稿画像の具体例を示す。
図4に示すように、罫線201は原稿画像200の上部にあり、罫線201と原稿画像200のエッジ202との間に、文字列「43 General 星印 14th Edition [3rd class mail] [Monthly 4509 yen (including tax 334 yen) Morning 160 yen, Evening 70 yen] THE ABCDE TIMES 25 December 2015 (Friday)」が記載されている。属性エリア203は、罫線201とエッジ202との間のエリアから後述する方法で検出される。属性画像204は、属性情報を示す文字列の画像であって、属性エリア203に含まれる。記事エリア205は、属性エリア203以外のエリアである。マーキング画像206は、記事エリア205の一部(例えば、記事エリア205に含まれる一部の記事)を囲む線の画像であって、
図4では太線で示されている。本実施形態では、ユーザーが蛍光ペンや赤ペン等のマーカーを用いて、記事エリア205の一部をマーキングすることを想定している。マーキングエリア画像207は、マーキング画像206によって囲まれているエリアの画像である。
【0050】
属性エリア検出部101は、原稿画像200から、属性エリア203を検出する(ステップS102、YES)。「属性エリア」は、属性情報を示す文字列画像を含み得るエリアである。「属性情報」は、新聞の名称、発行年月日や曜日、及び/又は、紙面の種類(国際(International)、経済(Economy)、社会(General)、スポーツ(Sports)等)を示す情報である。属性エリア検出部101は、例えば、原稿画像200のエッジ202(縁)からの距離が閾値未満であって特定の長さ(罫線201と同方向の原稿画像200の長さの9割以上、等)の罫線201と、原稿画像200のエッジ202とに挟まれたエリアを、属性エリア203として検出する。これにより、属性エリア203を正確に検出する可能性が高まる。属性エリア検出部101は、原稿画像200から、検出した属性エリア203を切り出す(ステップS103)。
【0051】
なお、属性エリア検出部101は、エッジ202と罫線201の直上の文字列との間が空白である場合に、罫線201と原稿画像200のエッジ202とに挟まれたエリアを、属性エリア203として検出してもよい。
【0052】
また、属性エリア203は、罫線201と原稿画像200のエッジ202との間の空白となるエリアに挟まれたエリアであってもよい。ここで、空白は、罫線201と平行な方向の長さが特定の長さ以上であるものとしてもよい。この場合、属性エリア検出部101は、定められた特定の長さに基づいて、
図4に示す罫線201上の単語(
図4の例では、「General」等)または複合語(「THE ABCDE TIMES」、「25 December 2015(Friday)」等)の前後の空白に挟まれたエリアを属性エリア203として検出する。
【0053】
また、属性エリア203は、罫線201と原稿画像200のエッジ202との間が空白となるエリアのうち最も離れた2つの空白のエリアに挟まれたエリアであってもよい。この場合、属性エリア検出部101は、
図4に示す「43 General 星印 14th Edition [3rd class mail] [Monthly 4509 yen (including tax 334 yen) Morning 160 yen, Evening 70 yen] THE ABCDE TIMES 25 December 2015 (Friday)」の前後の空白に挟まれたエリアを属性エリア203として検出する。
【0054】
ここで、罫線201と、原稿画像200のエッジ202との間が空白となるエリアとは、罫線201とエッジ202とに挟まれたエリアの内、罫線201とエッジ202との間に文字等の画像がないエリアを意味する。
【0055】
原稿画像200の空白(又は空白となるエリア)に基づいて、属性エリア検出部101が属性エリア203を検出する場合、罫線201をエッジ202からの距離が閾値未満の罫線に限定しなくてもよい。
【0056】
また、属性エリア検出部101は、属性エリア203の中に単語、複合語等の文字列の前後の空白やエッジ202と単語、複合語等の文字列との間の空白を含めてもよく、含めなくてもよい。いずれの場合も、罫線201と、原稿画像200のエッジ202との間が空白となるエリアに挟まれた属性エリア203の一形態である。
【0057】
なお、属性エリア検出部101は、原稿画像200から属性エリア203を検出しなければ(ステップS102、NO)、リトライ要求メッセージを表示部17aに表示する等して、エラーをユーザーに通知する(ステップS104)。
【0058】
属性画像検出部102は、属性エリア検出部101が原稿画像200から切り出した属性エリア203から、属性エリア203に含まれる1以上の属性画像204を検出する。各「属性画像」は、新聞の名称、発行年月日や曜日、及び/又は、紙面の種類(国際、経済、社会、スポーツ、等)を示す文字列を含む。属性画像検出部102は、検出した属性画像204それぞれから、複数の文字を抽出する。「文字」は、文字列に含まれる1文字1文字(言語によっては、1語1語としてもよい。)であり、厳密には、その画像である。属性画像検出部102は、OCR(Optical Character Recognition)用データベース111を参照し、抽出した複数の文字それぞれを識別する。具体的には、OCR用データベース111には、文字の画像パターンと文字コードとが対応付けられて1文字ずつ登録されている。属性画像検出部102は、抽出した文字を示す画像パターンをOCR用データベース111から検索し、検索により得られた画像パターンが対応付けられた文字コードを取得する。属性画像検出部102は、属性画像204に含まれる全ての文字について、文字コードを取得する。属性画像検出部102は、文字列に含まれる全ての文字それぞれの文字コードを組み合わせることで、文字列を識別する(ステップS105)。
【0059】
属性情報抽出部103は、属性画像204に含まれる文字列を、属性情報を記憶する属性データベース112と照合することにより、属性画像204が示す属性情報を抽出する(ステップS106、YES)。「属性情報」として、属性データベース112には、典型的には、新聞の名称、発行年月日や曜日、及び/又は、紙面の種類(国際、経済、社会、スポーツ、等)が記録されている。属性データベース112には、例えば、新聞の名称として、名称(固有名詞)の他に、新聞の名称に含まれる汎用的な語(新聞(Press)、日報(Daily)、タイムス(Times)等)が記録されている。これにより、属性情報抽出部103は、属性データベース112に記録されていない新規な文字列(固有名詞としての名称)を識別した場合であっても、例えば「日報」を含む文字列であれば、新聞の名称と判断することができる。そして、属性情報抽出部103は、属性データベース112に、この「日報」を含む文字列を、新たな新聞の名称(固有名詞)として蓄積してもよい。
【0060】
なお、属性情報抽出部103は、属性画像204に含まれる文字列が属性情報(即ち、典型的には、新聞の名称、発行年月日や曜日、及び/又は、紙面の種類)を示すものでなければ(ステップS106、NO)、リトライ要求メッセージを表示部17aに表示する等して、エラーをユーザーに通知する(ステップS104)。
【0061】
一方、マーキング検出部104は、原稿画像200の記事エリア205から、マーキング画像206を検出する(ステップS107、YES)。「記事エリア」は原稿画像200のうち属性エリア203を除くエリアである。具体的には、マーキング検出部104は、背景(白色等)と明度及び/又は彩度等が異なり、無端形状(長方形等の閉じた図形)の画像を、マーキング画像206として検出する。マーキング検出部104は、さらに、無端形状の画像の内、特定の色(例えば、マーカーに対応する色)の画像をマーキング画像206として検出してもよい。
【0062】
なお、マーキング検出部104は、原稿画像200からマーキング画像206を検出しなければ(ステップS107、NO)、リトライ要求メッセージを表示部17aに表示する等して、マーキングエラーをユーザーに通知する(ステップS104)。
【0063】
マーキングエリア画像生成部105は、原稿画像200から、マーキング検出部104が検出したマーキング画像206により囲まれた画像を切り出して、マーキングエリア画像207を生成する(ステップS108)。
【0064】
画像記録部106は、マーキングエリア画像生成部105が生成したマーキングエリア画像207と、属性情報抽出部103が抽出した属性情報を示す文字列とを、互いに関連付けて記憶部18に記録する(ステップS109)。
【0065】
図5は、合成画像の具体例を示す。
合成画像生成部107は、互いに関連付けて記憶部18に記録された、マーキングエリア画像生成部105が生成したマーキングエリア画像207と、属性情報抽出部103が抽出した属性情報を示す文字列301(テキスト)とを合成して、合成画像300を生成する(ステップS110)。合成画像生成部107は、生成した合成画像300を画像形成部16に出力し、印刷させる(ステップS111)。
【0066】
画像記録部106がマーキングエリア画像と属性情報を示す文字列とを、互いに関連付けて記憶部18に記録することで、ユーザーにとって、後々の新聞スクラップ管理を容易かつ効率的に行うことができる。なお、画像記録部106は、複数組のマーキングエリア画像と属性情報とを記録してよい。この場合、合成画像生成部107は、複数組のマーキングエリア画像と属性情報のうち、同じ属性情報(例えば、年月、紙面の種類)に関連付けられた複数のマーキングエリア画像と、同じ属性情報を示す文字列とを合成して、合成画像を生成することができる。これにより、例えば、同じ年月の同じ紙面の種類の記事を集めて1つの合成画像を生成すること等が可能になり、ユーザーにとっての利便性が向上する。
【0067】
4.変形例
本実施形態では、合成画像生成部107は、マーキングエリア画像207と属性情報を示す文字列(テキスト)とを合成して、合成画像300を生成した。これに替えて、合成画像生成部107は、マーキングエリア画像207と、属性画像検出部102が検出した属性画像204とを合成して、合成画像(図示せず)を生成してもよい。
【0068】
本実施形態では、属性画像204に含まれる文字列をOCRにより識別し、文字列から属性情報を抽出した。これに替えて、属性情報抽出部103は、属性画像204をパターン認識することにより、属性情報を抽出してもよい。この手法によれば、文字列を含まない属性画像204(商標、ロゴマーク等)からも、属性情報を抽出できる。
【0069】
画像読取部12が原稿画像を読み取った直後に、別の原稿画像を読み取る場合、ステップS102乃至ステップS107(属性情報抽出)を省略し、前者の原稿画像の属性情報と同じ属性情報を示す文字列と、後者の原稿画像から切り出したマーキングエリア画像207とを記録し、合成画像を生成してもよい。
【0070】
本実施形態では、情報処理装置は、画像形成装置とした。これに替えて、情報処理装置は、パーソナルコンピューター、スマートフォン、タブレットコンピューター等の端末装置でもよい。その場合、端末装置は、ネットワークに接続された情報処理装置(図示せず)から原稿画像を受信し、合成画像を画像形成装置に送信してもよい。
【0071】
本実施形態では、画像読取部12が原稿画像を読み取った。これに替えて、MFP1は、ネットワーク通信部13を通じて、ネットワークに接続された情報処理装置(図示せず)から原稿画像を受信してもよい。
【0072】
5.まとめ
本実施形態によれば、ユーザーが記入したマーキングに囲まれたマーキングエリア画像を切り出すとともに、マーキングエリア外に存在する属性画像から属性情報を抽出する。
【0073】
このように、本実施形態では、ユーザーにとっては自動的に、マーキングエリア外から属性情報を抽出することが可能である。言い換えれば、スクラップ作成の管理に必要な、日付・新聞名・紙面の種類などの、記事の中(マーキングエリア内)からは得られない属性情報を、確実に抽出することが可能である。これにより、ユーザーにとっては容易かつ効率的に、新聞記事スクラップを管理することができる。
【0074】
本技術の各実施形態及び各変形例について上に説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。