特開 2024-178390 情報処理装置、情報処理装置の制御方法及びアプリケーション

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024178390

(43)【公開日】2024-12-24

(54)【発明の名称】情報処理装置、情報処理装置の制御方法及びアプリケーション

(51)【国際特許分類】

   G06V 30/12 20220101AFI20241217BHJP

   G06V 30/14 20220101ALI20241217BHJP

   G06F 3/04842 20220101ALI20241217BHJP

【ＦＩ】

G06V30/12 J

G06V30/14 340B

G06V30/14 340K

G06F3/04842

【審査請求】有

【請求項の数】21

【出願形態】ＯＬ

(21)【出願番号】P 2024166281

(22)【出願日】2024-09-25

(62)【分割の表示】P 2024074935の分割

【原出願日】2020-01-21

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】白石 憲一

(57)【要約】      （修正有）

【課題】プレビューペインとプロパティペインを有するＵＩ画面において、テキストブロックと設定項目との対応関係をユーザが容易に把握できる画像処理システムを提供する。
【解決手段】画像処理システムは、文書をスキャンして得られたスキャン画像にプロパティを設定するためのユーザインタフェース画面を表示する。ユーザインタフェース画面には、スキャン画像をプレビュー表示する領域であるプレビューペイン４０１及びプロパティの設定項目毎の設定値を入力する領域であるプロパティペイン４１１が表示され、プレビューペインにおいてプレビュー表示されたスキャン画像内のいずれかのテキストブロック４２３に対する選択操作の操作イベントが検出された場合、プロパティペインにおいて表示されている設定項目のうち、操作イベントが検出されたテキストブロックが関連付けられている設定項目を示すラベル８０１をテキストブロックに対して表示する。
【選択図】図８

【特許請求の範囲】

【請求項1】

文書を電子化する画像処理システムであって、
前記文書をスキャンして得られたスキャン画像にプロパティを設定するためのユーザインタフェース画面を表示する表示手段と、
前記ユーザインタフェース画面における表示を制御する制御手段と、
を備え、
前記ユーザインタフェース画面には、前記スキャン画像をプレビュー表示する領域であるプレビューペイン、および、前記プロパティの設定項目毎の設定値を入力する領域であるプロパティペインが少なくとも存在し、
前記制御手段は、前記プレビューペインにおいてプレビュー表示された前記スキャン画像内のいずれかのテキストブロックに対する選択操作の操作イベントが検出された場合、前記プロパティペインにおいて表示されている前記設定項目のうち、前記操作イベントが検出されたテキストブロックが関連付けられている設定項目を示すラベルを、当該テキストブロックに対して表示する、
ことを特徴とする画像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、文書を電子化して利用する際のグラフィカルユーザインタフェース（ＧＵＩ）に関する。

【背景技術】

【0002】

従来、注文書等の帳票をスキャンして得られたスキャン画像に対し光学文字認識処理（ＯＣＲ処理）を行って文字列を抽出し、ファイル名等に利用することが行われている。特許文献１には、文書画像内に含まれる文字列の中から特定のキーを含む文字列を抽出してファイル名を自動生成し、文書画像のプレビュー表示と共にユーザに提示する技術が開示されている。この技術によればユーザは、文書画像を確認しながらファイル名を容易に設定することができる。そして、スキャン画像から抽出した文字列をメタデータとして保存・管理し、ファイル名等に利用することも行われている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１１５０１１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ＯＣＲ処理によって得られた認識文字列を用いてファイル名やメタデータを設定する際のアプリケーションのＵＩ画面の構成として、プレビューペインとプロパティペインとからなる２ペイン構成がよく知られている。ここで、プレビューペインは、電子化対象のスキャン画像をプレビュー表示するための領域であり、プロパティペインはファイル名やメタデータといったプロパティの内容を一覧表示するための領域である。注文書や請求書といった文書を電子化する場合、そのスキャン画像には複数の文字領域（テキストブロック）が含まれており、プレビューペインによってユーザは各テキストブロックを視認することができる。また、プロパティペインによってユーザは、「Customer Name」、「Date」、「Address」といった様々な設定項目についての内容を確認することができる。上記２ペイン構成のＵＩ画面にて例えばユーザが、プロパティペイン内の「Customer Name」という設定項目に対し、プレビューペイン内の“XYZ Corporation”のテキストブロックを選択したとする。その結果、スキャン画像内の認識文字列“XYZ Corporation”が、「Customer Name」という設定項目と関連付けて保存されることになる。この場合において、プレビューペイン内に複数のテキストブロックが存在し、かつ、プロパティペイン内にも複数の設定項目が存在すると、どのテキストブロックとどの設定項目とが関連付けられているのかをユーザが即座に把握することが困難であった。

【0005】

本件は、上記課題に鑑みてなされたものであり、プレビューペインとプロパティペインを有するＵＩ画面において、テキストブロックと設定項目との対応関係をユーザが容易に把握できるようにすることを目的とする。

【課題を解決するための手段】

【0006】

本開示に係る、文書を電子化する画像処理システムは、前記文書をスキャンして得られたスキャン画像にプロパティを設定するためのユーザインタフェース画面を表示する表示手段と、前記ユーザインタフェース画面における表示を制御する制御手段と、を備え、前記ユーザインタフェース画面には、前記スキャン画像をプレビュー表示する領域であるプレビューペイン、および、前記プロパティの設定項目毎の設定値を入力する領域であるプロパティペインが少なくとも存在し、前記制御手段は、前記プレビューペインにおいてプレビュー表示された前記スキャン画像内のいずれかのテキストブロックに対する選択操作の操作イベントが検出された場合、前記プロパティペインにおいて表示されている前記設定項目のうち、前記操作イベントが検出されたテキストブロックが関連付けられている設定項目を示すラベルを、当該テキストブロックに対して表示する、ことを特徴とする。

【発明の効果】

【0007】

本開示の技術によれば、プレビューペインとプロパティペインを有するＵＩ画面において、テキストブロックと設定項目との対応関係をユーザが容易に把握することができる。

【図面の簡単な説明】

【0008】

【図1】画像処理システムの全体構成を示す図

【図2】情報処理装置のハードウェア構成を示すブロック図

【図3】画像処理システムのソフトウェア構成を示す図

【図4】ＵＩ画面の状態遷移を説明する図

【図5】ＵＩ画面の状態遷移を説明する図

【図6】ＵＩ画面制御処理の流れを示すフローチャート

【図7】ＵＩ画面制御処理の流れを示すフローチャート

【図8】ＵＩ画面の状態遷移を説明する図

【図9】（ａ）～（ｃ）は、設定項目に対応付けた固有の情報を項目名と併せて表示した場合の一例を示す図

【図10】ＵＩ画面の状態遷移を説明する図

【図11】ＵＩ画面制御処理の流れを示すフローチャート

【発明を実施するための形態】

【0009】

以下、本発明を実施するための形態について図面を用いて説明する。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

【0010】

［実施形態１］
＜システム構成＞
図１は、本実施形態に係る、文書を電子化する画像処理システムの全体構成を示す図である。画像処理システムは、スキャン文書処理サーバ１１１、クライアント端末１２１、業務サーバ１３１を含む。クライアント端末１２１は、インターネット・イントラネットなどのネットワーク１０１を介してスキャン文書処理サーバ１１１及び業務サーバ１３１と通信可能に接続されている。クライアント端末１２１としては、パーソナルコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォンなどの他、スキャナ機能を備えたＭＦＰ（Multifunction Peripheral）などでもよい。図１に示す画像処理システムの構成は一例であって、これに限定されない。例えば、スキャン文書管理サーバ１１１の機能をクライアント端末１２１が兼ね備えていてもよい。なお、以下の説明では、見積書等の処理対象文書をスキャンして得られたスキャン画像を「スキャン文書」と呼ぶこととする。

【0011】

＜ハードウェア構成＞
図２は、情報処理装置としての、スキャン文書処理サーバ１１１、クライアント端末１２１、業務サーバ１３１のハードウェア構成を示すブロック図である。ユーザインタフェース（ＵＩ）２０１は、ディスプレイ、キーボード、マウス、ボタン、タッチパネルなどによって実現され、情報や信号の入出力を行う。これらのハードウェアを備えないコンピュータは、リモートデスクトップやリモートシェルなどにより、他のコンピュータから接続・操作することも可能である。ネットワークインタフェース２０２は、ネットワーク１０１に接続して、他の情報処理装置や不図示のネットワーク機器との通信を行う。通信方式としては、有線・無線のいずれでもよい。ＣＰＵ２０３は、装置全体の制御を司る演算装置であり、ＲＯＭ２０４、ＲＡＭ２０５、二次記憶装置２０６などから読み込んだプログラムを実行する。ＲＯＭ２０４は、組込済みプログラムおよび各種データを記録する。ＲＡＭ２０５は、各種データの一時記憶を行い、ＣＰＵ２０３のワークメモリとしても機能する。二次記憶装置２０６は、ＨＤＤやフラッシュメモリに代表される大容量記憶装置である。上記各部は入出力インタフェース２０７を介して相互に接続されている。

【0012】

＜ソフトウェア構成＞
図３は、本実施形態に係る、画像処理システムのソフトウェア構成を示す図である。各ソフトウェアは上述したスキャン文書処理サーバ１１１、クライアント端末１２１、業務サーバ１３１にそれぞれインストールされ、それぞれのＣＰＵ２０３で実行される。以下、各ソフトウェアについて説明する。

【0013】

≪スキャン文書処理サーバのソフトウェア≫
スキャン文書処理アプリケーション３１１は、スキャン文書処理サーバ１１１にインストールされているＷｅｂアプリケーションである。ただし、Ｗｅｂアプリケーション以外のアプリケーション実装形態でもよい。ＡＰＩ３１２は、スキャン文書処理アプリケーション３１１によって提供されるＡＰＩ（Application Programming Interface）である。Ｗｅｂ ＵＩ３１３は、スキャン文書処理アプリケーション３１１によって提供されるＷｅｂユーザインタフェースである。

【0014】

データストア３２１は、スキャン文書処理アプリケーション３１１または後述するバックエンドアプリケーション３３１が使用するデータを保存・格納する記憶領域である。データストア３２１には、スキャン文書格納部３２２、スキャン文書ジョブキュー３２３、プロパティ管理部３２４、スキャン文書処理結果格納部３２５が存在する。スキャン文書格納部３２２は、スキャン文書自体のデータをファイル化し、ＪＰＥＧ等の画像ファイルあるいはＰＤＦ（Portable Document Format）等の文書ファイルとして保存する。スキャン文書ジョブキュー３２３は、後述するプロパティ入力処理待ちのジョブを管理するキューを保持する。プロパティ管理部３２４は、スキャン文書ごとに付加が必要なファイル名、フォルダパス、メタデータといったプロパティに関する情報を格納する。具体的には、設定項目の一覧・設定項目毎の名前や値のフォーマット（文字列・数字など）、後述する設定項目毎に保持する各種情報などを管理する。スキャン文書処理結果格納部３２５は、ＯＣＲ処理結果、帳票判別結果を格納する。また、スキャン文書処理結果格納部３２５は、設定項目に関連付けられた文字領域情報（テキストブロック情報）や、設定された値などを、スキャン文書毎に格納する。

【0015】

バックエンドアプリケーション３３１は、バックグラウンド処理を実行するためのアプリケーションである。バックエンドアプリケーション３３１は、バックグラウンドで順次実行すればよい各種の処理、具体的には、ＯＣＲ処理、帳票処理、通信処理を担当するアプリケーションである。ＯＣＲ処理部３３２は、スキャン文書格納部３２２から処理対象となるスキャン文書を取得し、取得したスキャン文書に対してＯＣＲ処理を実行する。ＯＣＲ処理では、各テキストブロックを特定する情報（具体的には、矩形領域の始点座標・幅・高さの情報）、およびテキストブロック毎の認識文字列の情報が抽出される。帳票処理部３３３は、処理対象のスキャン文書、ＯＣＲ処理によって得られたテキストブロックの配置パターンや認識文字列などの情報を用いて、スキャンの対象となった文書（帳票）の種別を判別する。この判別処理は、パターン認識、機械学習などいずれの手法でもよい。通信処理部３３４は、外部装置である業務サーバ１３１にスキャン文書およびその解析処理結果の送信処理を実行する。スキャン文書およびその解析処理結果を送信する必要がない場合は、通信処理部３３４は省略可能である。

【0016】

≪クライアント端末のソフトウェア≫
クライアントアプリケーション３５１は、上述のスキャン文書処理アプリケーション３１１のＷｅｂアプリケーションを実行する。例えば、ＷｅｂブラウザでＷｅｂ ＵＩ３１３を表示して、必要なデータをＡＰＩ３１２と送受信することでＷｅｂアプリケーションを実行する。

【0017】

≪業務サーバのソフトウェア≫
業務アプリケーション３６１は、ファイル管理・文書管理・受注・会計といった企業における各種業務を支援するためのアプリケーションである。業務データストレージ３６２は、業務アプリケーション３６１が使用する各種データを保存する。業務アプリケーション３６１は、スキャン文書処理サーバ１１１で処理した結果を受信し、それに対して必要な処理を行って保管する。

【0018】

＜クライアントアプリケーションのＵＩ画面＞
続いて、クライアント端末１２１のユーザインタフェース２０１に表示されるユーザインタフェース画面（以下、「ＵＩ画面」と表記。）について説明する。図４（ａ）は、本実施形態に係る、クライアントアプリケーション３５１によってユーザインタフェース２０１に表示されるＵＩ画面の一例を示している。

【0019】

図４（ａ）に示すＵＩ画面は、プレビューペイン４０１とプロパティペイン４１１の２ペイン構成となっている。いま、プレビューペイン４０１内には「PURCHASE ORDER（購入注文書）」のスキャン文書のページ画像４０２がプレビュー表示されている。プレビューペイン４０１では、ページ画像４０２をスクロール・ズームして、ページ画像４０２における任意の位置を表示させることができる。プロパティペイン４１１は、処理対象のスキャン文書に対して付与すべきプロパティを表示・編集するためのペインである。プロパティとして設定される項目には、「ファイル名」、「フォルダパス」、「メタデータ」といった親項目、及び、親項目を構成する要素である「会社名」、「日付」、「住所」といった子項目がある。

【0020】

図４（ａ）のＵＩ画面は、帳票判別処理において処理対象のスキャン文書の帳票種別が「購入注文書」であると判別された場合の例である。いま、プロパティペイン４１１内には、当該スキャン文書に付与すべき設定項目（大項目）として、［FileName（ファイル名）］と［Metadata（メタデータ）］の２つが表示されている。そして、［FileName］については、「Customer Name（顧客名）」・「Date（日付）」の２つの設定項目（子項目）が表示されている。また、［Metadata］ついては、「Company Name（会社名）」と「Address（住所）」２つの設定項目が表示されている。なお、以下の説明では、ファイル名の子項目を「ファイル名項目」と呼び、メタデータの子項目を「メタデータ項目」と呼ぶこととする。

【0021】

図４（ｂ）は、ページ画像４０２と各テキストブロックとの関係を示す直交座標系を説明する図である。図４（ｂ）には、４つのテキストブロック４２１、４２２、４２３、４２４が存在している。ページ画像４０２には、さらに多くのテキストブロックがあるが、ここでは説明を省略している。ＯＣＲ処理によって検出されたテキストブロックは、それぞれ網掛けの矩形で示すように、始点座標・幅・高さでそれぞれ識別される。例えば、“XYZ Corporation”の文字列に対応するテキストブロック４２３の場合、単位をピクセルとして、「始点座標(1200, 700)」、「幅：720」、「高さ：120」といった具合に表現される。

【0022】

図５は、図４（ａ）のＵＩ画面において、２つの大項目［FileName］と［Metadata］のそれぞれについて、各小項目に対しページ画像４０２内のテキストブロックが関連付けられる様子を説明する図である。いま、ページ画像４０２内の“XYZ Corporation”の文字列に対応するテキストブロック４２３とファイル名項目「Customer Name」とが関連付けられている状態である。そして、ユーザが識別しやすいようにテキストブロック４２３は、例えば色付けした矩形が透過重畳表示される。なお、透過重畳表示に代えて色の付いた枠線の重畳表示などを行ってもよい。プロパティペイン４１１内の横長の矩形５１０ａ、５１０ｂ、５２０ａ、５２０ｂは、ファイル名やメタデータといった大項目毎に、各子項目の設定値等を表示・編集する表示フィールドである。そして、各表示フィールド内の横長の矩形５１１ａ、５１１ｂ、５２１ａ、５２２ｂは、ユーザが選択したテキストブロックに対応する部分の画像（ページ画像４０２から切り取った画像）が表示される領域（切り取り画像エリア）である。図５の例では、ファイル名項目「Customer Name」に対してテキストブロック４２３が関連付けられているので、切り取り画像エリア５１１ａには、テキストブロック４２３の部分画像が表示されている。どのテキストブロックとも関連付けがなされていない段階では、切り取り画像エリア５１１ｂ、５２１ａ、５２１ｂのように「＋」ボタンが表示される。各切り取り画像エリアの下にある横長の矩形５１２ａ、５１２ｂ、５２２ａ、５２２ｂは、ユーザ選択に係るテキストブロックに含まれる認識文字列が入力される編集エリアであり、ユーザは不図示のソフトキーボード等によって編集することができる。

【0023】

＜ＵＩ画面制御処理＞
次に、クライアント端末１２１のクライアントアプリケーション３５１によってなされる、上述したＵＩ画面上の各メタデータ項目にテキストブロックを関連付ける制御処理について、図６のフローチャートを用いて説明する。図６に示すフローの実行開始に先立って、まず、スキャン文書処理サーバ１１１のスキャン文書処理アプリケーション３１１によって、処理待ちのキューがクライアントアプリケーション３５１に提供される。ユーザが、クライアントアプリケーション３５１を用いて、処理を開始したいスキャン文書のジョブを選択すると、スキャン文書処理アプリケーション３１１は、当該選択されたスキャン文書に対応する必要な情報をデータストア３２１から取得する。具体的には、スキャン文書格納部３２２から対応する画像ファイルを、スキャン文書処理結果格納部３２５から対応するＯＣＲ処理結果と帳票判別処理結果を取得する。さらに、帳票種別毎の設定項目一覧および、小項目単位で予め割り当てられた所定の項目色を識別する割当色情報を、プロパティ管理部３２４から取得する。スキャン文書処理アプリケーション３１１から、これら取得したデータがクライアントアプリケーション３５１に提供されて、図６に示すフローが開始する。なお、以下の説明において記号「Ｓ」はステップを表すものとする。
Ｓ６０１では、プレビューペイン４０１内に表示するためのページ画像とＯＣＲ処理結果（認識文字列）のデータがロードされる。続くＳ６０２では、設定項目一覧とその小項目単位で割り当てられた色情報がロードされる。次のＳ６０３では、Ｓ６０１とＳ６０２にてロードされたデータの内容がＵＩ画面に反映される。具体的にはページ画像がプレビューペイン４０１内に表示され、設定項目一覧に含まれる各設定項目の内容（大項目及び小項目）がプロパティペイン４１１内に表示される。ここまでのＳ６０１～Ｓ６０３の処理によって、図４に示すＵＩ画面の状態になる。

【0024】

そして、Ｓ６０４では、プロパティペイン４１１内のいずれかの小項目における切り取り画像エリア５１１ｂ、５２１ａ、５２１ｂの「＋」ボタンの選択操作の操作イベントが検出される。この選択操作は、例えばユーザが指やタッチペンでタッチする操作やマウスによるクリック操作である。こうして、プロパティペイン４１１に表示された小項目の中からユーザ選択に係る小項目（ここでは、ファイル名項目或いはメタデータ項目）が１つ決定される。以下、ユーザが選択した小項目を「選択小項目（選択ファイル名項目或いは選択メタデータ項目）」と呼ぶ。続くＳ６０５では、Ｓ６０４にて決定された選択小項目の表示フィールドに対し、例えば背景色を変える、枠を太くする等の強調処理が行われる。これにより、選択に係る小項目をユーザが識別しやすくなるようにする。

【0025】

そして、Ｓ６０６では、プレビューペイン４０１内のページ画像４０２に存在するいずれかのテキストブロックへの選択操作の操作イベントが検出される。こうして、ページ画像に含まれる１又は複数のテキストブロックの中から任意のテキストブロックが１つ選択される。以下、ユーザが選択したテキストブロックを「選択テキストブロック」と呼ぶ。続くＳ６０７では、Ｓ６０６にて決定された選択テキストブロックに対し、例えば色付けする枠を付与する等の強調処理が行われる。これにより、選択テキストブロックをユーザが識別しやすくなるようにする。そして、Ｓ６０８では、選択テキストブロックに対応する切り取り画像が、選択メタデータ項目内の切り取り画像エリアに表示され、選択テキストブロックに含まれる認識文字列が選択メタデータ項目の編集エリア内に表示される。ここまでのＳ６０４～Ｓ６０８の処理によって、例えば、小項目「Customer Name」についてテキストブロックを選択すると、図５に示すようなＵＩ画面の状態になる。すなわち、ユーザが選択した設定項目とテキストブロックとが関連付けられ、選択した設定項目に用いる文字列をどのテキストブロックを使って入力するかが決定される。

【0026】

以上の処理が設定項目一覧内のすべての設定項目について完了し、ユーザによって「Register（登録）」ボタン５２４が選択操作されると、Ｓ６０９にて、ファイル名等のプロパティの登録要求がスキャン文書処理サーバ１１１に対して送信される。このプロパティ登録要求には、すべての設定項目における編集済みの値とテキストブロックとを関連付けた情報が含まれる。スキャン文書処理サーバ１１１では、スキャン文書処理アプリケーション３１１が、クライアント端末１２１から受信したプロパティ登録要求に含まれる上述の情報をスキャン文書処理結果格納部３２５に保存する。この際、プロパティの登録を外部の業務サーバ１３１にて行う場合は、通信処理部３３４を介して業務サーバ１３１にプロパティ登録要求が転送される。スキャン文書処理アプリケーション３１１は、すべての必要な処理を終了後、スキャン文書ジョブキュー３２３からキューをデキューする。こうして、本処理が終了する。

【0027】

以上が、本実施形態に係る、クライアントアプリケーション３５１におけるＵＩ画面制御処理の大まかな流れである。

【0028】

≪関連付け済みテキストブロックが選択された場合のＵＩ制御≫
続いて、上述のＳ６０９の登録処理がなされる前に、ユーザがプレビューペイン内のテキストブロックに対して選択操作を行った際のＵＩ制御処理について、図７のフローチャートを用いて説明する。いま、上述の図６のフローに従って、大項目「FileName」の小項目「Customer Name」に対してテキストブロック４２３との関連付けがなされ、前述の図５に示すＵＩ画面の状態にあるものとする。

【0029】

ＵＩ画面が図５に示す状態下、プレビューペイン４０１内のいずれかのテキストブロックに対する選択操作がなされたとする。ここでの選択操作には、指等でのタッチ操作やマウスでのクリック操作の他、テキストブロックの直上で指やタッチペンをホバーする操作やマウスオーバーする操作であってもよい。ホバー操作とは、タッチパネルから指を離した状態において、指の直下にあるボタン等をタッチしていると見做される操作である。また、マウスオーバー操作とは、カーソルをボタン等の上に重ねる操作を指す。

【0030】

Ｓ７０１では、ユーザによる上述した選択操作の操作イベントが検出される。ここでは、“XYZ Corporation”のテキストブロック４２３に対する操作イベントが検出されたものとする。続くＳ７０２では、ユーザによって選択されたテキストブロックと既に関連付けられている設定項目が存在するか否かが判定される。判定結果が“Ｎｏ”の場合は本処理を終える。一方、判定結果が“Ｙｅｓ”の場合はＳ７０３へ進む。いま、ユーザが選択した“XYZ Corporation”のテキストブロック４２３に対し、設定項目（大項目「FileName」、小項目「Customer Name」）が既に関連付けられている。よって、この場合の判定結果は“Ｙｅｓ”となり、Ｓ７０３に進むことになる。

【0031】

Ｓ７０３では、選択テキストブロックに関する情報が取得される。具体的には、その位置を特定可能な座標情報（例えばブロックの始点位置の座標情報）、その大きさを特定可能なサイズ情報（例えば幅及び高さの情報）、およびＯＣＲ処理によって得られた認識文字列の情報が含まれる。ここでは、テキストブロック４２３の情報として、「始点座標(1200, 700)」、「幅：720」、「高さ：120」、「認識文字列：XYZ Corporation」が取得されることになる。

【0032】

続くＳ７０４では、プロパティペイン４１１内の各設定項目について、既に関連付けられているテキストブロックの始点座標・幅・高さの情報、および認識文字列の情報が、設定項目単位で取得される。いま、図５に示すＵＩ画面では、既にテキストブロックとの関連付けが完了して編集エリア内に文字列が表示されているのは、設定項目「Customer Name」のみである。よって、当該設定項目と関連付けられているテキストブロック４２３の情報（つまり、Ｓ７０３で取得した情報と同じ情報）が取得されることになる。

【0033】

次のＳ７０５では、プロパティペイン４１１内の設定項目のうち、選択テキストブロックと同一のテキストブロックが既に関連付けられている設定項目が特定される。この特定の際には、Ｓ７０３で取得した情報と、Ｓ７０４で取得した情報との比較がなされる。そして、Ｓ７０３で取得した情報と一致する情報のテキストブロックと関連付けられている設定項目が特定される。ここでは、テキストブロック４２３と既に関連付けられている設定項目「Customer Name」が特定されることになる。

【0034】

そして、Ｓ７０６では、選択テキストブロックに対し、Ｓ７０５にて特定された設定項目を示すラベルが表示される。この際、Ｓ７０１にて検出された選択操作がホバー操作やマウスオーバー操作であった場合には、いわゆるツールチップの形式にて、指やカーソルがテキストブロック上に留まっている間のみラベルが表示される。図８に示すＵＩ画面は、選択テキストブロックであるテキストブロック４２３から一定距離離れた上部に吹き出し形状にてラベル表示がなされた状態を示している。いま、テキストブロック４２３は、大項目「FileName」の小項目「Customer Name」と既に関連付けられているので、その事実を示すラベルとして、文字列“Customer Name”を含むラベル８０１が表示されている。なお、ラベルの表示位置や形状は任意であり、選択テキストブロックに対してなされていることをユーザが認識できればよい。また、図８の例では、ラベル表示の内容として小項目の名称のみとしているが、大項目の内容を併せて（或いは小項目に代えて）表示してもよい。

【0035】

さらには、各表示フィールド５１０ａ、５１０ｂ、５２０ａ、５２０ｂ内に、図１０のように、項目色エリア１０１０ａ、１０１０ｂ、１０２０ａ、１０２０ｂを設け、各項目に対して割り当てられている項目色を表示するようにしてもよい。その場合、図８のラベル８０１として、図９（ａ）のように、選択テキストブロックに対応付けられている設定項目とその項目色とを表示するようにしてもよい。また、各表示フィールド５１０ａ、５１０ｂ、５２０ａ、５２０ｂに対して、項目色エリアの代わりに、各項目を識別するための識別子（番号を示す数字や、任意の文字列（ＩＤ））を表示するようにしてもよい。その場合、図８のラベル８０１として、図９（ｂ）～（ｃ）に示すように、各設定項目に対応付けた固有の識別子を項目名と併せて表示してもよい。図９（ｂ）は設定項目に順番に割り当てた数字を追加したラベル、図９（ｃ）は設定項目を識別する文字列（ＩＤ）を追加したラベルをそれぞれ示している。

【0036】

図１０に示すＵＩ画面は、１つのテキストブロックが複数の異なる設定項目に関連付けられた状況下において、ユーザが当該テキストブロックを選択操作した時のラベル表示の一例を示している。図１０の例では、文字列“XYZ Corporation”を含むテキストブロック１００１が、「Customer Name」と「Company」の２つの小項目と関連付けられている。そこで、これら２つの設定項目と関連付けられていることを示すラベル１００２が表示されている。そして、このラベル１００２には、２つの設定項目それぞれの項目名に加え、各設定項目に割り当てられた固有の項目色を示すパッチ１００３も存在している。このようなラベル表示を行うことで、1対Ｎの関連付けにおいても、テキストブロックと設定項目との対応関係をユーザは容易に把握することができる。

【0037】

また、図１０に示すＵＩ画面では、各表示フィールド５１０ａ、５１０ｂ、５２０ａ、５２０ｂ内に、各設定項目に割り当てられた色（項目色）をユーザが識別できるように表示する項目色エリア１０１０ａ、１０１０ｂ、１０２０ａ、１０２０ｂが存在する。図１０の例では、テキストブロック１００１、１００４、１００５が、関連付けられている設定項目に割り当てられている色によって、それぞれ色付けされている。なお、テキストブロック１００１は、２つの設定項目（「Customer Name」、「Company Name」）に対応づけられているので、２つの設定項目のうちの１つの項目色で色付けされている。図１０の例では、プロパティペイン４１１に表示されている複数の設定項目の一覧のうちの上位に表示されている設定項目（Customer Name）の項目色で、テキストブロック１００１が色付けされている例を示しているが、これに限るものではない。例えば、一覧のうちの下位に表示されている設定項目の項目色で色付けしてもよい。また、対応付けられている複数の設定項目の項目色を表示するようにしてもよい。例えば、テキストブロック１００１をストライプ状に分割し、対応付けられている複数の設定項目の項目色で色付けする（例えば、テキストブロック１００１の上半分をCustomer Nameの項目色で色付けし、下半分をCompany Nameの項目色で色付けする）ようにしてもよい。

【0038】

≪関連付け済み設定項目が選択された場合のＵＩ制御≫
続いて、上述のＳ６０９の登録処理がなされる前に、ユーザがプロパティペイン内の設定項目に対して選択操作を行った際のＵＩ制御処理について、図１１のフローチャートを用いて説明する。ここでも、上述の図６のフローに従って、大項目「FileName」の小項目「Customer Name」に対してテキストブロック４２３との関連付けがなされ、前述の図５に示すＵＩ画面の状態にあるものとする。

【0039】

ＵＩ画面が図５に示す状態下、プロパティペイン４１１内のいずれかの設定項目に対する選択操作がなされたとする。ここでの選択操作も、指等でのタッチ操作やマウスでのクリック操作の他、設定項目の直上で指やタッチペンをホバーする操作やマウスオーバーする操作であってもよい。

【0040】

Ｓ１１０１では、ユーザによる上述した選択操作の操作イベントが検出される。ここでは、設定項目「Customer Name」の切り取り画像エリア５１１ａに対する操作イベントが検出されたものとする。続くＳ１１０２では、選択された設定項目の表示フィールドが強調表示される。ここでは、選択設定項目である小項目「Customer Name」の表示フィールド５０１ａが強調表示される。

【0041】

Ｓ１１０３では、ユーザによって選択された設定項目と既に関連付けられているテキストブロックが存在するか否かが判定される。判定結果が“Ｎｏ”の場合は本処理を終える。一方、判定結果が“Ｙｅｓ”の場合はＳ１１０４へ進む。いま、ユーザが選択した設定項目「Customer Name」に対し、文字列“XYZ Corporation”を含むテキストブロック４２３が既に関連付けられている。よって、この場合の判定結果は“Ｙｅｓ”となり、Ｓ１１０４に進むことになる。

【0042】

Ｓ１１０４では、選択設定項目と関連付けられているテキストブロックに関する情報、具体的には、始点座標・幅・高さの情報、および認識文字列の情報が取得される。ここでは、テキストブロック４２３の情報として、「始点座標(1200, 700)」、「幅：720」、「高さ：120」、「認識文字列：XYZ Corporation」が取得されることになる。

【0043】

続くＳ１１０５では、前述のＳ７０６と同様、Ｓ１１０４で取得された情報に基づいて選択設定項目と関連付けられているテキストブロックに対して選択設定項目を示すラベルが表示される。このとき、選択設定項目と関連付けられているテキストブロックに対して、複数の設定項目が関連付けられている状況下にある場合は、図１０のラベル１００２と同様に、当該テキストブロックに関連付けられている複数の設定項目を表示する。

【0044】

以上が、本実施形態に係る、クライアントアプリケーション３５１におけるＵＩ画面制御処理の詳細である。

【0045】

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【手続補正書】

【提出日】2024-10-24

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

画像データを表示するように制御する表示制御手段と、
前記画像データ上で、前記画像データ内の領域の指定を受け付ける受付手段と、
を有し、
前記表示制御手段は、前記画像データを表示した状態で、前記指定された領域内の文字列を前記画像データ外の欄に表示するように制御し、
当該文字列が当該欄に表示された画面上では、同じ識別情報が、それぞれ、前記指定された領域と、当該欄と、に対応付けて表示されている
ことを特徴とする情報処理装置。

【請求項2】

前記同じ識別情報は、前記指定された領域の付近に一つ、前記欄の付近に一つ表示される
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記指定された領域内の文字列は、前記画像データにおける前記指定された領域に対する文字認識処理により前記画像データから認識された文字列である
ことを特徴とする請求項１に記載の情報処理装置。

【請求項4】

前記指定された領域は、画像データを含むファイルのファイル名の生成に用いられる
ことを特徴とする請求項１に記載の情報処理装置。

【請求項5】

前記指定された領域は、画像データに関するメタデータの生成に用いられる
ことを特徴とする請求項１に記載の情報処理装置。

【請求項6】

前記画像データ上では、前記画像データ内の、前記領域とは異なる別の領域の指定を受け付けることが可能であり、
前記表示制御手段は、さらに、前記画像データを表示した状態で、前記指定された別の領域内の別の文字列を、前記画像データ外の、前記欄とは異なる別の欄に表示するように制御し、
前記文字列が前記欄に表示され、前記別の文字列が前記別の欄に表示された画面上では、前記同じ識別情報とは異なる別の同じ識別情報が、それぞれ、前記指定された別の領域と、前記別の欄と、に対応付けて表示されている
ことを特徴とする請求項１に記載の情報処理装置。

【請求項7】

前記領域と前記別の領域とは、前記画像データ上での別のユーザ操作により指定される
ことを特徴とする請求項６に記載の情報処理装置。

【請求項8】

前記領域および前記別の領域には、それぞれ、枠が表示される
ことを特徴とする請求項６に記載の情報処理装置。

【請求項9】

前記同じ識別情報は、前記指定された領域に対するユーザ操作がなされている時に、当該領域に対応付けて表示されている
ことを特徴とする請求項１に記載の情報処理装置。

【請求項10】

前記同じ識別情報は、ツールチップ形式で、前記指定された領域に対応付けて表示されている
ことを特徴とする請求項１に記載の情報処理装置。

【請求項11】

画像データを表示するように制御する表示制御手順と、
前記画像データ上で、前記画像データ内の領域の指定を受け付ける受付手順と、
を有し、
前記表示制御手順では、前記画像データを表示した状態で、前記指定された領域内の文字列を前記画像データ外の欄に表示するように制御し、
当該文字列が当該欄に表示された画面上では、同じ識別情報が、それぞれ、前記指定された領域と、当該欄と、に対応付けて表示されている
ことを特徴とする情報処理装置の制御方法。

【請求項12】

画像データを表示するように制御する表示制御手順と、
前記画像データ上で、前記画像データ内の領域の指定を受け付ける受付手順と、
を情報処理装置に実行させるアプリケーションであって、
前記表示制御手順では、前記画像データを表示した状態で、前記指定された領域内の文字列を前記画像データ外の欄に表示するように制御し、
当該文字列が当該欄に表示された画面上では、同じ識別情報が、それぞれ、前記指定された領域と、当該欄と、に対応付けて表示されている
ことを特徴とするアプリケーション。

【請求項13】

前記同じ識別情報は、前記指定された領域の付近に一つ、前記欄の付近に一つ表示される
ことを特徴とする請求項１２に記載のアプリケーション。

【請求項14】

前記指定された領域内の文字列は、前記画像データにおける前記指定された領域に対する文字認識処理により前記画像データから認識された文字列である
ことを特徴とする請求項１２に記載のアプリケーション。

【請求項15】

前記指定された領域は、画像データを含むファイルのファイル名の生成に用いられる
ことを特徴とする請求項１２に記載のアプリケーション。

【請求項16】

前記指定された領域は、画像データに関するメタデータの生成に用いられる
ことを特徴とする請求項１２に記載のアプリケーション。

【請求項17】

前記画像データ上では、前記画像データ内の、前記領域とは異なる別の領域の指定を受け付けることが可能であり、
前記表示制御手順では、さらに、前記画像データを表示した状態で、前記指定された別の領域内の別の文字列を、前記画像データ外の、前記欄とは異なる別の欄に表示するように制御し、
前記文字列が前記欄に表示され、前記別の文字列が前記別の欄に表示された画面上では、前記同じ識別情報とは異なる別の同じ識別情報が、それぞれ、前記指定された別の領域と、前記別の欄と、に対応付けて表示されている
ことを特徴とする請求項１２に記載のアプリケーション。

【請求項18】

前記領域と前記別の領域とは、前記画像データ上での別のユーザ操作により指定される
ことを特徴とする請求項１７に記載のアプリケーション。

【請求項19】

前記領域および前記別の領域には、それぞれ、枠が表示される
ことを特徴とする請求項１７に記載のアプリケーション。

【請求項20】

前記同じ識別情報は、前記指定された領域に対するユーザ操作がなされている時に、当該領域に対応付けて表示されている
ことを特徴とする請求項１２に記載のアプリケーション。

【請求項21】

前記同じ識別情報は、ツールチップ形式で、前記指定された領域に対応付けて表示されている
ことを特徴とする請求項１２に記載のアプリケーション。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】０００１

【補正方法】変更

【補正の内容】

【0001】

本発明は、画像データの表示に関する。

【手続補正4】

【補正対象書類名】明細書

【補正対象項目名】０００４

【補正方法】変更

【補正の内容】

【0004】

しかしながら、特許文献１には、画像データを表示する表示制御手段と、前記画像データ上で、前記画像データ内の領域の指定を受け付ける受付手段と、を有し、前記表示制御手段は、前記画像データを表示した状態で、前記指定された領域内の文字列を前記画像データ外の欄に表示するように制御し、当該文字列が当該欄に表示された画面上では、同じ識別情報が、それぞれ、前記指定された領域と、当該欄と、に対応付けて表示されていることを特徴とする情報処理装置は開示されていなかった。

【手続補正5】

【補正対象書類名】明細書

【補正対象項目名】０００５

【補正方法】変更

【補正の内容】

【0005】

本件は、上記課題に鑑みてなされたものである。

【手続補正6】

【補正対象書類名】明細書

【補正対象項目名】０００６

【補正方法】変更

【補正の内容】

【0006】

本開示に係る情報処理装置は、画像データを表示する表示制御手段と、前記画像データ上で、前記画像データ内の領域の指定を受け付ける受付手段と、を有し、前記表示制御手段は、前記画像データを表示した状態で、前記指定された領域内の文字列を前記画像データ外の欄に表示するように制御し、当該文字列が当該欄に表示された画面上では、同じ識別情報が、それぞれ、前記指定された領域と、当該欄と、に対応付けて表示されていることを特徴とする。

【手続補正7】

【補正対象書類名】明細書

【補正対象項目名】０００７

【補正方法】変更

【補正の内容】

【0007】

本開示の技術によれば、画像データを表示した状態で、指定された領域内の文字列を前記画像データ外の欄に表示するように制御し、当該文字列が当該欄に表示された画面上では、同じ識別情報が、それぞれ、前記指定された領域と、当該欄と、に対応付けて表示されているようにすることが可能である。