特許 7581306 クライアント端末、クライアント端末の制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-01

(45)【発行日】2024-11-12

(54)【発明の名称】クライアント端末、クライアント端末の制御方法及びプログラム

(51)【国際特許分類】

   H04N 1/00 20060101AFI20241105BHJP

   G06V 30/00 20220101ALI20241105BHJP

【ＦＩ】

H04N1/00 350

G06V30/00 S

【請求項の数】 21

(21)【出願番号】P 2022192636

(22)【出願日】2022-12-01

(65)【公開番号】P2024079933

(43)【公開日】2024-06-13

【審査請求日】2023-06-08

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】松田 浩太郎

【審査官】橋爪 正樹

(56)【参考文献】

【文献】特開２０２０－１４０５６４（ＪＰ，Ａ）

【文献】特開２０１３－２２９００７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １／００

Ｇ０６Ｖ ３０／００－３０／４２４

(57)【特許請求の範囲】

【請求項1】

原稿が読み取られて得られる画像データと、前記画像データに対する文字認識処理により前記画像データから認識される１以上の文字列と、を取得する取得手段と、
前記画像データのうちの少なくとも一部、および、前記１以上の文字列のうちの少なくとも一部から構成されるリストの表示を制御する表示制御手段と、
を有し、
前記表示制御手段は、ユーザーによる指示に基づいて、前記画像データのうちの表示される領域を、前記画像データにおける１つのページ内で変化させるように制御することが可能であり、
前記リストは、前記表示される領域が変化すると、前記画像データのうちの当該表示される領域において認識された文字列が表示されるように変化することを特徴とするクライアント端末。

【請求項2】

前記ユーザーによる指示は、前記画像データのうちの少なくとも一部の表示を拡大する指示、および、前記画像データのうちの少なくとも一部の表示を縮小する指示の少なくとも１つであり、当該指示に基づいて、前記画像データのうちの前記表示される領域が変化することを特徴とする請求項１に記載のクライアント端末。

【請求項3】

前記リストは、スクロール可能な形式で表示され、
前記表示制御手段は、前記表示される領域において認識された文字列が表示されるように、前記リストを所定の位置にスクロールして表示することを特徴とする請求項１に記載のクライアント端末。

【請求項4】

前記表示制御手段は、前記表示される領域において認識された文字列が表示されるように、前記表示される領域に含まれる文字列のみを前記リストに含ませることを特徴とする請求項１に記載のクライアント端末。

【請求項5】

前記表示制御手段は、前記表示される領域において認識された文字列のうち、文字列の一部のみが当該領域に含まれる文字列については、前記リストにおいて文字列の全体が当該領域に含まれる文字列よりも下部に配置させるように前記リストの表示を制御し、
文字列の一部のみが当該領域に含まれる文字列が複数ある場合には、前記画像データにおいてより上部にある文字列が、前記リストにおいてより上部に配置されることを特徴とする請求項１に記載のクライアント端末。

【請求項6】

前記表示制御手段は、前記表示される領域において認識された文字列のうち、文字列の一部のみが当該領域に含まれる文字列については、前記リストに含ませないことを特徴とする請求項１に記載のクライアント端末。

【請求項7】

前記文字認識処理においては、さらに、Ｋｅｙとなる文字列と、当該Ｋｅｙに対応するＶａｌｕｅとなる文字列との組み合わせが認識されることを特徴とし、
前記表示制御手段は、前記表示される領域において認識された文字列のうち、前記Ｋｅｙとなる文字列については、前記リストの最下部に配置させるように前記リストの表示を制御し、
前記Ｋｅｙとなる文字列が複数ある場合には、前記画像データにおいてより上部にある文字列が、前記リストにおいてより上部に配置されることを特徴とする請求項１に記載のクライアント端末。

【請求項8】

前記リストに含まれる、表示された文字列の選択を受け付ける受付手段と、
前記画像データに対して、当該画像データに関する情報を設定する設定手段をさらに有する請求項１に記載のクライアント端末。

【請求項9】

前記表示制御手段は、前記受付手段で選択された文字列を前記リストから抽出して表示するように制御することを特徴とする請求項８に記載のクライアント端末。

【請求項10】

前記設定手段は、前記受付手段で選択された文字列を用いて前記情報を設定することを特徴とする請求項８に記載のクライアント端末。

【請求項11】

前記情報は、前記画像データを含むファイルのファイル名、当該ファイルが保存されるフォルダー名、及び、前記ファイルに設定されるメタデータの少なくとも１つであることを特徴とする請求項８に記載のクライアント端末。

【請求項12】

前記クライアント端末は、カメラを備え、
前記取得手段は、前記画像データを、当該カメラで原稿を撮影することにより取得することを特徴とする請求項１に記載のクライアント端末。

【請求項13】

前記クライアント端末は、スキャナーを備え、
前記取得手段は、前記画像データを、当該スキャナーで原稿をスキャンすることにより取得することを特徴とする請求項１に記載のクライアント端末。

【請求項14】

前記クライアント端末は、ストレージサーバを備え、
前記取得手段は、前記画像データを、当該ストレージサーバから取得することを特徴とする請求項１に記載のクライアント端末。

【請求項15】

前記クライアント端末は、タッチパネルを備え、
前記表示制御手段は、当該タッチパネル上に、前記画像データのうちの少なくとも一部、および、前記リストを表示するように制御することを特徴とする請求項１に記載のクライアント端末。

【請求項16】

前記文字認識処理を行う文字認識手段
をさらに有する請求項１に記載のクライアント端末。

【請求項17】

前記クライアント端末は、サーバーと通信可能であり、
前記文字認識処理は、前記サーバーにおいて実行され、
前記取得手段は、前記サーバーから前記１以上の文字列を取得する
ことを特徴とする請求項１に記載のクライアント端末。

【請求項18】

前記リストにおいては、前記１以上の文字列のうちの少なくとも一部が上下方向に並べて表示される
ことを特徴とする請求項１に記載のクライアント端末。

【請求項19】

前記リストは、上下方向にスクロール可能な形式で表示され、
前記表示制御手段は、前記画像データから認識される前記１以上の文字列のうち、前記表示される領域内で先頭に位置する文字列が、前記リストが表示される表示領域において先頭に表示されるように、前記リストを所定の位置にスクロールして表示する
ことを特徴とする請求項１８に記載のクライアント端末。

【請求項20】

原稿が読み取られて得られる画像データと、前記画像データに対する文字認識処理により前記画像データから認識される１以上の文字列と、を取得する取得工程と、
前記画像データのうちの少なくとも一部、および、前記１以上の文字列のうちの少なくとも一部から構成されるリストの表示を制御する表示制御工程と、
を有し、
前記表示制御工程においては、ユーザーによる指示に基づいて、前記画像データのうちの表示される領域を、前記画像データにおける１つのページ内で変化させるように制御することが可能であり、
前記リストは、前記表示される領域が変化すると、前記画像データのうちの当該表示される領域において認識された文字列が表示されるように変化することを特徴とするクライアント端末の制御方法。

【請求項21】

コンピューターに、
原稿が読み取られて得られる画像データと、前記画像データに対する文字認識処理により前記画像データから認識される１以上の文字列と、を取得する取得手順と、
前記画像データのうちの少なくとも一部、および、前記１以上の文字列のうちの少なくとも一部から構成されるリストの表示を制御する表示制御手順と、
を実行させるためのプログラムであって、
前記表示制御手順においては、ユーザーによる指示に基づいて、前記画像データのうちの表示される領域を、前記画像データにおける１つのページ内で変化させるように制御することが可能であり、
前記リストは、前記表示される領域が変化すると、前記画像データのうちの当該表示される領域において認識された文字列が表示されるように変化することを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像データに含まれる文字列のリストを表示するユーザーインターフェースに関するものである。

【背景技術】

【0002】

近年、デジタルトランスフォーメーションの流れの一環として、紙文書をデジタル化して、以降の文書処理業務をＩＴシステムで効率化するニーズが増えている。まず紙文書をスキャンまたは撮影して、画像を電子ファイルにする。文書には、発注書、請求書、申請書などの種別があり、画像ファイルから文書に記載されている文字列を文字認識処理（ＯＣＲ）で抽出し活用することによって、これら各種文書処理業務を効率化できる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－０８６７１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１には、画像データに対して文字認識処理を行うことにより取得した文字列のリストを表示し、当該リスト上で選択された文字列を、当該画像データを含むファイルの送信先フォルダー名に使用する技術が開示されている。当該リストは１ページごとに、対応する画像データとともに表示される。

【0005】

しかし、１ページ分の画像データ内で、表示される領域を変化させることは開示されていない。例えば、画像データを拡大・縮小したり、画像データ内で移動したりすることで、表示される領域を変化させることが考えられる。特許文献１では、表示される領域の変化に合わせて文字列のリストを適切に表示することができない。

【0006】

本発明の目的は、画像データに対して文字認識処理を行うことにより取得した文字列のリストを、当該画像データの表示される領域の変化に合わせて適切に表示することである。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本発明のクライアント端末は、原稿が読み取られて得られる画像データと、前記画像データに対する文字認識処理により前記画像データから認識される１以上の文字列と、を取得する取得手段と、前記画像データのうちの少なくとも一部、および、前記１以上の文字列のうちの少なくとも一部から構成されるリストの表示を制御する表示制御手段と、を有し、前記表示制御手段は、ユーザーによる指示に基づいて、前記画像データのうちの表示される領域を、前記画像データにおける１つのページ内で変化させるように制御することが可能であり、前記リストは、前記表示される領域が変化すると、前記画像データのうちの当該表示される領域において認識された文字列が表示されるように変化することを特徴とする。

【発明の効果】

【0008】

本発明に係るクライアント端末によれば、画像データに対して文字認識処理を行うことにより取得した文字列のリストを、拡大や縮小などの指示に基づく、当該画像データの表示される領域の変化に合わせて適切に表示する仕組みを提供することができる。

【図面の簡単な説明】

【0009】

【図1】本発明を実施するためのシステム構成およびネットワーク構成を示す図である。

【図2】本発明における情報処理装置の情報処理機能に関するハードウェア構成図である。

【図3】本発明のシステムのソフトウェアおよびハードウェア構成を説明する図である。

【図4】本発明における処理を示すフローチャートである。

【図5】本発明における原稿画像を説明する図である。

【図6】本発明におけるＵＩの一例を示す図である。

【図7】本発明におけるＵＩの一例を示す図である。

【図8】本発明におけるＵＩの一例を示す図である。

【図9】本発明におけるＵＩの一例を示す図である。

【図10】本発明におけるＵＩの一例を示す図である。

【図11】本発明におけるＵＩの一例を示す図である。

【図12】本発明における原稿画像を説明する図である。

【図13】本発明におけるＵＩの一例を示す図である。

【図14】本発明におけるＵＩ制御の処理を示すフローチャートである。

【発明を実施するための形態】

【0010】

＜第１の実施形態＞
以下、本発明を実施するための形態について図面を用いて説明する。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものではなく、また、実施の形態で説明されている特徴の組み合わせのすべてが発明の解決手段に必須のものとは限らない。

【0011】

図１は、本発明を実施するためのシステム構成およびネットワーク構成の一例を示している。１０１は、インターネット・イントラネットなどのネットワークである。１１１はクライアント端末である。１２１はスキャナー端末である。１３１はアプリケーションサーバーである。クライアント端末１１１としては、パーソナルコンピューター、ラップトップコンピューター、タブレットコンピューター、スマートフォンなどの形態・種別が存在する。スキャナー端末１２１としては、オフィス複合機、インクジェット複合機、スキャン専用端末など、様々な機種が存在する。アプリケーションサーバー１３１は、オンプレミスのサーバーや、クラウドでホスティングされる仮想マシンサーバー、ＳａａＳ（Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）などの提供形態が存在する。

【0012】

図２は、クライアント端末１１１、スキャナー端末１２１、アプリケーションサーバー１３１の情報処理機能のモジュール構成図を示している。２０２はネットワークインターフェースであり、ＬＡＮなどのネットワークに接続して、他のコンピューターやネットワーク機器との通信を行う。通信の方式としては、有線・無線のいずれでもよい。２０４は組込済みプログラムおよびデータが記録されているＲＯＭである。２０５は一時メモリ領域のＲＡＭである。２０６はＨＤＤやフラッシュメモリに代表されるような二次記憶装置である。２０３はＣＰＵであり、ＲＯＭ２０４、ＲＡＭ２０５、二次記憶装置２０６などから読み込んだプログラムを実行する。２０７はＧＰＵである。ＧＰＵ２０７は画像処理に特化したプロセッサーで、画像処理の実行、ディスプレイへの出力画像の描画、機械学習など大量・並列の演算処理を担当する。ＧＰＵ２０７は、必ずしも備えていなくてもよい。２０１はユーザーインターフェースであり、ディスプレイ、キーボード、マウス、ボタン、タッチパネルなどによる、情報や信号の入出力を行う。これらのハードウェアを備えないコンピューターは、リモートデスクトップやリモートシェルなどにより、他のコンピューターから接続・操作することも可能である。各部は入出力インターフェース２０８を介して接続されている。

【0013】

図３は、本システムのソフトウェアおよびハードウェア構成を示す図である。各ハードウェアにインストールされたソフトウェアは、それぞれのＣＰＵ２０３で実行され、ネットワーク接続の矢印で図示するように、相互に通信可能な構成となっている。また、ＧＰＵ２０７を備えるハードウェアにおいては、画像処理はＧＰＵ２０７で実行するように構成することも可能である。

【0014】

３０１は、クライアント端末１１１で実行されるクライアントアプリケーションである。クライアントアプリケーション３０１は、クライアント端末１１１のＯＳにインストールして実行するネイティブアプリケーションの形態を取ることが多い。これはＯＳが提供するカメラやファイルなどの全機能にアクセス可能なアプリケーションを作成可能なためである。しかしながら、それら必要な機能にブラウザーから利用可能なＡＰＩがＯＳで提供されている場合は、ＨＴＭＬ，ＪａｖａＳｃｒｉｐｔ等から成るＷｅｂアプリケーションをブラウザーで実行する形態としてもよい。その場合は、クライアントアプリケーション３０１はブラウザーとなる。本実施形態では、クライアントアプリケーション３０１はいわゆる汎用的なスマートフォン、タブレットＰＣなどのクライアント端末１１１で使用することを想定して以降説明する。しかしながら、スキャナー端末１２１がクライアントアプリケーション３０１を実行するために必要なＯＳやタッチパネルＵＩなどの構成を備えていれば、スキャナー端末１２１で実行する構成としてもよい。

【0015】

３１１は、ファイルを保存・管理するためのファイルストレージである。このように、クライアント端末１１１はストレージサーバを備えるように構成しても良い。ファイルストレージ３１１は、ファイル格納部３１２、メタデータ管理部３１３から成る。ファイル格納部３１２は、ファイル自体のバイナリデータを格納・管理する。メタデータ管理部３１３は、ファイルごとのメタデータを格納・管理する。ファイルのメタデータとしては、一般的なものとしては作成日時、サイズ、作成ユーザー名などが挙げられるが、任意のメタデータを扱ってよいものとする。

【0016】

３２１は、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）などの文字認識処理を含む画像処理を実行する画像処理部である。画像処理部３２１は、ファイル一時格納部３２２、画像処理実行部３２３から成る。ファイル一時格納部３２２は、後述する画像処理実行部３２３の画像処理の実行対象となるファイルおよび実行結果を格納する。画像処理実行部３２３は、ファイル一時格納部３２２から処理対象のファイルを読み出し、ＯＣＲによる文字認識処理等を実行し、実行結果ファイルをファイル一時格納部３２２に保存する。３２４はカメラである。クライアントアプリケーション３０１は、カメラ３２４で撮影した画像を取得するように構成してもよい。

【0017】

３３１は、スキャナー端末１２１に装備されているスキャナーである。スキャナー３３１は、光学センサーによって原稿面を走査して反射光や色を読み取る。３３２は画像形成部であり、スキャナー３３１で読み取った光学測定値から原稿のページ画像を形成する。３３３は通信インターフェースである。通信インターフェース３３３は、ＬＡＮ、ＵＳＢ、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈなどの有線あるいは無線の通信プロトコルによって、外部機器との通信を制御する。クライアントアプリケーション３０１は、通信インターフェース３３３に接続して、スキャナー３３１による原稿スキャンを開始し、画像形成部３３２が生成した画像を取得することができる。

【0018】

ファイルストレージ３１１および画像処理部３２１は、ファイルストレージ３４１および画像処理部３５１としてアプリケーションサーバー１３１に配置してもよい。３４１～３５３は、前述した３１１～３２３と同様のため説明は省略する。

【0019】

図４は全体の処理の流れを説明するフローチャートである。図４に示すクライアントアプリケーション３０１が行う処理は、クライアント端末１１１の二次記憶装置２０６に記録されたプログラムをＲＡＭ２０５に読み込んだ後、ＣＰＵ２０３の演算処理として実行される。前述したように、画像処理についてはＧＰＵ２０７で実行される。なお、本実施形態においては、以降の処理をクライアント端末１１１のクライアントアプリケーション３０１が行う構成を説明するが、これに限らない。前述したように、スキャナー端末が以降の処理を行うように構成してもよい。

【0020】

クライアントアプリケーション３０１は、カメラ３２４、スキャナー端末３３３、ファイルストレージ３１１、３４１のいずれかから原稿画像を取得する（Ｓ４０１）。本発明においては、１枚の原稿に基づいて画像データを取得する。具体的には、後述する図６に示す画面６１０において、クライアントアプリケーション３０１は、カメラ選択ボタン６１２の押下を検知する。クライアントアプリケーション３０１は、当該押下を検知すると、ユーザーインターフェース２０１に画面６２０を表示する。ユーザーは、クライアント端末１１１の備えるカメラ３２４を用いて、原稿の撮影を行う。クライアントアプリケーション３０１は、画面６２０において、撮影ボタン６２３の押下を検知すると、撮影された画像データを取得する。また、スキャナー端末３３３から画像データを取得する場合は、ユーザーはスキャナー選択ボタン６１１を押下する。クライアントアプリケーション３０１は、当該押下を検知すると、ユーザーインターフェース２０１に画面６３０を表示する。ユーザーは、画面６３０において、スキャンに関する設定を行う。クライアントアプリケーション３０１は、ユーザーによるスキャンボタン６３５の押下を検知すると、スキャン実行指示を示す情報をスキャナー端末１２１へ送信する。当該情報を受信したスキャナー端末１２１はスキャナー３３１を用いてスキャンを実行する。当該スキャンにより得られた画像データは、通信インターフェース３３３を介してクライアントアプリケーション３０１へ送信され、クライアントアプリケーション３０１は当該画像データを取得する。ファイルストレージ３１１から画像データを取得する場合は、ユーザーは、画面６１０においてローカルファイルボタン６１３の押下をする。クライアントアプリケーション３０１は、当該押下を検知すると、ユーザーインターフェース２０１に画面６４０を表示する。そして、画面６４０に表示されたファイルの中からユーザーによるファイルの選択を受け付ける。クライアントアプリケーション３０１は、ユーザーにより選択されたファイルを、ファイルストレージ３１１から取得する。なお、ファイルストレージ３４１から画像データを取得する処理は、取得元がアプリケーションサーバーのファイルストレージ３４１である点を除いて、ファイルストレージ３１１から取得する場合と同様である。

【0021】

クライアントアプリケーション３０１は、画像処理部３２１に画像を入力し、画像処理部３２１は画像をファイル一時格納部３２２に保存する。画像処理実行部３２３はファイル一時格納部３２２の画像ファイルを読込み、文字認識処理（ＯＣＲ）を実行し、画像処理結果をファイル一時格納部３２２に出力する（Ｓ４０２）。クライアントアプリケーション３０１は、画像処理部３２１から画像処理結果を取得する（Ｓ４０３）。アプリケーションサーバー１３１の画像処理部３５１を使用する場合でも、アクセス先が３５１になるだけで手順は同様である。クライアント端末１１１が十分な性能のＣＰＵやＧＰＵを備えない場合、この構成を取ってアプリケーションサーバー１３１に画像処理をオフロードすることができる。クライアントアプリケーション３０１は、画像と画像処理結果のＯＣＲ文字列をＵＩに表示し、ＯＣＲ文字列の選択を受け付ける（Ｓ４０４）。クライアントアプリケーション３０１は、選択されたＯＣＲ文字列をフォルダー名、ファイル名、メタデータの少なくとも１つに使用して、画像ファイルを宛先のファイルストレージ３１１または３４１に保存する（Ｓ４０５）。

【0022】

以降、Ｓ４０３、Ｓ４０４、Ｓ４０５の処理詳細について、図５～１４を用いて説明する。

【0023】

図５は、Ｓ４０１で取得した原稿画像のページ全体画像５００を示している。本実施形態では、英語のＰＵＲＣＨＡＳＥ ＯＲＤＥＲ（発注書）の文書の画像を使って以降の説明をする。なお、文書の言語や文書種別は任意のものでよい。原稿画像５００には、発注書に記載されている様々な情報（日付、番号、会社名、住所、電話番号、商品名、価格等）が文字列として含まれている。５０１は、原稿画像５００と、画像処理によって得られたＯＣＲ文字列領域５０２の関係を示す直交座標系を説明する図である。Ｓ４０２で、原稿画像５００を入力として画像処理を実行し、Ｓ４０３で画像処理結果を取得すると、画像処理結果として次のような情報が得られる。ＯＣＲ文字列「ＰＵＲＣＨＡＳＥ ＯＲＤＥＲ」とＯＣＲ文字列領域５０２の始点座標・幅・高さである。また、得られたＯＣＲ文字列とＯＣＲ文字列領域どうしの位置・サイズ情報から、いわゆるＫｅｙ－Ｖａｌｕｅ型の文字列ペアであるか、ＫｅｙとＶａｌｕｅのどちらの文字列か、といった追加の解析情報も画像処理結果に含めることができる。例えば、ＯＣＲ結果の文字列の構文解析を行い、コロン（：）等のＫｅｙの後ろによく使われる文字の検出に基づいて、ＫｅｙとＶａｌｕｅを検出することができる。もしくは、Ｋｅｙとなる文字列の指定をユーザーから予め受け付けておき、当該文字列を検出したら、対応するＶａｌｕｅとなる文字列も特定するよう構成してもよい。原稿画像５００内において、Ｋｅｙ―Ｖａｌｕｅ型の文字列ペアにあたるものは、例えば、「ＰＯ Ｎｕｍｂｅｒ：」と「２０２２－Ｐ００１－０７５２５」のペア、「Ｃｏｍｐａｎｙ Ｎａｍｅ：」と「ＸＹＺ Ｃｏｒｐｏｒａｔｉｏｎ」のペアである。原稿画像５００から得られた画像処理結果であるＯＣＲ文字列配列をテーブル形式にまとめたものがテーブル１となる。テーブル１には、前述のＯＣＲ文字列領域の位置・サイズ情報も含まれるが、煩雑になるためテーブルへの記載を省略する。文字列配列ごとにＯＣＲ文字列領域の位置・サイズ情報が必ず存在する前提で以降の説明を続ける。

【0024】

【表1】

【0025】

図６、７、８、９、１０、１１、１３がクライアントアプリケーション３０１のＵＩ説明図である。これらのＵＩは、例えば、クライアント端末１１１のユーザーインターフェース２０１に表示される。例えば、スマートフォン等のタッチパネル上に表示される。図１２は、図１１の説明補助用の原稿画像内領域説明図である。図１４がＵＩ処理フローを説明するフローチャートである。

【0026】

以降、これらの図を用いてクライアントアプリケーション３０１のＵＩ制御処理を順番に説明する。

【0027】

６１０は、画像の読込み画面である。ユーザーが、原稿画像の取得元をスキャナー端末１２１、カメラ３２４、ファイルストレージ３１１、３４１のいずれかから選択する画面である。クライアントアプリケーション３０１は、ユーザーによるスキャナー選択ボタン６１１の押下を検知すると、スキャナー端末１２１を原稿画像の取得元として画像データを取得する。ユーザーによるカメラ選択ボタン６１２の押下を検知すると、カメラ３２４を原稿画像の取得元として画像データを取得する。ユーザーによるローカルファイルボタン６１３の押下を検知すると、ファイルストレージ３１１を原稿画像の取得元として画像データを取得する。ユーザーによるアプリケーションサーバーボタン６１４の押下を検知するとファイルストレージ３４１を原稿画像の取得元として画像データを取得する。

【0028】

カメラ３２４を原稿画像の取得元にした場合、クライアントアプリケーション３０１は、ユーザーインターフェース２０１に、カメラ撮影画面６２０を表示する。６２１がカメラ３２４の撮影エリア表示部であり、ユーザーは撮影ボタン６２３を押下して、原稿６２２を撮影する。クライアントアプリケーション３０１は、戻るボタン６２４の押下を検知すると、１つ前の画面（ここでは、画面６１０）を表示する。戻るボタンの動作はすべて同様なので、以降では説明を省略する。

【0029】

スキャナー端末１２１を原稿画像の取得元にした場合、クライアントアプリケーション３０１は、スキャン設定画面６３０を表示する。６３１、６３２、６３３は、それぞれ片面・両面の読み込み設定、カラー・白黒のカラーモード、解像度を選択するドロップダウンコントロールである。クライアントアプリケーション３０１は、ユーザーによるスキャンボタン６３５の押下を検知すると、通信インターフェース３３３を介してスキャナー端末１２１にセットした原稿をスキャンし、生成された画像データを取得する。

【0030】

ファイルストレージ３１１または３４１を原稿画像の取得元にした場合、クライアントアプリケーション３０１は、画像ファイル読込み画面６４０を表示する。６４１はファイルストレージ内のフォルダーパスを表示するコントロールである。６４２がフォルダーナビゲーション用のリストビューコントロールである。ユーザーは、６４２を押下して、目的のフォルダーまで移動する。上のフォルダーに戻る場合はコントロール６４１を押下する。６４３がファイルストレージ内のファイルを選択するためのリストビューコントロールである。クライアントアプリケーションは、６４３で原稿画像として取得する画像ファイルの選択をユーザーから受け付けた後、次へボタン６４４の押下を検知すると、読込み対象ファイルを６４３で示すファイルと決定し、次の画面（ここでは、画面７１０）を表示する。次へボタンの動作はすべて同様なので、以降では説明を省略する。ここまでがＳ４０１の処理に相当する。

【0031】

クライアントアプリケーション３０１は、スキャナー端末１２１、カメラ３２４、ファイルストレージ３１１、３４１のいずれかから原稿画像を取得したら、画像の確認画面７１０を表示する。７１１は原稿画像のプレビューである。クライアントアプリケーション３０１は、ユーザーによる次へボタンの押下を検知すると、原稿画像を入力として画像処理部３２１または３５１で画像処理を実行する。ここまでがＳ４０２の処理に相当する。

【0032】

クライアントアプリケーション３０１はバックグラウンドで画像処理の実行が終了するのを待機しつつ、宛先フォルダー指定画面７２０を表示する。７２１は宛先のファイルストレージ３１１、３４１のいずれかのフォルダーパスを表示している。７２２がカレントフォルダー以下のサブフォルダーの一覧を表示するリストビューコントロールである。クライアントアプリケーション３０１は、７２２の押下を検知すると、画面７３０を表示してカレントフォルダーを７３１に表示する。ユーザーは、目的の宛先フォルダーまで画面を遷移した後、次へボタンを押下する。クライアントアプリケーション３０１は、次へボタンの押下を検知して、宛先フォルダーを決定する。

【0033】

以降の処理を図１４のフローチャートも用いて説明する。図１４に示す処理は、Ｓ４０３およびＳ４０４を詳細に説明した処理である。以降の処理においては、Ｓ４０３およびＳ４０４即ちＳ１４０１～Ｓ１４０６を、４回繰り返す。１回目は画像データを含むファイルの保存先となるサブフォルダー名の決定、２回目はファイル名の決定、３回目は当該ファイルに設定されるメタデータの決定、４回目は、当該ファイルに設定されるタグの決定のための処理である。

【0034】

まず、サブフォルダー名の決定の処理について説明する。サブフォルダー名の決定の処理は、画像データを取得し画像処理を実行したことを契機に開始される。クライアントアプリケーション３０１は画像処理部３２１または３５１から画像処理結果として原稿画像とテーブル１に示すＯＣＲ文字列配列とを取得する（Ｓ１４０１）。ここまでがＳ４０３の処理に相当する。クライアントアプリケーション３０１は次に使用するリストビューのために、テーブル２に示すリストビュー配列を作成し、テーブル１のＯＣＲ文字列配列を取り込む（Ｓ１４０２）。テーブル２のリストビュー配列番号以外は、テーブル１のＯＣＲ文字列配列データそのものである。リストビュー配列番号を並べ替えることによって、どのＯＣＲ文字列データをどのような順序でリストビューに表示するかを変化させる。

【0035】

【表2】

【0036】

クライアントアプリケーション３０１は、画面７３０で次へボタンの押下を検知し宛先フォルダーが特定すると、サブフォルダー指定画面８１０を表示する。なお、宛先フォルダーの特定は、Ｓ１４０２以前に行われていてもよい。また、サブフォルダー名の決定の処理においては、サブフロー１及びサブフロー２は説明せず、処理も行わない構成を説明するが、これに限らない。サブフォルダー名の決定の処理においてもサブフロー１及びサブフロー２を行ってもよい。サブフロー１及びサブフロー２の詳しい処理は、メタデータの決定の処理及びタグの決定の処理において説明する。

【0037】

８１１は原稿画像のプレビューエリアである。プレビューエリア８１１は、スワイプ操作によって原稿画像５００の上下方向・左右方向ページ内移動が可能である。８１１では原稿画像５００の上部３分の１程度しか表示できていないが、スクロール操作によりページ下部へ移動・表示エリアを変えることができる。またピンチ操作で、画像のズームイン・ズームアウトにより表示エリアを変えることができる。８１２は画像から抽出されたＯＣＲ文字列を列挙表示・選択するためのリストビューコントロールである。８１３はリストビューコントロール８１２のアイテム数が多く表示しきれない場合に表示されるスクロールインジケーターである。

【0038】

クライアントアプリケーション３０１は取得した原稿画像をプレビューエリア８１１に表示する（Ｓ１４０３）。そして、プレビューエリア８１１の先頭に表示されているＯＣＲ文字列「ＰＵＲＣＨＡＳＥ ＯＲＤＥＲ」を、リストビュー配列の表示先頭にセットする（Ｓ１４０４）。即ち、テーブル２において、リストビュー配列番号１を表示先頭であると設定する。そして、表示先頭のリストビュー配列番号のＯＣＲ文字列をリストビューコントロール８１２の先頭にセットして、テーブル２のリストビュー配列をリストビューコントロール８１２に表示する（Ｓ１４０５）。本実施形態において、リストビューコントロール８１２は、スワイプ操作で上下方向にスクロール可能であり、テーブル２のリストビュー配列番号の順にアイテムが表示される。ここで、スクロール可能なリストにおいて、画面に表示される文字列には限りがある。本実施形態においては、表示先頭にセットされた文字列が、画面に表示されるように、リストがスクロールされて表示される。８２０が、同じくサブフォルダー指定画面であるが、プレビューエリア８１１をスワイプ操作することによって、原稿画像５００を下方向にスクロールした結果の画面を示している。クライアントアプリケーション３０１はプレビューエリアに対して８１１から８２１のように移動及びズームの少なくとも１つの操作がされたことを検出する（Ｓ１４０６）。検出した場合、クライアントアプリケーション３０１は、プレビューエリアに、移動・ズーム後の原稿画像５００のプレビューを更新して表示する（Ｓ１４０３）。プレビューエリア８２１で、ＯＣＲ文字列「Ｐｈｏｎｅ：」が先頭になったことに連動して、クライアントアプリケーション３０１は、テーブル２のリストビュー配列の表示先頭をリストビュー配列番号１０にセットする（Ｓ１４０４）。クライアントアプリケーション３０１は、リストビューコントロール８２２をリストビュー配列番号１０の「Ｐｈｏｎｅ：」文字列が先頭にくるよう表示を更新する（Ｓ１４０５）。具体的には、クライアントアプリケーション３０１は、リストビューコントロール８２２を所定の位置まで下にスクロールし、ＯＣＲ文字列「Ｐｈｏｎｅ：」がリストビューコントロール８２２の表示エリアにおいて先頭に表示されるように制御する。以降、この繰り返しでプレビューエリア８１１の移動・ズームを検知すると、プレビューエリア８２１の表示更新、それに連動してリストビューコントロール８２２の表示先頭を変更して表示を更新する。なお、本実施形態では、リストビューコントロール８２２をスクロールさせることで、プレビューエリア８２１に表示される画像の表示範囲に合わせて、リストの表示制御を行った。他にも、リストに含まれる文字列を、プレビューエリア８２１に表示される、画像データの一部の領域に含まれる文字列のみとしてもよい。それにより、プレビューエリア８２１の先頭に表示されるＯＣＲ文字列を、リストビューコントロールの表示エリアにおいても先頭に表示されるように、リストの表示を制御してもよい。

【0039】

本実施形態では、サブフォルダー名に文字列配列番号１３である「ＸＣａｍｅｒａ Ｃｏｍｐａｎｙ」を選択して指定するユースケースとする。前述のプレビューエリア８２１の表示エリアとリストビュー８２２の先頭表示が連動して、目的とする「ＸＣａｍｅｒａ Ｃｏｍｐａｎｙ」文字列がリストビュー８２２内に表示されたら、ユーザーは８２２をタップして選択する。クライアントアプリケーション３０１は、ユーザーによるリスト内の文字列の選択を受付けると、選択済み状態を示すため、８２２をハイライト表示する。また、８２２の選択された文字列に対応して、プレビューエリア８２１内の「ＸＣａｍｅｒａ Ｃｏｍｐａｎｙ」文字列領域８２３をハイライト表示するこれにより、ユーザーは、原稿画像内のどこの文字列領域が選択されたかを確認できる。クライアントアプリケーション３０１は、次へボタンの押下を検知すると、次の画面に遷移して本フローを終了する。

【0040】

続いて、Ｓ１４０１～Ｓ１４０６の２回目の処理を説明する。画像データのファイル名を決定する処理である。Ｓ１４０１およびＳ１４０２は、サブフォルダー名の決定の処理と同様である。なお、２回目以降の処理ではＳ１４０１およびＳ１４０２は省略してもよい。その場合は、１回目のＳ１４０１およびＳ１４０２で取得した原稿画像、ＯＣＲ文字列配列およびリストビュー配列を、以降の処理でも用いる。また、２回目の処理でも、サブフロー１は省略する。Ｓ１４０３において、クライアントアプリケーション３０１は、画面９１０を表示する。９１０は、ファイル名指定画面である。ここでは、原稿画像内から複数のＯＣＲ文字列を選択するユースケースを説明する。プレビューエリア９１１、リストビュー９１２は、８１１、８１２と同様である。ユーザーは、リストビュー内のＯＣＲ文字列９２２を長押しタップして選択する。クライアントアプリケーション３０１は、長押しタップを検知すると、９２２のリストビューコントロールが選択済み状態であることを示すために、チェックマーク及びハイライト表示を行う。また、ＯＣＲ文字列９２２に対応するＯＣＲ文字列領域９２３をプレビューエリア９１１内でハイライト表示する。ユーザーは、さらにリストビュー内のＯＣＲ文字列９３１を長押しタップして選択する。クライアントアプリケーション３０１は、９３１への長押しタップを検知すると、９３１のリストビューコントロールが選択済み状態であることを示すためにチェックマークおよびハイライト表示を行う。また、ＯＣＲ文字列９３１に対応するＯＣＲ文字列領域９３２をプレビューエリア９１１内でハイライト表示する。９３３は、選択済みＯＣＲ文字列が複数ある場合、順番を並べ替えるためのコントロールである。ユーザーは、９３３を長押しして、選択したＯＣＲ文字列を好みの位置までドラッグする。その結果、選択したＯＣＲ文字列９２２、９３１の並べ替え後の結果が９４１となる。クライアントアプリケーション３０１は、次へボタンの押下を検知すると、次の画面に遷移して本フローを終了する。

【0041】

続いて、Ｓ１４０１～Ｓ１４０６の３回目の処理を説明する。画像データを含むファイルに設定されるメタデータを決定する処理である。Ｓ１４０１およびＳ１４０２は、サブフォルダー名の決定の処理と同様である。ここでは、サブフロー１の処理も行うケースを説明する。

【0042】

Ｓ１４１１で、クライアントアプリケーション３０１は、Ｋｅｙ文字列をリストの下位に表示するかを判定する。具体的には、画面１０２０に示すトグルスイッチ１０２１がＯＮであるか否かを確認する。ＯＮでない、即ちＯＦＦである場合、Ｓ１４０３に進み、クライアントアプリケーション３０１はメタデータ指定画面１０１０を表示する。プレビューエリア１０１１、リストビュー１０１２は、８１１、８１２と同様である。１０１３がクライアントアプリケーション３０１の設定ボタンである。設定ボタン１０１３を押下すると設定画面１０２０が開く。１０２１がＫｅｙ－Ｖａｌｕｅ型文字列ペアのうちＫｅｙ文字列をリストの下位にするかどうかのトグルスイッチである。１０２２がプレビューで文字列の一部のみ表示の場合、リストの下位にするかどうかのトグルスイッチである。１０２２については別の図で後述する。画面１０１０では、トグルスイッチ１０２１がＯＦＦの場合を示しており、テーブル２のリストビュー配列に示す通りの表示順序でリストビューコントロール１０１２が表示されている。

【0043】

トグルスイッチ１０２１がＯＮである場合（Ｓ１４１１）は、クライアントアプリケーション３０１はテーブル３に示すようにリストビュー配列をＫｅｙ－Ｖａｌｕｅ種別がＫｅｙであるＯＣＲ文字列を下位に並べ替える（Ｓ１４１２）。

【0044】

【表3】

【0045】

そして、クライアントアプリケーション３０１は、リストビューコントロール１０３１に示すように、テーブル３で並べ替えられた順番でリストビューを表示する。これにより、原稿画像５００内に存在する文字列のうち「ＰＯ Ｎｕｍｂｅｒ：」「Ｃｏｍｐａｎｙ Ｎａｍｅ」など、フォルダー名、ファイル名、メタデータ等の入力に使われる可能性が低い文字列をリストの下位に移動することができる。１０３１のリストビューコントロールに表示可能なアイテム数には限りがあるため、使用される可能性が低い文字列候補を表示対象アイテムから除くことは有効である。

【0046】

また、サブフロー１は、Ｓ１４０３において原稿画像プレビューを表示した後に行われても良い。具体的には、画面１０１０が表示されている間に設定ボタン１０１３の押下を検知すると、クライアントアプリケーション３０１は画面１０２０を表示する。画面１０２０上で、トグルスイッチ１０２１がＯＦＦからＯＮに切り替えられた上でＯＫボタンが押下されたことを検知すると、クライアントアプリケーション３０１は、Ｋｅｙ文字列をリストビュー配列の下位に移動し、更新されたリストビューを再表示する。また、クライアントアプリケーション３０１は、トグルスイッチ１０２１がＯＮからＯＦＦに切り替えられた上でＯＫボタンが押下されたことを検知する。そして、クライアントアプリケーション３０１は、Ｋｅｙ文字列をリストビュー配列の下位に移動する前の元のリストビュー配列に従って、リストビューの表示を更新する。

【0047】

ここではメタデータ“Ｃｏｍｐａｎｙ Ｎａｍｅ”の値として「ＸＹＺ Ｃｏｒｐｏｒａｔｉｏｎ」のＯＣＲ文字列を選択して入力するユースケースを説明する。トグルスイッチ１０２１がＯＦＦの場合、目的のＯＣＲ文字列「ＸＹＺ Ｃｏｒｐｏｒａｔｉｏｎ」はリストビューコントロール１０１２の表示可能範囲には表示されていない。トグルスイッチ１０２１がＯＮの場合、テーブル３のようにＫｅｙ文字列がリストの下位に移動される効果で、目的のＯＣＲ文字列「ＸＹＺ Ｃｏｒｐｏｒａｔｉｏｎ」がリストビューコントロール１０３１内に表示可能となる。ユーザーが目的のＯＣＲ文字列「ＸＹＺ Ｃｏｒｐｏｒａｔｉｏｎ」をリストビューコントロール１０４１でタップして選択すると、クライアントアプリケーション３０１は、当該ＯＣＲ文字列をハイライト表示する。また、プレビューエリア内でＯＣＲ文字列領域１０４２もハイライト表示する。クライアントアプリケーション３０１は、次へボタンの押下を検知すると、次の画面へ遷移して本フローを終了する。

【0048】

続いて、Ｓ１４０１～Ｓ１４０６の４回目の処理を説明する。画像データを含むファイルに設定されるタグを決定する処理である。Ｓ１４０１およびＳ１４０２は、サブフォルダー名の決定の処理と同様である。また、サブフロー１は省略する。ここでは、Ｓ１４０４に代えてサブフロー２を行うフローを説明する。Ｓ１４０３において、クライアントアプリケーション３０１は、画面１１１０を表示する。１１１０はタグ指定画面である。タグはメタデータの一種であり、一般的にはＫｅｙ－Ｖａｌｕｅ型メタデータのような厳密な型定義が不要で、自由に付加データを１つ以上付与することができる。ラベルなどとも呼ばれる。プレビューエリア１１１１、リストビュー１１１２は、８１１、８１２と同様である。図１２に示すように、プレビューエリア１１１１は原稿画像５００の一部領域１２０１を拡大表示している状態である。このとき、１２０１を含む領域１２０２に含まれる文字列に着目してリストビュー配列を構成するとテーブル４のようになる。右端にプレビュー表示状態を示すカラムが追加してある。

【0049】

【表4】

【0050】

プレビュー表示状態は、プレビューエリア１１１１内で当該ＯＣＲ文字列が全表示されているか、一部表示されているか、非表示なのかを示している。設定画面１０２０のトグルスイッチ１０２２がＯＦＦの場合、テーブル４のリストビュー配列の順序でリストビューコントロール１１１２に表示される。

【0051】

Ｓ１４２１で、クライアントアプリケーション３０１は、トグルスイッチ１０２２がＯＮに設定されたか否かを判定する。具体的には、まず、クライアントアプリケーション３０１は、Ｓ１４０３で表示された画面１１１０上での設定ボタン１１１３の押下を検知すると画面１０２０を表示する。画面１０２０でトグルスイッチ１０２２がＯＮに設定された上でＯＫボタンの押下を検知した場合は、トグルスイッチ１０２２がＯＮに設定されたと判定する。ＯＦＦに設定された上でＯＫボタンの押下を検知した場合は、トグルスイッチ１０２２がＯＮに設定されていないと判定する。トグルスイッチ１０２２がＯＮに設定された（Ｓ１４２１）場合、クライアントアプリケーション３０１はプレビューエリアと同じ高さのページ領域１２０２内のＯＣＲ文字列を列挙し、プレビュー表示状態を全表示・一部表示・非表示に区分する（Ｓ１４２２）。クライアントアプリケーション３０１はリストビュー配列を、プレビュー表示状態カラムで全表示・一部表示・非表示の順によってテーブル５に示すように並べ替える（Ｓ１４２３）。

【0052】

【表5】

【0053】

クライアントアプリケーション３０１は、Ｓ１４２２で列挙したＯＣＲ文字列のうち、Ｓ１４２３で並べ替え後、最も小さいリストビュー配列番号をリストビュー配列の表示先頭にセットする（Ｓ１４２４）。本実施形態ではテーブル５のリストビュー配列番号９のＯＣＲ文字列「Ｄｅｓｃｒｉｐｔｉｏｎ」になる。テーブル５のプレビュー表示状態で並べ替えたリストビュー配列をリストビューコントロール１１２１に表示する（Ｓ１４０５）。この処理により、原稿画像５００内の領域１２０２内のＯＣＲ文字列のうち、全表示・一部表示されている文字列をより上位の候補としてリストビューコントロール１１２１内に表示できる。なお、上述した処理は、サブフロー１のようにＳ１４０２とＳ１４０３の間で行われても良い。即ち、クライアントアプリケーション３０１は、Ｓ１４０３で画面１１１０を表示する前に、トグルスイッチ１０２２の設定を確認し、設定に従ったリストビュー配列に基づいてリストビューを表示してもよい。

【0054】

ユーザーは、リストビューコントロール１１２１からタグに使用するＯＣＲ文字列１１３１、１１３２を長押しタップして選択済みにする。クライアントアプリケーション３０１は、長押しタップを検知すると、リストビューコントロール１１３１、１１３２に対して、選択済みを示すチェックマーク及びハイライト表示をする。また、プレビューエリア１１１１内では、選択されたＯＣＲ文字列領域１１３３、１１３４をハイライト表示する。クライアントアプリケーション３０１は、次へボタンの押下を検知すると、次の画面へ遷移して本フローを終了する。当該次の画面は、後述する画面１３００である。

【0055】

なお、本実施形態においては、ユーザーがプレビューエリア８２１の画像を移動及びズームの少なくとも１つを行った場合に、リストの表示を切り替える制御を行う例を示した。例えば、図８に示す画面８２０は画面８１０のプレビューエリア８１１から下へ、表示する領域を移動させた例である。また、図１１に示す画面１１１０は、ユーザーの指示に従い、プレビューエリア内で一部領域を拡大表示するようなズームインを行った例である。これに限らず、ユーザーがプレビューエリア内でズームアウトのための指示を行い画像データの表示を縮小した場合にも、リストの表示を切り替える制御を行っても良い。例えば、図１１に示す画面１１１０のように、ＯＣＲ文字列「Ｐａｒｔ Ｎｏ．」がリストビューコントロール１１１２の表示エリアにおいて先頭に表示されている状態から、ユーザーがプレビューエリア１１１１においてズームアウトのための指示を行う。このようにして、原稿画像５００全体を表示するように画像を縮小させた場合、クライアントアプリケーション３０１は、ＯＣＲ文字列「ＰＵＲＣＨＡＳＥ ＯＲＤＥＲ」をリストビュー配列の先頭にセットする。そして、リストビューコントロール８１２と同様にリストを表示するように制御を行う。

【0056】

１３００は宛先への保存画面である。１３０１は、宛先のファイルストレージ３１１または３４１の宛先名を示すテキストコントロールである。１３０２は、図７、８で指定・構成したフォルダーパスを示すテキストコントロールである。１３０３は、図９で指定・構成したファイル名を示すテキストコントロールである。１３０４は、図１０で指定・構成したファイル名を示すテキストコントロールである。１３０５は、図１１で指定・構成した１つ以上のタグを示すテキストコントロールである。保存ボタン１３０６を押下すると、クライアントアプリケーション３０１は、原稿画像を宛先のストレージ３１１または３１４に、指定されたフォルダーパス、ファイル名で保存する。またメタデータ（タグ等を含む）が指定されている場合は、原稿画像に加えメタデータを宛先のストレージ３１１または３１４に同時に保存する。ここまでが全体フローのＳ４０５に相当する。

【0057】

本実施形態では、クライアントアプリケーションで画像から所望のＯＣＲ文字列を選択するためのＵＩ制御方法を説明した。クライアント端末が、十分な大きさのディスプレイを備えない、タッチパネルＵＩ特有のタップ・スワイプ・ピンチ操作という制約がある場合でも、画像内の所望のＯＣＲ文字列を容易かつ素早く選択することが可能となる。これにより、画像内のＯＣＲ文字列を選択するためのタッチパネルＵＩにおいて、画像内の所望のＯＣＲ文字列を選択する作業の効率を高める、という冒頭で説明した課題を解決している。

【0058】

＜その他の実施形態＞
本発明は、上述の各実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピューターにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣやＦＰＧＡ）によっても実現可能である。

【符号の説明】

【0059】

１１１ クライアント端末
３０１ クライアントアプリケーション

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】