特許 7603349 情報処理システム、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-12-12

(45)【発行日】2024-12-20

(54)【発明の名称】情報処理システム、情報処理方法及びプログラム

(51)【国際特許分類】

   G06V 30/14 20220101AFI20241213BHJP

   G06N 3/096 20230101ALI20241213BHJP

   G06F 16/30 20190101ALI20241213BHJP

【ＦＩ】

G06V30/14 340J

G06N3/096

G06F16/30

【請求項の数】 5

(21)【出願番号】P 2024082223

(22)【出願日】2024-05-20

【審査請求日】2024-10-09

【早期審査対象出願】

(73)【特許権者】

【識別番号】519112818

【氏名又は名称】株式会社シナモン

(74)【代理人】

【識別番号】110002790

【氏名又は名称】Ｏｎｅ ｉｐ弁理士法人

(72)【発明者】

【氏名】トゥアン・アン・グエン

(72)【発明者】

【氏名】楊哲寧

(72)【発明者】

【氏名】ファム・カン・トリン

【審査官】甲斐 哲雄

(56)【参考文献】

【文献】特許第７４３０４３７（ＪＰ，Ｂ１）

【文献】特開２０２０－０１６９４６（ＪＰ，Ａ）

【文献】特開２０２１－０７７３３２（ＪＰ，Ａ）

【文献】特開２０２１－０８６４７９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ３０／００－３０／４２４

Ｇ０６Ｎ ３／００－９９／００

Ｇ０６Ｆ １６／００－１６／９５８

(57)【特許請求の範囲】

【請求項1】

第１の画像データから読み取った第１の文字列及び前記第１の文字列から抽出した第１の項目値を記憶する記憶部と、
第２の画像データから読み取った第２の文字列を取得する文字列取得部と、
前記第２の文字列に類似する前記第１の文字列及び対応する前記第１の項目値を前記記憶部から取得する検索部と、
学習済み言語モデルに基づいて回答を生成する生成器に対して、前記第２の文字列及び前記第２の文字列から第２の項目値を抽出する指示、ならびに、検索した前記第１の文字列及び前記第１の項目値を含めたプロンプトを与えて前記第２の項目値を生成させる項目値取得部と、
を備えることを特徴とする情報処理システム。

【請求項2】

請求項１に記載の情報処理システムであって、
前記記憶部は、前記第１の文字列及び前記第１の項目値と、前記第１の文字列を埋め込み処理した第１のベクトルデータとを記憶しており、
前記検索部は、第２の文字列を埋め込み処理した第２のベクトルデータと前記第１のベクトルデータとを比較して、前記第２の文字列に類似する前記第１の文字列を検索すること、
を特徴とする情報処理システム。

【請求項3】

請求項１に記載の情報処理システムであって、
前記検索部は、前記第１の文字列及び前記第１の項目値のペアを複数検索し、
前記項目値取得部は、複数の前記第１の文字列及び前記第１の項目値のペアを前記プロンプトに含めること、
を特徴とする情報処理システム。

【請求項4】

第１の画像データから読み取った第１の文字列及び前記第１の文字列から抽出した第１の項目値を記憶部に記憶するステップと、
第２の画像データから読み取った第２の文字列を取得するステップと、
前記第２の文字列に類似する前記第１の文字列及び対応する前記第１の項目値を前記記憶部から取得するステップと、
学習済み言語モデルに基づいて回答を生成する生成器に対して、前記第２の文字列及び前記第２の文字列から第２の項目値を抽出する指示、ならびに、検索した前記第１の文字列及び前記第１の項目値を含めたプロンプトを与えて前記第２の項目値を生成させるステップと、
をコンピュータが実行することを特徴とする情報処理方法。

【請求項5】

第１の画像データから読み取った第１の文字列及び前記第１の文字列から抽出した第１の項目値を記憶部に記憶するステップと、
第２の画像データから読み取った第２の文字列を取得するステップと、
前記第２の文字列に類似する前記第１の文字列及び対応する前記第１の項目値を前記記憶部から取得するステップと、
学習済み言語モデルに基づいて回答を生成する生成器に対して、前記第２の文字列及び前記第２の文字列から第２の項目値を抽出する指示、ならびに、検索した前記第１の文字列及び前記第１の項目値を含めたプロンプトを与えて前記第２の項目値を生成させるステップと、
をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

特許文献１にはＯＣＲ処理によって画像から文字データを取得することが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１０－０７３２０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、読み取った文字から特定の項目を抽出することは難しい。

【0005】

本発明はこのような背景を鑑みてなされたものであり、画像から項目データを抽出することができるようにすることを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するための本発明の主たる発明は、情報処理システムであって、第１の画像データから読み取った第１の文字列及び前記第１の文字列から抽出した第１の項目値を記憶する記憶部と、第２の画像データから読み取った第２の文字列を取得する文字列取得部と、前記第２の文字列に類似する前記第１の文字列及び対応する前記第１の項目値を前記記憶部から取得する検索部と、学習済み言語モデルに基づいて回答を生成する生成器に対して、前記第２の文字列及び前記第２の文字列から第２の項目値を抽出する指示、ならびに、検索した前記第１の文字列及び前記第１の項目値を含めたプロンプトを与えて前記第２の項目値を生成させる項目値取得部と、を備えることを特徴とする。

【0007】

その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。

【発明の効果】

【0008】

本発明によれば、画像から項目データを抽出することができる。

【図面の簡単な説明】

【0009】

【図1】情報処理システムの全体構成例を示す図である。

【図2】管理サーバ２のハードウェア構成例を示す図である。

【図3】管理サーバ２のソフトウェア構成例を示す図である。

【図4】ベクターストア２３１に記憶されるレコードの一例を示す図である。

【図5】管理サーバ２の動作を説明する図である。

【発明を実施するための形態】

【0010】

＜システムの概要＞
以下、本発明の一実施形態に係る情報処理システムについて説明する。本実施形態の情報処理システムは、画像に表示されている特定項目を抽出しようとするものである。本実施形態の情報処理システムでは、画像から文字列を認識し（ＯＣＲ）、認識した文字列から大規模言語モデル（ＬＬＭ）を用いて特定項目を抽出する。本実施形態の情報処理システムは、過去に抽出した例をフューショットラーニングにより学習させるようにすることで、抽出精度を高めようとするものである。

【0011】

図１は、情報処理システムの全体構成例を示す図である。本実施形態の情報処理システムは、管理サーバ２を含んで構成される。管理サーバ２は、ユーザ端末１及び生成サーバ３のそれぞれと通信ネットワークを介して通信可能に接続される。通信ネットワークは、たとえばインターネットであり、公衆電話回線網や携帯電話回線網、無線通信路、イーサネット（登録商標）などにより構築される。

【0012】

ユーザ端末１は、ユーザが操作するコンピュータである。ユーザ端末１は、例えば、スマートフォン、タブレットコンピュータ、パーソナルコンピュータなどとすることができる。ユーザはユーザ端末１を操作して、帳票画像等の読み取り対象となる画像を管理サーバ２にアップロードすることができる。

【0013】

管理サーバ２は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、あるいはクラウド・コンピューティングによって論理的に実現されてもよい。管理サーバ２は、ＯＣＲ処理を行った結果をユーザ端末１に応答するＳａａＳとして動作する。

【0014】

生成サーバ３は、大規模限度モデル（ＬＬＭ）を使用して回答を生成する機能を提供するコンピュータである。生成サーバ３は、外部から与えられたプロンプトを大規模限度モデルに与えて回答を生成する生成器として機能する。生成サーバ３は、ＡＰＩ（Application Programming Interface）として、大規模限度モデルを使用した生成器の機能を提供する。

【0015】

＜管理サーバ＞
図２は、管理サーバ２のハードウェア構成例を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。管理サーバ２は、ＣＰＵ２０１、メモリ２０２、記憶装置２０３、通信インタフェース２０４、入力装置２０５、出力装置２０６を備える。記憶装置２０３は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース２０４は、通信ネットワークに接続するためのインタフェースであり、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢ（Universal Serial Bus）コネクタやＲＳ２３２Ｃコネクタなどである。入力装置２０５は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置２０６は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。なお、後述する管理サーバ２の各機能部はＣＰＵ２０１が記憶装置２０３に記憶されているプログラムをメモリ２０２に読み出して実行することにより実現され、管理サーバ２の各記憶部はメモリ２０２及び記憶装置２０３が提供する記憶領域の一部として実現される。

【0016】

図３は、管理サーバ２のソフトウェア構成例を示す図である。管理サーバ２は、ベクターストア２３１と、画像取得部２１１と、文字列取得部２１２と、検索部２１３と、項目値取得部２１４と、を備える。

【0017】

＜記憶部＞
ベクターストア２３１は、過去に画像データから読み取った文字列を埋め込み処理した値（ベクトルデータ）を記憶する。ベクターストア２３１は、過去に画像データから読み取った文字列と、当該文字列から抽出した項目（項目名と項目値とのペア）と、ベクトルデータとを対応付けて記憶することができる。過去に画像データから読み取った文字列及び／又は当該文字列から抽出した項目は、例えばファイル等に管理し、ベクターストア２３１にはファイルのパスやＵＲＬなどを記憶するようにしてもよい。埋め込み処理は、例えば、生成サーバ３が提供するＥｍｂｅｄｄｉｎｇｓ ＡＰＩを利用して生成サーバ３に行わせてもよいし、管理サーバ２が、Ｗｏｒｄ２Ｖｅｃ、Ｄｏｃ２Ｖｅｃ、ｆａｓｔＴｅｘｔなどの手法を用いて埋め込み処理を行ってもよい。

【0018】

図４は、ベクターストア２３１に記憶されるレコードの一例を示す図である。同図に示すように、ベクターストア２３１に登録される各レコードには、画像データから読み取った文字列（テキストデータ）と、この文字列を埋め込み処理した結果であるベクトルデータ（任意の次元数とすることができる。）と、この文字列から抽出された項目（項目名と項目値とのペア）をＪＳＯＮ形式で表現したものとが含まれうる。

【0019】

＜機能部＞
画像取得部２１１は、ユーザから帳票画像等の画像を取得する。画像取得部２１１は、例えば、ユーザ端末１から画像のアップロードを受け付けることができる。画像取得部２１１は、例えば、電子メールやチャットサービスなどに送信された画像を取得するようにしてもよい。画像取得部２１１は、ユーザから画像が保管されているオンラインストレージへのＵＲＬを受け付け、当該ＵＲＬにアクセスして画像を取得するようにしてもよい。

【0020】

文字列取得部２１２は、画像データから読み取った文字列を取得する。文字列取得部２１２は、画像取得部２１１が取得した画像（以下、対象画像）に表示されている文字列（以下、対象文字列）を認識し、認識した文字列を取得することができる。なお、画像から文字列を認識取得する処理については、一般的なＯＣＲ処理を想定し、ここでは詳細についての説明は省略する。

【0021】

検索部２１３は、対象文字列に類似する文字列をベクターストア２３１から取得する。検索部２１３は、対象文字列を埋め込み処理したベクトルデータを作成し、作成したベクトルデータと、ベクターストア２３１に記憶されているベクトルデータとの距離に応じて、対象文字列に類似する文字列（テキストデータ）を検索することができる。埋め込み処理は、例えば、生成サーバ３が提供するＥｍｂｅｄｄｉｎｇｓ ＡＰＩを利用して生成サーバ３に行わせてもよいし、管理サーバ２が、Ｗｏｒｄ２Ｖｅｃ、Ｄｏｃ２Ｖｅｃ、ｆａｓｔＴｅｘｔなどの手法を用いて埋め込み処理を行ってもよい。検索部２１３は、類似する文字列と、当該文字列に対応する項目（抽出項目）をベクターストア２３１から取得する。なお、検索部２１３は、例えば、距離の近い順に所定数（任意の数とすることができる。）のテキストデータ及び抽出項目の組を検索することができる。本実施形態では、テキストデータ及び抽出項目の組を３組検索することを想定する。

【0022】

項目値取得部２１４は、画像から読み取った文字列から項目値を取得する。項目値取得部２１４は、学習済み言語モデルに基づいて回答を生成する生成器に対して、文字列と、当該文字列から項目値を抽出する旨の指示と、過去に抽出した例とを含むプロンプトを与えて、文字列から項目名及び項目値のペアを抽出した結果データを生成させることができる。プロンプトに与える文字列は、文字列取得部２１２が取得した対象文字列である。プロンプトに与える過去に抽出した例は、検索部２１３がベクターストア２３１から取得したテキストデータ及び抽出項目の組である。これにより、項目値取得部２１４は、フューショットラーニングの手法でテキストデータから項目を抽出する仕方を学習させて、対象文字列から項目をＬＬＭに抽出させることができる。本実施形態では、項目値取得部２１４は、生成サーバ３が提供するＡＰＩを呼び出すことにより、生成サーバ３が備えるＬＬＭに対してプロンプトを与え、ＬＬＭからの出力結果を受信することを想定するが、管理サーバ２が学習済み言語モデル及び生成器を備えるようにしてもよい。

【0023】

＜動作＞
図５は、管理サーバ２の動作を説明する図である。

【0024】

管理サーバ２は、画像を受け付け（Ｓ３０１）、画像から文字列を読み取り（Ｓ３０２）、対象文字列に類似する過去のテキストデータ及び抽出項目の例を検索し（Ｓ３０３）、対象文字列と、テキストデータ及び抽出項目の例とを与えたプロンプトを生成サーバ３に送信し（Ｓ３０４）、生成サーバ３からＬＬＭによる項目の抽出結果を受信する（Ｓ３０５）。

【0025】

以上のようにして、本実施形態の情報処理システムによれば、大規模限度モデル（ＬＬＭ）を使用して、画像から読み取った文字列から、必要な項目を抽出することができる。

【0026】

以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。

【0027】

例えば、上述した管理サーバ２の各機能部による処理は、いずれの機能部により実行されるようにしてもよい。また、上述した各機能部の処理の一部を実行する異なる機能部を追加するようにしてもよい。また、管理サーバ２の機能部は、複数台のコンピュータが分散して備えるようにしてもよい。

【0028】

また、管理サーバの各記憶部が記憶する情報は、いずれの記憶部が記憶するようにしてもよい。すなわち、上述した複数の記憶部が記憶する情報を１つの記憶部により記憶するようにしてもよいし、上述したある記憶部が記憶する情報の一部を他の記憶部が記憶するようにしてもよい。

【0029】

また、上述した実施形態では、対象文字列のみを埋め込み処理するものとしたが、対象文字列に加えて又は代えて画像を埋め込み処理するようにしてもよい。この場合、検索部２１３は、対象文字列を埋め込み処理したベクトルデータ（文字列ベクトル）に加えて又は代えて、画像取得部２１１が取得した画像を埋め込み処理したベクトルデータ（画像ベクトル）を求め、文字列ベクトルとベクターストア２３１に記憶されているベクトルデータとの距離と、画像ベクトルとベクターストア２３１に記憶されているベクトルデータとの距離とに基づく値（例えば、合計値、平均値等）に応じて、対象文字列及び／又は画像に類似する文字列（テキストデータ）を検索することができる。画像の埋め込み処理には、例えば、ＭａｔｃｈｉｎｇＮｅｔなどの公知の手法を用いることができる。

【0030】

また、対象文字列及び／又は画像以外にも、対象文字列から抽出した単語（フレーズであってもよい。以下同じ。）間の連結関係を示すグラフ表現を埋め込み処理するようにしてもよい。この場合、例えば、対象文字列から単語を抽出し、抽出した単語の画像上での抽出位置を特定し、第１の単語と、画像上において第１の単語から所定距離内にある第２の単語のそれぞれとの間をリンクさせたグラフを作成し、作成したグラフを埋め込み処理することができる。ベクターストア２３１には、画像から読み取った文字列を埋め込み処理したベクトルデータ（文字ベクトル）と、過去に画像データから読み取った文字列中の単語の当該画像データ上の位置に基づいて単語ペアにリンクを設定したグラフを埋め込み処理したベクトルデータ（グラフベクトル）とを対応付けて記憶するようにする。検索部２１３は、対象文字列及び／又は画像を埋め込み処理したベクトルデータと、ベクターストア２３１の文字ベクトルとの距離と、対象文字列から抽出した単語間のリンクを表すグラフを埋め込み処理したベクトルデータと、ベクターストア２３１のグラフベクトルとの距離とに基づく値（例えば、合計値、平均値等）に応じて、対象文字列及び／又は画像と、対象文字列内の単語間のリンクを示すグラフとに類似する文字列（テキストデータ）を検索することができる。

【0031】

＜開示事項＞
なお、本開示には、以下のような構成も含まれる。
［項目１］
第１の画像データから読み取った第１の文字列及び前記第１の文字列から抽出した第１の項目値を記憶する記憶部と、
第２の画像データから読み取った第２の文字列を取得する文字列取得部と、
前記第２の文字列に類似する前記第１の文字列及び対応する前記第１の項目値を前記記憶部から取得する検索部と、
学習済み言語モデルに基づいて回答を生成する生成器に対して、前記第２の文字列及び前記第２の文字列から第２の項目値を抽出する指示、ならびに、検索した前記第１の文字列及び前記第１の項目値を含めたプロンプトを与えて前記第２の項目値を生成させる項目値取得部と、
を備えることを特徴とする情報処理システム。
［項目２］
項目１に記載の情報処理システムであって、
前記記憶部は、前記第１の文字列及び前記第１の項目値と、前記第１の文字列を埋め込み処理した第１のベクトルデータとを記憶しており、
前記検索部は、第２の文字列を埋め込み処理した第２のベクトルデータと前記第１のベクトルデータとを比較して、前記第２の文字列に類似する前記第１の文字列を検索すること、
を特徴とする情報処理システム。
［項目３］
項目１に記載の情報処理システムであって、
前記検索部は、前記第１の文字列及び前記第１の項目のペアを複数検索し、
前記項目値取得部は、複数の前記第１の文字列及び前記第１の項目のペアを前記プロンプトに含めること、
を特徴とする情報処理システム。
［項目４］
第１の画像データから読み取った第１の文字列及び前記第１の文字列から抽出した第１の項目値を記憶するステップと、
第２の画像データから読み取った第２の文字列を取得するステップと、
前記第２の文字列に類似する前記第１の文字列及び対応する前記第１の項目値を前記記憶部から取得するステップと、
学習済み言語モデルに基づいて回答を生成する生成器に対して、前記第２の文字列及び前記第２の文字列から第２の項目値を抽出する指示、ならびに、検索した前記第１の文字列及び前記第１の項目値を含めたプロンプトを与えて前記第２の項目値を生成させるステップと、
をコンピュータが実行することを特徴とする情報処理方法。
［項目５］
第１の画像データから読み取った第１の文字列及び前記第１の文字列から抽出した第１の項目値を記憶するステップと、
第２の画像データから読み取った第２の文字列を取得するステップと、
前記第２の文字列に類似する前記第１の文字列及び対応する前記第１の項目値を前記記憶部から取得するステップと、
学習済み言語モデルに基づいて回答を生成する生成器に対して、前記第２の文字列及び前記第２の文字列から第２の項目値を抽出する指示、ならびに、検索した前記第１の文字列及び前記第１の項目値を含めたプロンプトを与えて前記第２の項目値を生成させるステップと、
をコンピュータに実行させるためのプログラム。

【符号の説明】

【0032】

１ ユーザ端末
２ 管理サーバ

【要約】

【課題】画像から項目データを抽出することができるようにする。
【解決手段】情報処理システムであって、第１の画像データから読み取った第１の文字列及び第１の文字列から抽出した第１の項目値を記憶する記憶部と、第２の画像データから読み取った第２の文字列を取得する文字列取得部と、第２の文字列に類似する第１の文字列及び対応する第１の項目値を記憶部から取得する検索部と、学習済み言語モデルに基づいて回答を生成する生成器に対して、第２の文字列及び第２の文字列から第２の項目値を抽出する指示、ならびに、検索した第１の文字列及び第１の項目値を含めたプロンプトを与えて第２の項目値を生成させる項目値取得部と、を備えることを特徴とする。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】