IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ノシクミ株式会社の特許一覧

特開2024-101176情報処理システムおよび情報処理プログラム
<>
  • 特開-情報処理システムおよび情報処理プログラム 図1
  • 特開-情報処理システムおよび情報処理プログラム 図2
  • 特開-情報処理システムおよび情報処理プログラム 図3
  • 特開-情報処理システムおよび情報処理プログラム 図4
  • 特開-情報処理システムおよび情報処理プログラム 図5
  • 特開-情報処理システムおよび情報処理プログラム 図6
  • 特開-情報処理システムおよび情報処理プログラム 図7
  • 特開-情報処理システムおよび情報処理プログラム 図8
  • 特開-情報処理システムおよび情報処理プログラム 図9
  • 特開-情報処理システムおよび情報処理プログラム 図10
  • 特開-情報処理システムおよび情報処理プログラム 図11
  • 特開-情報処理システムおよび情報処理プログラム 図12
  • 特開-情報処理システムおよび情報処理プログラム 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024101176
(43)【公開日】2024-07-29
(54)【発明の名称】情報処理システムおよび情報処理プログラム
(51)【国際特許分類】
   G06V 30/24 20220101AFI20240722BHJP
【FI】
G06V30/24 620Z
【審査請求】未請求
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2023004973
(22)【出願日】2023-01-17
(71)【出願人】
【識別番号】521259987
【氏名又は名称】ノシクミ株式会社
(74)【代理人】
【識別番号】100180976
【弁理士】
【氏名又は名称】野村 一郎
(72)【発明者】
【氏名】鳥養 純一
【テーマコード(参考)】
5B064
【Fターム(参考)】
5B064AA01
5B064AB02
5B064AB03
5B064AB09
5B064AB12
5B064DA03
5B064DA10
5B064DA27
(57)【要約】
【課題】画像データを的確に認識し、業務効率の向上を図ることができる情報処理システムおよび情報処理プログラムを提供すること。
【解決手段】本発明の一態様は、書類の画像データを入力する入力部と、異なる教師データを学習させた複数の認識用人工知能のいずれかを選択する選択部と、選択部で選択された認識用人工知能を用いて入力部で入力した画像データから文字を認識して文字データに変換する認識部と、認識部で変換された文字データから予め設定された項目に対応するものを抽出する抽出部と、抽出部で抽出された文字データと、文字データと対応する項目とを紐付けた抽出データを生成する生成部と、抽出部で抽出された文字データ、または生成部で生成された抽出データについて予め設定されたルールに基づき動作を実行する動作実行部と、を備える情報処理システムである。
【選択図】図1
【特許請求の範囲】
【請求項1】
書類の画像データを入力する入力部と、
異なる教師データを学習させた複数の認識用人工知能のいずれかを選択する選択部と、
前記選択部で選択された前記認識用人工知能を用いて前記入力部で入力した前記画像データから文字を認識して文字データに変換する認識部と、
前記認識部で変換された前記文字データから予め設定された項目に対応するものを抽出する抽出部と、
前記抽出部で抽出された前記文字データと、前記文字データと対応する前記項目とを紐付けた抽出データを生成する生成部と、
前記抽出部で抽出された前記文字データ、または前記生成部で生成された前記抽出データについて予め設定されたルールに基づき動作を実行する動作実行部と、
を備える情報処理システム。
【請求項2】
前記認識用人工知能は、手書き文字の認識に適した人工知能、活字の認識に適した人工知能、文字種毎の認識に適した人工知能、言語毎の認識に適した人工知能、表組みを含むデータの認識に適した人工知能、ボックス内の文字の認識に適した人工知能、画像の認識に適した人工知能のうち少なくともいずれかを含む、請求項1記載の情報処理システム。
【請求項3】
前記認識部は、前記複数の認識用人工知能のうち予め設定された第1の認識用人工知能を用いて認識した結果から前記文字データの種別を判定し、判定した前記種別に応じて前記選択部に前記複数の認識用人工知能のうち第2の認識用人工知能を選択させ、前記第2の認識用人工知能を用いて前記文字データと対応する前記画像データから文字を再度認識する、請求項1記載の情報処理システム。
【請求項4】
前記選択部は、前記入力部で入力した前記画像データに基づき前記複数の認識用人工知能からいずれかを選択するための教師データを学習させた選択用人工知能を用いて前記複数の認識用人工知能から前記認識部で用いるものを選択する、請求項1記載の情報処理システム。
【請求項5】
前記抽出部において前記項目として前記画像データの送信元となる前記文字データを抽出した場合、前記動作実行部は、予め設定された返信用データを前記送信元に返信する動作を実行する、請求項1記載の情報処理システム。
【請求項6】
前記抽出部において前記項目として前記画像データの送信先となる前記文字データを抽出した場合、前記動作実行部は、前記画像データを受信した旨を示す通知データを前記送信先に送る動作を実行する、請求項1記載の情報処理システム。
【請求項7】
前記生成部は、前記抽出部で抽出された前記文字データ、または前記文字データと対応する前記項目に基づき前記画像データについてタグを紐付けし、
前記動作実行部は、前記画像データについての動作を前記画像データに紐付けされた前記タグによって切り替える、請求項1記載の情報処理システム。
【請求項8】
前記入力部で入力した前記画像データを表示する表示部をさらに備え、
前記表示部は、前記複数の認識用人工知能のうちのいずれかを選択するための画面表示を行う、請求項1記載の情報処理システム。
【請求項9】
前記表示部は、前記項目毎に前記複数の認識用人工知能のつのいずれかを選択するための画像表示を行う、請求項8記載の情報処理システム。
【請求項10】
前記表示部は、前記文字データの種別毎に前記複数の認識用人工知能のつのいずれかを選択するための画像表示を行う、請求項8記載の情報処理システム。
【請求項11】
コンピュータに、
書類の画像データを入力する入力ステップと、
異なる教師データを学習させた複数の認識用人工知能のいずれかを選択する選択ステップと、
前記選択ステップで選択された前記認識用人工知能を用いて前記入力ステップで入力した前記画像データから文字を認識して文字データに変換する認識ステップと、
前記認識ステップで変換された前記文字データから予め設定された項目に対応するものを抽出する抽出ステップと、
前記抽出ステップで抽出された前記文字データと、前記文字データと対応する前記項目とを紐付けた抽出データを生成する生成ステップと、
前記抽出ステップで抽出された前記文字データ、または前記生成ステップで生成された前記抽出データについて予め設定されたルールに基づき動作を実行する動作実行ステップと、
を実行させる情報処理プログラム。
【請求項12】
前記認識ステップは、前記複数の認識用人工知能のうち予め設定された第1の認識用人工知能を用いて認識した結果から前記文字データの種別を判定し、判定した前記種別に応じて前記選択ステップで前記複数の認識用人工知能のうち第2の認識用人工知能を選択させ、前記第2の認識用人工知能を用いて前記文字データと対応する前記画像データから文字を再度認識することを含む、請求項11記載の情報処理プログラム。
【請求項13】
前記選択ステップは、前記入力ステップで入力した前記画像データに基づき前記複数の認識用人工知能からいずれかを選択するための教師データを学習させた選択用人工知能を用いて前記複数の認識用人工知能から前記認識ステップで用いるものを選択することを含む、請求項11記載の情報処理プログラム。
【請求項14】
前記抽出ステップにおいて前記項目として前記画像データの送信元となる前記文字データを抽出した場合、前記動作実行ステップは、予め設定された返信用データを前記送信元に返信する動作を実行することを含む、請求項11記載の情報処理プログラム。
【請求項15】
前記抽出ステップにおいて前記項目として前記画像データの送信先となる前記文字データを抽出した場合、前記動作実行ステップは、前記画像データを受信した旨を示す通知データを前記送信先に送る動作を実行する、請求項11記載の情報処理プログラム。
【請求項16】
前記生成ステップは、前記抽出ステップで抽出された前記文字データ、または前記文字データと対応する前記項目に基づき前記画像データについてタグを紐付けし、
前記動作実行ステップは、前記画像データについての動作を前記画像データに紐付けされた前記タグによって切り替える、請求項11記載の情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システムおよび情報処理プログラムに関し、特にOCR(Optical Character Reader)を利用したデータ入力を支援する情報処理システムおよび情報処理プログラムに関するものである。
【背景技術】
【0002】
手書き用紙やファクシミリなどの画像データからテキストデータ(文字データ)への変換を行うOCRにおいて、人工知能(AI:Artificial Intelligence)を用いて誤認識を抑制する技術が採用される。例えば、特許文献1では、手書きの帳票をOCR処理する業務支援システムが開示される。この業務支援システムでは、スキャナから得られた帳票の画像データをAIを用いて解析することで、帳票の各記入欄に記入された文字や記号等の認識を行う機能が開示される。
【0003】
特許文献2には、証憑データを処理するデータ処理装置が開示される。このデータ処理装置では、証憑データと複数の文字列との組み合わせを教師データとして学習し、入力された証憑データに対応する複数の文字列を出力する機械学習モデル(すなわち人工知能エンジン)に証憑データを入力することにより、複数の文字列を特定している。
【0004】
特許文献3には、項目、および文字列を取得可能にする前処理、および文字情報を認識する処理を選択して、項目、および文字列を認識する処理を再実行できる情報処理装置が開示される。この情報処理装置では、項目、または文字列に障害があると判定した場合、網掛け除去、白抜き反転、色背景除去、AIエンジンの変更、透かし除去、および地紋の除去の指示を前処理装置に出力している。
【0005】
特許文献4には、処理速度と文字認識精度の両立が可能な情報処理装置が開示される。この情報処理装置では、AI処理による画像変換処理を前処理として行うことで、文字以外の画像を除去して文字認識し易い画像を生成する処理が行われる。
【0006】
特許文献5には、ファクシミリデータに付加される発信元情報が未登録の場合に、手間をかけずに正しい宛先へ返信するファクシミリ通信装置が開示される。このファクシミリ通信装置では、ファクシミリデータの返信を行う都度、その返信に係る受信ファクシミリデータの画像の特徴と返信先とを紐付けることによって各返信先に紐付けられる画像の特徴をAIによって学習している。
【0007】
特許文献6には、証憑画像を区画した区画画像の種別を精度よく判定するための情報処理装置が開示される。この情報処理装置では、記憶部は、証憑画像を区画した区画画像と、区画画像が含む文字列の種別を示す種別情報とを対応付けたデータセットに基づき、区画画像と種別との関係を機械学習した学習済モデルを記憶する。また、処理部は、入力として受け付けた証憑画像を区画することによって、区画画像を生成し、学習済モデルに基づいて、生成した区画画像の種別を決定する推論処理を行っている。
【0008】
特許文献7には、テキストや画像などの情報を、複数のカテゴリのうちいずれかのカテゴリに分類する分類支援装置が開示される。この分類支援装置において、分類装置は、学習モデルにより、分類対象データを、予め設定されたカテゴリのうちいずれかのカテゴリに分類する。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開2019-191904号公報
【特許文献2】特開2022-027399号公報
【特許文献3】特開2021-157460号公報
【特許文献4】特開2022-128202号公報
【特許文献5】特開2022-181063号公報
【特許文献6】特開2020-144636号公報
【特許文献7】特開2018-028939号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
AIを利用したOCRにおいては、様々な書式からなる書類や印字、手書き、文字種、言語といった多様な情報を的確に認識する必要があり、更なる認識精度の向上や、OCRを利用した業務の効率化を図るシステムが望まれる。
【0011】
本発明の目的は、画像データを的確に認識し、業務効率の向上を図ることができる情報処理システムおよび情報処理プログラムを提供することである。
【課題を解決するための手段】
【0012】
本発明の一態様は、書類の画像データを入力する入力部と、異なる教師データを学習させた複数の認識用人工知能のいずれかを選択する選択部と、選択部で選択された認識用人工知能を用いて入力部で入力した画像データから文字を認識して文字データに変換する認識部と、認識部で変換された文字データから予め設定された項目に対応するものを抽出する抽出部と、抽出部で抽出された文字データと、文字データと対応する項目とを紐付けた抽出データを生成する生成部と、抽出部で抽出された文字データ、または生成部で生成された抽出データについて予め設定されたルールに基づき動作を実行する動作実行部と、を備える情報処理システムである。
【0013】
このような構成によれば、選択部において複数の認識用人工知能のいずれかを選択し、認識部においてその選択された認識用人工知能を用いて文字の認識を行うことから、認識に適した人工知能によって高精度な文字認識が行われる。また、文字認識によって得られた文字データからその文字データと対応する項目が紐付けされ、抽出された文字データや文字データと紐付けされた項目に基づき所定のルールで動作が自動的に実行される。
【0014】
上記情報処理システムにおいて、認識用人工知能は、手書き文字の認識に適した人工知能、活字の認識に適した人工知能、文字種毎の認識に適した人工知能、言語毎の認識に適した人工知能、表組みを含むデータの認識に適した人工知能、ボックス内の文字の認識に適した人工知能、画像の認識に適した人工知能のうち少なくともいずれかを含む構成でもよい。これにより、様々な情報の画像データに対応して精度の高い認識が行われる。
【0015】
上記情報処理システムにおいて、認識部は、複数の認識用人工知能のうち予め設定された第1の認識用人工知能を用いて認識した結果から前記文字データの種別を判定し、判定した種別に応じて選択部に複数の認識用人工知能のうち第2の認識用人工知能を選択させ、この第2の認識用人工知能を用いて文字データと対応する画像データから文字を再度認識するようにしてもよい。これにより、第1の認識用人工知能によって認識した結果から文字データの種別が判定されって、その判定結果によって、より認識精度の高い第2の認識用人工知能が選択されて、文字の認識が行われる。
【0016】
上記情報処理システムにおいて、選択部は、入力部で入力した画像データに基づき複数の認識用人工知能からいずれかを選択するための教師データを学習させた選択用人工知能を用いて複数の認識用人工知能から認識部で用いるものを選択するようにしてもよい。これにより、複数の認識用人工知能の中から認識対象の画像データに合わせて最適な認識用人工知能が選択用人工知能によって自動的に選択される。
【0017】
上記情報処理システムにおいて、画像データの送信元となる項目の文字データを抽出部で抽出した場合、動作実行部は、予め設定された返信用データを送信元に返信する動作を実行するようにしてもよい。これにより、画像データの送信元を文字認識によって抽出し、自動的に送信元への返信が行われる。
【0018】
上記情報処理システムにおいて、画像データの送信先となる項目の文字データを抽出部で抽出した場合、動作実行部は、画像データを受信した旨を示す通知データを送信先に送る動作を実行するようにしてもよい。これにより、画像データの送信先を文字認識によって抽出し、自動的に送信先へ画像データの受信通知が行われる。
【0019】
上記情報処理システムにおいて、生成部は、抽出部で抽出された文字データ、または文字データと対応する項目に基づき画像データについてタグを紐付けし、動作実行部は、画像データについての動作を画像データに紐付けされたタグによって切り替えるようにしてもよい。これにより、画像データの文字認識の結果から画像データのタグが紐付けされ、紐付けされたタグによって画像データについての動作が自動的に切り替えられる。
【0020】
上記情報処理システムにおいて、入力部で入力した前記画像データを表示する表示部をさらに備え、表示部は、複数の認識用人工知能のうちのいずれかを選択するための画面表示を行うようにしてもよい。これにより、表示部の画面表示によって複数の認識用人工知能の選択が行われる。
【0021】
上記情報処理システムにおいて、表示部は、項目毎に複数の認識用人工知能のつのいずれかを選択するための画像表示を行うようにしてもよい。これにより、表示部の画面表示によって項目毎に複数の認識用人工知能の選択が行われる。
【0022】
上記情報処理システムにおいて、表示部は、文字データの種別毎に複数の認識用人工知能のつのいずれかを選択するための画像表示を行うようにしてもよい。これにより、表示部の画面表示によって文字データの種別毎に複数の認識用人工知能の選択が行われる。
【0023】
本発明の他の一態様は、コンピュータに、書類の画像データを入力する入力ステップと、異なる教師データを学習させた複数の認識用人工知能のいずれかを選択する選択ステップと、選択ステップで選択された認識用人工知能を用いて入力ステップで入力した画像データから文字を認識して文字データに変換する認識ステップと、認識ステップで変換された文字データから予め設定された項目に対応するものを抽出する抽出ステップと、抽出ステップで抽出された文字データと、文字データと対応する項目とを紐付けた抽出データを生成する生成ステップと、抽出ステップで抽出された文字データ、または生成ステップで生成された抽出データについて予め設定されたルールに基づき動作を実行する動作実行ステップと、を実行させる情報処理プログラムである。
【0024】
このような構成によれば、選択ステップにおいて複数の認識用人工知能のいずれかを選択し、認識ステップにおいてその選択された認識用人工知能を用いて文字の認識を行うことから、認識に適した人工知能によって高精度な文字認識が行われる。また、文字認識によって得られた文字データからその文字データと対応する項目が紐付けされ、抽出された文字データや文字データと紐付けされた項目に基づき所定のルールで動作が自動的に実行される。
【0025】
上記情報処理プログラムにおいて、認識ステップは、複数の認識用人工知能のうち予め設定された第1の認識用人工知能を用いて認識した結果から前記文字データの種別を判定し、判定した種別に応じて選択ステップで複数の認識用人工知能のうち第2の認識用人工知能を選択させ、この第2の認識用人工知能を用いて文字データと対応する画像データから文字を再度認識するようにしてもよい。これにより、第1の認識用人工知能によって認識した結果から文字データの種別が判定されって、その判定結果によって、より認識精度の高い第2の認識用人工知能が選択されて、文字の認識が行われる。
【0026】
上記情報処理プログラムにおいて、選択ステップは、入力ステップで入力した画像データに基づき複数の認識用人工知能からいずれかを選択するための教師データを学習させた選択用人工知能を用いて複数の認識用人工知能から認識ステップで用いるものを選択するようにしてもよい。これにより、複数の認識用人工知能の中から認識対象の画像データに合わせて最適な認識用人工知能が選択用人工知能によって自動的に選択される。
【0027】
上記情報処理プログラムにおいて、画像データの送信元となる項目の文字データを抽出ステップで抽出した場合、動作実行ステップは、予め設定された返信用データを送信元に返信する動作を実行するようにしてもよい。これにより、画像データの送信元を文字認識によって抽出し、自動的に送信元への返信が行われる。
【0028】
上記情報処理プログラムにおいて、画像データの送信先となる項目の文字データを抽出ステップで抽出した場合、動作実行ステップは、画像データを受信した旨を示す通知データを送信先に送る動作を実行するようにしてもよい。これにより、画像データの送信先を文字認識によって抽出し、自動的に送信先へ画像データの受信通知が行われる。
【0029】
上記情報処理プログラムにおいて、生成ステップは、抽出ステップで抽出された文字データ、または文字データと対応する項目に基づき画像データについてタグを紐付けし、動作実行ステップは、画像データについての動作を画像データに紐付けされたタグによって切り替えるようにしてもよい。これにより、画像データの文字認識の結果から画像データのタグが紐付けされ、紐付けされたタグによって画像データについての動作が自動的に切り替えられる。
【発明の効果】
【0030】
本発明によれば、画像データを的確に認識し、業務効率の向上を図ることができる情報処理システムおよび情報処理プログラムを提供することが可能になる。
【図面の簡単な説明】
【0031】
図1】第1実施形態に係る情報処理システムの構成を例示するブロック図である。
図2】第1実施形態に係る情報処理システムの処理の流れを例示するフローチャートである。
図3】受発注システムへの適用例を示す図である。
図4】AI選択画面の例を示す図である。
図5】文字認識の結果を示す画面例を示す図である。
図6】文字認識の結果を示す画面例を示す図である。
図7】文字認識の結果を示す画面例を示す図である。
図8】文字認識の結果を示す画面例を示す図である。
図9】受信ファイルの一覧表示の画面例を示す図である。
図10】受信ファイルのサムネイル表示の画面例を示す図である。
図11】自動返信の画面例を示す図である。
図12】自動返信の設定例について説明する図である。
図13】第2実施形態に係る情報処理システムの構成を例示するブロック図である。
【発明を実施するための形態】
【0032】
以下、本発明の実施形態を図面に基づいて説明する。なお、以下の説明では、同一の部材には同一の符号を付し、一度説明した部材については適宜その説明を省略する。
【0033】
(第1実施形態)
図1は、第1実施形態に係る情報処理システムの構成を例示するブロック図である。
本実施形態に係る情報処理システム1Aは、画像データから文字を認識して文字データに変換するOCR機能を有するシステムである。情報処理システム1Aは、例えばファクシミリ100と接続されており、ファクシミリ100から送られる画像データを受信して文字認識を行ってもよい。
【0034】
また、情報処理システム1Aは、例えばネットワークNに接続されており、ネットワークNを介してコンピュータ101やサーバ102などから送られる画像データを受信して、この画像データから文字認識を行ってもよい。ファクシミリ100は情報処理システム1Aに直接接続されていてもよいし、インターネットファクシミリのようなネットワークNを介して送受信されるものであってもよい。情報処理システム1Aは、文字認識のほか、画像の認識を行う機能を備えていてもよい。
【0035】
本実施形態に係る情報処理システム1Aは、書類の画像データを入力する入力部10と、複数の認識用AIのいずれかを選択する選択部20と、認識用人工知能を用いて文字を認識する認識部30と、認識によって得られた文字データから予め設定された項目に対応するものを抽出する抽出部40と、文字データと対応する項目とを紐付けた抽出データを生成する生成部50と、予め設定されたルールに基づき動作を実行する動作実行部60と、を備える。情報処理システム1Aは、ディスプレイである表示部70および情報の出力を行う出力部80を備えていてもよい。また、情報処理システム1Aはコンピュータによって実現されていてもよいし、各部(各構成要素)の少なくともいずれかが物理的に離間して構成されていてもよい。
【0036】
情報処理システム1Aの入力部10は、例えばファクシミリ100から送られる書類の画像データや、ネットワークNを介してコンピュータ101やサーバ102から送られる書類の画像データをシステム内に取り込む部分である。
【0037】
書類の画像データとしては、所定の書式に合わせて文字が手書きされたものや、印字されたもの、ホワイトボードなどの板書やメモ書きのような手書きされたものが挙げられる。書類の画像データには写真や図、印影などのピクチャデータが含まれていたり、表や罫線のデータが含まれていたりすることもある。画像データは、2値データのほか、多値データ、単色データ、カラーデータであってもよい。
【0038】
選択部20は、異なる教師データを学習させた複数の認識用AIのいずれかを選択する部分である。ここで、複数の認識用AIを総称するときは認識用AI200、個別に称するときは第1認識用AI200-1、第2認識用AI200-2、…、第n認識用AI200-nと言うことにする。認識用AI200は情報処理システム1Aに直接接続されていてもよし、ネットワークNを介して情報処理システム1Aに接続されていてもよい。本実施形態ではネットワークNを介して複数の認識用AI200が接続された構成を例とする。
【0039】
複数の認識用AI200は、文字認識や画像認識においてそれぞれ異なる教師データによって学習されたものである。複数の認識用AI200は、例えば手書き文字の認識に適したAI、活字の認識に適したAI、文字種毎の認識に適したAI、言語毎の認識に適したAI、表組みを含むデータの認識に適したAI、ボックス内の文字の認識に適したAI、画像(写真、ピクチャ、印影など)の認識に適したAIのうち少なくともいずれかを含む。
【0040】
選択部20は、オペレータによって予め設定された認識用AI200を選択するようにしてもよいし、自動的に最適な認識用AI200を選択するようにしてもよい。自動的な認識用AI200の選択については後述する。また、選択部20による認識用AI200の選択の範囲は、画像データの全体で1つの認識用AI200を選択するようになっていてもよいし、画像データから区分けされた項目毎や、文字種(漢字、ひらがな、カタカナ、数字、英文字、その他の言語の文字)毎に異なる認識用AI200を選択するようになっていてもよい。
【0041】
認識部30は、選択部20で選択された認識用AI200を用いて入力部10で入力した画像データから文字を認識して文字データに変換する部分である。例えば、手書きの書類を読み込んだ画像データの文字認識を行う場合、手書きの文字認識に適した認識用AI200を用いることで認識精度が高まる。選択部20によって予め手書きの文字認識に適した認識用AI200が選択されていると、認識部30は選択された認識用AI200を用いて手書きの文字を高精度に認識し、文字データへ変換していく。また、例えば、韓国語を含む画像データから文字を認識する場合、韓国語の認識に適した認識用AI200を用いることで韓国語を精度良く認識して文字データに変換することができる。なお、認識部30は、文字認識のほか、画像認識を行ってもよい。
【0042】
抽出部40は、認識部30で変換された文字データから予め設定された項目に対応するものを抽出する部分である。予め設定される項目としては、例えば、書類のタイトル、発送日、送信元、送信先、書類番号、金額、商品名、数量、単価、備考といった文字データに対応付けされる事項である。項目は、予めオペレータによって設定されている。すなわち、認識した文字データの中から抽出に必要な項目が予め設定されており、抽出部40はこの設定された項目に対応した文字データを抽出する処理を行う。
【0043】
例えば、「書類のタイトル」を項目として設定していた場合、書類の上方に記載された他の文字よりもポイントの大きな文字をタイトルとして抽出する。また、例えば「商品名」を項目として設定していた場合、画像データから認識された「商品名」の文字データの並びを基準として、「商品名」の欄に記載された商品の名称の文字データを抽出する。また、例えば「合計金額」を項目として設定していた場合、画像データから認識された「合計金額」の文字データの次(右横)の数字データを合計金額として抽出する。なお、抽出に必要な項目は、認識された文字データや画像などに基づきAIによって自動的に設定されてもよい。
【0044】
生成部50は、抽出部40で抽出された文字データと、文字データと対応する項目とを紐付けた抽出データを生成する部分である。例えば、先の例では、「書類のタイトル」の項目として抽出された文字データ(例えば、「発注書」)を「書類のタイトル:発注書」、「商品名」の項目として抽出された文字データ(例えば、「コーヒー豆」)を「商品名:コーヒー豆」、「合計金額」の項目として抽出された数字データ(例えば、「¥33,000」)を「合計金額:¥33,000」のように、項目と文字データとを対応付けした抽出データが生成される。
【0045】
動作実行部60は、抽出部で抽出された文字データ、または生成部で生成された抽出データについて予め設定されたルールに基づき動作を実行する部分である。ルールは、オペレータによって設定されてもよいし、抽出された文字データなどに基づきAIによって自動的に設定されてもよい。すなわち、認識した文字データの中に特定の文字が含まれていた場合、設定されたルールに沿って所定の動作が実行される。
【0046】
例えば、抽出データに送信先と紐付けされた文字データがあった場合、その送信先の文字データに対応付けされたメールアドレスへ通知メールを送信する。また、抽出データに書類のタイトルと紐付けされた文字データに特定のキーワードが含まれている場合、特定のキーワードに対応したフォルダへ画像データを送信する処理や、抽出された文字データに関連する利用ユーザや担当者へ通知する処理を行う。また、抽出データについて所定のファイル形式(例えば、CSV形式、pdf形式)に変換して出力する処理や、他システムへのデータ投入(連携)を行う。これら以外にも、動作実行部60は、予め設定されたルールに基づき、様々な動作を実行する。
【0047】
このような本実施形態に係る情報処理システム1Aによれば、選択部20において複数の認識用AI200のいずれかを選択し、認識部30においてその選択された認識用AI200を用いて文字の認識を行うことから、認識に適したAIによって高精度な文字認識を行うことができる。また、情報処理システム1Aでは、文字認識によって得られた文字データからその文字データと対応する項目を紐付けして抽出データを生成し、抽出された文字データや文字データと紐付けされた項目に基づき所定のルールで動作を自動的に実行できる。これにより、入力部10で取り込んだ画像データについて、文字データへの変換から所望の動作まで自動的に行うことができるようになる。
【0048】
図2は、第1実施形態に係る情報処理システムの処理の流れを例示するフローチャートである。
なお、情報処理システムでの処理の流れにおける各ステップはコンピュータに実行させるプログラム(情報処理プログラム)として実現してもよい。また、情報処理プログラムはクラウドサーバで実行されてもよい。
【0049】
先ず、ステップS101に示すように、画像データの入力を行う(入力ステップ)。入力ステップは入力部10によって行われる。入力部10は、例えばファクシミリ100から送られる書類の画像データや、ネットワークNを介してコンピュータ101やサーバ102から送られる書類の画像データをシステム内に取り込む処理を行う。
【0050】
次に、ステップS102に示すように、AIの選択を行う(選択ステップ)。選択ステップは選択部20によって行われる。選択部20は、異なる教師データを学習させた複数の認識用AI200のいずれかを選択する処理を行う。
【0051】
次に、ステップS103に示すように、AIによるOCRを行う(認識ステップ)。認識ステップは認識部30によって行われる。認識部30は、選択ステップで選択された認識用AI200を用いて入力部10で入力した画像データから文字を認識して文字データに変換する処理を行う。
【0052】
次に、ステップS104に示すように、文字データの抽出を行う(抽出ステップ)。抽出ステップは抽出部40によって行われる。抽出部40は、認識ステップで変換された文字データから予め設定された項目に対応するものを抽出する処理を行う。
【0053】
次に、ステップS105に示すように、抽出データの生成を行う(生成ステップ)。生成ステップは生成部50によって行われる。生成部50は、抽出ステップで抽出された文字データと、文字データと対応する項目とを紐付けた抽出データを生成する処理を行う。
【0054】
次に、ステップS106に示すように、設定された動作の実行を行う(動作実行ステップ)。動作実行ステップは動作実行部60によって行われる。動作実行部60は、抽出ステップで抽出された文字データ、または生成ステップで生成された抽出データについて予め設定されたルールに基づき動作を実行する。
【0055】
これらのステップがコンピュータで実行されることで、画像データから最適な認識用AI200による高精度な文字認識および所望の動作を自動的に行うことができるようになる。
【0056】
(受発注システムへの適用例)
図3は、受発注システムへの適用例を示す図である。
図3に示すように、本実施形態に係る情報処理システム1Aを受発注システムに適用する場合、情報処理システム1Aは、発注元と受注先との間に介在し、発注元と受注先との間でデータの入出力を行う。発注元の例としては、発注元基幹システム501、SNS(Social Networking Service)502、EC(Electronic Commerce)サイト503が挙げられる。
【0057】
発注元基幹システム501は、ファクシミリや電子メール、API(Application Programming Interface)、EDI(Electronic Data Interchange)によって発注データを受注先に向けて送信(発注)を行う。SNS502では、例えば携帯端末でSNS502を利用して商品等の注文を行う。ECサイト503では、例えばパーソナルコンピュータでECサイト503を利用して商品等の注文を行う。
【0058】
情報処理システム1Aは、発注元基幹システム501からの発注データを受信するため、ファクシミリや電子メールで送られる発注データを取り込む取込モジュール1001、APIによる発注データを受けるオペレータ連携モジュール1002、EDIによる発注データを受けるEDI連携モジュール1003、SNS502と連携して発注データを受ける商品識別モジュール1004、ECサイト503からの発注データを受ける顧客発注ECモジュール1005を有する。
【0059】
取込モジュール1001、オペレータ連携モジュール1002および商品識別モジュール1004は、情報処理システム1Aのデータ化モジュール1006へ画像データを送る。例えば、取込モジュール1001は、発注元基幹システム501のファクシミリやデータメールで送られた発注書の画像データを取り込み、データ化モジュール1006へ画像データを送る。また、オペレータ連携モジュール1002は、APIによる発注データをオペレータが対応してデータ化モジュール1006へデータを送る。また、商品識別モジュール1004は、SNS502経由で送られた写真や商品情報、ユーザ情報などを取り込み、データ化モジュール1006へデータを送る。
【0060】
情報処理システム1AのEDI連携モジュール1003で受けた発注データは、受注データ管理モジュール1007へ送られる。また、顧客発注ECモジュール1005は、対応するECサイト503と連携して顧客からの発注に応答し、決済や商品発送を指示する。
【0061】
図1に示す入力部10、選択部20、認識部30、抽出部40、生成部50および動作実行部60は、図3に示すデータ化モジュール1006内に実装される。データ化モジュール1006は、取込モジュール1001、オペレータ連携モジュール1002および商品識別モジュール1004から送られた画像データから文字の認識を行う。認識された文字データは発注書に必要な項目と紐付けされた抽出データとなって、受注データ管理モジュール1007へ送られる。
【0062】
受注データ管理モジュール1007は、データ化モジュール1006から送られた抽出データやEDI連携モジュール1003から送られたデータに基づき、受発注に関する情報をデータベースDBとして管理する。また、受注データ管理モジュール1007は、受発注に関する情報を所定のファイル形式に変換して受注先に送信したり、RPA(Robotic Process Automation)やAPIによりデータを自動的に受注先基幹システム504へ送信したりする。
【0063】
データ化モジュール1006では、取込モジュール1001、オペレータ連携モジュール1002および商品識別モジュール1004から送られた画像データから文字の認識を行うにあたり、選択部20で選択された認識用AI200を用いた文字認識を行う。
【0064】
(画面例)
次に、画面例について説明する。以下に示す画面例は、情報処理システム1Aの表示部70に表示される画面の例である。情報処理システム1Aが受発注システムに適用される場合には、表示部70はデータ化モジュール1006に実装される。
【0065】
図4は、AI選択画面の例を示す図である。
図4に示すように、画面構成DP1の例えば左側には取り込んだ画像データが表示される。画像データは文字認識を行う前の元データである。画面構成DP1の例えば右側には文字認識の結果が示される。文字認識に使用する認識用AI200は、例えばプルダウン形式の入力枠Bで任意のものを選択できるようになっている。例えば、n個の認識用AI200を選択可能な場合には、第1認識用AI200-1、第2認識用AI200-2、…、第n認識用AI200-nがプルダウンで表示され、オペレータによって選択可能となっている。
【0066】
図4に示す例では、認識用AI200の選択は、画像データの全体に対して1つの認識用AI200を選択できるようになっている。なお、認識用AI200の選択として、認識を行う項目毎や文字種毎に異なる認識用AI200を選択できるようになっていてもよい。項目毎や文字種毎に選択する場合には、認識用AI200の選択を行うプルダウンの横に、対応する項目や文字種を選択する別のプルダウンを設けておく。例えば、項目としては「手書き」「印字」「表形式」「ボックス」であり、文字種としては「漢字」「ひらがな」「カタカナ」「数字」「英文字」「英語」「韓国語」「中国語」などの言語選択である。選択部20は、オペレータによって選択された認識用AI200を認識部30での文字認識で使用するように設定を行う。
【0067】
(認識用AIの再選択)
認識部30において認識用AI200を用いた文字認識を行う場合、認識用AI200の再選択を行うようにしてもよい。先ず、認識部30は、複数の認識用人工知能のうち予め設定された(オペレータまたは初期設定で選択された)認識用AI(一例として、第1認識用AI200-1)を用いて画像データから文字の認識を行う。
【0068】
次に、認識部30は、例えば第1認識用AI200-1を用いて認識した結果から文字データの種別を判定する。種別としては、例えば、手書き、印字、表形式、ボックス、漢字、ひらがな、カタカナ、数字、英文字、言語である。この種別を判定した結果、その種別に応じて選択部20に複数の認識用AI200のうち種別に適したもの(一例として、第2認識用AI200-2)を選択させる。
【0069】
そして、認識部30は、選択された例えば第2認識用AI200-2を用いて、一度認識した文字データに対応する画像データから文字を再度認識するようにする。このような認識用AI200の再選択によって、より認識精度の高い認識用AI200を用いた文字の認識を行うことができる。
【0070】
(認識結果の画面例)
図5から図8は、文字認識の結果を示す画面例を示す図である。
図5には、印字と手書きとが混在した表形式を含む画像データを認識した結果が示される。画面構成DP2の例えば左側には取り込んだ画像データが表示される。画像データは文字認識を行う前の元データである。画像データには、認識部30によって文字認識を行う対象領域が矩形ガイドGで示される。また、画面構成DP2の例えば右側には文字認識の結果として抽出された抽出データが示される。
【0071】
認識部30は、画像データから抽出した矩形ガイドで示す対象領域について文字の認識を行う。抽出部40は、認識部30で認識した文字データの中から、予め設定された項目に対応した文字データを抽出する。図5に示す例では、表形式で示される項目(例えば、表の行、型番、商品名、数量、単価、金額など)が抽出すべき項目として設定されている。これにより、抽出部40は、認識部30で認識した文字データから抽出すべき項目と対応した文字データを抽出する。生成部50は、抽出部40で抽出した文字データと、対応する項目とを紐付けた抽出データを生成する。抽出データは図5に示す画面構成DP2の例えば右側に表示され、画面構成DP2の例えば左側に表示される画像データと対比して確認できるようになっている。
【0072】
図6には、取り込んだ写真を画像データとして文字認識した結果が示される。画面構成DP3の例えば左側には取り込んだ写真の画像データが表示される。写真の画像データには、認識部30によって文字認識を行う対象領域が矩形ガイドGで示される。また、画面構成DP3の例えば右側には写真の画像データから文字認識した結果が示される。
【0073】
図6に示す例では、画像データから認識された文字データのうち画像データの上方に位置する数字と、「送り状番号」に近接する数字とを、タイトルとして抽出するように予め設定されている。これにより、抽出部40は、予め設定された条件に合致した文字データを抽出する。そして、生成部50は、抽出部40で抽出した文字データとタイトルの項目と紐付けして、認識結果として表示する。
【0074】
図7には、ホワイトボードなどの板書の写真を画像データとして文字認識した結果が示される。画面構成DP4の例えば左側には取り込んだ写真の画像データが表示される。画面構成DP4の例えば右側には写真の画像データから文字認識した結果が示される。写真の画像データには、認識部30によって文字認識を行う対象領域が矩形ガイドGで示される。ホワイトボードなどの板書の写真は斜め方向から撮影される場合が多い。認識部30は、斜めに撮影された写真であっても画像データの文字の並びの方向に合わせた矩形ガイドGによって文字の認識を行う。画面構成DP4の例えば右側にはホワイトボードの手書き文字を認識した結果(文字データ)が示される。
【0075】
ホワイトボードなどの手書きの板書の認識を行う場合、選択部20によって手書きの板書の文字認識に適した認識用AI200を選択することで、認識部30は手書きの板書を精度良く文字認識することができる。
【0076】
図8に示す例では、所定の書式に合わせて文字が手書きされた書類の写真を画像データとして文字認識した結果が示される。画面構成DP5の例えば左側には取り込んだ写真の画像データが表示される。画面構成DP5の例えば右側には写真の画像データから文字認識した結果が示される。写真の画像データには、認識部30によって文字認識を行う対象領域が矩形ガイドGで示される。
【0077】
所定の書式に合わせて文字が手書きされた書類においては、事前に書式の並びや書式に予め記載された印字も把握できる。このため、この書式に予め記載された印字を抽出部40で抽出すべき項目として設定することができる。抽出部40は、認識部30で認識した文字データの中から、予め設定された項目に対応した文字データを抽出し、予め把握される書式の並びに応じた文字データ(例えば、抽出すべき項目の右隣りで認識された文字データ)を項目と紐付けすべき文字データであるとする。書式が把握されていることで、印字される文字は縦書きでも横書きでも抽出できることになる。
【0078】
図9は、受信ファイルの一覧表示の画面例を示す図である。
図10は、受信ファイルのサムネイル表示の画面例を示す図である。
図9に示す画面構成DP4のように、情報処理システム1Aの入力部10で入力した画像データは一覧表示される。必要な画像データを選択することで、その画像データについての文字認識が行われる。
また、図10に示す画面構成DP7のように、入力部10で入力した画像データはファイル毎にサムネイル表示することもできる。
【0079】
(自動動作)
図11は、自動返信の画面例を示す図である。
情報処理システム1Aにおいて、抽出部40で画像データの送信元となる項目の文字データを抽出した場合、動作実行部60は、予め設定された返信用データを送信元に返信する動作を実行するようにしてもよい。
【0080】
例えば、図11に示す画面構成DP8のように、発注書の画像データを受信して、認識部30によって文字の認識を行い、発注番号から送信元が情報を得られた場合、動作実行部60は予め設定された返信用データとして、「ご注文ありがとうございます 04/05(火)に出荷いたします」のようなスタンプ画像Pを発生させる。オペレータによる確認後、スタンプ画像Pを添付した発注書の画像データを送信元に返信する。受信したファクシミリに対する返信は、いわゆるReFAX送信である。この機能は、オペレータが例えば「ReFAX」を選択した場合に画面構成DP8が表示され、予め設定されたスタンプ画像Pを添付(例えば、ドラッグ・アンド・ドロップで添付)することができるようになる。
【0081】
なお、例えば特定の送信元からファクシミリなどの画像データが送られてきた場合、その画像データへのスタンプ画像Pの添付から送信元への返信までの動作を動作実行部60によって自動的に行うようにしてもよい。
【0082】
また、動作実行部60は、ReFAXを行う場合、そのReFAXの通信データにFAX送信IDを付する処理を行うとよい。例えば、ReFAXの送信先からさらにReFAXが返信されてきたり、一つのファクシミリ送信を起点とした複数回のファクシミリのやり取りがあったりすると、時系列にリスト表示するとどのファクシミリ通信に対するやり取りなのか把握しにくい。このため、ファクシミリ通信をFAX送信IDで紐付けしておくことで、FAX送信IDでの検索や、同じFAX送信IDでまとめたスレッド表示SL(図9参照)を行うことができ、管理が容易となる。
【0083】
図12は、自動返信の設定例について説明する図である。
自動返信における返信用データは、複数種類設定しておくことが可能である。図12に示す例のように、機能と機能項目とを対応付けた返信用データのセットを通番によって管理しておき、予め通番を設定しておくことで、動作実行部60は設定された通番に基づき機能に対応した動作を実行する。
【0084】
返信用データとしてオペレータによる入力が必要な場合には、図11に示す画面構成DP8の例えば右側にその機能に対応した表示が行われ、オペレータによる入力を可能とするテキストボックス(図示せず)などを表示するようにすればよい。
【0085】
また、情報処理システム1Aにおいて、抽出部40で画像データの送信先となる項目の文字データを抽出した場合、動作実行部60は、画像データを受信した旨を示す通知データを送信先に送る動作を実行するようにしてもよい。例えば、ファクシミリを受信してその画像データから送信先の文字データを抽出した場合、その送信先に対応したメールアドレスへファクシミリを受信した旨の通知メールを動作実行部60が自動的に送るようにしてもよい。
【0086】
また、情報処理システム1Aにおいて、認識部30で認識した文字データや抽出部40で抽出した項目について、予め設定された文字データや項目が含まれている場合、抽出部40はその文字データや項目にタグを紐付けて、動作実行部60によってタグに応じた動作の切り替えを行ってもよい。
【0087】
例えば、画像データから文字の認識を行い、予め設定された宛先に対応する文字データ(氏名など)が抽出された場合、抽出部40はその画像データに宛先と対応するタグを紐付けする。動作実行部60は、タグが付された画像データについて、タグに対応した動作を実行する。
【0088】
また、例えば、氏名に対応したフォルダを用意しておき、そのタグに対応した氏名のフォルダへ画像データを自動的に転送したり、例えば、ダイレクトメールの画像データを入れるフォルダを用意しておき、ダイレクトメールであると判断できる特定の送り先や文字列の文字データを抽出した場合、ダイレクトメールに対応したタグを紐付けておき、そのタグに対応したフォルダへダイレクトメールの画像データを自動的に転送したりすることができる。このように、画像データの文字認識の結果から画像データのタグが紐付けされることで、紐付けされたタグによって画像データについての動作を自動的に切り替えることができる。
【0089】
(第2実施形態)
図13は、第2実施形態に係る情報処理システムの構成を例示するブロック図である。
図13に示すように、第2実施形態に係る情報処理システム1Bは、第1実施形態に係る情報処理システム1Aの構成に加え、選択用AI300を用いたAI選択を行う構成である。すなわち、情報処理システム1Bの選択部20は、複数の認識用AI200のうちいずれかを選択するために、選択用AI300を用いた自動的な選択を行う。
【0090】
選択用AI300は、入力部10で入力した画像データに基づき複数の認識用AI200からいずれかを選択するための教師データを学習させたAIである。選択部20は、この選択用AI300を用いて複数の認識用AI200から認識部30で用いる最適な認識用AI200を自動的に選択する。
【0091】
例えば、選択用AI300は、入力部10で入力した画像データの内容について、複数の認識用AI200のうちのどの認識用AI200を用いた場合が最も認識率が高いかを教師データから予測することができる。この選択用AI300を用いることで、選択部20は入力部10で入力した画像データについて、最適な認識を行うことができると予測される認識用AI200を選択することができる。
【0092】
第2実施形態に係る情報処理システム1Bは、第1実施形態に係る情報処理システム1Aと同様な適用(例えば、受発注システムなどへの適用)が可能である。
【0093】
以上説明したように、実施形態に係る情報処理システム1A、1Bおよび情報処理プログラムによれば、画像データを的確に認識し、業務効率の向上を図ることができる。
【0094】
なお、上記に本実施形態およびその適用例(変形例、具体例)を説明したが、本発明はこれらの例に限定されるものではない。例えば、前述の各実施形態またはその適用例(変形例、具体例)に対して、当業者が適宜、構成要素の追加、削除、設計変更を行ったものや、各実施形態の特徴を適宜組み合わせたものも、本発明の要旨を備えている限り、本発明の範囲に包含される。
【産業上の利用可能性】
【0095】
以上のように、本発明は、受発注システムのほか、帳票を取り扱うシステム、テストの答案を読み取るシステム、写真からその写真に応じたコメントを生成するシステム、クラウドサービスなど、各種のシステムに好適に利用できる。
【符号の説明】
【0096】
1A,1B…情報処理システム
10…入力部
20…選択部
30…認識部
40…抽出部
50…生成部
60…動作実行部
70…表示部
80…出力部
100…ファクシミリ
101…コンピュータ
102…サーバ
501…発注元基幹システム
502…SNS
503…ECサイト
504…受注先基幹システム
1001…取込モジュール
1002…オペレータ連携モジュール
1003…EDI連携モジュール
1004…商品識別モジュール
1005…顧客発注ECモジュール
1006…データ化モジュール
1007…受注データ管理モジュール
200…認識用AI(人工知能)
300…選択用AI(人工知能)
B…入力枠
DP1~DP8…画面構成
G…矩形ガイド
N…ネットワーク
SL…スレッド表示
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13