特許 7634311 帳票のデータ入力を支援する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-02-13

(45)【発行日】2025-02-21

(54)【発明の名称】帳票のデータ入力を支援する方法

(51)【国際特許分類】

   G06V 30/10 20220101AFI20250214BHJP

   G06V 30/14 20220101ALI20250214BHJP

   G06Q 50/04 20120101ALI20250214BHJP

【ＦＩ】

G06V30/10

G06V30/14 340A

G06Q50/04

【請求項の数】 5

(21)【出願番号】P 2024109643

(22)【出願日】2024-07-08

【審査請求日】2024-08-13

【早期審査対象出願】

(73)【特許権者】

【識別番号】523361932

【氏名又は名称】株式会社ミライのゲンバ

(74)【代理人】

【識別番号】100138221

【弁理士】

【氏名又は名称】影山 剛士

(74)【代理人】

【識別番号】100177987

【弁理士】

【氏名又は名称】河野上 真緒

(72)【発明者】

【氏名】佐藤 哲太

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特許第７３０４６０４（ＪＰ，Ｂ１）

【文献】国際公開第２０２１／１００１５８（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ３０／００－３０／１２

Ｇ０６Ｖ ３０／１４－３０／１６８

Ｇ０６Ｑ ５０／０４

(57)【特許請求の範囲】

【請求項1】

現場担当者による帳票のデータ入力を支援する方法であって、
サーバ端末の制御部は、
前記現場担当者若しくは他のユーザの過去の、第１の帳票テンプレートデータに基づいて、前記第１の帳票テンプレートデータにおける、項目名が含まれる項目枠に対して、いずれの入力枠が対応するかの対応関係を、複数の類型として、前記サーバ端末の記憶部に格納し、
前記現場担当者のユーザ端末から、第２の帳票テンプレートデータを受信し、
前記第２の帳票テンプレートデータにおける項目枠、項目名及び入力枠を各々検出し、
前記複数の類型に基づいて、前記検出した項目枠及び項目名と入力枠との対応関係を決定し、
前記第２の帳票テンプレートデータを、手書き入力可能な電子帳票テンプレートデータに変換し、
前記第１の帳票テンプレートデータ及び前記第２の帳票テンプレートデータは、予め手書き入力された紙帳票の入力データを転記するための、所定のフォーマットの帳票テンプレートデータである、方法。

【請求項2】

請求項１に記載の方法であって、
前記電子帳票テンプレートデータを前記現場担当者の前記ユーザ端末に送信する、方法。

【請求項3】

請求項２に記載の方法であって、
前記制御部は
前記ユーザ端末から、手書き入力による入力データを受け付け、
前記入力データに基づいて構造化データを生成し、
前記構造化データを前記記憶部に格納する、方法。

【請求項4】

請求項３に記載の方法であって、
前記制御部は、
前記入力データを、当該入力データが、前記電子帳票テンプレートデータにおけるいずれの入力領域に入力されたかに基づいて、構造化データに変換する、方法。

【請求項5】

請求項４に記載の方法であって、
前記制御部は、
前記入力領域は、記入または選択可能でない領域、記入または選択可能な領域であって、前記電子帳票テンプレートデータ全体に影響が及ぶ領域、及び、記入または選択可能な領域であって、前記電子帳票テンプレートデータにおける行及び列に影響が及ぶ領域で構成される、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、主に製造業等の現場の実績報告用帳票等のデータ入力を支援する方法に関する。

【背景技術】

【0002】

従来、製造業等の現場においては、現場担当者が紙帳票に手書きにより必要事項を入力し、別の担当者が回収した紙帳票に記載された事項をデジタルフォーマットの帳票に手入力を行っていた。

【0003】

近年、現場作業の実績報告をデジタル化する動きが高まりつつあり、例えば、特許文献１において、現場作業者が端末に表示された電子チャット画面を介して質問項目に対して入力を行うことが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特許６３９６５６１号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に開示の技術は、現場作業者に対する入力作業負担及び導入負担を強いることとなる。特に、既存の紙への手書き記入に慣れた現場作業者が、タブレット端末やスマートフォンにおける入力方法として要求される、「キーボード入力」、「タイピング入力」、「フリック入力」に対応する負担や抵抗は大きいものとなる。

【0006】

そこで、本発明は、製造現場において実績報告を行う現場担当者に負担を強いることなく、効率的に現場の実績報告を行うことを可能とする、データ入力の支援方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一態様における、現場担当者による帳票のデータ入力を支援する方法であって、サーバ端末の制御部は、記憶部に格納された帳票テンプレートデータを参照し、前記帳票テンプレートデータにおける項目枠、項目名及び入力枠を各々検出し、前記検出した項目枠と入力枠との対応関係を決定し、手書き入力可能な電子帳票テンプレートデータに変換する。

【発明の効果】

【0008】

本発明によれば、製造現場において実績報告を行う現場担当者に負担を強いることなく、効率的に現場の実績報告を行うことを可能とする、データ入力の支援方法を提供することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の第一実施形態に係る、データ入力支援システムを示すブロック構成図である。

【図2】図１のサーバ端末１００を示す機能ブロック構成図である。

【図3】図１のユーザ端末２００を示す機能ブロック構成図である。

【図4】サーバ１００に格納されるユーザデータの一例を示す図である。

【図5】サーバ１００に格納される帳票データの一例を示す図である。

【図6】本発明の第一実施形態に係る、データ入力支援方法の処理の一例を示すフローチャートである。

【図7】本発明の第一実施形態に係る、データ入力支援方法の処理の他の一例を示すフローチャートである。

【図8】本発明の第一実施形態に係る、帳票テンプレートデータの一例を説明する図である。

【図9】本発明の第一実施形態に係る、ユーザ端末に表示される電子帳票テンプレートのユーザーインターフェース画面の一例を説明する図である。

【図10】本発明の第一実施形態に係る、ユーザ端末に表示される電子帳票テンプレートのユーザーインターフェース画面の他の一例を説明する図である。

【図11】本発明の第一実施形態に係る、ユーザ端末に表示される電子帳票テンプレートのユーザーインターフェース画面の他の一例を説明する図である。

【図12】本発明の第一実施形態に係る、手書きの入力データから構造化データを生成する方法を説明する図である。

【図13】本発明の第一実施形態に係る、手書きの入力データから構造化データを生成する方法を説明する他の図である。

【図14】本発明の第一実施形態に係る、構造化データを可視化する方法を説明する図である。

【図15】本発明の第一実施形態に係る、手書きの入力データを文字認識する方法を説明する図である。

【図16】本発明の第一実施形態に係る、データ入力支援方法の処理のさらに他の一例を示すフローチャートである。

【図17】本発明の第一実施形態に係る、電子帳票テンプレートの作成のための一工程を説明する図である。

【図18】本発明の第一実施形態に係る、電子帳票テンプレートの作成のための他の一工程を説明する図である。

【図19】本発明の第一実施形態に係る、電子帳票テンプレートの作成のためのさらに他の一工程を説明する図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態について図面を参照して説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また、実施形態に示される構成要素のすべてが、本発明の必須の構成要素であるとは限らない。

【0011】

＜構成＞
図１は、本発明の第一実施形態に係る、データ入力支援システムを示すブロック構成図である。本システム１は、例えば、予め格納した帳票テンプレートデータから手書き入力用電子帳票テンプレートデータを生成し、工場等の現場担当者ユーザによる手書き入力データを、ユーザ端末を介して受信し、手書き入力データに基づいて文字認識等の方法を介して構造化データを生成し、最終的なデータとして格納する、サーバ端末１００と、上記現場担当者ユーザが操作するユーザ端末２００Ａ、２００Ｂとを含む。なお、説明の便宜上、各端末を単一または特定数のものとして記載しているが、各々数は制限されない。

【0012】

サーバ端末１００、及びユーザ端末２００Ａ、２００Ｂは、ネットワークＮＷ１を介して各々接続される。ネットワークＮＷは、インターネット、イントラネット、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により構成される。

【0013】

サーバ端末１００は、例えば、ワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。

【0014】

ユーザ端末２００Ａ、２００Ｂは、例えば、タブレット端末等の情報処理装置であるが、スマートフォンや携帯電話、ＰＤＡ、パーソナルコンピュータ等により構成しても良い。

【0015】

本実施形態では、システム１は、サーバ端末１００、及びユーザ端末２００Ａ、２００Ｂを備え、各端末のユーザが各々の端末を利用して、サーバ端末１００に対する操作を行う構成として説明するが、サーバ端末１００がスタンドアローンで構成され、サーバ端末自身に、各ユーザが直接操作を行う機能を備えても良い。以下、必要に応じ、ユーザ端末２００Ａ、２００Ｂを総称してユーザ端末２００として説明する。

【0016】

図２は、図１のサーバ端末１００の機能ブロック構成図である。サーバ端末１００は、通信部１１０と、記憶部１２０と、制御部１３０とを備える。

【0017】

通信部１１０は、ネットワークＮＷ１を介してユーザ端末２００と通信を行うための通信インターフェースであり、例えばＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）等の通信規約により通信が行われる。

【0018】

記憶部１２０は、各種制御処理や制御部１３０内の各機能を実行するためのプログラム、入力データ等を記憶するものであり、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等から構成される。また、記憶部１２０は、例えば、製造業、ビルメンテナンス、建設業、飲食業、フィールド営業等に従事する（以下、製造業等）企業等のノンデスクワーカであるユーザに関連する各種データを格納する、ユーザデータ格納部１２１、及び工場現場の作業記録等の帳票に関連する各種データを格納する、帳票データ格納部１２２を有する。なお、各種データを格納したデータベース（図示せず）が記憶部１２０またはサーバ端末１００外に構築されていてもよい。

【0019】

制御部１３０は、記憶部１２０に記憶されているプログラムを実行することにより、サーバ端末１００の全体の動作を制御するものであり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等から構成される。制御部１３０の機能として、工場等の現場担当者ユーザのユーザ端末からの手書き入力データ等の情報を受け付ける情報受付部１３１と、手書き入力データに対し、文字認識の処理を実行する、文字認識処理部１３２と、帳票テンプレートデータ、手書き入力用の電子帳票テンプレートデータ、及び構造化されたデータ等を格納する、帳票データ処理部１３３とを有する。この情報受付部１３１、文字認識処理部１３２及び帳票データ処理部１３３は、記憶部１２０に記憶されているプログラムにより起動されてコンピュータ（電子計算機）であるサーバ端末１００により実行される。

【0020】

情報受付部１３１は、ユーザ端末２００から通信部１１０を介して情報を受付ける。例えば、ユーザ端末２００から、電子帳票テンプレートに対して手書き入力されたデータを座標データ、筆跡データとして受信する。

【0021】

文字認識処理部１３２は、ユーザ端末２００から受信した手書き入力データに対し、文字認識処理を実行し、デジタルデータを生成する。

【0022】

帳票データ処理部１３３は、文字認識の結果生成されたデジタルデータに基づいて構造化データとして生成し、生成された構造化データを格納する等、所定の処理を行う。

【0023】

また、制御部１３０は、図示しない、画面生成部を有することもでき、求めに応じて、ユーザ端末２００のユーザーインターフェースを介して表示される画面情報を生成する。例えば、記憶部１２０に格納された（図示しない）画像及びテキストデータを素材として、所定のレイアウト規則に基づいて、各種画像及びテキストをユーザーインターフェースの所定の領域に配置することで、ユーザーインターフェースを生成する。画像生成部に関連する処理は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によって実行することもできる。

【0024】

図３は、図１のユーザ端末２００を示す機能ブロック構成図である。ユーザ端末２００は、通信部２１０と、表示操作部２２０と、記憶部２３０と、制御部２４０とを備える。

【0025】

通信部２１０は、ネットワークＮＷを介してサーバ端末１００と通信を行うための通信インターフェースであり、例えばＴＣＰ／ＩＰ等の通信規約により通信が行われる。

【0026】

表示操作部２２０は、ユーザが指示を入力し、制御部２４０からの入力データに応じてテキスト、画像等を表示するために用いられるユーザーインターフェースであり、ユーザ端末２００がパーソナルコンピュータで構成されている場合はディスプレイとキーボードやマウスにより構成され、ユーザ端末２００がスマートフォンまたはタブレット端末で構成されている場合はタッチパネル等から構成される。この表示操作部２２０は、記憶部２３０に記憶されている制御プログラムにより起動されてコンピュータ（電子計算機）であるユーザ端末２００により実行される。

【0027】

記憶部２３０は、各種制御処理や制御部２４０内の各機能を実行するためのプログラム、入力データ等を記憶するものであり、ＲＡＭやＲＯＭ等から構成される。また、記憶部２３０は、サーバ端末１００との通信内容を一時的に記憶している。

【0028】

制御部２４０は、記憶部２３０に記憶されているプログラムを実行することにより、ユーザ端末２００の全体の動作を制御するものであり、ＣＰＵやＧＰＵ等から構成される。

【0029】

図４は、サーバ１００に格納されるユーザデータの一例を示す図である。

【0030】

図４に示すユーザデータ１０００は、ユーザに関連する各種データを格納する。図４において、説明の便宜上、一ユーザ（ユーザＩＤ「１０００１」で識別されるユーザ）の例を示すが、複数のユーザの情報を格納することができる。ユーザに関連する各種データとして、例えば、ユーザに関する基本情報（例えば、企業名、住所、担当者名、部署名、連絡先等）、及び工場現場の作業記録等の帳票データ（帳票データとして格納される帳票を識別するＩＤ）を含むことができるがこれらに限定されない。

【0031】

図５は、サーバ１００に格納される帳票データの一例を示す図である。

【0032】

帳票データ２０００は、工場現場の作業記録等の帳票に係る各種データを格納する。図５において、説明の便宜上、一帳票（帳票ＩＤ「２０００１」で識別される帳票）の例を示すが、複数の帳票に関連する情報を格納することができる。帳票データして、製造業等を営む企業ユーザが、工場現場の作業記録等の紙帳票に手書き入力されたデータに基づいて、エクセルやＣＳＶ等の所定のフォーマットのファイルに転記を行い、構造化されたデータとして記録するときに、入力項目及び入力形式を定義したテンプレートデータである、帳票テンプレートデータ、帳票テンプレートデータに基づいて生成され、現場担当ユーザによって利用されるユーザ端末上に表示され、作業記録等のデータを手書きにより入力可能なフォーマットに変換された、電子帳票テンプレートデータ、及び、ユーザ端末に表示される電子帳票テンプレートに対して現場担当ユーザにより手書き入力されたデータに基づいて文字認識を介して生成された構造化データ（テキスト、数値、記号、識別子、タイムスタンプ等）を含むことができるがこれらに限定されない。また、帳票データとして、上記文字認識処理に際して、文字認識を実行するために必要な、上記手書き入力データとして認識される、ユーザの筆跡データや座標データ、及び／または、電子帳票テンプレートデータに含まれる入力項目、入力領域、及びそれらの座標情報及びその文字認識結果としてのテキストデータ、構造化データを学習することで生成された学習モデルを格納することもできる。

【0033】

図６は、本発明の第一実施形態に係る、データ入力支援方法の処理の一例を示すフローチャートである。製造業等を営む企業の担当者ユーザは、工場現場の作業記録等の紙帳票に手書き入力されたデータを参照しながら、データの入力項目及び入力形式が予め規定された、エクセルやＣＳＶ等の所定のフォーマットのファイルに転記を行い、構造化されたデータとして記録するところ、その所定のフォーマットの帳票テンプレートデータを、ユーザ端末２００を介してサーバ端末１００に送信（アップロード）する。サーバ端末１００の制御部１３０の情報受付部１３１は、帳票テンプレートデータを受信すると、制御部１３０の雛型データ処理部１３３は、記憶部１２０の帳票データ格納部１２２に帳票テンプレートデータを、ユーザデータと紐づけて格納する。

【0034】

ステップＳ１０１の処理として、サーバ端末１００の制御部１３０の雛型データ処理部１３３は、企業の担当者ユーザのユーザ端末２００からの要求に基づいて、帳票データ格納部１２２を参照し、帳票データ２０００として格納された帳票テンプレートデータの読み込み処理を行う。

【0035】

例えば、図８に示すように、企業の担当者ユーザは、エクセル形式等の所定のフォーマットの帳票テンプレートデータを有しており、紙帳票に入力された手書きデータを参照しながら、帳票テンプレートデータ８００にデータの転記入力を行う。企業の担当者ユーザは、ユーザ端末２００に表示されるユーザーインターフェース画面を介して、事前にアップロードしたファイルの読み込みを要求し、帳票テンプレートデータを読み込むよう指示する。

【0036】

続いて、ステップＳ１０２の処理として、サーバ端末１００の制御部１３０の帳票データ処理部１３３は、記憶部１２０の帳票データ格納部１２２を参照し、読み込み要求のあった帳票テンプレートデータを読み込み、手書き入力が可能な電子帳票テンプレートデータに変換する処理を実行する。

【0037】

例えば、図９に示すように、電子帳票テンプレートデータ９００は、図８に示す帳票テンプレートデータ８００と共通の入力項目及び入力領域を有し、手書き入力を可能とするテンプレートデータであることを特徴とする。電子帳票テンプレートデータ９００のデータ形式は、帳票テンプレートデータ８００と同じフォーマット（本例でいえば、エクセルやＣＳＶ等）とすることもできるし、任意のフォーマット（ＰＤＦ等）とすることもできる。このように、電子帳票テンプレートデータを手書き入力可能なテンプレートデータとすることで、工場現場等の現場担当者は、作業を行いながらデータ入力を可能とすることができ、また、デジタルデータ入力と比較して、紙帳票に書き込むかのように直感的にデータ入力を行うことができるので、ツールの導入障壁なく、その導入コストをセーブすることができる。

【0038】

図７は、本発明の第一実施形態に係る、データ入力支援方法の処理の他の一例を示すフローチャートである。本例において、製造業等を営む企業の担当者ユーザは、タブレット等のユーザ端末２００に、帳票入力支援アプリケーションをインストールし、アプリケーションを起動し、ユーザ端末２００に表示される、図６に説明した電子帳票テンプレートを介して、製造日誌として加工作業の記録の入力を実施する。

【0039】

ステップＳ２０１の処理として、担当者ユーザは、ユーザ端末２００に表示される電子帳票テンプレートに対し、スタイラスペン等を用いて手書きによりデータ入力を行うと、サーバ端末１００の制御部１３０の情報受付部１３１は、ユーザ端末２００から手書き入力データを受信する。ここで、手書き入力データは、ユーザの筆跡データや座標データ、及び／または、電子帳票テンプレートデータに含まれる入力項目、入力領域、及びそれらの座標情報を含む。例えば、図９に示すように、ユーザは、電子帳票テンプレート９００の、加工時間、不良品数等の所定の入力項目において、手書きによる入力を行うことができる。ここで、担当者ユーザは、手書きによる文字入力とともに、現場においてユーザ端末２００等により撮影した画像（動画を含む）及び／または録音した音声等のメディアデータをサーバ端末１００に送信することもできる。

【0040】

ステップＳ２０２の処理として、サーバ端末１００の制御部１３０の文字認識処理部１３２は、手書き入力データを基にデジタル形式のテキストデータを生成する。文字認識処理部１３２は、上記手書き入力データとして、筆跡データ及び座標データに基づいて、パターンマッチング等の方法により入力された文字を認識し、ユーザ端末２００に表示される電子帳票テンプレートにおける入力座標に基づいて、どの入力項目及び／または入寮域にどの文字が入力されたかを推測する処理を行う。また、文字認識に際して、入力された筆跡データ、座標データ、及び、出力されたテキストデータ及び構造化データに基づいて機械学習を行うことで生成された学習モデルを用いることもできる。なお、文字認識処理部１３２によって実行される処理を、ユーザ端末２００にインストールされたプログラムにより実行することもできる。

【0041】

ここで、手書き入力データに基づいて、デジタル形式のテキストデータを生成する際に、文字認識処理部１３２は、手書き入力データを含む電子帳票テンプレートに基づいて生成された画像データに対し、ＯＣＲ処理に基づいた文字認識処理を実行することで、デジタル形式のテキストデータを生成することもできる。そして、文字認識処理部１３２は、電子帳票テンプレートの入力枠に対し、生成したテキストデータを出力する。

【0042】

ここで、文字認識処理において、ユーザが手書き入力したデータが、ユーザが過去に記入したデータと異なる場合、または、指定した範囲と異なる場合、文字認識処理部１３２は、入力者または管理者のユーザ端末２００に対して、リアルタイムにエラーを通知したり、予測変換候補を提示したりすることができる。または、文字認識処理部１３２は、上記のように入力エラーの可能性がある場合に、手書き入力データに基づいて変換し、出力されたテキストデータが表示される領域を色分けして識別表示させることもできる。

【0043】

また、文字認識処理において、電子帳票テンプレート上に入力領域（枠）をはみ出して、手書き入力が行われた場合、文字認識処理部１３２は、電子帳票テンプレート上で、入力が行われた始点及び一字目の文字入力が完了した終点の座標を認識し、これらの座標が含まれる入力領域（枠）に対して入力が行われたものと判定して、判定した入力枠に収納されるように、手書き入力データに対して変換された文字（数値）を出力させることもできる。

【0044】

また、文字認識処理において、担当者ユーザにより手書き入力した文字が類似した文字に変換される場合があり（例えば、数値「２」と英文字「ｚ」、数値「０」と英文字「ｏ」）、このような場合に、図１５に示すように、同じ帳票種類及び同じ入力領域（枠）において過去に入力され、テキスト変換されたデータに基づいて、入力データを予測することもできる。例えば、「１２３．４」という手書き入力が行われた場合、手書き入力データが、「１ｚ３１４」として認識されることを回避するために、文字認識処理部１３２は、過去に入力され、記憶部１２０の帳票データ格納部１２２に格納された、同一帳票の同一入力領域に入力された構造化データ及び類似する記号のデータベースに基づいて、受け付けた手書き入力データが小数点を含む、数値であることを予測することができる。また、過去の入力データと共に、または、替えて、ユーザにより事前に登録したデータに基づいて、入力データを予測することもできる。ここで、ユーザは、所定の記入枠に対して、例えば、記入枠には数字と「．」しか入らない旨、記入枠に入る文字の選択肢を指定する旨（例えば、部品名Ａ、部品名Ｂ、部品名Ｃのいずれか選択できるようにする）、記入枠には日付しか入らない旨、または、作業者氏名や作業者を管理する固有ＩＤしか入らない旨、入力ルールとして事前に登録することができる。

【0045】

また、文字認識処理後、電子帳票テンプレートの入力枠上に出力された、文字や数値等のテキストデータに対し、担当者ユーザは、表示されたテキストデータを確認し、入力枠毎に手動によりテキストデータを編集し、テキストデータを修正したり、追加または削除することができる。

【0046】

続いて、ステップＳ２０３の処理として、文字認識処理部１３２は、認識された文字を構造化データとして記憶部１２０の帳票データ格納部１２２に格納する処理を行う。構造化データとして認識する処理の一例として、図１２に示す、ユーザ端末２００に表示される電子帳票テンプレート１２００において、当該テンプレートに含まれる領域を、１）ユーザによる記入または選択が可能でない領域であって、帳票の種類を示す情報が表示される領域１２１０（本例では、帳票ＩＤと紐づけられる帳票名「加工品質チェックシート」等）、２）記入または選択が可能であって、入力された情報が帳票内に含まれる情報全体に対して影響が及ぶ領域１２２０（本例では、「品番ＢＫ 計画数２０」等）、及び３）記入または選択が可能であって、入力された情報が帳票内において行及び列に含まれる情報に関連する領域１２３０（本例では、「レーザ抜き」、「開始時チェックと終了時チェック」、「作業日」、「作業者」等）にカテゴリ化し、各々の領域に対して入力された情報を認識し、上記２）及び３）の記入または選択が行われた場合に、入力した時間に対して付与されるタイムスタンプ、入力内容を承認申請した時間に対して付与されるタイムスタンプ、及び承認された時間に対して付与されるタイムスタンプを基に、各々の領域で認識された入力データ（文字、数値、記号等）をタイムスタンプとともに、図１３に示すような構造化データに変換する処理を行う。

【0047】

図１３に示すように、文字認識処理部１３２は、構造化データとして出力されるシート１３００において、上記１）において認識された入力データを、帳票ＩＤを出力する領域１３１０に、上記２）において認識された入力データを、帳票全体にかかる記録を表示する領域１３２０に、上記３）において認識された入力データを、行及び列を特定する情報（「Ａ」列「１」行目、「Ｂ」列「１」行目、「Ａ」列「３」行目、等で定義される識別子）を表示する領域１３３０及び特定された行及び列に入力された情報を表示する領域１３４０に、記入、申請及び承認された時間を示すタイムスタンプとともに表示させる。これにより、手書き入力されたデータを構造化データに変換して記録及び管理することができ、また、これらの入力データを、記入した記入者名及びタイムスタンプとともに記録及び管理することで、記録データのトレーサビリティを担保することもできる。上記の通り、電子帳票テンプレートに含まれる各々の領域には、識別子が付与されており、例えば、上記２）の入力データが表示される領域を「１」（「ＢＫ」が表示される領域）とし、上記３）の入力データが表示される領域を、行及び列に応じて「Ａ１」（レーザ抜きの開始時チェック）、「Ｂ１」（レーザ抜きの終了時チェック）、「Ａ３」（ナット圧入の開始時チェック）等とするときに、帳票ＩＤ、識別子及びタイムスタンプを用いることで、図１４に示すように、縦軸を記入内容（数値等）、横軸を記入日として、各々の行列による識別子（「レーザ抜きの開始時チェック」「レーザ抜きの終了時チェック」）を凡例として可視化することができる。また、上記「帳票ＩＤ」、「識別子」、「タイムスタンプ」といった情報を基に、企業の担当ユーザまたは管理者ユーザは、所望の情報を取得するために検索を行うことができる。

【0048】

図１０に示すように、現場担当者ユーザは、手書き入力したデータが電子帳票テンプレートに構造化データとして出力されると、ユーザ端末２００を介して、サーバ端末１００に対し、データの記録要求を行なうことができる。サーバ端末１００の制御部１３０の帳票データ処理部１３３は、構造化データを記憶部１２０の帳票データ格納部１２２に格納する。同時に、帳票データ処理部１３３は、構造化データを記録した時間に対しタイムスタンプを付与し、記入者情報とともに帳票データ格納部１２２に格納することもできる。また、図１１に示すように、現場担当者ユーザは、構造化データの記録に続いて、入力内容について、承認者である管理者ユーザに対し、承認申請を行うこともできる。同時に、帳票データ処理部１３３は、構造化データを申請した時間に対しタイムスタンプを付与し、申請者情報とともに帳票データ格納部１２２に格納することもできる。管理者ユーザは、管理者ユーザのユーザ端末２００（例えば、現場担当者ユーザのユーザ端末２００Ａとは異なるユーザ端末２００Ｂ）において、サーバ端末１００を介して入力データの承認申請を受信し、承認処理を行うと、サーバ端末１００は、ユーザ端末２００Ｂから承認の旨情報を受信し、構造化データについて承認されたステータスを付与し、同時にタイムスタンプを付与して、記憶部１２０の帳票データ格納部１２２にこれらの情報を格納するとともに、現場担当者ユーザのユーザ端末２００Ａに、データ入力が承認された旨通知を送信する。

【0049】

以上のように、現場担当者ユーザは、手書き入力したデータを構造化データとして記録すると、構造化データは、サーバ端末１００の記憶部１２０の帳票データ格納部１２２に格納され、蓄積される。このように蓄積された構造化データをデータセットとして、サーバ端末１００は、大規模言語モデル（例えば、チャットＧＰＴ）と連携することにより、担当者ユーザにより質問要求に対し、回答文を生成することができる。例えば、担当者ユーザは、ユーザ端末２００に表示される所定のチャットユーザインターフェースを介して、「製品ＸＤ－１１２について、欠陥数が多かった実績データを上位３件まとめて、共通の原因を考察して」という質問文を入力すると、サーバ端末１００は、帳票データ格納部１２２に格納されたデータセットを参照し、大規模言語モデルに基づいて、「上位３件は以下です。（上位３件の実績提示）共通の原因として作業者Ａさんが作業を行っています」といった回答文を生成し、ユーザ端末２００に対し送信することができる。その他、「在庫管理記入表の部品Ａの在庫数推移１０日間分を分析して、次回の発注時期を提示ください。」 という質問文に対し、「部品Ａは、１０日間で２００個使用されています。この推移が続くと、次回は４０日後に発注が必要です。」という回答文を生成することもできる。ここで、データセットの元となる帳票データは、帳票データ格納部１２２において企業毎に管理することができ、セキュリティを担保しつつ、質問文に対する回答精度の向上を図ることができる。

【0050】

本発明の第一実施形態に係る、データ入力支援方法の処理のさらに他の一例を示すフローチャートである。本例においては、図６において説明した、帳票テンプレートデータから電子帳票テンプレートデータに変換する処理において、入力項目（項目名）及び入力領域（記入枠）の検出精度を高め、さらに、ユーザの入力精度をさらに向上させることを目的とする。

【0051】

上記同様に、企業の担当者ユーザは、ユーザ端末２００を介して、サーバ端末１００に対して、エクセルやＣＳＶ（またはＪＰＧ等の画像データ）等の所定のフォーマットの帳票テンプレートデータを、ユーザ端末２００を介してサーバ端末１００に送信（アップロード）する。サーバ端末１００の制御部１３０の情報受付部１３１は、帳票テンプレートデータを受信すると、制御部１３０の雛型データ処理部１３３は、記憶部１２０の帳票データ格納部１２２に帳票テンプレートデータを、ユーザデータと紐づけて格納する。

【0052】

ステップＳ３０１の処理として、サーバ端末１００の制御部１３０の雛型データ処理部１３３は、ユーザ端末２００からの要求に基づいて、帳票データ格納部１２２を参照し、帳票データ２０００として格納された帳票テンプレートデータの読み込み処理を行い、帳票テンプレートデータにおいて、記入枠となる領域を画像認識により検出する。

【0053】

例えば、図１７に示すように、雛型データ処理部１３３は、帳票テンプレートデータにおいて、記入枠と領域を画像認識処理により検出する。ここで、サーバ端末１００の制御部１３０の情報受付部１３１は、ユーザ端末２００に表示される、帳票テンプレートデータにおいて、ユーザから、記入枠となる矩形の枠の大小を調整する入力を受け付けることで、記入枠を決定することもできる。これにより、テンプレートデータにおける記入枠の精度を高めることもできる。

【0054】

続いて、ステップＳ３０２の処理として、サーバ端末１００の制御部１３０の文字認識処理部１３２は、帳票テンプレートデータにおいて、項目枠及び項目名を、ＯＣＲ処理に基づいて、文字認識により検出する。例えば、図１７において、「製品名」、「対応者」、「加工内容」等の項目枠及び項目名が挙げられる。

【0055】

続いて、ステップＳ３０３の処理として、サーバ端末１００の制御部１３０の帳票データ処理部１３３は、帳票テンプレートデータにおける、上記検出した、項目枠及び項目名と、記入枠とのマッチング処理を実行する。本処理は、項目名が含まれる項目枠に対して、いずれの入力枠が対応するか、の対応関係を決定する処理であり、項目枠と入力枠との位置関係に基づいて、または、過去のユーザまたは他のユーザにより生成された電子帳票テンプレートデータを参照し、項目枠と入力枠との対応関係を複数の類型（パターン）として格納しておき、その類型から上記対応関係を推測することもできる。帳票データ処理部１３３は、例えば、図１８に示すように、「不良内容」の項目の各項目、例えば、「ショート」、「異物」、「バリ」に対応する記入枠、「異常内容（即報告）」に対応する記入枠、「指示者」、「記入者」に対応する記入枠等を、各々の項目枠と記入枠との位置関係に基づいて、決定する。ここで、帳票データ処理部１３３は、項目枠と記入枠との対応関係を決定すると、項目に対する最適な入力方法を決定することができる。例えば、「記入日」という日付に関する項目枠であることを認識したときに、対応する入力枠に対して、ユーザがカレンダー入力を可能とする設定を行うことができる。また、「記入者」という項目枠であることを認識したときに、対応する入力枠に対して、ログインしたユーザ名を入力可能とする設定を行うことができる。これらの処理は、帳票データ処理部１３２が、過去のユーザまたは他のユーザによる、帳票テンプレートデータ及び／または電子帳票テンプレートデータに対する入力情報を機械学習等により参照することで推測を行うことができる。また、図１９に示すように、帳票データ処理部１３３は、入力枠に対する入力データ（テキストデータ等）の文字及び大きさを認識したうえで、最大長方形と余白を定義し、その定義に基づいて、その入力枠が記入枠か項目枠かを判定することもできる。帳票データ処理部１３３は、このように、項目枠と入力枠との対応関係を決定し、電子帳票テンプレートデータとして、記憶部１２０の帳票データ格納部１２２に格納する。他方、帳票において、「品番」、「品名」、「作業内容」、「成形ロット」等、項目名から入力方式を推測しにくいものについては、各項目枠（項目名に）対応づけられる入力方式を予め記憶部１２０の帳票データ格納部１２２に格納しておき、ルールベースに基づいて推測するか、実際の作業者による、紙の帳票の記入内容をＯＣＲ処理等によって電子化したデータに基づいて、機械学習により生成された学習モデルにより推測、または、上記項目枠（項目名）ｃに基づいた機械学習による推測を併用して推測することにより、入力方式を推測することができる。これにより、項目名から一見して入力方式が分かりづらい、例えば、「品番」は、所定の桁数の数字をハイフンで連結する方式、「品名」はカタカナによる記入方式、「作業内容」については選択方式、「成形ロット」については日付方式等、実際の紙の帳票への記入内容に基づいた学習によって推測が可能となる。

【0056】

さらに、帳票データ処理部１３３は、電子帳票テンプレートデータに対して、ユーザから、ユーザ端末２００を介して、入力枠に対して手書き入力を受け付けるとき、ユーザによって入力された数ストロークの入力位置に基づいて、入力枠に対するユーザの入力の軌跡を検知し、入力枠に対するその軌跡の割合の大きさに基づいて、ユーザがどの入力枠に対してデータ入力を行っているかを推測することができる。これにより、ユーザが、入力に対してはみ出して入力したとしても、どの入力枠に対する入力かと検知することができる。また、帳票データ処理部１３３は、ユーザによる手書き入力に対して、文字認識処理部１３２による文字認識により認識されたテキスト情報に基づいて、過去のユーザの入力情報を参照し、候補となるテキスト情報を、ユーザ端末２００に表示される、電子帳票テンプレートデータの入力枠内または近接する位置に表示させることで、ユーザのデータ入力精度を向上させることができる。

【0057】

さらに、帳票データ処理部１３３は、電子帳票テンプレートデータに対して、ユーザから、ユーザ端末２００を介して、入力枠に対して手書き入力を受け付けるとき、ユーザによって入力された数ストロークの入力位置に基づいて、入力枠に対するユーザの入力の軌跡を検知し、入力枠に対するその軌跡の割合の大きさに基づいて、ユーザがどの入力枠に対してデータ入力を行っているかを推測することができる。これにより、ユーザが、入力に対してはみ出して入力したとしても、どの入力枠に対する入力かと検知することができる。また、帳票データ処理部１３３は、ユーザによる手書き入力に対して、文字認識処理部１３２による文字認識により認識されたテキスト情報に基づいて、過去のユーザの入力情報を参照し、候補となるテキスト情報を、ユーザ端末２００に表示される、電子帳票テンプレートデータの入力枠内または近接する位置に表示させることで、ユーザのデータ入力精度を向上させることができる。

【0058】

このようにして、電子帳票テンプレートデータに対して、作業者ユーザによるデータ入力が完了し、作業日誌等の報告書が作成され、ユーザによる入力完了指示を受信すると、帳票データ処理部１３３は、電子帳票テンプレートデータに入力されたデータを報告書データとして、記憶部１２０の帳票データ格納部１２２に構造化データとして格納する。報告者データは、管理者等のユーザが、ユーザ端末２００に表示される管理画面等により確認することができ、ＰＤＦデータとして出力することもできる。管理者ユーザは、ユーザ端末２００に表示された報告書データを編集することもでき、最終的に承認処理を行うこともできる。管理者ユーザにより編集及び／または承認された報告書データは、随時更新され、作業者ユーザまたは管理者ユーザは、最終的な報告書データを、各々のユーザ端末２００にてリアルタイムに確認することができる。

【0059】

以上、本実施形態によれば、電子帳票テンプレートへの入力を手書き入力とすることで、製造現場において実績報告を行う現場担当者に負担を強いることなく、入力されたデータを構造化して記録することを可能とすることで、効率的に現場の実績報告を行うことを可能とする、データ入力の支援方法を実現することができる。また、元の画像データまたは帳票テンプレートデータに対する電子帳票テンプレートの生成精度の向上を図ることができ、電子帳票テンプレートに対するユーザの入力精度の向上を実現することもできる。

【0060】

以上、発明に係る実施形態について説明したが、これらはその他の様々な形態で実施することが可能であり、種々の省略、置換および変更を行なって実施することが出来る。これらの実施形態および変形例ならびに省略、置換および変更を行なったものは、特許請求の範囲の技術的範囲とその均等の範囲に含まれる。

【符号の説明】

【0061】

１ システム １００ サーバ端末、１１０ 通信部、１２０ 記憶部、１３０ 制御部、２００ ユーザ端末、ＮＷ１ ネットワーク

【要約】      （修正有）

【課題】製造現場において実績報告を行う現場担当者に負担を強いることなく、効率的に現場の実績報告を行う帳票のデータ入力を支援する方法を提供する。
【解決手段】現場担当者ユーザが操作するユーザ端末２００Ａ、２００Ｂによる帳票のデータ入力を支援するシステム１における方法であって、サーバ端末１００の制御部は、記憶部に格納された帳票テンプレートデータを参照し、前記帳票テンプレートデータにおける項目枠、項目名及び入力枠を各々検出し、検出した項目枠と入力枠との対応関係を決定し、手書き入力可能な電子帳票テンプレートデータに変換する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】