特表 2025-528076 データ抽出システムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-08-26

(54)【発明の名称】データ抽出システムおよび方法

(51)【国際特許分類】

   G06V 30/41 20220101AFI20250819BHJP

   G06V 30/16 20220101ALI20250819BHJP

   G06V 30/42 20220101ALI20250819BHJP

   G06V 30/12 20220101ALI20250819BHJP

   G06V 30/162 20220101ALI20250819BHJP

   G06F 3/04842 20220101ALI20250819BHJP

【ＦＩ】

G06V30/41

G06V30/16

G06V30/42

G06V30/12 B

G06V30/162 S

G06F3/04842

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2025505871

(86)(22)【出願日】2023-08-03

(85)【翻訳文提出日】2025-03-28

(86)【国際出願番号】 EP2023071575

(87)【国際公開番号】W WO2024028450

(87)【国際公開日】2024-02-08

(31)【優先権主張番号】202241044316

(32)【優先日】2022-08-03

(33)【優先権主張国・地域又は機関】IN

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡＳＣＲＩＰＴ

２．ＦＩＲＥＷＩＲＥ

３．ＴＨＵＮＤＥＲＢＯＬＴ

４．ＢＬＵＥＴＯＯＴＨ

５．ＡＮＤＲＯＩＤ

６．ＵＮＩＸ

７．ＷＣＤＭＡ

(71)【出願人】

【識別番号】509228994

【氏名又は名称】アマデウス エス．アー．エス．

【氏名又は名称原語表記】ＡＭＡＤＥＵＳ Ｓ．Ａ．Ｓ．

【住所又は居所原語表記】４８５ Ｒｏｕｔｅ ｄｕ Ｐｉｎ Ｍｏｎｔａｒｄ，Ｓｏｐｈｉａ Ａｎｔｉｐｏｌｉｓ，Ｆ－０６４１０ Ｂｉｏｔ，Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100188558

【弁理士】

【氏名又は名称】飯田 雅人

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(72)【発明者】

【氏名】エルド・アブラーム

(72)【発明者】

【氏名】トーマス・クリストファー・ヴォルフガング・ランドグレブ

(72)【発明者】

【氏名】ジョシュア・メリット

(72)【発明者】

【氏名】フリスティヤン・ジョージェフスキー

【テーマコード（参考）】

5B064

5E555

【Ｆターム（参考）】

5B064AA10

5B064AB13

5B064BA01

5B064CA05

5B064EA07

5B064EA10

5B064FA08

5E555AA04

5E555AA26

5E555BA01

5E555BA05

5E555BA06

5E555BA10

5E555BB05

5E555BB06

5E555BB10

5E555BC04

5E555BD01

5E555CA24

5E555CA42

5E555CB02

5E555CB33

5E555CC01

5E555CC03

5E555DB20

5E555DB41

5E555DB53

5E555DC13

5E555DC40

5E555EA05

5E555EA19

5E555EA22

5E555EA26

5E555FA00

(57)【要約】

本発明は、文書からデータを抽出するためのデータ抽出システムおよび方法に関する。データ抽出システムは、データ抽出アプリケーションを含み、データ抽出アプリケーションは、トレーニングされた文書分類モデルと、コンピュータプログラムコードとを含み、コンピュータプログラムコードは、電子デバイスのプロセッサによって実行されると、プロセッサに、文書の画像をキャプチャするようユーザに指示するユーザインターフェースを電子デバイス上に提示することと、文書のキャプチャされた画像を文書分類モデルにサブミットすることと、文書分類モデルから、文書の文書カテゴリ値を受信することと、データ抽出アプリケーションによって実行される次のデータ抽出動作を選択するために、文書カテゴリ値を処理することと、選択されたデータ抽出動作を開始することとをさせる。

【特許請求の範囲】

【請求項1】

データ抽出アプリケーションを含むデータ抽出システムであって、前記データ抽出アプリケーションが、トレーニングされた文書分類モデルと、コンピュータプログラムコードとを含み、前記コンピュータプログラムコードは、電子デバイスのプロセッサによって実行されると、前記プロセッサに、
文書の画像をキャプチャするようユーザに指示するユーザインターフェースを前記電子デバイス上に提示することと、
前記文書の前記キャプチャされた画像を前記文書分類モデルにサブミットすることと、
前記文書分類モデルから、前記文書の文書カテゴリ値を受信することと、
前記データ抽出アプリケーションによって実行される次のデータ抽出動作を選択するために、前記文書カテゴリ値を処理することと、
前記選択されたデータ抽出動作を開始することと
をさせる、データ抽出システム。

【請求項2】

前記プロセッサが、データ抽出動作のセットから前記次のデータ抽出動作を選択し、前記セットが、前記文書の別の画像をキャプチャするよう前記ユーザに指示する再試行ユーザインターフェースを提示することと、前記文書に対して光学式文字認識を実行することと、前記文書を物理的に操作するよう前記ユーザに指示する操作ユーザインターフェースを提示することと、前記文書からのデータ抽出が成功したことを前記ユーザに通知する抽出成功ユーザインターフェースを提示することとを含む、請求項1に記載のデータ抽出システム。

【請求項3】

前記抽出成功ユーザインターフェースが、前記電子デバイス上に、前記文書から抽出されたデータを提示する、請求項2に記載のデータ抽出システム。

【請求項4】

前記抽出成功ユーザインターフェースが、前記文書から抽出されたデータが正しいことを確認するために前記ユーザが操作可能な確認ユーザインターフェース要素を含む、請求項2に記載のデータ抽出システム。

【請求項5】

前記操作ユーザインターフェースが、前記文書の別の面を前記電子デバイスに提示してキャプチャするよう前記ユーザに指示する、請求項2に記載のデータ抽出システム。

【請求項6】

前記コンピュータプログラムコードが、さらに、前記プロセッサに、前記電子デバイスによって一旦キャプチャされた前記文書の前記別の面に対して画像キャプチャルーチンを実行させる、請求項5に記載のデータ抽出システム。

【請求項7】

前記コンピュータプログラムコードが、さらに、前記プロセッサに、前記電子デバイスによって一旦キャプチャされた前記文書の前記別の面に対して光学式文字認識を実行させる、請求項5に記載のデータ抽出システム。

【請求項8】

前記操作ユーザインターフェースが、前記文書の同じ面の別の部分を前記電子デバイスに提示してキャプチャするよう前記ユーザに指示する、請求項2に記載のデータ抽出システム。

【請求項9】

前記コンピュータプログラムコードが、さらに、前記プロセッサに、
ヒューリスティックフィルタリングアルゴリズムにヒューリスティックとして前記文書分類モデルの特徴を入力することと、
前記キャプチャされた画像に対して光学式文字認識を実行する前に、前記キャプチャされた画像に対して前記ヒューリスティックフィルタリングアルゴリズムを実行することと
をさせる、請求項1から8のいずれか一項に記載のデータ抽出システム。

【請求項10】

前記文書分類モデルの前記特徴が、機械可読ゾーンの存在および前記機械可読ゾーンの構造を含む、請求項9に記載のデータ抽出システム。

【請求項11】

前記データ抽出アプリケーションおよび前記文書分類モデルが、前記電子デバイスにインストールされたウェブブラウザによって実行可能なウェブアプリケーションに含まれる、請求項1から10のいずれか一項に記載のデータ抽出システム。

【請求項12】

文書からデータを抽出するための方法であって、
データ抽出アプリケーションおよびトレーニングされた文書分類モデルを電子デバイスに配信することと、
前記データ抽出アプリケーションが、文書の画像をキャプチャするようユーザに指示するユーザインターフェースを前記電子デバイス上に提示することと、
前記データ抽出アプリケーションが、前記文書の前記キャプチャされた画像を前記文書分類モデルにサブミットすることと、
前記データ抽出アプリケーションが、前記文書分類モデルから、前記文書の文書カテゴリ値を受信することと、
前記データ抽出アプリケーションが、前記データ抽出アプリケーションによって実行される次のデータ抽出動作を選択するために、前記文書カテゴリ値を処理することと、
前記データ抽出アプリケーションが、前記選択されたデータ抽出動作を開始することと
を含む、方法。

【請求項13】

前記データ抽出アプリケーションが、データ抽出動作のセットから前記次のデータ抽出動作を選択し、前記セットが、前記文書の別の画像をキャプチャするよう前記ユーザに指示する再試行ユーザインターフェースを提示することと、前記文書に対して光学式文字認識を実行することと、前記文書を物理的に操作するよう前記ユーザに指示する操作ユーザインターフェースを提示することと、前記文書からのデータ抽出が成功したことを前記ユーザに通知する抽出成功ユーザインターフェースを提示することとを含む、請求項12に記載の方法。

【請求項14】

前記抽出成功ユーザインターフェースが、前記電子デバイス上に、前記文書から抽出されたデータを提示する、請求項13に記載の方法。

【請求項15】

前記抽出成功ユーザインターフェースが、前記文書から抽出されたデータが正しいことを確認するために前記ユーザが操作可能な確認ユーザインターフェース要素を含む、請求項13に記載の方法。

【請求項16】

前記操作ユーザインターフェースが、前記文書の別の面を前記電子デバイスに提示してキャプチャするよう前記ユーザに指示する、請求項13に記載の方法。

【請求項17】

前記データ抽出アプリケーションが、前記電子デバイスによって一旦キャプチャされた前記文書の前記別の面に対して画像キャプチャルーチンを実行する、請求項16に記載の方法。

【請求項18】

前記データ抽出アプリケーションが、前記電子デバイスによって一旦キャプチャされた前記文書の前記別の面に対して光学式文字認識を実行する、請求項16に記載の方法。

【請求項19】

前記操作ユーザインターフェースが、前記文書の同じ面の別の部分を前記電子デバイスに提示してキャプチャするよう前記ユーザに指示する、請求項13に記載の方法。

【請求項20】

前記文書抽出アプリケーションが、
ヒューリスティックフィルタリングアルゴリズムにヒューリスティックとして前記文書分類モデルの特徴を入力することと、
前記キャプチャされた画像に対して光学式文字認識を実行する前に、前記キャプチャされた画像に対して前記ヒューリスティックフィルタリングアルゴリズムを実行することと
をする、請求項12から19のいずれか一項に記載の方法。

【請求項21】

前記文書分類モデルの前記特徴が、機械可読ゾーンの存在および前記機械可読ゾーンの構造を含む、請求項20に記載の方法。

【請求項22】

前記データ抽出アプリケーションおよび前記文書分類モデルが、前記電子デバイスにインストールされたウェブブラウザによって実行可能なウェブアプリケーションに含まれる、請求項12から21のいずれか一項に記載の方法。

【請求項23】

電子デバイスのプロセッサによって実行されると、前記プロセッサに、請求項12から22のいずれか一項に記載の方法を実行させるコンピュータプログラムコードを記憶する非一時的機械可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般にデータ抽出システムおよび方法に関する。より具体的には、本発明は、身元確認およびチェックイン自動化などの目的で、公文書(パスポートなどを含む)からデータを抽出するために電子デバイスを制御するシステムおよび方法に関する。

【背景技術】

【0002】

本明細書における文書、デバイス、行為または知識に関するあらゆる議論は、本発明の文脈を説明するために含まれる。いずれの資料も、本明細書における特許請求の範囲の優先日以前に、当該技術分野における従来技術の基礎または公知の一般知識の一部を形成していたと認めるものではない。

【0003】

旅行業界は、顧客が国際線などの選択した交通手段にチェックインするための、より自動化された非接触型の手続きに移行しつつある。自動チェックインの1つのアプローチは、そうでなければチェックイン担当者が手作業でチェックする公文書(パスポートなど)を、顧客が自分のデバイス上のソフトウェアアプリケーションを利用してスキャンすることを伴う。このアプリケーションは、公文書からデータを抽出し、データを航空会社のチェックインシステムに送信して検証およびアクションを行う。「バイオメトリック登録」として知られるプロセスでは、データ抽出アプリケーションは、書誌データの抽出に加えて、通常、公文書における顧客の写真から取られた顔スキャンの形式で、バイオメトリック情報を取得する。本人確認を行うために、顧客はデータ抽出アプリケーションを通じて追加のデジタル写真をサブミットすることができ、チェックインシステムは、その写真を記録された顔スキャンと比較する。

【0004】

バイオメトリック登録システムによって、顧客は空港に到着する前でも国際便にチェックインすることができ、次いで、空港のセキュリティシステムで写真を撮られるだけで飛行機に搭乗することができる。この点に関して、空港のセキュリティシステムは、搭乗前の写真を記憶された生体情報と比較することによって、顧客の身元およびチェックイン状況を確認することができる。

【0005】

現在のデータ抽出アプリケーションは、顧客が使用するのはやや面倒である。また、現在のアプリケーションには、顧客がいらいらして、従うのが難しいと感じ得る画面上の指示が大量に含まれている。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】"Machine Readable Travel Documents" specification (Doc 9303)

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明は、顧客が使用するのにより便利なデータ抽出システムおよび方法を提供することを目的とする。本発明によれば、特許請求の範囲に定義されたデータ抽出システムおよび方法が提供される。

【課題を解決するための手段】

【0008】

本開示の一態様によれば、データ抽出システムが提供され、データ抽出システムは、データ抽出アプリケーションを含み、データ抽出アプリケーションは、トレーニングされた文書分類モデルと、コンピュータプログラムコードとを含み、コンピュータプログラムコードは、電子デバイスのプロセッサによって実行されると、プロセッサに、文書の画像をキャプチャするようユーザに指示するユーザインターフェースを電子デバイス上に提示することと、文書のキャプチャされた画像を文書分類モデルにサブミットすることと、文書分類モデルから、文書の文書カテゴリ値を受信することと、データ抽出アプリケーションによって実行される次のデータ抽出動作を選択するために、文書カテゴリを処理することと、選択されたデータ抽出動作を開始することとをさせる。

【0009】

本開示は、デバイス上の文書分類機械学習モデルを利用して、公文書のキャプチャされた画像から公文書を分類し、分類に基づいて後続のデータ抽出プロセスを制御するデータ抽出アプリケーションを提供する。本開示によって、旅行者はアプリケーションに文書のタイプを(リストから文書タイプを選択するなどして)手動で入力する必要がなくなり、全体的なデータ抽出動作の効率も向上する。

【0010】

さらに、(ローカル文書分類モデルを使用して)クライアント側で文書分類を実行することによって、処理のためにキャプチャされた文書画像をバックエンドサーバに送信することを伴うソリューションと比較して、処理時間が改善される。クライアント側の文書分類では、アプリケーションは、バックエンドサーバにデータを送信することなく、必要な品質チェックを行うこともできる。

【0011】

好ましくは、プロセッサは、データ抽出動作のセットから次のデータ抽出動作を選択し、セットが、文書の別の画像をキャプチャするようユーザに指示する再試行ユーザインターフェースを提示することと、文書に対して光学式文字認識を実行することと、文書を物理的に操作するようユーザに指示する操作ユーザインターフェースを提示することと、文書からのデータ抽出が成功したことをユーザに通知する抽出成功ユーザインターフェースを提示することとを含む。

【0012】

通常、抽出成功ユーザインターフェースは、電子デバイス上に、文書から抽出されたデータを提示する。

【0013】

抽出成功ユーザインターフェースは、文書から抽出されたデータが正しいことを確認するためにユーザが操作可能な確認ユーザインターフェース要素を含み得る。

【0014】

好ましくは、操作ユーザインターフェースは、文書の別の面を電子デバイスに提示してキャプチャするようユーザに指示する。本実施形態によれば、コンピュータプログラムコードは、さらに、プロセッサに、電子デバイスによって一旦キャプチャされた文書の別の面に対して画像キャプチャルーチンを実行させ得る。あるいは、コンピュータプログラムコードは、さらに、プロセッサに、電子デバイスによって一旦キャプチャされた文書の別の面に対して光学式文字認識を実行させる。

【0015】

他の実施形態では、操作ユーザインターフェースは、文書の同じ面の別の部分を電子デバイスに提示してキャプチャするようユーザに指示する。

【0016】

いくつかの実施形態では、コンピュータプログラムコードは、さらに、プロセッサに、ヒューリスティックフィルタリングアルゴリズムにヒューリスティックとして文書分類モデルの特徴を入力することと、キャプチャされた画像に対して光学式文字認識を実行する前に、キャプチャされた画像に対してヒューリスティックフィルタリングアルゴリズムを実行することとをさせる。

【0017】

文書分類モデルの特徴は、通常、機械可読ゾーンの存在および機械可読ゾーンの構造を含む。

【0018】

好ましい実施形態では、データ抽出アプリケーションおよび文書分類モデルは、電子デバイスにインストールされたウェブブラウザによって実行可能なウェブアプリケーションに含まれる。

【0019】

本開示の別の態様によれば、文書からデータを抽出するための方法が提供され、この方法は、データ抽出アプリケーションおよびトレーニングされた文書分類モデルを電子デバイスに配信することと、データ抽出アプリケーションが、文書の画像をキャプチャするようユーザに指示するユーザインターフェースを電子デバイス上に提示することと、データ抽出アプリケーションが、文書のキャプチャされた画像を文書分類モデルにサブミットすることと、データ抽出アプリケーションが、文書分類モデルから、文書の文書カテゴリ値を受信することと、データ抽出アプリケーションが、データ抽出アプリケーションによって実行される次のデータ抽出動作を選択するために、文書カテゴリ値を処理することと、データ抽出アプリケーションが、選択されたデータ抽出動作を開始することとを含む。

【0020】

一実施形態では、データ抽出アプリケーションは、データ抽出動作のセットから次のデータ抽出動作を選択し、セットが、文書の別の画像をキャプチャするようユーザに指示する再試行ユーザインターフェースを提示することと、文書に対して光学式文字認識を実行することと、文書を物理的に操作するようユーザに指示する操作ユーザインターフェースを提示することと、文書からのデータ抽出が成功したことをユーザに通知する抽出成功ユーザインターフェースを提示することとを含む。

【0021】

好ましくは、抽出成功ユーザインターフェースは、電子デバイス上に、文書から抽出されたデータを提示する。

【0022】

抽出成功ユーザインターフェースは、文書から抽出されたデータが正しいことを確認するためにユーザが操作可能な確認ユーザインターフェース要素を含み得る。

【0023】

オプションとして、操作ユーザインターフェースは、文書の別の面を電子デバイスに提示してキャプチャするようユーザに指示する。

【0024】

他の実施形態では、データ抽出アプリケーションは、電子デバイスによって一旦キャプチャされた文書の別の面に対して画像キャプチャルーチンを実行する。

【0025】

他の実施形態では、データ抽出アプリケーションは、電子デバイスによって一旦キャプチャされた文書の別の面に対して光学式文字認識を実行する。

【0026】

操作ユーザインターフェースは、通常、文書の同じ面の別の部分を電子デバイスに提示してキャプチャするようユーザに指示する。

【0027】

好ましくは、文書抽出アプリケーションは、ヒューリスティックフィルタリングアルゴリズムにヒューリスティックとして文書分類モデルの特徴を入力することと、キャプチャされた画像に対して光学式文字認識を実行する前に、キャプチャされた画像に対してヒューリスティックフィルタリングアルゴリズムを実行することとをする。

【0028】

文書分類モデルの特徴は、機械可読ゾーンの存在および機械可読ゾーンの構造を含み得る。

【0029】

好ましくは、データ抽出アプリケーションおよび文書分類モデルが、電子デバイスにインストールされたウェブブラウザによって実行可能なウェブアプリケーションに含まれる。

【0030】

次に、添付の図面を参照しながら、実施形態について、単に例として説明する。

【図面の簡単な説明】

【0031】

【図1】本発明の態様を実装できるコンピューティング環境の概略図である。

【図2】本発明の一実施形態による、データ抽出アプリケーションのモジュールを示すブロック図である。

【図3】本発明の一実施形態による、データ抽出アプリケーションによって実行されるデータ抽出および送信処理を示すフローチャートである。

【図4】本発明の一実施形態による、データ抽出アプリケーションによって生成されるユーザインターフェースを示す図である。

【図5】本発明の一実施形態による、データ抽出アプリケーションによって生成される詳細検証ユーザインターフェースを示す図である。

【図6】本発明の一実施形態による、データ抽出アプリケーションによって実行されるカード反転動作を示すフローチャートである。

【図7】本発明の一実施形態による、データ抽出アプリケーションによって生成されるカード反転ユーザインターフェースを示す図である。

【図8】本発明の一実施形態による、データ抽出アプリケーションによって実行される照明補正および二値化動作を示す図である。

【図9】本発明の一実施形態による、データ抽出アプリケーションによって実行されるCCLおよびクラスタリング動作を示す図である。

【図10】本発明の一実施形態による、データ抽出アプリケーションによって実行されるヒューリスティックフィルタリング動作を示す図である。

【図11】本発明の一実施形態による、データ抽出アプリケーションによって実行される例示的なホモグラフィ計算を示す図である。

【図12】本発明の一実施形態を実装するのに適したコンピュータシステムのブロック図である。

【発明を実施するための形態】

【0032】

以下の詳細な説明では、詳細な説明の一部を形成する添付図面を参照する。詳細な説明に記載され、図に示された例示的な実施形態は、限定を意図するものではない。提示された主題の趣旨および範囲から逸脱することなく、他の実施形態が利用されてもよく、他の変更が行われてもよい。本明細書で一般的に説明され、図に示される本開示の態様は、多種多様な異なる構成で配置、置換、結合、分離、および設計することができ、そのすべてが本開示で企図されることが容易に理解されるであろう。

【0033】

図1は、本発明の態様が実装されるコンピューティング環境100を示す。環境100は、1つまたは複数の通信ネットワーク106を介してクライアントシステム104と通信する自動チェックインサーバ102を備えるネットワーク環境である。以下に説明するコンピュータ処理の態様は、自動チェックインサーバ102上で実行されるサーバアプリケーション108、およびクライアントシステム104上で実行されるデータ抽出アプリケーション112によって実行される。

【0034】

自動チェックインサーバ102は、データ抽出アプリケーション112によって収集され、自動チェックインサーバ102に送信されたデータが記憶されるデータストレージ110をさらに含む。データストレージ110は、通常、ハードドライブ(またはハードドライブの集合)などの記憶媒体である。自動チェックインサーバ102上で実行されるデータベース管理システム(図示せず)は、データを記憶し、取り出すためにデータストレージ110上にデータベースを実装する。

【0035】

自動チェックインサーバ102は、単一のシステムとして示されている。しかしながら、自動チェックインサーバ102は、処理要求に基づいて委託/委託解除できる複数のノードを備えるスケーラブルなサーバシステムとすることができる。通常、サーバシステムは、クライアントシステムと比較して、より大きいリソース(たとえば、処理、メモリ、ネットワーク帯域幅など)を提供するサーバコンピュータである。

【0036】

図示された実施形態では、データストレージ110は自動チェックインサーバの一部として図示されている。しかしながら、データストレージ110は、自動チェックインサーバ102と動作可能なネットワーク通信を行う別個のシステムとすることもできる。たとえば、データストレージは、ネットワーク接続されたストレージデバイス、データベース管理システムを介してアクセスされる完全に別個のストレージシステム、または任意の他の適切なデータストレージ機構とすることができる。

【0037】

以下でさらに詳細に説明するように、サーバアプリケーション108は、データ抽出アプリケーション112から受信した(およびデータ抽出アプリケーション112で開始された)コマンドに応答して、様々な動作を実行する。したがって、自動チェックインサーバ102によって実行されると、サーバアプリケーション108は、データ抽出動作にサーバ側の機能を提供するように自動チェックインサーバ102を構成する。この機能を提供するために、サーバアプリケーション108は、1つまたは複数の適切なアプリケーションプログラム、ライブラリ、または他のソフトウェアインフラストラクチャを備える。

【0038】

データ抽出アプリケーション112がウェブブラウザによって実行されるウェブアプリケーションである場合、サーバアプリケーション108は、通常、node.jsランタイム環境で実装されたサーバなどのウェブサーバであるか、またはそれと対話する。データ抽出アプリケーション112がクライアントシステム104のネイティブアプリケーションである場合、サーバアプリケーション108は、通常、アプリケーションサーバであるか、またはアプリケーションサーバと対話する。自動チェックインサーバシステム102は、ウェブブラウザとネイティブクライアントアプリケーションの両方に仕えることができるように、ウェブサーバとアプリケーションサーバの両方のアプリケーションが提供されてもよい。

【0039】

自動チェックインサーバ102およびクライアントシステム104は、1つまたは複数の通信ネットワーク106を介して、直接的または間接的に相互にデータを通信する。通信ネットワーク106は、ローカルエリアネットワーク(LAN)、公衆ネットワーク(インターネットなど)、またはネットワークの組合せを含むことができる。

【0040】

環境100にはクライアントシステム104が1つだけ示されているが、典型的な環境には、通常、自動チェックインサーバ102によって供給されるさらに多くのクライアントシステムが含まれる。

【0041】

クライアントシステム104は、デスクトップコンピュータまたはラップトップコンピュータを含む任意のタイプのコンピュータシステムとすることができるが、より一般的には、内蔵または接続されたカメラを備えたスマートフォンまたはタブレットデバイスである。クライアントシステム104によって実行されると、データ抽出アプリケーション112は、クライアント側のデータ抽出機能を提供し、自動チェックインサーバ102と対話するようにクライアントシステム104を構成する。

【0042】

上述したように、データ抽出アプリケーション112は、そこにインストールされている一般的なウェブブラウザアプリケーション(Chrome、Edge、Safariなど)によって実行されるウェブアプリケーションとして、クライアントシステム104に提供され得る。ウェブアプリケーションとして提供されるとき、データ抽出アプリケーション112は、適切なユニフォームリソースロケータ(URL)を介してサーバアプリケーション108にアクセスし、一般的なワールドワイドウェブプロトコル(たとえば、http、https、ftpなど)およびアプリケーションプログラミングインターフェース(API)(たとえば、REST APIなど)を介してサーバアプリケーション108と通信する。あるいは、データ抽出アプリケーション112がネイティブアプリケーションであるとき、通常、定義されたAPIコールを使用してサーバアプリケーション108と通信するようにプログラムされる。

【0043】

所与のクライアントシステム104には、複数のクライアントアプリケーション112、たとえば、一般的なウェブブラウザアプリケーションと専用のプログラムクライアントアプリケーションの両方がインストールされている場合がある。

【0044】

以下で説明するように、ウェブアプリケーションの実装は、ネイティブアプリケーションの実装よりも特定の利点を有し得る。特に、ウェブアプリケーションの実装は、異なる航空会社および空港が提供する様々な自動チェックインシステムのバックエンドと、より簡単に統合することができる。

【0045】

後述するように、データ抽出アプリケーション112は、データ抽出動作を実行するために文書分類モデル116を利用する。文書分類モデル116は、畳み込みニューラルネットワークなどの機械学習ネットワークのトレーニングから得られるモデルである。文書分類モデル116を構築するために実行される特定のトレーニングについては後述する。

【0046】

サーバアプリケーション108は、好ましくは、データ抽出アプリケーション112のコードと同時に、文書分類モデル116をクライアントシステム104に提供する。たとえば、データ抽出アプリケーション112がウェブアプリケーションであるとき、サーバアプリケーション108は、データ抽出アプリケーション112のJavascriptコードとともに、文書分類モデル116をクライアントシステム104に送信する。文書分類モデル116をクライアントシステム104に提供することによって、データ抽出アプリケーション112がローカルで推論を実行できるようになり、処理時間が短縮され、信頼性が向上する。

【0047】

データ抽出アプリケーション112は、図2を参照して後述するいくつかのソフトウェアモジュールを含む。

【0048】

データ抽出アプリケーション112は、文書分類モデル116を利用して、公文書の画像に対する推論を実行する。後述するように、顧客は、クライアントシステム104のカメラ120を動作させて、通常、データ抽出アプリケーション112がクライアントシステムのディスプレイ上で提供する指示に従って、公文書の画像をキャプチャする。文書分類モデル116は、異なるタイプの公文書を認識するようにトレーニングされる。

【0049】

たとえば、国際民間航空機関(International Civil Aviation Organization)によって維持されている"Machine Readable Travel Documents" specification (Doc 9303)は、グローバルな相互運用性を保証するために、Machine Readable Travel Documents(MRTD)に関する基準を公布している。MRTDは、関連データの多くを光学式文字認識(OCR)形式で符号化する。OCRで符号化された情報は、機械可読ゾーン(MRZ)として知られる旅行文書の領域に位置特定される。Doc9303によると、文書内のMRZの位置を参照して定義される、3つの標準化された文書タイプ(TD1、TD2、TD3)が存在する。

【0050】

文書分類モデル116は、必ずしもDoc9303規格に準拠していない文書を認識するようにトレーニングされている。たとえば、文書分類モデル116は、中国の身分証明書の1行のMRZでトレーニングされる(したがって認識することができる)。

【0051】

TD1は主に身分証明書に使用される。MRZはTD1文書の裏面にあるため、データ抽出を行うとき、文書の表と裏の両方をキャプチャする必要がある。各発行国は、文書にオプションのコンテンツを追加することができ、通常、MRZに隣接する文書の裏面に追加される。

【0052】

TD1文書のMRZは、3行にわたり、各行は30文字である。標準化されたデータ要素が、1つまたは複数のチェックデジット(データ検証用)および任意のオプションの情報とともにMRZに含まれる。

【0053】

TD2文書も身分証明書に使用され、TD1文書よりも面積が大きい。MRZはTD2文書の表面にあり、各々35文字の2行を含む。TD1文書と同様に、TD2文書のMRZは、標準化されたデータ要素、チェックデジット、およびオプションの情報を含む。

【0054】

TD3文書は、大部分の発行機関が発行するほとんどの旅行パスポートで使用されている。TD3文書は、通常、小冊子の形式であるが、文書は、情報が記載されたカードを含む。TD3文書は、TD1文書と比較してサイズが大きく、各44文字の2行のMRZを含む。TD1およびTD2文書と同様に、TD3文書のMRZは、標準化されたフィールド、チェックデジット、およびオプションの情報を含む。TD3文書は、文書の目視検査ゾーン(VIZ)にある、文書の所有者の写真も含む。

【0055】

以下に説明するトレーニングデータセットおよびアルゴリズムを使用して、例示した文書分類モデル116は、文書の画像が以下のカテゴリのうちの1つであるかどうかを予測することができる。
- TD1文書の表面
- TD1書類の裏面
- TD3文書
- 中国の身分証明書

【0056】

文書分類モデル116は、予測動作の結果を、文書カテゴリというタイプのデータ値として出力する。例示した文書カテゴリは、TD1_Front、TD1_Back、TD3、および中国である。当業者であれば、適切なトレーニングにより、文書分類モデル116は、他のカテゴリの文書を予測するように機能できることを諒解されよう。

【0057】

文書分類モデル116は、データ抽出アプリケーション112と同様に、WebAssembly(またはWASM)などのポータブルな事前にコンパイルされたバイナリコードの形式で、(最終的にクライアントシステム104に供給するために)サーバアプリケーション108に配布される。

【0058】

データ抽出アプリケーション112は、前処理モジュール118をさらに含む。前処理モジュール118は、MRZテキストに対してOCRを実行する前に文書画像を前処理するためのコンピュータ実行可能なコードを含む。後述するように、前処理モジュール118は、データ抽出アプリケーション112が文書画像内のMRZを位置特定できるようにするいくつかのサブモジュールを含む。例示した実施形態では、これらのサブモジュールは、以下の通りである。
- 照明補正モジュール120
- 接続コンポーネントラベリング(CCL)モジュール122
- 修正モジュール124
- 二値化モジュール126
- ヒューリスティックベースのフィルタリングモジュール128

【0059】

データ抽出アプリケーション112は、情報パーサモジュール130をさらに含む。情報パーサモジュール130は、前処理モジュール118が識別したMRZのテキストに対してOCRを実行するためのコンピュータ実行可能なコードを含む。OCRモジュール132に加えて、情報パーサモジュール130は、OCRモジュール130が生成するOCRテキストを処理するための正規表現(Regex)モジュール134を含む。後述するように、Regexモジュール134は、OCRテキストを処理するときに文書カテゴリ値を利用する。

【0060】

図3は、旅行者が公文書をスキャンし、抽出されたデータを自動チェックインサーバ102に送信できるようにするためにデータ抽出アプリケーション112が実行する、コンピュータ実行可能プロセス300の一実施形態を概念的に示している。

【0061】

プロセスはステップ302で開始し、データ抽出アプリケーション112はクライアントシステム104のカメラを使用して公文書の画像をキャプチャする。例示した実施形態では、データ抽出アプリケーション112は、ユーザインターフェースのフレーム402内に公文書を位置特定するようにカメラを操作するための旅行者へのテキストおよびグラフィカルな指示を含むユーザインターフェース400(図4)をクライアントシステム104のディスプレイ上に提示する。ユーザインターフェース400は、自動チェックインサーバ101に送信されるデータに搭乗券を追加するために旅行者が操作するボタン404も含む。

【0062】

データ抽出アプリケーション112が旅行者が公文書を撮影したことを検出すると、ステップ304に進み、ステップ304では、データ抽出アプリケーション112は、キャプチャされた文書画像を文書分類モデル116に入力する。

【0063】

ステップ306で、文書分類モデル116は、キャプチャされた画像に対して初期推論動作を実行して、モデルが画像を公文書の1つとして認識するかどうかを決定する。文書分類モデル116が画像を公文書として認識しない場合、プロセスはステップ307に進み、データ抽出アプリケーションがクライアントシステム上に再試行ユーザインターフェースを表示する。再試行ユーザインターフェースは、旅行者が公文書の画像をキャプチャするのを支援するためのテキストおよびグラフィカルな指示を含むことによって、ユーザインターフェース400と同様(または同一)の外観にすることができる(ステップ302)。

【0064】

文書分類モデル116がキャプチャされた画像を公文書の画像として認識した場合、方法はステップ308に進む。ステップ308で、文書分類モデル116は画像に対して推論を実行して、画像を文書カテゴリに分類し、文書に適切な文書カテゴリ値を割り当てる。データ抽出アプリケーション112は、文書分類モデル116からこの文書カテゴリ値を受信する。

【0065】

ステップ310で、データ抽出アプリケーション112は文書カテゴリ値を処理する。

【0066】

ステップ312で、データ抽出アプリケーション112は、文書がTD1文書であることを文書カテゴリ値が示しているかどうかの決定を実行する。

【0067】

文書がTD1文書であると決定された場合、プロセスはステップ314に進み、データ抽出アプリケーション112はカード反転動作を実行する。データ抽出アプリケーション112が実行するカード反転動作について以下で説明する。

【0068】

文書がTD1文書ではないと決定された場合、プロセスはステップ316に進み、データ抽出アプリケーション112は、文書がTD3文書であることを文書カテゴリ値が示しているかどうかの決定を実行する。

【0069】

データ抽出アプリケーション112が、文書がTD3文書ではないと決定した場合、プロセスは終了する。

【0070】

データ抽出アプリケーション112が、文書がTD3文書であると決定した場合、プロセスはステップ318に進み、データ抽出アプリケーション112は、TD3文書の表面をキャプチャする動作を実行する。上述したように、動作318は、データ抽出アプリケーション112が画像を前処理して、画像内のMRZを識別することを伴う。動作318は、データ抽出アプリケーション112が文書から旅行者の写真を抽出することも伴う。

【0071】

次いでプロセスはステップ320に進み、データ抽出アプリケーション112は、適切なフォーマット(ASCIIテキストなど)でテキストをキャプチャするように、MRZ上で光学式文字認識(OCR)を実行する。

【0072】

次いで、方法はステップ322に進む。また、この方法は、データ抽出アプリケーション112がTD1文書に対してカード反転動作を実行した後、ステップ322に進む。

【0073】

ステップ322で、データ抽出アプリケーション112は、クライアントシステム104のディスプレイ上に詳細検証ユーザインターフェースを表示する。例示的な詳細検証ユーザインターフェース500が図5に示されている。詳細検証ユーザインターフェース500は、データ抽出アプリケーション112が公文書から抽出したデータをリストする。例示した実施形態では、抽出されたデータは乗客の名、姓、性別、国籍、生年月日、文書番号、有効期限、発行機関、および文書タイプを含む。上述したように、文書タイプとは別に、データは、OCR動作を使用してMRZから抽出される。抽出されたデータは、公文書からの旅行者の写真502も含む。

【0074】

詳細検証ユーザインターフェース500は、(抽出されたデータが正しい場合に)旅行者がデータ抽出アプリケーション112に抽出されたデータを自動チェックインサーバ102へ送信させるように操作する詳細サブミットボタン504を含む。詳細検証ユーザインターフェースは、旅行者が任意の不正確な抽出されたデータを手動で編集するために操作する詳細編集ボタン506を含む。

【0075】

詳細検証ユーザインターフェース500を表示した後、方法はステップ324に進み、データ抽出アプリケーションは、クライアントシステム104のディスプレイ上にセルフィーキャプチャユーザインターフェースを表示する。セルフィーキャプチャユーザインターフェースの一例が、「セルフィー撮影ボタン404」の形で図4に示されている。ボタン404を操作すると、データ抽出アプリケーション112は、セルフィーの撮影(または既存の写真の選択)をユーザに指示し、セルフィーを自動チェックインサーバ102に送信する。上述したように、サーバアプリケーション108は、サブミットされたセルフィーを利用して、セルフィーと公文書の写真502とを比較することによって本人確認を行う。

【0076】

図6を参照して、カード反転動作314の一例を説明する。上述したように、データ抽出アプリケーション112は、文書がTD1文書であることを文書カテゴリ値が示すとき、カード反転動作を実行する。

【0077】

プロセス314はステップ602で開始し、文書分類モデル116が文書画像に対して推論を実行し、画像がTD1文書の表面のものであるかどうかを決定する。画像が文書の表面のものであると文書分類モデルが決定した場合、プロセスはステップ604に進み、データ抽出アプリケーション112は表面キャプチャ動作を実行する。

【0078】

TD1文書の場合、表面キャプチャ動作604は、文書内の旅行者の写真の画像をキャプチャすることを伴う。

【0079】

次いで、プロセスはステップ606に進み、データ抽出アプリケーション112は、クライアントシステム104のディスプレイ上にカード反転ユーザインターフェースを表示する。カード反転ユーザインターフェース700の一例が図7に示されている。インターフェース700は、文書を裏返して裏面を撮影するよう旅行者に指示するテキストおよびグラフィックの指示を含む。インターフェース400と同様に、インターフェース700には、旅行者がID文書の画像を上記位置特定するように指示されるフレーム702を含む。

【0080】

旅行者がID文書の裏面を撮影した後、プロセスはステップ608に進み、データ抽出アプリケーション112がキャプチャされた画像に対してOCRを実行する。TD1文書に関して、前述の通り、MRZは文書の裏面にある。

【0081】

画像がTD1文書の裏面のものであると文書分類モデル116が決定した場合、プロセスはステップ610に進み、データ抽出アプリケーション112は、ステップ608と同様に、キャプチャされた画像に対してOCRを実行する。

【0082】

次いで、プロセスはステップ612に進み、データ抽出アプリケーション112は、ステップ606と同様に、クライアントシステム104のディスプレイ上にカード反転ユーザインターフェースを表示する。

【0083】

次いで、プロセスはステップ614に進み、データ抽出アプリケーション112は、ステップ604と同様に、表面キャプチャ動作を実行する。

【0084】

ウェブアプリケーションとして展開され、クライアント側で公文書を確実に分類できる文書分類モデルにニューラルネットワークをトレーニングするために、特定のデータ拡張技法が利用された。特に、TD1-Front、TD1-Back、およびTD3文書の画像の初期データセットは、背景のランダム化およびスキャンランダム化を使用して拡張された。

【0085】

TD3サンプル文書のセットから補間を使用して行拡張を実行することによって、中国の身分証明書のトレーニングデータセットが生成された。これによって、TD3文書の視覚的特徴を持つが、単一行のMRZを持つトレーニング例のセットが得られた。

【0086】

TD3文書の拡張されたトレーニングセットは、写真および3行のMRZを持つ文書を認識するようにニューラルネットワークをトレーニングした。

【0087】

同様に、TD1-Back画像の拡張されたトレーニングセットは、2行のMRZを認識するようにニューラルネットワークをトレーニングした。

【0088】

OCRの前に画像に対して実行される照明補正および二値化動作の一例が図8に示されている。動作は、検出された顔に対してROIの位置特定を行うことを伴う。

【0089】

OCRの前に画像に対して実行されるCCLおよびクラスタリング動作の一例が図9に示されている。好ましい実施形態では、これらの動作はMRZ対称性の特性を利用する。

【0090】

OCRの前に画像に対して実行されるヒューリスティックフィルタリング動作950の一例が図10に示されている。ヒューリスティックフィルタリングは、どちらもOCRBフォントのMRZを含むTD1文書とTD3文書の両方について示されている。

【0091】

図示された実施形態では、検出された文字とその対応するクラスタは、MRZおよびそのOCRBフォントの以下の特性を調整することによってフィルタリングされる。
- 行あたりの文字
- 文字あたりのピクセル
- 文字あたりのスペース
- 文字間の距離
- MRZ行間の距離
- MRZの幅および高さ

【0092】

図示された実施形態では、フィルタリングアルゴリズムは、
- クラスタ内の文字数に基づいてフィルタリングされたクラスタをソートすること
- 最大のクラスタ上の文字間の間隔中央値を決定すること
- 計算された間隔中央値に基づいて、他のすべてのクラスタ内の文字をフィルタリングすること
- 各クラスタ(潜在的なMRZ行)の投影ボックスを計算すること
- 投影ボックスの位置に基づいて、クラスタを順番に(上、中、または下の行)配置する
- 四隅(左上、右上、左下、右下)の極値を取ることによって、MRZ領域全体の投影ボックスを計算すること
を伴う。この射影ボックスは、次いで、ホモグラフィ行列を使用した修正に使用することができる。

【0093】

ホモグラフィ計算970の一例が図11に示されている。当業者であれば理解できるように、ホモグラフィ計算は、空間内の同じ平面表面の任意の2つの画像がホモグラフィによって関連付けられるという事実を利用する。

【0094】

図12は、本明細書に記載の実施形態および/または特徴を実装するように構成可能なコンピュータ処理システム1200のブロック図を提供する。システム1200は、汎用コンピュータ処理システムである。図12は、コンピュータ処理システムのすべての機能的または物理的コンポーネントを示しているわけではないことを諒解されよう。たとえば、電源または電源インターフェースは図示されていないが、システム1200は電源を搭載するか、電源に接続するように構成される(またはその両方)。また、特定のタイプのコンピュータ処理システムが、適切なハードウェアおよびアーキテクチャを決定し、本開示の特徴を実装するのに適した代替のコンピュータ処理システムは、図示されているものとは別のコンポーネントを有する可能性があることも諒解されよう。

【0095】

コンピュータ処理システム1200は、少なくとも1つの処理ユニット1202を含む。処理ユニット1202は、単一のコンピュータ処理デバイス(たとえば、中央処理ユニット、グラフィックス処理ユニット、または他の計算デバイス)であってもよいし、複数のコンピュータ処理デバイスを含んでもよい。いくつかの例では、すべての処理は処理ユニット1202によって実行されるが、他の例では、処理は、システム1200によってアクセス可能かつ使用可能な(共有または専用のいずれかの方法で)リモート処理デバイスによって実行されてもよい。

【0096】

通信バス1204を介して、処理ユニット1202は、処理システム1200の動作を制御するための命令および/またはデータを記憶する1つまたは複数の機械可読ストレージ(メモリ)デバイスとデータ通信する。この例では、システム1200は、システムメモリ1206(たとえばBIOS)、揮発性メモリ1208(たとえば1つまたは複数のDRAMモジュールなどのランダムアクセスメモリ)、および不揮発性メモリ1210(たとえば1つまたは複数のハードディスクまたはソリッドステートドライブ)を含む。

【0097】

システム1200は、システム1200が様々なデバイスおよび/またはネットワークとインターフェースする、一般に1212で示される1つまたは複数のインターフェースも含む。一般的に言えば、他のデバイスはシステム1200と一体であってもよいし、別個であってもよい。デバイスがシステム1200から分離されている場合、デバイスとシステム1200との間の接続は、ワイヤードまたはワイヤレスのハードウェアおよび通信プロトコルを介して行うことができ、直接接続または間接接続(たとえばネットワーク接続)であり得る。

【0098】

他のデバイス/ネットワークとのワイヤード接続は、任意の適切な標準または独自のハードウェアおよび接続プロトコルによって行うことができる。たとえば、システム1200は、USB、FireWire、eSATA、Thunderbolt、Ethernet、OS/2、パラレル、シリアル、HDMI（登録商標）、DVI、VGA、SCSIのうちの1つまたは複数によって、他のデバイス/通信ネットワークとワイヤード接続するように構成され得る。他のワイヤード接続も可能である。

【0099】

他のデバイス/ネットワークとのワイヤレス接続も同様に、任意の適切な標準または独自のハードウェアおよび通信プロトコルによって行うことができる。たとえば、システム1200は、赤外線、Bluetooth、Wi-Fi、近距離無線通信(NFC)、Global System for Mobile Communications(GSM)、Enhanced Data GSM Environment(EDGE)、ロングタームエボリューション(LTE)、広帯域符号分割多元接続(W-CDMA)、符号分割多元接続(CDMA)のうちの1つまたは複数を使用して、他のデバイス/通信ネットワークとワイヤレス接続するように構成され得る。他のワイヤレス接続も可能である。

【0100】

一般的に言えば、問題の特定のシステムに応じて、システム1200が接続するデバイスは、ワイヤード手段であれワイヤレス手段であれ、処理ユニット1202による処理のためにシステム1200にデータを入力/受信できるようにするための1つまたは複数の入力デバイスと、システム1200がデータを出力できるようにするための1つまたは複数の出力デバイスとを含む。以下に例示的なデバイスについて説明するが、すべてのコンピュータ処理システムが言及されたすべてのデバイスを含むわけではなく、言及されたデバイスに対する追加および代替のデバイスを使用することも十分に可能であることが諒解されよう。

【0101】

たとえば、システム1200は、情報/データがシステム1200に入力される(システム1200によって受信される)1つまたは複数の入力デバイスを含むか、またはそれらに接続され得る。そのような入力デバイスには、キーボード、マウス、トラックパッド、マイク、加速度計、近接センサ、GPSデバイスなどが含まれ得る。システム1200はまた、情報を出力するために、システム1200によって制御される1つまたは複数の出力デバイスを含むか、またはそれに接続することができる。そのような出力デバイスには、CRTディスプレイ、LCDディスプレイ、LEDディスプレイ、プラズマディスプレイ、タッチスクリーンディスプレイ、スピーカ、振動モジュール、LED/他のライトなどのデバイスが含まれ得る。システム1200はまた、入力デバイスと出力デバイスの両方として機能し得るデバイス、たとえば、システム1200がデータを読み取りおよび/またはデータを書き込むことができるメモリデバイス(ハードドライブ、ソリッドステートドライブ、ディスクドライブ、コンパクトフラッシュ（登録商標）カード、SDカードなど)、ならびにデータを表示(出力)すること、およびタッチ信号を受信(入力)することが共にできるタッチスクリーンディスプレイを含むか、またはそれらに接続することができる。

【0102】

システム1200はまた、1つまたは複数の通信ネットワーク(たとえば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、パーソナルホットスポットなど)に接続して、それ自体が他のコンピュータ処理システムであり得るネットワーク接続されたデバイスとデータを通信すること、およびネットワーク接続されたデバイスからデータを受信することもできる。

【0103】

システム1200は、非限定的な例として、サーバコンピュータシステム、デスクトップコンピュータ、ラップトップコンピュータ、ネットブックコンピュータ、タブレットコンピューティングデバイス、モバイル/スマートフォン、パーソナルデジタルアシスタント、パーソナルメディアプレーヤ、セットトップボックス、ゲームコンソールなどの任意の適切なコンピュータ処理システムであってもよい。[コンピュータ処理システムの説明の繰り返しに注意]

【0104】

通常、システム1200は、少なくともユーザ入力および出力デバイス1214と、環境100のネットワーク106などのネットワークと通信するための通信インターフェース1216とを含む。

【0105】

システム1200は、コンピュータアプリケーション(ソフトウェアまたはプログラムとも呼ばれる)、すなわち、処理ユニット1202によって実行されると、データを受信し、処理し、出力するようにシステム1200を構成するコンピュータ可読命令およびデータを記憶するか、それらにアクセスする。命令およびデータは、システム1200にアクセス可能な非一時的機械可読媒体に記憶することができる。たとえば、命令およびデータは、非一時的メモリ1210に記憶され得る。命令およびデータは、(たとえば)ワイヤードまたはワイヤレスネットワーク接続によって可能になる送信チャネル内のデータ信号を介して、システム1200によって送信/受信され得る。

【0106】

システム1200にアクセス可能なアプリケーションは、通常、Microsoft Windows(登録商標)、Apple OSX（登録商標）、Apple IOS、Android、Unix、またはLinux（登録商標）などのオペレーティングシステムアプリケーションを含む。

【0107】

また、システム1200は、処理ユニット1202によって実行されると、本明細書で説明する様々なコンピュータで実装される処理動作を実行するようにシステム1200を構成するアプリケーションを記憶するか、またはそれらにアクセスする。たとえば、上記の図1の環境を参照し、クライアントシステム104は、説明したクライアントシステム動作を実行するようにクライアントシステム104を構成するデータ抽出アプリケーション112を含む。同様に、自動チェックインサーバ102は、記載したサーバシステム動作を実行するようにサーバシステム102を構成するサーバアプリケーション108を含む。

【0108】

図に示され、上記に記載されたフローチャートは、様々な特徴を説明するために、特定の順序で動作を定義している。場合によっては、記載され図示された動作は、図示/記載されたものとは異なる順序で実行することができ、1つまたは複数の動作が単一の動作に結合され得、単一の動作が複数の別個の動作に分割され得、および/または記載/図示された動作のうちの1つまたは複数によって達成される機能が1つまたは複数の代替の動作によって達成され得る。なおさらに、所与のフローチャート動作の機能/処理は、異なるシステムまたはアプリケーションによって実行される可能性がある。

【0109】

本開示の趣旨または範囲から逸脱することなく、前述の部分に変形および修正を加えることができる。

【0110】

本明細書は、実装ごとに異なる可能性のある多数の特定の詳細に関して、様々な実施形態を説明している。請求項に明示的に記載されていない限定、要素、特性、特徴、利点、または属性は、必須の、または不可欠な特徴と見なされるべきではない。したがって、本明細書および図面は、制限的な意味ではなく例示的な意味で見なされるものとする。

【0111】

本発明の以下の特許請求の範囲および前述の説明において、明示的な言葉遣いまたは必要な含意により文脈上別段の必要がある場合を除き、「含む(comprise)」という語または「含む(comprises)」もしくは「含む(comprising)」などの変形は、包括的な意味で、すなわち、記載された特徴の存在を特定するために使用されるが、本発明の様々な実施形態におけるさらなる特徴の存在または追加を排除するものではない。

【符号の説明】

【0112】

100 コンピューティング環境
102 自動チェックインサーバ
104 クライアントシステム
106 通信ネットワーク
108 サーバアプリケーション
110 データストレージ
112 クライアントアプリケーション、データ抽出アプリケーション
116 文書分類モデル
118 前処理モジュール
120 カメラ
120 照明補正モジュール
122 接続コンポーネントラベリング(CCL)モジュール
124 修正モジュール
126 二値化モジュール
128 ヒューリスティックベースのフィルタリングモジュール
130 情報パーサモジュール
132 OCRモジュール
134 正規表現(Regex)モジュール
300 コンピュータ実行可能プロセス
314 カード反転動作
400 ユーザインターフェース
402 フレーム
404 ボタン
500 詳細検証ユーザインターフェース
502 写真
504 詳細サブミットボタン
506 詳細編集ボタン
604 表面キャプチャ動作
700 カード反転ユーザインターフェース
702 フレーム
950 ヒューリスティックフィルタリング動作
970 ホモグラフィ計算
1200 コンピュータ処理システム
1202 処理ユニット
1204 通信バス
1206 システムメモリ
1208 揮発性メモリ
1210 不揮発性メモリ、非一時的メモリ
1214 ユーザ入力および出力デバイス
1216 通信インターフェース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【手続補正書】

【提出日】2025-04-01

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

データ抽出アプリケーションを含むデータ抽出システムであって、前記データ抽出アプリケーションが、トレーニングされた文書分類モデルと、コンピュータプログラムコードとを含み、前記コンピュータプログラムコードは、電子デバイスのプロセッサによって実行されると、前記プロセッサに、
文書の画像をキャプチャするようユーザに指示するユーザインターフェースを前記電子デバイス上に提示することと、
前記文書の前記キャプチャされた画像を前記文書分類モデルにサブミットすることと、
前記文書分類モデルから、前記文書の文書カテゴリ値を受信することと、
前記データ抽出アプリケーションによって実行される次のデータ抽出動作を選択するために、前記文書カテゴリ値を処理することと、
前記選択されたデータ抽出動作を開始することと
をさせる、データ抽出システム。

【請求項2】

前記プロセッサが、データ抽出動作のセットから前記次のデータ抽出動作を選択し、前記セットが、前記文書の別の画像をキャプチャするよう前記ユーザに指示する再試行ユーザインターフェースを提示することと、前記文書に対して光学式文字認識を実行することと、前記文書を物理的に操作するよう前記ユーザに指示する操作ユーザインターフェースを提示することと、前記文書からのデータ抽出が成功したことを前記ユーザに通知する抽出成功ユーザインターフェースを提示することとを含む、請求項1に記載のデータ抽出システム。

【請求項3】

前記抽出成功ユーザインターフェースが、前記電子デバイス上に、前記文書から抽出されたデータを提示する、請求項2に記載のデータ抽出システム。

【請求項4】

前記抽出成功ユーザインターフェースが、前記文書から抽出されたデータが正しいことを確認するために前記ユーザが操作可能な確認ユーザインターフェース要素を含む、請求項2に記載のデータ抽出システム。

【請求項5】

前記操作ユーザインターフェースが、前記文書の別の面を前記電子デバイスに提示してキャプチャするよう前記ユーザに指示する、請求項2に記載のデータ抽出システム。

【請求項6】

前記コンピュータプログラムコードが、さらに、前記プロセッサに、前記電子デバイスによって一旦キャプチャされた前記文書の前記別の面に対して画像キャプチャルーチンを実行させる、請求項5に記載のデータ抽出システム。

【請求項7】

前記コンピュータプログラムコードが、さらに、前記プロセッサに、前記電子デバイスによって一旦キャプチャされた前記文書の前記別の面に対して光学式文字認識を実行させる、請求項5に記載のデータ抽出システム。

【請求項8】

前記操作ユーザインターフェースが、前記文書の同じ面の別の部分を前記電子デバイスに提示してキャプチャするよう前記ユーザに指示する、請求項2に記載のデータ抽出システム。

【請求項9】

前記コンピュータプログラムコードが、さらに、前記プロセッサに、
ヒューリスティックフィルタリングアルゴリズムにヒューリスティックとして前記文書分類モデルの特徴を入力することと、
前記キャプチャされた画像に対して光学式文字認識を実行する前に、前記キャプチャされた画像に対して前記ヒューリスティックフィルタリングアルゴリズムを実行することと
をさせる、請求項1から8のいずれか一項に記載のデータ抽出システム。

【請求項10】

前記文書分類モデルの前記特徴が、機械可読ゾーンの存在および前記機械可読ゾーンの構造を含む、請求項9に記載のデータ抽出システム。

【請求項11】

前記データ抽出アプリケーションおよび前記文書分類モデルが、前記電子デバイスにインストールされたウェブブラウザによって実行可能なウェブアプリケーションに含まれる、請求項1に記載のデータ抽出システム。

【請求項12】

文書からデータを抽出するための方法であって、
データ抽出アプリケーションおよびトレーニングされた文書分類モデルを電子デバイスに配信することと、
前記データ抽出アプリケーションが、文書の画像をキャプチャするようユーザに指示するユーザインターフェースを前記電子デバイス上に提示することと、
前記データ抽出アプリケーションが、前記文書の前記キャプチャされた画像を前記文書分類モデルにサブミットすることと、
前記データ抽出アプリケーションが、前記文書分類モデルから、前記文書の文書カテゴリ値を受信することと、
前記データ抽出アプリケーションが、前記データ抽出アプリケーションによって実行される次のデータ抽出動作を選択するために、前記文書カテゴリ値を処理することと、
前記データ抽出アプリケーションが、前記選択されたデータ抽出動作を開始することと
を含む、方法。

【請求項13】

前記データ抽出アプリケーションが、データ抽出動作のセットから前記次のデータ抽出動作を選択し、前記セットが、前記文書の別の画像をキャプチャするよう前記ユーザに指示する再試行ユーザインターフェースを提示することと、前記文書に対して光学式文字認識を実行することと、前記文書を物理的に操作するよう前記ユーザに指示する操作ユーザインターフェースを提示することと、前記文書からのデータ抽出が成功したことを前記ユーザに通知する抽出成功ユーザインターフェースを提示することとを含む、請求項12に記載の方法。

【請求項14】

前記抽出成功ユーザインターフェースが、前記電子デバイス上に、前記文書から抽出されたデータを提示する、請求項13に記載の方法。

【請求項15】

前記抽出成功ユーザインターフェースが、前記文書から抽出されたデータが正しいことを確認するために前記ユーザが操作可能な確認ユーザインターフェース要素を含む、請求項13に記載の方法。

【請求項16】

前記操作ユーザインターフェースが、前記文書の別の面を前記電子デバイスに提示してキャプチャするよう前記ユーザに指示する、請求項13に記載の方法。

【請求項17】

前記データ抽出アプリケーションが、前記電子デバイスによって一旦キャプチャされた前記文書の前記別の面に対して画像キャプチャルーチンを実行する、請求項16に記載の方法。

【請求項18】

前記データ抽出アプリケーションが、前記電子デバイスによって一旦キャプチャされた前記文書の前記別の面に対して光学式文字認識を実行する、請求項16に記載の方法。

【請求項19】

前記操作ユーザインターフェースが、前記文書の同じ面の別の部分を前記電子デバイスに提示してキャプチャするよう前記ユーザに指示する、請求項13に記載の方法。

【請求項20】

前記データ抽出アプリケーションが、
ヒューリスティックフィルタリングアルゴリズムにヒューリスティックとして前記文書分類モデルの特徴を入力することと、
前記キャプチャされた画像に対して光学式文字認識を実行する前に、前記キャプチャされた画像に対して前記ヒューリスティックフィルタリングアルゴリズムを実行することと
をする、請求項12に記載の方法。

【請求項21】

前記文書分類モデルの前記特徴が、機械可読ゾーンの存在および前記機械可読ゾーンの構造を含む、請求項20に記載の方法。

【請求項22】

前記データ抽出アプリケーションおよび前記文書分類モデルが、前記電子デバイスにインストールされたウェブブラウザによって実行可能なウェブアプリケーションに含まれる、請求項12に記載の方法。

【請求項23】

電子デバイスのプロセッサによって実行されると、前記プロセッサに、請求項12から22のいずれか一項に記載の方法を実行させるコンピュータプログラムコードを記憶する非一時的機械可読媒体。

【国際調査報告】