ホーム > 特許ランキング > ブラザー工業株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024142458
(43)【公開日】2024-10-11
(54)【発明の名称】画像処理装置、および、コンピュータプログラム
(51)【国際特許分類】
H04N 1/00 20060101AFI20241003BHJP
H04N 1/387 20060101ALI20241003BHJP
G03G 21/00 20060101ALI20241003BHJP
【ＦＩ】
H04N1/00 C
H04N1/387 110
G03G21/00 386
G03G21/00 370
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2023054600
(22)【出願日】2023-03-30
(71)【出願人】
【識別番号】000005267
【氏名又は名称】ブラザー工業株式会社
(74)【代理人】
【識別番号】110001058
【氏名又は名称】鳳国際弁理士法人
(72)【発明者】
【氏名】御手洗 翠
【テーマコード（参考）】
2H270
5C062
【Ｆターム（参考）】
2H270KA54
2H270KA55
2H270LB10
2H270PA61
2H270QB07
5C062AA05
5C062AB02
5C062AB20
5C062AB22
5C062AB23
5C062AB38
5C062AB40
5C062AB42
5C062AC02
5C062AC04
5C062AC05
5C062AC22
5C062AC24
5C062AC38
5C062AC58
5C062AF13
(57)【要約】
【課題】 複数のページの並ぶ順番を柔軟に制御する。
【解決手段】
文書を表す入力データを取得する。入力データによって表される文書をＮ枚（Ｎは２以上の整数）のページで表す場合のＮ枚のページの並ぶべき順番を規定する対象規則を表す規則データを取得する。対象規則に基づくＮ枚のページの並ぶべき順番である規則順番に並ぶＮ枚のページを表す出力データを生成する生成処理と、入力データによって表される文書の複数のページの並ぶ順番である入力順番が規則順番と異なる場合に入力順番が規則順番と異なることをユーザに報知する報知処理と、のうちの一方、または、両方を含む特定処理を実行する。
【選択図】 図１
【解決手段】
文書を表す入力データを取得する。入力データによって表される文書をＮ枚（Ｎは２以上の整数）のページで表す場合のＮ枚のページの並ぶべき順番を規定する対象規則を表す規則データを取得する。対象規則に基づくＮ枚のページの並ぶべき順番である規則順番に並ぶＮ枚のページを表す出力データを生成する生成処理と、入力データによって表される文書の複数のページの並ぶ順番である入力順番が規則順番と異なる場合に入力順番が規則順番と異なることをユーザに報知する報知処理と、のうちの一方、または、両方を含む特定処理を実行する。
【選択図】 図１
【特許請求の範囲】
【請求項1】
画像処理装置であって、
文書を表す入力データを取得する第１取得部と、
前記入力データによって表される文書をＮ枚（Ｎは２以上の整数）のページで表す場合のＮ枚のページの並ぶべき順番を規定する対象規則を表す規則データを取得する第２取得部と、
前記対象規則に基づく前記Ｎ枚のページの並ぶべき順番である規則順番に並ぶ前記Ｎ枚のページを表す出力データを生成する生成処理と、前記入力データによって表される前記文書の複数のページの並ぶ順番である入力順番が前記規則順番と異なる場合に前記入力順番が前記規則順番と異なることをユーザに報知する報知処理と、のうちの一方、または、両方を含む特定処理を実行する特定処理部と、
を備える、画像処理装置。
文書を表す入力データを取得する第１取得部と、
前記入力データによって表される文書をＮ枚（Ｎは２以上の整数）のページで表す場合のＮ枚のページの並ぶべき順番を規定する対象規則を表す規則データを取得する第２取得部と、
前記対象規則に基づく前記Ｎ枚のページの並ぶべき順番である規則順番に並ぶ前記Ｎ枚のページを表す出力データを生成する生成処理と、前記入力データによって表される前記文書の複数のページの並ぶ順番である入力順番が前記規則順番と異なる場合に前記入力順番が前記規則順番と異なることをユーザに報知する報知処理と、のうちの一方、または、両方を含む特定処理を実行する特定処理部と、
を備える、画像処理装置。
【請求項2】
請求項１に記載の画像処理装置であって、
前記特定処理は、前記生成処理を含み、
前記画像処理装置は、さらに、
前記Ｎ枚のページの並ぶ順番の前記規則順番からの変更をユーザに許容する順番変更部と、
変更済の順番で並ぶ前記Ｎ枚のページを表す特定出力データを生成する特定生成部と、
を備える、画像処理装置。
前記特定処理は、前記生成処理を含み、
前記画像処理装置は、さらに、
前記Ｎ枚のページの並ぶ順番の前記規則順番からの変更をユーザに許容する順番変更部と、
変更済の順番で並ぶ前記Ｎ枚のページを表す特定出力データを生成する特定生成部と、
を備える、画像処理装置。
【請求項3】
請求項１または２に記載の画像処理装置であって、
前記規則データは、複数の規則を表し、
前記画像処理装置は、さらに、前記複数の規則からの前記対象規則の選択をユーザに許容する規則選択部を備える、
画像処理装置。
前記規則データは、複数の規則を表し、
前記画像処理装置は、さらに、前記複数の規則からの前記対象規則の選択をユーザに許容する規則選択部を備える、
画像処理装置。
【請求項4】
請求項１または２に記載の画像処理装置であって、
前記特定処理は、
前記生成処理と、
前記出力データを出力する出力処理と、
を含む、画像処理装置。
前記特定処理は、
前記生成処理と、
前記出力データを出力する出力処理と、
を含む、画像処理装置。
【請求項5】
請求項４に記載の画像処理装置であって、
前記特定処理は、さらに、前記出力データに対応付けられるファイル名とディレクトリ名とプロパティとタイトルとから選択される１以上の要素に、前記規則データによって表される１以上の情報をそれぞれ設定する設定処理を、含む、
画像処理装置。
前記特定処理は、さらに、前記出力データに対応付けられるファイル名とディレクトリ名とプロパティとタイトルとから選択される１以上の要素に、前記規則データによって表される１以上の情報をそれぞれ設定する設定処理を、含む、
画像処理装置。
【請求項6】
請求項１または２に記載の画像処理装置であって、
前記特定処理は、前記生成処理を含み、
前記生成処理は、前記規則順番を表す第１種特定ページと前記対象規則を表す第２種特定ページとのうちの一方または両方と、前記規則順番に並ぶ前記Ｎ枚のページと、を表す前記出力データを生成する、
画像処理装置。
前記特定処理は、前記生成処理を含み、
前記生成処理は、前記規則順番を表す第１種特定ページと前記対象規則を表す第２種特定ページとのうちの一方または両方と、前記規則順番に並ぶ前記Ｎ枚のページと、を表す前記出力データを生成する、
画像処理装置。
【請求項7】
請求項６に記載の画像処理装置であって、
前記生成処理は、目次を表す前記第１種特定ページであって先頭に配置される前記第１種特定ページと、前記規則順番に並ぶ前記Ｎ枚のページと、を表す前記出力データを生成する、
画像処理装置。
前記生成処理は、目次を表す前記第１種特定ページであって先頭に配置される前記第１種特定ページと、前記規則順番に並ぶ前記Ｎ枚のページと、を表す前記出力データを生成する、
画像処理装置。
【請求項8】
請求項１または２に記載の画像処理装置であって、
前記特定処理は、
前記生成処理と、
前記規則順番に並ぶ前記Ｎ枚のページのそれぞれのページ番号を表す情報を、前記出力データに付与する処理と、
を含む、画像処理装置。
前記特定処理は、
前記生成処理と、
前記規則順番に並ぶ前記Ｎ枚のページのそれぞれのページ番号を表す情報を、前記出力データに付与する処理と、
を含む、画像処理装置。
【請求項9】
請求項１または２に記載の画像処理装置であって、
前記特定処理は、前記生成処理を含み、
前記生成処理は、前記規則順番に並ぶ前記Ｎ枚のページと、前記Ｎ枚のページに含まれる用語の所在を表す索引ページと、を表す前記出力データを生成する、
画像処理装置。
前記特定処理は、前記生成処理を含み、
前記生成処理は、前記規則順番に並ぶ前記Ｎ枚のページと、前記Ｎ枚のページに含まれる用語の所在を表す索引ページと、を表す前記出力データを生成する、
画像処理装置。
【請求項10】
請求項１または２に記載の画像処理装置であって、
前記第２取得部は、前記入力データを解析することによって前記規則データを取得する、
画像処理装置。
前記第２取得部は、前記入力データを解析することによって前記規則データを取得する、
画像処理装置。
【請求項11】
請求項１または２に記載の画像処理装置であって、
前記特定処理は、前記生成処理を含み、
前記画像処理装置は、さらに、
追加文書を表す追加データを取得する第３取得部と、
前記出力データによって表される前記Ｎ枚のページと、前記追加データによって表されるＭ枚の追加ページと、を含むＮ＋Ｍ枚のページを表す追加出力データを生成する追加生成部と、
を備え、
前記追加生成部は、前記Ｎ枚のページの順番を保ちつつ、前記Ｎ＋Ｍ枚のページの並ぶ順番を前記対象規則に基づいて決定する、
画像処理装置。
前記特定処理は、前記生成処理を含み、
前記画像処理装置は、さらに、
追加文書を表す追加データを取得する第３取得部と、
前記出力データによって表される前記Ｎ枚のページと、前記追加データによって表されるＭ枚の追加ページと、を含むＮ＋Ｍ枚のページを表す追加出力データを生成する追加生成部と、
を備え、
前記追加生成部は、前記Ｎ枚のページの順番を保ちつつ、前記Ｎ＋Ｍ枚のページの並ぶ順番を前記対象規則に基づいて決定する、
画像処理装置。
【請求項12】
請求項１または２に記載の画像処理装置であって、
前記対象規則は、複数の参照情報の順番を表し、
前記画像処理装置は、さらに、
前記入力データを解析することによって、前記入力データによって表される複数の要素のそれぞれの特徴情報を取得する第４取得部と、
特徴情報に対応付けられる参照情報の順番を使用して前記規則順番を決定する順番決定部と、
を備える、画像処理装置。
前記対象規則は、複数の参照情報の順番を表し、
前記画像処理装置は、さらに、
前記入力データを解析することによって、前記入力データによって表される複数の要素のそれぞれの特徴情報を取得する第４取得部と、
特徴情報に対応付けられる参照情報の順番を使用して前記規則順番を決定する順番決定部と、
を備える、画像処理装置。
【請求項13】
請求項１２に記載の画像処理装置であって、さらに、
前記参照情報と前記特徴情報との対応関係を表す中間情報を定める中間データを取得する第５取得部を備え、
前記順番決定部は、前記特徴情報に前記中間情報を介して対応付けられる前記参照情報の順番に従って前記規則順番を決定する、
画像処理装置。
前記参照情報と前記特徴情報との対応関係を表す中間情報を定める中間データを取得する第５取得部を備え、
前記順番決定部は、前記特徴情報に前記中間情報を介して対応付けられる前記参照情報の順番に従って前記規則順番を決定する、
画像処理装置。
【請求項14】
請求項１または２に記載の画像処理装置であって、さらに、
前記規則データは、前記Ｎ枚のページのそれぞれにおけるレイアウトを表し、
前記特定処理部は、前記入力データによって表される複数の要素を前記レイアウトを使用して割り付けることによって前記規則順番を決定する処理を含む、
画像処理装置。
前記規則データは、前記Ｎ枚のページのそれぞれにおけるレイアウトを表し、
前記特定処理部は、前記入力データによって表される複数の要素を前記レイアウトを使用して割り付けることによって前記規則順番を決定する処理を含む、
画像処理装置。
【請求項15】
請求項１または２に記載の画像処理装置であって、
前記特定処理は、前記生成処理を含み、
前記生成処理は、前記Ｎ枚のページから前記対象規則に基づいて形成されるＬ個（Ｌは２以上の整数）のページグループのそれぞれの始まりを示すＬ枚の中扉のページと、前記規則順番に並ぶ前記Ｎ枚のページと、を表す前記出力データを生成する、
画像処理装置。
前記特定処理は、前記生成処理を含み、
前記生成処理は、前記Ｎ枚のページから前記対象規則に基づいて形成されるＬ個（Ｌは２以上の整数）のページグループのそれぞれの始まりを示すＬ枚の中扉のページと、前記規則順番に並ぶ前記Ｎ枚のページと、を表す前記出力データを生成する、
画像処理装置。
【請求項16】
コンピュータプログラムであって、
文書を表す入力データを取得する第１取得機能と、
前記入力データによって表される文書をＮ枚（Ｎは２以上の整数）のページで表す場合のＮ枚のページの並ぶべき順番を規定する対象規則を表す規則データを取得する第２取得機能と、
前記対象規則に基づく前記Ｎ枚のページの並ぶべき順番である規則順番に並ぶ前記Ｎ枚のページを表す出力データを生成する生成処理と、前記入力データによって表される前記文書の複数のページの並ぶ順番である入力順番が前記規則順番と異なる場合に前記入力順番が前記規則順番と異なることをユーザに報知する報知処理と、のうちの一方、または、両方を含む特定処理を実行する特定処理機能と、
をコンピュータに実現させるコンピュータプログラム。
文書を表す入力データを取得する第１取得機能と、
前記入力データによって表される文書をＮ枚（Ｎは２以上の整数）のページで表す場合のＮ枚のページの並ぶべき順番を規定する対象規則を表す規則データを取得する第２取得機能と、
前記対象規則に基づく前記Ｎ枚のページの並ぶべき順番である規則順番に並ぶ前記Ｎ枚のページを表す出力データを生成する生成処理と、前記入力データによって表される前記文書の複数のページの並ぶ順番である入力順番が前記規則順番と異なる場合に前記入力順番が前記規則順番と異なることをユーザに報知する報知処理と、のうちの一方、または、両方を含む特定処理を実行する特定処理機能と、
をコンピュータに実現させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書は、複数のページを並べる技術に関する。
【背景技術】
【0002】
複数の画像データを自動的に並べ替える技術が提案されている。例えば、特許文献１に記載の技術では、画像処理装置の制御部は、ページ画像データのうち、予め定められた認識領域に含まれる情報であり、ページの順番を示すページ順情報を認識する。制御部は、ページ順情報の種類ごとに、複数のページ画像データをグループに分ける。制御部は、ページ順情報に基づき、グループ内でページ画像データを順番に並べる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－１３２３３４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ページ順情報に基づく複数のページの並び順とは異なる種類の並び順が好ましい場合がある。例えば、複数の文献のそれぞれの複数のページがまとめて処理される場合、文献毎のページグループの並び順は、個々のページのページ順情報から決定されるのではなく、複数の文献の適切な並び順に対応付けられることが好ましい。ここで、複数のページの並ぶ順番を柔軟に制御することについては、工夫の余地があった。
【0005】
本明細書は、複数のページの並ぶ順番を柔軟に制御する技術を開示する。
【課題を解決するための手段】
【0006】
本明細書に開示された技術は、以下の適用例として実現することが可能である。
【0007】
［適用例１］画像処理装置であって、文書を表す入力データを取得する第１取得部と、前記入力データによって表される文書をＮ枚（Ｎは２以上の整数）のページで表す場合のＮ枚のページの並ぶべき順番を規定する対象規則を表す規則データを取得する第２取得部と、前記対象規則に基づく前記Ｎ枚のページの並ぶべき順番である規則順番に並ぶ前記Ｎ枚のページを表す出力データを生成する生成処理と、前記入力データによって表される前記文書の複数のページの並ぶ順番である入力順番が前記規則順番と異なる場合に前記入力順番が前記規則順番と異なることをユーザに報知する報知処理と、のうちの一方、または、両方を含む特定処理を実行する特定処理部と、を備える、画像処理装置。
【0008】
この構成によれば、Ｎ枚のページの並ぶべき順番である規則順番は、規則データによって表される対象規則に基づいているので、規則順番は、規則データによって柔軟に制御可能である。
【0009】
なお、本明細書に開示の技術は、種々の態様で実現することが可能であり、例えば、画像処理方法および画像処理装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体（例えば、一時的ではない記録媒体）、等の形態で実現することができる。
【図面の簡単な説明】
【0010】
【図1】一実施例としての複合機を示す説明図である。
【図2】画像処理の例を示すフローチャートである。
【図3】画像処理の例を示すフローチャートである。
【図4】規則ページの例を示す図である。
【図5】（Ａ）は、入力データの例を示す図である。（Ｂ）は、特徴情報の例を表す図である。
【図6】（Ａ）－（Ｃ）は、複数の候補順番の例を示す図である。
【図7】（Ａ）－（Ｃ）は、確信度の算出の説明図である。
【図8】順番評価モデルＭ１の生成処理の例を示すフローチャートである。
【図9】画像処理の別の実施例のフローチャートの一部である。
【図10】（Ａ）－（Ｄ）は、画像処理に使用される情報の例を示す図である。
【図11】画像処理の別の実施例のフローチャートの一部である。
【図12】（Ａ）－（Ｅ）は、画像処理に使用される情報の例を示す図である。
【図13】画像処理の別の実施例のフローチャートの一部である。
【図14】（Ａ）－（Ｅ）は、画像処理に使用される情報の例を示す図である。
【図15】画像処理の別の実施例のフローチャートである。
【図16】（Ａ）－（Ｃ）は、画像処理に使用される情報の例を示す図である。
【図17】画像処理の別の実施例のフローチャートである。
【図18】（Ａ）－（Ｄ）は、画像処理に使用される情報の例を示す図である。
【図19】（Ａ）、（Ｂ）は、画像処理の別の実施例を示す図である。
【図20】画像処理の別の実施例のフローチャートの一部である。
【図21】（Ａ）、（Ｂ）は、画像処理の別の実施例を示す図である。
【図22】（Ａ）、（Ｂ）は、画像処理の別の実施例を示す図である。
【図23】（Ａ）－（Ｄ）は、画像処理の別の実施例を示す図である。
【図24】（Ａ）、（Ｂ）は、画像処理の別の実施例を示す図である。
【図25】（Ａ）－（Ｄ）は、画像処理の別の実施例を示す図である。
【図26】（Ａ）、（Ｂ）は、画像処理の別の実施例を示す図である。
【図27】画像処理の別の実施例を示すフローチャートの一部である。
【図28】（Ａ）、（Ｂ）は、画像処理の別の実施例を示す図である。
【図29】（Ａ）－（Ｄ）は、画像処理の別の実施例を示す図である。
【発明を実施するための形態】
【0011】
Ａ．第１実施例：
Ａ１．システムの構成：
図１は、一実施例としての複合機を示す説明図である。複合機１００は、画像の印刷と文書の読み取りとを実行可能である。複合機１００は、プロセッサ１１０と、記憶装置１１５と、表示部１４０と、操作部１５０と、印刷実行部１６０と、読取実行部１７０と、通信インタフェース１８０とを、有している。これらの要素は、バスを介して互いに接続されている。
Ａ１．システムの構成：
図１は、一実施例としての複合機を示す説明図である。複合機１００は、画像の印刷と文書の読み取りとを実行可能である。複合機１００は、プロセッサ１１０と、記憶装置１１５と、表示部１４０と、操作部１５０と、印刷実行部１６０と、読取実行部１７０と、通信インタフェース１８０とを、有している。これらの要素は、バスを介して互いに接続されている。
【0012】
表示部１４０は、液晶ディスプレイ、有機ＥＬディスプレイなどの、画像を表示するように構成された装置である。操作部１５０は、ボタン、レバー、表示部１４０上に重ねて配置されたタッチパネルなどの、ユーザによる操作を受け取るように構成された装置である。通信インタフェース１８０は、他の装置と通信するためのインタフェースである（例えば、有線ＬＡＮ、IEEE802.11の無線ＬＡＮ、Universal Serial Bus（ＵＳＢ）のうちの１種以上のインタフェースを含む）。
【0013】
印刷実行部１６０は、画像を印刷する装置である。本実施例では、印刷実行部１６０は、いわゆるインクジェットプリンタである。印刷実行部１６０は、１種類以上の印刷材（例えば、シアンとマゼンタとイエローとブラックの４色のインク）を使用して、画像を印刷するように構成されている。なお、印刷実行部１６０は、他の方式で画像を印刷する装置であってよい（例えば、レーザープリンタ）。
【0014】
読取実行部１７０は、文書などの対象物を光学的に読み取る装置である。本実施例では、読取実行部１７０は、図示しない光学センサを備えている（例えば、Contact Image Sensor（ＣＩＳ）、または、Charge Coupled Device（ＣＣＤ））。読取実行部１７０は、対象物を光学的に読み取ることによって、読み取った対象物を表すスキャンデータを生成する。スキャンデータのデータ形式は、種々の形式であってよい（例えば、JPEG(Joint Photographic Experts Group)、 PNG(Portable Network Graphics)、 GIF(Graphic Interchange Format)、 TIFF(Tagged Image File Format)、PDF(Portable Document Format)など）。読取実行部１７０は、原稿台（フラットベッドとも呼ばれる）と、自動文書送り装置と、の一方または両方を備えてよい。自動文書送り装置は、複数枚の文書ページを１枚ずつ自動的に搬送する装置である。原稿台と自動文書送り装置は、それぞれ、対象物を配置すべき部分である配置部分を形成する。
【0015】
プロセッサ１１０は、データを処理するように構成された装置である。プロセッサ１１０は、例えば、Central Processing Unit（ＣＰＵ）、または、System on a chip（ＳｏＣ）である。記憶装置１１５は、揮発性記憶装置１２０と、不揮発性記憶装置１３０と、を含む。揮発性記憶装置１２０は、例えば、ＤＲＡＭであり、不揮発性記憶装置１３０は、例えば、フラッシュメモリである。
【0016】
不揮発性記憶装置１３０は、プログラムＰＧ１と、文書解析ライブラリＬＢ１と、機械学習モデルＭ１－Ｍ６と、のそれぞれのデータを格納している。プログラムＰＧ１とライブラリＬＢ１とモデルＭ１－Ｍ６とのそれぞれのデータは、複合機１００の製造時に、不揮発性記憶装置１３０に格納される。プログラムＰＧ１とライブラリＬＢ１とモデルＭ１－Ｍ６とから選択される１以上の要素（例えば、プログラムＰＧ１）のデータは、ネットワークを通じて図示しないサーバから、または、複合機１００に接続される図示しない携帯記憶装置（例えば、ＵＳＢフラッシュドライブ）から、複合機１００の不揮発性記憶装置１３０に格納されてよい。
【0017】
Ａ２．画像処理：
図２、図３は、画像処理の例を示すフローチャートである。図３は、図２の続きを表している。この画像処理は、規則に基づく複数のページの順番を取得する処理を含んでいる。本実施例では、複合機１００は、読取実行部１７０によって複数のページを読み取り、規則に基づく順番に並ぶ複数のページを表す出力データを生成する。
図２、図３は、画像処理の例を示すフローチャートである。図３は、図２の続きを表している。この画像処理は、規則に基づく複数のページの順番を取得する処理を含んでいる。本実施例では、複合機１００は、読取実行部１７０によって複数のページを読み取り、規則に基づく順番に並ぶ複数のページを表す出力データを生成する。
【0018】
複数のページは、種々の文書のページであり得る。例えば、ユーザは、学会で発表される複数のプレゼンテーションのそれぞれの論文を、複合機１００に読み取らせる。各論文は、１以上のページを含む。並び順の規則としては、例えば、学会の発表順が採用される。ここで、複合機１００による複数のページの読み取り順番は、規則に基づく順番と異なり得る。例えば、ユーザは、発表順と異なる順番で、複数の論文を読取実行部１７０に供給し得る。また、複数のページ（ひいては、複数のシート）は、本のように綴じられずに、分離した状態で、読取実行部１７０に供給され得る。ここで、ユーザは、ページ番号の順番とは異なる順番で、複数のページを読取実行部１７０に供給し得る。このような場合であっても、複合機１００のプロセッサ１１０は、発表順に並ぶ複数の論文を表す出力データであって、論文毎の適切なページ順に並ぶ複数のページを表す出力データを生成する。
【0019】
ユーザは、操作部１５０（図１）を操作することによって、画像処理の開始指示を複合機１００に入力する。複合機１００のプロセッサ１１０は、開始指示に応じて、図２、図３の画像処理を開始する。プロセッサ１１０は、プログラムＰＧ１を実行することによって、図２、図３の画像処理を行う。
【0020】
Ｓ１１０では、プロセッサ１１０は、規則データを取得する。本実施例では、ユーザは、ページの並ぶべき順番を規定する規則を表す文書ページである規則ページのシートを、読取実行部１７０の配置部分に配置する。プロセッサ１１０は、読取実行部１７０に規則ページを読み取らせ、読取実行部１７０から、規則ページのスキャンデータを取得する。このスキャンデータは、規則データの例である。
【0021】
図４は、規則ページの例を示す図である。規則ページＰｒは、学会の時間割を表している。具体的には、規則ページＰｒは、タイトルＴＬｒ１、ＴＬｒ２と、テーブルＴＢｒと、を表している。テーブルＴＢｒは、５行４列のテーブルである。第１行Ｒ１は、ヘッダ行であり、列Ｃ１－Ｃ４のそれぞれのヘッダ名を表している。図示するように、列Ｃ１－Ｃ４は、「時間」と「区分」と「テーマ」と「タイトル」とを、それぞれ表している。第２行Ｒ２－第５行Ｒ５は、それぞれ、プレゼンテーションを示している。
【0022】
Ｓ１２０では、プロセッサ１１０は、規則データを解析することによって、複数の参照情報とそれらの順番とを取得する。本実施例では、プロセッサ１１０は、所定のヘッダ名（ここでは、「タイトル」）に対応付けられる列によって表される情報を、参照情報として採用する。そして、プロセッサ１１０は、複数の参照情報の並び順を取得する。
【0023】
本実施例では、Ｓ１２０は、Ｓ１２１、Ｓ１２２を含んでいる。Ｓ１２１では、プロセッサ１１０は、規則データを解析することによって、テーブルを表すテーブル領域を検出する。テーブル領域を検出する方法は、種々の方法であってよい。本実施例では、プロセッサ１１０は、文書解析ライブラリＬＢ１を使用することによって、テーブル領域を検出する。文書解析ライブラリＬＢ１は、「Layout Parser」と呼ばれる文書画像解析ライブラリである。「Layout Parser」は、以下の論文に開示されている。
Zejiang Shen, Ruochen Zhang, Melissa Dell, Benjamin Charles Germain Lee, Jacob Carlson, Weining Li, "LayoutParser: A unified toolkit for deep learning based document image analysis", arXiv:2103.15348, June 21, 2021, http://arxiv.org/abs/2103.15348
また、「Layout Parser」のライブラリは、以下のＵＲＬで公開されている。
https://layout-parser.github.io/
Zejiang Shen, Ruochen Zhang, Melissa Dell, Benjamin Charles Germain Lee, Jacob Carlson, Weining Li, "LayoutParser: A unified toolkit for deep learning based document image analysis", arXiv:2103.15348, June 21, 2021, http://arxiv.org/abs/2103.15348
また、「Layout Parser」のライブラリは、以下のＵＲＬで公開されている。
https://layout-parser.github.io/
【0024】
「Layout Parser」は、レイアウト検出を行うための訓練済の機械学習モデルを含んでいる。種々の種類のレイアウト構造に対応するために、「Layout Parser」は、異なるデータセットで訓練された複数の深層学習モデルの集合体を含んでいる。「Layout Parser」は、テキストの領域と、タイトルの領域と、表の領域と、図の領域と、を含む複数種類の領域を検出可能である。また、「Layout Parser」は、文字認識を行うために、Google社の「Google Cloud Vision」と「Tesseract OCR」との２種類の文字認識エンジンをサポートしている。本実施例では、文書解析ライブラリＬＢ１は、レイアウト検出のための複数の訓練済の深層学習モデルの集合体と、文字認識のための訓練済の文字認識エンジン（例えば、Tesseract OCR）と、を含んでいる。
【0025】
Ｓ１２１では、プロセッサ１１０は、文書解析ライブラリＬＢ１の演算を実行することによって、規則ページＰｒ（図４）の画像ＩＭｒを解析する。これにより、プロセッサ１１０は、第１タイトルＴＬｒ１の領域と、第２タイトルＴＬｒ２の領域と、テーブルＴＢｒの領域とを、検出する。
【0026】
Ｓ１２２では、プロセッサ１１０は、テーブル領域を解析することによって、各セルの情報（ここでは、テキスト）と行位置と列位置とを取得する。セルの情報の取得方法は、種々の方法であってよい。例えば、プロセッサ１１０は、テーブル領域から縦線と横線とを検出する。プロセッサ１１０は、縦線と横線とで囲まれる領域を、セル領域として検出する。プロセッサ１１０は、セル領域毎に文字認識処理を実行して、各セルのテキストを取得する。文字認識処理は、文書解析ライブラリＬＢ１の演算を実行することによって、行われてよい。プロセッサ１１０は、画像内のセル領域の位置を使用して、各セルの行位置と列位置とを取得する。縦線と横線との検出方法は、種々の方法であってよい。例えば、ハフ変換によって、縦線と横線とが検出されてよい。また、複数のセルの間には、線に代えて、隙間が形成され得る。プロセッサ１１０は、背景領域と１以上のオブジェクト領域とを分離するいわゆるラベリング処理を実行してよい。これにより、プロセッサ１１０は、背景領域と各セル領域（ここでは、テキストを表す領域）とを分離できる。画像ＩＭｒ（図４）のテーブルＴＢｒの領域が処理される場合、プロセッサ１１０は、５行４列の２０個のセルの２０個のテキストを検出し得る。
【0027】
プロセッサ１１０は、第１行（例えば、第１行Ｒ１（図４））を、ヘッダ行として使用する。プロセッサ１１０は、ヘッダ行の複数のセルから、所定のキーワードを含むセルを検索する（参照セルと呼ぶ）。キーワードは、ページの分類に関連する種々のキーワードであってよい。キーワードは、例えば、「タイトル」と「発表者名」とを含んでよい。図４の第１行Ｒ１からは、「タイトル」を含むセルＣＬｒが、参照セルとして検出される。
【0028】
プロセッサ１１０は、参照セルを含む参照列を形成する複数のセルのそれぞれの情報を取得する。画像ＩＭｒ（図４）のテーブルＴＢｒが処理される場合、参照セルＣＬｒを含む第４列Ｃ４が、参照列である。プロセッサ１１０は、第４列Ｃ４から、４個の行Ｒ２－Ｒ５に対応する４個のセルの４個のテキストＴａ－Ｔｄを取得する。テキストＴａ－Ｔｄは、プレゼンテーションのタイトルを表している。これらのテキストＴａ－Ｔｄのそれぞれは、参照情報の例である（参照情報Ｔａ－Ｔｄとも呼ぶ）。
【0029】
プロセッサ１１０は、取得した複数の参照情報の順番を、取得する。本実施例では、プロセッサ１１０は、参照列内での複数の参照情報の並ぶ順番を、複数の参照情報の順番として採用する。プロセッサ１１０は、参照情報Ｔａ－Ｔｄ（図４）の順番として、Ｔａ、Ｔｂ、Ｔｃ、Ｔｄの順番を採用する。
【0030】
Ｓ１３０（図２）では、プロセッサ１１０は、文書を表す入力データを取得する。本実施例では、ユーザは、文書に含まれる複数のページ（ここでは、複数の論文の複数のページ）を、読取実行部１７０に供給する。プロセッサ１１０は、読取実行部１７０に複数のページを読み取らせ、読取実行部１７０から、複数のページを表すスキャンデータを取得する。このスキャンデータは、入力データの例である。
【0031】
図５（Ａ）は、入力データの例を示す図である。本実施例では、入力データＩＤは、第１文書Ｄａと第２文書Ｄｂとを含む複数の文書の複数のページを表している（本実施例では、各文書は、論文である）。図中には、第１文書Ｄａの複数のページＰ１１、Ｐ１２と、第２文書Ｄｂの複数のページＰ２１、Ｐ２２と、が示されている。第１文書Ｄａは、第１参照情報Ｔａ（図４）に対応付けられる文書である。第１文書Ｄａの第１ページＰ１１は、第１参照情報Ｔａと同じテキストを含むタイトルＴＬ１１を含んでいる。第２文書Ｄｂは、第２参照情報Ｔｂ（図４）に対応付けられる文書である。第２文書Ｄｂの第１ページＰ２１は、第２参照情報Ｔｂと同じテキストを含むタイトルＴＬ２１を含んでいる。図示を省略するが、本実施例では、入力データは、４個のプレゼンテーション（図４）に対応する４個の論文の複数のページを表している。
【0032】
Ｓ１４０（図２）では、プロセッサ１１０は、入力データによって表される複数のページを解析することによって、ページ毎の特徴情報を取得する。本実施例では、プロセッサ１１０は、各ページのレイアウト検出を行い、そして、検出された領域の文字認識を行う。レイアウト検出と文字認識とは、文書解析ライブラリＬＢ１に従って、行われる。
【0033】
図５（Ｂ）は、特徴情報の例を表している。特徴情報Ｆとしては、例えば、ページ番号ＰＮと、日付ＤＹと、タイトルＴＬと、章番号ＣＮと、図ＦＧと、図番号ＦＮと、テーブルＴＢと、テーブル番号ＴＮと、テキストＴＸと、著者名ＡＵとが、検出される。「Layout Parser」は、図とテーブルとタイトルとテキストとのそれぞれの領域を、検出可能である。本実施例では、プロセッサ１１０は、テキストから、ページ番号ＰＮと日付ＤＹと章番号ＣＮと図番号ＦＮとテーブル番号ＴＮとを、検出する。
【0034】
ページ番号ＰＮと日付ＤＹと章番号ＣＮと図番号ＦＮとテーブル番号ＴＮとの検出方法は、種々の方法であってよい。例えば、ページ番号ＰＮとしては、ページ端部に位置するテキストによって表される数値が、採用されてよい。ページ端部は、ページの大きさに応じて、調整されてよい。
【0035】
日付ＤＹとしては、例えば、日付を示すフォーマット（例えば、「ＹＹＹＹ（年）／ＭＭ（月）／ＤＤ（日）」、「ＹＹＹＹ年」など）を有するテキストによって表される日付が、採用されてよい。なお、日付ＤＹとしては、「年」と「月」と「日」とから任意に選択される１以上の要素を含むテキストが、採用されてよい。
【0036】
章番号ＣＮとしては、例えば、タイトルの前部分（例えば、前半部分）に含まれる数値が、採用されてよい。
【0037】
図番号ＦＮとしては、例えば、図の隣（例えば、上隣、または、下隣）に位置するテキストによって表される数値が、採用されてよい。ここで、図番号を示すフォーマット（例えば、「図＃（＃は数値）」など）を有するテキストが参照されることが好ましい。
【0038】
テーブル番号ＴＮとしては、例えば、テーブルの隣（例えば、上隣、または、下隣）に位置するテキストによって表される数値が、採用されてよい。ここで、テーブル番号を示すフォーマット（例えば、「テーブル＃（＃は数値）」など）を有するテキストが参照されることが好ましい。
【0039】
著者名ＡＵとしては、例えば、人物名を含むテキストが、採用されてよい。人物名は、例えば、予め準備された人物名リストから選択されてよい。
【0040】
図５（Ａ）には、レイアウト検出と文字認識とによって検出される特徴情報の例が示されている。図５（Ａ）において、符号の先頭の２文字は、検出される領域の種類を示している。具体的には、「ＴＬ」はタイトルを示し、「ＴＸ」はテキストを示し、「ＣＮ」は章番号を示し、「ＡＵ」は著者名を示し、「ＰＮ」はページ番号を示し、「ＦＮ」は図番号を示し、「ＴＢ」はテーブルを示し、「ＴＮ」はテーブル番号を示している。
【0041】
Ｓ１５０（図２）では、プロセッサ１１０は、参照情報と特徴情報（ひいては、ページ）とのマッチングを行う。本実施例では、プロセッサ１１０は、入力データによって表されるページ順で、１ページずつ、特徴情報と複数の参照情報とのそれぞれの関連性を評価する。そして、プロセッサ１１０は、関連性の評価結果を使用して、１個の参照情報に、１枚のページを対応付ける。マッチングの方法は、参照情報と特徴情報との関連性を使用する種々の方法であってよい。本実施例では、プロセッサ１１０は、以下の優先順のマッチングによって、参照情報に対応付けられるページを決定する。
（第１マッチングＭＣ１）参照情報を含むタイトルを有するページの総数が１である場合、そのページを参照情報に対応付ける。
（第２マッチングＭＣ２）参照情報の登場回数が最も多いページを、参照情報に対応付ける。登場回数は、特徴情報に含まれる参照情報の総数である。
（第３マッチングＭＣ３）参照情報を含む特徴情報を有するページであって、最初に見つかったページを、参照情報に対応付ける。
（第１マッチングＭＣ１）参照情報を含むタイトルを有するページの総数が１である場合、そのページを参照情報に対応付ける。
（第２マッチングＭＣ２）参照情報の登場回数が最も多いページを、参照情報に対応付ける。登場回数は、特徴情報に含まれる参照情報の総数である。
（第３マッチングＭＣ３）参照情報を含む特徴情報を有するページであって、最初に見つかったページを、参照情報に対応付ける。
【0042】
参照情報を含む特徴情報は、その特徴情報を有するページと参照情報との高い関連性を示している。上記のマッチングＭＣ１－ＭＣ３は、参照情報に適切なページを対応付けることができる。例えば、タイトルが参照情報を含む場合、そのタイトルを有するページは、参照情報に対応付けられるべきページである可能性が高い。このようなページの例には、例えば、論文の表紙が含まれる。第１マッチングＭＣ１は、このようなページを、参照情報に対応付ける。例えば、図５（Ａ）の第１文書Ｄａの第１ページＰ１１は、第１参照情報Ｔａ（図４）を含むタイトルＴＬ１１を有している。第１マッチングＭＣ１は、このような第１ページＰ１１を、第１テキストＴａに対応つけ得る。
【0043】
複数のページが、参照情報を含むタイトルを有し得る。この場合、プロセッサ１１０は、第１マッチングＭＣ１によってではなく、第２マッチングＭＣ２、または、第３マッチングＭＣ３によって、参照情報にページを対応付ける。
【0044】
参照情報に対応付けられるべきページは、通常は、参照情報に関連する文章を含んでいる。従って、参照情報に対応付けられるべきページは、１以上の参照情報を含み得る。ここで、ページに含まれる参照情報の総数（すなわち、参照情報の登場回数）が多いほど、そのページが参照情報に対応付けられるべきページである可能性が高い。第２マッチングＭＣ２は、そのような高い可能性を有するページを、参照情報に対応付ける。例えば、図５（Ａ）の第１文書Ｄａの第２ページＰ１２から検出される特徴情報（ここでは、タイトルＴＬ１４、テキストＴＸ１３、ＴＸ１４の全体）は、複数の第１参照情報Ｔａ（図４）を含み得る。第２マッチングＭＣ２は、このような第２ページＰ１２を、第１テキストＴａに対応付け得る。
【0045】
なお、複数のページの間で、参照情報の登場回数が同じであり得る。そして、複数のページが、１ページ当たりの最多の登場回数を示し得る。この場合、プロセッサ１１０は、第２マッチングＭＣ２によってではなく、第３マッチングＭＣ３によって、参照情報にページを対応付ける。
【0046】
以上のように、Ｓ１５０（図２）では、プロセッサ１１０は、マッチングＭＣ１－ＭＣ３によって、参照情報にページを対応付ける。これにより、プロセッサ１１０は、参照情報に対応付けられる文書に含まれるページを参照情報に対応付けることができる。
【0047】
Ｓ１７０では、プロセッサ１１０は、全てのページが参照情報に対応付けられたか否かを判断する。参照情報との対応関係が未確定であるページ（未確定ページと呼ぶ）が残っている場合（Ｓ１７０：Ｎｏ）、Ｓ１８０（図３）で、プロセッサ１１０は、参照情報毎のページグループを形成する。本実施例では、Ｓ１５０（図２）で、１個の参照情報に、１枚のページが対応付けられる。従って、Ｓ１８０では、１個の参照情報に対応付けられる１個のページグループは、１枚のページで構成される。Ｓ１２０で説明したように、複数の参照情報は、規則データに基づく順番に並んでいる。複数のページグループは、対応する参照情報の順番と同じ順番で、並んでいる。
【0048】
Ｓ２００では、プロセッサ１１０は、ページグループと未確定ページとの順番の複数の候補のそれぞれの確信度を算出する（以下、順番の候補を「候補順番」と呼ぶ）。確信度は、候補順番が適切なページの並び順を示す確率を示している。図６（Ａ）－図６（Ｃ）は、複数の候補順番の例を示す図である。
【0049】
図６（Ａ）の２つの候補順番Ｃａ１、Ｃ１ａは、第１ページグループＧ１と第１未確定ページＰｕａとの順番を示している。候補順番Ｃａ１は、第１ページグループＧ１が第１未確定ページＰｕａに続くことを示し、候補順番Ｃ１ａは、第１未確定ページＰｕａが第１ページグループＧ１に続くことを示している。確信度ＶＣａ１、ＶＣ１ａは、候補順番Ｃａ１、Ｃ１ａの確信度を、それぞれ示している。
【0050】
図６（Ｂ）は、図６（Ａ）の第１ページグループＧ１を第２ページグループＧ２に置換して得られる順番を示している。候補順番Ｃａ２は、第１未確定ページＰｕａが第２ページグループＧ２の前に位置することを示し、候補順番Ｃ２ａは、第１未確定ページＰｕａが第２ページグループＧ２の後ろに位置することを示している。確信度ＶＣａ２、ＶＣ２ａは、候補順番Ｃａ２、Ｃ２ａの確信度を、それぞれ示している。
【0051】
図６（Ｃ）は、図６（Ａ）の第１未確定ページＰｕａを第２未確定ページＰｕｂに置換して得られる順番を示している。候補順番Ｃｂ１は、第２未確定ページＰｕｂが第１ページグループＧ１の前に位置することを示し、候補順番Ｃ１ｂは、第２未確定ページＰｕｂが第１ページグループＧ１の後ろに位置することを示している。確信度ＶＣｂ１、ＶＣ１ｂは、候補順番Ｃｂ１、Ｃ１ｂの確信度を、それぞれ示している。
【0052】
図示を省略するが、プロセッサ１１０は、ページグループと未確定ページとの全てのペアの全ての順番のそれぞれの確信度を算出する。確信度の算出には、未確定ページと、ページグループ中の未確定ページの隣のページとの、２枚のページのそれぞれの特徴情報が使用される。例えば、図６（Ａ）の候補順番Ｃａ１の確信度ＶＣａ１のためには、第１未確定ページＰｕａと、その隣のページＰｇ１Ｆ（すなわち、第１ページグループＧ１の最初のページＰｇ１Ｆ）と、が使用される。候補順番Ｃ１ａの確信度ＶＣ１ａのためには、第１未確定ページＰｕａと、その隣のページＰｇ１Ｌ（すなわち、第１ページグループＧ１の最後のページＰｇ１Ｌ）と、が使用される。なお、第１ページグループＧ１に含まれるページの総数が１である場合、最後のページＰｇ１Ｌは、最初のページＰｇ１Ｆと同じである。他のベージグループについても、同様である。
【0053】
このように、確信度の算出に使用される２枚のページは、先ページと、先ページに続く後ページと、で構成される。本実施例では、確信度は、ゼロ以上、１以下の値に設定される。確信度＝１は、後ページが先ページに続くべき適切なページであることを示している。確信度＝ゼロは、後ページが先ページに対して不適切であることを示している。例えば、先ページが、第１文書Ｄａ（図５（Ａ））の第１ページＰ１１であり、後ページが、同じ第１文書Ｄａの第２ページＰ１２である場合、確信度は１に近くなる。先ページが、第１文書Ｄａの第１ページＰ１１であり、後ページが、第２文書Ｄｂの第２ページＰ２２である場合、先ページと後ページとの間で文書が異なるので、確信度は、ゼロに近くなる。先ページが、第１文書Ｄａの第２ページＰ１２であり、後ページが、第１文書Ｄａの第１ページＰ１１である場合、ページの順番が逆であるので、確信度はゼロに近くなる。
【0054】
Ｓ２００（図３）では、プロセッサ１１０は、複数の候補順番のそれぞれの確信度を算出する。確信度の算出の詳細については、後述する。
【0055】
Ｓ２１０では、プロセッサ１１０は、最も高い確信度を示す候補順番を、処理対象の順番である対象候補として採用する。プロセッサ１１０は、対象候補に従って、対象候補に対応付けられる１枚の未確定ページ（対象ページと呼ぶ）の順番を決定する。プロセッサ１１０は、対象ページを、対象候補に対応付けられるページグループに追加する。
【0056】
Ｓ２２０では、プロセッサ１１０は、全てのページの順番が決定されたか否かを判断する。未確定ページが残っている場合（Ｓ２２０：Ｎｏ）、プロセッサ１１０は、Ｓ２００へ移行する。プロセッサ１１０は、Ｓ２００、Ｓ２１０の処理を実行することによって、新たに、未確定ページの順番を決定する。
【0057】
全てのページの順番が決定された場合（Ｓ２２０：Ｙｅｓ）、プロセッサ１１０は、ＳＴ２３０へ移行する。Ｓ１７０（図２）で、全てのページが参照情報に対応付けられる場合（Ｓ１７０：Ｙｅｓ）、プロセッサ１１０は、Ｓ２３０へ移行する。
【0058】
Ｓ２３０で、プロセッサ１１０は、規則順番を、現行のページ順番に決定する。規則順番は、規則データによって表される対象規則に基づく複数のページの並ぶべき順番である。現行のページ順番は、参照情報の順番に並ぶ複数のページグループによって定められる順番である。Ｓ１２０で説明したように、複数の参照情報の順番は、規則データによって定められる。Ｓ１５０で説明したように、複数の参照情報のそれぞれには、参照情報との高い関連性を有するページが、対応付けられる。Ｓ２００、Ｓ２１０で説明したように、参照情報に対応付けられるページグループには、ページグループに含まれるページと関連を有する未確定ページが、適切な順番で、追加される。従って、現行のページ順番は、複数の参照情報の順番と同じ順番で、複数の論文を表し得る。そして、論文が複数のページを含む場合、現行のページ順番は、その論文の複数のページを適切な順番で表し得る。プロセッサ１１０は、このような現行のページ順番を、規則順番として採用する。
【0059】
Ｓ２４０では、プロセッサ１１０は、規則順番に並ぶ複数のページを表す出力データを生成する。プロセッサ１１０は、入力データによって表される複数のページを、規則順番に従って並べ直すことによって、出力データを生成する。出力データのデータ形式は、種々の形式であってよい（例えば、PDF、XPS(XML Paper Specification)、PCL(Printer Control Language)、GDI(Graphics Device Interface)、PostScript(登録商標)など）。
【0060】
出力データが１個のデータファイルを形成する場合、データファイルには、複数のページの順番を定める順番データが、含まれ得る。例えば、PDFデータは、複数のページの順番を定める順番データを含んでいる。プロセッサ１１０は、規則順番に基づいて、順番データを設定する。
【0061】
Ｓ２５０では、プロセッサ１１０は、出力データを出力する。プロセッサ１１０は、出力データを印刷実行部１６０に出力することによって、出力データによって表される画像を印刷実行部１６０に印刷させてよい。プロセッサ１１０は、出力データを表示部１４０に出力することによって、出力データによって表される画像を表示部１４０に表示させてよい。プロセッサ１１０は、出力データを記憶装置に出力することによって、出力データを記憶装置に格納してよい。ここで、記憶装置は、種々の記憶装置であってよく、例えば、不揮発性記憶装置１３０、通信インタフェース１８０に接続される図示しない記憶装置（例えば、ＵＳＢフラッシュドライブ）、通信インタフェース１８０を介して通信可能なサーバの記憶装置、のいずれかであってよい。このように、出力データの出力先は、印刷装置、表示装置、記憶装置など、種々の装置であってよい。
【0062】
【0063】
Ａ３．確信度の算出処理：
Ａ３－１．比較特徴情報Ｆｄ：
Ｓ２００（図３）における各候補順番の確信度の算出処理について説明する。確信度の算出方法は、候補順番が適切である場合に高い確信度を算出し、候補順番が不適切である場合に低い確信度を算出するような、種々の方法であってよい。本実施例では、プロセッサ１１０は、順番評価モデルＭ１を使用して、確信度を算出する。図７（Ａ）－図７（Ｃ）は、確信度の算出の説明図である。図７（Ａ）は、順番評価モデルＭ１の例を表している。順番評価モデルＭ１は、候補順番に対応付けられる比較特徴情報Ｆｄを使用して、確信度ＶＣを出力する。確信度ＶＣは、ゼロ以上、１以下の値に設定される。
Ａ３－１．比較特徴情報Ｆｄ：
Ｓ２００（図３）における各候補順番の確信度の算出処理について説明する。確信度の算出方法は、候補順番が適切である場合に高い確信度を算出し、候補順番が不適切である場合に低い確信度を算出するような、種々の方法であってよい。本実施例では、プロセッサ１１０は、順番評価モデルＭ１を使用して、確信度を算出する。図７（Ａ）－図７（Ｃ）は、確信度の算出の説明図である。図７（Ａ）は、順番評価モデルＭ１の例を表している。順番評価モデルＭ１は、候補順番に対応付けられる比較特徴情報Ｆｄを使用して、確信度ＶＣを出力する。確信度ＶＣは、ゼロ以上、１以下の値に設定される。
【0064】
まず、比較特徴情報Ｆｄについて説明する。本実施例では、プロセッサ１１０は、先ページと後ページとの２枚のページのそれぞれの特徴情報を使用して比較特徴情報Ｆｄを算出する。先ページは、未確定ページと、ページグループ中の未確定ページの隣のページと、のうちの、先行するページである。後ページは、先ページに続くページである。以下、先ページの特徴情報を先特徴情報Ｆａと呼び、後ページの特徴情報を後特徴情報Ｆｂと呼ぶ。例えば、候補順番Ｃａ１（図６（Ａ））の確信度ＶＣａ１の算出では、第１未確定ページＰｕａの特徴情報が先特徴情報Ｆａであり、第１ページグループＧ１のページＰｇ１Ｆの特徴情報が後特徴情報Ｆｂである。特徴情報Ｆａ、Ｆｂは、図５（Ｂ）に示す種々の情報を含み得る。
【0065】
比較特徴情報Ｆｄは、先特徴情報Ｆａと後特徴情報Ｆｂとを使用して算出される。図７（Ｂ）は、比較特徴情報Ｆｄの例を示す図である。本実施例では、比較特徴情報Ｆｄは、複数の特徴ベクトルＦｄ１－Ｆｄ１２を連結して得られるベクトルである（図中の関数Ｃｖは、引数に含まれる複数のベクトルの連結ベクトルを返す）。
【0066】
図７（Ｃ）は、特徴ベクトルＦｄ１－Ｆｄ１２の例を示す図である。特徴ベクトルＦｄ１－Ｆｄ１２は、先ページと後ページとの互いに異なる観点からの比較結果を示している。概要は、以下の通りである。
Ｆｄ１ ：ページ番号ＰＮの差分
Ｆｄ２ ：日付ＤＹの差分
Ｆｄ３ ：タイトルＴＬの類似度ＳＭ３
Ｆｄ４ ：テキストＴＸの類似度ＳＭ４
Ｆｄ５ ：図ＦＧの類似度ＳＭ５
Ｆｄ６ ：章番号ＣＮの差分
Ｆｄ７ ：章番号ＣＮの登場に関連する情報
Ｆｄ８ ：図番号ＦＮの差分
Ｆｄ９ ：図番号ＦＮの登場に関連する情報
Ｆｄ１０：テーブル番号ＴＮの差分
Ｆｄ１１：テーブル番号ＴＮの登場に関連する情報
Ｆｄ１２：文章の繋がりやすさを示す情報
Ｆｄ１ ：ページ番号ＰＮの差分
Ｆｄ２ ：日付ＤＹの差分
Ｆｄ３ ：タイトルＴＬの類似度ＳＭ３
Ｆｄ４ ：テキストＴＸの類似度ＳＭ４
Ｆｄ５ ：図ＦＧの類似度ＳＭ５
Ｆｄ６ ：章番号ＣＮの差分
Ｆｄ７ ：章番号ＣＮの登場に関連する情報
Ｆｄ８ ：図番号ＦＮの差分
Ｆｄ９ ：図番号ＦＮの登場に関連する情報
Ｆｄ１０：テーブル番号ＴＮの差分
Ｆｄ１１：テーブル番号ＴＮの登場に関連する情報
Ｆｄ１２：文章の繋がりやすさを示す情報
【0067】
以下に説明するように、特徴ベクトルＦｄ１－Ｆｄ１２は、いずれも、先ページに対する後ページの適切さに応じて変化する。従って、比較特徴情報Ｆｄも、先ページに対する後ページの適切さに応じて変化する。
【0068】
第１特徴ベクトルＦｄ１は、ページ番号ＰＮの差分を示す１次元ベクトルである（Ｆｄ１＝ＰＮａ－ＰＮｂ）。先ページ番号ＰＮａは、先特徴情報Ｆａに含まれるページ番号ＰＮを示し、後ページ番号ＰＮｂは、後特徴情報Ｆｂに含まれるページ番号ＰＮを示している。後ページが先ページに続くべき適切なページである場合、通常は、Ｆｄ１＝－１である。後ページが先ページに対して不適切である場合、Ｆｄ１は－１とは異なり得る。
【0069】
第２特徴ベクトルＦｄ２は、日付ＤＹの差分を示す１次元ベクトルである（Ｆｄ２＝ＤＹａ－ＤＹｂ）。先日付ＤＹａは、先特徴情報Ｆａに含まれる日付ＤＹを示し、後日付ＤＹｂは、後特徴情報Ｆｂに含まれる日付ＤＹを示している。先特徴情報Ｆａが複数の日付ＤＹを含む場合、先日付ＤＹａの決定方法は、種々の方法であってよい。例えば、先日付ＤＹａは、先ページにおいて、最初に登場する日付ＤＹ、または、最後に登場する日付ＤＹであってよい。後日付ＤＹｂについても、同様である。
【0070】
同じ文書の複数のページは、異なる日付の情報を表し得る。ここで、複数のページの適切な順番は、日付の昇順であり得る。例えば、２０２２年の情報を表すページは、２０２１年の情報を表すページの後ろに配置され得る。このように、後ページが、先ページよりも新しい日付を表す場合、Ｆｄ２は、マイナスである。また、先ページと後ページとが同じ文書に含まれる場合、先ページと後ページとには同じ日付が記載され得る。この場合、Ｆｄ２＝ゼロである。先ページと後ページとが互いに異なる文書に含まれる場合、先ページと後ページとには互いに無関係の日付が記載され得る。この場合、Ｆｄ２はゼロとは異なる種々の値であり得る。このように、第２特徴ベクトルＦｄ２は、先ページに対する後ページの適切さに応じて、変化する。
【0071】
第３特徴ベクトルＦｄ３は、タイトルＴＬの類似度ＳＭ３（ＴＬａ、ＴＬｂ）を示す１次元ベクトルである。先タイトルＴＬａは、先特徴情報Ｆａに含まれるタイトルＴＬを示し、後タイトルＴＬｂは、後特徴情報Ｆｂに含まれるタイトルＴＬを示している。先特徴情報Ｆａが複数のタイトルＴＬを含む場合、先タイトルＴＬａの決定方法は、種々の方法であってよい。例えば、先タイトルＴＬａは、先ページにおいて最初に登場するタイトルＴＬ、または、先特徴情報Ｆａに含まれる全てのタイトルＴＬを連結して得られるテキストであってよい。後タイトルＴＬｂについても、同様である。
【0072】
類似度ＳＭ３は、２つのタイトルＴＬａ、ＴＬｂの類似度を示している。類似度ＳＭ３の算出方法は、２つのタイトルＴＬａ、ＴＬｂの間の内容の類似度を算出する種々の方法であってよい。本実施例では、プロセッサ１１０は、タイトルＴＬａ、ＴＬｂのそれぞれを、ベクトル化する。そして、プロセッサ１１０は、２つのベクトルのコサイン類似度を、類似度ＳＭ３として算出する。テキストをベクトル化する方法は、種々の方法であってよい。本実施例では、プロセッサ１１０は、言語表現モデルＭ２を使用して、テキストをベクトル化する。言語表現モデルＭ２は、テキストをベクトル化する種々の訓練済のモデルであってよい。本実施例では、言語表現モデルＭ２は、「BERT（Bidirectional Encoder Representations from Transformers）」と呼ばれる機械学習モデルである。BERTモデルは、以下の論文に開示されている。
Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova, "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding", arXiv:1810.04805, May 24, 2019, https://arxiv.org/abs/1810.04805
Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova, "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding", arXiv:1810.04805, May 24, 2019, https://arxiv.org/abs/1810.04805
【0073】
言語表現モデルＭ２の訓練方法としては、BERTの上記論文に開示の訓練方法を採用可能である。この訓練方法は、事前訓練と、ファインチューニングとを、含んでいる。
【0074】
処理対象のテキストは、BERTモデルに入力するために、複数の単語に分解される。そして、単語列を表すトークン列が、BERTモデルに入力される。文章をトークン列に変換するために、トークナイザが使用される。トークナイザの構成（ひいては、文章をトークン列に変換する方法）としては、トークン列を処理する機械学習モデルに適する種々の構成を採用可能である。訓練済のBERTモデルとトークナイザとしては、処理対象の言語に適するものが、採用される。種々の訓練済のBERTモデルと種々のトークナイザとは、以下のURLで公開されている。公開されている訓練済のモデルとトークナイザとが、採用されてよい。
https://huggingface.co/
https://huggingface.co/
【0075】
プロセッサ１１０は、処理対象のテキスト（ここでは、先タイトルＴＬａ、または、後タイトルＴＬｂ）を使用してトークナイザの演算を行うことによって、トークン列を生成する。プロセッサ１１０は、生成したトークン列を使用して言語表現モデルＭ２の演算を実行する。これにより、トークン毎のベクトルが、算出される。プロセッサ１１０は、算出されるトークン毎のベクトルを集約することによって、テキストを表す１個のベクトルを生成する。複数のベクトルの集約方法は、種々の方法であってよい。例えば、プロセッサ１１０は、複数のベクトルの平均を表す１個のベクトルを算出してよい（このように平均を表すデータを生成する処理は、Mean-Poolingとも呼ばれる）。これに代えて、プロセッサ１１０は、複数のベクトルの各次元の最大値を選択して１個のベクトルを生成してよい（このように最大値を表すデータを生成する処理は、Max-Poolingとも呼ばれる）。プロセッサ１１０は、先タイトルＴＬａから得られるベクトルと、後タイトルＴＬｂから得られるベクトルとの、コサイン類似度（すなわち、類似度ＳＭ３）を算出する。
【0076】
後ページが先ページに続くべき適切なページである場合、先ページと後ページとには類似するタイトルが記載される可能性が高い。すなわち、Ｆｄ３は正値である可能性が高い。後ページが先ページに対して不適切である場合、先ページと後ページとには非類似なタイトルが記載される可能性が高い。すなわち、Ｆｄ３は負値である可能性が高い。このように、第３特徴ベクトルＦｄ３は、先ページに対する後ページの適切さに応じて、変化する。
【0077】
第４特徴ベクトルＦｄ４は、テキストＴＸの類似度ＳＭ４（ＴＸａ、ＴＸｂ）を示す１次元ベクトルである。先テキストＴＸａは、先特徴情報Ｆａに含まれるテキストＴＸを示し、後テキストＴＸｂは、後特徴情報Ｆｂに含まれるテキストＴＸを示している。先特徴情報Ｆａが複数のテキストＴＸを含む場合、先テキストＴＸａの決定方法は、種々の方法であってよい。例えば、先テキストＴＸａは、先ページにおいて最初に登場するテキストＴＸ、または、先特徴情報Ｆａに含まれる全てのテキストＴＸを連結して得られるテキストであってよい。後テキストＴＸｂについても、同様である。
【0078】
類似度ＳＭ４は、２つのテキストＴＸａ、ＴＸｂの類似度を示している。プロセッサ１１０は、テキストＴＸａ、ＴＸｂのそれぞれをベクトル化し、２つのベクトルのコサイン類似度を類似度ＳＭ４として算出する。ベクトル化には、言語表現モデルＭ２が使用される。テキストＴＸは、タイトルＴＬとは異なり、言語表現モデルＭ２に入力可能なトークンの最大数よりも、多い数の単語を含み得る。本実施例では、プロセッサ１１０は、テキストの要約文を生成し、要約文をベクトル化する。テキストから要約文を生成する方法は、種々の方法であってよい。本実施例では、プロセッサ１１０は、要約モデルＭ３を使用して、要約文を生成する。要約モデルＭ３は、テキストから要約文を生成する種々の訓練済のモデルであってよい。本実施例では、要約モデルＭ３は、「PEGASUS」と呼ばれる機械学習モデルである。PEGASUSモデルは、以下の論文に開示されている。
Jingqing Zhang, Yao Zhao, Mohammad Saleh, Peter J. Liu, "PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization ", arXiv:1912.08777, July 10, 2020, https://arxiv.org/abs/1912.08777
Jingqing Zhang, Yao Zhao, Mohammad Saleh, Peter J. Liu, "PEGASUS: Pre-training with Extracted Gap-sentences for Abstractive Summarization ", arXiv:1912.08777, July 10, 2020, https://arxiv.org/abs/1912.08777
【0079】
要約モデルＭ３の訓練方法としては、PEGASUSの上記論文に開示の訓練方法を採用可能である。
【0080】
PEGASUSモデルにテキストを入力する場合も、トークナイザが使用される。訓練済のPEGASUSモデルとトークナイザとは、以下のURLで公開されている。公開されている訓練済のモデルとトークナイザとが、採用されてよい。
https://huggingface.co/
https://huggingface.co/
【0081】
なお、公開されているPEGASUSモデルは、英語を処理するように構成されている。他の言語（例えば、日本語）の処理のためには、他の訓練済のモデルが使用されてよい。例えば、要約モデルＭ３は、Ｔ５（Text-To-Text Transfer Transformer）と呼ばれる機械学習モデルであってよい。Ｔ５モデルは、以下の論文に開示されている。
Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu, "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer", arXiv:1910.10683, July 28, 2020, https://arxiv.org/abs/1910.10683
Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu, "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer", arXiv:1910.10683, July 28, 2020, https://arxiv.org/abs/1910.10683
【0082】
Ｔ５モデルの訓練方法としては、Ｔ５モデルの上記論文に開示の訓練方法を採用可能である。また、種々の言語の訓練済Ｔ５モデルとトークナイザとは、以下のURLで公開されている。
https://huggingface.co/
https://huggingface.co/
【0083】
公開されている訓練済のモデルのファインチューニングによって、要約モデルＭ３が生成されてよい。Ｔ５モデルのファインチューニング方法としては、Ｔ５モデルの上記論文に開示の方法を採用可能である。Ｔ５モデルのファインチューニングには、テキストと要約のペアが使用される。テキストと要約のペアとしては、例えば、ニュースウェブサイトの記事の本文とサマリーが使用されてよい。
【0084】
プロセッサ１１０は、処理対象のテキスト（ここでは、先テキストＴＸａ、または、後テキストＴＸｂ）を使用して要約モデルＭ３の演算を実行することによって、要約文を生成する。ここで、プロセッサ１１０は、要約モデルＭ３のトークナイザの演算を行うことによって得られるトークン列を、要約モデルＭ３に入力してよい。プロセッサ１１０は、要約文を使用して、言語表現モデルＭ２のためのトークナイザの演算を行うことによって、トークン列を生成する。プロセッサ１１０は、生成したトークン列を使用して言語表現モデルＭ２の演算を実行することによって、トークン毎のベクトルを算出する。プロセッサ１１０は、算出されるトークン毎のベクトルを集約することによって、テキストを表す１個のベクトルを生成する。集約方法は、第３特徴ベクトルＦｄ３のための集約方法と同じであってよい。プロセッサ１１０は、先テキストＴＸａから得られるベクトルと、後テキストＴＸｂから得られるベクトルとの、コサイン類似度（すなわち、類似度ＳＭ４）を算出する。
【0085】
後ページが先ページに続くべき適切なページである場合、互いに関連する内容を表すテキストが先ページと後ページとに記載される可能性が高い。すなわち、Ｆｄ４は正値である可能性が高い。後ページが先ページに対して不適切である場合、互いに無関係な内容を表すテキストが先ページと後ページとに記載される可能性が高い。すなわち、Ｆｄ４は負値である可能性が高い。このように、第４特徴ベクトルＦｄ４は、先ページに対する後ページの適切さに応じて、変化する。
【0086】
第５特徴ベクトルＦｄ５は、図ＦＧの類似度ＳＭ５（ＦＧａ、ＦＧｂ）を示す１次元ベクトルである。先図ＦＧａは、先特徴情報Ｆａに含まれる図ＦＧを示し、後図ＦＧｂは、後特徴情報Ｆｂに含まれる図ＦＧを示している。先特徴情報Ｆａが複数の図ＦＧを含む場合、先図ＦＧａの決定方法は、種々の方法であってよい。例えば、先図ＦＧａは、先ページにおいて最初に登場する図ＦＧ、先ページにおいて最も大きい図ＦＧ、または、先特徴情報Ｆａに含まれる全ての図ＦＧを連結して得られる図、のいずれかであってよい。後図ＦＧｂについても、同様である。
【0087】
類似度ＳＭ５は、２つの図ＦＧａ、ＦＧｂの類似度を示している。プロセッサ１１０は、図ＦＧａ、ＦＧｂのそれぞれのキャプションを生成し、２つのキャプションのそれぞれをベクトル化し、２つのベクトルのコサイン類似度を類似度ＳＭ５として算出する。キャプションの生成方法は、種々の方法であってよい。本実施例では、プロセッサ１１０は、キャプションモデルＭ４を使用して、図からキャプションを生成する。キャプションモデルＭ４は、図からキャプションを生成する種々の訓練済のモデルであってよい。本実施例では、キャプションモデルＭ４は、「DenseCap」と呼ばれる機械学習モデルである。DenseCapモデルは、以下の論文に開示されている。
Justin Johnson, Andrej Karpathy, Li Fei-Fei, "DenseCap: Fully Convolutional Localization Networks for Dense Captioning", arXiv:1511.07571, 24 Nov 2015, https://arxiv.org/abs/1511.07571
Justin Johnson, Andrej Karpathy, Li Fei-Fei, "DenseCap: Fully Convolutional Localization Networks for Dense Captioning", arXiv:1511.07571, 24 Nov 2015, https://arxiv.org/abs/1511.07571
【0088】
キャプションモデルＭ４の訓練方法としては、DenseCapの上記論文に開示の訓練方法を採用可能である。また、訓練済のDenseCapモデルは、以下のURLで公開されている。公開されている訓練済のモデルが、キャプションモデルＭ４として採用されてよい。
https://github.com/jcjohnson/densecap
https://github.com/jcjohnson/densecap
【0089】
なお、公開されているDenseCapモデルは、英語のキャプションを生成する。他の言語（例えば、日本語）の処理のためには、プロセッサ１１０は、英語のキャプションを、処理対象の言語に翻訳してよい。翻訳方法は、種々の方法であってよい。本実施例では、プロセッサ１１０は、機械翻訳モデルＭ５を使用して、翻訳を行う。機械翻訳モデルＭ５は、入力されたテキストを使用して別の言語のテキストを生成する種々の訓練済のモデルであってよい。本実施例では、機械翻訳モデルＭ５は、「Transformer」と呼ばれる機械学習モデルである。Transformerモデルは、以下の論文に開示されている。
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin, "Attention Is All You Need", arXiv:1706.03762, 6 Dec 2017, https://arxiv.org/abs/1706.03762
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin, "Attention Is All You Need", arXiv:1706.03762, 6 Dec 2017, https://arxiv.org/abs/1706.03762
【0090】
機械翻訳モデルＭ５の訓練方法としては、Transformerの上記論文に開示の訓練方法を採用可能である。なお、機械翻訳モデルＭ５は、Transformerに基づく他のモデルであってよい。機械翻訳モデルＭ５は、Transformerに基づく機械翻訳モデルのエンコーダ部分をBERTモデルに置換して得られるモデルであってよい。
【0091】
プロセッサ１１０は、処理対象の図（ここでは、先図ＦＧａ、または、後図ＦＧｂ）を使用してキャプションモデルＭ４の演算を行うことによって、キャプションを生成する。プロセッサ１１０は、生成されたキャプションを使用して機械翻訳モデルＭ５の演算を行うことによって、処理対象の言語のキャプションを生成する。プロセッサ１１０は、生成されたキャプションを使用して言語表現モデルＭ２の演算を行うことによって、キャプションを表すベクトルを生成する。ベクトルの生成方法は、特徴ベクトルＦｄ３、Ｆｄ４の算出において、タイトル、または、テキストからベクトルを生成する方法と、同じである。プロセッサ１１０は、先図ＦＧａから得られるベクトルと、後図ＦＧｂから得られるベクトルとの、コサイン類似度（すなわち、類似度ＳＭ５）を算出する。
【0092】
後ページが先ページに続くべき適切なページである場合、先ページと後ページとには類似する図が記載される可能性が高い。すなわち、Ｆｄ５は正値である可能性が高い。後ページが先ページに対して不適切である場合、先ページと後ページとには非類似な図が記載される可能性が高い。すなわち、Ｆｄ５は負値である可能性が高い。このように、第５特徴ベクトルＦｄ５は、先ページに対する後ページの適切さに応じて、変化する。
【0093】
第６特徴ベクトルＦｄ６は、章番号ＣＮの差分を示す１次元ベクトルである（Ｆｄ６＝ＣＮａ－ＣＮｂ）。先章番号ＣＮａは、先特徴情報Ｆａに含まれる章番号ＣＮを示し、後章番号ＣＮｂは、後特徴情報Ｆｂに含まれる章番号ＣＮを示している。先特徴情報Ｆａが複数の章番号ＣＮを含む場合、先章番号ＣＮａの決定方法は、種々の方法であってよい。例えば、先章番号ＣＮａは、先ページにおいて最後に登場する章番号ＣＮであってよい。後特徴情報Ｆｂが複数の章番号ＣＮを含む場合、後章番号ＣＮｂは、後ページにおいて最初に登場する章番号ＣＮであってよい。後ページが先ページに続くべき適切なページである場合、Ｆｄ６＝－１である。後ページが先ページに対して不適切である場合、Ｆｄ６は、－１とは異なり得る。このように、第６特徴ベクトルＦｄ６は、先ページに対する後ページの適切さに応じて、変化する。
【0094】
第７特徴ベクトルＦｄ７は、章番号ＣＮの登場に関連する章特徴情報ＲＦ７である。章特徴情報ＲＦ７は、以下のように定められる２次元のone-hotベクトルである。
ＲＦ７＝［１，０］：以下の条件７ａが満たされる。
ＲＦ７＝［０，１］：以下の条件７ｂが満たされる。
ＲＦ７＝［０，０］：条件７ａ、７ｂの両方が満たされない。
条件７ａ：先特徴情報Ｆａに含まれるテキストＴＸが後章番号ＣＮｂを含む。
条件７ｂ：後特徴情報Ｆｂに含まれるテキストＴＸが先章番号ＣＮａを含む。
ＲＦ７＝［１，０］：以下の条件７ａが満たされる。
ＲＦ７＝［０，１］：以下の条件７ｂが満たされる。
ＲＦ７＝［０，０］：条件７ａ、７ｂの両方が満たされない。
条件７ａ：先特徴情報Ｆａに含まれるテキストＴＸが後章番号ＣＮｂを含む。
条件７ｂ：後特徴情報Ｆｂに含まれるテキストＴＸが先章番号ＣＮａを含む。
【0095】
後ページが先ページに続くべき適切なページである場合、先ページに含まれる章番号ＣＮａは、後ページのテキストで参照され得る。すなわち、条件７ｂは、満たされ易い。また、後ページに含まれる章番号ＣＮｂが先ページのテキストで参照される可能性は、小さい。すなわち、条件７ａが満たされる可能性は、小さい。後ページが先ページに対して不適切である場合、条件７ａが満たされる可能性は、より大きく、条件７ｂが満たされる可能性は、より小さい。このように、章特徴情報ＲＦ７（すなわち、第７特徴ベクトルＦｄ７）は、先ページに対する後ページの適切さに応じて、変化する。なお、条件７ａ、７ｂの両方が満たされる場合、章特徴情報ＲＦ７は、予め決められたベクトル（例えば、［０，０］）に設定されてよい。
【0096】
第８特徴ベクトルＦｄ８は、第６特徴ベクトルＦｄ６の章番号ＣＮを図番号ＦＮに置き換えて得られる１次元ベクトルである（Ｆｄ８＝ＦＮａ－ＦＮｂ）。先図番号ＦＮａは、先特徴情報Ｆａに含まれる図番号ＦＮを示し、後図番号ＦＮｂは、後特徴情報Ｆｂに含まれる図番号ＦＮを示している。先特徴情報Ｆａが複数の図番号ＦＮを含む場合、先図番号ＦＮａは、先ページにおいて最後に登場する図番号ＦＮであってよい。後特徴情報Ｆｂが複数の図番号ＦＮを含む場合、後図番号ＦＮｂは、後ページにおいて最初に登場する図番号ＦＮであってよい。後ページが先ページに続くべき適切なページである場合、Ｆｄ８＝－１である。後ページが先ページに対して不適切である場合、Ｆｄ８は、－１とは異なり得る。このように、第８特徴ベクトルＦｄ８は、先ページに対する後ページの適切さに応じて、変化する。
【0097】
第９特徴ベクトルＦｄ９は、図番号ＦＮの登場に関連する図特徴情報ＲＦ９であり、第６特徴ベクトルＦｄ６の章番号ＣＮを図番号ＦＮに置き換えて得られる。図特徴情報ＲＦ９は、以下のように定められる２次元のone-hotベクトルである。
ＲＦ９＝［１，０］：以下の条件９ａが満たされる。
ＲＦ９＝［０，１］：以下の条件９ｂが満たされる。
ＲＦ９＝［０，０］：条件９ａ、９ｂの両方が満たされない。
条件９ａ：先特徴情報Ｆａに含まれるテキストＴＸが後図番号ＦＮｂを含む。
条件９ｂ：後特徴情報Ｆｂに含まれるテキストＴＸが先図番号ＦＮａを含む。
図特徴情報ＲＦ９（すなわち、第９特徴ベクトルＦｄ９）は、第７特徴ベクトルＦｄ７と同様に、先ページに対する後ページの適切さに応じて、変化する。なお、条件９ａ、９ｂの両方が満たされる場合、図特徴情報ＲＦ９は、予め決められたベクトル（例えば、［０，０］）に設定されてよい。
ＲＦ９＝［１，０］：以下の条件９ａが満たされる。
ＲＦ９＝［０，１］：以下の条件９ｂが満たされる。
ＲＦ９＝［０，０］：条件９ａ、９ｂの両方が満たされない。
条件９ａ：先特徴情報Ｆａに含まれるテキストＴＸが後図番号ＦＮｂを含む。
条件９ｂ：後特徴情報Ｆｂに含まれるテキストＴＸが先図番号ＦＮａを含む。
図特徴情報ＲＦ９（すなわち、第９特徴ベクトルＦｄ９）は、第７特徴ベクトルＦｄ７と同様に、先ページに対する後ページの適切さに応じて、変化する。なお、条件９ａ、９ｂの両方が満たされる場合、図特徴情報ＲＦ９は、予め決められたベクトル（例えば、［０，０］）に設定されてよい。
【0098】
第１０特徴ベクトルＦｄ１０は、第６特徴ベクトルＦｄ６の章番号ＣＮをテーブル番号ＴＮに置き換えて得られる１次元ベクトルである（Ｆｄ１０＝ＴＮａ－ＴＮｂ）。先テーブル番号ＴＮａは、先特徴情報Ｆａに含まれるテーブル番号ＴＮを示し、後テーブル番号ＴＮｂは、後特徴情報Ｆｂに含まれるテーブル番号ＴＮを示している。先特徴情報Ｆａが複数のテーブル番号ＴＮを含む場合、先テーブル番号ＴＮａは、先ページにおいて最後に登場するテーブル番号ＴＮであってよい。後特徴情報Ｆｂが複数のテーブル番号ＴＮを含む場合、後テーブル番号ＴＮｂは、後ページにおいて最初に登場するテーブル番号ＴＮであってよい。後ページが先ページに続くべき適切なページである場合、Ｆｄ１０＝－１である。後ページが先ページに対して不適切である場合、Ｆｄ１０は、－１とは異なり得る。このように、第１０特徴ベクトルＦｄ１０は、先ページに対する後ページの適切さに応じて、変化する。
【0099】
第１１特徴ベクトルＦｄ１１は、テーブル番号ＴＮの登場に関連するテーブル特徴情報ＲＦ１１であり、第６特徴ベクトルＦｄ６の章番号ＣＮをテーブル番号ＴＮに置き換えて得られる。テーブル特徴情報ＲＦ１１は、以下のように定められる２次元のone-hotベクトルである。
ＲＦ１１＝［１，０］：以下の条件１１ａが満たされる。
ＲＦ１１＝［０，１］：以下の条件１１ｂが満たされる。
ＲＦ１１＝［０，０］：条件１１ａ、１１ｂの両方が満たされない。
条件１１ａ：先特徴情報Ｆａに含まれるテキストＴＸが後テーブル番号ＴＮｂを含む。
条件１１ｂ：後特徴情報Ｆｂに含まれるテキストＴＸが先テーブル番号ＴＮａを含む。
テーブル特徴情報ＲＦ１１（すなわち、第１１特徴ベクトルＦｄ１１）は、第７特徴ベクトルＦｄ７と同様に、先ページに対する後ページの適切さに応じて、変化する。なお、条件１１ａ、１１ｂの両方が満たされる場合、テーブル特徴情報ＲＦ１１は、予め決められたベクトル（例えば、［０，０］）に設定されてよい。
ＲＦ１１＝［１，０］：以下の条件１１ａが満たされる。
ＲＦ１１＝［０，１］：以下の条件１１ｂが満たされる。
ＲＦ１１＝［０，０］：条件１１ａ、１１ｂの両方が満たされない。
条件１１ａ：先特徴情報Ｆａに含まれるテキストＴＸが後テーブル番号ＴＮｂを含む。
条件１１ｂ：後特徴情報Ｆｂに含まれるテキストＴＸが先テーブル番号ＴＮａを含む。
テーブル特徴情報ＲＦ１１（すなわち、第１１特徴ベクトルＦｄ１１）は、第７特徴ベクトルＦｄ７と同様に、先ページに対する後ページの適切さに応じて、変化する。なお、条件１１ａ、１１ｂの両方が満たされる場合、テーブル特徴情報ＲＦ１１は、予め決められたベクトル（例えば、［０，０］）に設定されてよい。
【0100】
第１２特徴ベクトルＦｄ１２は、先ページと後ページとの間の文章の繋がりやすさを示す評価値Ｖ１２（ＴＸａＬ、ＴＸｂＦ）を示す１次元ベクトルである。この評価値Ｖ１２は、先ページにおいて最後に登場する先テキストＴＸａＬと、後ページにおいて最初に登場する後テキストＴＸｂＦと、を使用して算出される。評価値Ｖ１２は、先テキストＴＸａＬと、先テキストＴＸａＬに続く後テキストＴＸｂＦと、で構成される１つの連結文の文法的な容認性を示している。本実施例では、評価値Ｖ１２は、ゼロ以上、１以下の値に設定される。Ｖ１２＝１は、連結文が自然であることを示し、Ｖ１２＝０は、連結文が不自然であることを示している。
【0101】
評価値Ｖ１２を算出する方法は、種々の方法であってよい。本実施例では、プロセッサ１１０は、文分類モデルＭ６を使用して、連結文の評価値Ｖ１２を算出する。文分類モデルＭ６は、文の文法的な容認性を算出する種々の訓練済のモデルであってよい。本実施例では、文分類モデルＭ６は、評価値Ｖ１２を算出するための分類器をBERTモデルに追加して得られる機械学習モデルである。BERTモデルとしては、公開されている訓練済のモデルを採用可能である。分類器は、BERTモデルから出力される複数のベクトルを集約して１個のベクトルを生成する集約層と、１個のベクトルを使用して評価値Ｖ１２を出力する出力層と、を含んでよい。集約層による複数のベクトルを集約する方法は、第３特徴ベクトルＦｄ３の類似度ＳＭ３で説明した「Max-Pooling」または「Mean-Pooling」であってよい。出力層は、１個のベクトルの複数の成分を使用して１次元の評価値Ｖ１２を出力する種々の層であってよい。出力層は、例えば、全結合層であってよい。出力層の活性化関数は、シグモイド関数、または、Tanh関数であってよい。
【0102】
文分類モデルＭ６は、ＣｏＬＡ（Corpus of Linguistic Acceptability）と呼ばれるデータセットを使用して訓練されてよい。このデータセットは、文法的または非文法的とラベル付けされた複数の文のセットである。ここで、訓練済のBERTモデルのパラメータが固定された状態で、分類器がＣｏＬＡを使用して訓練されてよい。これに代えて、文分類モデルＭ６の全体が、ＣｏＬＡを使用して訓練されてよい。いずれの場合も、入力文が文法的である場合に、１に近い評価値Ｖ１２が出力され、入力文が非文法的である場合に、０に近い評価値Ｖ１２が出力されるように、文分類モデルＭ６は訓練される。
【0103】
以上のように、Ｓ２００（図３）では、プロセッサ１１０は、特徴ベクトルＦｄ１－Ｆｄ１２を算出する。なお、先特徴情報Ｆａ、または、後特徴情報Ｆｂが、特徴ベクトルの算出に使用される特徴情報を含まない場合がある。例えば、後ページが図を含まない場合、後特徴情報Ｆｂは、第５特徴ベクトルＦｄ５の算出のための後図ＦＧｂを含まない。この場合、プロセッサ１１０は、特徴ベクトルとして、予め決められたベクトル（例えば、後ページが先ページに対して適切であることを示すベクトル、または、後ページが先ページに対して不適切であることを示すベクトル）を採用してよい。
【0104】
プロセッサ１１０は、特徴ベクトルＦｄ１－Ｆｄ１２を連結することによって、比較特徴情報Ｆｄを生成する。ここで、プロセッサ１１０は、特徴ベクトルＦｄ１－Ｆｄ１２のそれぞれを正規化し、正規化された特徴ベクトルＦｄ１－Ｆｄ１２を連結することが好ましい。
【0105】
Ａ３－２．順番評価モデルＭ１：
プロセッサ１１０は、比較特徴情報Ｆｄを順番評価モデルＭ１（図７（Ａ））に入力することによって、確信度ＶＣを算出する。本実施例では、順番評価モデルＭ１は、ｍ個（ｍは２以上の整数）の層Ｌ１－Ｌｍを含んでいる。ｍ個の層Ｌ１－Ｌｍは、この順番に接続されている。各層Ｌ１－Ｌｍの構成は、入力されるデータの特徴を表す出力データを生成する種々の構成であってよい。例えば、Ｌ１からＬｋまでのｋ個の層（ｋは１以上、ｍ未満の整数）は、畳込層を含み、Ｌｋ＋１からＬｍまでのｍ－ｋ個の層は、全結合層を含んでよい。このような順番評価モデルＭ１は、畳込ニューラルネットワークとも呼ばれる。各層における入力データの次元数と出力データの次元数とは、種々に設定されてよい。各層の活性化関数は、ReLU（Rectified Linear Unit）など、種々の関数であってよい。なお、最終層Ｌｍの活性化関数としては、確信度ＶＣの生成に適する関数（例えば、Tanh関数、または、シグモイド関数）が使用される。各層Ｌ１－Ｌｍは、重みやバイアスなどの種々の演算パラメータを有している。
プロセッサ１１０は、比較特徴情報Ｆｄを順番評価モデルＭ１（図７（Ａ））に入力することによって、確信度ＶＣを算出する。本実施例では、順番評価モデルＭ１は、ｍ個（ｍは２以上の整数）の層Ｌ１－Ｌｍを含んでいる。ｍ個の層Ｌ１－Ｌｍは、この順番に接続されている。各層Ｌ１－Ｌｍの構成は、入力されるデータの特徴を表す出力データを生成する種々の構成であってよい。例えば、Ｌ１からＬｋまでのｋ個の層（ｋは１以上、ｍ未満の整数）は、畳込層を含み、Ｌｋ＋１からＬｍまでのｍ－ｋ個の層は、全結合層を含んでよい。このような順番評価モデルＭ１は、畳込ニューラルネットワークとも呼ばれる。各層における入力データの次元数と出力データの次元数とは、種々に設定されてよい。各層の活性化関数は、ReLU（Rectified Linear Unit）など、種々の関数であってよい。なお、最終層Ｌｍの活性化関数としては、確信度ＶＣの生成に適する関数（例えば、Tanh関数、または、シグモイド関数）が使用される。各層Ｌ１－Ｌｍは、重みやバイアスなどの種々の演算パラメータを有している。
【0106】
Ａ３－３．順番評価モデルＭ１の生成処理：
図８は、順番評価モデルＭ１の生成処理の例を示すフローチャートである。生成処理は、複合機１００によって行われてよく、これに代えて、図示しないコンピュータによって行われてよい。以下、図示しないコンピュータによって順番評価モデルＭ１が生成されることとして、説明を行う。
図８は、順番評価モデルＭ１の生成処理の例を示すフローチャートである。生成処理は、複合機１００によって行われてよく、これに代えて、図示しないコンピュータによって行われてよい。以下、図示しないコンピュータによって順番評価モデルＭ１が生成されることとして、説明を行う。
【0107】
Ｓ９１０では、コンピュータは、複数の文書の複数のページデータを取得する。本実施例では、予め、複数の文書の複数のページを読取実行部（例えば、図１の読取実行部１７０）によって読み取ることによって、ページ毎のスキャンデータが生成される。複数のページのそれぞれのスキャンデータは、コンピュータの図示しない記憶装置に、格納される。コンピュータは、記憶装置から、スキャンデータを、ページデータとして、取得する。
【0108】
Ｓ９２０では、コンピュータは、各ページデータの特徴情報を取得する。特徴情報の取得方法は、図２のＳ１４０における取得方法と同じである。
【0109】
Ｓ９３０では、コンピュータは、訓練データを生成する。具体的には、コンピュータは、２個のページデータによって表される先ページと後ページとのペアを、訓練ペアとして使用する。コンピュータは、複数の訓練ペアのそれぞれに対して、先ページのページデータと後ページのページデータとを使用して比較特徴情報Ｆｄを算出する。比較特徴情報Ｆｄの算出方法は、Ｓ２００（図３）における比較特徴情報Ｆｄの算出方法と同じである。複数の訓練ペアは、予め決められてよく、コンピュータによってランダムに決定されてよい。
【0110】
コンピュータは、複数の訓練ペアのそれぞれに対して、正解確信度ＶＣｃを決定する。正解確信度ＶＣｃは、以下のように、決定される。
（１）訓練ペアの２枚のページが連続するページであり、かつ、後ページが先ページに続くべきページである：ＶＣｃ＝１
（２）その他の場合：ＶＣｃ＝０
その他の場合は、以下の場合を含んでいる。
（Ａ）訓練ペアの２枚のページが連続するページではない場合
（Ｂ）訓練ペアの２枚のページの順番が誤っている場合
（１）訓練ペアの２枚のページが連続するページであり、かつ、後ページが先ページに続くべきページである：ＶＣｃ＝１
（２）その他の場合：ＶＣｃ＝０
その他の場合は、以下の場合を含んでいる。
（Ａ）訓練ペアの２枚のページが連続するページではない場合
（Ｂ）訓練ペアの２枚のページの順番が誤っている場合
【0111】
訓練データは、同じ訓練ペアに対応付けられる入力データと正解データとを含んでいる。入力データは、比較特徴情報Ｆｄを表し、正解データは、正解確信度ＶＣｃを表している。コンピュータは、複数の訓練ペアを使用して、複数の訓練データを生成する。
【0112】
Ｓ９４０では、コンピュータは、Ｓ９３０で生成された複数の訓練データから、複数の訓練データで構成されるサブセットを取得する。サブセットとしては、未処理の訓練データが選択される。サブセットの訓練データの総数は、予め決められてよい。
【0113】
Ｓ９５０では、コンピュータは、サブセットの訓練データの入力データを順番評価モデルＭ１に入力することによって、確信度ＶＣを算出する。コンピュータは、順番評価モデルＭ１の各層Ｌ１－Ｌｍの演算パラメータを使用して各層Ｌ１－Ｌｍの演算を行うことによって、確信度ＶＣを算出する。確信度ＶＣの算出は、サブセットに含まれる訓練データ毎に行われる。
【0114】
Ｓ９６０では、コンピュータは、確信度ＶＣと正解確信度ＶＣｃとの複数の組み合わせを使用して、損失を算出する。損失は、確信度ＶＣと正解確信度ＶＣｃとの間の差を示す種々の値であってよい（例えば、平均二乗誤差、または、平均絶対誤差）。
【0115】
Ｓ９７０では、コンピュータは、損失が小さくなるように、順番評価モデルＭ１の複数の演算パラメータを調整する。調整のためのアルゴリズムとしては、例えば、誤差逆伝播法と勾配降下法とを使用するアルゴリズムが採用されてよい。ここで、いわゆるＡｄａｍの最適化が行われてよい。
【0116】
Ｓ９８０では、コンピュータは、終了条件が満たされるか否かを判断する。終了条件は、順番評価モデルＭ１が適切に訓練されたことを示す任意の条件であってよい。本実施例では、終了条件は、訓練に使用されていない所定数の訓練データを使用して算出される損失が、所定の損失閾値以下であることである。
【0117】
終了条件が満たされない場合（Ｓ９８０：Ｎｏ）、コンピュータは、Ｓ９４０へ移行し、新たなサブセットの処理を実行する。終了条件が満たされる場合（Ｓ９８０：Ｙｅｓ）、Ｓ９９０で、コンピュータは、訓練済の順番評価モデルＭ１のデータを、コンピュータの記憶装置に格納する。そして、コンピュータは、図８の生成処理を終了する。以上により、訓練済の順番評価モデルＭ１が生成される。
【0118】
順番評価モデルＭ１の訓練には、種々の文書が使用されてよい。例えば、互いに異なる日付を表す複数のページを有する文書が、使用されてよい。ここで、複数のページは、日付の昇順に並んでよい。この場合、訓練済の順番評価モデルＭ１は、日付の昇順に並ぶ先ページと後ページとを候補順番が示す場合には、大きい確信度ＶＣを算出し得る。このように、順番評価モデルＭ１の訓練に使用される文書は、先ページと後ページとの間の適切な関係を表す情報として、使用される。順番評価モデルＭ１の訓練に使用される文書を選択することによって、大きな確信度ＶＣのための先ページと後ページとの適切な関係を制御できる。
【0119】
以上のように、本実施例では、複合機１００は、文書のページの画像を処理する画像処理装置の例である。複合機１００のプロセッサ１１０は、以下の処理を実行する。Ｓ１３０（図２）では、プロセッサ１１０は、文書を表す入力データを取得する。Ｓ１１０では、プロセッサ１１０は、規則データを取得する。Ｓ２３０で説明したように、プロセッサ１１０は、規則データを使用して、入力データによって表される複数のページの順番を決定する（Ｓ２３０）。このように、Ｓ１１０で取得されるデータは、入力データによって表される文書をＮ枚（Ｎは２以上の整数）のページで表す場合のＮ枚のページの並ぶべき順番を規定する対象規則を表す規則データの例である。Ｓ２４０では、プロセッサ１１０は、規則順番に並ぶ複数のページを表す出力データを生成する。規則順番は、対象規則に基づくＮ枚のページの並ぶべき順番である。
【0120】
このように、Ｎ枚のページの並ぶべき順番である規則順番は、規則データによって表される対象規則に基づいている。従って、規則順番は、規則データによって柔軟に制御され得る。例えば、規則ページＰｒ（図４）のテーブルＴＢｒの第１参照情報Ｔａと第２参照情報Ｔｂとが入れ替わる場合、出力データによって表される複数のページ中では、第１参照情報Ｔａに対応付けられる論文のページと、第２参照情報Ｔｂに対応付けられる論文のページとが、入れ替わる。このように、規則順番の柔軟な制御が可能である。
【0121】
また、本実施例では、Ｓ２５０（図３）で、プロセッサ１１０は、出力データを出力する。これにより、出力データは、種々の処理に使用可能である。出力データの出力先は、印刷装置、表示装置、記憶装置、から任意に選択される１以上の装置を含んでよい。このように、出力データは、画像の印刷、画像の表示、データの保存、など、種々の用途に使用可能である。
【0122】
また、本実施例では、Ｓ１２０（図２）、図４で説明したように、複数のページの順番は、テキストＴａ－Ｔｄ（図４）の順番によって、規定される。テキストＴａ－Ｔｄは、対象規則を定める参照情報の例であり、対象規則は、複数の参照情報の順番を表している。プロセッサ１１０は、さらに、以下の処理を実行する。Ｓ１４０では、プロセッサ１１０は、入力データによって表されるＮ枚のページ（本実施例では、出力データによって表されるＮ枚のページと同じ）のそれぞれを解析することによって、Ｎ枚のページのそれぞれの特徴情報を取得する。Ｎ枚のページは、入力データによって表される複数の要素の例である。Ｓ１５０－Ｓ２３０では、プロセッサ１１０は、特徴情報に対応付けられる参照情報の順番を使用して、規則順番を決定する。この構成によれば、プロセッサ１１０は、参照情報の順番を使用して、適切な規則順番を決定できる。なお、プロセッサ１１０は、特徴情報と参照情報との対応関係を、Ｎ枚のページのＮ個の特徴情報のうち、ｑ個（ｑは１以上、Ｎ以下の整数）の特徴情報に対して、決定してよい。プロセッサ１１０は、Ｎ－ｑ枚の残りのページの順番を、他の条件を使用して、決定してよい。例えば、プロセッサ１１０は、比較特徴情報Ｆｄ（図４（Ａ）－図４（Ｃ））のように、２枚のページが連続すると仮定する場合の２枚のページの適切さを示す評価情報を使用して、Ｎ枚のページの順番を決定してよい。
【0123】
Ｂ．第２実施例：
図９は、画像処理の別の実施例のフローチャートの一部である。図２、図３の実施例との差違は、プロセッサ１１０が、目次のページを含む出力データを生成する点である。具体的には、図３のＳ２４０に代えて、図９のＳ２３２ｂ、Ｓ２４０ｂが実行される。画像処理の他の部分の処理は、図２、図３の対応する部分の処理と同じである（説明を省略する）。
図９は、画像処理の別の実施例のフローチャートの一部である。図２、図３の実施例との差違は、プロセッサ１１０が、目次のページを含む出力データを生成する点である。具体的には、図３のＳ２４０に代えて、図９のＳ２３２ｂ、Ｓ２４０ｂが実行される。画像処理の他の部分の処理は、図２、図３の対応する部分の処理と同じである（説明を省略する）。
【0124】
図１０（Ａ）－図１０（Ｄ）は、画像処理に使用される情報の例を示す図である。図１０（Ａ）は、規則データによって表されるテーブルの例を表している。テーブルＴＢｒｂは、索引語のリストを表している。本実施例では、数学の試験の過去問題を表す複数のページが処理される。テーブルＴＢｒｂの５個の行Ｒ１－Ｒ５のうち、第１行Ｒ１はヘッダを表している。４個の行Ｒ２－Ｒ５が、４個の索引語Ａｂ１－Ａｂ４をそれぞれ表している。各索引語Ａｂ１－Ａｂ４は、問題の分野を表すテキスト（図中の左側のテキスト）と、分野の略語を表すテキスト（図中の右側のテキスト）と、を含んでいる。これらの索引語Ａｂ１－Ａｂ４は、参照情報の例である。なお、索引語Ａｂ１－Ａｂ４のリストを表す規則データは、スキャンデータに代えて、表計算ソフトウェアのデータ、または、操作部１５０の操作によって入力されたデータであってよい。
【0125】
図１０（Ｂ）は、入力データによって表される複数のページの例を表している。入力データＩＤｂは、文書ＤＢａ、ＤＢｂの複数のページを表している。第１文書ＤＢａは、２０２１年の試験問題を表す４枚のページＰａ１－Ｐａ４を含み、第２文書ＤＢｂは、２０２３年の試験問題を表す４枚のページＰｂ１－Ｐｂ４を含んでいる。各ページを示すボックス中のテキストは、Ｓ１４０（図２）で検出されるテキストＴＸに含まれる文字列を表している。図示するように、テキストＴＸは、年と、分野の略語と、を含んでいる。年は、日付ＤＹとして検出される。
【0126】
図１０（Ｃ）は、出力データによって表される複数のページの例を表している。出力データＯＤｂは、索引語Ａｂ１－Ａｂ４にそれぞれ対応付けられるページグループＧＢ１－ＧＢ４を表している。ページグループＧＢ１－ＧＢ４の順番は、テーブルＴＢｒｂ（図１０（Ａ））によって表される索引語Ａｂ１－Ａｂ４の順番と、同じである。
【0127】
第１ページグループＧＢ１は、対応する索引語Ａｂ１（ここでは、略語）を含むページＰａ１、Ｐｂ１を含んでいる。第１ページグループＧＢ１内のページの順番は、日付ＤＹの昇順である。このような第１ページグループＧＢ１は、Ｓ１５０（図２）によるマッチングと、Ｓ２００－Ｓ２１０（図３）による未確定ページの追加と、によって形成され得る。他のページグループＧＢ２－ＧＢ４も、同様に、対応する索引語を含むページを含んでいる。そして、各グループＧＢ２－ＧＢ４内のページの順番は、日付ＤＹの昇順である。Ｓ２３０（図３）では、プロセッサ１１０は、規則順番を、このようなページ順番に決定する。
【0128】
Ｓ２３２ｂ（図９）では、プロセッサ１１０は、目次ページのデータを生成する。図１０（Ｄ）は、目次ページの例を表している。目次ページＰｐは、ページグループに対応付けられるキーワードＫと、ページグループの先頭ページ番号ＰＮｆと、の対応関係を表している。本実施例では、キーワードＫとして、各ページから検出される索引語（ここでは、略語）が使用される。先頭ページ番号ＰＮｆは、出力データＯＤｂ（図１０（Ｃ））によって表されるページ番号ＰＮｏを示している。後述するように、本実施例では、プロセッサ１１０は、出力データＯＤｂによって表される複数のページの先頭に、目次ページＰｐを配置する。従って、第１ページグループＧＢ１の先頭のページＰａ１のページ番号ＰＮｏは、１ではなく２である。他のページのページ番号ＰＮｏも、同様に、１ずつシフトする。
【0129】
【0130】
以上のように、本実施例では、Ｓ２４０ｂ（図９）で、プロセッサ１１０は、先頭に配置される目次ページＰｐと、規則順番に並ぶＮ枚のページ（ここでは、ページＰａ１－Ｐｂ４）と、を表す出力データを生成する。ユーザは、目次を参照することによって、規則順番に並ぶＮ枚のページを容易に参照できる。
【0131】
なお、目次ページＰｐは、規則順番に並ぶＮ枚のページのうちの一部の複数のページのページ番号ＰＮｏを表している。このような目次ページＰｐは、規則順番を表す第１種特定ページの例である。
【0132】
Ｃ．第３実施例：
図１１は、画像処理の別の実施例のフローチャートの一部である。図９の実施例との差違は、プロセッサ１１０が、規則順番を表すページを含む出力データを生成する点である。具体的には、Ｓ２４０ｂに代えて、Ｓ２３３ｃ、Ｓ２３４ｃ、Ｓ２４０ｃが実行される。これらの処理によって、後述する対応表のページが追加される。画像処理の他の部分の処理は、図２、図３、図９の対応する部分の処理と同じである（説明を省略する）。
図１１は、画像処理の別の実施例のフローチャートの一部である。図９の実施例との差違は、プロセッサ１１０が、規則順番を表すページを含む出力データを生成する点である。具体的には、Ｓ２４０ｂに代えて、Ｓ２３３ｃ、Ｓ２３４ｃ、Ｓ２４０ｃが実行される。これらの処理によって、後述する対応表のページが追加される。画像処理の他の部分の処理は、図２、図３、図９の対応する部分の処理と同じである（説明を省略する）。
【0133】
図１２（Ａ）－図１２（Ｅ）は、画像処理に使用される情報の例を示す図である。図１２（Ａ）は、規則データによって表されるテーブルの例を表している。図１０（Ａ）のテーブルＴＢｒｂとの差違は、索引語Ａｂ５を示す第６行Ｒ６がテーブルＴＢｒｃに追加されている点だけである。索引語Ａｂ５は、解答に関連している。
【0134】
図１２（Ｂ）は、入力データによって表される複数のページの例を表している。図１０（Ｂ）の入力データＩＤｂとの差違は、解答ページＰａ５、Ｐｂ５が文書ＤＣａ、ＤＣｂにそれぞれ追加されている点である。解答ページＰａ５、Ｐｂ５から検出されるテキストＴＸは、年と、分野の略語と、を含んでいる。
【0135】
図１２（Ｃ）は、出力データによって表される複数のページの例を表している。図１０（Ｃ）の出力データＯＤｂとの大きな差違は、最後の対応表ページＰｑ２が追加されている点である。出力データＯＤｃは、更に、目次ページＰｑ１と、索引語Ａｂ１－Ａｂ５にそれぞれ対応付けられるページグループＧＣ１－ＧＣ５と、を表している。ページグループＧＣ１－ＧＣ５の順番は、テーブルＴＢｒｃ（図１２（Ａ））によって示される索引語Ａｂ１－Ａｂ５の順番と、同じである。
【0136】
４個のページグループＧＣ１－ＧＣ４の構成は、図１０（Ｃ）の４個のページグループＧＢ１－ＧＢ４の構成と、それぞれ同じである。第５ページグループＧＣ５は、対応する索引語Ａｂ５（ここでは、略語）を含むページＰａ５、Ｐｂ５を含んでいる。ページＰａ５、Ｐｂ５の順番は、日付ＤＹの昇順である。
【0137】
図１２（Ｄ）は、目次ページＰｑ１の例を表している。図１０（Ｄ）の目次ページＰｐとの差違は、第５ページグループＧＣ５に関連する情報が追加されている点である。Ｓ２３２ｂ（図１１）では、プロセッサ１１０は、目次ページＰｑ１のデータを生成する。生成方法は、図９のＳ２３２ｂでの生成方法と同じである。
【0138】
Ｓ２３３ｃ（図１１）では、プロセッサ１１０は、元の文書に関連する元ページ情報を、ページ毎に取得する。本実施例では、プロセッサ１１０は、日付ＤＹと元の文書におけるページ番号ＰＮとを、ページ毎に取得する。
【0139】
Ｓ２３４ｃでは、プロセッサ１１０は、元ページ情報と、新たなページ番号ＰＮｏと、の対応関係を表す対応表ページを生成する。図１２（Ｅ）は、対応表ページの例を表している。対応表ページＰｑ２は、元ページ情報（ここでは、日付ＤＹとページ番号ＰＮ）と、新たなページ番号ＰＮｏと、の対応関係を表している。ユーザは、対応表ページＰｑ２を参照することによって、元の文書のページ番号と新たなページ番号との対応関係を、容易に理解できる。例えば、解答ページＰａ５、Ｐｂ５は、問題のページ番号とその問題の解答との対応関係を表し得る。ここで、ユーザは、対応表ページＰｑ２を参照することによって、問題の新たなページ番号と解答との対応関係を、容易に理解できる。
【0140】
Ｓ２４０ｃ（図１１）では、プロセッサ１１０は、先頭の目次ページＰｑ１と、規則順番に並ぶ複数のページと、最後の対応表ページＰｑ２と、を表す出力データを生成する。そして、プロセッサ１１０は、Ｓ２５０（図３）へ移行する。
【0141】
以上のように、本実施例では、Ｓ２４０ｃ（図１１）で、プロセッサ１１０は、対応表ページＰｑ２と、規則順番に並ぶＮ枚のページ（ここでは、ページＰａ１－Ｐｂ５）と、を表す出力データを生成する。対応表ページＰｑ２は、規則順番に並ぶＮ枚のページのページ番号ＰＮｏを表している。このような対応表ページＰｑ２は、規則順番を表す第１種特定ページの例である。
【0142】
元ページ情報は、ページ番号ＰＮのみで構成されてよい。例えば、日付ＤＹは、省略されてよい。元ページ情報は、ページ番号ＰＮに加えて、他の種々の情報（例えば、タイトルＴＬ）を含んでよい。対応表ページＰｑ２は、最後とは異なる他の位置（例えば、先頭）に配置されてよい。目次ページＰｑ１は、省略されてよい。
【0143】
Ｄ．第４実施例：
図１３は、画像処理の別の実施例のフローチャートの一部である。上記の各実施例との差違は、規則データによって表される参照情報と、ページの特徴情報とが、中間データによって表される中間情報を介して対応付けられる点である。以下、数学の試験の過去問題を表す複数のページが処理されることとして、説明を行う。
図１３は、画像処理の別の実施例のフローチャートの一部である。上記の各実施例との差違は、規則データによって表される参照情報と、ページの特徴情報とが、中間データによって表される中間情報を介して対応付けられる点である。以下、数学の試験の過去問題を表す複数のページが処理されることとして、説明を行う。
【0144】
Ｓ１１０、Ｓ１２０は、図２のＳ１１０、Ｓ１２０と、それぞれ同じである。図１４（Ａ）－図１４（Ｅ）は、画像処理に使用される情報の例を示す図である。図１４（Ａ）は、規則データによって表されるテーブルの例を表している。第１テーブルＴＢｄ１は、参照情報のリストを表している。第１行Ｒ１はヘッダを表している。４個の行Ｒ２－Ｒ５が、４個の参照情報Ｄｉ１－Ｄｉ４をそれぞれ表している。各参照情報Ｄｉ１－Ｄｉ４は、問題の分野を示すテキスト（図中の左側のテキスト）と、分野の詳細を示すテキスト（図中の右側のテキスト）と、を含んでいる。詳細は、複数のテキストを含み得る。なお、参照情報Ｄｉ１－Ｄｉ４のリストを表す規則データは、スキャンデータに代えて、表計算ソフトウェアのデータ、または、操作部１５０の操作によって入力されたデータであってよい。
【0145】
Ｓ１２６ｄ（図１３）では、プロセッサ１１０は、中間データを取得する。図１４（Ｂ）は、中間データによって表される情報の例を表している。本実施例では、中間データは、第２テーブルＴＢｄ２を表している。列Ｃ１－Ｃ３は、「年度」「問番号」「分野」を、それぞれ表している。第１行Ｒ１は、ヘッダ行である。８個の行Ｒ２－Ｒ９は、それぞれ、「年度」「問番号」「分野」の対応関係を表している。「分野」は、参照情報Ｄｉ１－Ｄｉ４（図１４（Ａ））の詳細に含まれるテキストを表している。「年度」と「問番号」とは、後述するように、ページの特徴情報に含まれるテキストを表している。このように、第２テーブルＴＢｄ２は、参照情報と特徴情報との対応関係を表している。第２テーブルＴＢｄ２は、中間情報の例である。
【0146】
Ｓ１２８ｄ（図１３）では、プロセッサ１１０は、中間データを解析して、参照情報と特徴情報との対応関係を決定する（中間対応関係と呼ぶ）。第２テーブルＴＢｄ２がスキャンデータによって表される場合、プロセッサ１１０は、Ｓ１２１、Ｓ１２２（図２）と同じ処理を、スキャンデータを使用して実行することによって、第２テーブルＴＢｄ２の８個の行Ｒ２－Ｒ９の８個の中間対応関係ＲＬ１－ＲＬ８を取得する。なお、中間データは、スキャンデータに代えて、表計算ソフトウェアのデータ、または、操作部１５０の操作によって入力されたデータであってよい。
【0147】
Ｓ１３０、Ｓ１４０（図１３）は、図２のＳ１３０、Ｓ１４０と、それぞれ同じである。図１４（Ｃ）は、入力データによって表される複数のページの例を表している。入力データＩＤｄは、文書ＤＤｒ、ＤＤｓの複数のページを表している。第１文書ＤＤｒは、２０２１年の試験問題を表す４枚のページＰｒ１－Ｐｒ４を含み、第２文書ＤＤｓは、２０２３年の試験問題を表す４枚のページＰｓ１－Ｐｓ４を含んでいる。各ページから検出されるテキストＴＸは、年と、問番号と、を含んでいる。年は、日付ＤＹとして検出される。
【0148】
Ｓ１５０ｄ（図１３）では、プロセッサ１１０は、参照情報と、中間対応関係を介して参照情報に対応付けられる特徴情報（ひいては、ページ）と、のマッチングを行う。マッチングの方法としては、種々の方法を採用可能である。例えば、プロセッサ１１０は、ページの特徴情報のうち、中間対応関係によって参照情報に対応付けられる情報を、対応する参照情報に置換する。例えば、ページＰｒ１（図１４（Ｃ））のテキストＴＸは、「２０２１年」と「第１問」を含む。「２０２１年」と「第１問」の組み合わせには、中間対応関係ＲＬ５（図１４（Ｂ））によって、「余弦」が対応付けられる。プロセッサ１１０は、ページＰｒ１のテキストＴＸのうち、中間対応関係ＲＬ６によって表される「第１問」を、対応する「余弦」に置換する。本実施例では、「問番号」が置換対象であることとする。そして、プロセッサ１１０は、変更済の特徴情報を使用して、Ｓ１５０（図２）で説明した優先順のマッチングを行う。これにより、プロセッサ１１０は、１個の参照情報に、１枚のページを対応付ける。
【0149】
Ｓ１５０ｄの後、プロセッサ１１０は、Ｓ１７０（図２）へ移行する。Ｓ１７０以降の処理は、上記の任意の実施例の対応する処理と同じであってよい。本実施例では、図９の実施例の処理が、採用されることとする。いずれの場合も、確信度の算出には、上述の変更済の特徴情報が使用されてよい。
【0150】
図１４（Ｄ）は、出力データによって表される複数のページの例を表している。出力データＯＤｄは、参照情報Ｄｉ１－Ｄｉ４（図１４（Ａ））にそれぞれ対応付けられるページグループＧＤ１－ＧＤ４を表している。ページグループＧＤ１－ＧＤ４の順番は、第１テーブルＴＢｄ１によって表される参照情報Ｄｉ１－Ｄｉ４の順番と、同じである。第１ページグループＧＤ１は、第１参照情報Ｄｉ１（ここでは、「正弦」または「余弦」）に中間対応関係ＲＬ１、ＲＬ５によって対応付けられる情報（ここでは、「２０２３年と第１問」または「２０２１年と第１問」）を含むページＰｒ１、Ｐｓ１を含んでいる。第１ページグループＧＤ１内のページの順番は、日付ＤＹの昇順である。このような第１ページグループＧＢ１は、Ｓ１５０ｄ（図１３）によるマッチングと、Ｓ２００－Ｓ２１０（図３）による未確定ページの追加と、によって形成され得る。他のページグループＧＤ２－ＧＤ４についても、同様である。また、先頭には、目次ページＰｄが配置される。
【0151】
以上のように、本実施例では、Ｓ１２６ｄ（図１３）で、プロセッサ１１０は、中間データを取得する。図１４（Ｂ）で説明したように、中間データは、参照情報と特徴情報との対応関係を表す中間対応関係ＲＬ１－ＲＬ８を定めている。Ｓ１５０ｄ（図１３）とＳ１７０－Ｓ２３０（図２、図３）とでは、プロセッサ１１０は、特徴情報に中間対応関係ＲＬ１－ＲＬ８を介して対応付けられる参照情報の順番に従って規則順番を決定する。このように、ユーザは、中間データを使用することによって、特徴情報と参照情報との対応関係を、柔軟に制御できる。
【0152】
Ｅ．第５実施例：
図１５は、画像処理の別の実施例のフローチャートである。本実施例では、規則データは、ページ毎のレイアウトを表している。プロセッサ１１０は、このレイアウトに従って、入力データによって表される要素を、割り付ける。
図１５は、画像処理の別の実施例のフローチャートである。本実施例では、規則データは、ページ毎のレイアウトを表している。プロセッサ１１０は、このレイアウトに従って、入力データによって表される要素を、割り付ける。
【0153】
Ｓ１１０ｅでは、プロセッサ１１０は、規則データを取得する。本実施例では、ユーザは、ページ毎のレイアウトを表す文書ページであるレイアウトページを、読取実行部１７０の配置部分に配置する。プロセッサ１１０は、読取実行部１７０にレイアウトページを読み取らせ、読取実行部１７０から、レイアウトページのスキャンデータを取得する。このスキャンデータは、規則データの例である。
【0154】
図１６（Ａ）－図１６（Ｃ）は、画像処理に使用される情報の例を示す図である。図１６（Ａ）は、レイアウトページの例を示している。本実施例では、規則データＤ５は、２枚のページＰ５１、Ｐ５２を表している。第１ページＰ５１は、２つの領域Ａ１１、Ａ１２を表している。領域Ａ１１、Ａ１２には、テキストＴＸ１１、ＴＸ１２が、それぞれ記されている。第２ページＰ５２は、２つの領域Ａ２１、Ａ２２を表している。領域Ａ２１、Ａ２２には、テキストＴＸ２１、ＴＸ２２が、それぞれ記されている。
【0155】
Ｓ１２０ｅ（図１５）では、プロセッサ１１０は、規則データを解析することによって、複数のページの複数の領域のそれぞれの参照情報を取得する。本実施例では、プロセッサ１１０は、Ｓ１２１、Ｓ１２２（図２）と同じ処理を、規則データを使用して実行する。これにより、プロセッサ１１０は、テキストＴＸ１１、ＴＸ１２、ＴＸ２１、ＴＸ２２の領域を検出し、ＯＣＲによって認識されたテキストを取得する。取得されるテキストは、参照情報の例である。
【0156】
Ｓ１３０ｅでは、プロセッサ１１０は、入力データを取得する。図１６（Ｂ）は、入力データの例を示している。入力データＩＤ５は、テキストデータＴＸ５ａ、ＴＸ５ｂと、画像データＩＭ５ａ、ＩＭ５ｂと、を含んでいる。テキストデータによって表される文章と、画像データによって表される画像とは、いずれも、文書の例である。
【0157】
本実施例では、ユーザは、データＴＸ５ａ、ＴＸ５ｂ、ＩＭ５ａ、ＩＭ５ｂを、予め準備する。ユーザは、準備したデータを、複合機１００に供給する。供給方法は、任意の方法であってよい。例えば、ユーザは、入力データＩＤ５を格納する記憶装置（例えば、ＵＳＢフラッシュドライブ）を、通信インタフェース１８０に接続する。プロセッサ１１０は、この記憶装置から、入力データＩＤ５を取得する。
【0158】
Ｓ１４２ｅ（図１５）では、プロセッサ１１０は、テキストデータＴＸ５ａ、ＴＸ５ｂ（図１６（Ｂ））を解析することによって、それぞれの要約文ＡＢａ、ＡＢｂを生成する。要約文の生成方法は、類似度ＳＭ４（図７（Ｃ））の算出で説明した要約文の生成方法と同じであってよい。
【0159】
Ｓ１４４ｅ（図１５）では、プロセッサ１１０は、画像データＩＭ５ａ、ＩＭ５ｂ（図１６（Ｂ））を解析することによって、それぞれのキャプションＣＰａ、ＣＰｂを生成する。キャプションの生成方法は、類似度ＳＭ５（図７（Ｃ））の算出で説明したキャプションの生成方法と同じであってよい。
【0160】
なお、要約文ＡＢａ、ＡＢｂとキャプションＣＰａ、ＣＰｂとは、入力データＩＤ５によって表される複数の要素ＴＸ５ａ、ＴＸ５ｂ、ＩＭ５ａ、ＩＭ５ｂのそれぞれの特徴情報の例である。
【0161】
Ｓ１５０ｅでは、プロセッサ１１０は、参照情報と特徴情報とのマッチングを行う。マッチングの方法は、種々の方法であってよい。本実施例では、参照情報と特徴情報とは、いずれも、テキストである。プロセッサ１１０は、テキストの類似度ＳＭ４（図７（Ｃ））と同様に、参照情報と特徴情報との類似度を算出する。プロセッサ１１０は、大きい類似度を示す参照情報と特徴情報とを、対応付ける。ここで、プロセッサ１１０は、類似度の大きい順番に、参照情報と特徴情報との対応関係を決定してよい。例えば、プロセッサ１１０は、参照情報と特徴情報との全ての組み合わせの類似度を算出する。プロセッサ１１０は、最大の類似度を示す参照情報と特徴情報とを対応付ける。プロセッサ１１０は、対応付けられた組み合わせを除いた残りの複数の組み合わせのうち、最大の類似度を示す参照情報と特徴情報とを対応付ける。プロセッサ１１０は、この処理を繰り返すことによって、参照情報と特徴情報との対応関係を決定できる。図１６（Ｂ）の例では、以下の対応関係が形成されている。
要約文ＡＢａ：テキストＴＸ１１
要約文ＡＢｂ：テキストＴＸ２１
キャプションＣＰａ：ＴＸ１２
キャプションＣＰｂ：ＴＸ２２
要約文ＡＢａ：テキストＴＸ１１
要約文ＡＢｂ：テキストＴＸ２１
キャプションＣＰａ：ＴＸ１２
キャプションＣＰｂ：ＴＸ２２
【0162】
Ｓ１６０ｅ（図１５）では、プロセッサ１１０は、入力データＩＤ５によって表される要素の特徴情報に対応付けられる参照情報に従って、要素を領域に割り付ける。図１６（Ｃ）は、要素が割り付けられたページＰ５１ｏ、Ｐ５２ｏの例を示している。ページＰ５１ｏ、Ｐ５２ｏは、図１６（Ａ）のページＰ５１、Ｐ５２に、それぞれ対応している。テキストデータＴＸ５ａ（図１６（Ｂ））の要約文ＡＢａには、テキストＴＸ１１が対応付けられる。従って、プロセッサ１１０は、テキストデータＴＸ５ａを、第１ページＰ５１ｏ（図１６（Ｃ））のテキストＴＸ１１に対応付けられる領域Ａ１１に割り付ける。他の要素ＴＸ５ｂ、ＩＭ５ａ、ＩＭ５ｂも、同様に、領域Ａ２１、Ａ１２、Ａ２２に、それぞれ割り付けられる。なお、要素は、対応する領域の外にはみ出ないように、割り付けられる。
【0163】
規則データＤ５（図１６（Ａ））によって表されるページＰ５１、Ｐ５２において、領域の範囲を決定する方法は、種々の方法であってよい。例えば、規則データＤ５は、複数の領域を、互いに異なる色で表してよい。プロセッサ１１０は、テキストＴＸ１１に連続する領域であって、同じ色の領域を、テキストＴＸ１１に対応付けられる領域Ａ１１として採用してよい。これに代えて、規則データＤ５は、複数の領域を区切る線を表してよい。プロセッサ１１０は、テキストＴＸ１１を含む領域であって、線で囲まれる最小領域を、テキストＴＸ１１に対応付けられる領域Ａ１１として採用してよい。他の参照情報に対応付けられる領域も、領域Ａ１１の決定方法と同じ方法で決定される。
【0164】
このように、Ｓ１６０ｅの割り付け処理によって、入力データによって表される文書（ここでは、複数の要素ＴＸ５ａ、ＴＸ５ｂ、ＩＭ５ａ、ＩＭ５ｂ）をＮ枚（ここでは、Ｎ＝２）のページで表す場合のＮ枚のページＰ５１ｏ、Ｐ５２ｏの並ぶべき規則順番が決定される。
【0165】
Ｓ２４０ｅ（図１５）では、プロセッサ１１０は、規則順番に並ぶ複数のページを表す出力データを生成する。生成される出力データは、Ｓ１６０ｅで割り付けられた要素を表す複数のページ（例えば、ページＰ５１ｏ、Ｐ５２ｏ（図１６（Ｃ）））を表している。
【0166】
Ｓ２５０では、プロセッサ１１０は、出力データを出力する。Ｓ２５０の処理は、図３のＳ２５０の処理と同じである。そして、プロセッサ１１０は、画像処理を終了する。
【0167】
以上のように、本実施例では、規則データＤ５（図１６（Ａ））は、Ｎ枚のページのそれぞれにおけるレイアウトを表している。本実施例では、レイアウトは、Ｎ枚のページのそれぞれにおける１以上の領域（ここでは、領域Ａ１１、Ａ１２、Ａ２１、Ａ２２）の配置を表している。そして、Ｓ１６０ｅでは、プロセッサ１１０は、入力データＩＤ５によって表される複数の要素ＴＸ５ａ、ＴＸ５ｂ、ＩＭ５ａ、ＩＭ５ｂを、規則データＤ５によって表されるレイアウトを使用して、割り付ける。これにより、規則順番が決定される。ユーザは、規則データによって表されるレイアウトを使用することによって、入力データによって表される複数の要素をＮ枚のページで表す場合のＮ枚のページの並ぶべき順番を、柔軟に制御できる。
【0168】
なお、レイアウトによって定められる領域と、入力データによって表される要素と、の対応関係を決定する方法は、領域の参照情報と要素の特徴情報とのマッチングを行う方法に限らず、他の種々の方法であってよい。
【0169】
Ｆ．第６実施例：
図１７は、画像処理の別の実施例のフローチャートである。本実施例では、大きいサイズの文書（例えば新聞紙）のページが、読取実行部１７０によって、分割して読み取られる。そして、複数の画像が合成されて、１枚のページが形成される。
図１７は、画像処理の別の実施例のフローチャートである。本実施例では、大きいサイズの文書（例えば新聞紙）のページが、読取実行部１７０によって、分割して読み取られる。そして、複数の画像が合成されて、１枚のページが形成される。
【0170】
Ｓ１１０ｆでは、プロセッサ１１０は、規則データを取得する。本実施例では、規則データは、ページ毎の参照情報を表している。図１８（Ａ）－図１８（Ｄ）は、画像処理に使用される情報の例を示す図である。図１８（Ａ）は、規則データＤ６の例を示している。規則データＤ６は、ページＰ１、Ｐ２と参照情報Ｄ６１、Ｄ６２との対応関係を表している。ユーザは、操作部１５０（図１）を操作することによって、各ページの参照情報（例えば、新聞紙の名前）を入力する。プロセッサ１１０は、操作部１５０からの情報を使用して、規則データＤ６を取得する。
【0171】
Ｓ１３０ｆ（図１７）では、プロセッサ１１０は、入力データを取得する。本実施例では、ユーザは、新聞紙のページを、読取実行部１７０に読み取らせる。図１８（Ｂ）は、読み取られるページの例を示している。第１ページＤＰ１と、第２ページＤＰ２とが、読み取られる。ユーザは、各ページＤＰ１、ＤＰ２を、一部分ずつ分けて、読取実行部１７０に読み取らせる。プロセッサ１１０は、読取実行部１７０から、読み取られた複数の部分を表すスキャンデータを取得する。このスキャンデータは、入力データの例である。
【0172】
図１８（Ｃ）は、入力データによって表される画像の例を示している。入力データＩＤ６は、４個の部分画像ＳＰ１１、ＳＰ１２、ＳＰ２１、ＳＰ２２を表している。部分画像ＳＰ１１、ＳＰ１２は、第１ページＤＰ１の互いに異なる部分を表し、部分画像ＳＰ２１、ＳＰ２２は、第２ページＤＰ２の互いに異なる部分を表している。なお、部分画像ＳＰ１１、ＳＰ１２は、共通部分ＯＶ１を含み、部分画像ＳＰ２１、ＳＰ２２は、共通部分ＯＶ２を含んでいる。
【0173】
Ｓ１４０ｆ（図１７）では、プロセッサ１１０は、各部分画像を解析することによって、部分画像毎の特徴情報を取得する。特徴情報の取得方法は、図２のＳ１４０における取得方法と同じである。第１ページＤＰ１を表す部分画像ＳＰ１１、ＳＰ１２からは、第１ページＤＰ１の新聞紙の名前を含む特徴情報Ｆ１１、Ｆ１２が、それぞれ取得され得る。第２ページＤＰ２を表す部分画像ＳＰ２１、ＳＰ２２からは、第２ページＤＰ２の新聞紙の名前を含む特徴情報Ｆ２１、Ｆ２２が、それぞれ取得され得る。
【0174】
Ｓ１５０ｆでは、プロセッサ１１０は、参照情報と特徴情報とのマッチングを行う。マッチングの方法は、種々の方法であってよい。本実施例では、特徴情報は、参照情報（例えば、新聞紙の名前）を含むテキストを含み得る。プロセッサ１１０は、参照情報と、その参照情報を含む特徴情報とを、対応付ける。例えば、部分画像ＳＰ１１、ＳＰ１２の特徴情報Ｆ１１、Ｆ１２は、第１参照情報Ｄ６１に対応付けられ、部分画像ＳＰ２１、ＳＰ２２の特徴情報Ｆ２１、Ｆ２２は、第２参照情報Ｄ６２に対応付けられる。
【0175】
Ｓ１５２ｆでは、プロセッサ１１０は、共通部分を有する複数の部分画像を合成することによって、合成画像のデータを生成する。合成方法は、種々の方法であってよい。例えば、プロセッサ１１０は、同じ参照情報に対応付けられる複数の部分画像を解析することによって、共通部分を検出する。そして、プロセッサ１１０は、共通部分が重なるように、複数の部分画像を合成する。共通部分の検出方法は、種々の方法であってよい。例えば、プロセッサ１１０は、各部分画像を複数のブロックに分割する。プロセッサ１１０は、１つの部分画像から選択されるブロックと、他の部分画像から選択されるブロックと、を比べるテンプレートマッチングによって、同じ画像を表すブロックペア（すなわち、共通部分）を検出する。合成のための２枚の部分画像の間の相対的な位置関係を決定する方法は、種々の方法であってよい。例えば、テンプレートマッチング、または、キーポイントマッチングによって、相対的な位置が決定されてよい。
【0176】
図１８（Ｄ）は、合成画像の例を示している。第１合成画像ＯＰ１は、部分画像ＳＰ１１、ＳＰ１２の合成画像であり、第１ページＤＰ１を表している。第２合成画像ＯＰ２は、部分画像ＳＰ２１、ＳＰ２２の合成画像であり、第２ページＤＰ２を表している。
【0177】
Ｓ１６０ｆ（図１７）では、プロセッサ１１０は、参照情報の順番に従って、合成画像の順番である規則順番を決定する。本実施例では、合成画像には、元の部分画像の特徴情報が、対応付けられることとする。プロセッサ１１０は、合成画像の特徴情報に対応付けられる参照情報の順番に従って、合成画像の順番を決定する。第１合成画像ＯＰ１の順番は、特徴情報Ｆ１１、Ｆ１２に対応付けられる第１参照情報Ｄ６１の順番（第１ページＰ１）に決定される。第２合成画像ＯＰ２の順番は、特徴情報Ｆ２１、Ｆ２２に対応付けられる第２参照情報Ｄ６２の順番（第２ページＰ２）に決定される。
【0178】
Ｓ２４０ｆ（図１７）では、プロセッサ１１０は、規則順番に並ぶ複数のページを表す出力データを生成する。生成される出力データは、Ｓ１５２ｆで合成される複数の合成画像（例えば、合成画像ＯＰ１、ＯＰ２（図１８（Ｄ）））を表している。
【0179】
Ｓ２５０では、プロセッサ１１０は、出力データを出力する。Ｓ２５０の処理は、図３のＳ２５０の処理と同じである。そして、プロセッサ１１０は、画像処理を終了する。
【0180】
以上のように、本実施例では、プロセッサ１１０は、入力データによって表される複数の画像を合成することによって合成画像を生成する。そして、プロセッサ１１０は、合成画像に対応付けられる特徴情報に対応付けられる参照情報の順番を使用して、規則順番を決定する。この構成によれば、プロセッサ１１０は、１枚の文書ページが、入力データの１枚の画像では表すことができないほどに大きい場合であっても、参照情報の順番を使用して、適切な規則順番を決定できる。
【0181】
なお、画像の合成（Ｓ１５２ｆ）は、特徴情報の取得（Ｓ１４０ｆ）よりも前に行われよい。そして、プロセッサ１１０は、合成画像を解析することによって、特徴情報を取得してよい。画像の合成のためには、プロセッサ１１０は、複数の部分画像の種々の組み合わせを使用して、共通部分を検出してよい。また、プロセッサ１１０は、共通部分を有するか否かに拘わらずに、２枚の部分画像の間の文章の繋がりやすさが良好である場合（例えば、２枚の部分画像から算出される評価値Ｖ１２（図７）が所定の閾値以上である場合）、２枚の部分画像を合成してよい。
【0182】
Ｇ．第７実施例：
図１９（Ａ）、図１９（Ｂ）は、画像処理の別の実施例を示す図である。本実施例では、テンプレートに従って、特徴情報が取得される。図１９（Ａ）は、本実施例の画像処理のフローチャートの一部を示している。図中のＳ１４０ｇは、上記の各実施例のＳ１４０の代わりに実行されてよい。Ｓ１４０ｇは、例えば、Ｓ１３０に続いてよい。Ｓ１４０ｇには、例えば、Ｓ１５０、Ｓ１５０ｄのいずれかが続いてよい。
図１９（Ａ）、図１９（Ｂ）は、画像処理の別の実施例を示す図である。本実施例では、テンプレートに従って、特徴情報が取得される。図１９（Ａ）は、本実施例の画像処理のフローチャートの一部を示している。図中のＳ１４０ｇは、上記の各実施例のＳ１４０の代わりに実行されてよい。Ｓ１４０ｇは、例えば、Ｓ１３０に続いてよい。Ｓ１４０ｇには、例えば、Ｓ１５０、Ｓ１５０ｄのいずれかが続いてよい。
【0183】
Ｓ１４０ｇでは、プロセッサ１１０は、入力データによって表されるページのうち、テンプレートによって表される領域を解析することによって、特徴情報を取得する。図１９（Ｂ）は、テンプレートの例を示している。テンプレートＴＰ１は、４個の領域ＴＡ１－ＴＡ４を表している。これらの領域ＴＡ１－ＴＡ４は、「タイトル」、「著者名」、「本文」、「ページ番号」に、それぞれ対応付けられている。本実施例では、入力データによって表されるページ内のレイアウトが、予め決められていることとする。そして、テンプレートＴＰ１は、このレイアウトを示していることとする。
【0184】
プロセッサ１１０は、入力データによって表されるページの第１領域ＴＡ１を解析（例えば、ＯＣＲ）することによって、タイトルを取得する。同様に、プロセッサ１１０は、領域ＴＡ２、ＴＡ３、ＴＡ４を解析することによって、著者名、テキスト、ページ番号を、それぞれ取得する。
【0185】
このように、本実施例では、ページ内の特徴情報を表す領域が、テンプレートによって定められている。そして、プロセッサ１１０は、入力データによって表されるページのうち、テンプレートによって表される領域を解析することによって、特徴情報を取得する。従って、プロセッサ１１０は、特徴情報を、適切に、取得できる。
【0186】
本実施例では、テンプレートＴＰ１のデータは、ユーザによって、準備される。テンプレートＴＰ１のデータ形式は、任意のデータ形式であってよい。また、テンプレートＴＰ１のデータの準備方法は、任意の方法であってよい。例えば、ユーザは、テンプレートＴＰ１を表す文書ページであるテンプレートページを、読取実行部１７０に読み取らせてよい。プロセッサ１１０は、テンプレートページのスキャンデータを解析することによって、テンプレートＴＰ１のデータを取得してよい。テンプレートページは、図１６（Ａ）で説明したレイアウトページと同様に、色、または、囲み線によって、各領域ＴＡ１－ＴＡ４を表してよい。また、テンプレートページは、図１６（Ａ）のテキストＴＸ１１のように、領域の種類を示すテキスト（例えば、「タイトル」、「著者名」など）を、表してよい。プロセッサ１１０は、テンプレートページのスキャンデータを解析することによって、各領域の範囲と種類とを取得可能である。
【0187】
Ｈ．第８実施例：
図２０は、画像処理の別の実施例のフローチャートの一部である。本実施例では、入力データによって表される複数のページの並ぶ順番である入力順番が規則順番と異なる場合に、プロセッサ１１０は、入力順番が規則順番と異なることをユーザに報知する。報知のためのＳ３１０は、本明細書の種々の実施例に適用可能である。Ｓ３１０は、例えば、Ｓ２３０、Ｓ１６０ｅ、Ｓ１６０ｆのいずれかに続いてよい。Ｓ３１０には、例えば、Ｓ２４０、Ｓ２３２ｂ、Ｓ２４０ｅ、Ｓ２４０ｆのいずれかが続いてよい。また、プロセッサ１１０は、Ｓ３１０の終了に応じて、画像処理を終了してよい。すなわち、出力データの生成と出力データの出力とは、省略されてよい。
図２０は、画像処理の別の実施例のフローチャートの一部である。本実施例では、入力データによって表される複数のページの並ぶ順番である入力順番が規則順番と異なる場合に、プロセッサ１１０は、入力順番が規則順番と異なることをユーザに報知する。報知のためのＳ３１０は、本明細書の種々の実施例に適用可能である。Ｓ３１０は、例えば、Ｓ２３０、Ｓ１６０ｅ、Ｓ１６０ｆのいずれかに続いてよい。Ｓ３１０には、例えば、Ｓ２４０、Ｓ２３２ｂ、Ｓ２４０ｅ、Ｓ２４０ｆのいずれかが続いてよい。また、プロセッサ１１０は、Ｓ３１０の終了に応じて、画像処理を終了してよい。すなわち、出力データの生成と出力データの出力とは、省略されてよい。
【0188】
Ｓ３１０は、Ｓ３１２、Ｓ３１４、Ｓ３１６を含んでいる。Ｓ３１２では、プロセッサ１１０は、入力データによって表される複数のページの順番である入力順番を取得する。例えば、図５（Ａ）の実施例のように、複数の文書ページが１枚ずつ順番に読取実行部１７０によって読み取られる場合、入力順番は、読み取り順番と同じである。
【0189】
Ｓ３１４では、プロセッサ１１０は、入力順番が規則順番と同じであるか否かを判断する。入力順番が規則順番と異なる場合（Ｓ３１４：Ｎｏ）、Ｓ３１６で、プロセッサ１１０は、入力順番が規則順番と異なることをユーザに報知する。報知の方法は、任意の方法であってよい。プロセッサ１１０は、表示部１４０にメッセージを表示してよい。また、プロセッサ１１０は、図示しないブザー、または、スピーカから、音を出力してよい。Ｓ３１６の後、プロセッサ１１０は、Ｓ３１０を終了する。入力順番＝規則順番である場合（Ｓ３１４：Ｙｅｓ）、プロセッサ１１０は、Ｓ３１６をスキップして、Ｓ３１０を終了する。
【0190】
このように、本実施例では、プロセッサ１１０は、入力順番が規則順番と異なる場合（Ｓ３１４：Ｎｏ）、報知処理（Ｓ３１６）を実行する。従って、ユーザは、入力順番と規則順番との一方、または、両方の誤りの可能性に、容易に気づくことができる。
【0191】
Ｉ．第９実施例：
図２１（Ａ）、図２１（Ｂ）は、画像処理の別の実施例を示す図である。本実施例では、プロセッサ１１０は、Ｎ枚のページの並ぶ順番の変更をユーザに許容する。図２１（Ａ）は、画像処理のフローチャートの一部（Ｓ３２０）を示している。順番の変更のためのＳ３２０は、本明細書の種々の実施例に適用可能である。Ｓ３２０は、例えば、Ｓ２３０、Ｓ１６０ｅ、Ｓ１６０ｆ、Ｓ３１０のいずれかに続いてよい。Ｓ３２０には、例えば、Ｓ２４０、Ｓ２３２ｂ、Ｓ２４０ｅ、Ｓ２４０ｆのいずれかが続いてよい。
図２１（Ａ）、図２１（Ｂ）は、画像処理の別の実施例を示す図である。本実施例では、プロセッサ１１０は、Ｎ枚のページの並ぶ順番の変更をユーザに許容する。図２１（Ａ）は、画像処理のフローチャートの一部（Ｓ３２０）を示している。順番の変更のためのＳ３２０は、本明細書の種々の実施例に適用可能である。Ｓ３２０は、例えば、Ｓ２３０、Ｓ１６０ｅ、Ｓ１６０ｆ、Ｓ３１０のいずれかに続いてよい。Ｓ３２０には、例えば、Ｓ２４０、Ｓ２３２ｂ、Ｓ２４０ｅ、Ｓ２４０ｆのいずれかが続いてよい。
【0192】
Ｓ３２０は、Ｓ３２２、Ｓ３２４を含んでいる。Ｓ３２２では、プロセッサ１１０は、変更画面を表示部１４０に表示する。図２１（Ｂ）は、変更画面の例を示している。変更画面ＳＣｉは、規則順番領域ＰＬｉ１を表している。規則順番領域ＰＬｉ１は、各ページのサムネイルとページ番号とを表している。ユーザは、操作部１５０を操作することによって、ページの順番を変更可能である。変更画面ＳＣｉは、さらに、変更済順番領域ＰＬｉ２を表している。変更済順番領域ＰＬｉ２は、変更済の複数のページの順番を表している。変更済順番領域ＰＬｉ２は、各ページのサムネイルとページ番号とを表している。
【0193】
変更画面ＳＣｉは、完了ボタンＢＴｉを含んでいる。ユーザは、操作部１５０を介して完了ボタンＢＴｉを操作することによって、順番の変更の完了指示を入力できる。Ｓ３２４（図２１（Ａ））では、プロセッサ１１０は、ユーザの完了指示に応じて、ページの順番を変更する。以後、プロセッサ１１０は、変更済の順番に従って、処理を実行する。例えば、Ｓ２４０（図２）で生成される出力データは、変更済の順番に並ぶ複数のページを、表している。
【0194】
以上のように、本実施例では、プロセッサ１１０は、Ｓ３１０で、Ｎ枚のページの並ぶ順番の規則順番からの変更をユーザに許容する。順番が変更される場合、Ｓ２４０（図３）、Ｓ２４０ｂ（図９）、Ｓ２４０ｃ（図１１）、Ｓ２４０ｅ（図１５）、Ｓ２４０ｆ（図１７）では、プロセッサ１１０は、規則順番に代えて、変更済の順番に並ぶＮ枚のページを表す出力データを生成する（特定出力データとも呼ぶ）。Ｓ２５０では、プロセッサ１１０は、特定出力データを出力する。このように、規則順番がユーザの要望に適していない場合であっても、プロセッサ１１０は、ユーザの要望に適する順番に並ぶＮ枚のページを表す特定出力データを生成できる。
【0195】
Ｊ．第１０実施例：
図２２（Ａ）、図２２（Ｂ）は、画像処理の別の実施例を示す図である。本実施例では、プロセッサ１１０は、規則データが複数の規則を表す場合に、複数の規則からの対象規則の選択をユーザに許容する。例えば、図４の規則ページＰｒは、「タイトル（第４列Ｃ４）」に加えて、「区分（第２列Ｃ２）」と「テーマ（第３列Ｃ３）」とを表している。「区分」と「テーマ」も、対象規則として使用可能である。規則データが複数の規則を表す場合に、複数の規則から１つの規則を選択するようにプログラムＰＧ１を構成することが、難しい場合がある。そこで、本実施例では、ユーザが、規則を選択できる。
図２２（Ａ）、図２２（Ｂ）は、画像処理の別の実施例を示す図である。本実施例では、プロセッサ１１０は、規則データが複数の規則を表す場合に、複数の規則からの対象規則の選択をユーザに許容する。例えば、図４の規則ページＰｒは、「タイトル（第４列Ｃ４）」に加えて、「区分（第２列Ｃ２）」と「テーマ（第３列Ｃ３）」とを表している。「区分」と「テーマ」も、対象規則として使用可能である。規則データが複数の規則を表す場合に、複数の規則から１つの規則を選択するようにプログラムＰＧ１を構成することが、難しい場合がある。そこで、本実施例では、ユーザが、規則を選択できる。
【0196】
図２２（Ａ）は、画像処理のフローチャートの一部（Ｓ１２０ｊ）を示している。規則の選択のためのＳ１２０ｊは、本明細書の種々の実施例に適用可能である。Ｓ１２０ｊは、例えば、Ｓ１１０と、Ｓ１３０と、の間に実行されてよい。
【0197】
【0198】
Ｓ１２２ｊでは、プロセッサ１１０は、図２のＳ１２２と同様に、各セルの情報（ここでは、テキスト）と行位置と列位置とを取得する。プロセッサ１１０は、複数の列のそれぞれを、規則を表す列として採用する。ここで、プロセッサ１１０は、所定のキーワードを含むヘッダに対応付けられる列を、選択してよい。キーワードは、「区分」「テーマ」「タイトル」を含んでよい。以下、３個の列Ｃ２、Ｃ３、Ｃ４（図４）が、規則を表す列として選択されることとする。プロセッサ１１０は、列Ｃ２、Ｃ３、Ｃ４毎に、複数のセルのテキスト（すなわち、参照情報）とそれらの順番とを取得する。
【0199】
Ｓ１２３ｊでは、プロセッサ１１０は、選択画面を表示部１４０に表示する。図２２（Ｂ）は、選択画面の例を示している。選択画面ＳＣｊは、複数の候補規則ＣＲ１、ＣＲ２、ＣＲ３と、１つの規則を選択するためのラジオボタンＲＢと、を表している。各候補規則ＣＲ１、ＣＲ２、ＣＲ３は、規則の順番に並ぶ複数の参照情報を表している。ユーザは、操作部１５０を介してラジオボタンＲＢを操作することによって、複数の候補規則ＣＲ１－ＣＲ３から１つの規則を選択できる。
【0200】
選択画面ＳＣｊは、完了ボタンＢＴｋを含んでいる。ユーザは、操作部１５０を介して完了ボタンＢＴｊを操作することによって、規則の選択の完了指示を入力できる。Ｓ１２３ｊでは、プロセッサ１１０は、ユーザの完了指示に応じて、ユーザによって選択された規則を、対象規則として採用する。以後、プロセッサ１１０は、選択された対象規則に従って、処理を実行する。
【0201】
以上のように、本実施例では、プロセッサ１１０は、Ｓ１２３ｊで、複数の規則からの対象規則の選択をユーザに許容する。従って、プロセッサ１１０は、ユーザの要望に適する対象規則に基づく規則順番に従って、画像処理を実行できる。
【0202】
Ｋ．第１１実施例：
図２３（Ａ）－図２３（Ｄ）は、画像処理の別の実施例を示す図である。本実施例では、プロセッサ１１０は、出力データに対応付けられる情報（ファイル名等）に、規則データによって表される情報を設定する。図２３（Ａ）は、画像処理のフローチャートの一部（Ｓ３３０）を示している。設定のためのＳ３３０は、本明細書の種々の実施例に適用可能である。Ｓ３３０は、例えば、Ｓ２４０、Ｓ２４０ｂ、Ｓ２４０ｃ、Ｓ２４０ｅ、Ｓ２４０ｆのいずれかに続いてよい。Ｓ３３０には、例えば、Ｓ２５０が続いてよい。
図２３（Ａ）－図２３（Ｄ）は、画像処理の別の実施例を示す図である。本実施例では、プロセッサ１１０は、出力データに対応付けられる情報（ファイル名等）に、規則データによって表される情報を設定する。図２３（Ａ）は、画像処理のフローチャートの一部（Ｓ３３０）を示している。設定のためのＳ３３０は、本明細書の種々の実施例に適用可能である。Ｓ３３０は、例えば、Ｓ２４０、Ｓ２４０ｂ、Ｓ２４０ｃ、Ｓ２４０ｅ、Ｓ２４０ｆのいずれかに続いてよい。Ｓ３３０には、例えば、Ｓ２５０が続いてよい。
【0203】
以下、対象規則が、図４のテーブルＴＢｒの第４列Ｃ４によって定められることとして、説明を行う。Ｓ３３０では、プロセッサ１１０は、出力データに対応付けられる対象要素に設定すべき参照情報を決定する。対象要素は、出力データに対応付けられる任意の要素であってよい。出力データが、データファイル（単にファイルとも呼ぶ）を形成する場合、対象要素は、ファイル名と、ファイルを格納するディレクトリのディレクトリ名と、を含んでよい。
【0204】
図２３（Ｂ）は、出力データの例を示している。図中には、ファイルを含むディレクトリ構成が示されている。出力データＯＤｋ１は、参照情報毎のファイルＦＤ１－ＦＤ４を含んでいる。ファイルＦＤ１－ＦＤ４の名前は、ファイル番号ＦＮｎと、文書名ＦＮｄと、を含んでいる。ファイル番号ＦＮｎは、ファイルに対応付けられる参照情報の順番を表している。文書名ＦＮｄは、ファイルに対応付けられる参照情報を表している。ユーザは、ファイル名を参照することによって、ファイルの順番と参照情報とを容易に知ることができる。
【0205】
また、図２３（Ｂ）に示すように、各ファイルＦＤ１－ＦＤ４は、特定のディレクトリＦＤＮの下に配置されてよい。ディレクトリ名は、ファイルに対応付けられる種々の名前であってよい。本実施例では、プロセッサ１１０は、テーブルＴＢｒ（図４）を解析し、所定のキーワード（ここでは「区分」）を含むヘッダに対応付けられる列（ここでは、第２列Ｃ２）から、ディレクトリ名を取得する。例えば、第２行Ｒ２の参照情報Ｔａに対応付けられるファイルＦＤ１は、同じ行Ｒ２のディレクトリ名ＤＩａ（ここでは、「システム」）を有するディレクトリの下に配置される。他のファイルについても、同様である。ユーザは、ディレクトリＦＤＮの名前を参照することによって、ファイルの属性（ここでは、区分）を容易に知ることができる。なお、複数のファイルＦＤ１－ＦＤ４は、同じディレクトリに格納されてよい。
【0206】
図２３（Ｃ）は、出力データの別の例を示している。出力データＯＤｋ２は、１個のファイルを形成する。出力データＯＤｋ２は、複数のページＰｋのデータに加えて、タイトルＴｋ１のデータを含んでいる。タイトルＴｋ１は、出力データＯＤｋ２に対応付けられるプロパティの例である。タイトルＴｋ１は、規則データによって表される種々の情報を含んでよい。例えば、タイトルＴｋ１は、出力データＯＤｋ２に対応付けられる複数の参照情報を含んでよい。
【0207】
図２３（Ｄ）は、出力データの別の例を示している。出力データＯＤｋ２（図２３（Ｃ）との差違は、出力データＯＤｋ３のページＰｋ毎のプロパティＰＰが設定される点である。プロパティＰＰは、規則データによって表される種々の情報を含んでよい。例えば、ページ毎のプロパティＰＰは、ページに対応付けられる参照情報を含んでよい。ページ毎のプロパティＰＰは、さらに、ページから検出されるテキストＴＸの要約文を含んでよい。なお、タイトルＴｋ１は、参照情報に代えて、他の種々の情報を含んでよい（例えば、規則ページＰｒ（図４）から検出されるタイトル（ここでは、第２タイトルＴＬｒ２））。
【0208】
Ｓ３３０（図２３（Ａ））では、プロセッサ１１０は、対象要素に設定すべき対象情報を決定する。そして、プロセッサ１１０は、Ｓ３３０、または、Ｓ３３０に続くＳ２５０で、対象要素に対象情報を設定する。例えば、Ｓ３３０で、プロセッサ１１０は、ディレクトリ構成を決定する（図２３（Ｂ））。続くＳ２５０で、プロセッサ１１０は、決定したディレクトリ構成に従って、出力データ（すなわち、ファイル）を記憶装置（例えば、不揮発性記憶装置１３０）に格納する。また、Ｓ３３０で、プロセッサ１１０は、出力データを編集する（図２３（Ｃ）、図２３（Ｄ））。続くＳ２５０では、プロセッサ１１０は、編集済の出力データを、記憶装置（例えば、不揮発性記憶装置１３０）に格納する。いずれの場合も、ユーザは、出力データを参照することによって、ファイルの参照情報を容易に知ることができる。なお、出力データのデータ形式は、ＰＤＦであってよい。この場合、ページ毎のプロパティＰＰは、しおりであってよい。
【0209】
また、図２３（Ｂ）に示すように、出力データは、複数のファイルを含んでよい。この場合、ファイル番号ＦＮｎのように、各ファイルには、ファイルの参照順番が設定されることが好ましい。参照順番でファイルを参照することによって、複数のページが規則順番に並ぶ場合、複数のファイルを含む出力データは、規則順番に並ぶ複数のページを表している。
【0210】
なお、Ｓ３３０で設定される対象要素は、出力データに対応付けられるファイル名とディレクトリ名とプロパティとタイトルとから任意に選択される１以上の要素であってよい。また、対象要素には、規則データによって表される１以上の情報が、設定されてよい。
【0211】
Ｌ．第１２実施例：
図２４（Ａ）、図２４（Ｂ）は、画像処理の別の実施例を示す図である。本実施例では、プロセッサ１１０は、対象規則を表す参照ページを含む出力データを生成する。図２４（Ａ）は、画像処理のフローチャートの一部（Ｓ２３２Ｌ、Ｓ２４０Ｌ）を示している。参照ページを含む出力データの生成のためのＳ２３２Ｌ、Ｓ２４０Ｌは、本明細書の種々の実施例に適用可能である。Ｓ２３２Ｌ、Ｓ２４０Ｌは、例えば、Ｓ２３０、Ｓ１６０ｅ、Ｓ１６０ｆ、Ｓ３１０、Ｓ３２０、Ｓ３３０のいずれかに続いてよい。Ｓ２４０Ｌには、例えば、Ｓ２５０が続いてよい。
図２４（Ａ）、図２４（Ｂ）は、画像処理の別の実施例を示す図である。本実施例では、プロセッサ１１０は、対象規則を表す参照ページを含む出力データを生成する。図２４（Ａ）は、画像処理のフローチャートの一部（Ｓ２３２Ｌ、Ｓ２４０Ｌ）を示している。参照ページを含む出力データの生成のためのＳ２３２Ｌ、Ｓ２４０Ｌは、本明細書の種々の実施例に適用可能である。Ｓ２３２Ｌ、Ｓ２４０Ｌは、例えば、Ｓ２３０、Ｓ１６０ｅ、Ｓ１６０ｆ、Ｓ３１０、Ｓ３２０、Ｓ３３０のいずれかに続いてよい。Ｓ２４０Ｌには、例えば、Ｓ２５０が続いてよい。
【0212】
Ｓ２３２Ｌでは、プロセッサ１１０は、対象規則を表す参照ページのデータを生成する。図２４（Ｂ）は、参照ページの例を示している。参照ページＰＬ１は、規則データによって表される情報のうちの対象規則を表す情報である規則情報ＲＩを表している。テーブルＴＢｒ（図４）によって表される対象規則が使用される場合、規則情報ＲＩは、テーブルＴＢｒであってよい。
【0213】
Ｓ２４０Ｌでは、プロセッサ１１０は、参照ページＰＬ１と、規則順番に並ぶ複数のページと、を表す出力データを生成する。参照ページＰＬ１の位置は、種々の位置であってよい（例えば、先頭、または、最後）。Ｓ２４０Ｌの後、プロセッサ１１０は、Ｓ２５０へ移行する。
【0214】
以上のように、本実施例では、Ｓ２４０Ｌで、プロセッサ１１０は、対象規則を表す参照ページＰＬ１と、規則順番に並ぶ複数のページと、を表す出力データを生成する。ユーザは、参照ページＰＬ１を参照することによって、対象規則がどのような規則であるのかを、容易に理解できる。なお、参照ページＰＬ１は、対象規則を表す第２種特定ページの例である。
【0215】
Ｍ．第１３実施例：
図２５（Ａ）－図２５（Ｄ）は、画像処理の別の実施例を示す図である。本実施例では、プロセッサ１１０は、規則順番に並ぶ複数のページのそれぞれのページ番号を表す情報を、出力データに付与する。図２５（Ａ）は、画像処理のフローチャートの一部（Ｓ３４０）を示している。ページ番号を付与するためのＳ３４０は、本明細書の種々の実施例に適用可能である。Ｓ３４０は、例えば、Ｓ２４０、Ｓ２４０ｂ、Ｓ２４０ｃ、Ｓ２４０ｅ、Ｓ２４０ｆ、Ｓ２４０Ｌのいずれかに続いてよい。Ｓ３４０には、例えば、Ｓ２５０が続いてよい。
図２５（Ａ）－図２５（Ｄ）は、画像処理の別の実施例を示す図である。本実施例では、プロセッサ１１０は、規則順番に並ぶ複数のページのそれぞれのページ番号を表す情報を、出力データに付与する。図２５（Ａ）は、画像処理のフローチャートの一部（Ｓ３４０）を示している。ページ番号を付与するためのＳ３４０は、本明細書の種々の実施例に適用可能である。Ｓ３４０は、例えば、Ｓ２４０、Ｓ２４０ｂ、Ｓ２４０ｃ、Ｓ２４０ｅ、Ｓ２４０ｆ、Ｓ２４０Ｌのいずれかに続いてよい。Ｓ３４０には、例えば、Ｓ２５０が続いてよい。
【0216】
ページ番号を表す情報は、出力データに関連する種々の情報に付与されてよい。図２５（Ｂ）は、出力データの例を示している。プロセッサ１１０は、出力データＯＤｍ１によって表される複数のページＰＭ１－ＰＭ４のそれぞれに、ページ番号ＰＮｍを表す数字を記載する。
【0217】
図２５（Ｃ）は、出力データの別の例を示している。出力データＯＤｍ２は、ページ毎のデータファイルＦＰ１－ＦＰ４を含んでいる。プロセッサ１１０は、ファイル名ＦＮｍを、ページ番号を表す数字を含むファイル名に設定する。
【0218】
図２５（Ｄ）は、出力データの別の例を示している。出力データＯＤｍ３は、１個のファイルを形成する。プロセッサ１１０は、複数のページＰｍのそれぞれのプロパティＰＰに、ページ番号を設定する。
【0219】
Ｓ３４０（図２５（Ａ））では、プロセッサ１１０は、各ページのページ番号を取得する。そして、プロセッサ１１０は、Ｓ３４０、または、Ｓ３４０に続くＳ２５０で、取得したページ番号を、出力データに付与する。例えば、Ｓ３４０で、プロセッサ１１０は、出力データを編集する（図２５（Ｂ）、図２５（Ｄ）。また、Ｓ２５０で、プロセッサ１１０は、Ｓ３４０で設定されたファイル名で、各ページのデータを記憶装置（例えば、不揮発性記憶装置１３０）に格納する。ユーザは、出力データを参照することによって、各ページのページ番号を容易に知ることができる。
【0220】
なお、図２５（Ｃ）の例では、出力データの各ファイルには、ファイルの参照順番（ここでは、ページ番号を含むファイル名）が設定される。参照順番でファイルを参照することによって、複数のページが規則順番に並ぶ場合、複数のファイルを含む出力データＯＤｍ２は、規則順番に並ぶ複数のページを表している。
【0221】
Ｎ．第１４実施例：
図２６（Ａ）、図２６（Ｂ）は、画像処理の別の実施例を示す図である。本実施例では、プロセッサ１１０は、索引ページを含む出力データを生成する。図２６（Ａ）は、画像処理のフローチャートの一部（Ｓ２３２ｎ、Ｓ２３４ｎ、Ｓ２４０ｎ）を示している。索引ページを含む出力データの生成のためのＳ２３２ｎ、Ｓ２３４ｎ、Ｓ２４０ｎは、本明細書の種々の実施例に適用可能である。Ｓ２３２ｎ、Ｓ２３４ｎ、Ｓ２４０ｎは、例えば、Ｓ２３０、Ｓ１６０ｅ、Ｓ１６０ｆ、Ｓ３１０、Ｓ３２０、Ｓ３３０、Ｓ３４０のいずれかに続いてよい。Ｓ２４０ｎには、例えば、Ｓ２５０が続いてよい。
図２６（Ａ）、図２６（Ｂ）は、画像処理の別の実施例を示す図である。本実施例では、プロセッサ１１０は、索引ページを含む出力データを生成する。図２６（Ａ）は、画像処理のフローチャートの一部（Ｓ２３２ｎ、Ｓ２３４ｎ、Ｓ２４０ｎ）を示している。索引ページを含む出力データの生成のためのＳ２３２ｎ、Ｓ２３４ｎ、Ｓ２４０ｎは、本明細書の種々の実施例に適用可能である。Ｓ２３２ｎ、Ｓ２３４ｎ、Ｓ２４０ｎは、例えば、Ｓ２３０、Ｓ１６０ｅ、Ｓ１６０ｆ、Ｓ３１０、Ｓ３２０、Ｓ３３０、Ｓ３４０のいずれかに続いてよい。Ｓ２４０ｎには、例えば、Ｓ２５０が続いてよい。
【0222】
Ｓ２３２ｎでは、プロセッサ１１０は、各ページからキーワードを抽出する。図２６（Ｂ）は、キーワードの例を示している。ページＰｎ１－Ｐｎ４から、種々のキーワードＫｎ１－Ｋｎ４が、それぞれ抽出される。キーワードの抽出方法は、種々の方法であってよい。例えば、プロセッサ１１０は、特徴情報Ｆ（図５（Ｂ））に含まれるテキストＴＸから、太字フォントの用語をキーワードとして抽出してよい。また、プロセッサ１１０は、複数のページの複数のテキストＴＸの全体を参照して、頻出する用語を特定する。プロセッサ１１０は、頻出する用語を、各ページからキーワードとして抽出してよい。
【0223】
Ｓ２３４ｎでは、プロセッサ１１０は、抽出されたキーワードを使用して、索引ページのデータを生成する。図２６（Ｂ）のページＰｎｘは、索引ページの例を示している。ページＰｎｘは、キーワードと、キーワードを含むページのページ番号と、の対応関係を表している。
【0224】
Ｓ２４０ｎでは、プロセッサ１１０は、索引ページＰｎｘと、規則順番に並ぶ複数のページと、を表す出力データを生成する。索引ページＰｎｘの位置は、種々の位置であってよい（例えば、先頭、または、最後）。Ｓ２４０ｎの後、プロセッサ１１０は、Ｓ２５０へ移行する。
【0225】
このように、本実施例では、Ｓ２４０ｎで、プロセッサ１１０は、規則順番に並ぶ複数のページと、複数のページに含まれる用語の所在（ここでは、ページ番号を含む）を表す索引ページＰｎｘと、を表す出力データを生成する。ユーザは、索引ページＰｎｘを参照することによって、複数のページに含まれる用語の所在を、容易に知ることができる。
【0226】
Ｏ．第１５実施例：
図２７は、画像処理の別の実施例を示すフローチャートの一部である。本実施例では、規則データは、入力データから、取得される。規則データを取得するためのＳ１３０、Ｓ１４０、Ｓ１４２ｏ、Ｓ１４４ｏは、本明細書の種々の実施例に適用可能である。Ｓ１４４ｏの後、プロセッサ１１０は、Ｓ１５０（図２等）へ移行する。
図２７は、画像処理の別の実施例を示すフローチャートの一部である。本実施例では、規則データは、入力データから、取得される。規則データを取得するためのＳ１３０、Ｓ１４０、Ｓ１４２ｏ、Ｓ１４４ｏは、本明細書の種々の実施例に適用可能である。Ｓ１４４ｏの後、プロセッサ１１０は、Ｓ１５０（図２等）へ移行する。
【0227】
Ｓ１３０、Ｓ１４０は、図２のＳ１３０、Ｓ１４０と同じである。Ｓ１４２ｏでは、プロセッサ１１０は、入力データから規則ページを表す規則データを取得する。規則ページは、種々のページであってよい。例えば、プロセッサ１１０は、最も多くのページと強い相関を有するページを、規則ページとして選択してよい。図４の規則ページＰｒは、複数の論文のそれぞれのタイトルを表している（第４列Ｃ４）。このような規則ページＰｒは、複数の論文の複数のページのそれぞれと、強い相関を有し得る。
【0228】
相関の算出方法は、種々の方法であってよい。例えば、プロセッサ１１０は、ページ毎に、特徴情報Ｆに含まれるテキストＴＸから単語を抽出する。ここで、プロセッサ１１０は、公知の形態素解析を行ってよい。プロセッサ１１０は、２枚のページで構成されるページペアの全ての組み合わせに対して、共通する抽出単語の数を、関連度合いとして算出する。なお、単語に代えて、文章を使用して、関連度合いが算出されてよい。
【0229】
プロセッサ１１０は、所定の閾値以上の関連度合いを示すページペアを、強い相関を有するページペアとして選択する。プロセッサ１１０は、強い相関を有するページペアとして選択される回数を、ページ毎にカウントする。プロセッサ１１０は、最も多く選択されるページを、規則ページとして採用する。
【0230】
これに代えて、プロセッサ１１０は、特定の種類のテーブルＴＢ（例えば、時間割）を含む特徴情報Ｆが取得されるページを、規則ページとして採用してよい。特定の種類のテーブルの検出方法は、種々の方法であってよい。例えば、特定の種類に関連する単語（例えば、「時間」「期間」など）を含むヘッダを有するテーブルが、採用されてよい。
【0231】
【0232】
以上のように、本実施例では、Ｓ１４０、Ｓ１４２ｏで、プロセッサ１１０は、入力データを解析することによって規則データを取得する。従って、ユーザは、規則ページと他のページとを事前に区別せずに、画像処理を進行できる。
【0233】
Ｐ．第１６実施例：
図２８（Ａ）、図２８（Ｂ）は、画像処理の別の実施例を示す図である。本実施例では、プロセッサ１１０は、生成済の出力データと、追加の入力データと、を使用して、新たな出力データを生成する。図２８（Ａ）は、画像処理のフローチャートの一部を示している。本実施例は、本明細書の種々の実施例に適用可能である。すなわち、本実施例では、上記の種々の実施例で生成された出力データを、使用可能である。以下、生成済の出力データを、第１入力データと呼び、追加の入力データを、第２入力データと呼ぶ。
図２８（Ａ）、図２８（Ｂ）は、画像処理の別の実施例を示す図である。本実施例では、プロセッサ１１０は、生成済の出力データと、追加の入力データと、を使用して、新たな出力データを生成する。図２８（Ａ）は、画像処理のフローチャートの一部を示している。本実施例は、本明細書の種々の実施例に適用可能である。すなわち、本実施例では、上記の種々の実施例で生成された出力データを、使用可能である。以下、生成済の出力データを、第１入力データと呼び、追加の入力データを、第２入力データと呼ぶ。
【0234】
Ｓ１１０、Ｓ１２０は、図２のＳ１１０、Ｓ１２０とそれぞれ同じである。なお、規則データとしては、第１入力データの生成に使用された規則データと同じデータが使用される。すなわち、対象規則は、第１入力データの生成に使用された対象規則と同じである。
【0235】
Ｓ１３０ｐ１では、プロセッサ１１０は、第１入力データを取得する。第１入力データは、不揮発性記憶装置１３０、または、他の記憶装置（例えば、通信インタフェース１８０に接続される記憶装置）から、取得されてよい。以下、第１入力データが、Ｎ枚のページを表すこととする。
【0236】
図２８（Ｂ）は、第１入力データと第２入力データと出力データとの例を示している。第１入力データＩＤｐ１は、６枚のページＰｐ１１－Ｐｐ１６を表している。これらのページは、３個のページグループＧｐ１１、Ｇｐ１２、Ｇｐ１３を形成している。第１入力データＩＤｐ１は、２０２１年の試験問題と、２０２２年の試験問題と、を表している。
【0237】
Ｓ１３０ｐ２（図２８（Ａ）））では、プロセッサ１１０は、第１入力データのページグループを示す情報を取得する。図示を省略するが、本実施例では、プロセッサ１１０は、出力データの生成時に、ページグループを示すデータを、出力データ、または、記憶装置（例えば、不揮発性記憶装置１３０）に格納する。例えば、プロセッサ１１０は、各ページのプロパティに、ページグループの識別子を設定する。これに代えて、プロセッサ１１０は、ページグループを示すデータを、出力データと関連付けて、記憶装置（例えば、不揮発性記憶装置１３０）に格納してよい。Ｓ１３０ｐ２では、プロセッサ１１０は、第１入力データに関連付けられるページグループのデータを参照する。
【0238】
Ｓ１３０ｐ３では、プロセッサ１１０は、第２入力データを取得する。以下、第２入力データが、Ｍ枚のページを表すこととする。なお、Ｓ１３０ｐ３は、図２のＳ１３０と同様に、行われてよい。
【0239】
図２８（Ｂ）には、第２入力データの例が示されている。第２入力データＩＤｐ２は、３枚のページＰｐ２１、Ｐｐ２２、Ｐｐ２３を表している。第２入力データＩＤｐ２は、２０２３年の試験問題を表している。
【0240】
続いて、プロセッサ１１０は、図２、図３のＳ１４０－Ｓ２３０の処理を実行する。これにより、プロセッサ１１０は、Ｎ＋Ｍ枚のページの規則順番を決定する。図２８（Ｂ）には、出力データの例が示されている。出力データＯＤｐ３は、９枚のページを表している。第２入力データＩＤｐ２のページＰｐ２１、Ｐｐ２２、Ｐｐ２３は、第１入力データＩＤｐ１のページグループＧｐ１１、Ｇｐ１２、Ｇｐ１３の後ろに、それぞれ追加されている。そして、３つの新たなページグループＧｐ３１、Ｇｐ３２、Ｇｐ３３が形成されている。
【0241】
プロセッサ１１０は、第１入力データＩＤｐ１のＮ枚のページに注目する場合に、Ｎ枚のページの順番が変わらないように、Ｎ＋Ｍ枚のページの規則順番を決定する。このような規則順番の決定方法は、種々の方法であってよい。例えば、プロセッサ１１０は、第１入力データＩＤｐ１のページグループＧｐ１１、Ｇｐ１２、Ｇｐ１３を、形成済のページグループとして再使用してよい。具体的には、プロセッサ１１０は、Ｓ１４０（図２）の後、Ｓ１５０、Ｓ１７０、Ｓ１８０（図２、図３）をスキップして、Ｓ２００へ移行してよい。第２入力データＩＤｐ２の複数のページは、未確定ページとして使用されてよい。
【0242】
なお、第２入力データＩＤｐ２のページの適切な位置は、第１入力データＩＤｐ１の１個のページグループの複数のページの間の位置であり得る。例えば、第１ページグループＧｐ１１が、２０２１年のページと２０２３のページを含み、第２入力データＩＤｐ２が２０２２年のページを含む場合、２０２２年のページは、２０２１年のページと２０２３のページとの間に挿入されることが好ましい。そこで、Ｓ２００（図３）では、プロセッサ１１０は、確信度の算出のための候補順番として、以下の候補順番を採用してよい。
（１）第１種候補順番：未確定ページがページグループに続く（例えば、図６（Ａ）の候補順番Ｃ１ａ）
（２）第２種候補順番：ページグループが未確定ページに続く（例えば、図６（Ａ）の候補順番Ｃａ１）
（３）第３種候補順番：未確定ページが、ページグループの複数のページに間に位置する
（１）第１種候補順番：未確定ページがページグループに続く（例えば、図６（Ａ）の候補順番Ｃ１ａ）
（２）第２種候補順番：ページグループが未確定ページに続く（例えば、図６（Ａ）の候補順番Ｃａ１）
（３）第３種候補順番：未確定ページが、ページグループの複数のページに間に位置する
【0243】
第３種候補順番は、新たに採用される候補順番である。ページグループがｔ枚（ｔは１以上の整数）のページを含む場合、第３種候補順番としては、ｔ枚のページから選択される１枚の注目ページに未確定ページが続くことを示すｔ個の候補順番が、使用される。プロセッサ１１０は、注目ページを先ページとして使用し、未確定ページを後ページとして使用することによって、確信度を算出してよい。第３種候補順番の確信度が大きい場合には、未確定ページは、ページグループの途中に挿入され得る。なお、ｔ枚のページのうちの最後のページに未確定ページが続くことを示す候補順番は、第１種候補順番と同じである。
【0244】
規則順番の決定（図３：Ｓ２３０）の後、Ｓ２４０ｐ１（図２８）で、プロセッサ１１０は、規則順番に並ぶＮ＋Ｍ枚のページを表す出力データを生成する。Ｓ２４０ｐ２では、プロセッサ１１０は、ページグループを示すデータを、出力データ、または、記憶装置（例えば、不揮発性記憶装置１３０）に格納する。そして、プロセッサ１１０は、Ｓ２５０（図３）へ移行する。
【0245】
以上のように、本実施例では、Ｓ１３０ｐ３で、プロセッサ１１０は、第２入力データを取得する。第２入力データは、追加文書を表す追加データの例である。Ｓ１４０－Ｓ２３０、Ｓ２４０ｐ１では、プロセッサ１１０は、第１入力データ（すなわち、出力データ）によって表されるＮ枚のページと、第２入力データによって表されるＭ枚の追加ページと、を含むＮ＋Ｍ枚のページを表す出力データを生成する。Ｓ１４０－Ｓ２３０では、プロセッサ１１０は、Ｎ枚のページの順番を保ちつつ、Ｎ＋Ｍ枚のページの並ぶ順番を対象規則に基づいて決定する。上述したように、追加ページは、Ｎ枚のページの間に挿入され得る。この場合も、Ｎ枚のページに注目する場合に、Ｎ枚のページの順番は変更されない。従って、Ｎ枚のページの順番は保たれている、ということができる。このように、プロセッサ１１０は、第１入力データと、新たな出力データと、のそれぞれにおいて、対象規則に基づく適切なページの順番を、実現できる。
【0246】
Ｑ．第１７実施例：
図２９（Ａ）－図２９（Ｄ）は、画像処理の別の実施例を示す図である。本実施例では、プロセッサ１１０は、中扉のページを含む出力データを生成する。図２９（Ａ）は、画像処理のフローチャートの一部（Ｓ２４０ｑ１、Ｓ２４０ｑ２）を示している。中扉のページを含む出力データの生成のためのＳ２４０ｑ１、Ｓ２４０ｑ２は、本明細書の種々の実施例に適用可能である。Ｓ２４０ｑ１、Ｓ２４０ｑ２は、例えば、Ｓ２３０、Ｓ３１０、Ｓ３２０のいずれかに続いてよい。Ｓ２４０ｑ２には、例えば、Ｓ２５０、Ｓ３３０、Ｓ３４０のいずれかが続いてよい。
図２９（Ａ）－図２９（Ｄ）は、画像処理の別の実施例を示す図である。本実施例では、プロセッサ１１０は、中扉のページを含む出力データを生成する。図２９（Ａ）は、画像処理のフローチャートの一部（Ｓ２４０ｑ１、Ｓ２４０ｑ２）を示している。中扉のページを含む出力データの生成のためのＳ２４０ｑ１、Ｓ２４０ｑ２は、本明細書の種々の実施例に適用可能である。Ｓ２４０ｑ１、Ｓ２４０ｑ２は、例えば、Ｓ２３０、Ｓ３１０、Ｓ３２０のいずれかに続いてよい。Ｓ２４０ｑ２には、例えば、Ｓ２５０、Ｓ３３０、Ｓ３４０のいずれかが続いてよい。
【0247】
Ｓ２４０ｑ１では、プロセッサ１１０は、各ページグループの中扉のページを生成する。図２９（Ｂ）は、規則順番に並ぶ複数のページの例を示している。ここで、図２８（Ｂ）の例と同じページグループＧｐ１１－Ｇｐ１３が形成されることとする。図２９（Ｃ）は、中扉のページの例を示している。このページＰｑＴ１は、第１ページグループＧｐ１１の中扉を示している。本実施例では、プロセッサ１１０は、ページグループに対応付けられる参照情報を表すページを生成する。これに代えて、中扉のページは、白紙のページであってよい。
【0248】
Ｓ２４０ｑ２（図２９（Ａ））では、プロセッサ１１０は、規則順番に並ぶ複数のページと、各ページグループの先頭の中扉のページと、を表す出力データを生成する。図２９（Ｄ）は、出力データの例を示している。出力データＯＤｑは、ページグループＧｐ１１－Ｇｐ１３と、各ページグループの先頭に追加された中扉のページＰｑＴ１、ＰｑＴ２、ＰｑＴ３と、を表している。Ｓ２４０ｑ２の後、プロセッサ１１０は、Ｓ２５０、Ｓ３３０、Ｓ３４０のいずれかに移行してよい。
【0249】
このように、本実施例では、プロセッサ１１０は、Ｓ２４０ｑ２で、複数のページから対象規則に基づいて形成されるＬ個（Ｌは２以上の整数）のページグループのそれぞれの始まりを示すＬ枚の中扉のページと、規則順番に並ぶ複数のページと、を表す出力データを生成する。ユーザは、中扉のページを参照することによって、ページグループの始まりを、容易に知ることができる。
【0250】
なお、ページグループを形成する方法は、種々の方法であってよい。例えば、プロセッサ１１０は、全てのページに対して特徴情報と参照情報とのマッチングを行うことによって、各ページに対応付けられる参照情報を決定してよい。マッチングの方法は、種々の方法であってよい。例えば、プロセッサ１１０は、複数の参照情報のそれぞれの登場回数を、ページ毎にカウントする。登場回数は、タイトルＴＬとテキストＴＸ（図５（Ｂ））に参照情報が登場する回数であってよい。プロセッサ１１０は、注目ページに登場する参照情報のうち、最も多く登場する参照情報を、注目ページに対応付けてよい。プロセッサ１１０は、規則順番に並ぶ複数のページにおいて、同じ参照情報に対応付けられるとともに連続する１以上のページを、１つのページグループとして採用してよい。なお、プロセッサ１１０は、Ｓ２４０ｑ１の前に、改めて、ページグループを形成してよい。
【0251】
Ｒ．変形例：
（１）入力データは、スキャンデータに代えて、他の種々のデータであってよい。例えば、入力データは、ワードプロセッサ、プレゼンテーション用のスライド作成アプリケーションなど、特定のアプリケーションのデータであってよい。プロセッサ１１０は、複合機１００の記憶装置１１５（例えば、不揮発性記憶装置１３０）、または、複合機１００に接続される他の装置から、入力データを取得してよい。
（１）入力データは、スキャンデータに代えて、他の種々のデータであってよい。例えば、入力データは、ワードプロセッサ、プレゼンテーション用のスライド作成アプリケーションなど、特定のアプリケーションのデータであってよい。プロセッサ１１０は、複合機１００の記憶装置１１５（例えば、不揮発性記憶装置１３０）、または、複合機１００に接続される他の装置から、入力データを取得してよい。
【0252】
（２）規則データは、スキャンデータ、表計算ソフトウェアのデータに代えて、他の種々のデータであってよい。例えば、規則データは、ワードプロセッサ、プレゼンテーション用のスライド作成アプリケーションなど、特定のアプリケーションのデータであってよい。規則データは、ユーザが操作部１５０を操作することによって入力されるデータであってよい。規則データは、入力データによって表される複数のページのページ番号を表す部分とは異なる情報（例えば、図４の参照情報Ｔａ－Ｔｄ）を表す種々のデータであってよい。対象規則によって表される複数の参照情報の順番は、時間に関連する順番、ユーザによって決定される順番など、任意の順番であってよい。対象規則に基づく複数のページの規則順番は、種々の順番であってよい。いずれの場合も、規則データは、１枚のページを表すデータであってよい。プロセッサ１１０は、複合機１００の記憶装置１１５（例えば、不揮発性記憶装置１３０）、または、複合機１００に接続される他の装置から、規則データを取得してよい。
【0253】
（３）画像処理は、上記の処理に限らず、他の種々の処理であってよい。例えば、プロセッサ１１０は、規則順番に並ぶＮ枚のページと、１枚以上の補足ページと、を含む出力データを生成してよい。補足ページは、以下の候補Ａ－Ｅから任意に選択された１種類以上のページを含んでよい。
（Ａ）目次ページ（例えば、図１０（Ｄ）の目次ページＰｐ）
（Ｂ）対応表ページ（例えば、図１２（Ｅ）の対応表ページＰｑ２）
（Ｃ）参照ページ（例えば、図２４（Ｂ）の参照ページＰＬ１）
（Ｄ）索引ページ（例えば、図２６（Ｂ）の索引ページＰｎｘ）
（Ｅ）中扉のページ（例えば、図２９（Ｃ）の中扉のページＰｑＴ１）
（Ａ）目次ページ（例えば、図１０（Ｄ）の目次ページＰｐ）
（Ｂ）対応表ページ（例えば、図１２（Ｅ）の対応表ページＰｑ２）
（Ｃ）参照ページ（例えば、図２４（Ｂ）の参照ページＰＬ１）
（Ｄ）索引ページ（例えば、図２６（Ｂ）の索引ページＰｎｘ）
（Ｅ）中扉のページ（例えば、図２９（Ｃ）の中扉のページＰｑＴ１）
【0254】
いずれの場合も、Ｎ枚のページの間に他のページが挿入されてよい。ここで、Ｎ枚のページに注目する場合に、Ｎ枚のページの並び順が規則順番であれば、出力データは、規則順番に並ぶＮ枚のページを表している、といえる。
【0255】
（４）図２８（Ａ）の実施例において、プロセッサ１１０は、第１入力データのページグループを再使用せずに、Ｓ１４０－Ｓ２３０を実行してよい。すなわち、プロセッサ１１０は、Ｎ＋Ｍ枚のページを表す１個の入力データを使用する場合の画像処理と同じ画像処理を実行してよい。
【0256】
（５）図２９（Ａ）の実施例において、プロセッサ１１０は、ベージグループとは無関係に、中扉のページを追加してよい。例えば、プロセッサ１１０は、一定間隔で（例えば、１０ページ毎に）、中扉のページを挿入してよい。
【0257】
（６）確信度（図３：Ｓ２００）の算出方法は、上記の方法に代えて、種々の方法であってよい。例えば、確信度の算出に使用される順番評価モデルＭ１の生成には、種々の文書が使用されてよい。例えば、日付の降順に並ぶ複数のページを含む文書が、使用されてよい。この場合、複数のページが日付の降順に並ぶように、規則順番が決定され得る。
【0258】
また、先ページと後ページとの間の文章の繋がりやすさを示す評価値Ｖ１２（図７（Ｃ））の算出には、文分類モデルＭ６に代えて、他の種々の機械学習モデルが使用されてよい（以下、文評価モデルと呼ぶ）。文評価モデルは、例えば、先ページの画像と後ページの画像とを連結した１枚の連結画像を使用して、文章の繋がりやすさの評価値を算出するモデルであってよい（連結画像内の２枚の画像の配置は、予め決められる）。このような文評価モデルとしては、例えば、畳込ニューラルネットワークを採用可能である。この文評価モデルの訓練には、種々の連結画像が使用される。連結画像が適切な先ページと後ページとを表す場合、正解評価値が１に設定され、連結画像が不適切な先ページと後ページとを表す場合、正解評価値が０に設定されてよい。そして、訓練済の文評価モデルの最終出力層に入力されるデータが、第１２特徴ベクトルＦｄ１２として使用されてよい。
【0259】
（６）画像処理装置は、複合機１００とは異なる種類の装置（例えば、パーソナルコンピュータ、デジタルカメラ、スキャナ、スマートフォン）であってもよい。また、ネットワークを介して互いに通信可能な複数の装置（例えば、コンピュータ）が、画像処理装置による画像処理の機能を一部ずつ分担して、全体として、画像処理の機能を提供してもよい（これらの装置を備えるシステムが画像処理装置に対応する）。
【0260】
上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、図７（Ａ）の順番評価モデルＭ１の機能を、専用のハードウェア回路によって実現してもよい。
【0261】
また、本開示の機能の一部または全部がコンピュータプログラムで実現される場合には、そのプログラムは、コンピュータ読み取り可能な記録媒体（例えば、一時的ではない記録媒体）に格納された形で提供することができる。プログラムは、提供時と同一または異なる記録媒体（コンピュータ読み取り可能な記録媒体）に格納された状態で、使用され得る。「コンピュータ読み取り可能な記録媒体」は、メモリーカードやＣＤ－ＲＯＭのような携帯型の記録媒体に限らず、各種ＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスクドライブ等のコンピュータに接続されている外部記憶装置も含み得る。
【0262】
上記の実施例と変形例とは、適宜に組み合わせることができる。また、上記の実施例と変形例とは、本開示の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。
【符号の説明】
【0263】
１００…複合機、１１０…プロセッサ、１１５…記憶装置、１２０…揮発性記憶装置、１３０…不揮発性記憶装置、１４０…表示部、１５０…操作部、１６０…印刷実行部、１７０…読取実行部、１８０…通信インタフェース、ＬＢ１…文書解析ライブラリ、ＰＧ１…プログラム、Ｍ１－Ｍ６…機械学習モデル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】