特開 2025-14220 検品システム、検品方法、及び、検品プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025014220

(43)【公開日】2025-01-30

(54)【発明の名称】検品システム、検品方法、及び、検品プログラム

(51)【国際特許分類】

   G01N 21/88 20060101AFI20250123BHJP

   B42C 19/00 20060101ALI20250123BHJP

   B42B 4/00 20060101ALI20250123BHJP

   G06T 7/00 20170101ALI20250123BHJP

【ＦＩ】

G01N21/88 J

B42C19/00

B42B4/00

G06T7/00 610Z

G06T7/00 350C

【審査請求】未請求

【請求項の数】23

【出願形態】ＯＬ

(21)【出願番号】P 2023116564

(22)【出願日】2023-07-18

(71)【出願人】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】110000925

【氏名又は名称】弁理士法人信友国際特許事務所

(72)【発明者】

【氏名】長門 拡

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA01

2G051AB20

2G051BA10

2G051DA06

2G051EB05

5L096AA09

5L096BA03

5L096DA01

5L096DA02

5L096EA13

5L096FA59

5L096FA64

5L096HA11

5L096KA04

(57)【要約】

【課題】複数枚の記録媒体を含む束を検品できるようにする。
【解決手段】本発明の検品システムは、加工処理された複数枚の記録媒体を含む束の形状に関する情報を取得する取得部と、この取得部により取得した上記情報に基づいて上記束の検品を行う判定部と、を備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

加工処理された複数枚の記録媒体を含む束の形状に関する情報を取得する取得部と、
前記取得部により取得した前記情報に基づいて前記束の検品を行う判定部と、
を備える検品システム。

【請求項2】

前記判定部は、ディープラーニングモデルを用いて前記束の検品を行う
請求項１に記載の検品システム。

【請求項3】

前記ディープラーニングモデルとして、教師なし学習方式のモデルを用いる
請求項２に記載の検品システム。

【請求項4】

前記ディープラーニングモデルとして、オートエンコーダを用いる
請求項２に記載の検品システム。

【請求項5】

前記ディープラーニングモデルは、前記束の表紙の坪量毎に学習されたモデルであり、
前記判定部は、前記ディープラーニングモデルを用いて前記束の検品を行う場合に、前記束の表紙の坪量に対応するモデルを参照する
請求項２に記載の検品システム。

【請求項6】

前記ディープラーニングモデルは、前記束を構成する記録媒体の枚数毎に学習されたモデルであり、
前記判定部は、前記ディープラーニングモデルを用いて前記束の検品を行う場合に、前記束を構成する記録媒体の枚数に対応するモデルを参照する
請求項２に記載の検品システム。

【請求項7】

前記ディープラーニングモデルは、前記束の表紙の坪量及び前記束を構成する記録媒体の枚数の組み合わせ毎に学習されたモデルであり、
前記判定部は、前記ディープラーニングモデルを用いて前記束の検品を行う場合に、前記組み合わせに対応するモデルを参照する
請求項２に記載の検品システム。

【請求項8】

前記取得部が取得する前記情報は、三次元情報である
請求項１に記載の検品システム。

【請求項9】

前記取得部が取得する前記情報は、三次元情報であり、
前記三次元情報を前記束の厚みと大きさに応じて正規化する正規化処理部を備え、
前記ディープラーニングモデルには、前記正規化処理部によって正規化されたデータが用いられる
請求項２に記載の検品システム。

【請求項10】

前記取得部が取得する前記情報は、三次元情報であり、
前記三次元情報を画像化する画像化処理部を備え、
前記ディープラーニングモデルには、前記画像化処理部によって画像化されたデータが用いられる
請求項２に記載の検品システム。

【請求項11】

前記三次元情報は、二次元ヒートマップ又は二次元等高線で表される
請求項８又は９に記載の検品システム。

【請求項12】

前記取得部が取得する前記情報は、二次元情報である
請求項１に記載の検品システム。

【請求項13】

複数枚の記録媒体を含む束を加工処理によって生成する加工部を備え、
前記判定部は、前記加工部により加工処理された前記束の検品を行う
請求項１に記載の検品システム。

【請求項14】

記録媒体に画像を印刷する印刷部を備え、
前記印刷部により画像が印刷された複数枚の記録媒体が前記加工部により加工処理される
請求項１３に記載の検品システム。

【請求項15】

前記印刷部により記録媒体に印刷された画像を検査する画像検査部を備え、
前記画像検査部により画像が検査された複数枚の記録媒体が前記加工部により加工処理される
請求項１４に記載の検品システム。

【請求項16】

前記取得部は、前記束に対して発せられる光を利用して前記情報を取得する
請求項１に記載の検品システム。

【請求項17】

前記取得部は、前記束の表側で当該束の形状に関する情報を取得する第１取得部と、前記束の裏側で当該束の形状に関する情報を取得する第２取得部とを有する
請求項１に記載の検品システム。

【請求項18】

前記判定部による検品結果に応じて前記束の搬送先を切り替える排出部を備える
請求項１に記載の検品システム。

【請求項19】

前記判定部による検品結果に応じて前記束にマーキングを施すマーキング部を備える
請求項１に記載の検品システム。

【請求項20】

前記加工処理はステープル処理を含み、
前記判定部により前記ステープル処理に関する不良と判定された場合はシステムの動作を停止するシステム制御部を備える
請求項１に記載の検品システム。

【請求項21】

前記判定部が検品対象の束を不良品と判定した場合に、当該不良品に関する情報を記録する記録部を備える
請求項１に記載の検品システム。

【請求項22】

加工処理された複数枚の記録媒体を含む束の形状に関する情報を取得し、
前記取得した前記情報に基づいて前記束の検品を行う
検品方法。

【請求項23】

加工処理された複数枚の記録媒体を含む束の形状に関する情報を取得する取得工程と、
前記取得工程により取得した前記情報に基づいて前記束の検品を行う判定工程と、
をコンピュータに実行させるための検品プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検品システム、検品方法、及び、検品プログラムに関する。

【背景技術】

【0002】

通常、冊子製本などの後加工は印刷後に行われる。従来、印刷によって生成される印刷物を検査する技術は知られている。例えば特許文献１には、「印刷用紙の表面高さを検出するセンサを利用して紙くせ不良と縮み不良の両方を検査するシステム」が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７―８８３２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来においては、複数枚の記録媒体を含む束を検品する技術がなかった。このため、後加工によって生成される冊子などの検品作業は、人手に頼らざるを得ない状況であった。

【0005】

本発明の目的は、複数枚の記録媒体を含む束を検品できる検品システム、検品方法、及び、検品プログラムを提供することである。

【課題を解決するための手段】

【0006】

本発明に係る検品システムは、加工処理された複数枚の記録媒体を含む束の形状に関する情報を取得する取得部と、この取得部により取得した上記情報に基づいて上記束の検品を行う判定部と、を備える。

【0007】

本発明に係る検品方法は、加工処理された複数枚の記録媒体を含む束の形状に関する情報を取得し、この取得した上記情報に基づいて上記束の検品を行う。

【0008】

本発明に係る検品プログラムは、加工処理された複数枚の記録媒体を含む束の形状に関する情報を取得する取得工程と、この取得工程により取得した上記情報に基づいて上記束の検品を行う判定工程と、をコンピュータに実行させるための検品プログラムである。

【発明の効果】

【0009】

本発明によれば、複数枚の記録媒体を含む束を検品できる。

【図面の簡単な説明】

【0010】

【図1】図１は、本発明の実施形態に係る検品システムの構成の一例を示す概略図である。

【図2】図２は、中綴じ製本の一例を説明する図である。

【図3】図３は、綴じなし製本の一例を説明する図である。

【図4】図４は、本発明の実施形態に係る検品システムの一部の構成を示す機能ブロック図である。

【図5】図５は、良品の紙束に対応するモノクロヒートマップの例を示す図である。

【図6】図６は、不良品の紙束に対応するモノクロヒートマップの例を示す図である。

【図7】図７は、良品の紙束に対応する二次元等高線の例を示す図である。

【図8】図８は、不良品の紙束に対応する二次元等高線の例を示す図である。

【図9】図９は、良品学習の流れを説明する模式図である。

【図10】図１０は、学習モデルを用いた推論の流れを説明する模式図である。

【図11】図１１は、元画像と生成画像に差分がない場合を説明する図である。

【図12】図１２は、元画像と生成画像に差分がある場合を説明する図である。

【図13】図１３は、不良箇所がある紙束の例を説明する図である。

【図14】図１４は、学習モデルの構築方法の一例を示すフローチャートである。

【図15】図１５は、紙束の面方向で行われる正規化を説明する図である。

【図16】図１６は、紙束の高さ方向で行われる正規化を説明する図である。

【図17】図１７は、紙束の高さ方向の形状が表紙の坪量によって変化する例を説明する図である。

【図18】図１８は、紙束の高さ方向の形状が用紙の枚数によって変化する例を説明する図である。

【図19】図１９は、本発明の実施形態に係る検品システムを用いて紙束を検品する方法の一例を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態について図面を参照して詳細に説明する。本明細書及び図面においては、実質的に同一の機能又は構成を有する要素については、同一の符号を付し、重複する説明は省略する。本発明は、加工処理された複数枚の記録媒体を含む束を検品する技術に関する。以下の実施形態では、記録媒体が用紙である場合を一例として説明する。ただし、記録媒体は用紙に限定されない。

【0012】

図１は、本発明の実施形態に係る検品システムの構成の一例を示す概略図である。
図１に示すように、検品システム１０は、給紙機１１と、印刷機１２と、画像検査機１３と、後加工機１４と、束搬送機１５と、排出機構１６と、取得部１７と、検品用コンピュータ１８と、を備えている。図中、左向きの矢印Ａは、通紙方向を示している。

【0013】

給紙機１１は、用紙を供給する。給紙機１１は、トレイ等に収納された用紙を１枚ずつ供給する。印刷機１２は、給紙機１１によって供給された用紙の片面又は両面に画像を印刷する。印刷機１２は、印刷部に相当する。

【0014】

画像検査機１３は、印刷機１２によって用紙に印刷された画像を検査する。画像検査機１３は、用紙の第１面に印刷された画像を検査する第１の画像検査センサ１３ａと、用紙の第２面に印刷された画像を形成する第２の画像検査センサ１３ｂとを有する。給紙機１１から後加工機１４に至るまでの間、用紙は、図示しない用紙搬送機構により搬送路１９に沿って搬送される。図１では、両面印刷用の搬送路の表記を省略している。

【0015】

給紙機１１から印刷機１２に向かう搬送路１９の途中には、メディアセンサ２０が配置されている。メディアセンサ２０は、用紙に関する情報を検出する。メディアセンサ２０が検出する情報には、用紙の坪量が含まれる。また、印刷機１２には、操作部２６と、システム制御部２７とが設けられている。

【0016】

操作部２６は、ユーザーインターフェースとして機能する。操作部２６は、図示はしないが、入力部と、表示部とを備える。入力部は、ユーザーから各種情報の入力を受け付ける。表示部は、ユーザーに対して各種情報を表示する。入力部が受け付ける情報には、印刷ジョブに関する情報が含まれる。印刷ジョブに関する情報には、複数の用紙を含む束（以下、「紙束」ともいう。）を構成する用紙の枚数が含まれる。紙束は、後加工機１４の加工処理によって生成される。なお、用紙の坪量については、メディアセンサ２０を用いて取得する以外にも、例えば、操作部２６を介してユーザーが入力してもよい。

【0017】

システム制御部２７は、検品システム１０全体の動作を統括的に制御する。システム制御部２７が制御する対象には、給紙機１１、印刷機１２、画像検査機１３、後加工機１４、束搬送機１５、排出機構１６、取得部１７などが含まれる。

【0018】

後加工機１４は、複数の用紙を含む束、すなわち紙束２１を加工処理によって生成する。後加工機１４は、加工部に相当する。後加工機１４は、印刷機１２よりも通紙方向Ａの下流側に配置されている。このため、印刷機１２により画像が印刷された複数枚の用紙は、後加工機１４によって加工処理される。また、後加工機１４は、画像検査機１３よりも通紙方向Ａの下流側に配置されている。このため、画像検査機１３により画像が検査された複数枚の用紙は、後加工機１４によって加工処理される。後加工機１４は、印刷機１２により画像が印刷され、かつ、画像検査機１３により画像が検査された複数枚の用紙を用いて、当該複数枚の用紙を含む紙束２１を加工処理によって生成する。尚、画像検査機１３で印刷不良ありと判定された用紙は、後加工機１４の加工部より上流側に配置された不図示の排紙部に送られ、加工処理の対象から除去するものであっても良い。加工処理前に除去することにより、加工処理の対象となる用紙には少なくとも印刷不良ありの用紙が含まれなくなる。印刷不良ありの用紙を加工処理前に除去しない場合は、画像検査機１３による検査結果を記憶部で記憶しておき、加工処理後に対象の用紙を含む紙束２１を不良品として良品と区別して仕分ける。加工処理は、印刷後に行われるため、後加工とも呼ばれる。

【0019】

紙束には、下記（Ａ）～（Ｃ）のうち少なくとも１つが含まれる。
（Ａ）複数枚の用紙を折らずに重ね合わせた束
（Ｂ）複数枚の用紙をそれぞれ折り処理して重ね合わせた束
（Ｃ）１枚の用紙を折り処理した束

【0020】

後加工機１４は、印刷ジョブで指定された条件に基づいて複数枚の用紙を加工処理する。一般に、加工処理には多くの種類がある。例えば、加工処理には、ステープル処理、パンチ処理、くるみ製本、折り処理、中綴じ製本、綴じなし製本、無線綴じ製本などが含まれる。綴じなし製本は、スクラム製本、空綴じ製本とも呼ばれる。冊子の製本は、加工処理の１つの形態である。冊子は、上記（Ｂ）の束、又は上記（Ｃ）の束を冊子として製本することにより得られる。製本される冊子は、綴じが必要な冊子と、綴じが不要な冊子に大別される。綴じが必要な冊子には、中綴じ冊子がある。綴じが不要な冊子には、綴じなし冊子がある。また、冊子ではない紙束の例としては、上記（Ａ）の束をステープル処理又はパンチ処理することによって得られる紙束がある。

【0021】

図２は、中綴じ製本の一例を説明する図である。
中綴じ製本では、まず、複数枚の用紙１を重ね合わせた状態で、それらの用紙１の中心線上に複数のステープル針２を打ち込む。次に、複数枚の用紙１を中心線に沿って折り曲げる。これにより、中綴じ製本された冊子、すなわち中綴じ冊子３が得られる。

【0022】

図３は、綴じなし製本の一例を説明する図である。
綴じなし製本では、二つ折りした複数枚の用紙１をページ順に重ね合わせて冊子状にまとめる。これにより、綴じなし製本された冊子、すなわち綴じなし冊子４が得られる。綴じなし製本された冊子は、ステープル針や糸などで綴じない冊子であるため、空綴じ冊子などとも呼ばれる。

【0023】

綴じなし冊子４には、用紙１の折れや破れなどの不良が発生することがある。中綴じ冊子３には、用紙１の折れや破れなどの不良のほかにも、ステープル処理に関する不良が発生することがある。ステープル処理に関する不良は、例えば、ステープル針２の空打ち、ステープル針２の座屈などである。ステープル針２を打ち込む位置は、上記加工処理の条件の一つとして指定される。このため、ステープル処理に関する不良が発生する箇所は特定可能である。これに対し、用紙１の折れや破れなどの不良が発生する箇所は定まっていない場合が多い。また、用紙１がどのような形状で折れたり破れたりするかも定まっていない場合が多い。このため、用紙１の折れや破れなどの不良が発生する箇所は特定困難である。

【0024】

束搬送機１５は、後加工機１４によって加工処理された複数枚の用紙を含む束、すなわち紙束２１を搬送する。束搬送機１５は、例えば、複数のベルトコンベアによって構成される。

【0025】

排出機構１６は、判定部３２（図２）による検品結果に応じて紙束の搬送先を切り替える。排出機構１６は、排出部に相当する。判定部３２は、検品対象の紙束が良品であるか否かを判定する。判定部３２の詳細については後述する。排出機構１６は、姿勢変換機能を有する。姿勢変換機能は、排出機構１６の姿勢を、第１の姿勢と第２の姿勢との間で変換する機能である。第１の姿勢は、図１に点線で示す姿勢である。第２の姿勢は、図１に実線で示す姿勢である。

【0026】

排出機構１６を第１の姿勢にした場合は、紙束の搬送先が図示しない良品回収部に切り替えられる。排出機構１６を第２の姿勢にした場合は、紙束の搬送先が図示しない不良品回収部に切り替えられる。検品対象の紙束が良品であると判定部３２が判定した場合、排出機構１６は、良品の紙束の搬送先が良品回収部になるよう、第１の姿勢に維持される。また、検品対象の紙束が良品ではない、つまり不良品であると判定部３２が判定した場合、排出機構１６は、不良品の紙束の搬送先が不良品回収部になるよう、第１の姿勢から第２の姿勢に変化する。

【0027】

取得部１７は、加工処理された複数枚の用紙を含む束の形状に関する情報を取得する。取得部１７が取得する上記情報は、三次元情報であることが好ましい。三次元情報は、紙束の面方向の形状に関する情報と、紙束の高さ方向の形状に関する情報とを含む。紙束の面方向の形状は、紙束を平面視した場合の形状、言い換えると、紙束の大きさを規定する形状である。紙束の高さ方向は、紙束の厚み方向と言い換えることができる。また、三次元情報は、紙束の立体形状を示す情報と言い換えることができる。

【0028】

取得部１７は、第１取得部１７ａと、第２取得部１７ｂとを有する。第１取得部１７ａは、紙束の表側で当該紙束の形状に関する情報を取得する。第２取得部１７ｂは、紙束の裏側で当該紙束の形状に関する情報を取得する。第１取得部１７ａは、束搬送機１５よりも上方に配置されている。このように第１取得部１７ａを配置した場合、紙束の表側は、束搬送機１５によって搬送される紙束２１の上側に相当する。第２取得部１７ｂは、束搬送機１５によりも下方に配置されている。このように第２取得部１７ｂを配置した場合、紙束の裏側は、束搬送機１５によって搬送される紙束２１の下側に相当する。以降の説明では、第１取得部１７ａと第２取得部１７ｂを区別する必要がない場合は、単に取得部１７と記載する。

【0029】

取得部１７は、紙束２１に対して発せられる光を利用して、紙束２１の形状に関する情報を取得する。取得部１７は、例えば、光切断方式のレーザ変位計によって構成される。光切断方式のレーザ変位計からなる取得部１７は、帯状のレーザ光を紙束２１の表面に照射し、紙束２１からの反射光を受光することにより、紙束２１の形状に関する三次元情報（三次元データ）を取得する。光切断方式のレーザ変位計によって取得部１７を構成した場合は、紙束２１の形状を崩すことなく、上記三次元情報を高精度に取得できる。

【0030】

なお、本実施形態においては、光を利用して上記三次元情報を取得する取得部１７の一例として、光切断方式のレーザ変位計を挙げたが、本発明はこれに限定されない。例えば、取得部１７は、ＴｏＦ(Time of Flight)センサ、多眼カメラ、パターン照明法、構造化照明法等により上記三次元情報を取得する構成でもよい。また、取得部１７は、紙束２１に対して発せられる音を利用して、紙束２１の形状に関する情報を取得する構成でもよい。具体的には、取得部１７は、紙束２１の表面に向けて音波を発信し、紙束２１の表面で反射した音波を受信することにより、紙束２１の形状に関する三次元情報を取得する。上述した光又は音を利用する方式は、いずれも非接触方式であるため、紙束２１の形状を崩すことなく、上記三次元情報を取得できる。また、取得部１７は、紙束２１に接触する当接部材を利用して、紙束２１の形状に関する情報を取得する構成でもよい。当接部材は、例えば、プローブである。当接部材を利用する場合は、紙束２１の形状を崩さない程度の接触圧で当接部材を紙束２１に接触させる。

【0031】

検品用コンピュータ１８は、紙束の検品に用いられるコンピュータである。検品用コンピュータ１８は、ＧＰＵ(Graphics Processing Unit)、ＣＰＵ（Central Processing Unit）等のプロセッサ、及び、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の記憶部を備える。検品用コンピュータ１８によって実現される各機能については後述する。

【0032】

図４は、本発明の実施形態に係る検品システムの一部の構成を示す機能ブロック図である。
図４に示すように、検品システム１０は、上述した取得部１７、検品用コンピュータ１８、メディアセンサ２０、及び、操作部２６を備えている。検品用コンピュータ１８は、前処理部３１と、判定部３２と、記録部３３とを備えている。前処理部３１は、取得部１７により取得される三次元情報を取り込んで前処理する。前処理部３１は、前処理によって生成される情報（データ）を判定部３２に送る。前処理部３１は、正規化処理部３５と、画像化処理部３６とを有する。前処理部３１で前処理された情報は、学習モデル３７に入力される。

【0033】

正規化処理部３５は、取得部１７によって取得される三次元情報を紙束の厚みと大きさに応じて正規化する。正規化は、前処理の一つとして行われる。正規化とは、正規化の対象となる値を、一定のルールに基づいて一定の範囲に変換する処理をいう。取得部１７によって取得される三次元情報は、前述したように、紙束の面方向の形状に関する情報と、紙束の高さ方向の形状に関する情報とを含む。また、紙束の面方向の形状に関する情報には、紙束の縦横の大きさを表す数値が含まれる。紙束の縦横の大きさは、紙束の長辺及び短辺の長さと言い換え可能である。一方、紙束の高さ方向の形状に関する情報には、紙束の厚みを表す数値が含まれる。紙束の厚みは、紙束の高さと言い換え可能である。

【0034】

画像化処理部３６は、取得部１７によって取得される三次元情報を画像化する。画像化は、前処理の一つとして行われる。画像化は、取得部１７によって取得される三次元情報を、画像として取り扱えるようにするための処理である。このため、画像化は、三次元情報を二次元情報に変換する処理、すなわち二次元化でもある。ただし、三次元情報を画像化することによって生成される画像には、紙束の高さ方向の形状に関する情報が含まれる。画像化によって生成される画像の具体例としては、二次元ヒートマップ又は二次元等高線を挙げることができる。つまり、上記三次元情報は、二次元ヒートマップ又は二次元等高線で表される。

【0035】

二次元ヒートマップは、二つに分けられる。一つは、高低の違いを色の違いで表す画像である。この場合、二次元ヒートマップは、Ｒ（赤），Ｇ（緑），Ｂ（青）の３層構造を有するヒートマップ画像となる。本実施形態においては、一例として、画像化処理部３６により画像化される三次元情報が、上記３層構造を有するヒートマップ画像で表されるものとする。もう一つは、高低の違いを明暗の違い、すなわち単色グラデーションで表す画像である。この場合、二次元ヒートマップは、１層構造のヒートマップ画像となる。単色グラデーションで表される二次元ヒートマップは、例えば、モノクロヒートマップである。図５は、良品の紙束に対応するモノクロヒートマップの例を示す図である。図６は、不良品の紙束に対応するモノクロヒートマップの例を示す図である。

【0036】

二次元等高線は、高低の違いを等高線の密度の違いで表す画像である。等高線の密度は、等高線の間隔が狭くなるほど高くなる。図７は、良品の紙束に対応する二次元等高線の例を示す図である。図８は、不良品の紙束に対応する二次元等高線の例を示す図である。
なお、三次元情報を画像化することによって生成される画像は、二次元ヒートマップと二次元等高線とを組み合わせた画像でもよい。

【0037】

判定部３２は、取得部１７によって取得された三次元情報に基づいて紙束の検品を行う。取得部１７は、後加工機１４よりも通紙方向Ａの下流側に配置されている。このため、判定部３２は、後加工機１４により加工処理された紙束の検品を行う。また、判定部３２は、学習モデル３７を用いて紙束の検品を行う。判定部３２が行う紙束の検品では、検品対象の紙束が良品であるか否かを判定する。判定部３２は、学習モデル３７を用いた推論によって紙束の良否を判定する。上述のように取得部１７が第１取得部１７ａと第２取得部１７ｂとを有する場合、判定部３２は、紙束の表側と裏側の両方を検品できる。判定部３２による判定方法については後述する。

【0038】

学習モデル３７は、ディープラーニングモデル（ＤＬＭ；Deep Learning Module）である。ディープラーニングモデルは、ディープラーニングによって作成される学習モデルである。紙束の検品にディープラーニングモデルを用いることにより、不良品の紙束を人間のように検出可能になる。ディープラーニングモデルには、正規化処理部３５によって正規化されたデータが用いられる。また、ディープラーニングモデルには、画像化処理部３６によって画像化されたデータが用いられる。

【0039】

本実施形態においては、上記ディープラーニングモデルとして、教師なし学習方式のモデルを用いる。教師なし学習方式のモデルを用いる場合は、紙束を検品するにあたって、不良品の定義が不要になる。このため、事前に想定していない不良品の紙束を検出可能になる。

【0040】

本実施形態においては、上記ディープラーニングモデルとして、オートエンコーダを用いる。オートエンコーダは、教師なし学習方式のモデルに属する。オートエンコーダは、入力データと出力データが同じになるように学習させるモデルである。本実施形態においては、上記ディープラーニングモデルとして、畳み込みオートエンコーダを用いる。畳み込みオートエンコーダは、畳み込みニューラルネットワークを用いたオートエンコーダである。畳み込みオートエンコーダは、画像の学習に適したオートエンコーダである。

【0041】

記録部３３は、検品対象の紙束を判定部３２が不良品と判定した場合に、当該不良品に関する情報を記録する。不良品に関する情報には、例えば、不良品が発生した時刻、不良品における不良箇所などの情報が含まれる。記録部３３には、判定部３２が不良品を検出するたびに、不良品に関する情報（データ）が蓄積される。記録部３３に蓄積されたデータは、例えば、機械学習のために活用できる。

【0042】

続いて、紙束の検品に用いられる学習モデル３７の構築方法について説明する。
学習モデル３７は、検品システム１０を使って構築してもよいし、検品システム１０とは別のシステムを使って構築してもよい。本実施形態においては、好ましい例として、検品システム１０を使って学習モデル３７を構築する。

【0043】

まず、作業者は、ディープラーニングに必要な数の紙束２１を用意する。用意する紙束２１は、すべて良品の紙束２１ａである。本実施形態においては、良品の紙束２１ａだけを用いた教師なし学習、すなわち良品学習により、学習モデル３７を構築する。

【0044】

図９は、良品学習の流れを説明する模式図である。
図９に示すように、良品の紙束２１ａは、通紙方向Ａに間隔をあけて束搬送機１５の上に載せられる。また、良品の紙束２１ａは、束搬送機１５の駆動によって通紙方向Ａに搬送される。このとき、取得部１７は、各々の紙束２１ａの形状に関する三次元情報（三次元データ）を順に取得する。

【0045】

取得部１７が取得した三次元情報は、画像化処理部３６によって画像化（二次元化）されることにより、二次元ヒートマップ４０ａに変換される。変換された二次元ヒートマップ４０ａは、ＡＩモデル３７ａに入力される。ＡＩモデル３７ａは、画像ＡＩ(Artificial Intelligence)として機能するモデルである。ＡＩモデル３７ａは、学習前又は学習中のモデルでもある。ＡＩモデル３７ａは、入力された画像と同じ画像を復元するように学習される。

【0046】

本実施形態においては、ＡＩモデル３７ａとして畳み込みオートエンコーダを用いる。畳み込みエンコーダは、入力データを次元圧縮によって低次元データに変換するエンコーダと、低次元データから画像を復元するデコーダとを備える。これにより、ＡＩモデル３７ａは、元の画像と同じ画像を、少ない情報量で復元するように学習される。このため、畳み込みエンコーダを用いたＡＩモデル３７ａが出力する画像は、元の画像の主要な特徴のみを復元した画像になる。学習済みのＡＩモデル３７ａは、学習モデル３７として紙束の検品に用いられる。

【0047】

図１０は、学習モデル３７を用いた推論の流れを説明する模式図である。
図１０に示すように、束搬送機１５によって搬送される複数の紙束２１の中には、良品の紙束２１ａの他に、不良品の紙束２１ｂが含まれることがある。その際、各々の紙束２１ａ，２１ｂの三次元情報を取得部１７によって順に取得し、取得した三次元情報を、画像化処理部３６によって画像化（二次元化）すると、異なる二次元ヒートマップ４０ａ，４０ｂが得られる。二次元ヒートマップ４０ａは、良品の紙束２１ａの三次元情報を画像化して得られるヒートマップである。二次元ヒートマップ４０ｂは、不良品の紙束２１ｂの三次元情報を画像化して得られるヒートマップである。

【0048】

二次元ヒートマップ４０ａを学習モデル３７に入力すると、学習モデル３７は、上記良品学習に基づく推論により画像４０ｃを生成する。良品学習では、良品の紙束２１ａだけを用いて学習する。このため、学習モデル３７が生成する画像４０ｃは、元の画像である二次元ヒートマップ４０ａと実質的に同じ画像になる。したがって、図１１に示すように、学習モデル３７に入力する画像である元画像４０ａと、学習モデル３７が生成する画像である生成画像４０ｃとの差分は、ほぼゼロになる。このように元画像４０ａと生成画像４０ｃに差分がない場合、判定部３２は、検品対象の紙束２１ａを良品と判定する。

【0049】

これに対し、二次元ヒートマップ４０ｂを学習モデル３７に入力すると、学習モデル３７は、上記良品学習に基づく推論により画像４０ｄを生成する。このとき、学習モデル３７は、良品学習によって抽出された特徴にしたがって元の画像を復元しようとする。ただし、良品学習では、不良品の情報を学習していない。このため、学習モデル３７は、不良品の紙束２１ｂに存在する不良箇所を復元できない。よって、学習モデル３７が生成する画像４０ｄは、元の画像である二次元ヒートマップ４０ｂと実質的に異なる画像になる。したがって、図１２に示すように、元画像４０ｂと生成画像４０ｄとの差分は、ゼロにならない。このように元画像４０ｂと生成画像４０ｄに差分がある場合、判定部３２は、検品対象の紙束２１ｂを不良品と判定する。

【0050】

ここで、図１３に示すように、紙束２１ｂに４つの不良箇所Ｐ１，Ｐ２，Ｐ３，Ｐ４が存在する場合を考える。不良箇所Ｐ１では、ステープル針２が正常に打ち込まれず座屈し、ステープル針２の一部が紙束２１ｂの縁からはみ出している。不良箇所Ｐ２では、紙束２１ｂに折れが生じている。紙束２１ｂに折れが生じた場合は、折れが生じていない良品の紙束２１ａに比べて、折れた部分の高さが低くなる。不良箇所Ｐ３及び不良箇所Ｐ４では、いずれも紙束２１ｂの縁が不揃いに重なり合っている。この場合、学習モデル３７は、各々の不良箇所Ｐ１，Ｐ２，Ｐ３，Ｐ４を復元できない。このため、上記図１２に示すように、元画像４０ｂと生成画像４０ｄとの差分には、異常な特徴部分３ａ，３ｂ，３ｃ，３ｄが残る。異常な特徴部分３ａは、上記不良箇所Ｐ１の位置に現れる。異常な特徴部分３ｂは、上記不良箇所Ｐ２の位置に現れる。異常な特徴部分３ｃは、上記不良箇所Ｐ３の位置に現れる。異常な特徴３ｄは、上記不良箇所Ｐ４の位置に現れる。これにより、判定部３２は、上記差分の有無によって不良品を検出できるとともに、検出した不良品における不良箇所を特定できる。

【0051】

図１４は、学習モデル３７の構築方法の一例を示すフローチャートである。
まず、検品用コンピュータ１８は、上記良品学習に使用する紙束に関する情報として、紙束の表紙の坪量と、紙束を構成する用紙の枚数を取得する（ステップＳ１）。紙束の表紙は紙製であるが、複数枚の記録媒体を含む束の表紙は、必ずしも紙製でなくてもよい。坪量と枚数の情報は、ユーザーが操作部２６を介して入力してもよい。本実施形態においては、良品学習に使用する紙束の個数をＭ個とする。良品学習に使用するＭ個の紙束に関して、上記坪量及び上記枚数は共通である。

【0052】

次に、取得部１７は、上記良品学習に使用するＭ個の紙束のうち、１つの紙束の三次元情報を取得する（ステップＳ２）。良品学習に使用する紙束の個数は、ディープラーニングによるモデルの学習に必要な紙束の数に応じて決まる。

【0053】

次に、正規化処理部３５は、上記ステップＳ２で取得部１７が取得した三次元情報を正規化する（ステップＳ３）。
ここで、正規化の具体例について説明する。
正規化の対象となる三次元情報は、紙束の形状に関する情報である。この三次元情報には、紙束の面方向の形状に関する情報と、紙束の高さ方向の形状に関する情報とが含まれる。このため、三次元情報の正規化は、紙束の面方向と、紙束の高さ方向の両方で行われる。

【0054】

図１５は、紙束の面方向で行われる正規化を説明する図である。なお、図１５では説明の便宜上、紙束の面方向の形状を二次元の画像で示している。
図１５に示すように、正規化前の紙束の大きさ（Ｈａ×Ｗａ）は、面方向の正規化により、予め決められた一定範囲の大きさ（Ｈｂ×Ｗｂ）に変換される。そして、上記図９に示す学習時には、面方向の正規化によって一定範囲の大きさ（Ｈｂ×Ｗｂ）に変換された二次元ヒートマップ４０ａがＡＩモデル３７ａに入力される。また、上記図１０に示す推論時にも、面方向の正規化によって一定範囲の大きさ（Ｈｂ×Ｗｂ）に変換された二次元ヒートマップ４０ａ，４０ｂが学習モデル３７に入力される。これにより、学習時と推論時で、二次元ヒートマップの大きさを揃えることができる。

【0055】

図１６は、紙束の高さ方向で行われる正規化を説明する図である。なお、図１６では説明の便宜上、紙束の高さ方向の形状を二次元の画像で示している。
図１６に示すように、正規化前の紙束の高さ寸法（厚み寸法）Ｔａは、高さ方向の正規化により、予め決められた一定範囲の高さ寸法Ｔｂに変換される。そして、上記図９に示す学習時には、高さ向の正規化によって一定範囲の高さ寸法Ｔｂに変換された二次元ヒートマップ４０ａがＡＩモデル３７ａに入力される。また、上記図１０に示す推論時にも、高さ方向の正規化によって一定範囲の高さ寸法Ｔｂに変換された二次元ヒートマップ４０ａ，４０ｂが学習モデル３７に入力される。これにより、学習時と推論時で、二次元ヒートマップの高さ（厚み）を揃えることができる。

【0056】

このように三次元情報を正規化することにより、大きさが異なる紙束や厚みが異なる紙束を、同じ学習モデルを用いて検品できる。なお、紙束の高さ方向で正規化する場合は、紙束全体を一律の倍率で正規化してもよいし、紙束の高い箇所と低い箇所で倍率を変えて正規化してもよい。

【0057】

再び図１４に戻って説明する。
次に、画像化処理部３６は、上記ステップＳ３で正規化した三次元情報を画像化する（ステップＳ４）。ステップＳ４では、三次元情報を画像化することにより、当該三次元情報が二次元ビットマップに変換される。

【0058】

次に、検品用コンピュータ１８は、学習用の画像である二次元ビットマップをＭ個用意できたか否かを判断する（ステップＳ５）。そして、ステップＳ５で検品用コンピュータ１８が否定判断した場合は、ステップＳ５からステップＳ２に戻る。ステップＳ５で検品用コンピュータ１８が否定判断する場合とは、言い換えると、学習用の画像の準備を終えていない場合である。また、ステップＳ５で検品用コンピュータ１８が肯定判断した場合は、ステップＳ５からステップＳ６に進む。ステップＳ５で検品用コンピュータ１８が肯定判断する場合とは、言い換えると、学習用の画像の準備を終えた場合である。

【0059】

ステップＳ６において、検品用コンピュータ１８は、Ｍ個の画像（二次元ヒートマップ）を用いて、上記図９に示すＡＩモデル３７ａに良品学習させる。具体的には、Ｍ個の二次元ヒートマップをそれぞれ入力画像としてＡＩモデル３７ａに入力し、すべての二次元ヒートマップについて、ＡＩモデル３７ａが入力画像と同じ画像を出力するように学習させる。

【0060】

次に、検品用コンピュータ１８は、学習済みのＡＩモデル３７ａを学習モデル３７として学習データベース４２（図１参照）に保存する（ステップＳ７）。これにより、学習データベース４２には、上記坪量と上記枚数の組み合わせで学習されたモデルが保存される。学習データベース４２は、検品用コンピュータ１８が備えるデータベースの一つである。

【0061】

上記図１４に示す処理フローは、上記坪量と上記枚数の組み合わせ毎に行われる。これにより、学習データベース４２には、上記図１に示すように、上記坪量と上記枚数の組み合わせ毎に学習されたモデルが保存される。

【0062】

このように、紙束の表紙の坪量及び紙束を構成する用紙の枚数の組み合わせ毎に学習されたモデルを学習データベース４２に保存する理由は、下記のとおりである。
まず、複数枚の用紙をそれぞれ折り処理して重ね合わせた冊子等の紙束を考える。この紙束の高さ方向の形状は、紙束の表紙の坪量の影響を大きく受ける。このため、図１７に示すように、表紙の坪量と本身の坪量が共に小さい紙束２１と、表紙の坪量が大きくて本身の坪量が小さい紙束２１では、紙束の高さ方向の形状が異なる。また、取得部１７が紙束の高さ方向で高低を観測するのは、紙束２１の最も外側に配置される記録媒体、すなわち表紙である。また、上記紙束の高さ方向の形状は、紙束を構成する用紙の枚数の影響を大きく受ける。このため、図１８に示すように、用紙の枚数が多い紙束２１と、用紙の枚数が少ない紙束２１では、紙束の高さ方向の形状が異なる。

【0063】

以上のことから、学習モデル３７を用いて判定部３２が紙束を検品する場合は、紙束の表紙の坪量及び紙束を構成する用紙の枚数の組み合わせに対応するモデルを参照することが好ましい。そこで本実施形態においては、紙束の表紙の坪量及び紙束を構成する用紙の枚数の組み合わせ毎に学習されたモデルを学習データベース４２に保存することにより、上記参照するモデルを判定部３２が学習データベース４２から読み出せるようにしている。

【0064】

図１９は、本発明の実施形態に係る検品システムを用いて紙束を検品する方法の一例を示すフローチャートである。図１９に示すフローチャートの処理は、紙束ごとに行われる。

【0065】

まず、検品用コンピュータ１８は、検品対象の紙束に関する情報として、紙束の表紙の坪量と、紙束を構成する用紙の枚数を取得する（ステップＳ１１）。紙束の表紙の坪量は、メディアセンサ２０から取得可能である。紙束を構成する用紙の枚数は、操作部２６から取得可能である。

【0066】

次に、取得部１７は、検品対象の紙束の三次元情報を取得する（ステップＳ１２）。このとき取得部１７が三次元情報を取得する紙束は、後加工機１４によって加工処理された紙束である。

【0067】

次に、正規化処理部３５は、上記ステップＳ１２で取得部１７が取得した三次元情報を正規化する（ステップＳ１３）。三次元情報の正規化については、上記図１５及び図１６を用いて説明したとおりである。

【0068】

次に、画像化処理部３６は、上記ステップＳ１３で正規化した三次元情報を画像化する（ステップＳ１４）。ステップＳ１４では、三次元情報を画像化することにより、当該三次元情報が二次元ビットマップに変換される。

【0069】

次に、判定部３２は、学習モデル３７を用いて紙束を検品する（ステップＳ１５）。紙束を検品するにあたって、判定部３２は、まず、上記ステップＳ１１で取得した上記坪量と上記枚数の組み合わせに対応する学習モデル３７を学習データベース４２から読み出す。次に、判定部３２は、検品用の画像である二次元ヒートマップを学習モデル３７に入力する。これにより、学習モデル３７は、上記良品学習に基づく推論により画像を生成する。次に、判定部３２は、元画像と生成画像の差分を求める。そして、当該差分がない場合（図１１参照）、判定部３２は、検品対象の紙束を良品と判定する。また、当該差分がある場合（図１２参照）、判定部３２は、検品対象の紙束を不良品と判定する。また、不良品と判定した紙束に関して、少なくとも１つの不良箇所が、ステープル針２を打ち込む位置又はその近傍である場合、判定部３２は、当該不良箇所をステープル処理に関する不良と判定する。

【0070】

次に、システム制御部２７は、検品対象の紙束が不良品であったか否かを、上記ステップＳ１５における判定部３２の判定結果に基づいて判断する（ステップＳ１６）。ステップＳ１６でシステム制御部２７が肯定判断した場合は、ステップＳ１７に進む。

【0071】

ステップＳ１７において、システム制御部２７は、ステープル処理に関する不良であったか否かを、上記ステップＳ１５における判定部３２の判定結果に基づいて判断する。具体的には、上記ステップＳ１５において判定部３２がステープル処理に関する不良を検出した場合、システム制御部２７は、システムの動作を停止する（ステップＳ１８）。これにより、検品システム１０が備える給紙機１１、印刷機１２、画像検査機１３、後加工機１４、束搬送機１５等の動作が停止する。ステープル処理に関する不良は、一度発生すると連続して発生する傾向にある。このため、判定部３２がステープル処理に関する不良を検出した場合は、後加工機１４のメンテナンスのためにシステム動作を停止させることが好ましい。

【0072】

また、上記ステップＳ１５において判定部３２がステープル処理に関する不良を検出しなかった場合、排出機構１６は、システム制御部２７からの制御指令を受けて、紙束の搬送先を切り替える（ステップＳ１９）。具体的は、排出機構１６は、第１の姿勢から第２の姿勢に変換することにより、紙束の搬送先を良品回収部から不良品回収部に切り替える。これにより、図１に示すように、不良品の紙束２１は、自重落下等によって不良品回収部に回収される。したがって、判定部３２が不良品の紙束を検出した場合でも、検品システム１０は、システムの動作を停止させずに、冊子等の生産を継続できる。

【0073】

また、上記ステップＳ１８の処理を終えた場合、又は、上記ステップＳ１９の処理を終えた場合、あるいは上記ステップＳ１６でシステム制御部２７が否定判断した場合は、その時点で一連の処理を終える。

【0074】

なお、図１には示していないが、検品システム１０は、排出機構１６に代えて、又は、排出機構１６に加えて、マーキング部を備えた構成でもよい。マーキング部は、判定部３２による検品結果に応じて紙束にマーキングを施す。具体的には、マーキング部は、判定部３２が不良品であると判定した紙束にマーキングを施す。マーキング方式は、紙束が良品であるか不良品であるかを人が目視で識別可能な方式であれば、どのような方式でもよい。マーキング方式の具体例としては、紙束にマークを印刷する、紙束に付箋紙を貼る、などの方式が考えられる。検品システム１０がマーキング部を備えることにより、判定部３２が不良品の紙束を検出した場合でも、検品システム１０は、システムの動作を停止させずに、冊子等の生産を継続できる。

【0075】

以上述べたように、本発明の実施形態に係る検品システム１０及び検品方法によれば、紙束の検品作業を人手に頼らなくても、紙束を自動で検品できる。これにより、冊子製本の製作工程の自動化を図ることができる。

【0076】

また、取得部１７は、紙束の三次元情報を取得するため、紙束の面方向以外、すなわち高さ方向の形状に関する情報が得られる。これにより、紙束を真上から撮影した写真などでは検出できない不良についても、判定部３２で検出可能になる。上記写真などでは検出できない不良には、用紙の折れや破れなど不良がある。

【0077】

また、冊子製本の検品としては冊子の折れや破れといった外形の変形、ステープル針の空打ちや座屈などが挙げられる。従来手法であるパターンマッチング等の技術では、検知する不良パターンを手動で定義する必要がある。このため、パターンマッチング等の技術では、定義していない未知の不良パターンに対応することが困難であった。また、被検査画像と正解画像とを比較する従来手法では、入力データの曖昧さに対する許容範囲が狭く、不良閾値の設定が困難である。

【0078】

これに対して、本発明の実施形態に係る検品システム１０では、ディープラーニングモデルである学習モデル３７を用いて判定部３２が紙束を検品する。このため、曖昧さを含めて人間に近い感覚で良否判断を行える。特にデジタル印刷においては、１冊から冊子を製作ことが可能であるため、上記パターンマッチング等のように、その都度、不良パターンを定義することは事実上不可能である。よって、ディープラーニングモデルを用いて束を検品することは非常に効果が高い。

【0079】

また、取得部１７は、後加工機１４の下流側で紙束２１の三次元情報を取得し、判定部３２は、後加工機１４により加工処理された紙束２１の検品を行う。これにより、加工処理と紙束２１の検品が、インラインで行われる。このため、人を介することなく、紙束２１を検品できる。

【0080】

また、後加工機１４は、印刷機１２により画像が印刷された複数の用紙を紙束に加工処理する。これにより、上述した加工処理と紙束２１の検品に加えて、画像の印刷もインラインで行われる。このため、印刷機１２から後加工機１４までの用紙の移動によるミスやヤレの発生を抑制できる。したがって、検品システム１０によれば、システムとしての信頼性を高めることができるとともに、自動化及び省力化を実現することができる。

【0081】

また、後加工機１４は、画像検査機１３の下流側に配置されている。このため、紙束を構成する各用紙の画像を画像検査機１３により検査してから、後加工機１４による加工処理と、判定部３２による紙束の検品とが行われる。これにより、各用紙の画像を含めて、紙束全体を検査可能になる。

【0082】

＜変形例等＞
本発明の技術的範囲は、上述した実施形態に限定されるものではない。本発明の技術的範囲は、発明の構成要件やその組み合わせによって得られる特定の効果を導き出せる範囲において、種々の変更や改良を加えた形態も含む。

【0083】

例えば、上記実施形態においては、取得部１７が取得する情報の一例として、三次元情報を例に挙げて説明したが、本発明はこれに限らない。取得部１７が取得する情報は、二次元情報でもよい。二次元情報を取得する取得部１７の例としては、例えば、カメラ、スキャナなどを挙げることができる。また、取得部１７が取得する情報が二次元情報である場合は、紙束を撮影するカメラの配置を工夫することにより、判定部３２で検出可能な紙束の不良項目を増やすことができる。具体的には、紙束を斜め方向からカメラによって撮影することにより、判定部３２で検出可能な紙束の不良項目を増やすことができる。また、紙束を鉛直上方と水平方向からそれぞれカメラによって撮影することにより、判定部３２で検出可能な紙束の不良項目を増やすことができる。

【0084】

また、上記実施形態においては、ディープラーニングモデルである学習モデル３７を用いて紙束の検品を行う場合に、判定部３２は、紙束の表紙の坪量及び紙束を構成する用紙の枚数の組み合わせに対応するモデルを参照するが、本発明はこれに限らない。例えば、判定部３２は、紙束の表紙の坪量に対応するモデルを参照してもよい。この場合は、紙束の検品に使用するディープラーニングモデルとして、紙束の表紙の坪量毎に学習されたモデルを学習データベース４２に保存しておけばよい。また、判定部３２は、紙束を構成する用紙の枚数に対応するモデルを参照してもよい。この場合は、紙束の検品に使用するディープラーニングモデルとして、紙束を構成する用紙の枚数ごとに学習されたモデルを学習データベース４２に保存しておけばよい。

【0085】

また、検品用コンピュータ１８によって実現される機能の一部は、ネットワークを介して検品用コンピュータ１８と通信可能な外部のコンピュータが備えていてもよい。例えば、学習モデル３７を保存する学習データベース４２は、上記外部のコンピュータが備えていてもよい。そして、判定部３２は、検品用コンピュータ１８と外部のコンピュータとの間で画像等のデータをやり取りすることにより、紙束の検品を行ってもよい。

【0086】

また、本発明は、検品システム及び検品方法に限らず、検品プログラム、又は、検品プログラムを記憶したコンピュータ読み取り可能な記憶媒体としても提供できる。検品プログラムは、加工処理された複数枚の記録媒体を含む束の形状に関する情報を取得する取得工程と、取得工程により取得した上記情報に基づいて上記束の検品を行う判定工程と、をコンピュータに実行させるためのプログラムである。また、上記コンピュータ読み取り可能な記憶媒体は、例えば、ＣＤ－ＲＯＭなどである。

【符号の説明】

【0087】

１…用紙（記録媒体）
１０…検品システム
１２…印刷機（印刷部）
１３…画像検査機（画像検査部）
１４…後加工機（加工部）
１６…排出機構（排出部）
１７…取得部
１７ａ…第１取得部
１７ｂ…第２取得部
１８…検品用コンピュータ
２１…紙束（束）
２７…システム制御部
３１…前処理部
３２…判定部
３３…記録部
３５…正規化処理部
３６…画像化処理部
３７…学習モデル（ディープラーニングモデル）
４２…学習データベース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】