特開 2020-144502 分類システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2020-144502(P2020-144502A)

(43)【公開日】2020年9月10日

(54)【発明の名称】分類システム

(51)【国際特許分類】

   G06F 16/906 20190101AFI20200814BHJP

【ＦＩ】

   G06F16/906

【審査請求】有

【請求項の数】7

【出願形態】ＯＬ

【全頁数】11

(21)【出願番号】特願2019-39332(P2019-39332)

(22)【出願日】2019年3月5日

(71)【出願人】

【識別番号】502351659

【氏名又は名称】株式会社医療情報技術研究所

(74)【代理人】

【識別番号】100196760

【弁理士】

【氏名又は名称】大野 浩司

(72)【発明者】

【氏名】姫野 信吉

(57)【要約】      （修正有）

【課題】分類ごとの属性データベースを構築しておき（分類属性記録手段）、得られた分類候補リストの個々の分類候補に対して、当該分類の属性に適合するかどうかの突合を行う検証手段を設けることで、当該分類の妥当性を検証するとともに、分類の根拠を説明可能にする。
【解決手段】分類属性記録手段は、分類の判断材料を得る分類材料取得手段と、前記分類の判断材料から分類を行う分類手段と、前記分類手段で得られた分類候補リストの個々の分類候補に対して、当該分類候補に対する属性を予め記録した分類属性記録手段を用いて、当該分類の妥当性を検証する分類妥当性検証手段を備えている。
【選択図】図１

【特許請求の範囲】

【請求項1】

分類の判断材料を得る分類材料取得手段と、前記分類の判断材料から分類を行う分類手段と、前記分類手段で得られた分類候補リストの個々の分類候補に対して、当該分類候補に対する属性を予め記録した分類属性記録手段を用いて、当該分類の妥当性を検証する分類妥当性検証手段を備えたことを特徴とする分類システム。

【請求項2】

前記属性には、当該分類の参照画像を含むことを特徴とする請求項１記載の分類システム。

【請求項3】

前記分類属性記録手段は、分類間の親子関係をツリー状に表現し、親分類の属性を子分類の属性に継承する分類属性ツリー状記録手段を有することを特徴とする請求項１ないし２いずれか記載の分類システム。

【請求項4】

前記分類妥当性検証手段は、前記分類属性記録手段による当該分類候補の属性に関して、分類材料取得手段で得られた分類材料と比較検討し、当該分類の信頼性を評価する分類信頼性評価手段を有することを特徴とする請求項１ないし３いずれか記載の分類システム。

【請求項5】

画像の分類においては、前記分類属性記録手段に記録されている当該分類候補の少なくとも１つの参照画像と、分類材料取得手段で得られた分類対象の画像とを比較検討し、当該分類の信頼性を評価する分類信頼性評価手段を有することを特徴とする請求項１ないし４いずれか記載の分類システム。

【請求項6】

前記分類信頼性評価手段は、任意の数値を分類信頼性評価基準として設定可能な分類信頼性評価基準設定手段を有し、得られた当該分類の信頼性が当該分類信頼性評価基準を越えれば当該分類を分類結果とすることを特徴とする請求項４ないし５いずれか記載の分類システム。

【請求項7】

前記分類妥当性検証手段は、前記分類属性記録手段による当該分類候補の属性に関し、分類材料取得手段に対して追加の分類材料を要求する追加分類材料要求手段を有することを特徴とする請求項１ないし６いずれか記載の分類システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、大量の画像や観察データなど（いわゆるビッグデータ）を用いて、得られた画像や観察データがどの分類に属するかを判定する分類システムに関する。

【背景技術】

【0002】

インターネットの発達、普及、さらにクラウドと呼ばれる大容量の記録や並列計算技術の発達に伴い、従来は不可能であった大量のデータ処理が可能となってきている。画像や観察データなどと、その正しい分類（教師データ）の組み合わせを大量に処理（学習）して分類器を構成し、新たに得られた画像や観察データから、そのデータがどの分類に属するかを推定する分類システムが、とりわけ深層学習と呼ばれる手法を契機として開発が急速に進んでいる。

【0003】

画像認識の領域では、人の顔の映像から誰であるかを識別したり、怒りや悲しみなどの感情を読み取ったりするなどの技術が進んでいる。物体認識では、画像に写っている物の種類を推定する技術が進んでいる。医療分野では、レントゲン写真やＣＴ、顕微鏡画像などの医療画像から、癌などの存在を識別する研究も盛んである。

【0004】

同様に、大量の財務データや経済データを用いて深層学習を行い、企業の信用度を判定したり、株価の上昇や下落を予測したりする研究も盛んである。医療分野では、多数の患者の訴える症状や検査所見の大量データを用いて、ある症状や所見を有する患者の疾患名を予測したり、有効な治療法を推定したりする研究も進んでいる。
この出願に関連する先行技術文献としては次のものがある。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開2018-175226号公報

【特許文献2】特開2019-3396号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

画像の認識に関しては、対象物体の背景によって認識が困難になったり、誤認識をしてしまったりすることが知られるようになってきた。さらに深層学習の特性を悪用して、似ても似つかない映像を同一の物体と誤認識させたり、人間から見れば全く同一であるのに、全くの別物と誤認識させたりすることもできることも分かってきた。

【0007】

画像の深層学習では、対象画像を格子状の小領域に分割し、その小領域内の個々の画素に演算を施し、それらを続く層で徐々に統合してゆくことで、例えば人物の顔の位置や大きさによらない認識を可能としている。この特性を悪用して、個々の小領域を、本来の位置から異なる位置に入れ替えてしまうと、人間の目からは得体のしれない模様にしか見えないが、元の同じ人物と誤認識されてしまう。同様に、個々の小領域内の画素を入れ替えると、人間の目からは全く同一人物の画像に見えても、まったく別人物と認識されてしまう。

【0008】

また、ビッグデータを解析すれば全ての問題は解決するかのような幻想があった。
しかし、それぞれの分野で長い時間をかけて形成されてきた思考の枠組みの有用性は強固である。いかに大量とはいえ、事前に内部論理構造を一切仮定せずに、全てのデータをフラットにして解析しても、既に知られているありきたりの知見の再確認や、意味がつけにくい相互関係の指摘に留まることが少なくない。

【0009】

さらに法的な問題も指摘されている。
深層学習等では、多数の層からなるニューラルネットワークが使用される。
認識結果が出ても、なぜその認識となったのかを人間が理解することが困難である。
認識精度が上がったとはいえ、100％ではないので、必ず誤認識が発生するが、その責任は、その認識結果を利用した人間が負うしかない。
その際に、なぜ当該認識に至ったかを第三者に説明できなければ、利用する人間に損害賠償などのリスクが生じてしまい、実用性には限界がある。

【0010】

本発明はかかる従来の問題点を解決するためになされたものであって、その目的とするところは、分類ごとの属性データベースを構築しておき（分類属性記録手段）、得られた分類候補リストの個々の分類候補に対して、当該分類の属性に適合するかどうかの突合を行う検証手段を設けることで、当該分類の妥当性を検証するとともに、分類の根拠を説明可能にする分類システムを提供することである。

【課題を解決するための手段】

【0011】

前記目的を達成するための手段として、請求項１記載の分類システムでは、分類の判断材料を得る分類材料取得手段と、前記分類の判断材料から分類を行う分類手段と、前記分類手段で得られた分類候補リストの個々の分類候補に対して、当該分類候補に対する属性を予め記録した分類属性記録手段を用いて、当該分類の妥当性を検証する分類妥当性検証手段を備えたことを特徴とする。

【0012】

請求項２記載の分類システムでは、請求項１記載の分類システムにおいて、前記属性には、当該分類の参照画像を含むことを特徴とする。

【0013】

請求項３記載の分類システムでは、請求項１ないし２いずれか記載の分類システムにおいて、前記分類属性記録手段は、分類間の親子関係をツリー状に表現し、親分類の属性を子分類の属性に継承する分類属性ツリー状記録手段を有することを特徴とする。

【0014】

請求項４記載の分類システムでは、請求項１ないし３いずれか記載の分類システムにおいて、前記分類妥当性検証手段は、前記分類属性記録手段による当該分類候補の属性に関して、分類材料取得手段で得られた分類材料と比較検討し、当該分類の信頼性を評価する分類信頼性評価手段を有することを特徴とする。

【0015】

請求項５記載の分類システムでは、請求項１ないし４いずれか記載の分類システムにおいて、画像の分類においては、前記分類属性記録手段に記録されている当該分類候補の少なくとも１つの参照画像と、分類材料取得手段で得られた分類対象の画像とを比較検討し、当該分類の信頼性を評価する分類信頼性評価手段を有することを特徴とする。

【0016】

請求項６記載の分類システムでは、請求項４ないし５いずれか記載の分類システムにおいて、前記分類信頼性評価手段は、任意の数値を分類信頼性評価基準として設定可能な分類信頼性評価基準設定手段を有し、得られた当該分類の信頼性が当該分類信頼性評価基準を越えれば当該分類を分類結果とすることを特徴とする。

【0017】

請求項７記載の分類システムでは、請求項１ないし６いずれか記載の分類システムにおいて、前記分類妥当性検証手段は、前記分類属性記録手段による当該分類候補の属性に関し、分類材料取得手段に対して追加の分類材料を要求する追加分類材料要求手段を有することを特徴とする。

【発明の効果】

【0018】

請求項１記載の分類システムでは、分類材料取得手段を備えたので、分類対象となる情報である画像や、症状、所見などが取得される。
分類手段備えたので、取得された分類材料がそれぞれ所定の分類候補リストに分類される。
分類妥当性検証手段を備えたので、分類手段で得られた分類候補リストの個々の分類候補について、前記分類材料と当該分類の属性とを突合し、当該分類の妥当性を検証する。

【0019】

請求項２記載の分類システムでは、属性には、当該分類の参照画像を含むので、参照画像群と、分類材料の画像を比較して、類似度の評価が行われる。

【0020】

請求項３記載の分類システムでは、分類属性ツリー状記録手段を有するので、親分類の属性を子分類の属性に継承する、記録・検索等の機能性に優れた記録手段が構成される。

【0021】

請求項４記載の分類システムでは、分類信頼性評価手段を有するので、分類属性記録手段による当該分類候補の属性に関して、分類材料取得手段で得られた分類材料と比較検討し、当該分類の信頼性を評価する。

【0022】

請求項５記載の分類システムでは、分類信頼性評価手段を有するので、分類属性記録手段に記録されている当該分類候補の少なくとも１つの参照画像と、分類材料取得手段で得られた分類対象の画像とを比較検討し、当該分類の信頼性を評価する。

【0023】

請求項６記載の分類システムでは、分類信頼性評価基準設定手段を有しているので、任意の数値を分類信頼性評価基準として設定可能であり、得られた分類の信頼性が当該分類信頼性評価基準を越えれば当該分類を分類結果とする。

【0024】

請求項７記載の分類システムでは、追加分類材料要求手段を有するので、分類属性記録手段による当該分類候補の属性に関し、分類材料取得手段に対して追加の分類材料を要求する。

【図面の簡単な説明】

【0025】

【図1】本発明の全体構成の説明図である。

【図2】画像と、その分類の対でニューラルネットワークを用いた分類器の学習を行う説明図である。

【図3】症状所見と、その分類の対でニューラルネットワークを用いた分類器の学習を行う説明図である。

【図4】症状所見と、その分類の対で、症状所見ごとの疾患頻度を用いた分類器の学習を行う説明図である。

【図5】分類属性記録手段の説明図である。

【図6】分類属性ツリー状記録手段の説明図である。

【図7】画像における追加分類材料要求手段の説明図である。

【図8】症状所見における追加分類材料要求手段の説明図である。

【図9】当初の症状所見に加えて、追加分類材料要求手段により症状所見を追加し、分類信頼性が向上し、ついに分類信頼性評価基準を越えて分類が確定する説明図である。

【発明を実施するための形態】

【0026】

図１は、本発明の全体構成の説明図である。
分類材料取得手段では、分類の対象となる情報である画像や、症状、所見などを取得し、分類手段に提供する。分類材料の取得の仕方は、画像であればカメラ映像の直接入力や画像ファイルの読み込み等、いずれの手段を用いてもよい。症状や所見などは、電子カルテの記載や、任意の観測データ、時系列データのファイル読み込み等、いずれでもよい。
提供された分類材料は、分類手段で分類され、１ないし複数の分類候補リストが得られる。候補となりうる分類については、予め、分類ごとに属性を記録しておく（分類属性記録手段）。前記分類手段で得られた分類候補の各々について、前記分類材料と当該分類の属性とを突合し、当該分類の妥当性を検証する（分類妥当性検証手段）。

【0027】

図２は、動物の画像から、その動物の分類を判断する分類システムでの分類器学習の実施例である。
分類材料である画像と、その正解の分類の対を多数用意し、正解率が向上するように分類器の学習を行う。ここでは、深層学習をはじめとするニューラルネットワークを用いた分類手段を示している。

【0028】

図３は、電子カルテなどから得られた症状や所見の一覧ベクトルと、確定された正しい診断名(分類の正解)の多数の対を、ニューラルネットワーク型の分類器の学習に用いた例である。

【0029】

図４は、図３と同様に、電子カルテなどから得られた症状や所見の一覧ベクトルと、確定された正しい診断名(分類の正解)の多数の対を用いて、各症状や所見ごとの診断(分類)名の頻度分布を求める分類器の学習に用いた例である。
各症例の陽性あるいは陰性の症状や所見ごとの診断名出現頻度（事前確率）から、複数の観測された症状、所見の組合せで、ベイズ確率（事後確率）などを援用し、診断名(分類)候補のリストを作成することができる。
すなわち、得られた症状、所見ごとの診断名分布を組み合わせることで、多くの症状、所見から推定される診断名を絞り込むことができる。
なお、症状、所見の間に相関関係がある場合、両者の診断名分布は当然似通ったものとなり、追加情報は少ないものとなるので、その分を減価して評価する必要がある。
この目的のために、症状、所見の組合せペアごとの診断名分布を得ておくことも有用である。
このように、本発明の分類手段の分類器の学習は、深層学習に限定されるものでなく、サポートベクターマシンなどの様々な機械学習、頻度分布を活用したもの等、状況に応じて適切な分類器を用いてよい。

【0030】

図５は、分類属性記録手段の説明図である。分類の項目ごとに様々な属性、画像などが記録されている。属性の種類や配列、属性のカテゴリーやタグ名などは、任意に設定できる。分類ごとの画像の数も任意である。

【0031】

図６は、分類属性ツリー状記録手段の説明図である。
図５に示すように、分類の属性には重複が多い。系統樹のように、共通の分類の項目を、より上位の分類にまとめ、共通の属性を上位の分類の属性にまとまれば、属性の記載量は最小限で済み、検索も容易となる。
子の分類は親の分類の属性を継承するとともに、子の分類独自の属性も保有する。
親の分類から継承した属性を、子の分類レベルで変更し上書きすれば、孫の分類の項目の当該属性は、子の分類の変更された属性を継承する。

【0032】

図７は、画像における分類妥当性検証手段の説明図である。
与えられた分類材料の画像に対して、「猫」、「ワニ」が分類候補として挙がっているとしよう。
分類属性記録手段に記録されている「猫」及び「ワニ」の参照画像群と、分類材料の画像をそれぞれ比較して、類似度の評価を行い、当該分類候補の妥当性を検証し、最も類似度の高い分類候補を妥当な分類と推定する。
分類材料の画像を分類手段にかけ、数千〜数万の分類の中から少数の分類候補を選び出す。なぜ当該分類候補が選ばれたかは通常不明である。
確率過程であるから、当然誤った分類候補である可能性は常時ある。
誤った分類候補を選択しても、説明は困難である。

【0033】

これに対して、本発明の分類妥当性検証手段では、選ばれてきた幾つかの分類候補ごとに、当該分類の分類属性記録手段で既に記録されている参照画像群と突合を行い、類似度の評価から分類の妥当性を検証する。即ち、分類材料の画像を分類器にかけて分類候補リストを得た時点での分類の信頼度は高くなくても、当該分類候補の属性としてあらかじめ記録されている多数の参照画像と当該分類材料の画像を突合させることで、分類の精度は大幅に向上する。
その上、分類属性記録手段に記録されている当該分類の属性の合致の有無を自動/手動で検証することで、分類の妥当性を上昇させると同時に、当該分類の判断理由を構成することができる。
さらに追加分類材料要求手段で、例えば「体毛はあるか？」などを分類材料取得手段側に問い合わせすることができれば、分類候補（図７では「猫」、「ワニ」）間の判別をピンポイントで行うことができる。

【0034】

図８は、症状所見における追加分類材料要求手段の説明図である。
与えられた分類材料である、「腹痛」、「発熱」、「白血球増多」の症状、所見ベクトルに対して、「虫垂炎」、「心筋梗塞」が分類候補として挙がっているとしよう。
分類属性記録手段では、「虫垂炎」及び「心筋梗塞」のそれぞれの分類で、症状、所見ごとの観測頻度が属性として記録されている（ベイズ確率でいう事前確率）。
分類材料取得手段で得られた症状、所見ベクトルを、前記事前確率に適応すれば、当該分類候補が診断名である事後確率を求めることができる。
最も事後確率の高い分類候補を妥当な分類と推定する。

【0035】

分類材料の症状、所見ベクトルを分類手段にかけ、数千〜数万の分類の中から少数の分類候補を選び出す。なぜ当該分類候補が選ばれたかは通常不明である。確率過程であるから、当然誤った分類候補である可能性は常時ある。誤った分類候補を選択しても、説明は困難である。
これに対して、本発明の分類妥当性検証手段では、選ばれてきた幾つかの分類候補ごとに、当該分類の分類属性記録手段で既に記録されている症状、所見の出現頻度（事前確率）と突合を行い、事後確率の評価から分類の妥当性を検証する。
さらに、分類属性記録手段に記録されている当該分類の属性の合致の有無を自動/手動で追加検証することで、分類の妥当性を上昇させると同時に、当該分類の判断理由を構成することができる。

【0036】

なお、症状、所見の間に相関関係がある場合、両者の診断名ごとの症状、所見分布は当然似通ったものとなり、追加情報は少ないものとなるので、その分を減価して評価する必要がある。この目的のために、診断名ごとの症状、所見の組合せペアごとの出現頻度を得ておくことも有用である。出現頻度の高い症状、所見の組合せペアは相関関係が推定されるので、減価して事後確率の推定を行う。
さらに追加分類材料要求手段で、例えば「腹部圧痛はあるか？」、「ＣＲＰは上昇しているか？」などを分類材料取得手段側（例えば電子カルテ）に問い合わせすることができれば、分類候補（図8では「虫垂炎」、「心筋梗塞」）間の判別をピンポイントで行うことができる。

【0037】

図９は、当初の症状所見に加えて、追加分類材料要求手段により症状所見を追加し、ベイズ事後確率などの分類信頼性が向上し、ついに分類信頼性評価基準を越えて分類が確定する説明図である。どこまでの信頼性を求めるかは（分類信頼性評価基準）、状況により適宜指定すればよい。

【0038】

前述したように、ビッグデータを解析すれば全ての問題は解決するかのような幻想があった。しかし、それぞれの分野で長い時間をかけて形成されてきた思考の枠組みの有用性は強固である。いかに大量とはいえ、事前に内部論理構造を一切仮定せずに、全てのデータをフラットにして解析しても、既に知られているありきたりの知見の再確認や、意味がつけにくい相互関係の指摘に留まることが少なくない。本発明では、分類属性記録手段とりわけツリー状に記録された属性記録の構造が当該分野の思考の枠組みを反映している。子の思考の枠組みを活用した分類妥当性検証手段により、分類精度の大幅な向上が期待できると同時に、当該分類属性との一致/不一致が、当該分類を結論付ける理由を提供する。
また、本発明では、分類器で得られた分類候補リストの個々の分類候補に対して、分類属性記録手段で既に記録されている当該分類の参照画像を含めた属性と突合し、必要に応じて追加分類材料要求手段で分類材料の追加、突合を行うが、これらの手順は、セキュリティにおける多要素認証に当たる。悪意ある分類材料が入り込んで分類器で誤分類が起こったとしても、まったく別の参照画像をはじめとする属性群との突合で、当該悪意ある分類材料の誤分類を排除することができる。

【0039】

以上、実施例を説明したが、本発明の具体的な構成は前記実施例に限定されるものではなく、発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれる。
例えば、画像の認識では、例として挙げた動物に限定されるものでなく、人の顔や物体の認識など、任意の画像に適応できる。医療の例を挙げているが、他に、貸し倒れの可能性の有無の判断や、株価の上昇/下落など、分類に帰する問題であれば、いずれにも適応できる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【手続補正書】

【提出日】2019年8月25日

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

文書を含む判断材料を得る分類材料取得手段と、前記得られた文書を含む判断材料から分類を行い分類候補リストを得る分類手段と、当該分類候補に対する属性を予め記録した分類属性記録手段を用いて、当該分類の妥当性を検証する分類妥当性検証手段を備えたことを特徴とする分類システム。

【請求項2】

前記属性には、当該分類の参照画像を含むことを特徴とする請求項１記載の分類システム。

【請求項3】

前記分類属性記録手段は、分類間の親子関係をツリー状に表現し、親分類の属性を子分類の属性に継承する分類属性ツリー状記録手段を有することを特徴とする請求項１ないし２いずれか記載の分類システム。

【請求項4】

前記分類妥当性検証手段は、前記分類属性記録手段による当該分類候補の属性に関して、分類材料取得手段で得られた分類材料と比較検討し、当該分類の妥当性を評価する機能を有することを特徴とする請求項１ないし３いずれか記載の分類システム。

【請求項5】

画像の分類においては、前記分類属性記録手段に記録されている当該分類候補の少なくとも１つの参照画像と、分類材料取得手段で得られた分類対象の画像とを比較検討し、当該分類の信頼性を評価する分類信頼性評価手段を有することを特徴とする請求項１ないし４いずれか記載の分類システム。

【請求項6】

前記分類信頼性評価手段は、任意の数値を分類信頼性評価基準として設定可能な分類信頼性評価基準設定手段を有し、得られた当該分類の信頼性が当該分類信頼性評価基準を越えれば当該分類を分類結果とすることを特徴とする請求項４ないし５いずれか記載の分類システム。

【請求項7】

前記分類妥当性検証手段は、前記分類属性記録手段による当該分類候補の属性に関し、分類材料取得手段に対して追加の分類材料を要求する追加分類材料要求手段を有することを特徴とする請求項１ないし６いずれか記載の分類システム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００１１

【補正方法】変更

【補正の内容】

【0011】

前記目的を達成するための手段として、請求項１記載の分類システムでは、文書を含む判断材料を得る分類材料取得手段と、前記得られた文書を含む判断材料から分類を行い分類候補リストを得る分類手段と、当該分類候補に対する属性を予め記録した分類属性記録手段を用いて、当該分類の妥当性を検証する分類妥当性検証手段を備えたことを特徴とする。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００１４

【補正方法】変更

【補正の内容】

【0014】

請求項４記載の分類システムでは、請求項１ないし３いずれか記載の分類システムにおいて、前記分類属性記録手段による当該分類候補の属性に関して、分類材料取得手段で得られた分類材料と比較検討し、当該分類の妥当性を評価する機能を有することを特徴とする。

【手続補正書】

【提出日】2020年4月1日

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】請求項１

【補正方法】変更

【補正の内容】

【請求項1】

画像または文書または画像及び文書からなる判断材料を得る分類材料取得手段と、
分類材料取得手段によって得られた画像または文書または画像及び文書からなる判断材料から分類を行い分類候補リストを得る分類手段と、
分類候補リストの各々について、当該分類材料の画像または文書または画像及び文書と、当該分類候補に関する画像または文書または画像及び文書からなる属性を記録した分類属性記録手段の記録内容とを突合し、分類の妥当性を検証する分類妥当性検証手段を備えたことを特徴とする分類システム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００１１

【補正方法】変更

【補正の内容】

【0011】

前記目的を達成するための手段として、請求項１記載の分類システムでは、画像または文書または画像及び文書からなる判断材料を得る分類材料取得手段と、分類材料取得手段によって得られた画像または文書または画像及び文書からなる判断材料から分類を行い分類候補リストを得る分類手段と、分類候補リストの各々について、当該分類材料の画像または文書または画像及び文書と、当該分類候補に関する画像または文書または画像及び文書からなる属性を記録した分類属性記録手段の記録内容とを突合し、分類の妥当性を検証する分類妥当性検証手段を備えたことを特徴とする。