特開2023-70287図形正誤判定装置、図形正誤判定方法、プログラム、及び、記録媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023070287
(43)【公開日】2023-05-19
(54)【発明の名称】図形正誤判定装置、図形正誤判定方法、プログラム、及び、記録媒体
(51)【国際特許分類】
G06V 30/196 20220101AFI20230512BHJP
【ＦＩ】
G06K9/68 E
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2021182363
(22)【出願日】2021-11-09
(71)【出願人】
【識別番号】000232092
【氏名又は名称】ＮＥＣソリューションイノベータ株式会社
(74)【代理人】
【識別番号】100115255
【弁理士】
【氏名又は名称】辻丸 光一郎
(74)【代理人】
【識別番号】100201732
【弁理士】
【氏名又は名称】松縄 正登
(74)【代理人】
【識別番号】100154081
【弁理士】
【氏名又は名称】伊佐治 創
(72)【発明者】
【氏名】細川 豊
【テーマコード（参考）】
5B064
【Ｆターム（参考）】
5B064AA01
5B064AB03
5B064AB12
5B064BA01
5B064DA27
(57)【要約】
【課題】 図形認識の精度を向上可能な図形正誤判定装置を提供する。
【解決手段】 本発明の図形正誤判定装置１０において、図形画像取得部１１は、設問に対し入力された図形画像を取得し、図形画像認識部１２は、取得された前記図形画像を認識し、かつ、認識した一つ以上の認識図形と前記認識図形の確信度を算出して確信度リストを生成し、正解情報取得部１３は、前記設問の正解情報を取得し、正誤判定部１４は、前記認識図形を前記正解情報と照合して一致不一致情報を生成し、かつ前記確信度リスト及び前記一致不一致情報を基に、前記図形画像の正誤を判定して正誤情報を生成し、正誤情報出力部１５は、前記正誤情報を出力する。
【選択図】 図１
【解決手段】 本発明の図形正誤判定装置１０において、図形画像取得部１１は、設問に対し入力された図形画像を取得し、図形画像認識部１２は、取得された前記図形画像を認識し、かつ、認識した一つ以上の認識図形と前記認識図形の確信度を算出して確信度リストを生成し、正解情報取得部１３は、前記設問の正解情報を取得し、正誤判定部１４は、前記認識図形を前記正解情報と照合して一致不一致情報を生成し、かつ前記確信度リスト及び前記一致不一致情報を基に、前記図形画像の正誤を判定して正誤情報を生成し、正誤情報出力部１５は、前記正誤情報を出力する。
【選択図】 図１
【特許請求の範囲】
【請求項1】
図形画像取得部、図形画認識部、正解情報取得部、正誤判定部、正誤情報出力部を含み、
前記図形画像取得部は、設問に対し入力された図形画像を取得し、
前記図形画像認識部は、取得された前記図形画像を認識し、かつ、認識した一つ以上の認識図形と前記認識図形の確信度を算出して確信度リストを生成し、
前記正解情報取得部は、前記設問の正解情報を取得し、
前記正誤判定部は、前記認識図形を前記正解情報と照合して一致不一致情報を生成し、かつ前記確信度リスト及び前記一致不一致情報を基に、前記図形画像の正誤を判定して正誤情報を生成し、
前記正誤情報出力部は、前記正誤情報を出力する、
図形正誤判定装置。
前記図形画像取得部は、設問に対し入力された図形画像を取得し、
前記図形画像認識部は、取得された前記図形画像を認識し、かつ、認識した一つ以上の認識図形と前記認識図形の確信度を算出して確信度リストを生成し、
前記正解情報取得部は、前記設問の正解情報を取得し、
前記正誤判定部は、前記認識図形を前記正解情報と照合して一致不一致情報を生成し、かつ前記確信度リスト及び前記一致不一致情報を基に、前記図形画像の正誤を判定して正誤情報を生成し、
前記正誤情報出力部は、前記正誤情報を出力する、
図形正誤判定装置。
【請求項2】
前記正誤判定部は、下記の判断基準（１）、（２）及び（３）により、前記図形画像の正誤を判定して正誤情報を生成する、
請求項１記載の図形正誤判定装置。
（１）正解判定条件
下記（１ａ）及び（１ｂ）のいずれかの条件を満たす場合に前記図形画像を正解と判定する。
（１ａ）前記確信度リストにおいて最も確信度が高い認識図形が、正解情報と一致。
（１ｂ）前記正解情報と一致した前記認識画像の確信度が正解閾値以上。
（２）誤答判定基準
下記（２ａ）の条件を満たす場合に前記図形画像を誤答と判定する。
（２ａ）前記確信度リストにおいて、正解情報と一致した前記認識図形の確信度が正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が誤答閾値以上である。
（３）判定不能条件
下記（３ａ）の条件を満たす場合に前記図形画像を判定不能と判定する。
（３ａ）前記確信度リストにおいて、前記正解情報と一致する前記認識画像の確信度が前記正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が前記誤答閾値未満である。
請求項１記載の図形正誤判定装置。
（１）正解判定条件
下記（１ａ）及び（１ｂ）のいずれかの条件を満たす場合に前記図形画像を正解と判定する。
（１ａ）前記確信度リストにおいて最も確信度が高い認識図形が、正解情報と一致。
（１ｂ）前記正解情報と一致した前記認識画像の確信度が正解閾値以上。
（２）誤答判定基準
下記（２ａ）の条件を満たす場合に前記図形画像を誤答と判定する。
（２ａ）前記確信度リストにおいて、正解情報と一致した前記認識図形の確信度が正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が誤答閾値以上である。
（３）判定不能条件
下記（３ａ）の条件を満たす場合に前記図形画像を判定不能と判定する。
（３ａ）前記確信度リストにおいて、前記正解情報と一致する前記認識画像の確信度が前記正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が前記誤答閾値未満である。
【請求項3】
さらに、学習部を含み、
前記学習部は、出力された前記正誤情報の正解率を算出し、前記正解率に基づき、前記正誤判定部における前記正解閾値及び前記誤答閾値を調整する、
請求項２記載の図形正誤判定装置。
前記学習部は、出力された前記正誤情報の正解率を算出し、前記正解率に基づき、前記正誤判定部における前記正解閾値及び前記誤答閾値を調整する、
請求項２記載の図形正誤判定装置。
【請求項4】
前記図形画像認識部は、機械学習による学習済みモデルを含み、
前記学習済みモデルにより、前記図形画像を認識し、認識した一つ以上の認識図形と前記認識図形の確信度を算出する、
請求項１から３のいずれか一項に記載の図形正誤判定装置。
前記学習済みモデルにより、前記図形画像を認識し、認識した一つ以上の認識図形と前記認識図形の確信度を算出する、
請求項１から３のいずれか一項に記載の図形正誤判定装置。
【請求項5】
図形画像取得工程、図形画認識工程、正解情報取得工程、正誤判定工程、正誤情報出力工程を含み、
前記図形画像取得工程は、設問に対し入力された図形画像を取得し、
前記図形画像認識工程は、取得された前記図形画像を認識し、かつ、認識した一つ以上の認識図形と前記認識図形の確信度を算出して確信度リストを生成し、
前記正解情報取得工程は、前記設問の正解情報を取得し、
前記正誤判定工程は、前記認識図形を前記正解情報と照合して一致不一致情報を生成し、かつ前記確信度リスト及び前記一致不一致情報を基に、前記図形画像の正誤を判定して正誤情報を生成し、
前記正誤情報出力工程は、前記正誤情報を出力する、
図形正誤判定方法。
前記図形画像取得工程は、設問に対し入力された図形画像を取得し、
前記図形画像認識工程は、取得された前記図形画像を認識し、かつ、認識した一つ以上の認識図形と前記認識図形の確信度を算出して確信度リストを生成し、
前記正解情報取得工程は、前記設問の正解情報を取得し、
前記正誤判定工程は、前記認識図形を前記正解情報と照合して一致不一致情報を生成し、かつ前記確信度リスト及び前記一致不一致情報を基に、前記図形画像の正誤を判定して正誤情報を生成し、
前記正誤情報出力工程は、前記正誤情報を出力する、
図形正誤判定方法。
【請求項6】
前記正誤判定工程は、下記の判断基準（１）、（２）及び（３）により、前記図形画像の正誤を判定して正誤情報を生成する、
請求項５記載の図形正誤判定方法。
（１）正解判定条件
下記（１ａ）及び（１ｂ）のいずれかの条件を満たす場合に前記図形画像を正解と判定する。
（１ａ）前記確信度リストにおいて最も確信度が高い認識図形が、正解情報と一致。
（１ｂ）前記正解情報と一致した前記認識画像の確信度が正解閾値以上。
（２）誤答判定基準
下記（２ａ）の条件を満たす場合に前記図形画像を誤答と判定する。
（２ａ）前記確信度リストにおいて、正解情報と一致した前記認識図形の確信度が正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が誤答閾値以上である。
（３）判定不能条件
下記（３ａ）の条件を満たす場合に前記図形画像を判定不能と判定する。
（３ａ）前記確信度リストにおいて、前記正解情報と一致する前記認識画像の確信度が前記正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が前記誤答閾値未満である。
請求項５記載の図形正誤判定方法。
（１）正解判定条件
下記（１ａ）及び（１ｂ）のいずれかの条件を満たす場合に前記図形画像を正解と判定する。
（１ａ）前記確信度リストにおいて最も確信度が高い認識図形が、正解情報と一致。
（１ｂ）前記正解情報と一致した前記認識画像の確信度が正解閾値以上。
（２）誤答判定基準
下記（２ａ）の条件を満たす場合に前記図形画像を誤答と判定する。
（２ａ）前記確信度リストにおいて、正解情報と一致した前記認識図形の確信度が正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が誤答閾値以上である。
（３）判定不能条件
下記（３ａ）の条件を満たす場合に前記図形画像を判定不能と判定する。
（３ａ）前記確信度リストにおいて、前記正解情報と一致する前記認識画像の確信度が前記正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が前記誤答閾値未満である。
【請求項7】
さらに、学習工程を含み、
前記学習工程は、出力された前記正誤情報の正解率を算出し、前記正解率に基づき、前記正誤判定工程における前記正解閾値及び前記誤答閾値を調整する、
請求項６記載の図形正誤判定方法。
前記学習工程は、出力された前記正誤情報の正解率を算出し、前記正解率に基づき、前記正誤判定工程における前記正解閾値及び前記誤答閾値を調整する、
請求項６記載の図形正誤判定方法。
【請求項8】
前記図形画像認識工程は、機械学習による学習済みモデルを含み、
前記学習済みモデルにより、前記図形画像を認識し、認識した一つ以上の認識図形と前記認識図形の確信度を算出する、
請求項５から７のいずれか一項に記載の図形正誤判定方法。
前記学習済みモデルにより、前記図形画像を認識し、認識した一つ以上の認識図形と前記認識図形の確信度を算出する、
請求項５から７のいずれか一項に記載の図形正誤判定方法。
【請求項9】
コンピュータに、図形画像取得手順、図形画認識手順、正解情報取得手順、正誤判定手順、正誤情報出力手順を含む手順を実行させるためのプログラム；
前記図形画像取得手順は、設問に対し入力された図形画像を取得し、
前記図形画像認識手順は、取得された前記図形画像を認識し、かつ、認識した一つ以上の認識図形と前記認識図形の確信度を算出して確信度リストを生成し、
前記正解情報取得手順は、前記設問の正解情報を取得し、
前記正誤判定手順は、前記認識図形を前記正解情報と照合して一致不一致情報を生成し、かつ前記確信度リスト及び前記一致不一致情報を基に、前記図形画像の正誤を判定して正誤情報を生成し、
前記正誤情報出力手順は、前記正誤情報を出力する。
前記図形画像取得手順は、設問に対し入力された図形画像を取得し、
前記図形画像認識手順は、取得された前記図形画像を認識し、かつ、認識した一つ以上の認識図形と前記認識図形の確信度を算出して確信度リストを生成し、
前記正解情報取得手順は、前記設問の正解情報を取得し、
前記正誤判定手順は、前記認識図形を前記正解情報と照合して一致不一致情報を生成し、かつ前記確信度リスト及び前記一致不一致情報を基に、前記図形画像の正誤を判定して正誤情報を生成し、
前記正誤情報出力手順は、前記正誤情報を出力する。
【請求項10】
前記正誤判定手順は、下記の判断基準（１）、（２）及び（３）により、前記図形画像の正誤を判定して正誤情報を生成する、
請求項９記載のプログラム。
（１）正解判定条件
下記（１ａ）及び（１ｂ）のいずれかの条件を満たす場合に前記図形画像を正解と判定する。
（１ａ）前記確信度リストにおいて最も確信度が高い認識図形が、正解情報と一致。
（１ｂ）前記正解情報と一致した前記認識画像の確信度が正解閾値以上。
（２）誤答判定基準
下記（２ａ）の条件を満たす場合に前記図形画像を誤答と判定する。
（２ａ）前記確信度リストにおいて、正解情報と一致した前記認識図形の確信度が正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が誤答閾値以上である。
（３）判定不能条件
下記（３ａ）の条件を満たす場合に前記図形画像を判定不能と判定する。
（３ａ）前記確信度リストにおいて、前記正解情報と一致する前記認識画像の確信度が前記正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が前記誤答閾値未満である。
請求項９記載のプログラム。
（１）正解判定条件
下記（１ａ）及び（１ｂ）のいずれかの条件を満たす場合に前記図形画像を正解と判定する。
（１ａ）前記確信度リストにおいて最も確信度が高い認識図形が、正解情報と一致。
（１ｂ）前記正解情報と一致した前記認識画像の確信度が正解閾値以上。
（２）誤答判定基準
下記（２ａ）の条件を満たす場合に前記図形画像を誤答と判定する。
（２ａ）前記確信度リストにおいて、正解情報と一致した前記認識図形の確信度が正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が誤答閾値以上である。
（３）判定不能条件
下記（３ａ）の条件を満たす場合に前記図形画像を判定不能と判定する。
（３ａ）前記確信度リストにおいて、前記正解情報と一致する前記認識画像の確信度が前記正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が前記誤答閾値未満である。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、図形正誤判定装置、図形正誤判定方法、プログラム、及び、記録媒体に関する。
【背景技術】
【0002】
特許文献１には、機械学習を用いて手書きの文字を認識する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１４－０７１８１３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、機械学習の技術進歩による文字認識の精度向上には限界がある。特に、クイズ、テスト、アンケート等に対する文字認識には、精度向上が強く求められている。この問題は、文字だけでなく、数字及び記号等を含む図形認識全般の問題でもある。
【0005】
そこで、本発明は、図形認識の精度を向上可能な図形正誤判定装置、図形正誤判定方法、プログラム、及び、記録媒体を提供することを目的とする。
【課題を解決するための手段】
【0006】
前記目的を達成するために、本発明の図形正誤判定装置は、
図形画像取得部、図形画認識部、正解情報取得部、正誤判定部、正誤情報出力部を含み、
前記図形画像取得部は、設問に対し入力された図形画像を取得し、
前記図形画像認識部は、取得された前記図形画像を認識し、かつ、認識した一つ以上の認識図形と前記認識図形の確信度を算出して確信度リストを生成し、
前記正解情報取得部は、前記設問の正解情報を取得し、
前記正誤判定部は、前記認識図形を前記正解情報と照合して一致不一致情報を生成し、かつ前記確信度リスト及び前記一致不一致情報を基に、前記図形画像の正誤を判定して正誤情報を生成し、
前記正誤情報出力部は、前記正誤情報を出力する、
装置である。
図形画像取得部、図形画認識部、正解情報取得部、正誤判定部、正誤情報出力部を含み、
前記図形画像取得部は、設問に対し入力された図形画像を取得し、
前記図形画像認識部は、取得された前記図形画像を認識し、かつ、認識した一つ以上の認識図形と前記認識図形の確信度を算出して確信度リストを生成し、
前記正解情報取得部は、前記設問の正解情報を取得し、
前記正誤判定部は、前記認識図形を前記正解情報と照合して一致不一致情報を生成し、かつ前記確信度リスト及び前記一致不一致情報を基に、前記図形画像の正誤を判定して正誤情報を生成し、
前記正誤情報出力部は、前記正誤情報を出力する、
装置である。
【0007】
本発明の図形正誤判定方法は、
図形画像取得工程、図形画認識工程、正解情報取得工程、正誤判定工程、正誤情報出力工程を含み、
前記図形画像取得工程は、設問に対し入力された図形画像を取得し、
前記図形画像認識工程は、取得された前記図形画像を認識し、かつ、認識した一つ以上の認識図形と前記認識図形の確信度を算出して確信度リストを生成し、
前記正解情報取得工程は、前記設問の正解情報を取得し、
前記正誤判定工程は、前記認識図形を前記正解情報と照合して一致不一致情報を生成し、かつ前記確信度リスト及び前記一致不一致情報を基に、前記図形画像の正誤を判定して正誤情報を生成し、
前記正誤情報出力工程は、前記正誤情報を出力する、
方法である。
図形画像取得工程、図形画認識工程、正解情報取得工程、正誤判定工程、正誤情報出力工程を含み、
前記図形画像取得工程は、設問に対し入力された図形画像を取得し、
前記図形画像認識工程は、取得された前記図形画像を認識し、かつ、認識した一つ以上の認識図形と前記認識図形の確信度を算出して確信度リストを生成し、
前記正解情報取得工程は、前記設問の正解情報を取得し、
前記正誤判定工程は、前記認識図形を前記正解情報と照合して一致不一致情報を生成し、かつ前記確信度リスト及び前記一致不一致情報を基に、前記図形画像の正誤を判定して正誤情報を生成し、
前記正誤情報出力工程は、前記正誤情報を出力する、
方法である。
【発明の効果】
【0008】
本発明によれば、手書き等の書く度に字体や字形が異なる入力形式で記入された図形に対する図形認識の精度を向上することができる。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
本発明の図形正誤判定装置において、例えば、
前記正誤判定部は、下記の判断基準（１）、（２）及び（３）により、前記図形画像の正誤を判定して正誤情報を生成する、という態様であってもよい。
（１）正解判定条件
下記（１ａ）及び（１ｂ）のいずれかの条件を満たす場合に前記図形画像を正解と判定する。
（１ａ）前記確信度リストにおいて最も確信度が高い認識図形が、正解情報と一致。
（１ｂ）前記正解情報と一致した前記認識画像の確信度が正解閾値以上。
（２）誤答判定基準
下記（２ａ）の条件を満たす場合に前記図形画像を誤答と判定する。
（２ａ）前記確信度リストにおいて、正解情報と一致した前記認識図形の確信度が正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が誤答閾値以上である。
（３）判定不能条件
下記（３ａ）の条件を満たす場合に前記図形画像を判定不能と判定する。
（３ａ）前記確信度リストにおいて、前記正解情報と一致する前記認識画像の確信度が前記正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が前記誤答閾値未満である。
前記正誤判定部は、下記の判断基準（１）、（２）及び（３）により、前記図形画像の正誤を判定して正誤情報を生成する、という態様であってもよい。
（１）正解判定条件
下記（１ａ）及び（１ｂ）のいずれかの条件を満たす場合に前記図形画像を正解と判定する。
（１ａ）前記確信度リストにおいて最も確信度が高い認識図形が、正解情報と一致。
（１ｂ）前記正解情報と一致した前記認識画像の確信度が正解閾値以上。
（２）誤答判定基準
下記（２ａ）の条件を満たす場合に前記図形画像を誤答と判定する。
（２ａ）前記確信度リストにおいて、正解情報と一致した前記認識図形の確信度が正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が誤答閾値以上である。
（３）判定不能条件
下記（３ａ）の条件を満たす場合に前記図形画像を判定不能と判定する。
（３ａ）前記確信度リストにおいて、前記正解情報と一致する前記認識画像の確信度が前記正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が前記誤答閾値未満である。
【0011】
本発明の図形正誤判定装置は、例えば、
さらに、学習部を含み、
前記学習部は、出力された前記正誤情報の正解率を算出し、前記正解率に基づき、前記正誤判定部における前記正解閾値及び前記誤答閾値を調整する、という態様であってもよい。
さらに、学習部を含み、
前記学習部は、出力された前記正誤情報の正解率を算出し、前記正解率に基づき、前記正誤判定部における前記正解閾値及び前記誤答閾値を調整する、という態様であってもよい。
【0012】
本発明の図形正誤判定装置において、例えば、
前記図形画像認識部は、機械学習による学習済みモデルを含み、
前記学習済みモデルにより、前記図形画像を認識し、認識した一つ以上の認識図形と前記認識図形の確信度を算出する、という態様であってもよい。
前記図形画像認識部は、機械学習による学習済みモデルを含み、
前記学習済みモデルにより、前記図形画像を認識し、認識した一つ以上の認識図形と前記認識図形の確信度を算出する、という態様であってもよい。
【0013】
本発明の図形正誤判定方法において、例えば、
前記正誤判定工程は、下記の判断基準（１）、（２）及び（３）により、前記図形画像の正誤を判定して正誤情報を生成する、という態様であってもよい。
（１）正解判定条件
下記（１ａ）及び（１ｂ）のいずれかの条件を満たす場合に前記図形画像を正解と判定する。
（１ａ）前記確信度リストにおいて最も確信度が高い認識図形が、正解情報と一致。
（１ｂ）前記正解情報と一致した前記認識画像の確信度が正解閾値以上。
（２）誤答判定基準
下記（２ａ）の条件を満たす場合に前記図形画像を誤答と判定する。
（２ａ）前記確信度リストにおいて、正解情報と一致した前記認識図形の確信度が正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が誤答閾値以上である。
（３）判定不能条件
下記（３ａ）の条件を満たす場合に前記図形画像を判定不能と判定する。
（３ａ）前記確信度リストにおいて、前記正解情報と一致する前記認識画像の確信度が前記正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が前記誤答閾値未満である。
前記正誤判定工程は、下記の判断基準（１）、（２）及び（３）により、前記図形画像の正誤を判定して正誤情報を生成する、という態様であってもよい。
（１）正解判定条件
下記（１ａ）及び（１ｂ）のいずれかの条件を満たす場合に前記図形画像を正解と判定する。
（１ａ）前記確信度リストにおいて最も確信度が高い認識図形が、正解情報と一致。
（１ｂ）前記正解情報と一致した前記認識画像の確信度が正解閾値以上。
（２）誤答判定基準
下記（２ａ）の条件を満たす場合に前記図形画像を誤答と判定する。
（２ａ）前記確信度リストにおいて、正解情報と一致した前記認識図形の確信度が正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が誤答閾値以上である。
（３）判定不能条件
下記（３ａ）の条件を満たす場合に前記図形画像を判定不能と判定する。
（３ａ）前記確信度リストにおいて、前記正解情報と一致する前記認識画像の確信度が前記正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が前記誤答閾値未満である。
【0014】
本発明の図形正誤判定方法は、例えば、
さらに、学習工程を含み、
前記学習工程は、出力された前記正誤情報の正解率を算出し、前記正解率に基づき、前記正誤判定工程における前記正解閾値及び前記誤答閾値を調整する、という態様であってもよい。
さらに、学習工程を含み、
前記学習工程は、出力された前記正誤情報の正解率を算出し、前記正解率に基づき、前記正誤判定工程における前記正解閾値及び前記誤答閾値を調整する、という態様であってもよい。
【0015】
本発明の図形正誤判定方法において、例えば、
前記図形画像認識工程は、機械学習による学習済みモデルを含み、
前記学習済みモデルにより、前記図形画像を認識し、認識した一つ以上の認識図形と前記認識図形の確信度を算出する、という態様であってもよい。
前記図形画像認識工程は、機械学習による学習済みモデルを含み、
前記学習済みモデルにより、前記図形画像を認識し、認識した一つ以上の認識図形と前記認識図形の確信度を算出する、という態様であってもよい。
【0016】
本発明のプログラムは、本発明の方法の各工程を、手順として、コンピュータに実行させるためのプログラムである。
【0017】
本発明の記録媒体は、本発明のプログラムを記録しているコンピュータ読み取り可能な記録媒体である。
【0018】
本発明の「図形画像」等における図形には、文字、数字、記号、用語、単語等が含まれる。
【0019】
本発明は、例えば、あらかじめ回答者に求める答え（選択肢を用いた解答又は回答を含む）が分かるもの、具体的には、アンケート、試験、クイズ、学習ドリル等の対象に対して適用可能である。さらに、本発明は、アンケート装置、テスト装置、クイズ装置等の装置、これらに対応する方法、及びプログラム等の一部として使用可能である。
【0020】
次に、本発明の実施形態について図を用いて説明する。本発明は、以下の実施形態には限定されない。以下の各図において、同一部分には、同一符号を付している。また、各実施形態の説明は、特に言及がない限り、互いの説明を援用でき、各実施形態の構成は、特に言及がない限り、組合せ可能である。
【0021】
［実施形態１］
図１は、本実施形態の図形正誤判定装置１０の構成の一例を示すブロック図である。図１に示すように、本装置１０は、図形画像取得部１１、図形画認識部１２、正解情報取得部１３、正誤判定部１４、正誤情報出力部１５を含む。また、本装置１０は、任意の構成として、さらに、学習部１６等を含んでもよい。前記各部は、例えば、内部バスにより相互に接続されている。
図１は、本実施形態の図形正誤判定装置１０の構成の一例を示すブロック図である。図１に示すように、本装置１０は、図形画像取得部１１、図形画認識部１２、正解情報取得部１３、正誤判定部１４、正誤情報出力部１５を含む。また、本装置１０は、任意の構成として、さらに、学習部１６等を含んでもよい。前記各部は、例えば、内部バスにより相互に接続されている。
【0022】
本装置１０は、例えば、前記各部を含む１つの装置でもよいし、前記各部が、通信回線網を介して接続可能な装置でもよい。また、本装置１０は、前記通信回線網を介して、後述する外部装置と接続可能である。前記通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。前記通信回線網は、例えば、インターネット回線、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）、電話回線、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＤＴＮ（Ｄｅｌａｙ Ｔｏｌｅｒａｎｔ Ｎｅｔｗｏｒｋｉｎｇ）、ＬＰＷＡ（Ｌｏｗ Ｐｏｗｅｒ Ｗｉｄｅ Ａｒｅａ）、Ｌ５Ｇ（ローカル５Ｇ）、等があげられる。無線通信としては、例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ローカル５Ｇ、ＬＰＷＡ等が挙げられる。前記無線通信としては、各装置が直接通信する形態（Ａｄ Ｈｏｃ通信）、インフラストラクチャ（infrastructure通信）、アクセスポイントを介した間接通信等であってもよい。本装置１０は、例えば、システムとしてサーバに組み込まれていてもよい。また、本装置１０は、例えば、本発明のプログラムがインストールされたパーソナルコンピュータ（ＰＣ、例えば、デスクトップ型、ノート型）、スマートフォン、タブレット端末、ウエアラブル端末等であってもよい。さらに、本装置１０の各部の全部又は一部が、クラウド上で実現されてもよい。具体的に、本装置１０は、例えば、前記各部のうち少なくとも一つがサーバ（クラウド）上にあり、その他の前記各部が端末上にあるような、クラウドコンピューティングやエッジコンピューティング等の形態であってもよい。
【0023】
図２に、本装置１０のハードウエア構成のブロック図を例示する。本装置１０は、例えば、中央処理装置（ＣＰＵ、ＧＰＵ等）１０１、メモリ１０２、バス１０３、記憶装置１０４、入力装置１０５、出力装置１０６、及び通信デバイス１０７等を含んでもよい。なお、これらは例示であって、本装置１０のハードウエア構成は、前記各部の処理を実行可能であれば、これに限定されない。また、本装置１０に含まれる中央処理装置１０１等の数も図２の例示に限定されるものではなく、例えば、複数の中央処理装置１０１が本装置１０に含まれていてもよい。本装置１０のハードウエア構成の各部は、それぞれのインタフェース（Ｉ／Ｆ）により、バス１０３を介して相互に接続されている。
【0024】
中央処理装置１０１は、本装置１０の全体の制御を担う。本装置１０において、中央処理装置１０１により、例えば、本発明のプログラムやその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。そして、中央処理装置１０１により、本装置１０の各部の処理が実行され得る。
【0025】
バス１０３は、例えば、外部装置とも接続できる。前記外部装置は、例えば、外部記憶装置（外部データベース等）、外部入力装置、外部出力装置、等があげられる。本装置１０は、例えば、バス１０３に接続された通信デバイス１０７により、外部ネットワーク（前記通信回線網）に接続でき、外部ネットワークを介して、他の装置と接続することもできる。
【0026】
メモリ１０２は、例えば、メインメモリ（主記憶装置）が挙げられる。中央処理装置１０１が処理を行う際には、例えば、後述する記憶装置１０４に記憶されている本発明のプログラム等の種々の動作プログラムを、メモリ１０２が読み込み、中央処理装置１０１は、メモリ１０２からデータを受け取って、プログラムを実行する。前記メインメモリは、例えば、ＲＡＭ（ランダムアクセスメモリ）である。また、メモリ１０２は、例えば、ＲＯＭ（読み出し専用メモリ）であってもよい。
【0027】
記憶装置１０４は、例えば、前記メインメモリ（主記憶装置）に対して、いわゆる補助記憶装置ともいう。前述のように、記憶装置１０４には、本発明のプログラムを含む動作プログラムが格納されている。記憶装置１０４は、例えば、記録媒体と、記録媒体に読み書きするドライブとの組合せであってもよい。前記記録媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、ＨＤ（ハードディスク）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＭＯ、ＤＶＤ、フラッシュメモリー、メモリーカード等が挙げられる。記憶装置１０４は、例えば、記録媒体とドライブとが一体化されたハードディスクドライブ（ＨＤＤ）、及びソリッドステートドライブ（ＳＳＤ）であってもよい。
【0028】
本装置１０において、メモリ１０２及び記憶装置１０４は、ログ情報、外部データベース（図示せず）や外部の装置から取得した情報、本装置１０の各処理によって生じた情報、本装置１０が各処理を実行する際に用いる情報等の種々の情報を記憶することも可能である。なお、少なくとも一部の情報は、例えば、メモリ１０２及び記憶装置１０４以外の外部サーバに記憶されていてもよいし、複数の端末にブロックチェーン技術等を用いて分散して記憶されていてもよい。
【0029】
本装置１０は、例えば、さらに、入力装置１０５、及び出力装置１０６を含んでもよい。入力装置１０５は、例えば、文字、数字、画面上に表示された物の位置、画像、音等を入力する装置であり、具体的には、デジタイザ（タッチパネル等）、キーボード、マウス、スキャナ、撮像装置、マイク、センサ等が挙げられる。出力装置１０６は、例えば、表示装置（ＬＥＤディスプレイ、液晶ディスプレイ）、プリンター、スピーカー等が挙げられる。
【0030】
つぎに、本実施形態の図形正誤判定方法の一例を、図３のフローチャートに基づき説明する。本実施形態の図形正誤判定方法は、例えば、図１の図形正誤判定装置１０を用いて、次のように実施する。なお、本実施形態の図形正誤判定方法は、図１の図形正誤判定装置１０の使用には限定されない。
【0031】
以下において、前記図形画像取得工程は、例えば、図形画像取得部１１により実行でき、前記図形画像認識工程は、例えば、図形画像認識部１２により実行でき、前記正解情報取得工程は、例えば、正解情報取得部１３により実行でき、前記正誤判定工程は、例えば、正誤判定部１４により実行でき、前記正誤情報出力工程は、例えば、正誤情報出力部１５により実行でき、前記学習工程は、例えば、学習部１６により実行できる。
【0032】
まず、図形画像取得部１１により、設問に対し入力された図形画像を取得する（Ｓ１１）。前記入力は、前記設問に対する「解答」又は「回答」である。前記設問に対する入力（記入）の形式は、例えば、手書き入力や視線入力等の記入の度に字体や字形が異なる入力形式である。前記設問は、例えば、記録用紙等の印刷媒体に印刷されたものであってもよいし、タッチディスプレイ等を有する端末上に表示されたものであってもよい。印刷媒体に印刷された設問である場合、図形画像取得部１１は、例えば、前記印刷媒体に記入された図形を電子化したものを前記図形画像として取得してもよい。前記電子化の手法は、特に制限されず、スキャンでもよいし、カメラによる撮影でもよい。一方で、端末上に表示された設問である場合、図形画像取得部１１は、例えば、前記端末に手書き等で入力された図形を前記図形画像として取得してもよい。前記端末は、例えば、本装置１０でもよい。
【0033】
次に、図形画像認識部１２により、取得された前記図形画像を認識し、かつ、認識した一つ以上の認識図形と前記認識図形の確信度を算出して確信度リストを生成する（Ｓ１２）。前記確信度リストの一例については後述する。図形画像認識部１２は、例えば、深層学習を含む機械学習を用いて、前記認識を行ってもよい。具体的に、図形画像認識部１２は、例えば、機械学習による学習済みモデルを含んでもよい。そして、図形画像認識部１２は、例えば、前記学習済みモデルにより、前記図形画像を認識し、認識した一つ以上の認識図形と前記認識図形の確信度を算出してもよい。前記学習済みモデルは、特に制限されない。前記学習済みモデルは、例えば、回答者（前記設問に対して図形を入力する者）の属性（例えば、年齢、性別、人種、国籍等）と筆跡とを対応付けて学習したモデルであってもよいし、前記回答者と前記回答者毎の筆跡とを対応付けて学習したモデルであってもよい。このように、前記認識に際して、前記回答者の属性や特定の個人に特化した情報を加味することで、図形画像認識部１２による前記認識の精度がより向上する。
【0034】
次に、正解情報取得部１３により、前記設問の正解情報を取得する（Ｓ１３）。前記正解情報は、前記設問に対する正解を示す情報である。前記設問が選択肢のある設問（例えば、アンケート等）であり、前記選択肢が「１」、「２」、「３」及び「４」である場合は、例えば、前記選択肢である「１」、「２」、「３」及び「４」の少なくとも一つが前記正解となる。一方で、前記選択肢のない設問の場合は、例えば、その設問から導き出せるもの全て又は一部が前記正解となり得る。より具体的に、前記設問が２と２との和を問う設問であれば、前記正解は、「４」となる。このように、前記設問の正解情報が示す正解は、複数あってもよい。正解情報取得部１３は、例えば、メモリ１０２及び記憶装置１０４に予め記憶されている前記正解情報を取得してもよいし、外部から入力された前記正解情報を取得してもよいし、外部の装置から前記正解情報を取得してもよい。
【0035】
次に、正誤判定部１４により、前記認識図形を前記正解情報と照合して一致不一致情報を生成し、かつ前記確信度リスト及び前記一致不一致情報を基に、前記図形画像の正誤を判定して正誤情報を生成する（Ｓ１４）。例えば、前述した、前記設問が選択肢のある設問の場合を例に挙げると、図形画像認識部１２により、前記図形画像が「９」と認識された場合、前記選択肢に「９」がないため、正誤判定部１４は、「不一致」を示す一致不一致情報を生成する。
【0036】
正誤判定部１４による前記正誤情報の生成について、より具体的に説明する。正誤判定部１４は、例えば、下記の判断基準（１）、（２）及び（３）により、前記図形画像の正誤を判定して正誤情報を生成してもよい。
【0037】
判断基準（１）：正解判定条件
下記（１ａ）及び（１ｂ）のいずれかの条件を満たす場合に前記図形画像を正解と判定する。
（１ａ）前記確信度リストにおいて最も確信度が高い認識図形が、正解情報と一致。
（１ｂ）前記正解情報と一致した前記認識画像の確信度が正解閾値以上。
下記（１ａ）及び（１ｂ）のいずれかの条件を満たす場合に前記図形画像を正解と判定する。
（１ａ）前記確信度リストにおいて最も確信度が高い認識図形が、正解情報と一致。
（１ｂ）前記正解情報と一致した前記認識画像の確信度が正解閾値以上。
【0038】
判断基準（２）：誤答判定基準
下記（２ａ）の条件を満たす場合に前記図形画像を誤答と判定する。
（２ａ）前記確信度リストにおいて、正解情報と一致した前記認識図形の確信度が正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が誤答閾値以上である。
下記（２ａ）の条件を満たす場合に前記図形画像を誤答と判定する。
（２ａ）前記確信度リストにおいて、正解情報と一致した前記認識図形の確信度が正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が誤答閾値以上である。
【0039】
判断基準（３）：判定不能条件
下記（３ａ）の条件を満たす場合に前記図形画像を判定不能と判定する。
（３ａ）前記確信度リストにおいて、前記正解情報と一致する前記認識画像の確信度が前記正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が前記誤答閾値未満である。
下記（３ａ）の条件を満たす場合に前記図形画像を判定不能と判定する。
（３ａ）前記確信度リストにおいて、前記正解情報と一致する前記認識画像の確信度が前記正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が前記誤答閾値未満である。
【0040】
前記正解閾値及び前記誤答閾値には、任意の確信度を設定可能である。前記正解閾値には、例えば、前記誤答閾値よりも小さい確信度が設定されていてもよい。具体的に、前記確信度が１～１００までの数値で表されるものである場合、前記正解閾値が５０未満の数値であり、前記誤答閾値が５０以上の数値であってもよい。
【0041】
そして、正誤情報出力部１５により、前記正誤情報を出力する（Ｓ１５）。前記出力は、例えば、出力装置１０６を介して行われる。
【0042】
本装置１０が、さらに、学習部１６を含む場合は、例えば、前記工程Ｓ１５の後に、学習部１６により、出力された前記正誤情報の正解率を算出し、前記正解率に基づき、正誤判定部１４における前記正解閾値及び前記誤答閾値を調整してもよい（Ｓ１６）。なお、これに限られず、前記正解閾値及び前記誤答閾値は、例えば、ユーザが手動で調整可能である。
【0043】
前記工程Ｓ１６は、任意の工程であって、実行されなくともよい。本実施形態の図形正誤判定方法は、例えば、前記工程１５又は前記工程Ｓ１６の後に、処理を終了する（ＥＮＤ）。
【0044】
従来のＯＣＲ（Optical character recognition）技術では、深層学習を用いても、判断基準の線引きが困難なケースが多く存在する。具体的には、例えば、従来のＯＣＲ技術によって特定の文字（例えば、「４」）に認識された認識対象の文字が、人が見ると前記特定の文字と異なる文字（例えば、「９」）に見えるケースが存在する。また、ＯＣＲ技術の運用状況によっても判断基準が異なり、運用状況毎に異なる文字が認識されることもある。これに対し、本実施形態によれば、例えば、前記確信度及び前記正解情報を用いることで、図形認識の精度を向上可能である。また、製品の形態が図形（例えば、丸、三角、四角等）で認識される場合は、製造ラインでの品質管理にも本実施形態に記載の発明を適用可能である。
【0045】
［実施形態２］
手書きの数字を認識する場合を例に挙げて、本発明をより具体的に説明する。なお、これらは例示であって、本発明は、これらに限定されるものではない。
手書きの数字を認識する場合を例に挙げて、本発明をより具体的に説明する。なお、これらは例示であって、本発明は、これらに限定されるものではない。
【0046】
図４（Ａ）は、設問及びその設問に対して手書き入力された解答（図形画像）の一例を示す模式図である。図４（Ａ）において、スマートフォンである本装置１０のタッチディスプレイ上には、２と２との和を問う内容の設問及び前記設問する解答が手書きで入力された解答欄１が表示されている。本例において、本装置１０には、前記設問に対応する正解情報として、予め「４」が設定されているものとする。この場合、図形画像取得部１１は、解答欄１に入力された図形画像を取得する。次に、図形画像認識部１２は、前記図形画像を認識し、確信度リストを生成する。本例における確信度リストの一例を図４（Ｂ）に示す。この確信度リストにおいて、「認識した数字（認識図形）」の列は、図形画像認識部１２が認識した認識図形を示し、「確信度（％）」の列は、それらの確信度を示す。本例において、確信度は、１００％を上限として、確信度が高ければ高いほど認識図形が図形画像である確からしさが高いことを意味する。なお、前記確信度の態様は、本例に限定されるものではない。以下、本例では、前記正解閾値として確信度１０％、前記誤答閾値として確信度８５％が予め設定されているものとする。
【0047】
正誤判定部１４による処理について図４を例に挙げてより具体的に説明する。本例では、前述の通り、「４」が正解であるため、正誤判定部１４は、図４（Ｂ）の「一致・不一致」の列に示すように、認識図形「４」のみが前記正解情報と一致し、他の認識図形は前記正解情報と不一致であることを示す一致不一致情報を生成する。次に、正誤判定部１４による正誤判定について説明する。本例では、図４（Ｂ）に示す確信度リストにおいて認識図形「４」が最も確信度が高く、且つ前記正解情報と一致する。さらには、認識図形「４」の確信度（９８％）が前記正解閾値（１０％）以上である。したがって、認識図形「４」が前記判断基準（１）である正解判定条件の前記条件（１ａ）及び（１ｂ）の双方を満たすため、正誤判定部１４は、解答欄１に入力された前記図形画像を正解と判定し、前記正解を示す正誤情報を生成する。
【0048】
図５（Ａ）は、設問及びその設問に対して手書き入力された解答（図形画像）の一例を示す模式図である。図５（Ａ）は、解答欄１に手書き入力された解答が図４（Ａ）に示す解答と異なる以外は、図４（Ａ）と同じである。本例において、本装置１０には、前記設問に対応する正解情報として、予め「４」が設定されているものとする。この場合、前述と同様に、図形画像取得部１１が解答欄１に入力された図形画像を取得し、図形画像認識部１２が前記図形画像を認識して確信度リストを生成する。本例における確信度リストの一例を図５（Ｂ）に示す。図５（Ｂ）に示す確信度リストは、各認識図形に対する確信度が異なる以外は、図４（Ｂ）に示す各確信度リストと同じ内容である。
【0049】
正誤判定部１４による処理について図５を例に挙げてより具体的に説明する。本例では、前述の通り、「４」が正解であるため、正誤判定部１４は、図５（Ｂ）の「一致・不一致」の列に示すように、認識図形「４」のみが前記正解情報と一致し、他の認識図形は前記正解情報と不一致であることを示す一致不一致情報を生成する。次に、正誤判定部１４による正誤判定について説明する。本例では、図５（Ｂ）に示す確信度リストにおいて認識図形「３」が最も確信度が高いが、前記正解情報と一致しない。また、前記正解情報と一致する認識図形「４」の確信度は、正解閾値以下である。したがって、本例では、前記判断基準（１）である正解判定条件の前記条件（１ａ）及び（１ｂ）のいずれも満たさないため、正誤判定部１４は、解答欄１に入力された前記図形画像を正解と判定しない。一方で、本例では、図５（Ｂ）に示す確信度リストにおいて前記正解情報と一致する認識図形「４」の確信度（２％）が正解閾値（１０％）未満であり、かつ前記正解情報と不一致の認識図形の確信度（例えば、確信度が最も高い認識図形「３」：９８％）が誤答閾値（８５％）以上である。したがって、本例では、前記判断基準（２）である誤答判定基準（２ａ）を満たすため、正誤判定部１４は、解答欄１に入力された前記図形画像を誤答と判定し、前記誤答を示す正誤情報を生成する。
【0050】
図６（Ａ）は、設問及びその設問に対して手書き入力された解答（図形画像）の一例を示す模式図である。図６（Ａ）は、解答欄１に手書き入力された解答が図４（Ａ）に示す解答と異なる以外は、図４（Ａ）と同じである。本例において、本装置１０には、前記設問に対応する正解情報として、予め「４」が設定されているものとする。この場合、前述と同様に、図形画像取得部１１が解答欄１に入力された図形画像を取得し、図形画像認識部１２が前記図形画像を認識して確信度リストを生成する。本例における確信度リストの一例を図６（Ｂ）に示す。図６（Ｂ）に示す確信度リストは、各認識図形に対する確信度が異なる以外は、図４（Ｂ）に示す各確信度リストと同じ内容である。
【0051】
正誤判定部１４による処理について図６を例に挙げてより具体的に説明する。本例では、前述の通り、「４」が正解であるため、正誤判定部１４は、図６（Ｂ）の「一致・不一致」の列に示すように、認識図形「４」のみが前記正解情報と一致し、他の認識図形は前記正解情報と不一致であることを示す一致不一致情報を生成する。次に、正誤判定部１４による正誤判定について説明する。本例では、図６（Ｂ）に示す確信度リストにおいて、前記正解情報と一致する認識図形「４」の確信度（９％）が正解閾値（１０％）未満であるため、前記判断基準（１）である正解判定条件の前記条件（１ｂ）を満たさない。しかし、認識図形「４」は、図６（Ｂ）に示す確信度リスト内で最も確信度が高く且つ前記正解情報と一致するため、前記判断基準（１）である正解判定条件の前記条件（１ａ）を満たす。したがって、正誤判定部１４は、解答欄１に入力された前記図形画像を正解と判定し、前記正解を示す正誤情報を生成する。
【0052】
図７（Ａ）は、設問及びその設問に対して手書き入力された解答（図形画像）の一例を示す模式図である。図７（Ａ）は、解答欄１に手書き入力された解答が図４（Ａ）に示す解答と異なる以外は、図４（Ａ）と同じである。本例において、本装置１０には、前記設問に対応する正解情報として、予め「４」が設定されているものとする。この場合、前述と同様に、図形画像取得部１１が解答欄１に入力された図形画像を取得し、図形画像認識部１２が前記図形画像を認識して確信度リストを生成する。本例における確信度リストの一例を図７（Ｂ）に示す。図７（Ｂ）に示す確信度リストは、各認識図形に対する確信度が異なる以外は、図４（Ｂ）に示す各確信度リストと同じ内容である。
【0053】
正誤判定部１４による処理について図７を例に挙げてより具体的に説明する。本例では、前述の通り、「４」が正解であるため、正誤判定部１４は、図７（Ｂ）の「一致・不一致」の列に示すように、認識図形「４」のみが前記正解情報と一致し、他の認識図形は前記正解情報と不一致であることを示す一致不一致情報を生成する。次に、正誤判定部１４による正誤判定について説明する。本例では、図７（Ｂ）に示す確信度リストにおいて、最も確信度が高い認識図形は、前記正解情報と一致しない認識図形「５」であるため、前記判断基準（１）である正解判定条件の前記条件（１ａ）を満たさない。しかし、前記正解情報と一致する認識図形「４」の確信度（５０％）が正解閾値（１０％）以上であるため、前記判断基準（１）である正解判定条件の前記条件（１ｂ）を満たす。したがって、正誤判定部１４は、解答欄１に入力された前記図形画像を正解と判定し、前記正解を示す正誤情報を生成する。
【0054】
図８（Ａ）は、設問及びその設問に対して手書き入力された解答（図形画像）の一例を示す模式図である。図８（Ａ）は、解答欄１に手書き入力された解答が図４（Ａ）に示す解答と異なる以外は、図４（Ａ）と同じである。本例において、本装置１０には、前記設問に対応する正解情報として、予め「４」が設定されているものとする。この場合、前述と同様に、図形画像取得部１１が解答欄１に入力された図形画像を取得し、図形画像認識部１２が前記図形画像を認識して確信度リストを生成する。本例における確信度リストの一例を図８（Ｂ）に示す。図８（Ｂ）に示す確信度リストは、各認識図形に対する確信度が異なる以外は、図４（Ｂ）に示す各確信度リストと同じ内容である。
【0055】
正誤判定部１４による処理について図８を例に挙げてより具体的に説明する。本例では、前述の通り、「４」が正解であるため、正誤判定部１４は、図８（Ｂ）の「一致・不一致」の列に示すように、認識図形「４」のみが前記正解情報と一致し、他の認識図形は前記正解情報と不一致であることを示す一致不一致情報を生成する。次に、正誤判定部１４による正誤判定について説明する。本例では、図８（Ｂ）に示す確信度リストにおいて、最も確信度が高い認識図形は、前記正解情報と一致しない認識図形「３」であるため、前記判断基準（１）である正解判定条件の前記条件（１ａ）を満たさない。また、前記正解情報と一致する認識図形「４」の確信度（１％）が正解閾値（１０％）未満であるため、前記判断基準（１）である正解判定条件の前記条件（１ｂ）も満たさない。さらに、前記正解情報と一致する認識図形「４」の確信度（１％）が正解閾値（１０％）未満であり、かつ前記正解情報と不一致の認識図形の確信度（例えば、確信度が最も高い認識図形「３」：９％）が誤答閾値（８５％）未満であるため、前記判断基準（２）である誤答判定基準（２ａ）も満たさない。一方で、前記正解情報と一致する認識図形「４」の確信度（２％）が正解閾値（１０％）未満であり、かつ前記正解情報と不一致の認識図形の確信度（例えば、確信度が最も高い認識図形「３」：９％）が誤答閾値（８５％）未満であるため、前記判断基準（３）である判定不能条件の前記条件（３ａ）を満たす。したがって、正誤判定部１４は、解答欄１に入力された前記図形画像を判定不能と判定する。本例のように、判定不能と判定された場合は、例えば、誤答を示す正誤情報を生成してもよいし、判定不能を示す正誤情報を生成してもよい。また、判定不能と判定された場合、正誤判定部１４は、例えば、ユーザの目視による前記図形画像の正誤の判定結果を取得して、正誤情報を生成してもよい。
【0056】
［実施形態３］
本実施形態のプログラムは、本発明の方法の各工程を、手順として、コンピュータに実行させるためのプログラムである。本発明において、「手順」は、「処理」と読み替えてもよい。また、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されていてもよい。前記記録媒体は、例えば、非一時的なコンピュータ可読記録媒体（non-transitory computer-readable storage medium）である。前記記録媒体としては、特に限定されず、例えば、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク等が挙げられる。
本実施形態のプログラムは、本発明の方法の各工程を、手順として、コンピュータに実行させるためのプログラムである。本発明において、「手順」は、「処理」と読み替えてもよい。また、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されていてもよい。前記記録媒体は、例えば、非一時的なコンピュータ可読記録媒体（non-transitory computer-readable storage medium）である。前記記録媒体としては、特に限定されず、例えば、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク等が挙げられる。
【0057】
以上、実施形態を参照して本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をできる。
【0058】
＜付記＞
上記の実施形態の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
（付記１）
図形画像取得部、図形画認識部、正解情報取得部、正誤判定部、正誤情報出力部を含み、
前記図形画像取得部は、設問に対し入力された図形画像を取得し、
前記図形画像認識部は、取得された前記図形画像を認識し、かつ、認識した一つ以上の認識図形と前記認識図形の確信度を算出して確信度リストを生成し、
前記正解情報取得部は、前記設問の正解情報を取得し、
前記正誤判定部は、前記認識図形を前記正解情報と照合して一致不一致情報を生成し、かつ前記確信度リスト及び前記一致不一致情報を基に、前記図形画像の正誤を判定して正誤情報を生成し、
前記正誤情報出力部は、前記正誤情報を出力する、
図形正誤判定装置。
（付記２）
前記正誤判定部は、下記の判断基準（１）、（２）及び（３）により、前記図形画像の正誤を判定して正誤情報を生成する、
付記１記載の図形正誤判定装置。
（１）正解判定条件
下記（１ａ）及び（１ｂ）のいずれかの条件を満たす場合に前記図形画像を正解と判定する。
（１ａ）前記確信度リストにおいて最も確信度が高い認識図形が、正解情報と一致。
（１ｂ）前記正解情報と一致した前記認識画像の確信度が正解閾値以上。
（２）誤答判定基準
下記（２ａ）の条件を満たす場合に前記図形画像を誤答と判定する。
（２ａ）前記確信度リストにおいて、正解情報と一致した前記認識図形の確信度が正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が誤答閾値以上である。
（３）判定不能条件
下記（３ａ）の条件を満たす場合に前記図形画像を判定不能と判定する。
（３ａ）前記確信度リストにおいて、前記正解情報と一致する前記認識画像の確信度が前記正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が前記誤答閾値未満である。
（付記３）
さらに、学習部を含み、
前記学習部は、出力された前記正誤情報の正解率を算出し、前記正解率に基づき、前記正誤判定部における前記正解閾値及び前記誤答閾値を調整する、
付記２記載の図形正誤判定装置。
（付記４）
前記図形画像認識部は、機械学習による学習済みモデルを含み、
前記学習済みモデルにより、前記図形画像を認識し、認識した一つ以上の認識図形と前記認識図形の確信度を算出する、
付記１から３のいずれかに記載の図形正誤判定装置。
（付記５）
図形画像取得工程、図形画認識工程、正解情報取得工程、正誤判定工程、正誤情報出力工程を含み、
前記図形画像取得工程は、設問に対し入力された図形画像を取得し、
前記図形画像認識工程は、取得された前記図形画像を認識し、かつ、認識した一つ以上の認識図形と前記認識図形の確信度を算出して確信度リストを生成し、
前記正解情報取得工程は、前記設問の正解情報を取得し、
前記正誤判定工程は、前記認識図形を前記正解情報と照合して一致不一致情報を生成し、かつ前記確信度リスト及び前記一致不一致情報を基に、前記図形画像の正誤を判定して正誤情報を生成し、
前記正誤情報出力工程は、前記正誤情報を出力する、
図形正誤判定方法。
（付記６）
前記正誤判定工程は、下記の判断基準（１）、（２）及び（３）により、前記図形画像の正誤を判定して正誤情報を生成する、
付記５記載の図形正誤判定方法。
（１）正解判定条件
下記（１ａ）及び（１ｂ）のいずれかの条件を満たす場合に前記図形画像を正解と判定する。
（１ａ）前記確信度リストにおいて最も確信度が高い認識図形が、正解情報と一致。
（１ｂ）前記正解情報と一致した前記認識画像の確信度が正解閾値以上。
（２）誤答判定基準
下記（２ａ）の条件を満たす場合に前記図形画像を誤答と判定する。
（２ａ）前記確信度リストにおいて、正解情報と一致した前記認識図形の確信度が正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が誤答閾値以上である。
（３）判定不能条件
下記（３ａ）の条件を満たす場合に前記図形画像を判定不能と判定する。
（３ａ）前記確信度リストにおいて、前記正解情報と一致する前記認識画像の確信度が前記正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が前記誤答閾値未満である。
（付記７）
さらに、学習工程を含み、
前記学習工程は、出力された前記正誤情報の正解率を算出し、前記正解率に基づき、前記正誤判定工程における前記正解閾値及び前記誤答閾値を調整する、
付記６記載の図形正誤判定方法。
（付記８）
前記図形画像認識工程は、機械学習による学習済みモデルを含み、
前記学習済みモデルにより、前記図形画像を認識し、認識した一つ以上の認識図形と前記認識図形の確信度を算出する、
付記５から７のいずれかに記載の図形正誤判定方法。
（付記９）
コンピュータに、図形画像取得手順、図形画認識手順、正解情報取得手順、正誤判定手順、正誤情報出力手順を含む手順を実行させるためのプログラム；
前記図形画像取得手順は、設問に対し入力された図形画像を取得し、
前記図形画像認識手順は、取得された前記図形画像を認識し、かつ、認識した一つ以上の認識図形と前記認識図形の確信度を算出して確信度リストを生成し、
前記正解情報取得手順は、前記設問の正解情報を取得し、
前記正誤判定手順は、前記認識図形を前記正解情報と照合して一致不一致情報を生成し、かつ前記確信度リスト及び前記一致不一致情報を基に、前記図形画像の正誤を判定して正誤情報を生成し、
前記正誤情報出力手順は、前記正誤情報を出力する。
（付記１０）
前記正誤判定手順は、下記の判断基準（１）、（２）及び（３）により、前記図形画像の正誤を判定して正誤情報を生成する、
付記９記載のプログラム。
（１）正解判定条件
下記（１ａ）及び（１ｂ）のいずれかの条件を満たす場合に前記図形画像を正解と判定する。
（１ａ）前記確信度リストにおいて最も確信度が高い認識図形が、正解情報と一致。
（１ｂ）前記正解情報と一致した前記認識画像の確信度が正解閾値以上。
（２）誤答判定基準
下記（２ａ）の条件を満たす場合に前記図形画像を誤答と判定する。
（２ａ）前記確信度リストにおいて、正解情報と一致した前記認識図形の確信度が正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が誤答閾値以上である。
（３）判定不能条件
下記（３ａ）の条件を満たす場合に前記図形画像を判定不能と判定する。
（３ａ）前記確信度リストにおいて、前記正解情報と一致する前記認識画像の確信度が前記正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が前記誤答閾値未満である。
（付記１１）
さらに、学習手順を含み、
前記学習手順は、出力された前記正誤情報の正解率を算出し、前記正解率に基づき、前記正誤判定手順における前記正解閾値及び前記誤答閾値を調整する、
付記１０記載のプログラム。
（付記１２）
前記図形画像認識手順は、機械学習による学習済みモデルを含み、
前記学習済みモデルにより、前記図形画像を認識し、認識した一つ以上の認識図形と前記認識図形の確信度を算出する、
付記９から１１のいずれかに記載のプログラム。
（付記１３）
付記９から１２のいずれかに記載のプログラムを記録しているコンピュータ読み取り可能な記録媒体。
上記の実施形態の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
（付記１）
図形画像取得部、図形画認識部、正解情報取得部、正誤判定部、正誤情報出力部を含み、
前記図形画像取得部は、設問に対し入力された図形画像を取得し、
前記図形画像認識部は、取得された前記図形画像を認識し、かつ、認識した一つ以上の認識図形と前記認識図形の確信度を算出して確信度リストを生成し、
前記正解情報取得部は、前記設問の正解情報を取得し、
前記正誤判定部は、前記認識図形を前記正解情報と照合して一致不一致情報を生成し、かつ前記確信度リスト及び前記一致不一致情報を基に、前記図形画像の正誤を判定して正誤情報を生成し、
前記正誤情報出力部は、前記正誤情報を出力する、
図形正誤判定装置。
（付記２）
前記正誤判定部は、下記の判断基準（１）、（２）及び（３）により、前記図形画像の正誤を判定して正誤情報を生成する、
付記１記載の図形正誤判定装置。
（１）正解判定条件
下記（１ａ）及び（１ｂ）のいずれかの条件を満たす場合に前記図形画像を正解と判定する。
（１ａ）前記確信度リストにおいて最も確信度が高い認識図形が、正解情報と一致。
（１ｂ）前記正解情報と一致した前記認識画像の確信度が正解閾値以上。
（２）誤答判定基準
下記（２ａ）の条件を満たす場合に前記図形画像を誤答と判定する。
（２ａ）前記確信度リストにおいて、正解情報と一致した前記認識図形の確信度が正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が誤答閾値以上である。
（３）判定不能条件
下記（３ａ）の条件を満たす場合に前記図形画像を判定不能と判定する。
（３ａ）前記確信度リストにおいて、前記正解情報と一致する前記認識画像の確信度が前記正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が前記誤答閾値未満である。
（付記３）
さらに、学習部を含み、
前記学習部は、出力された前記正誤情報の正解率を算出し、前記正解率に基づき、前記正誤判定部における前記正解閾値及び前記誤答閾値を調整する、
付記２記載の図形正誤判定装置。
（付記４）
前記図形画像認識部は、機械学習による学習済みモデルを含み、
前記学習済みモデルにより、前記図形画像を認識し、認識した一つ以上の認識図形と前記認識図形の確信度を算出する、
付記１から３のいずれかに記載の図形正誤判定装置。
（付記５）
図形画像取得工程、図形画認識工程、正解情報取得工程、正誤判定工程、正誤情報出力工程を含み、
前記図形画像取得工程は、設問に対し入力された図形画像を取得し、
前記図形画像認識工程は、取得された前記図形画像を認識し、かつ、認識した一つ以上の認識図形と前記認識図形の確信度を算出して確信度リストを生成し、
前記正解情報取得工程は、前記設問の正解情報を取得し、
前記正誤判定工程は、前記認識図形を前記正解情報と照合して一致不一致情報を生成し、かつ前記確信度リスト及び前記一致不一致情報を基に、前記図形画像の正誤を判定して正誤情報を生成し、
前記正誤情報出力工程は、前記正誤情報を出力する、
図形正誤判定方法。
（付記６）
前記正誤判定工程は、下記の判断基準（１）、（２）及び（３）により、前記図形画像の正誤を判定して正誤情報を生成する、
付記５記載の図形正誤判定方法。
（１）正解判定条件
下記（１ａ）及び（１ｂ）のいずれかの条件を満たす場合に前記図形画像を正解と判定する。
（１ａ）前記確信度リストにおいて最も確信度が高い認識図形が、正解情報と一致。
（１ｂ）前記正解情報と一致した前記認識画像の確信度が正解閾値以上。
（２）誤答判定基準
下記（２ａ）の条件を満たす場合に前記図形画像を誤答と判定する。
（２ａ）前記確信度リストにおいて、正解情報と一致した前記認識図形の確信度が正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が誤答閾値以上である。
（３）判定不能条件
下記（３ａ）の条件を満たす場合に前記図形画像を判定不能と判定する。
（３ａ）前記確信度リストにおいて、前記正解情報と一致する前記認識画像の確信度が前記正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が前記誤答閾値未満である。
（付記７）
さらに、学習工程を含み、
前記学習工程は、出力された前記正誤情報の正解率を算出し、前記正解率に基づき、前記正誤判定工程における前記正解閾値及び前記誤答閾値を調整する、
付記６記載の図形正誤判定方法。
（付記８）
前記図形画像認識工程は、機械学習による学習済みモデルを含み、
前記学習済みモデルにより、前記図形画像を認識し、認識した一つ以上の認識図形と前記認識図形の確信度を算出する、
付記５から７のいずれかに記載の図形正誤判定方法。
（付記９）
コンピュータに、図形画像取得手順、図形画認識手順、正解情報取得手順、正誤判定手順、正誤情報出力手順を含む手順を実行させるためのプログラム；
前記図形画像取得手順は、設問に対し入力された図形画像を取得し、
前記図形画像認識手順は、取得された前記図形画像を認識し、かつ、認識した一つ以上の認識図形と前記認識図形の確信度を算出して確信度リストを生成し、
前記正解情報取得手順は、前記設問の正解情報を取得し、
前記正誤判定手順は、前記認識図形を前記正解情報と照合して一致不一致情報を生成し、かつ前記確信度リスト及び前記一致不一致情報を基に、前記図形画像の正誤を判定して正誤情報を生成し、
前記正誤情報出力手順は、前記正誤情報を出力する。
（付記１０）
前記正誤判定手順は、下記の判断基準（１）、（２）及び（３）により、前記図形画像の正誤を判定して正誤情報を生成する、
付記９記載のプログラム。
（１）正解判定条件
下記（１ａ）及び（１ｂ）のいずれかの条件を満たす場合に前記図形画像を正解と判定する。
（１ａ）前記確信度リストにおいて最も確信度が高い認識図形が、正解情報と一致。
（１ｂ）前記正解情報と一致した前記認識画像の確信度が正解閾値以上。
（２）誤答判定基準
下記（２ａ）の条件を満たす場合に前記図形画像を誤答と判定する。
（２ａ）前記確信度リストにおいて、正解情報と一致した前記認識図形の確信度が正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が誤答閾値以上である。
（３）判定不能条件
下記（３ａ）の条件を満たす場合に前記図形画像を判定不能と判定する。
（３ａ）前記確信度リストにおいて、前記正解情報と一致する前記認識画像の確信度が前記正解閾値未満であり、かつ前記正解情報と不一致の前記認識図形の確信度が前記誤答閾値未満である。
（付記１１）
さらに、学習手順を含み、
前記学習手順は、出力された前記正誤情報の正解率を算出し、前記正解率に基づき、前記正誤判定手順における前記正解閾値及び前記誤答閾値を調整する、
付記１０記載のプログラム。
（付記１２）
前記図形画像認識手順は、機械学習による学習済みモデルを含み、
前記学習済みモデルにより、前記図形画像を認識し、認識した一つ以上の認識図形と前記認識図形の確信度を算出する、
付記９から１１のいずれかに記載のプログラム。
（付記１３）
付記９から１２のいずれかに記載のプログラムを記録しているコンピュータ読み取り可能な記録媒体。
【産業上の利用可能性】
【0059】
本発明によれば、手書き等の書く度に字体や字形が異なる入力形式で記入された図形に対する図形認識の精度を向上可能である。このため、本発明は、例えば、あらかじめ回答者に求める答えが分かっているものに対して入力された図形を認識する場合に特に有用である。
【符号の説明】
【0060】
１ 解答欄
１０ 図形正誤判定装置
１１ 図形画像取得部
１２ 図形画像認識部
１３ 正解情報取得部
１４ 正誤判定部
１５ 正誤情報出力部
１６ 学習部
１０１ 中央処理装置
１０２ メモリ
１０３ バス
１０４ 記憶装置
１０５ 入力装置
１０６ 出力装置
１０７ 通信デバイス
１０ 図形正誤判定装置
１１ 図形画像取得部
１２ 図形画像認識部
１３ 正解情報取得部
１４ 正誤判定部
１５ 正誤情報出力部
１６ 学習部
１０１ 中央処理装置
１０２ メモリ
１０３ バス
１０４ 記憶装置
１０５ 入力装置
１０６ 出力装置
１０７ 通信デバイス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】