特開 2023-157274 機械学習データ収集システム、機械学習データ収集方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023157274

(43)【公開日】2023-10-26

(54)【発明の名称】機械学習データ収集システム、機械学習データ収集方法、およびプログラム

(51)【国際特許分類】

   G06V 30/194 20220101AFI20231019BHJP

【ＦＩ】

G06V30/194

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022067074

(22)【出願日】2022-04-14

(71)【出願人】

【識別番号】000003193

【氏名又は名称】ＴＯＰＰＡＮホールディングス株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100147267

【弁理士】

【氏名又は名称】大槻 真紀子

(72)【発明者】

【氏名】高瀬 紘一

【テーマコード（参考）】

5B064

【Ｆターム（参考）】

5B064AB03

5B064DA27

(57)【要約】      （修正有）

【課題】手書き情報の学習データを生成する際にかかる、個人の負担を軽減する機械学習データ収集システム、機械学習データ収集方法及びプログラムを提供する。
【解決手段】機械学習データ収集システムにおいて、サービス提供サーバは、ユーザの学習又は娯楽のための課題に対するデータ化された手書きの回答を取得する回答取得部１２と、回答に対して、課題への回答としての評価を付す回答評価部１３と、を有する。機械学習データ収集サーバ２０は、回答に基づき機械学習データを生成して登録するデータ登録部２３と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

ユーザの学習または娯楽のための課題への回答であって、データ化された手書きの回答を取得する回答取得部と、
前記回答に対して、前記課題への回答としての評価を付す回答評価部と、
前記回答に基づき機械学習データを生成して登録するデータ登録部と
を備える機械学習データ収集システム。

【請求項2】

前記回答が正答であることの尤度を、前記課題、前記課題への正答または前記評価を用いて算出する尤度算出部を備え、
前記データ登録部は、前記回答の中から前記尤度に基づき抽出されたものに基づき、前記機械学習データを生成する、
請求項１に記載の機械学習データ収集システム。

【請求項3】

前記手書きの回答は、文字、描画画像、または、画像への着色である、請求項１に記載の機械学習データ収集システム。

【請求項4】

前記課題を、生成すべき機械学習データに基づき生成し、前記回答を作成するユーザに通知する課題生成部を備える、請求項１に記載の機械学習データ収集システム。

【請求項5】

機械学習データ収集方法であって、
ユーザの学習または娯楽のための課題への回答であって、データ化された手書きの回答を取得するステップと、
前記回答に対して、前記課題への回答としての評価を付すステップと、
前記回答に基づき機械学習データを生成して登録するステップと
を有する機械学習データ収集方法。

【請求項6】

コンピュータを、
ユーザの学習または娯楽のための課題への回答であって、データ化された手書きの回答を取得する回答取得部、
前記回答に対して、前記課題への回答としての評価を付す回答評価部、
前記回答に基づき機械学習データを生成して登録するデータ登録部
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習データ収集システム、機械学習データ収集方法、およびプログラムに関する。

【背景技術】

【0002】

ニューラルネットワークなどによる機械学習では、個人が生成した大量の学習データを必要とすることがある。例えば、手書き文字の文字認識のための機械学習では、多数の筆記者から入手した手書き文字データで学習すると、癖のある文字の認識精度が低くなってしまうことがある。そのため、特許文献１の文字認識方法では、筆記者を個人に限定し、個人用認識部を設けることで認識率を向上させている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平１－２６７７９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、個人が生成した大量の学習データを用いる場合においては、学習データを大量に生成する個人に負担がかかってしまうことがあるという問題がある。

【0005】

本発明は、このような事情に鑑みてなされたもので、学習データを生成する際にかかる個人の負担を軽減することができる機械学習データ収集システム、機械学習データ収集方法、およびプログラムを提供する。

【課題を解決するための手段】

【0006】

この発明は上述した課題を解決するためになされたもので、本発明の一態様は、ユーザの学習または娯楽のための課題への回答であって、データ化された手書きの回答を取得する回答取得部と、前記回答に対して、前記課題への回答としての評価を付す回答評価部と、前記回答に基づき機械学習データを生成して登録するデータ登録部とを備える機械学習データ収集システムである。

【0007】

また、本発明の他の一態様は、上述した機械学習データ収集システムであって、前記回答が正答であることの尤度を、前記課題、前記課題への正答または前記評価を用いて算出する尤度算出部を備え、前記データ登録部は、前記回答の中から前記尤度に基づき抽出されたものに基づき、前記機械学習データを生成する。

【0008】

また、本発明の他の一態様は、上述した機械学習データ収集システムであって、前記手書きの回答は、文字、描画画像、または、画像への着色である。

【0009】

また、本発明の他の一態様は、上述した機械学習データ収集システムであって、前記課題を、生成すべき機械学習データに基づき生成し、前記回答を作成するユーザに通知する課題生成部を備える。

【0010】

また、本発明の他の一態様は、機械学習データ収集方法であって、ユーザの学習または娯楽のための課題への回答であって、データ化された手書きの回答を取得するステップと、前記回答に対して、前記課題への回答としての評価を付すステップと、前記回答に基づき機械学習データを生成して登録するステップとを有する。

【0011】

また、本発明の他の一態様は、コンピュータを、ユーザの学習または娯楽のための課題への回答であって、データ化された手書きの回答を取得する回答取得部、前記回答に対して、前記課題への回答としての評価を付す回答評価部、前記回答に基づき機械学習データを生成して登録するデータ登録部として機能させるためのプログラムである。

【発明の効果】

【0012】

この発明によれば、機械学習データを生成する際にかかる個人の負担を軽減することができる。

【図面の簡単な説明】

【0013】

【図1】この発明の一実施形態による機械学習データ収集システム１００の構成を示す概略ブロック図である。

【図2】同実施形態におけるサービス提供サーバ１０、機械学習データ収集サーバ２０の機能構成を示す概略ブロック図である。

【図3】同実施形態における機械学習用データベース３０が記憶する機械学習データの第１の例を示す表である。

【図4】実施形態における機械学習用データベース３０が記憶する機械学習データの第２の例を示す表である。

【図5】実施形態における機械学習用データベース３０が記憶する機械学習データの第３の例を示す表である。

【図6】同実施形態における機械学習データ収集システム１００の動作を説明するシーケンス図である。

【発明を実施するための形態】

【0014】

以下、図面を参照して、本発明の実施の形態について説明する。図１は、この発明の一実施形態による機械学習データ収集システム１００の構成を示す概略ブロック図である。機械学習データ収集システム１００は、サービス提供サーバ１０、機械学習データ収集サーバ２０、機械学習用データベース３０を備える。サービス提供サーバ１０、機械学習データ収集サーバ２０、および機械学習用データベース３０は、コンピュータがアプリケーションを実行することで実現される。

【0015】

なお、一台または複数台のコンピュータで、サービス提供サーバ１０、機械学習データ収集サーバ２０、および機械学習用データベース３０のうちの１つまたは複数を実現してもよい。また、１つまたは複数のアプリケーションで、サービス提供サーバ１０、機械学習データ収集サーバ２０、および機械学習用データベース３０のうちの１つまたは複数を実現してもよい。ユーザ端末４０は、スマートフォン、タブレット端末、パーソナルコンピュータなどのコンピュータであり、汎用のウェブブラウザなどを実行することで実現してもよいし、専用のアプリケーションを実行することで実現してもよい。

【0016】

サービス提供サーバ１０は、複数のユーザ端末４０および機械学習データ収集サーバ２０とネットワーク５０を介して通信可能に接続されている。サービス提供サーバ１０は、ユーザ端末４０に、ユーザ端末４０のユーザの学習あるいは娯楽のための課題を提示させ、該課題へのユーザの回答であって、データ化された手書きの回答をユーザ端末４０から取得する。

【0017】

学習あるいは娯楽のための課題は、例えば、漢字などの文字や単語の書き取り、漢字の読み書き、穴埋め文章問題、クロスワードパズル、クイズ、ナンパ―プレースなど、文字で回答するものがある。また、その他にも、デッサン、模写など、描画画像で回答するもの、塗り絵など、画像への着色で回答するものがある。

【0018】

機械学習データ収集サーバ２０は、サービス提供サーバ１０とネットワーク５０を介して通信可能に接続されている。機械学習データ収集サーバ２０は、サービス提供サーバ１０から回答を取得し、該回答に基づき機械学習データを生成して、機械学習用データベース３０に登録する。なお、機械学習データ収集サーバ２０は、機械学習データの生成に必要な課題もしくは課題の正答も、上述の回答とともにサービス提供サーバ１０から取得してもよい。

【0019】

機械学習用データベース３０は、機械学習データ収集サーバ２０により登録された機械学習データを記憶する。機械学習用データベース３０は、機械学習データ収集サーバ２０と直接接続されていてもよいし、ネットワーク５０などを介して接続されていてもよい。機械学習用データベース３０は、記憶している機械学習データを、機械学習を行うためのデータとして提供する。

【0020】

図２は、本実施形態におけるサービス提供サーバ１０、機械学習データ収集サーバ２０の機能構成を示す概略ブロック図である。図２に示すようにサービス提供サーバ１０は、課題提示部１１、回答取得部１２、回答評価部１３を備える。課題提示部１１（課題生成部）は、課題をユーザ端末４０に通知して提示させる。なお、課題は、データ取得部２１からの要求に基づくものであってもよい。例えば、データ取得部２１が、収集済みの機械学習データの網羅性や、収集済みの機械学習データを用いた機械学習精度などに基づいて、必要な漢字（例えば「地」）を示す文字コードをデータ要求として課題提示部１１に通知する。課題提示部１１は、該文字コードの漢字もしくは該漢字を含む熟語（例えば「地球」）や文章の書き取りを課題としてユーザ端末４０に通知する。熟語や文章について、課題提示部１１は、例えば、辞書を検索して取得する。

【0021】

また、データ取得部２１が、描画画像として必要なものの画像または名称を課題提示部１１に通知し、課題提示部１１が該画像または名称のものの描画を課題としてユーザ端末４０に通知してもよい。また、データ取得部２１が、着色されていない線画画像を課題提示部１１に通知し、課題提示部１１が該線画画像への着色を課題としてユーザ端末４０に通知してもよい。なお、課題は、郵送によりユーザに通知されてもよい。
課題提示部１１は、データ取得部２１から名称を通知された場合、例えば、名称と関連付けされた画像を検索して取得する。また、ユーザに線画画像を通知する場合、着色された画像をデータ取得部２１から取得し、線画化して通知してもよい。

【0022】

ユーザ端末４０は、課題提示部１１から通知された課題をユーザに提示する。ユーザ端末４０は、課題に対するユーザの回答であって、手書きの回答をデジタル化し、回答取得部１２に送信する。デジタル化は、例えば、紙などに手書きされたものを、デジタルカメラ、スキャナなどで読み込むことで行ってもよいし、タッチパネルに対してスタイラスペンなどで手書きされたものを取り込むことで行ってもよいし、マウスなどのポインティングデバイスにより手書きされたものを取り込むことで行ってもよい。

【0023】

回答取得部１２は、ユーザ端末４０がデジタル化し、送信した回答を受信することで、該回答を取得する。回答評価部１３は、回答取得部１２が取得した回答に対して、課題提示部１１が通知した課題への回答としての評価を付し、評価結果をユーザ端末４０に通知する。この評価は、回答が提出されたという評価であってもよいし、回答が正答か否かの評価であってもよい。また、回答が正答か否かの判断は、人間が行ってもよいし、文字認識技術などを用いて回答評価部１３が正答でないと判断したものについて人間が行ってもよい。

【0024】

データ取得部２１は、回答取得部１２から回答を取得する。なお、データ取得部２１は、回答評価部１３により正答と判定された回答のみを取得するようにしてもよい。また、データ取得部２１は、機械学習データの生成に必要な課題もしくは課題の正答も、上述の回答と対応付けて課題提示部１１から取得する。また、データ取得部２１は、取得した回答の評価結果を、回答評価部１３から取得してもよい。

【0025】

尤度算出部２２は、回答取得部１２が取得した回答が正答であることの尤度を、課題、課題への正答または評価を用いて算出する。例えば、回答が手書きの文字の画像である場合、尤度算出部２２は、文字認識技術を用いて該画像の文字を認識し、尤度を算出する。尤度算出部２２は、尤度が所定の閾値を超えたときは、該文字の画像を機械学習データの候補とする。ここで、用いる閾値は、一般的な文字認識において用いられるものよりも低い値とする。これにより、癖が強く、一般的な文字認識において認識されない、あるいは、誤認識される画像も機械学習データの候補に含めることができる。

【0026】

また、尤度算出部２２は、データ取得部２１が取得した正答と一致する認識結果の尤度が、所定の閾値を超えたときは、該文字の画像を機械学習データの候補とするようにしてもよい。例えば、ある画像の文字認識結果として、正答と一致する文字Ａの尤度がＸであり、正答と一致しない文字Ｂの尤度がＹであるとする。この場合、尤度算出部２２は、Ｘが所定の閾値を超えていれば、Ｘの尤度がＹより低かったとしても、該画像を機械学習データの候補とするようにしてもよい。

【0027】

なお、尤度算出部２２は、文字認識を行う際に、それまでに機械学習データとして、機械学習用データベース３０に登録した機械学習データにより学習された学習モデルを用いるようにしてもよい。さらに、この学習モデルを、ユーザ毎に用意しておいてもよい。すなわち、データ取得部２１は、回答に対応付けて、該回答のユーザを識別する情報を取得し、あるユーザの学習モデルは、該ユーザの回答に基づく機械学習データを用いて学習することで生成されたものであってもよい。これにより、ユーザごとの癖が反映され学習モデルを得ることができる。回答が文字の画像以外の場合も同様である。

【0028】

また、回答が着色された画像である場合、尤度算出部２２は、例えば、空や森、動物などの一般的な色、あるいは、正答とされる画像の色との色差から尤度を算出してもよい。画像を構成する、例えば空や森、動物などの領域を予め設定しておき、領域ごとに正答とされる画像の色との色差から尤度を算出してもよい。あるいは、尤度算出部２２を備えないか、用いないかであり、全ての回答を機械学習データの候補に含めるようにしてもよい。

【0029】

また、回答が描画画像である場合、文字の画像の場合の文字認識と正答に代えて、物体認識技術（画像認識技術）と課題（描画するものの名称、あるいは、課題の画像の画像認識結果）を用いて、尤度算出部２２は、描画画像中の物体を認識して、文字の画像の場合と同様の処理を行ってもよい。さらに、課題が画像である場合、尤度算出部２２は、課題の画像と、回答の描画画像との類似度を算出し、該類似度を尤度として用いてもよい。

【0030】

データ登録部２３は、尤度算出部２２により機械学習データの候補とされた回答を、課題もしくは課題の正答と対応付けて、機械学習用データベース３０に登録する。このとき、データ登録部２３は、さらにユーザを識別する情報も対応づけておいてもよい。
回答が着色された画像である場合、例えば、空や森、動物などの画像を構成する要素ごとに機械学習用データベース３０に登録されてもよい。
また、回答が描画画像である場合、認識した物体ごとに機械学習用データベース３０に登録されてもよい。

【0031】

図３は、本実施形態における機械学習用データベース３０が記憶する機械学習データの第１の例を示す表である。図３に示す第１の例は、回答が文字の画像である場合の例である。この第１の例では、機械学習用データベース３０は、「文字コードＡ１」と「文字画像Ｂ１」とを対応付けて記憶し、「文字コードＡ２」と「文字画像Ｂ２」とを対応付けて記憶し、「文字コードＡ３」と「文字画像Ｂ３」とを対応付けて記憶する。

【0032】

例えば、課題が、漢字の読み書き、穴埋め文章問題、クロスワードパズル、クイズ、ナンパ―プレースなどであれば、これらの文字コードは、正答の文字の文字コードであり、これらの文字画像は、回答の文字の画像である。また、課題が、書き取りであれば、これらの文字コードは、課題の文字の文字コードであり、これらの文字画像は、回答の文字の画像である。

【0033】

図４は、本実施形態における機械学習用データベース３０が記憶する機械学習データの第２の例を示す表である。図４に示す第２の例は、回答が描画画像である場合の例である。この第２の例では、機械学習用データベース３０は、「名称Ｃ１」と「描画画像Ｄ１」とを対応付けて記憶し、「名称Ｃ２」と「描画画像Ｄ２」とを対応付けて記憶し、「名称Ｃ３」と「描画画像Ｄ３」とを対応付けて記憶する。これらの名称は、例えば、デッサンする課題とされた物体の名称であり、模写する課題とされた画像中の物体の名称である。

【0034】

図５は、本実施形態における機械学習用データベース３０が記憶する機械学習データの第３の例を示す表である。図５に示す第３の例は、回答が着色された画像である場合の例である。この第３の例では、機械学習用データベース３０は、「名称Ｅ１」と「着色画像Ｆ１」とを対応付けて記憶し、「名称Ｅ２」と「着色画像Ｆ２」とを対応付けて記憶し、「名称Ｅ３」と「着色画像Ｆ３」とを対応付けて記憶する。これらの名称は、課題とされた線画画像を構成する領域の名称である。

【0035】

なお、図３から図５における文字画像、描画画像、着色画像は、画像形式のデータでなくてもよく、どのようなデータ形式であってもよい。また、機械学習を行うための特徴量に変換されたものであってもよい。

【0036】

図６は、本実施形態における機械学習データ収集システム１００の動作を説明するシーケンス図である。まず、機械学習データ収集サーバ２０が、必要なデータを示すデータ要求Ｓ１をサービス提供サーバ１０に送信する。サービス提供サーバ１０は、該データ要求Ｓ１に基づき、課題Ｓ２を生成して、ユーザ端末４０に通知する。ユーザ端末４０は、通知された課題Ｓ２を表示し、ユーザによる回答Ｓ３をサービス提供サーバ１０に送信する。

【0037】

サービス提供サーバ１０は、該回答Ｓ３に対して、課題Ｓ２への回答としての評価をし、その評価結果Ｓ４をユーザ端末４０に通知する。また、サービス提供サーバ１０は、該回答Ｓ３とともに、課題Ｓ２または正答Ｓ５を機械学習データ収集サーバ２０に送信する。機械学習データ収集サーバ２０は、回答Ｓ３と、課題Ｓ２または正答Ｓ５とに基づき、機械学習データＳ６を生成して、機械学習用データベース３０に登録する。

【0038】

このように、機械学習データ収集システム１００は、学習または娯楽のための課題の回答を取得し、該回答に対して、該課題への回答としての評価を付す。そして、機械学習データ収集システム１００は、該回答に基づき、機械学習データを生成する。このように、回答を生成する個人は、課題への回答としての評価結果が得られるため、機械学習データを生成する際にかかる個人の負担を軽減することができる。

【0039】

なお、本発明における図１の機械学習データ収集システム１００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませて実行することにより、機械学習データ収集システム１００を実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷ（World Wide Web）システムも含むものとする。

【0040】

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc - Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ（Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。

【0041】

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

【0042】

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

【符号の説明】

【0043】

１０ サービス提供サーバ
１１ 課題提示部
１２ 回答取得部
１３ 回答評価部
２０ 機械学習データ収集サーバ
２１ データ取得部
２２ 尤度算出部
２３ データ登録部
３０ 機械学習用データベース
４０ ユーザ端末
１００ 機械学習データ収集システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】