(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-28
(45)【発行日】2023-10-06
(54)【発明の名称】画像判定システム
(51)【国際特許分類】
G06T 7/00 20170101AFI20230929BHJP
G06Q 50/10 20120101ALI20230929BHJP
G06N 20/00 20190101ALI20230929BHJP
G06N 20/20 20190101ALI20230929BHJP
【ＦＩ】
G06T7/00 350B
G06Q50/10
G06N20/00 130
G06N20/20
【請求項の数】
8
(21)【出願番号】P 2020006190
(22)【出願日】2020-01-17
(65)【公開番号】P2021114097
(43)【公開日】2021-08-05
【審査請求日】2022-07-05
(73)【特許権者】
【識別番号】597132849
【氏名又は名称】株式会社日立ソリューションズ・クリエイト
(74)【代理人】
【識別番号】110000279
【氏名又は名称】弁理士法人ウィルフォート国際特許事務所
(72)【発明者】
【氏名】小辰 信夫
(72)【発明者】
【氏名】樽角 政樹
(72)【発明者】
【氏名】千條 貴大
【審査官】▲広▼島 明芳
(56)【参考文献】
【文献】国際公開第２０１９／１５０８１３（ＷＯ，Ａ１）
【文献】特開２０１９－１０９９２４（ＪＰ，Ａ）
【文献】特開２０１９－１９２０８２（ＪＰ，Ａ）
【文献】特開２０１９－１１７４３７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０６Ｑ ５０／１０ － ５０／２６
Ｇ０６Ｎ ２０／００ － ２０／２０
(57)【特許請求の範囲】
【請求項1】
端末と、この端末と通信可能な共通サーバ及び専門サーバとを有する画像判定システムであって、前記端末は、
被写体を撮像して画像を出力する撮像部と、
軽量学習モデルが格納された記憶部と、
前記画像に基づいて前記軽量学習モデルを用いて前記被写体の分類を判定する画像判定部と、
前記画像と前記画像判定部により判定された前記被写体の前記分類とを提示する表示部と、
前記提示された前記被写体の前記分類の修正または追加入力を受け入れる入力部と、
前記画像を前記共通サーバに送信し、前記分類の修正または追加入力を収集して前記記憶部に軽量マスカスタマイズ（以下、ＭＣと省略する）教師データセットとして格納するとともに、前記分類の修正または追加入力を前記専門サーバに送信するデータ収集部と、
を有し、
前記共通サーバは、
共通学習モデル及び共通教師データセットが格納された共通記憶部と、
前記端末から送信された前記画像を用いて前記共通教師データセットを生成する共通データ収集部と、
前記共通教師データセットを用いて前記共通学習モデルを生成し、さらに、前記共通学習モデルを軽量化して前記軽量学習モデルを生成し、この軽量学習モデルを前記端末に送信する共通学習モデル生成部と
を有し、
前記専門サーバは、
専門学習モデル及び専門教師データセットが格納された専門記憶部と、
前記端末から送信された前記分類の修正または追加入力を用いて前記専門教師データセットを生成する専門データ収集部と、
前記専門教師データセットを用いて前記専門学習モデルを生成する専門学習モデル生成部と、
前記画像判定部による判定が困難な場合、前記画像に基づいて前記専門学習モデルを用いて前記被写体を判定する専門画像判定部と
を有することを特徴とする画像判定システム。
【請求項2】
前記データ収集部は前記分類の修正または追加入力を前記共通サーバに送信し、前記共通データ収集部は、前記端末から送信された前記分類の修正または追加入力を用いてＭＣ教師データセットを生成し、
前記共通学習モデル生成部は、前記ＭＣ教師データセットを用いてＭＣ学習モデルを生成し、さらに、前記ＭＣ学習モデルを軽量化して軽量ＭＣ学習モデルを生成し、この軽量ＭＣ学習モデルを前記端末に送信し、
前記画像判定部は前記軽量学習モデルと前記軽量ＭＣ学習モデルとを用いて前記被写体を判定する
ことを特徴とする請求項１に記載の画像判定システム。
【請求項3】
前記共通サーバは、前記端末から送信された前記画像に基づいて前記被写体の分類を判定する共通画像判定部と、
前記分類毎の前記共通学習モデルの量及び類似性を示す成熟度を算出する成熟度算出部と
を有し、
前記表示部は、前記画像と、前記共通画像判定部により判定された前記被写体の前記分類と、前記成熟度算出部により算出された成熟度とを提示する
ことを特徴とする請求項１に記載の画像判定システム。
【請求項4】
前記端末は複数存在し、前記ＭＣ教師データセット、前記ＭＣ学習モデル及び前記軽量ＭＣ学習モデルは前記端末毎に作成され、
前記共通学習モデル生成部は、特定の前記端末から前記分類の追加入力が送信された前記画像を少なくとも一つの他の前記端末に送信して前記分類の修正または追加入力を受け付け、前記特定の端末から送信された前記分類の修正または追加入力に基づいて前記共通教師データセットを修正するか否かを判定する
ことを特徴とする請求項２に記載の画像判定システム。
【請求項5】
前記端末は複数存在し、前記ＭＣ教師データセット、前記ＭＣ学習モデル及び前記軽量ＭＣ学習モデルは前記端末毎に作成され、
前記共通学習モデル生成部は、特定の前記端末から前記分類の追加入力が送信された前記画像を少なくとも一つの他の前記端末毎の前記ＭＣ学習モデルを用いて判定し、この判定結果に基づいて前記共通教師データセットを修正するか否かを判定する
ことを特徴とする請求項２に記載の画像判定システム。
【請求項6】
前記共通学習モデル生成部は、前記端末から送信された前記画像に基づいて前記共通教師データセットに追加したデータの件数が所定数を超えたら前記共通学習モデルを再作成し、この際、前記共通学習モデルの再作成に必要な時間が前記共通教師データセットに前記データを前記所定数追加する時間を超えた場合、前記共通学習モデルの再作成に必要な時間が前記共通教師データセットに前記データを前記所定数追加する時間を超えないように、前記共通学習モデルの作成の元となる前記共通教師データセットの前記データの件数を調整し、前記共通学習モデルの再作成に必要な時間が前記共通教師データセットに前記データを前記所定数追加する時間を超えない場合、前記共通教師データセットの前記データの件数を適度に水増しすることを特徴とする請求項１に記載の画像判定システム。
【請求項7】
前記共通学習モデル生成部は、前記端末から送信された前記画像に基づいて前記共通教師データセットに追加した前記分類のデータのうち、前記共通学習モデルによる予測と同じ結果であった前記分類のデータを出現頻度の高い順に並べ、出現頻度の最も高い前記分類のデータを所定割合抽出し、出現頻度の最も低い前記分類のデータを抽出しないように、出現頻度の高い前記分類のデータから低い前記分類のデータの抽出割合を逓減して抽出して前記共通学習モデルの再作成を行うことを特徴とする請求項１に記載の画像判定システム。
【請求項8】
前記共通学習モデル生成部は、前記端末から送信された前記画像に基づいて前記共通教師データセットに追加した前記分類のデータのうち、前記共通学習モデルによる予測と同じ結果であった前記分類のデータを出現頻度の高い順に並べ、出現頻度が一定数以上の前記分類のデータは前記一定数だけランダムに抽出し、出現頻度が一定数未満の前記分類のデータはそのまま抽出して前記共通学習モデルの再作成を行うことを特徴とする請求項１に記載の画像判定システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像判定システムに関する。
【背景技術】
【0002】
画像判定システムが正しい判定をしなかった場合、逐次再学習することで学習モデルを自己改善するシステムが、例えば、特許文献１に開示されている。また、ユーザ毎の趣味・嗜好を特徴量化して、機械学習することでユーザに最適なコンテンツを提示するシステムが、例えば、特許文献２に開示されている。
【0003】
特許文献１の画像判定システムは、画像が表す種別ごとの確からしさを推定する学習モデルを評価し、精度が基準を満たしていない場合、正解ラベルを付与し、学習モデルの再学習を行いより精度の高いモデルに改善していく。
【0004】
また、特許文献２では、ユーザ毎の画像に対する反応、すなわちコメントしたり、「いいね」を表明したり、あるいは無視（スルー）したり、といった行動の結果を特徴量化し、それを線形回帰、ロジスティック回帰、ブースティング・ツリー、または加重決定木などの機械学習方式で予測することで、近しいユーザネットワークグループを形成したり、当該ユーザの趣味・嗜好にあった画像をカスタマイズして提示する。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１９－１５２９４８号公報
【文献】特表２０１６－５１０４４１号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上述した特許文献１、２に開示された技術では、ユーザ毎に画像判定結果をマスカスタマイズ（以下、ＭＣと省略する）する仕組みや、精度向上のため、画像判定機構を多段階化し、必要に応じてより精度や専門性の高い判定機構にエスカレーションすることで、より正確な判定を行う仕掛けは考慮されていない。また、ユーザへの判定結果の提示方法に、判定機構の学習の成熟度を付加することで、ユーザが総合的に判断できる仕掛けについても考慮されていない。
【0007】
本発明は上記の課題に鑑みてなされたもので、ユーザ毎に最適な画像判定を行うことが可能な画像判定システムを提供することにある。
【課題を解決するための手段】
【0008】
上記課題を解決すべく、本発明の一つの観点に従う画像判定システムは、端末と、この端末と通信可能な共通サーバ及び専門サーバとを有する。
端末は、被写体を撮像して画像を出力する撮像部と、軽量学習モデルが格納された記憶部と、画像に基づいて軽量学習モデルを用いて被写体の分類を判定する画像判定部と、画像と画像判定部により判定された被写体の分類とを提示する表示部と、提示された被写体の分類の修正または追加入力を受け入れる入力部と、画像を共通サーバに送信し、分類の修正または追加入力を収集して記憶部に軽量ＭＣ教師データセットとして格納するとともに、分類の修正または追加入力を専門サーバに送信するデータ収集部とを有する。
共通サーバは、共通学習モデル及び共通教師データセットが格納された共通記憶部と、端末から送信された画像を用いて共通教師データセットを生成する共通データ収集部と、共通教師データセットを用いて共通学習モデルを生成し、さらに、共通学習モデルを軽量化して軽量学習モデルを生成し、この軽量学習モデルを端末に送信する共通学習モデル生成部とを有する。
専門サーバは、専門学習モデル及び専門教師データセットが格納された専門記憶部と、端末から送信された分類の修正または追加入力を用いて専門教師データセットを生成する専門データ収集部と、専門教師データセットを用いて専門学習モデルを生成する専門学習モデル生成部と、画像判定部による判定が困難な場合、画像に基づいて専門学習モデルを用いて被写体を判定する専門画像判定部とを有する。
端末は、被写体を撮像して画像を出力する撮像部と、軽量学習モデルが格納された記憶部と、画像に基づいて軽量学習モデルを用いて被写体の分類を判定する画像判定部と、画像と画像判定部により判定された被写体の分類とを提示する表示部と、提示された被写体の分類の修正または追加入力を受け入れる入力部と、画像を共通サーバに送信し、分類の修正または追加入力を収集して記憶部に軽量ＭＣ教師データセットとして格納するとともに、分類の修正または追加入力を専門サーバに送信するデータ収集部とを有する。
共通サーバは、共通学習モデル及び共通教師データセットが格納された共通記憶部と、端末から送信された画像を用いて共通教師データセットを生成する共通データ収集部と、共通教師データセットを用いて共通学習モデルを生成し、さらに、共通学習モデルを軽量化して軽量学習モデルを生成し、この軽量学習モデルを端末に送信する共通学習モデル生成部とを有する。
専門サーバは、専門学習モデル及び専門教師データセットが格納された専門記憶部と、端末から送信された分類の修正または追加入力を用いて専門教師データセットを生成する専門データ収集部と、専門教師データセットを用いて専門学習モデルを生成する専門学習モデル生成部と、画像判定部による判定が困難な場合、画像に基づいて専門学習モデルを用いて被写体を判定する専門画像判定部とを有する。
【発明の効果】
【0009】
本発明によれば、ユーザ毎に最適な画像判定を行うことが可能な画像判定システムを実現することができる。
【図面の簡単な説明】
【0010】
【図1】実施例１に係る画像判定システムの機能構成を示す機能ブロック図である。
【図2】実施例１に係る画像判定システムの初期学習モデルとモバイル用軽量ＭＣ学習モデルの生成処理の一例を示すフローチャートである。
【図3】実施例１に係る画像判定システムのモバイル用軽量ＭＣ学習モデルの生成処理の一例を示すフローチャートである。
【図4】実施例１に係る画像判定システムのモバイル用軽量ＭＣ学習モデルの生成処理の他の例を示すフローチャートである。
【図5A】実施例１に係る画像判定システムの逐次学習プロセス処理の一例を示すフローチャートである。
【図5B】実施例１に係る画像判定システムの逐次学習プロセス処理の一例を示すフローチャートである。
【図6】実施例１に係る画像判定システムの各学習モデルの関連と参照する辞書のイメージを説明するための例を示すための図である。
【図7A】実施例１に係る画像判定システムのＭＣ学習モデルの生成処理の一例を示すフローチャートである。
【図7B】実施例１に係る画像判定システムのＭＣ学習モデルの生成処理の一例を示すフローチャートである。
【図7C】実施例１に係る画像判定システムのＭＣ学習モデルの生成処理の一例を示すフローチャートである。
【図8】実施例２に係る画像判定システムの逐次学習プロセス処理の一例を示すフローチャートである。
【図9】実施例２に係る画像判定システムの成熟度フィードバックプロセス処理の一例を示すフローチャートである。
【図10】実施例２に係る画像判定システムの成熟度フィードバックプロセス処理の他の例を示すフローチャートである。
【図11】実施例２に係る画像判定システムにおけるモバイル端末に表示される画面の一例を示す図である。
【図12】実施例２に係る画像判定システムにおけるモバイル端末に表示される画面の他の例を示す図である。
【図13】実施例２に係る画像判定システムにおけるモバイル端末に表示される画面の他の例を示す図である。
【図14】実施例３に係る画像判定システムの利用形態の一例を示す図である。
【図15】実施例４に係る画像判定システムのサンプリング回答補正方式処理の一例を示すフローチャートである。
【図16】実施例４に係る画像判定システムのＭＣ学習モデル補正方式処理の一例を示すフローチャートである。
【図17】実施例５に係る画像判定システムの学習モデル更新／再学習／保守プロセス処理の一例を示すフローチャートである。
【図18】実施例５に係る画像判定システムのデータ比率逓減再学習方式処理の例を示すフローチャートである。
【図19】実施例５に係る画像判定システムのデータ上限固定再学習方式処理の例を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下に説明する実施形態は請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0012】
なお、実施例を説明する図において、同一の機能を有する箇所には同一の符号を付し、その繰り返しの説明は省略する。
【0013】
また、以下の説明では、情報の一例として「ｘｘｘデータ」といった表現を用いる場合があるが、情報のデータ構造はどのようなものでもよい。すなわち、情報がデータ構造に依存しないことを示すために、「ｘｘｘデータ」を「ｘｘｘテーブル」と言うことができる。さらに、「ｘｘｘデータ」を単に「ｘｘｘ」と言うこともある。そして、以下の説明において、各情報の構成は一例であり、情報を分割して保持したり、結合して保持したりしても良い。
【実施例1】
【0014】
図１は、実施例１に係る画像判定システムの機能構成を示す機能ブロック図である。
【0015】
本実施例の画像判定システムＳは、複数のモバイル端末１００、共通サーバ２００及び単一のまたは複数の専門サーバ３００を有する。モバイル端末１００は本実施例の画像判定システムＳの複数のユーザ（図示例ではＵＳＥＲ－１～ＵＳＥＲ－Ｘ）により携帯され、使用される。以下の説明では、ＵＳＥＲ－Ｘのモバイル端末１００について主に説明する。
【0016】
モバイル端末１００と共通サーバ２００とは、互いの通信部１６０、２３０により相互に情報の送受信が可能になっている。同様に、共通サーバ２００と専門サーバ３００とは、互いの通信部２３０、３３０により相互に情報の送受信が可能になっている。モバイル端末１００と共通サーバ２００との間の通信手段に特段の限定はないが、好ましくは、一部が無線通信手段により構成される。また、通信手段はいわゆるＬＡＮ（Local Area Network）またはインターネットや移動体通信網に代表されるＷＡＮ（Wide Area Network）の少なくとも一方または両方でありうる。
【0017】
モバイル端末１００、共通サーバ２００及び専門サーバ３００は、いずれも各種情報処理が可能な装置、一例としてコンピュータ等の情報処理装置である。情報処理装置は、少なくとも演算素子、記憶媒体を有する。特に、モバイル端末１００は、ユーザが携帯可能なスマートフォン、タブレット端末等が好ましい。
【0018】
演算素子は、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field-Programmable Gate Array）等である。記憶媒体は、例えばＨＤＤ（Hard Disk Drive）などの磁気記憶媒体、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＳＳＤ（Solid State Drive）などの半導体記憶媒体等を有する。また、ＤＶＤ（Digital Versatile Disk）等の光ディスク及び光ディスクドライブの組み合わせも記憶媒体として用いられる。その他、磁気テープメディアなどの公知の記憶媒体も記憶媒体として用いられる。
【0019】
記憶媒体には、ファームウェアなどのプログラムが格納されている。モバイル端末１００、共通サーバ２００及び専門サーバ３００の動作開始時（例えば電源投入時）にファームウェア等のプログラムをこの記憶媒体から読み出して実行し、これらモバイル端末１００等の全体制御を行う。また、記憶媒体には、プログラム以外にも、モバイル端末１００等の動作に必要なデータ等が格納されている。
【0020】
なお、本実施例の共通サーバ２００、専門サーバ３００は、それぞれ、情報処理装置が通信ネットワークを介して通信可能に構成された、いわゆるクラウドにより構成されてもよい。特に、専門サーバは、自社が用意したサーバに限らず、公開されたネットワークＡＩ（人工知能機能の提供を目的にＡＰＩ（アプリケーションプログラムインターフェース）を公開して他者に利活用を許可している）サーバを含む。
【0021】
モバイル端末１００は、制御部１１０、記憶部１２０、撮像部１３０、入力部１４０、表示部１５０及び通信部１６０を有する。
【0022】
制御部１１０は主に演算素子から構成され、モバイル端末１００全体の制御を行う。また、記憶部１２０に格納された図略のファームウェアがモバイル端末１００の起動時に実行されることで、各種機能部としての機能を実行する。このような機能部として、本実施例の制御部１１０は、モバイル用画像判定部１１１、撮像制御部１１２、データ送受信部１１３及びデータ収集部１１４を有する。
【0023】
モバイル用画像判定部１１１は、後述する記憶部１２０に格納されたモバイル用軽量学習モデル１２１及びモバイル用軽量ＭＣ学習モデル１２２に基づいて、人工知能（含む機械学習、深層学習）手法に基づいて、撮像部１３０により撮像された被写体の判定を行う。モバイル用画像判定部１１１により行われる被写体判定手法については周知のものであるので、ここでの詳細な説明は省略する。
【0024】
撮像制御部１１２は、撮像部１３０の制御を行う。データ送受信部１１３は、通信部１６０を介したデータの送受信を制御する。
【0025】
データ収集部１１４は、撮像部１３０が出力する画像を共通サーバ２００に送信する。また、データ収集部１１４は、入力部１４０が受け入れた被写体の分類候補または、その修正あるいは追加入力情報を画像情報にラベルとして付加し、記憶部１２０にモバイル用ＭＣ教師データセット１２３として格納・蓄積する。
【0026】
記憶部１２０は主に記憶媒体から構成され、上述したファームウェア等のプログラム以外に、モバイル端末１００の動作に必要なデータ等が一時的または定常的に格納されている。
【0027】
記憶部１２０には、モバイル用軽量学習モデル１２１、モバイル用軽量ＭＣ学習モデル１２２及びモバイル用ＭＣ教師データセット１２３が格納されている。これらモバイル用軽量学習モデル１２１等は、人工知能手法による被写体の判定に用いられて好適なデータ構造を有する。データ構造は周知のものであるので、ここでの説明は省略する。
【0028】
撮像部１３０は、ＣＭＯＳ等の撮像素子によりモバイル端末１００の周囲にある被写体を撮像し、被写体を含む画像として出力する。入力部１４０はタッチパネル等を有し、ユーザからの各種操作入力を受け入れる。表示部１５０は液晶ディスプレイ等を有し、制御部１１０からの指令に基づいて表示面に表示画面を表示する。通信部１６０は共通サーバ２００及び専門サーバ３００との間での各種データの送受信を制御する。
【0029】
次に、共通サーバ２００は、共通制御部２１０、共通記憶部２２０及び通信部２３０を有する。
【0030】
共通制御部２１０は主に演算素子から構成され、共通サーバ２００全体の制御を行う。また、共通記憶部２２０に格納された図略のファームウェアが共通サーバ２００の起動時に実行されることで、各種機能部としての機能を実行する。このような機能部として、本実施例の共通制御部２１０は、共通画像判定部２１１、共通学習モデル生成部２１２、共通データ送受信部２１３及び共通データ収集部２１４を有する。
【0031】
共通画像判定部２１１は、モバイル端末１００から送信された画像に基づいて被写体の分類を判定する。共通学習モデル生成部２１２は、共通記憶部２２０に格納されている共通教師データセット２２２を用いて共通学習モデル２２１を生成し、さらに、共通学習モデル２２１を軽量化してモバイル用軽量学習モデル１２１を生成し、このモバイル用軽量学習モデル１２１をモバイル端末１００に送信する。
【0032】
また、共通学習モデル生成部２１２は、共通記憶部２２０に格納されたＵＳＥＲ－Ｘ用のＭＣ教師データセット２２４（Ｘ）単独または、共通教師データセット２２２と合体したデータセットを用いてＭＣ学習モデル２２３（Ｘ）を生成し、さらに、ＭＣ学習モデル２２３（Ｘ）を軽量化してモバイル用軽量ＭＣ学習モデル１２２（Ｘ）を生成し、このモバイル用軽量ＭＣ学習モデル１２２（Ｘ）をモバイル端末１００に送信する。
【0033】
これら共通学習モデル２２１等の生成手法については周知のものであるので、共通学習モデル２２１を軽量化してモバイル用軽量学習モデル１２１を生成する手法（詳細は後述）以外の説明は省略する。
【0034】
共通データ送受信部２１３は、通信部２３０を介したデータの送受信を制御する。
【0035】
共通データ収集部２１４は、モバイル端末１００から送信された画像と、入力部１４０が受け入れた被写体の分類候補を画像情報にラベルとして付加し、共通教師データセット２２２に追加・蓄積する。また、共通データ収集部２１４は、ＵＳＥＲ－Ｘが表示部１５０に表示された被写体の分類候補を受け入れなかった場合は、ＵＳＥＲ－Ｘの修正あるいは追加入力情報を画像情報にラベルとして付加し、モバイル端末１００の記憶部１２０にモバイル用ＭＣ教師データセット１２３に追加・蓄積する。その際、蓄積されたデータ件数が、Ｎ件を超えた場合、モバイル端末１００は、共通サーバ２００にモバイル用ＭＣ教師データセット１２３をまとめて送信し、ＭＣ教師データセット２２４（Ｘ）として追加・蓄積する。
【0036】
共通記憶部２２０は主に記憶媒体から構成され、上述したファームウェア等のプログラム以外に、共通サーバ２００の動作に必要なデータ等が一時的または定常的に格納されている。
【0037】
共通記憶部２２０には、共通学習モデル２２１、共通教師データセット２２２、ＭＣ学習モデル２２３及びＭＣ教師データセット２２４が格納されている。これら共通学習モデル２２１等は、人工知能手法による被写体の判定に用いられて好適なデータ構造を有する。データ構造は周知のものであるので、ここでの説明は省略する。
【0038】
通信部２３０はモバイル端末１００及び専門サーバ３００との間での各種データの送受信を制御する。
【0039】
次に、専門サーバ３００は、専門制御部３１０、専門記憶部３２０及び通信部３３０を有する。
【0040】
専門制御部３１０は主に演算素子から構成され、専門サーバ３００全体の制御を行う。また、専門記憶部３２０に格納された図略のファームウェアが専門サーバ３００の起動時に実行されることで、各種機能部としての機能を実行する。このような機能部として、本実施例の専門制御部３１０は、専門画像判定部３１１、専門学習モデル生成部３１２、専門データ送受信部３１３及び専門データ収集部３１４を有する。
【0041】
専門画像判定部３１１は、モバイル端末１００のモバイル用画像判定部１１１による判定や、共通サーバ２００の共通画像判定部２１１による判定より、詳細な専門的判定が求められた場合、モバイル端末１００から送信された画像に基づいて専門記憶部３２０に格納された専門学習モデル３２１を用いて被写体を判定する。
【0042】
専門学習モデル生成部３１２は、専門記憶部３２０に格納された専門教師データセット３２２を用いて専門学習モデル３２１を生成する。専門学習モデル３２１等の生成手法については周知のものであるので、ここでの説明は省略する。
【0043】
専門データ送受信部３１３は、通信部３３０を介したデータの送受信を制御する。
【0044】
専門データ収集部３１４は、モバイル端末１００から送信された被写体の分類の修正または追加入力を用いて専門教師データセット３２２に追加・蓄積する。
【0045】
通信部３３０はモバイル端末１００及び共通サーバ２００との間での各種データの送受信を制御する。
【0046】
なお、図１に示す各機能実行部及びデータの詳細については後述する。
【0047】
次に、図２～図７Ｄを参照して、本実施例の画像判定システムＳによる画像判定動作について説明する。まず、図２は、実施例１に係る画像判定システムＳの初期学習モデルとモバイル用軽量ＭＣ学習モデルの生成処理の一例を示すフローチャートである。
【0048】
複数のユーザが、初期学習のためにモバイル端末１００の撮像部１３０を用いて学習モデル構築用の被写体を撮像して画像を出力し、各ユーザに分類カテゴリ情報を入力させてラベルとし、モバイル端末１００のデータ送受信部１１３は、撮像部１３０から出力された画像に当該ラベルを付加して共通サーバ２００に送信する。共通サーバ２００の共通データ収集部２１４は、モバイル端末１００から送信された画像とラベルのセットを収集し、共通教師データセット２２２として追加、蓄積する（ステップＳ２００）。生成された共通教師データセット２２２は共通記憶部２２０に格納される。
【0049】
モバイル端末によるデータ収集で十分なデータが集まらない場合または、全くデータの収集ができない場合は、別の手段でデータを収集する。例えば、システム開発者が独自に人海戦術で学習用データを撮影して集めたり、動画像から切り出したり、インターネット上に複数存在している画像コンテンツをボットなどの手段で機械的に収集し、アノテーションツール等を駆使して教師用の画像の切り出しやラベルづけを行い、共通教師データセット２２２として追加、蓄積する（ステップＳ２００）。
【0050】
共通サーバ２００の共通学習モデル生成部２１２は、共通教師データセット２２２を用いて共通学習モデル２２１を生成する（ステップＳ２０１）。生成された共通学習モデル２２１も共通記憶部２２０に格納される。
【0051】
次いで、共通学習モデル生成部２１２は、生成した共通学習モデル２２１を軽量化してモバイル用軽量学習モデル１２１を生成する（ステップＳ２０２）。生成したモバイル用軽量学習モデル１２１は共通データ送受信部２１３によりモバイル端末１００に送信され、モバイル端末１００のデータ送受信部１１３はモバイル用軽量学習モデル１２１を記憶部１２０に格納する。
【0052】
学習モデルの軽量化の手法としては、蒸留（Distillation）、枝刈り（Pruning）、量子化（Quantize）などが知られている。蒸留とは、深く、何層にも広がったニューラルネットワークで十分なデータを使って学習したモデルを教師モデルとして、その出力（最終／中間）結果を正解データとして生徒モデルを学習させてより浅いノード数の少ない計量モデルでも高い精度が得られるようにしたものである。また、枝刈りとは、ニューラルネットの関係の薄い部分を０にしてネットを断ち切ることで階層を浅く／希釈することで、必要な計算量、メモリ量の節約をするものである。量子化とは、学習済みネットワークの浮動小数型の重みを、±１のどちらかに寄せて計算が簡単にできるようにしたものである。
【0053】
このような既知の軽量化手法により共通学習モデル２２１を軽量化してモバイル用軽量学習モデル１２１を生成し、このモバイル用軽量学習モデル１２１を用いてモバイル端末１００において被写体の判定を行うことで、処理能力やメモリに制限のあるモバイル端末１００によっても被写体の判定処理を行うことができる。
【0054】
次に、ステップＳ２００で収集した教師データセットのラベルを分類カテゴリ別に整理し、カテゴリに階層構造を見いだせる場合であって、標準的な共通カテゴリより詳細なサブカテゴリに分類されるような教師データセットの場合は、共通教師データセットから削除し、専門サーバ３００の専門データ収集部３１４に送って、専門教師データセット３２２に追加・蓄積する（ステップＳ２０３）。生成した専門教師データセット３２２は専門記憶部３２０に格納される。
【0055】
専門サーバ３００の専門学習モデル生成部３１２は、専門教師データセット３２２に基づいて専門学習モデル３２１を生成する（ステップＳ２０４）。生成した専門学習モデル３２１も専門記憶部３２０に格納される。
【0056】
一方、ＵＳＥＲ－Ｘが、表示部１５０に表示された被写体の分類候補を受け入れなかった場合は、ＵＳＥＲ－Ｘの修正あるいは追加入力情報を画像情報にラベルとして付加し、モバイル端末１００の記憶部１２０のモバイル用ＭＣ教師データセット１２３に追加・蓄積する（ステップＳ２０５）。その際、蓄積されたデータ件数が、Ｎ（Ｎは自然数）件を超えた場合（ステップＳ２０６においてＹＥＳ）、モバイル端末１００は、共通サーバ２００にモバイル用ＭＣ教師データセット１２３をまとめて送信し、ＭＣ教師データセット
２２４（Ｘ）として追加・蓄積する（ステップＳ２０７）。生成したＭＣ教師データセット２２４は共通記憶部２２０に格納される。
２２４（Ｘ）として追加・蓄積する（ステップＳ２０７）。生成したＭＣ教師データセット２２４は共通記憶部２２０に格納される。
【0057】
共通サーバ２００の共通学習モデル生成部２１２は、ＵＳＥＲ－Ｘ用のＭＣ教師データセット２２４（Ｘ）単独または、共通教師データセット２２２と合体したデータセットを用いてＭＣ学習モデル２２３（Ｘ）を生成するとともに、このＭＣ学習モデル２２３（Ｘ）を軽量化してモバイル用軽量ＭＣ学習モデル１２２を生成し、このモバイル用軽量ＭＣ学習モデル１２２をＵＳＥＲ－Ｘのモバイル端末１００に送信する（ステップＳ２０８）。ステップＳ１０８の詳細については図３及び図４を参照して後に詳述する。
【0058】
以降、モバイル端末１００のモバイル用画像判定部１１１は、モバイル用軽量学習モデル１２１とモバイル用軽量ＭＣ学習モデル１２２とを用いて被写体の判定を行う（ステップＳ２０９）。
【0059】
従って、被写体の詳細な分類の判定を必要とするユーザについては、ＭＣをしたモバイル用軽量ＭＣ学習モデル１２２も用いて被写体の判定を行うことにより、ユーザ毎にカスタマイズした判定処理を行うことができる。
【0060】
【0061】
まず、共通学習モデル生成部２１２は、ＭＣ教師データセット２２４を訓練データに用いてＭＣ学習モデル２２３を生成する（ステップＳ３００）。
【0062】
次に、共通学習モデル生成部２１２は、ＭＣ学習モデル２２３と共通学習モデル２２１とのアンサンブル学習を行う（ステップＳ３０１）。ここで、アンサンブル学習とは、複数の学習モデルを組み合わせて（多数決などの方法により）最終的な答えを導く方法である。
【0063】
そして、共通学習モデル生成部２１２は、アンサンブル学習により得られた学習モデルを元に、学習モデルの軽量化手法によりモバイル用軽量ＭＣ学習モデル１２２を生成する（ステップＳ３０２）。
【0064】
なお、図３に示すフローチャートにおいて、学習モデルの軽量化手法によりモバイル用軽量ＭＣ学習モデル１２２を生成した後、モバイル端末１００においてモバイル用軽量学習モデル１２１とアンサンブル学習を行うことで最終的にモバイル用軽量ＭＣ学習モデル１２２を生成することも可能である。
【0065】
図４は、実施例１に係る画像判定システムＳの軽量ＭＣ学習モデルの生成処理の他の例を示すフローチャートである。図４に示すフローチャートも、図２に示すフローチャートのステップＳ２０８の詳細を示すものである。
【0066】
まず、共通学習モデル生成部２１２は、ＭＣ教師データセット２２４と共通教師データセット２２２とを用いてＭＣ学習モデル２２３を生成する（ステップＳ４００）。
【0067】
ＭＣ教師データセットが共通教師データセットに比べ極端に少ない（例えば、1／１００）場合は、ＭＣ教師データセットのデータを水増し（Augmentation）する（ステップＳ４０１）。
【0068】
そして、共通学習モデル生成部２１２は、ＭＣ学習モデル２２３を元に、学習モデルの軽量化手法によりモバイル用軽量ＭＣ学習モデル１２２を生成する（ステップＳ４０２）。
【0069】
次に、図５Ａ及び図５Ｂは、実施例１に係る画像判定システムＳの逐次学習プロセス処理の一例を示すフローチャートである。図５Ａ及び図５Ｂに示すフローチャートは、図２に示す初期学習モデルの生成処理が行われた後に実行される。
【0070】
まず、モバイル用画像判定部１１１は、モバイル用軽量学習モデル１２１を用いて、ユーザが撮像して得られた画像に対して被写体の判定処理を行う（ステップＳ５００）。判定処理結果は、画像に写っている被写体の分類（例えば「犬」「猫」）が、その確からしさ（「確度」）とともに得られる。
【0071】
そして、この確度が上位ｎ位（ｎは自然数）の判定結果について、それぞれの確度を合計したものがｘ％（０≦ｘ≦１００であり、例えばｘ＝８０）以上であるか否かが判定される（ステップＳ５０１）。そして、判定が肯定されたらプログラムはステップＳ４０２に移行し、モバイル端末１００の表示部１５０に上位ｎ位の候補である被写体の分類を確度とともに表示する。一方、判定が否定されたらプログラムはステップＳ５０５に移行する。
【0072】
ステップＳ５０２に次いで、モバイル用画像判定部１１１は、モバイル端末１００の表示部１５０に表示された候補のうち、最も確度が高い＝トップカテゴリの分類の確度がｚ％（０≦ｚ≦１００であり、例えばｚ＝５０）であって、しかも、この分類をさらに細分化した細分類＝サブカテゴリを持つか否かが判定される（ステップＳ５０３）。ここに、サブカテゴリ＝細分類は、例えば分類が「犬」であれば「柴犬」「チワワ」など、分類「犬」に属する犬種である。そして、判定が肯定されたらプログラムはステップＳ５１１に移行し、判定が否定されたらプログラムはステップＳ５０４に移行する。
【0073】
すなわち、モバイル用画像判定部１１１は入力部１４０を介したユーザの分類指定入力を待ち、この分類指定入力がされたら、ユーザの分類指定入力がステップＳ５０２で表示された候補の中にあったか否かが判定される（ステップＳ５０４）。そして、判定が肯定されたらプログラムはステップＳ５１０に移行し、判定が否定されたらプログラムはステップＳ５０５に移行する。
【0074】
一方、ステップＳ５０５では、モバイル端末１００のデータ送受信部１１３が、ユーザが撮像して得られた画像を共通サーバ２００に送信する。共通サーバ２００の共通制御部２１０は、共通学習モデル２２１を用いて画像の判定を行い、その結果をモバイル端末１００に送信する（ステップＳ５０６）。次いで、モバイル用画像判定部１１１は、ステップＳ４０６における画像判定の結果をもってしても確度が上がらない場合を想定して、ステップＳ５０１における判定基準であるｘをｙ（例えば５％）だけ減算する（ステップＳ５０７）。
【0075】
そして、モバイル用画像判定部１１１は、上位ｎ位以内の判定結果の確度の合計であるｘがａ％（０≦ａ≦１００であり、例えばａ＝５０）を下回ったか否かが判定される（ステップＳ５０８）。そして、判定が肯定されたらプログラムはステップＳ５０９に移行し、判定が否定されたらプログラムはステップＳ５０１に移行する。
【0076】
ステップＳ５０９では、モバイル用画像判定部１１１が、ユーザに対して画像に対する正解となる分類の入力を促す。そして、ステップＳ４１０では、モバイル端末１００のデータ収集部１１４が、ユーザの選択をモバイル用ＭＣ教師データセット１２３に一時的に格納後、一定数蓄積されたら、ＭＣ教師データセット２２４として共通サーバ２００に送信する。
【0077】
図５Ｂにおいて、専門サーバ３００の専門画像判定部３１１は、専門学習モデル３２１を用いて画像判定を行い、その結果をモバイル端末１００に送信する（ステップＳ５１１）。次いで、上位ｎ位の判定結果について、それぞれの確度を合計したものがｘ％以上であるか否かが判定される（ステップＳ５１２）。そして、判定が肯定されたらプログラムはステップＳ５１３に移行し、モバイル端末１００の表示部１５０に上位ｎ位の候補である被写体の分類を確度とともに表示する。一方、判定が否定されたらプログラムはステップＳ５１５に移行する。
【0078】
ステップＳ５１３では、モバイル用画像判定部１１１は入力部１４０を介したユーザの分類指定入力を待ち、この分類指定入力がされたら、ユーザの分類指定入力がステップＳ５０２で表示された候補の中にあったか否かが判定される。そして、判定が肯定されたらプログラムはステップＳ５１６に移行し、判定が否定されたらプログラムはステップＳ５１５に移行する。ステップＳ５１５では、モバイル端末１００のモバイル用画像判定部１１１は、ステップＳ５０６で得られた共通サーバ２００の画像判定結果を表示する。
【0079】
そして、ステップＳ５１６では、モバイル端末１００のデータ収集部１１４が、ユーザの選択入力をＭＣ教師データセット２２４として共通サーバ２００に送信する。
【0080】
【0081】
これら図において、ＵＳＥＲ－Ｘは、モバイル端末１００の撮像部１３０で被写体を撮像し、（１）モバイル用軽量学習モデル１２１（共通）を使って画像判定する（ステップＳ７００）。画像判定による候補は、モバイル端末１００の表示部１５０の画面の大きさに合わせて、上位Ｔ位まで表示する。
【0082】
次に、データ収集部１１４は、ＵＳＥＲ－Ｘが選択した答えが上位ｎ位以内の候補にあり、かつ確度ａ％以上かどうかを判定する（ステップＳ７０１）。上位ｎ位以内の候補にあり、かつ確度ａ％以上だった場合は（ステップＳ７０１においてＹＥＳ）、データ収集部１１４はＭＣの必要性がないものと判断し、被写体画像データに選択した候補（ラベル）を付加して、共通サーバ２００に送信し、共通サーバ２００はこのデータを共通教師データセット２２２に追加・蓄積する（ステップＳ７０２）。
【0083】
一方、ステップＳ７０１において判定が否定されたら、データ収集部１１４は、ＵＳＥＲ－Ｘが選択した答えが上位ｎ位以内の候補にあるが、確度ａ％未満だったか否かを判定する（ステップＳ７０３）。そして、判定が肯定されたら（ステップＳ５０３でｙｅｓ）、モバイル用軽量学習モデル１２１（共通）のお勧めとは違う候補を選択したものと考え、データ収集部１１４は当該ＵＳＥＲ－Ｘ固有のこと、すなわちＭＣが必要な判定と判断し、当該被写体画像データに選択した候補（ラベル）を付加して、モバイル用ＭＣ教師データセット１２３（Ｘ）に追加・蓄積する（ステップＳ７０５）。
【0084】
一方、上位ｎ位以内の候補になかったが、候補上位Ｔ位以内に表示された候補と一致した場合（ステップＳ７０３においてＮＯ）は、データ収集部１１４は、モバイル用軽量学習モデル１２１（共通）のお勧めとは違う候補を選択したものと考え、当該ＵＳＥＲ－Ｘ固有のこと、すなわちＭＣが必要な判定と判断し、当該被写体画像データに選択した候補（ラベル）を付加して、モバイル用ＭＣ教師データセット１２３（Ｘ）に追加・蓄積する（ステップＳ５０４でＹＥＳ）。
【0085】
さらに、上位Ｔ位以内の候補になく、その他を選択した場合（ステップＳ７０４においてＮＯ）、ＵＳＥＲ－Ｘの（２）モバイル用軽量ＭＣ学習モデル１２２（Ｘ）を使って画像判定をやり直す（ステップＳ７０６）。画像判定による候補は、モバイル端末１００の表示部１５０の画面の大きさに合わせて、上位Ｔ位まで表示する。
【0086】
その際、判定結果の中に、ステップＳ７００で判定した、上位Ｔ位以内の候補が重複してあった場合は、その候補を排除して、新たに判定されたものだけで、Ｍａｘ上位Ｔ位まで、その他のプルダウン候補として再提示する。
【0087】
次に、データ収集部１１４は、ＵＳＥＲ－Ｘが選択した答えが上位ｍ位以内の候補にあり、かつ確度ｂ％以上かどうかを判定する（ステップＳ７０７）。上位ｍ位以内の候補にあり、かつ確度ｂ％以上だった場合（ステップＳ７０７においてＹＥＳ）は、データ収集部１１４は（２）モバイル用軽量ＭＣ学習モデル１２２（Ｘ）が適した判定を行ったものと判断し、当該被写体の画像に選択した候補（ラベル）を付加して、モバイル用ＭＣ教師データセット１２３（Ｘ）に追加・蓄積する（ステップＳ７０８）。
【0088】
一方、ステップＳ７０７において判定が否定されたら、データ収集部１１４は、ＵＳＥＲ－Ｘが選択した答えが上位ｍ位以内の候補にあるが、確度ｂ％未満だったか否かを判定する（ステップＳ７０９）。そして、判定が肯定されたら（ステップＳ７０９でＹＥＳ）は、データ収集部１１４は、モバイル用軽量ＭＣ学習モデル１２２（Ｘ）のお勧めとは違う候補を選択したものと考えられるが、あくまでも当該ＵＳＥＲ－Ｘ固有のこと、すなわちＭＣが必要な判定であることには変わりはないものと判断し、当該被写体画像データに選択した候補（ラベル）を付加して、モバイル用ＭＣ教師データセット１２３（Ｘ）に追加・蓄積する（ステップＳ７１１）。
【0089】
上位ｍ位以内の候補になかったが、Ｔ位以内に表示された候補と一致した場合（ステップＳ７１０においてＹＥＳ）は、モバイル用軽量ＭＣ学習モデル１２２（Ｘ）特有であると考え、当該被写体画像データに選択した候補（ラベル）を付加して、モバイル用ＭＣ教師データセット１２３（Ｘ）に追加・蓄積する（ステップＳ７１１）。
【0090】
上位Ｔ位以内の候補になく（ステップＳ７１０でＮＯ）、その他を選択した場合、データ収集部１１４は被写体画像を共通サーバ２００に送信して、（３）共通学習モデル２２１を使って画像判定をやり直す（ステップＳ７１２）。画像判定による候補は、モバイル端末１００の表示部１５０の画面の大きさに合わせて、上位Ｔ位まで表示する。
【0091】
その際、判定結果の中に、ステップＳ７００で判定した、上位Ｔ位以内の候補や、ステップＳ７０６で判定した上位Ｔ位以内の候補が重複してあった場合は、その候補を排除して、新たに判定されたものだけで、Ｍａｘ上位Ｔ位まで、その他のプルダウン候補として再提示する。
【0092】
次に、データ収集部１１４は、ＵＳＥＲ－Ｘが選択した答えが、上位?位以内の候補にあった場合、あるいは、確度ｃ％以上かどうかを判定する（ステップＳ７１３）。上位Ｌ位以内の候補にあり、かつ確度ｃ％以上だった場合（ステップＳ７１３においてＹＥＳ）は、（３）共通学習モデル２２１が適した判定を行ったものと判断し、データ収集部１１４は当該被写体の画像に選択した候補（ラベル）を付加して、共通教師データセット２２２に追加・蓄積する（ステップＳ７１４）。
【0093】
ステップＳ７１３の判定が否定され、ＵＳＥＲ－Ｘが選択した答えが上位Ｌ位以内の候補にあるが、確度ｃ％未満だった場合（ステップＳ７１５でＹＥＳ）は、データ収集部１１４は、共通学習モデル２２１のお勧めとは違う候補を選択したものと考え、当該ＵＳＥＲ－Ｘ固有のこと、すなわちＭＣが必要な判定であると判断し、当該被写体画像データに選択した候補（ラベル）を付加して、ＵＳＥＲ－ＸのＭＣ教師データセット２２４（Ｘ）に追加・蓄積する（ステップＳ７１７）。
【0094】
上位Ｌ位以内の候補になかったが、Ｔ位以内に表示された候補と一致した場合（ステップＳ７１６においてＹＥＳ）は、データ収集部１１４はＵＳＥＲ－ＸのＭＣ学習モデル２２３（Ｘ）特有であると考え、当該被写体画像データに選択した候補（ラベル）を付加して、ＵＳＥＲ－ＸのＭＣ教師データセット２２４（Ｘ）に追加・蓄積する（ステップＳ７１７）。
【0095】
上位Ｔ位以内の候補になく（ステップＳ７１６でＮＯ）、ＵＳＥＲ－Ｘにその他を選択させた場合、データ収集部１１４は、被写体画像にあった分類（ラベル）を（４）自由入力により、モバイル端末１００の入力部１４０を通じて入力させる（ステップＳ７１８）。
【0096】
入力されたデータを図６に示す、同義語辞書（シノニムＤＢ）６８０と照らし合わせて、同義語としての登録があった場合、データ収集部１１４は代表表記語に置換して、表記の揺らぎを防止する（ステップＳ７１９）。
【0097】
次に、データ収集部１１４は、入力された分類（ラベル）が、サブカテゴリ辞書（シソーラスＤＢ）６９０に登録された分類カテゴリに該当するかチェックする（ステップＳ７２０）。
【0098】
ＵＳＥＲ－Ｘが入力した答えが、既存のカテゴリと合致した場合、（１）モバイル用軽量学習モデル（共通）、（２）モバイル用軽量ＭＣ学習モデル（ＵＳＥＲ－Ｘ用）、（３）共通学習モデルのいずれの学習モデルでも、予測できなかった新しい被写体画像であったということで、とりあえず、データ収集部１１４はＵＳＥＲ－Ｘ固有のＭＣ対象情報として、ＵＳＥＲ－ＸのＭＣ教師データセットに追加・蓄積する（ステップＳ７２１）。
【0099】
入力された分類（ラベル）が、サブカテゴリ辞書（シソーラスＤＢ）６９０に登録された分類カテゴリに該当するものがなかった（ステップＳ７２０でＮＯ）場合、次に、データ収集部１１４は、サブカテゴリに該当するものがあるかチェックする。（ステップＳ７２２）。
【0100】
ＵＳＥＲ－Ｘが入力した答えが既存のサブカテゴリと合致した場合（ステップＳ７２２においてＹＥＳ）、（１）モバイル用軽量学習モデル（共通）、（２）モバイル用軽量ＭＣ学習モデル（ＵＳＥＲ－Ｘ用）、（３）共通学習モデルのいずれの学習モデルでも予測できなかった新しい被写体画像ではあるが、詳細な分類の知識に該当するため、専門教師データセット３２２に追加・蓄積する（ステップＳ７２３）。
【0101】
入力された分類（ラベル）が、サブカテゴリ辞書（シソーラスＤＢ）６９０に登録された分類サブカテゴリにも該当するものがなかった（ステップＳ７２２でＮＯ）場合、既存のカテゴリにもサブカテゴリにも存在しない新たな分類カテゴリを入力されたということで、データ収集部１１４は、サブカテゴリ辞書（シソーラスＤＢ）６９０に新たなカテゴリとして当該ラベルを追加し、被写体画像データに入力された分類（ラベル）を付加して、ＵＳＥＲ－ＸのＭＣ教師データセット２２４（Ｘ）に追加・蓄積する（ステップＳ７２３）。
【0102】
図７Ｃにおいて、（１）モバイル用軽量学習モデル（共通）、（２）モバイル用軽量ＭＣ学習モデル（ＵＳＥＲ－Ｘ用）、（３）共通学習モデルで、被写体画像データに選択した候補（ラベル）を付加して、各々の教師データセットに追加・蓄積した（ステップＳ７０２、Ｓ７０５、Ｓ７０８、Ｓ７１１、Ｓ７１４、Ｓ７１７）後、および（４）自由入力の分類（ラベル）が既存のカテゴリに存在した場合（ステップＳ７２１）は、データ収集部１１４は、当該カテゴリに、サブカテゴリ辞書（シソーラスＤＢ）６９０に登録された分類サブカテゴリがあるかどうかをチェックする（ステップＳ７２５）。
【0103】
サブカテゴリを持つ場合（ステップＳ７２５においてＹＥＳ）、データ収集部１１４は、ＵＳＥＲ－Ｘにサブカテゴリ化（詳細化）を望むかどうか問合せる（ステップＳ７２６）。
【0104】
ＵＳＥＲ－Ｘが詳細化を望む場合（Ｓ７２７でＹＥＳ）、データ収集部１１４は、被写体画像を専門サーバ３００に送って（エスカレーションし）、（５）専門学習モデル３２１を使って画像を判定し、サブカテゴリに詳細化した確度の上位Ｔ位までの候補をモバイル端末１００の表示部１５０に表示する（ステップＳ７２８）。
【0105】
次に、データ収集部１１４は、ＵＳＥＲ－Ｘが選択した答えが、上位ｋ位以内の候補にあり、かつ確度ｄ％以上かどうかを判定する（ステップＳ７２９）。上位ｋ位以内の候補にあり、かつ確度ｄ％以上だった場合（ステップＳ７２９においてＹＥＳ）は、（５）専門学習モデル３２１が適した判定を行ったものと判断し、当該被写体の画像に選択した候補（ラベル）を付加して、専門教師データセット３２２に追加・蓄積する（Ｓ７３０）。
【0106】
また、ＵＳＥＲ－Ｘにとって、当該被写体のような場合に、サブカテゴリに詳細化することが当該ＵＳＥＲ－Ｘ固有のこと、すなわちＭＣが必要な判定でもあるものと判断し、当該被写体の画像に選択した候補（ラベル）を付加して、ＵＳＥＲ－ＸのＭＣ教師データセット２２４（Ｘ）にも追加・蓄積する（ステップＳ７３１）。
【0107】
一方、ＵＳＥＲ－Ｘが選択した答えが、上位ｋ位以内の候補にあるが、確度ｄ％未満だった場合（ステップＳ７３２でＹＥＳ）は、専門学習モデル３２１のお勧めとは違う候補を選択したものと考え、当該ＵＳＥＲ－Ｘ固有のこと、すなわちＭＣが必要な判定であると判断し、当該被写体画像データに選択した候補（ラベル）を付加して、ＵＳＥＲ－ＸのＭＣ教師データセット２２４（Ｘ）に追加・蓄積する（ステップＳ７３７）。
【0108】
さらに、上位ｋ位以内の候補になかったが、Ｔ位以内に表示された候補と一致した（ステップＳ７３３でＹＥＳ）場合は、専門学習モデル３２１のお勧めとは違う候補を選択したものと考え、当該ＵＳＥＲ－Ｘ固有のこと、すなわちＭＣが必要な判定であると判断し、当該被写体画像データに選択した候補（ラベル）を付加して、ＵＳＥＲ－ＸのＭＣ教師データセット２２４（Ｘ）に追加・蓄積する（ステップＳ７３７）。
【0109】
ＵＳＥＲ－Ｘが選択した答えが、上位Ｔ位以内の候補になかった（ステップＳ７３３でＮＯ）場合、その他を選択してもらって、図６の例に示すサブカテゴリ辞書（シソーラスＤＢ）６９０を参照して、当該カテゴリのサブカテゴリ候補を全て、スクローリング等の手法で、１画面に収まらない候補まですべてを提示し、ＵＳＥＲ－Ｘには、その中から自由に選択してもらうようにする。（ステップＳ７３４）
【0110】
そして、ＵＳＥＲ－Ｘの選択肢がその中になかった場合は、ＵＳＥＲ－Ｘに自由にキー入力にて詳細なサブカテゴリを入力してもらう（ステップＳ７３５）。この際、コンボボックスタイプの入力方法（プルダウンとキー入力の両方が可能）を用いる。
【0111】
このようにして入力されたデータを図６に示す、同義語辞書（シノニムＤＢ）６８０と照らし合わせて、同義語としての登録があった場合、代表表記語に置換して、表記の揺らぎを防止する（ステップＳ７３６）。
【0112】
ＵＳＥＲ－Ｘが選択した候補や、自由にキー入力してもらったサブカテゴリは、サブカテゴリ辞書（シソーラスＤＢ）６９０に新たなレコードとして追加する。なお、シソーラスＤＢ６９０の正式更新には、管理者の承認を必要とすることも可能である。この後、ＭＣが必要な場合と判断し、当該被写体の画像に入力した候補（ラベル）を付加して、ＵＳＥＲ－Ｘのモバイル用ＭＣ教師データセット１２３（Ｘ）に追加・蓄積する（ステップＳ７３７）。このデータは、まだ新しくＵＳＥＲ－Ｘ固有のことである可能性が高いため、この時点では専門教師データセット３２２には追加しない。
【0113】
従って、本実施例によれば、モバイル端末１００のデータ収集部１１４は、分類の修正または追加入力を専門サーバ３００に送信し、専門サーバ３００は、モバイル端末１００から送信された修正または追加入力を用いて専門教師データセット３２２を生成する専門データ収集部３１４と、専門教師データセット３２２を用いて専門学習モデル３２１を生成する専門学習モデル生成部３１２と、モバイル端末１００のモバイル用画像判定部１１１による判定が困難な場合、画像に基づいて専門学習モデル３２１を用いて被写体を判定する専門画像判定部３１１とを有する。
【0114】
従って、本実施例によれば、被写体の分類（カテゴリ）に詳細な分類（サブカテゴリ）を設定して詳細な判定を行うことができるので、画像の類似判定作業をより精密に行うことができる。
【0115】
さらに、本実施例によれば、共通サーバ２００の共通データ収集部２１４は、モバイル端末１００から送信された修正または追加入力を用いてＭＣ教師データセット２２４を生成し、共通サーバ２００の共通学習モデル生成部２１２は、ＭＣ教師データセット２２４を用いてＭＣ学習モデル２２３を生成し、さらに、ＭＣ学習モデル２２３を軽量化してモバイル用軽量ＭＣ学習モデル１２２を生成し、このモバイル用軽量ＭＣ学習モデル１２２をモバイル端末１００に送信し、モバイル端末１００のモバイル用画像判定部１１１は、モバイル用軽量学習モデル１２１とモバイル用軽量ＭＣ学習モデル１２２とを用いて被写体を判定している。
【0116】
従って、本実施例によれば、モバイル端末１００を使用する個々のユーザ毎にＭＣされたモバイル用軽量ＭＣ学習モデル１２２を用いて画像判定を行うことができるので、ユーザが好む詳細な分類の判定を的確に行うことができる。
【0117】
なお、本実施例では、人工知能を構成する端末やサーバ群が多段構造（モバイル端末１００、共通サーバ２００、専門サーバ３００）を形成し、求める精度に応じてエスカレーションしている（モバイル端末１００（ローカル処理）→共通サーバ２００（オンプレミス）→専門サーバ３０（オンプレミスまたはネットワークＡＩ））。
【0118】
そして、この専門サーバ３００（オンプレミス）でもわからなければ、その後ろにある複数のネットワークＡＩ（インターネット検索エンジンがベースの自社／他社提供ＡＩ）に問合せて、多数意見を回答とする方式も考えられる。将来的には、より高度な知見を持ったネットワークＡＩが無償（一部有償）で提供されるようになることが予想される。ネットワークＡＩは、高度であればあるほど提供されるサービス数は少なくなり、逆に全世界からエスカレーショントランザクションが上がって来るので、バランスの取れたシステム（ＡＩ－ＷｉＫｉ）となる。そうしたネットワークＡＩ体系を含めて、専門サーバ３００と呼ぶことも可能である。
【実施例2】
【0119】
以下の説明において、実施例２では、画像判定動作を主に共通サーバ２００で行っているものとして説明するが、上述の実施例１のように、画像判定動作を主にモバイル端末１００で行うことも可能である。
【0120】
本実施例の画像判定システムＳと実施例１の画像判定システムＳとの相違点は、共通サーバ２００、専門サーバ３００の機能構成及びモバイル端末１００の動作にある。
【0121】
すなわち、共通サーバ２００の共通制御部２１０は、共通画像判定部２１１及び共通成熟度算出部２１５を有し、専門サーバ３００の専門制御部３１０は専門成熟度算出部３１５を有する。
【0122】
共通成熟度算出部２１５、または、専門成熟度算出部３１５は、各学習済みモデルの学習（訓練）の経験の深さを表す指標を数値化するための計算機構であり、初期または、収集されて纏まった共通教師データセット２２２や、専門教師データセット３２２を使って、共通学習モデル２２１や、それを軽量化して生成するモバイル用軽量学習モデル（共通）１２１、専門学習モデル３２１を生成するタイミングで動作し、分類ごとに成熟度が計算される。
【0123】
また、共通成熟度算出部２１５、または、専門成熟度算出部３１５は、画像判定システムＳが動作（運用）しながら、モバイル端末１００等から収集された、各ＵＳＥＲ－Ｘのモバイル用ＭＣ教師データセット１２３（Ｘ）に追加・蓄積されたデータや、共通教師データセット２２２に追加・蓄積されたデータ、ＭＣ教師データセット２２４（Ｘ）、専門教師データセット３２２に追加・蓄積されたデータを用いて、または加えて、再学習により、共通学習モデル２２１や、それを軽量化して生成するモバイル用軽量学習モデル（共通）１２１、専門学習モデル３２１、ＭＣ学習モデル（Ｘ）２２３（Ｘ）、モバイル用軽量ＭＣ学習モデル１２２（Ｘ）の新規生成またはリニューアル版の学習モデルを生成するタイミングで動作し、分類ごとに成熟度が計算される。
【0124】
共通成熟度算出部２１５、または、専門成熟度算出部３１５による成熟度の算出手順について説明する。
【0125】
まず、成熟度における学習データ量因子の算出方式について説明する。被写体画像のカテゴリ、またはサブカテゴリ（以下、クラスという。）ｃに関する、訓練データ数がｎの時の学習データ量因子関数ｖｏｌは、訓練データ数ｎの関数であり、その値域は［０，１］である。一例として、アークタンジェント関数を用いて、学習データ量因子関数ｖｏｌを次のように定義する。
【数1】
【0126】
なお、パラメータＮは標準学習データ量で１以上の整数であり、パラメータａはアークタンジェント関数の係数で、正の実数値とする。あくまでも例だが、標準学習データ量の半量で学習するとほぼ５０％の成熟度に成長するものとし、aの値によって、成熟度曲線の立ち上がりがなだらかになったり（例えば、０＜ａ＜１．０）、急な立ち上がりを示す（例えば、ａ＞１．０）。すなわち、教師データが充分少ない場合、成熟度は低い（人間の赤ちゃんがものごとを理解/認知するためには一定量の教師データが必要と言うことに近似）。充分多い場合でも１００％にはならず、成熟度＝１００％の漸近線に近づくのみ（人間のその道のエキスパート（博士）であっても、非常に多くの教師データを学習しても、完全な理解/認知が可能となるわけではないことに近似）となる。
【0127】
次に、学習成熟度における学習データ類似性因子の算出方式について説明する。クラスｃに関する学習データ類似性因子関数ｓｉｍは、クラスｃに属する訓練データＸ＝｛ｘ１，ｘ２，…、ｘｎ｝の関数であり、その値域は［０，１］である。この関数は、データの類似性が最低のとき最小値を取り、類似性が最大のとき最大値を取る。
【0128】
一例として、類似度関数ＳＩＭを用いて、学習データ類似性因子関数ｓｉｍを次のように定義する。ｂは、類似度関数の係数で、値域［０，１］とする。
ただし、
なお、類似度関数ＳＩＭ（ｘ１，ｘ２）は、データペアｘ１，ｘ２の類似度が最高のとき１、最低のとき０となる値域［０，１］の関数である。
【数2】
【数3】
【0129】
学習成熟度は、学習データ量因子と学習データ類似性因子の関数とする。一般には、次の式で表せる。
【数4】
【0130】
学習成熟度のうち、学習データ量因子と学習データ類似性因子で定義されるものを、単純学習成熟度と呼ぶ。すなわち、
である。本実施例では、共通成熟度算出部２１５は単純学習成熟度を算出する。
【数5】
【0131】
そして、モバイル端末１００の表示部は、画像と、共通画像判定部２１１により判定された被写体の分類と、共通成熟度算出部２１５、または、専門成熟度算出部３１５により算出された成熟度を各学習モデルが判定した確度とともに提示する。提示方法は、成熟度を数値のまま％表示することでも構わないが、学習モデルのクラスcに関する成熟度を例えば、幼児レベルから、小学生、大人、博士レベルまで、イメージをつかみやすいようにイラスト表示することなどが考えられる。（図１３）
【0132】
図８は、実施例２に係る画像判定システムＳの逐次学習プロセス処理の一例（通常時）を示すフローチャートである。
【0133】
まず、ユーザはモバイル端末１００の撮像部１３０を用いて被写体を撮像して画像を取得する（ステップＳ８００）。
【0134】
画像判定システムＳは、各学習モデル（モバイル用軽量学習モデル１２１→モバイル用軽量ＭＣ学習モデル１２２→共通学習モデル２２１→ＭＣ学習モデル２２３→専門学習モデル３２１）に基づき、順次必要に応じてエスカレーションしながら当該画像を判定する（ステップＳ８０１）。
【0135】
判定処理結果である被写体の分類は、その分類の確度とともにモバイル端末１００の表示部１５０に表示される。（ステップＳ８０２）。そして、表示された候補の中に正しいカテゴリがあるか否かがＵＳＥＲ－Ｘにより判定される（ステップＳ８０３）。判定が肯定されたらプログラムはステップＳ８０４に移行し、判定が否定されたらプログラムはステップＳ８０７に移行する。
【0136】
ステップＳ８０４では、表示部１５０に表示されている候補の中から正しいカテゴリを選択する。
【0137】
次に、選択されたクラスｃの学習成熟度がθ以上で確度がκ以下であるか否かが判定される（ステップＳ８０５）。判定が肯定されたら、ステップＳ８０６において成熟後フィードバックプロセス１を実行する。その後、プログラムはステップＳ８０９に移行する。
【0138】
一方、ステップＳ８０７では、ＵＳＥＲ－Ｘは正しいカテゴリを入力し、ステップＳ８０８において成熟後フィードバックプロセス２を実行する。
【0139】
次いで、共通サーバ２００は、モバイル端末１００により撮像された画像データとＵＳＥＲ－Ｘが選択／入力したカテゴリとを共通記憶部２２０に蓄積する（ステップＳ８０９）。そして、共通サーバ２００の共通学習モデル生成部２１２は、ステップＳ８０９で蓄積されたデータに基づいて共通学習モデル２２１を生成する（ステップＳ８１０）。
【0140】
【0141】
まず、ステップＳ９００で、当該クラスｃの成熟度が高い（θ以上）であるにもかかわらず、確度が低い（κ以下）の事態が、極めてまれなケースでそれほど頻度が多くはない場合は、学習成熟度関数を直す必要がないので、このような事象になった回数をカウントアップする。すなわち、初期値ＣＮＴ（ｃ）＝０の、ＣＮＴ（ｃ）の値を１加算する。
【0142】
次に、ＣＮＴ（ｃ）の値が、一定値Ｍ（例えば、Ｍは５件とか、１０件と言った自然数でも良いし、標準学習量Ｎｃのｍ％として計算される値でも良い）を超えたかどうかを判定する（ステップＳ９０１）。Ｍを超えた場合（ステップＳ９０１においてＹＥＳ）は、この事態がまれにある場合（例外ケース）ではないものと判断し、学習成熟度関数を調整するステップＳ９０３～９０５へ進む。Ｍ以下であった場合は、終了する（何もしない）。
【0143】
ステップＳ９０２ではＣＮＴ（ｃ）に０を代入して、初期化する。
【0144】
学習習熟度関数の変更のため、ステップＳ９０３では標準学習データＮｃを増やし（例えば２倍）、ステップＳ９０４ではｖｏｌの係数ａを減らし（例えば１／２）、ステップＳ９０５ではｓｉｍの係数ｂを減らし（例えば１／２）、学習習熟度を再計算する。この３つのステップは、どれか一つでも構わないし、２つを選択して実施しても構わないし、３つ全てのステップを同時に行っても構わない。
【0145】
一般的には、Ｓ９０３でＮｃを増やす。学習曲線の立ち上がりが早すぎたと判断される場合は、Ｓ９０４を実行し、曲線をなだらかに寝かせる。成熟度の数字そのものが、イメージイラストとずれていると感じた場合は、Ｓ９０５を実行し成熟度そのものの絶対値を減らす。どのケースに当てはまるかを自動的に判断する機構については、Ｓ９０３でＮｃを増やす行為を何度か繰り返しても効果がなかった場合は、Ｓ９０４を試すなど、自動的に試行錯誤しながら成長する機構を組み込めばよい。
【0146】
【0147】
ＵＳＥＲ－Ｘにより入力されたクラスｃは、画像判定システムｓが選んだ候補ではないため、当該クラスｃの学習成熟度が登録されているかどうかをチェックする必要がある。学習成熟度は、学習モデルを生成するごとにそれぞれで計算されるため、該当する学習モデルの学習成熟度を参照する。（ステップＳ１０００）
【0148】
次に、学習成熟度が登録済みであって、一定値θ以上であるかどうかを判定する（ステップＳ１００１）。θ以上であった場合（ステップＳ１００１においてＹＥＳ）、充分な成熟をしているにもかかわらず、確度が低かったということになる（高い確度なら選択候補にあるはず）ので、ステップＳ１００２へ進み、成熟後フィードバックプロセス１を実行して、学習成熟度関数を修正する。θ未満であった場合は、当該クラスｃについては学習がまだ進んでいないと判断し、何もしない。
【0149】
このように構成される本実施例によれば、共通サーバ２００は、モバイル端末１００から送信された画像に基づいて被写体の分類を判定する共通画像判定部２１１と、分類毎の共通学習モデル２２１の量及び多様性を示す成熟度を算出する共通成熟度算出部２１５とを有し、モバイル端末１００の表示部１５０には、画像と、共通画像判定部２１１により判定された被写体の分類と、共通成熟度算出部２１５により算出された成熟度とが提示される。
【0150】
従って、本実施例によれば、共通学習モデル２２１を用いた被写体の画像判定の推論が正しいものであるかどうかを判断することができる。
【0151】
つまり、本実施例では、訓練データの量、及び訓練データの多様性に基づき、クラス別のデータ成熟度を算出して、ユーザに提示している。これにより、ユーザは共通学習モデル２２１が偶然正しい（または誤った）推論をしているのか、十分な学習の上で正しい（または誤った）推論をしているのかを知ることができる。そして、データ成熟度と推論精度（確度）により、ユーザは当該分類タスクへのＡＩの適用可能性を判断できる。
【0152】
一例として、図１１に示すように、当初の共通学習モデル２２１（学習モデルＡ）では被写体を撮像した画像に対する判定において正解となる分類「鳥」の確度は０．１０、成熟度は０．０３であったが、その後学習が進展した共通学習モデル２２１（学習モデルＢ）では正解となる分類「鳥」の確度が０．５０に向上するとともに成熟度も０．５０に向上している。従って、学習の進展により正しい推論ができていることがわかる。
【0153】
一方、図１２に示すように、当初の共通学習モデル２２１（学習モデルＡ）では被写体を撮像した画像に対する判定において正解となる分類「鳥」の確度は０．１０、成熟度は０．０３であったが、その後学習が進展した共通学習モデル２２１（学習モデルＢ）では正解となる分類「鳥」の確度が０．１０のまま進展しない一方、成熟度は０．５０に向上している。従って、学習の進展により正しい推論ができていないことがわかる。この場合、学習モデルを用いた推論が難しいタスクである可能性が高い。
【0154】
図１３に示すように、本実施例では、学習対象物ごとに人工知能の学習の成熟度（知見の深さ）をビジュアルに提示し、人工知能の判断結果を人間がどの程度参考にすればよいのかの指標を与えることで、人間の最終判断に寄与することができる。
【0155】
つまり、人工知能も人間のアドバイザーやコンサルタントと同じように得意不得意分野がある。確度のみの提示では、自信の有無を表現できていない。どれだけ勉強してきたかの指標を成熟度として示すことで、信用のおける人工知能かどうかをユーザに理解させた上で、人間の最終判断を仰ぐことができる。
【0156】
次に、図１４を参照して、実施例１及び実施例２が適用されるアプリケーションについて説明する。
【0157】
図１４に示すアプリケーションは、覆面調査員を使ったレストランメニューの評価である。例えば数千人の覆面調査員に対して３ヶ月間様々なレストランのメニューを評価する業務を依頼する。
【0158】
まず、インターネットの募集を見て覆面調査員として登録する。次に、好きなレストランに行って好きなメニューを注文し、運ばれてきたメニューを撮影する。画像判定システムＳは撮影された画像に基づいてそのメニュー（分類）を判定する。覆面調査員は、画像判定システムＳの判定結果を参照して、メニューを選択、登録する。その後、覆面調査員は食事をして評価を入力し、サーバ（共通サーバ２００／専門サーバ３００またはそれ以外のサーバ）に送信する。評価項目としては、例えばメニューの名前、写真、値段、見た目の評価、味、満足感（量）、個人的感想などである。
【0159】
その後、既定の評価の量や情報に応じて調査手数料（食事代補助を含む）が覆面調査員に支払われる。
【実施例3】
【0160】
本実施例では、ある知識について共通教師データセット２２２として用いるか（モバイル用）ＭＣ教師データセット１２３、２２４として用いるかについての判断基準について説明する。本実施例の画像判定システムＳの判断基準を、以下、サンプリング回答補正方式と称する。
【0161】
図１４に示すアプリケーションを例にとって考えると、ラーメンに対する知識が豊富なある覆面調査員Ａが、その他を選んで新たなカテゴリを正解として入力した場合、一旦、この覆面調査員ＡのＭＣ教師データセットとして扱い、共通教師データセットに組み込む候補データとして考える。
【0162】
あるタイミングで、同じ問題（例えば、「味噌豚骨ラーメン」の画像）を、別の覆面調査員２ｎ人（例えば覆面調査員Ｂ、Ｃ）に調査依頼を出し、人間による別の回答を促す。
【0163】
別の覆面調査員による回答の内、ｎ人以上が、覆面調査員Ａと同じ回答（「味噌豚骨ラーメン」）をした場合、覆面調査員Ａの回答も加えると過半数を占めるので、共通教師データに格上げする。一方、別の覆面調査員による回答の内、ｎ人未満が覆面調査員Ａの回答と違う回答（ただの「ラーメン」）をした場合、覆面調査員Ａの回答を覆面調査員Ａ用のモバイル用ＭＣ教師データとして扱う。
【実施例4】
【0164】
実施例４は、ユーザ毎のＭＣ教師データセットが、当該ユーザ特有のものか、共通知識化が可能かを判定する例を示す。図１５は、実施例４で他のユーザの回答を集計して共通知識化が可能かどうかを判定する「サンプリング回答補正方式」処理の一例を示すフローチャートである。
【0165】
まず、データ収集部１１４は、あるＵＳＥＲ－Ｘの回答が、モバイル用軽量ＭＣ学習モデル１２２の回答やモバイル用軽量学習モデル１２１の回答の中にない（「その他」を選択した）場合、共通サーバ２００上のＭＣ学習モデル２２３（Ｘ）及び共通学習モデル２２１に問合せるが、やはりその中にも回答がない（「その他」を選択した）場合、自由入力により正解データを入力させる（ステップＳ１５００）。入力された教師データは、データ収集部１１４が一旦モバイル用ＭＣ教師データセット１２３（Ｘ）に格納する。
【0166】
次いで、モバイル用ＭＣ教師データセットにデータがある程度蓄積されたら、その中から共通知識化が可能なデータを見つける （他の人間の回答による確認）プロセスを起動する（ステップＳ１５０１）。すなわち、共通データ収集部２１４は、ＵＳＥＲ－Ｘのモバイル用ＭＣ教師データセット１２３（Ｘ）からサンプリングしたデータを、ＵＳＥＲ－Ｘ以外の２ｎ（ｎ＝１以上の整数）のユーザに同じ問題を共通サーバ２００からモバイル端末１００に配信し、回答を集める（ステップＳ１５０２）。
【0167】
そして、共通データ収集部２１４は、ｎ人以上の回答がＵＳＥＲ－Ｘの回答と一致したか否かを判定し（ステップＳ１５０３）、判定が肯定されたら（ステップＳ１５０３においてＹＥＳ）、モバイル用ＭＣ教師データセット１２３（Ｘ）に格納したＭＣデータを削除し、共通教師データセット２２２に格上げして格納する（ステップＳ１５０４）。
【0168】
図１６は、「ＭＣ学習モデル補正方式」処理の一例を示すフローチャートである。
【0169】
モバイル用ＭＣ教師データセットのデータがある程度蓄積されたら、その中から共通知識化が可能なデータを自動的に見つけるためのプロセスを起動する（ステップＳ１６００）。すなわち、共通データ収集部２１４は、ＵＳＥＲ－Ｘが所有するモバイル端末１００のモバイル用ＭＣ教師データセット１２３（Ｘ）からサンプリングしたデータをこのＵＳＥＲ－Ｘのモバイル端末１００以外の２ｎ（ｎ＝１以上の整数）のモバイル用軽量ＭＣ学習モデル１２２及び共通サーバ２００上のＭＣ学習モデル２２３にて同じ問題を解かせて、判定結果を集計する（ステップＳ１６０１）。
【0170】
そして、共通データ収集部２１４は、ｎモデル以上の回答が一致したか否かを判定し（ステップＳ１６０２）、判定が肯定されたら（ステップＳ１６０２においてＹＥＳ）、モバイル用ＭＣ教師データセット１２３（Ｘ）に格納したＭＣデータを削除し、共通教師データセット２２２に格上げして格納する（ステップＳ１６０３）。
【実施例5】
【0171】
本実施例では、学習モデルの更新／再学習／保守プロセスについて一つの例を示す。共通学習モデル２２１の作成時の共通教師データセット２２２が十分なデータ量が収集できている場合、共通学習モデル２２１のメンテナンスは通常は必要がないが、データに時系列性（経年変化）が存在する場合、共通学習モデル２２１の陳腐化が発生してきて精度が落ちる可能性がある。これを防止するため、最新のデータで再学習（学習モデルの保守）するプロセスを組み込む。すなわち、日々の運用で判定した結果（学習モデルが判定した通りの結果か、ユーザが手入力で修正した結果）を共通教師データセット２２２に追加していく。
【0172】
図１４に示すアプリケーションを例にとって考えると、３千人の覆面調査員（アルバイト）が外食レストランの画像とメニュー名をアップロードする業務の場合、例えば、１日当たり５００人が稼働し、一人１～３件（平均して２件）のデータをアップロードすると１日当たり１，０００件のデータが集まる。１００日運用すると１０万件のデータが蓄積されることになるが、学習モデルの生成にはＣＰＵ（ＧＰＵ）やメモリ／実行時間の制限があり全データを処理できない。そこで、共通学習モデルを作る（再作成する）ためのデータ数の上限を（例えば、１万件と）設定する。
【0173】
共通学習モデル生成部２１２は、モバイル用軽量学習モデル（共通）１２１作成時の共通教師データセット２２２のデータ件数をｎ件（例えば１０，０００件）とすると、日々の運用で新たに追加されたデータ件数が一定数ｍ件（例えば１０％：１，０００件）を超えるのを待ち（ステップＳ１７００においてＹＥＳ）、超えた時点で、ｎ＋ｍ件の教師データで共通学習モデル２２１の再作成に必要な時間（ｔ１）が、日々の運用で新たにｍ件のデータが蓄積される時間（ｔ２）を超えたか否かを判定する（ステップＳ１７０１）。
【0174】
そして、判定が肯定されたら（ステップＳ１７０１においてＹＥＳ）、共通学習モデル生成部２１２は、ｎ＋ｍ件のオリジナルデータを間引くことで、ｔ１＜ｔ２に収まる程度のデータ数にして、再学習プロセスを走らせる（ステップＳ１７０２）。再学習プロセスの詳細については、図１８及び図１９を参照して後述する。一方、判定が否定されたら（ステップＳ１７０１においてＮＯ）、共通学習モデル生成部２１２は、ｎ件のオリジナルデータを間引かず、再学習プロセスを走らせる（ステップＳ１７０３）。
【0175】
図１８、１９は、実施例５に係る画像判定システムＳの学習モデル更新処理、すなわち再学習プロセスの例を示すフローチャートである。図１８に示すフローチャートは、共通教師データセット２２２のカテゴリ毎の出現頻度に準拠して、再学習用教師データを用意する方式であり、図１９に示すフローチャートは、共通教師データセット２２２のカテゴリ毎に極力一定数の再学習用教師データを用意する方式である。
【0176】
図１８において、新しいデータは、出現頻度が正規分布等に従って頻度が多いものから少ないものに分散することが予測される。この頻度のまま共通教師データセット２２２に加えていくと、マイノリティ（出現頻度の少ない）のデータが学習に活かされなくなる。これを避けるため、出現頻度の高いラベルでは約半数、出現頻度の少ない（ロングテール）のデータはほぼ全数が教師データに加えられるように逓減しながらサンプリングしていく。
【0177】
まず、共通学習モデル生成部２１２は、日々の運用のデータが一定量（例えば１，０００件）蓄積されたら、判定した結果が、共通学習モデル２２１が予測した結果と同じだった場合（例えば９５０件）、カテゴリごとに出現頻度の高い順に並べる（ステップＳ１８００）。
【0178】
次に、共通学習モデル生成部２１２は、出現頻度の最も高いカテゴリのデータが、一定割合（例えば半数）になって、最も低いカテゴリのデータが０％になるようにサンプリングから排除するデータの割合を頻度の多い方から順に比率を逓減しながら、共通教師データセット２２２に組み込むサンプルデータをランダムに抽出する（例えば９５０件中４５０件に削減）（ステップＳ１８０１）。
【0179】
さらに、共通学習モデル生成部２１２は、日々の運用で判定した結果が共通学習モデル２２１通りとは違うと判定（例えば５０件）された結果は、実施例３のサンプリング回答補正方式、または実施例４のＭＣ学習モデル補正方式で、共通教師データセット２２２に組み込むかどうかを判定し、その結果残ったデータ（例えば３０件）は、全数共通教師データセット２２２に組み込むサンプルデータとして抽出する（ステップＳ１８０２）。
【0180】
そして、共通学習モデル生成部２１２は、計算時間が許容される範囲に収まる共通教師データセット２２２の母数の上限をｎ件 （例えば１０，０００件）として設定し、共通データに新たに追加されるデータ（例えば４５０件＋３０件の４８０件）を加えると上限ｎ件を超える場合、超える量のデータをランダムに元の共通教師データセット２２２から削除して、新たなデータを加え（置き換え）、再学習プロセスを回し、新たな共通学習モデル２２１を作成する（ステップＳ１８０３）。
【0181】
図１９において、新しいデータは、出現頻度が正規分布等に従って頻度が多いものから少ないものに分散することが予測される。一方、共通学習モデル２２１で使用する共通教師データセット２２２は、データ量が多いクラスに引きずられないよう、各クラス一定数に制限することが多い。この場合、追加するデータも一定数でカットする方式が良い。もともと少ないデータ（ロングテール）は、徐々に蓄積されるようそのまま加える。
【0182】
まず、共通学習モデル生成部２１２は、日々の運用のデータが一定量（例えば１，０００件）蓄積されたら、判定した結果が、共通学習モデル２２１が予測した結果と同じだった場合（例えば９５０件）、カテゴリごとに出現頻度の高い順に並べる（ステップＳ１９００）。
【0183】
次に、共通学習モデル生成部２１２は、出現頻度が一定数（例えば２０件）以上のカテゴリのデータは、一定数（例えば２０件）をランダムに選んで、共通教師データセット２２２に組み込むサンプルデータを抽出する。一定数に満たない少数データ（ロングテールデータ）は、そのままサンプルデータとする（例えば９５０件中４５０件に削減）（ステップＳ１９０１）。
【0184】
さらに、共通学習モデル生成部２１２は、日々の運用で判定した結果が、共通学習モデル２２１通りとは違うと判定（例えば５０件）された結果は、実施例３のサンプリング回答補正方式、または実施例４のＭＣ学習モデル補正方式で、共通教師データセット２２２に組み込むかどうかを判定し、その結果残ったデータ（例えば３０件）は、全数共通教師データセット２２２に組み込むサンプルデータとして抽出する（ステップＳ１９０２）。
【0185】
そして、共通学習モデル生成部２１２は、計算時間が許容される範囲に収まる共通教師データセット２２２の母数の上限をｎ件（例えば１０，０００件）に設定し、共通教師データセット２２２に新たに追加されるデータ（例えば４５０件＋３０件の４８０件）を加えると上限ｎ件を超える場合、超える量のデータをランダムに元の共通教師データセット２２２から削除して、新たなデータを加え（置き換え）、再学習プロセスを回し、新たな共通学習モデルを作成する（ステップＳ１９０３）。
【0186】
なお、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成に追加、削除、置換することが可能である。
【0187】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、ＳＳＤ（Solid State Drive）、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。
【0188】
また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）等の広範囲のプログラムまたはスクリプト言語で実装できる。
【0189】
さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することによって、それをコンピュータのハードディスクやメモリ等の記憶手段またはＣＤ－ＲＷ、ＣＤ－Ｒ等の記憶媒体に格納し、コンピュータが備えるプロセッサが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。
【0190】
上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。
【符号の説明】
【0191】
Ｓ…画像判定システム、１００…モバイル端末、１１０…制御部、１１１…モバイル用画像判定部、１１２…撮像制御部、１１３…データ送受信部、１１４…データ収集部、１２０…記憶部、１２１…モバイル用軽量学習モデル、１２２…モバイル用軽量ＭＣ学習モデル、１２３…モバイル用ＭＣ教師データセット、１３０…撮像部、１４０…入力部、１５０…表示部、１６０、２３０、３３０…通信部、２００…共通サーバ、２１０…共通制御部、２１１…共通画像判定部、２１２…共通学習モデル生成部、２１３…共通データ送受信部、２１４…共通データ収集部、２１５…共通成熟度算出部、２２０…共通記憶部、２２１…共通学習モデル、２２２…共通教師データセット、２２３…ＭＣ学習モデル、２２４…ＭＣ教師データセット、３００…専門サーバ、３１０…専門制御部、３１１…専門画像判定部、３１２…専門学習モデル生成部、３１３…専門データ送受信部、３１４…専門データ収集部、３１５・・・専門成熟度算出部、３２０…専門記憶部、３２１…専門学習モデル、３２２…専門教師データセット
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6】
【図7A】
【図7B】
【図7C】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】