特許 7068745 学習済モデル提案システム、学習済モデル提案方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-09

(45)【発行日】2022-05-17

(54)【発明の名称】学習済モデル提案システム、学習済モデル提案方法、およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220510BHJP

   G06N 3/04 20060101ALI20220510BHJP

   G06N 20/00 20190101ALI20220510BHJP

【ＦＩ】

G06T7/00 350B

G06N3/04

G06N20/00 130

【請求項の数】 9

(21)【出願番号】P 2020521646

(86)(22)【出願日】2018-05-28

(86)【国際出願番号】 JP2018020288

(87)【国際公開番号】W WO2019229789

(87)【国際公開日】2019-12-05

【審査請求日】2020-11-30

(73)【特許権者】

【識別番号】500521522

【氏名又は名称】株式会社オプティム

(74)【代理人】

【識別番号】100177220

【弁理士】

【氏名又は名称】小木 智彦

(72)【発明者】

【氏名】菅谷 俊二

【審査官】新井 則和

(56)【参考文献】

【文献】国際公開第２０１７／１５９６１４（ＷＯ，Ａ１）

【文献】国際公開第２０１８／０７８８６２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｎ ３／０４

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

画像解析に適切な学習済モデルを提案する学習済モデル提案システムであって、
画像解析を行うための学習済モデルを目的と環境に対応付けて記憶する学習済モデルデータベースと、
画像解析の目的を取得する目的取得手段と、
当該目的のための画像が撮影される環境を取得する環境取得手段と、
前記学習済モデルデータベースを参照して、前記目的と前記環境に適合した学習済モデルを提案し、当該目的と当該環境とに適合した学習済モデルがない場合、当該目的が合致し、当該環境が近い学習済モデルを提案又は参考として出力する学習済モデル提案手段と、
を備えることを特徴とする学習済モデル提案システム。

【請求項2】

前記学習済モデルは、過去の画像と正解データとからなる所定の学習データで学習した学習済みの分類器を含み、
前記学習済モデル提案手段は、前記学習済みの分類器を学習済モデルとして提案することを特徴とする請求項１に記載の学習済モデル提案システム。

【請求項3】

前記学習済モデルは、画像を分類器で分類する場合の分類器の種類と、画像を特徴ベクトルへ変換する変換方法と、からなることを特徴とする請求項２に記載の学習済モデル提案システム。

【請求項4】

前記学習済モデルが、過去の画像と正解データとからなる所定の学習データで学習した学習済みの畳み込みニューラルネットワークであることを特徴とする請求項１に記載の学習済モデル提案システム。

【請求項5】

前記画像解析を行いたい環境の画像を取得する画像取得手段と、
取得した前記画像と、前記所定の学習データの画像とが類似か否かを決定する画像比較手段と、を備え、
前記画像が類似している場合に、前記学習済モデル提案手段が、前記学習済モデルを提案することを特徴とする請求項２から請求項４のいずれか一項に記載の学習済モデル提案システム。

【請求項6】

前記環境取得手段は、提示した質問に対して入力された回答を環境に関するデータとして取得することを特徴とする請求項１から請求項５のいずれか一項に記載の学習済モデル提案システム。

【請求項7】

前記環境取得手段は、センサ又はカメラで検知したデータを取得することを特徴とする請求項１から請求項５のいずれか一項に記載の学習済モデル提案システム。

【請求項8】

画像解析に適切な学習済モデルを提案する学習済モデル提案システムが実行する学習済モデル提案方法であって、
画像解析を行うための学習済モデルを目的と環境に対応付けて記憶する学習済モデルデータベースと、
画像解析の目的を取得するステップと、
当該目的のための画像が撮影される環境を取得するステップと、
前記学習済モデルデータベースを参照して、前記目的と前記環境に適合した学習済モデルを提案し、当該目的と当該環境とに適合した学習済モデルがない場合、当該目的が合致し、当該環境が近い学習済モデルを提案又は参考として出力するステップと、
を備えることを特徴とする学習済モデル提案方法。

【請求項9】

画像解析を行うための学習済モデルを目的と環境に対応付けて記憶する学習済モデルデータベースを備える学習済モデル提案システムに、
画像解析の目的を取得するステップ、
当該目的のための画像が撮影される環境を取得するステップ、
前記学習済モデルデータベースを参照して、前記目的と前記環境に適合した学習済モデルを提案し、当該目的と当該環境とに適合した学習済モデルがない場合、当該目的が合致し、当該環境が近い学習済モデルを提案又は参考として出力するステップ、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像の解析の目的と画像が撮影される環境とを取得して利用することで、それに似た既存の学習済モデルを提案することが可能な学習済モデル提案システム、学習済モデル提案方法、およびプログラムに関する。

【背景技術】

【0002】

人物画像に対して画像解析処理を行うことで、誰が写っているかを判別し、自動的に人物画像をカテゴライズする仕組みを提供する方法が提案されている（特許文献１）。

【0003】

また、人工知能が画像解析を行うための機械学習の手法として、教師あり学習（Ｓｕｐｅｒｖｉｓｅｄ Ｌｅａｒｎｉｎｇ）はよく知られる手法であり、目的にあわせた学習済モデルの生成方法も提案されている（特許文献２）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１５－６９５８０

【文献】特許６２１６０２４

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、画像解析のために教師あり学習を行う場合、一般的に数万枚～数百万枚以上の大量の画像を用意して、画像に対して正しい教師データを付加してから、画像を分類するための分類器やニューラルネットワーク等に学習させて学習済モデルを作成する必要がある。複数のカメラについて、それぞれ最適な学習済モデルを作成するためには、学習のための画像を準備する手間がかかるとともに、学習のための時間も長期間必要となるという点が問題となる。

【0006】

この課題に対して、本発明者は、画像の解析の目的と画像が撮影される環境とが適合するのであれば、既存の学習済モデルを利用し、学習時間をかけずに、精度の良い画像解析結果を得ることができるのではないかという点に着目した。

【0007】

本発明は、画像の解析の目的と画像が撮影される環境とを取得して利用することで、それに似た既存の学習済モデルを提案し、学習時間をかけずに、精度の良い画像解析結果を得ることが可能な学習済モデル提案システム、学習済モデル提案方法、およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明では、以下のような解決手段を提供する。

【0009】

第１の特徴に係る発明は、
画像解析に適切な学習済モデルを提案する学習済モデル提案システムであって、
画像解析を行うための学習済モデルを目的と環境に対応付けて記憶する学習済モデルデータベースと、
画像解析の目的を取得する目的取得手段と、
当該目的のための画像が撮影される環境を取得する環境取得手段と、
前記学習済モデルデータベースを参照して、前記目的と前記環境に適合した学習済モデルを提案し、当該目的と当該環境とに適合した学習済モデルがない場合、当該目的が合致し、当該環境が近い学習済モデルを提案又は参考として出力する学習済モデル提案手段と、
を備えることを特徴とする学習済モデル提案システムを提供する。

【0010】

第１の特徴に係る発明によれば、画像解析に適切な学習済モデルを提案する学習済モデル提案システムは、画像解析を行うための学習済モデルを目的と環境に対応付けて記憶する学習済モデルデータベースと、画像解析の目的を取得する目的取得手段と、当該目的のための画像が撮影される環境を取得する環境取得手段と、前記学習済モデルデータベースを参照して、前記目的と前記環境に適合した学習済モデルを提案し、当該目的と当該環境とに適合した学習済モデルがない場合、当該目的が合致し、当該環境が近い学習済モデルを提案又は参考として出力する学習済モデル提案手段と、を備える。

【0011】

第１の特徴に係る発明は、学習済モデル提案システムのカテゴリであるが、学習済モデル提案方法、およびプログラムであっても同様の作用、効果を奏する。

【0012】

第２の特徴に係る発明は、第１の特徴に係る発明である学習済モデル提案システムであって、
前記学習済モデルは、過去の画像と正解データとからなる所定の学習データで学習した学習済みの分類器を含み、
前記学習済モデル提案手段は、前記学習済みの分類器を学習済モデルとして提案することを特徴とする学習済モデル提案システムを提供する。

【0013】

第２の特徴に係る発明によれば、第１の特徴に係る発明である学習済モデル提案システムにおいて、前記学習済モデルは、過去の画像と正解データとからなる所定の学習データで学習した学習済みの分類器を含み、前記学習済モデル提案手段は、前記学習済みの分類器を学習済モデルとして提案する。

【0014】

第３の特徴に係る発明は、第２の特徴に係る発明である学習済モデル提案システムであって、
前記学習済モデルは、画像を分類器で分類する場合の分類器の種類と、画像を特徴ベクトルへ変換する変換方法と、からなることを特徴とする学習済モデル提案システムを提供する。

【0015】

第３の特徴に係る発明によれば、第２の特徴に係る発明である学習済モデル提案システムにおいて、前記学習済モデルは、画像を分類器で分類する場合の分類器の種類と、画像を特徴ベクトルへ変換する変換方法と、からなる。

【0016】

第４の特徴に係る発明は、第１の特徴に係る発明である学習済モデル提案システムであって、
前記学習済モデルが、過去の画像と正解データとからなる所定の学習データで学習した学習済みの畳み込みニューラルネットワークであることを特徴とする学習済モデル提案システムを提供する。

【0017】

第４の特徴に係る発明によれば、第１の特徴に係る発明である学習済モデル提案システムにおいて、前記学習済モデルが、過去の画像と正解データとからなる所定の学習データで学習した学習済みの畳み込みニューラルネットワークである。

【0018】

第５の特徴に係る発明は、第２の特徴から第４の特徴のいずれかに係る発明である学習済モデル提案システムであって、
前記画像解析を行いたい環境の画像を取得する画像取得手段と、
取得した前記画像と、前記所定の学習データの画像とが類似か否かを決定する画像比較手段と、を備え、
前記画像が類似している場合に、前記学習済モデル提案手段が、前記学習済モデルを提案することを特徴とする学習済モデル提案システムを提供する。

【0019】

第５の特徴に係る発明によれば、第２の特徴から第４の特徴のいずれかに係る発明である学習済モデル提案システムにおいて、前記画像解析を行いたい環境の画像を取得する画像取得手段と、取得した前記画像と、前記所定の学習データの画像とが類似か否かを決定する画像比較手段と、を備え、前記画像が類似している場合に、前記学習済モデル提案手段が、前記学習済モデルを提案する。

【0020】

第６の特徴に係る発明は、第１の特徴から第５の特徴のいずれかに係る発明である学習済モデル提案システムであって、
前記環境取得手段は、提示した質問に対して入力された回答を環境に関するデータとして取得することを特徴とする学習済モデル提案システムを提供する。

【0021】

第６の特徴に係る発明によれば、第１の特徴から第５の特徴のいずれかに係る発明である学習済モデル提案システムにおいて、前記環境取得手段は、提示した質問に対して入力された回答を環境に関するデータとして取得する。

【0022】

第７の特徴に係る発明は、第１の特徴から第５の特徴のいずれかに係る発明である学習済モデル提案システムであって、
前記環境取得手段は、センサ又はカメラで検知したデータを取得することを特徴とする学習済モデル提案システムを提供する。

【0023】

第７の特徴に係る発明によれば、第１の特徴から第５の特徴のいずれかに係る発明である学習済モデル提案システムにおいて、前記環境取得手段は、センサ又はカメラで検知したデータを取得する。

【0024】

第８の特徴に係る発明は、
画像解析に適切な学習済モデルを提案する学習済モデル提案システムが実行する学習済モデル提案方法であって、
画像解析を行うための学習済モデルを目的と環境に対応付けて記憶する学習済モデルデータベースと、
画像解析の目的を取得するステップと、
当該目的のための画像が撮影される環境を取得するステップと、
前記学習済モデルデータベースを参照して、前記目的と前記環境に適合した学習済モデルを提案し、当該目的と当該環境とに適合した学習済モデルがない場合、当該目的が合致し、当該環境が近い学習済モデルを提案又は参考として出力するステップと、
を備える学習済モデル提案方法を提供する。

【0025】

第９の特徴に係る発明は、
画像解析を行うための学習済モデルを目的と環境に対応付けて記憶する学習済モデルデータベースを備える学習済モデル提案システムに、
画像解析の目的を取得するステップ、
当該目的のための画像が撮影される環境を取得するステップ、
前記学習済モデルデータベースを参照して、前記目的と前記環境に適合した学習済モデルを提案し、当該目的と当該環境とに適合した学習済モデルがない場合、当該目的が合致し、当該環境が近い学習済モデルを提案又は参考として出力するステップ、
を実行させるためのプログラムを提供する。

【発明の効果】

【0026】

本発明によれば、画像の解析の目的と画像が撮影される環境とを取得して利用することで、それに似た既存の学習済モデルを提案し、学習時間をかけずに、精度の良い画像解析結果を得ることが可能な学習済モデル提案システム、学習済モデル提案方法、およびプログラムを提供することが可能となる。

【図面の簡単な説明】

【0027】

【図1】図１は、本発明の好適な実施形態の概要図である。

【図2】図２は、カメラ１００とコンピュータ２００の機能ブロックと各機能の関係を示す図である。

【図3】図３は、学習済モデル提案処理のフローチャート図である。

【図4】図４は、画像比較を行う場合の、カメラ１００とコンピュータ２００の機能ブロックと各機能の関係を示す図である。

【図5】図５は、画像比較を行う場合の、学習済モデル提案処理のフローチャート図である。

【図6】図６は、画像解析の目的と画像の撮影環境を取得するための、質問提示と入力の画面の一例である。

【図7】図７は、画像解析の目的と画像の撮影環境を取得するための、質問提示と入力の画面の別の一例である。

【図8】図８は、学習済モデル提案の画面の一例である。

【図9】図９は、学習済モデルデータベースの構成の一例である。

【発明を実施するための形態】

【0028】

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

【0029】

［学習済モデル提案システムの概要］
図１は、本発明の好適な実施形態の概要図である。この図１に基づいて、本発明の概要を説明する。学習済モデル提案システムは、カメラ１００、コンピュータ２００、通信網３００から構成される。

【0030】

なお、図１において、カメラ１００の数は１つに限らず複数であってもよい。また、コンピュータ２００は、実在する装置に限らず、仮想的な装置であってもよい。

【0031】

カメラ１００は、図２に示すように、撮像部１０、制御部１１０、通信部１２０、記憶部１３０から構成される。また、コンピュータ２００は、同じく図２に示すように、制御部２１０、通信部２２０、記憶部２３０、入出力部２４０から構成される。記憶部２３０には、学習済モデルデータベース２３を備える。制御部２１０は通信部２２０、記憶部２３０、入出力部２４０と協働して目的取得モジュール２１１、環境取得モジュール２１２を実現する。また、入出力部２４０は、制御部２１０、記憶部２３０と協働して、学習済モデル提案モジュール２４１を実現する。通信網３００は、インターネット等の公衆通信網でも専用通信網でもよく、カメラ１００とコンピュータ２００間の通信を可能とする。

【0032】

カメラ１００は、コンピュータ２００とデータ通信可能な、撮像素子やレンズ等の撮像デバイスを備える撮像装置であり、画像解析を行いたい画像を撮影する。ここでは、例としてＷＥＢカメラを図示しているが、デジタルカメラ、デジタルビデオ、ドローンに搭載したカメラ、ウェアラブルデバイスのカメラ、防犯カメラ、車載カメラ、３６０度カメラ等の必要な機能を備える撮像装置であってよい。また、記憶部１３０に撮像画像を保存可能としても良い。また、カメラ１００はステレオカメラであってもよく、その場合には被写体群との距離を測定することが可能となる。また、カメラ１００は光度センサを備えてもよく、その場合には周囲の光度を測定することが可能となる。

【0033】

コンピュータ２００は、カメラ１００とデータ通信可能な計算装置である。ここでは、例としてデスクトップ型のコンピュータを図示しているが、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末等であってよい。

【0034】

図１の学習済モデル提案システムにおいて、まず、コンピュータ２００の学習済モデルデータベース２３に、複数の学習済モデルを記憶する（ステップＳ０１）。学習済モデルは、他のコンピュータや記憶媒体から取得しても良いし、コンピュータ２００で作成しても良い。また、このステップＳ０１は、既に学習済モデルデータベース２３に十分な学習済モデルが記憶されている場合には、省略可能である。

【0035】

図９は、学習済モデルデータベースの構成の一例である。本発明において、学習済モデルとは、過去の画像と正解データとからなる所定の学習データ（教師データ）と、その所定の学習データで学習した学習済みの分類器や学習済みの畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）等の機械学習の手法とを含むものとする。画像を特徴ベクトルへと変換するための変換方法が存在する場合には、その変換方法も機械学習の手法とあわせて、学習済モデルに含めるものとする。また、学習済モデルデータベース２３には、それぞれの学習済モデルについて、画像解析の目的と、画像を撮影した環境とを関連付けて保存するものとする。ここで、画像解析の目的としては、例えば、不審者の進入を検知すること（不審者検知）、農作物の収穫時期を適切に検知すること（収穫物検知）、害虫の発生を検知すること（害虫検知）等が、考えられる。また、画像が撮影される環境については、場所、広さ、カメラ位置、照明、等が条件として考えられる。例えば、場所については、屋内か、屋外（街）か、屋外（農場）か、広さについては、何平方メートルか何ｈａか、カメラ位置については、天井隅か、天井中央か、机・棚の上か、建物外部か、電柱か、ドローンか、照明については、蛍光灯か、ＬＥＤか、自然光か、なしか、ありか、等が選択肢として考えられる。これらの画像解析の目的と、画像を撮影した環境の情報を利用することで、目的と環境が同じ学習済モデルを提案することが可能となる。

【0036】

図１に戻り、コンピュータ２００の目的取得モジュール２１１は、何のために画像解析を行いたいのかという目的を取得する（ステップＳ０２）。ここで、目的取得の方法として、図１に図示しているようにカメラ１００から目的を送信させてそれを取得してもよいし、コンピュータ２００の入出力部２４０を利用してユーザに入力させることで取得してもよいし、別の端末等（非図示）を介してユーザに入力させることで取得してもよい。

【0037】

次に、コンピュータ２００の環境取得モジュール２１２は、画像解析を行いたい画像を撮影する環境を取得する（ステップＳ０３）。ここで、環境取得の方法として、図１に図示しているようにカメラ１００から環境を送信させてそれを取得してもよいし、コンピュータ２００の入出力部２４０を利用してユーザに入力させることで取得してもよいし、別の端末等（非図示）を介してユーザに入力させることで取得してもよい。

【0038】

図６は、画像解析の目的と画像の撮影環境を取得するための、質問提示と入力の画面の一例である。この画面は、コンピュータ２００の入出力部２４０に表示してもよいし、ユーザの使用する別の端末（非図示）の入出力部に表示してもよい。ユーザに対して、画像解析の目的と、画像の撮影環境についての設問を表示し、ユーザに選択又は入力させることで、目的と環境を特定する。図６の例では、画像解析の目的として、不審者検知、収穫物検知、害虫検知を提示して、不審者検知が選択された例を示している。また、画像の撮影環境として、場所については、屋内、屋外（街）、屋外（農場）を提示して、屋内が選択された例を、広さについては、２０平方メートルと入力された例を、カメラ位置については、天井隅、天井中央、机・棚の上を提示して、天井中央が選択された例を、照明については、蛍光灯、ＬＥＤ、自然光を提示して、ＬＥＤが選択された例を示している。ここで、検索ボタン６０１を選択することで、質問に対する入力を確定とし、目的取得モジュール２１１と環境取得モジュール２１２が、取得を完了するものとする。ここでは、画像解析の目的と画像の撮影環境とについての質問提示を一画面で行う場合の例を示したが、それぞれ別の画面としてもよい。

【0039】

また、図７は、画像解析の目的と画像の撮影環境を取得するための、質問提示と入力の画面の別の一例である。図７の例では、画像解析の目的として、不審者検知、収穫物検知、害虫検知を提示して、収穫物検知が選択された例を示している。また、画像の撮影環境として、場所については、屋内、屋外（街）、屋外（農場）を提示して、屋外（農場）が選択された例を、広さについては、５ｈａと入力された例を、カメラ位置については、建物外部、電柱、ドローンを提示して、電柱が選択された例を、照明については、なし、ありを提示して、なしが選択された例を示している。図７では、図６の例と、画像解析の目的が異なるため、画像の撮影環境として提示する選択肢を変更して表示した例を示している。このように、画像解析の目的や、場所等、選択済みの項目に合わせて、撮影環境の選択肢を変化させることで、ユーザが目的や場所にあわせた入力をより容易に行うことが可能となる。

【0040】

図１に戻り、最後にコンピュータ２００の学習済モデル提案モジュール２４１は、学習済モデルデータベース２３を参照し、ステップＳ０２で取得した目的と、ステップＳ０３で取得した環境が、どの学習済モデルの目的および環境と適合するかを調べ、適切な学習済モデルを提案する（ステップＳ０４）。ここでの学習済モデルの提案は、コンピュータ２００の入出力部２４０に出力してもよいし、ユーザが使用する別の端末等（非図示）の入出力部に出力してもよい。

【0041】

図８は、学習済モデル提案の画面の一例である。この画面は、コンピュータ２００の入出力部２４０に表示してもよいし、ユーザの使用する別の端末（非図示）の入出力部に表示してもよい。図６の例の検索結果として、目的が不審者検知、環境が屋内、広さ約２０平方メートル、カメラ位置天井中央、照明ＬＥＤという条件で検索を行った場合に、図９の学習済モデルデータベース２３を検索すると、学習済モデル「Ｂｕｎｒｕｉｋｉ００２」が適合する。そこでここでは、「Ｂｕｎｒｕｉｋｉ００２」を学習済モデルとして提案するという例を示している。提案画面で、図８のリンク８０１に示すように、ダウンロードＵＲＬを表示して、それをユーザが選択することで、提案した学習済モデルをすぐにダウンロード可能としてもよい。また、終了ボタン８０２を選択することで、学習済モデル提案システムを終了してよい。また、検索画面へボタン８０３を選択することで、図６や図７に示した画像解析の目的と画像の撮影環境を取得するための、質問提示と入力の画面に戻ってよい。また、適合する学習済モデルが見つからない場合には、目的が合致し、環境が近い学習済モデルを、提案又は参考として出力してもよい。ユーザは、これらの学習済モデルを利用することで、学習時間をかけずに、目的にあわせた精度の良い画像解析結果を得ることが可能となる。

【0042】

本発明によれば、画像の解析の目的と画像が撮影される環境とを取得して利用することで、それに似た既存の学習済モデルを提案し、学習時間をかけずに、精度の良い画像解析結果を得ることが可能な学習済モデル提案システム、学習済モデル提案方法、およびプログラムを提供することが可能となる。

【0043】

［各機能の説明］
図２は、カメラ１００とコンピュータ２００の機能ブロックと各機能の関係を示す図である。カメラ１００は、撮像部１０、制御部１１０、通信部１２０、記憶部１３０から構成される。また、コンピュータ２００は、制御部２１０、通信部２２０、記憶部２３０、入出力部２４０、から構成される。制御部２１０は通信部２２０、記憶部２３０、入出力部２４０と協働して目的取得モジュール２１１、環境取得モジュール２１２を実現する。また、入出力部２４０は、制御部２１０、記憶部２３０と協働して、学習済モデル提案モジュール２４１を実現する。通信網３００は、インターネット等の公衆通信網でも専用通信網でもよく、カメラ１００とコンピュータ２００間の通信を可能とする。

【0044】

カメラ１００は、コンピュータ２００とデータ通信可能な、撮像素子やレンズ等の撮像デバイスを備える撮像装置であり、画像解析を行いたい画像を撮影する。ここでは、例としてＷＥＢカメラを図示しているが、デジタルカメラ、デジタルビデオ、ドローンに搭載したカメラ、ウェアラブルデバイスのカメラ、防犯カメラ、車載カメラ、３６０度カメラ等の必要な機能を備える撮像装置であってよい。また、記憶部１３０に撮像画像を保存可能としても良い。また、カメラ１００はステレオカメラであってもよく、その場合には被写体群との距離を測定することが可能となる。また、カメラ１００は光度センサを備えてもよく、その場合には周囲の光度を測定することが可能となる。

【0045】

カメラ１００は、撮像部１０として、レンズ、撮像素子、各種ボタン、フラッシュ等の撮像デバイス等を備え、動画や静止画等の撮像画像として撮像する。また、撮像して得られる画像は、画像解析に必要なだけの情報量を持った精密な画像であるものする。

【0046】

制御部１１０として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。

【0047】

通信部１２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）対応デバイス又は第３世代、第４世代移動通信システム等のＩＭＴ－２０００規格に準拠した無線デバイス等を備える。有線によるＬＡＮ接続であってもよい。

【0048】

記憶部１３０として、ハードディスクや半導体メモリによる、データのストレージ部を備え、撮像画像等の必要なデータ等を記憶する。画像解析の目的やと画像の撮影環境等も、あわせて記憶してもよい。

【0049】

コンピュータ２００は、カメラ１００とデータ通信可能な計算装置である。ここでは、例としてデスクトップ型のコンピュータを図示しているが、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末等であってよい。

【0050】

制御部２１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。制御部２１０は通信部２２０、記憶部２３０、入出力部２４０と協働して目的取得モジュール２１１、環境取得も寿ユール２１２を実現する。

【0051】

通信部２２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ対応デバイス又は第３世代、第４世代移動通信システム等のＩＭＴ－２０００規格に準拠した無線デバイス等を備える。有線によるＬＡＮ接続であってもよい。また、この通信部２２０を介して、必要に応じてユーザの使用する別の端末（非図示）との通信を行うものとする。

【0052】

記憶部２３０として、ハードディスクや半導体メモリによる、データのストレージ部を備え、撮像画像や、教師データ、画像解析結果、等の処理に必要なデータ等を記憶する。また、記憶部２３０に、学習済モデルデータベース２３を備える。

【0053】

入出力部２４０は、学習済モデル提案システムを利用するために必要な機能を備えるものとする。入出力部２４０は、制御部２１０、記憶部２３０と協働して、学習済モデル提案モジュール２４１を実現する。入力を実現するための例として、タッチパネル機能を実現する液晶ディスプレイ、キーボード、マウス、ペンタブレット、装置上のハードウェアボタン、音声認識を行うためのマイク等を備えることが可能である。また、出力を実現するための例として、液晶ディスプレイ、ＰＣのディスプレイ、プロジェクターへの投影等の表示と音声出力等の形態が考えられる。入出力方法により、本発明は特に機能を限定されるものではない。

【0054】

［学習済モデル提案処理］
図３は、学習済モデル提案処理のフローチャート図である。上述した各モジュールが実行する処理について、本処理にあわせて説明する。

【0055】

まず、コンピュータ２００の学習済モデルデータベース２３に、複数の学習済モデルを記憶する（ステップＳ３０１）。学習済モデルは、他のコンピュータや記憶媒体から取得しても良いし、コンピュータ２００で作成しても良い。また、このステップＳ３０１は、既に学習済モデルデータベース２３に十分な学習済モデルが記憶されている場合には、省略可能である。

【0056】

図９は、学習済モデルデータベースの構成の一例である。本発明において、学習済モデルとは、過去の画像と正解データとからなる所定の学習データ（教師データ）と、その所定の学習データで学習した学習済みの分類器や学習済みの畳み込みニューラルネットワーク等の機械学習の手法とを含むものとする。画像を特徴ベクトルへと変換するための変換方法が存在する場合には、その変換方法も機械学習の手法とあわせて、学習済モデルに含めるものとする。また、学習済モデルデータベース２３には、それぞれの学習済モデルについて、画像解析の目的と、画像を撮影した環境とを関連付けて保存するものとする。ここで、画像解析の目的としては、例えば、不審者の進入を検知すること（不審者検知）、農作物の収穫時期を適切に検知すること（収穫物検知）、害虫の発生を検知すること（害虫検知）等が、考えられる。また、画像が撮影される環境については、場所、広さ、カメラ位置、照明、等が条件として考えられる。例えば、場所については、屋内か、屋外（街）か、屋外（農場）か、広さについては、何平方メートルか何ｈａか、カメラ位置については、天井隅か、天井中央か、机・棚の上か、建物外部か、電柱か、ドローンか、照明については、蛍光灯か、ＬＥＤか、自然光か、なしか、ありか、等が選択肢として考えられる。これらの画像解析の目的と、画像を撮影した環境の情報を利用することで、目的と環境が同じ学習済モデルを提案することが可能となる。

【0057】

コンピュータ２００で学習済モデルを作成する場合、過去の画像と正解データとからなる所定の学習データ（教師データ）を使用して、機械学習を行う。ここで用いる機械学習の手法は、画像解析に適したものであることが望ましい。機械学習の手法としては、畳み込みニューラルネットワーク（ＣＮＮ）、パーセプトロン、再起型ニューラルネットワーク（ＲＮＮ）、残差ネットワーク（ＲｅｓＮｅｔ）等のニューラルネットワークや、サポートベクターマシン（ＳＶＮ）、単純ベイズ分類器等が挙げられる。また、画像を特徴ベクトルへと変換するための変換方法としては、例えば、Ｂｕｇ ｏｆ Ｖｉｓｕａｌ Ｗｏｒｄｓ、ＨＯＧ（Ｈｉｓｔｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）、ＯＲＢ、ＳＵＲＦ等が挙げられる。また、学習済モデルを学習済モデルデータベース２３に記憶させる際には、過去の画像と正解データとからなる所定の学習データと、その所定の学習データで学習した学習済みの分類器や学習済みの畳み込みニューラルネットワーク等の機械学習の手法とを含むものとする。画像を特徴ベクトルへと変換するための変換方法が存在する場合には、その変換方法も機械学習の手法とあわせて、学習済モデルに含めるものとする。ある学習データに対して複数の機械学習の手法を試し、もっとも画像解析の結果の良い手法のみを学習済モデルデータベース２３に記憶させるものとしてもよい。また、コンピュータ２００で学習済モデルを作成する場合には、学習のための時間が必要となるため、学習済モデル提案システムの稼働前等、十分学習のために時間とＣＰＵをかけられるときに行うことが望ましい。

【0058】

図３に戻り、コンピュータ２００の目的取得モジュール２１１は、何のために画像解析を行いたいのかという目的を取得するために、目的送信要求を送信する（ステップＳ３０２）。図３では、目的取得の方法として、カメラ１００から目的を送信させてそれを取得する場合を図示している。目的送信要求を送信する先は、別の端末等（非図示）でもよい。また、目的送信要求を送信する代わりに、コンピュータ２００の入出力部２４０に質問を提示してもよい。

【0059】

カメラ１００は、コンピュータ２００からの目的送信要求を受け、通信部１２０を介して目的を送信する（ステップＳ３０３）。目的送信要求を送信する先を別の端末等（非図示）とした場合には、別の端末（非図示）が目的をコンピュータ２００に送信する。また、目的送信要求を送信する代わりに、コンピュータ２００の入出力部２４０に質問を提示した場合には、ユーザが質問に対する入力を確定したタイミングが、目的送信に相当する。

【0060】

コンピュータ２００の目的取得モジュール２１１は、目的を取得する（ステップＳ３０４）。取得先は、ステップＳ３０２の目的送信要求先にあわせて、カメラ１００でもよいし、別の端末等（非図示）でもよいし、コンピュータ２００の入出力部２４０でもよい。

【0061】

次に、コンピュータ２００の環境取得モジュール２１２は、画像解析を行いたい画像を撮影する環境を取得するために、環境送信要求を送信する（ステップＳ３０５）。図３では、環境取得の方法として、カメラ１００から環境を送信させてそれを取得する場合を図示している。目的送信要求を送信する先は、別の端末等（非図示）でもよい。また、環境送信要求を送信する代わりに、コンピュータ２００の入出力部２４０に質問を提示してもよい。

【0062】

カメラ１００は、コンピュータ２００からの環境送信要求を受け、通信部１２０を介して環境を送信する（ステップＳ３０６）。ここで、カメラ１００がステレオカメラである場合には、被写体までの距離を解析することで広さ等を割り出し、環境として送信してもよい。また、カメラ１００に光度センサ等の特別なセンサを備える場合には、センサの値から場所や照明等を割り出し、環境として送信してもよい。環境送信要求を送信する先を別の端末等（非図示）とした場合には、別の端末（非図示）が環境をコンピュータ２００に送信する。また、環境送信要求を送信する代わりに、コンピュータ２００の入出力部２４０に質問を提示した場合には、ユーザが質問に対する入力を確定したタイミングが、環境送信に相当する。

【0063】

次に、コンピュータ２００の環境取得モジュール２１２は、環境を取得する（ステップＳ３０７）。取得先は、ステップＳ３０５の環境送信要求先にあわせて、カメラ１００でもよいし、別の端末等（非図示）でもよいし、コンピュータ２００の入出力部２４０でもよい。

【0064】

ここで環境取得モジュール２１２が取得する環境は、場所、広さ、カメラ位置、照明、等を直接取得してもよいし、例えば、カメラに光度センサを備える場合には、それを利用して場所が室内か屋外かを判断してもよいし、カメラがステレオカメラである場合には、それを利用して被写体までの距離や広さを判断してもよい。

【0065】

図６は、画像解析の目的と画像の撮影環境を取得するための、質問提示と入力の画面の一例である。この画面は、コンピュータ２００の入出力部２４０に表示してもよいし、ユーザの使用する別の端末（非図示）の入出力部に表示してもよい。ユーザに対して、画像解析の目的と、画像の撮影環境についての設問を表示し、ユーザに選択又は入力させることで、目的と環境を特定する。図６の例では、画像解析の目的として、不審者検知、収穫物検知、害虫検知を提示して、不審者検知が選択された例を示している。また、画像の撮影環境として、場所については、屋内、屋外（街）、屋外（農場）を提示して、屋内が選択された例を、広さについては、２０平方メートルと入力した例を、カメラ位置については、天井隅、天井中央、机・棚の上を提示して、天井中央が選択された例を、照明については、蛍光灯、ＬＥＤ、自然光を提示して、ＬＥＤが選択された例を示している。ここで、検索ボタン６０１を選択することで、質問に対する入力を確定とし、目的取得モジュール２１１と環境取得モジュール２１２が、取得を完了するものとする。ここでは、画像解析の目的と画像の撮影環境とについての質問提示を一画面で行う場合の例を示したが、それぞれ別の画面としてもよい。

【0066】

また、図７は、画像解析の目的と画像の撮影環境を取得するための、質問提示と入力の画面の別の一例である。図７の例では、画像解析の目的として、不審者検知、収穫物検知、害虫検知を提示して、収穫物検知が選択された例を示している。また、画像の撮影環境として、場所については、屋内、屋外（街）、屋外（農場）を提示して、屋外（農場）が選択された例を、広さについては、５ｈａと入力した例を、カメラ位置については、建物外部、電柱、ドローンを提示して、電柱が選択された例を、照明については、なし、ありを提示して、なしが選択された例を示している。図７では、図６の例と、画像解析の目的が異なるため、画像の撮影環境として提示する選択肢を変更した例を示している。このように、画像解析の目的や、場所等、選択済みの項目に合わせて、撮影環境の選択肢を変化させることで、より目的や場所にあわせた入力を容易に行うことが可能となる。

【0067】

図３に戻り、最後にコンピュータ２００の学習済モデル提案モジュール２４１は、学習済モデルデータベース２３を参照し、ステップＳ３０４で取得した目的と、ステップＳ３０７で取得した環境が、どの学習済モデルの目的および環境と適合するかを検索して、適切な学習済モデルを提案する（ステップＳ３０８）。ここでの学習済モデルの提案は、コンピュータ２００の入出力部２４０に出力してもよいし、ユーザが使用する別の端末等（非図示）の入出力部に出力してもよい。

【0068】

図８は、学習済モデル提案の画面の一例である。この画面は、コンピュータ２００の入出力部２４０に表示してもよいし、ユーザの使用する別の端末（非図示）の入出力部に表示してもよい。図６の例の検索結果として、目的が不審者検知、環境が屋内、広さ約２０平方メートル、カメラ位置天井中央、照明ＬＥＤという条件で検索を行った場合に、図９の学習済モデルデータベース２３を検索して、「Ｂｕｎｒｕｉｋｉ００２」を適合する学習済モデルとして提案するという例を示している。提案画面で、図８のリンク８０１に示すように、ダウンロードＵＲＬを示して、選択することで提案した学習済モデルをすぐにダウンロード可能としてもよい。また、終了ボタン８０２を選択することで、学習済モデル提案システムの終了を行ってよい。また、検索画面へボタン８０１を選択することで、図６や図７に示した画像解析の目的と画像の撮影環境を取得するための、質問提示と入力の画面に戻ってよい。また、適合する学習済モデルが見つからない場合には、目的が合致し、環境が近い学習済モデルを、提案又は参考として出力してもよい。ユーザは、提案された学習済モデルを利用することで、学習時間をかけずに、目的にあわせた精度の良い画像解析結果を得ることが可能となる。

【0069】

本発明によれば、画像の解析の目的と画像が撮影される環境とを取得して利用することで、それに似た既存の学習済モデルを提案し、学習時間をかけずに、精度の良い画像解析結果を得ることが可能な学習済モデル提案システム、学習済モデル提案方法、およびプログラムを提供することが可能となる。

【0070】

［画像比較処理］
図４は、画像比較を行う場合の、カメラ１００とコンピュータ２００の機能ブロックと各機能の関係を示す図である。図２の構成に加え、コンピュータ２００の制御部２１０は、通信部２２０、記憶部２３０と協働して画像取得モジュール２１３を実現する。また、制御部２１０は記憶部２３０と協働して画像比較モジュール２１４を実現する。図５は、画像比較を行う場合の、学習済モデル提案処理のフローチャート図である。上述した各モジュールが実行する処理について、本処理にあわせて説明する。図５のステップＳ５０１からステップＳ５０７の処理は、図３のステップＳ３０１からステップＳ３０７の処理に相当するため、ステップＳ５０８以降について説明する。なお、ステップＳ５０１の処理は、ステップＳ３０１と同じく、既に学習済モデルデータベース２３に十分な学習済モデルが記憶されている場合には、省略可能であるものとする。

【0071】

コンピュータ２００の画像取得モジュール２１３は、画像解析を行いたい画像を取得するために、カメラ１００に画像送信要求を送信する（ステップＳ５０８）。

【0072】

カメラ１００は、コンピュータ２００からの画像送信要求を受け、通信部１２０を介して画像を送信する（ステップＳ５０９）。カメラ１００は、リアルタイムに撮像している画像の送信を行うだけでなく、カメラ１００が過去に撮像して記憶部１３０に保存しておいた画像を送信しても良い。

【0073】

コンピュータ２００の画像取得モジュール２１３は、カメラ１００から画像解析を行いたい画像を取得する（ステップＳ５１０）。

【0074】

ここで、フローチャートには記載していないが、例えばステップＳ５０７で取得した環境の情報が不足している場合には、環境取得モジュール２１２がステップＳ５１０で取得した画像を解析して、場所、広さ、カメラ位置、照明、等を判断してもよいものとする。

【0075】

次に、コンピュータ２００の画像比較モジュール２１４は、ステップＳ５１０で取得した画像解析を行いたい画像と、学習済モデルデータベース２３に記憶されている学習済モデルの所定の学習データ（教師データ）の画像とを、比較する（ステップＳ５１１）。ここで、比較のために使用する学習済モデルの所定の学習データの画像は、一つの学習済モデルの画像全てを使用するのではなく、一枚又は複数枚をピックアップして使用してよい。この比較により、画像解析を行いたい画像が、学習済モデルの所定の学習データの画像に類似である場合に、その学習済モデルを使用して画像解析を行った場合の精度がよくなると考え、提案するものとする。また、この比較作業は、必ず行って目的と環境が適合する学習済モデルの画像と類似であることを確認してもよいし、目的と環境が適合する学習済モデルが複数ある場合にどの学習済モデルを提案するか絞り込むために行ってもよいし、目的と環境が適合する学習済モデルが無い場合に目的のみが適合する学習済モデルから提案する学習済モデルを選択するために行ってもよい。適合する学習済モデルが見つからない場合には、適合する学習済モデルなしとしてもよいし、目的が合致し最も環境が近い学習済モデルを提案してもよい。

【0076】

最後にコンピュータ２００の学習済モデル提案モジュール２４１は、ステップＳ５１１の画像比較結果に基づき、適切な学習済モデルを提案する（ステップＳ５１２）。ここでの学習済モデルの提案は、コンピュータ２００の入出力部２４０に出力してもよいし、ユーザが使用する別の端末等（非図示）の入出力部に出力してもよい。図８は、前述の通り、学習済モデル提案の画面の一例である。ユーザは、提案された学習済モデルを利用することで、学習時間をかけずに、目的にあわせた精度の良い画像解析結果を得ることが可能となる。

【0077】

本発明によれば、画像の解析の目的と画像が撮影される環境とに加え、更に、画像解析を行いたい画像とを取得して利用することで、それに似た既存の学習済モデルを提案し、学習時間をかけずに、精度の良い画像解析結果を得ることが可能な学習済モデル提案システム、学習済モデル提案方法、およびプログラムを提供することが可能となる。

【0078】

上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される（ＳａａＳ：ソフトウェア・アズ・ア・サービス）形態であってもよいし、フレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭ等）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ等）、コンパクトメモリ等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。

【0079】

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

【符号の説明】

【0080】

１００ カメラ、２００ コンピュータ、３００ 通信網

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】