特許 7367383 画像認識アプリケーション構築支援システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-16

(45)【発行日】2023-10-24

(54)【発明の名称】画像認識アプリケーション構築支援システム及びプログラム

(51)【国際特許分類】

   G06T 7/77 20170101AFI20231017BHJP

   G06T 7/55 20170101ALI20231017BHJP

   H04N 7/18 20060101ALI20231017BHJP

【ＦＩ】

G06T7/77

G06T7/55

H04N7/18 K

H04N7/18 D

【請求項の数】 5

(21)【出願番号】P 2019150870

(22)【出願日】2019-08-21

(65)【公開番号】P2021033489

(43)【公開日】2021-03-01

【審査請求日】2022-05-17

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】倉木 健介

【審査官】大塚 俊範

(56)【参考文献】

【文献】特開２００４－２１３５６７（ＪＰ，Ａ）

【文献】特許第６５１４４０１（ＪＰ，Ｂ１）

【文献】国際公開第２０１１／０９６３４３（ＷＯ，Ａ１）

【文献】特開２０１５－５６１４２（ＪＰ，Ａ）

【文献】特開２０１２－１２８７４４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

端末装置と無線通信可能な画像認識アプリケーション構築支援システムであって、
画像データセットの各画像がどの視点から撮影されたかを示すメタ情報を画像と共にメモリに保存して管理する管理手段と、
前記メモリに保存した情報のうち、画像認識エンジンがモデルの学習に使用した複数の画像の視点の分布を統計分析する分析手段と、
統計分析の結果を、各画像の視点を視点座標毎にカウントした値の分布を表す前記モデルのヒートマップで提示することで、不足している視点の画像を前記端末装置に識別可能に提示する提示手段と、
を備えたことを特徴とする、画像認識アプリケーション構築支援システム。

【請求項2】

前記端末装置のカメラで撮影した画像と、前記端末装置のセンサから得られる、前記カメラの傾きを推定するのに用いるセンサ情報を前記端末装置から受信し、前記センサ情報から推定した前記カメラの傾きと前記撮影した画像中の被写体との位置関係から視点を推定して前記メモリへの追加保存を指示する推定手段を更に備え、
前記管理手段は、前記指示に応答して、前記推定手段が受信した画像と推定した視点を紐付けした情報を前記メモリへ追加保存することを特徴とする、請求項１記載の画像認識アプリケーション構築支援システム。

【請求項3】

前記管理手段は、前記画像データセットの各画像と、各画像から抽出された各画像の視点座標を、前記画像認識アプリケーション構築支援システムからアクセス可能なクラウドコンピューティングシステムから取得することを特徴とする、請求項１又は２記載の画像認識アプリケーション構築支援システム。

【請求項4】

前記画像データセットは、オープンなデータセットであることを特徴とする、請求項３記載の画像認識アプリケーション構築支援システム。

【請求項5】

端末装置と無線通信可能なコンピュータに、画像認識アプリケーションの構築を支援させるプログラムであって、
画像データセットの各画像がどの視点から撮影されたかを示すメタ情報を画像と共にメモリに保存して管理し、
前記メモリに保存した情報のうち、画像認識エンジンがモデルの学習に使用した複数の画像の視点の分布を統計分析し、
統計分析の結果を、各画像の視点を視点座標毎にカウントした値の分布を表す前記モデルのヒートマップで提示することで、不足している視点の画像を前記端末装置に識別可能に提示する、
処理を前記コンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像認識アプリケーションの構築を支援するシステム（以下、「画像認識アプリケーション構築支援システム」と言う）及びプログラムに関する。

【背景技術】

【0002】

近年、ディープラーニングによる画像認識の性能向上に伴い、画像認識を活用したアプリケーションの現場適用が様々な分野で検討されている。空港等のゲートにおける顔認識、工場の生産ラインにおける工業製品の検品等、撮影の対象となる被写体とカメラの位置関係をある程度制限した環境では、画像認識を活用したアプリケーションの現場適用の運用が始まっている。

【0003】

被写体を撮影するカメラの視点が固定の場合、例えばImageNet等の既存のオープンなデータセットを学習用に流用しやすく、導入先でのデータの追加も容易である。被写体を撮影するカメラの視点が固定の場合の一例として、視点が利用者の正面である顔認識がある。

【0004】

被写体を撮影するカメラの視点を固定できない場合には、想定する視点の数だけ学習用データを準備する必要がある。しかし、既存のオープンなデータセットでは、視点の偏りがあり、視点の偏りがあるデータセットで学習したモデルには、視点によって認識精度にばらつきが生じてしまう。

【0005】

なお、形状モデルを準備して学習データの不足を補う場合、形状モデルの作成が必要となる。しかし、形状モデルの作成には、高いスキルを必要とするため、一般の利用者がそのような形状モデルを作成することは困難である。

【0006】

一方、形状モデルを作成せずに、様々な視点から撮影した画像を準備しても良い。しかし、この場合、データセットの作成に膨大な時間を必要としてしまう。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２０１８－５５１９５号公報

【文献】特開２０１７－１０２８３８号公報

【文献】特開２０１４－１５７５０９号公報

【文献】特開平１－１３６２８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

従来の画像認識アプリケーション構築支援システムでは、無駄なくデータを収集して、構築作業の工数を削減することは難しい。

【0009】

そこで、１つの側面では、無駄なくデータを収集して、構築作業の工数を削減できる画像認識アプリケーション構築支援システム及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

１つの案によれば、端末装置と無線通信可能な画像認識アプリケーション構築支援システムであって、画像データセットの各画像がどの視点から撮影されたかを示すメタ情報を画像と共にメモリに保存して管理する管理手段と、前記メモリに保存した情報のうち、画像認識エンジンがモデルの学習に使用した複数の画像の視点の分布を統計分析する分析手段と、統計分析の結果を、各画像の視点を視点座標毎にカウントした値の分布を表す前記モデルのヒートマップで提示することで、不足している視点の画像を前記端末装置に識別可能に提示する提示手段と、を備えた画像認識アプリケーション構築支援システムが提供される。

【発明の効果】

【0011】

一態様によれば、無駄なくデータを収集して、構築作業の工数を削減できる。

【図面の簡単な説明】

【0012】

【図1】第１実施例における画像認識アプリケーション構築支援システムの一例を示す機能ブロック図である。

【図2】第１実施例における画像認識アプリケーション構築支援システムの動作の一例を説明するフローチャートである。

【図3】コンピュータシステムの一例を示すブロック図である。

【図4】第２実施例における画像認識アプリケーション構築支援システムの一例を示す機能ブロック図である。

【図5】第２実施例における画像認識アプリケーション構築支援システムの動作の一例を説明するフローチャートである。

【図6】画像認識アプリケーション構築支援システムの効果を説明する図である。

【発明を実施するための形態】

【0013】

以下に、開示の画像認識アプリケーション構築支援システム及びプログラムの各実施例を図面と共に説明する。

【実施例】

【0014】

図１は、第１実施例における画像認識アプリケーション構築支援システムの一例を示す機能ブロック図である。図１に示す画像認識アプリケーション構築支援システム（以下、単に「支援システム」とも言う）１は、例えば汎用のコンピュータで形成可能であり、管理部１１と、分析部１２と、提示部１３と、推定部１４を有する。

【0015】

視点座標抽出部３は、画像データセット２から画像を取得して、当該画像内の被写体である対象物を撮影したカメラの視点座標（以下、「画像の視点座標」とも言う）を周知の方法で抽出する。画像内の対象物を撮影したカメラの視点座標を抽出する周知の方法は、特に限定されないが、例えば特許文献４に記載された周知技術を用いても良い。画像データセット２は、例えばImageNet等の既存のオープンなデータセットであっても良い。視点座標抽出部３は、取得した画像と抽出した画像の視点座標を、支援システム１の管理部１１に供給する。画像データセット２及び視点座標抽出部３は、支援システム１からアクセス可能なクラウドコンピューティングシステムに含まれていても良い。また、視点座標抽出部３は、支援システム１に含まれていても良い。

【0016】

端末装置４は、例えばスマートフォン、タブレット等の携帯型の電子装置により形成可能である。端末装置４は、支援システム１と通信を行う通信装置と、入力装置を有する。端末装置４の通信装置は、支援システム１と、例えばＷｉ－Ｆｉ（登録商標）の規格の信号を用いて通信を行う無線通信機能を有する。なお、無線通信機能は、ＢＴ（Bluetooth（登録商標））、ＢＬＥ（Bluetooth (登録商標）Low Energy）等の、Ｗｉ－Ｆｉ（登録商標）以外の規格の信号を用いて通信を行っても良いことは、言うまでもない。端末装置４の入力装置は、カメラ、カメラの傾き（又は、姿勢）を周知の方法で推定するのに用いる情報（以下、「センサ情報」とも言う）を出力するセンサ等を含む。センサ情報からカメラの傾きを推定する周知の方法は、特に限定されない。

【0017】

支援システム１において、管理部１１は、視点座標抽出部３から得られる、画像認識エンジンの学習に使用する１枚以上の画像と、当該画像の視点座標をメタ情報としてデータベース（ＤＢ：Data-Base）に保存して管理する管理手段の一例である。管理部１１は、学習用画像データセットの各画像と、各画像の視点座標を紐付けしてメタ情報としてＤＢに保存して管理する。つまり、管理部１１は、画像データセット２の各画像がどの視点から撮影されたかを示すメタ情報を画像と共にＤＢに保存して管理する。ＤＢは、例えば支援システム１内のメモリで形成可能である。

【0018】

分析部１２は、ＤＢに保存した情報のうち、画像認識エンジンがモデルの学習に使用した複数の画像の視点の分布を統計分析する分析手段の一例である。分析部１２は、学習したモデル毎に、学習に使用した画像の視点の分布を統計分析する。提示部１３は、統計分析の結果を数値、図等で端末装置４に対して提示する提示手段の一例である。提示部１３は、例えば統計分析の結果を、端末装置１４の表示装置に表示する。

【0019】

推定部１４は、端末装置４のカメラで画像を撮影して学習用画像データとして追加する際に、端末装置４のセンサから得られるセンサ情報を元に、端末装置４のカメラが対象物を撮影した視点座標を周知の方法で推定する推定手段の一例である。画像の視点座標は、センサ情報から周知の方法で推定したカメラの傾きと、例えば画像の中央部に写っている対象物との位置関係から周知の方法で推定することができる。

【0020】

図２は、第１実施例における画像認識アプリケーション構築支援システムの動作の一例を説明するフローチャートである。図２に示す処理のうち、ステップＳ１の処理は、管理部１１が実行可能である。ステップＳ２の処理は、分析部１２が実行可能であり、ステップＳ３の処理は、提示部１３が実行可能である。ステップＳ４，Ｓ５の処理は、端末装置４が実行可能であり、ステップＳ６，Ｓ７の処理は、推定部１４が実行可能である。

【0021】

ステップＳ１では、管理部１１が、視点座標抽出部３から得られる、画像認識エンジンの学習に使用する学習用画像データセットの１枚以上の画像と、当該画像の視点座標を紐付けしてメタ情報としてＤＢに保存して管理する。１枚以上の画像と視点座標を紐付けしてメタ情報として保存するＤＢは、例えば支援システム１内のメモリで形成可能である。

【0022】

ステップＳ２では、分析部１２が、ＤＢに保存した情報のうち、画像認識エンジンがモデルの学習に使用した複数の画像の視点の分布を統計分析する。

【0023】

ステップＳ３では、提示部１３が、統計分析の結果を数値、図等で端末装置４に提示する。統計分析の結果を図で提示する場合、例えばモデルのヒートマップを端末装置４の表示装置に表示しても良い。この場合、モデルのヒートマップは、例えば各画像の視点を視点座標毎にカウントした値の分布を表す。従って、提示部１３は、統計分析の結果をモデルのヒートマップで提示することで、各画像の視点を視点座標毎にカウントした値が一定値未満であるか否かに応じて不足している視点の画像を識別可能に提示できる。

【0024】

ステップＳ４では、端末装置４が、例えば提示された統計分析の結果から、視点の分布が十分であるか否かを判断する。視点の分布が十分であるか否かは、例えばヒートマップにおいて、各画像の視点を視点座標毎にカウントした値が一定値以上であるか否かに基づいて判断しても良い。端末装置４が、視点の分布が十分でないと判断してステップＳ４の判定結果がＮＯであると、処理は後述するステップＳ５へ進む。一方、端末装置４が、視点の分布が十分であると判断してステップＳ４の判定結果がＹＥＳであると、処理はステップＳ８へ進み、画像認識エンジンがモデルを再学習し、処理は終了する。

【0025】

ステップＳ５では、端末装置４が、統計分析の結果に基づき、利用者に不足している視点座標からの画像の撮影を促すメッセージを、表示する等して通知する。利用者が、通知されたメッセージに応じて端末装置４のカメラで不足している視点座標から画像を撮影すると、ステップＳ５では、端末装置４が、各画像の撮影時のセンサ情報を取得して画像と共に支援システム１に送信する。具体的には、取得したセンサ情報を画像と共に、支援システム１の管理部１１に送信する。

【0026】

ステップＳ４の判断を端末装置４が実行し、ステップＳ５の撮影を端末装置４側が主導して利用者に行わせる場合には、利用者は、基本的には端末装置４からの指示に応じた操作を行えば良いため、利便性が良い。

【0027】

なお、ステップＳ４では、利用者が、端末装置４の表示装置に表示されたヒートマップ等を見て、視点の分布が十分であるか否かを判断するようにしても良い。この場合、利用者は、端末装置４の表示装置に表示されたヒートマップから、視点の分布を容易に理解できる。利用者が、視点の分布が十分でないと判断して不足情報を送信する送信操作を選択すると、ステップＳ４の判定結果がＮＯとなり、処理はステップＳ５へ進む。ステップＳ５では、利用者が、端末装置４のカメラで不足している視点座標から画像を撮影し、端末装置４のセンサから各画像の撮影時のセンサ情報を取得すると、画像とセンサ情報を支援システム１の推定部１４に送信する。一方、利用者が、視点の分布が十分であると判断して上記送信操作を選択しないと、ステップＳ４の判定結果がＹＥＳとなり、処理はステップＳ８へ進み、画像認識エンジンがモデルを再学習し、処理は終了する。例えば、利用者が一定時間内に送信操作を選択しないと、視点の分布が十分であると判断してステップＳ４の判定結果がＹＥＳとなるようにしても良い。

【0028】

ステップＳ４の判断及びステップＳ５の撮影を、利用者側が主導して行う場合には、端末装置４の処理の負荷を軽減できる。

【0029】

ステップＳ６では、支援システム１の推定部１４が、端末装置４から受信した画像の視点座標を、端末装置４から受信したセンサ情報を元に周知の方法で推定する。具体的には、端末装置４から受信した画像の視点座標は、センサ情報から周知の方法で推定したカメラの傾きと、例えば画像の中央部に写っている対象物との位置関係から周知の方法で推定する。

【0030】

ステップＳ７では、推定部１４が、撮影した画像と推定した視点座標を、紐付けしてメタ情報として支援システム１のＤＢに追加することを管理部１１に指示し、処理はステップＳ２へ戻る。これにより、管理部１１は、推定部１４からの指示に応答して、不足している視点座標から撮影した画像と、画像内の対象物を撮影した際の視点座標を紐付けして、支援システム１のＤＢに追加する。

【0031】

図３は、コンピュータシステムの一例を示すブロック図である。図３に示すハードウェア構成を有するコンピュータシステム１００は、例えば図１に示す支援システム１を形成可能である。

【0032】

コンピュータシステム１００は、バス１２０を介して互いに接続されたプロセッサ１２１と、メモリ１２２と、入力装置１２３と、表示装置１２４と、インタフェース（又は、通信装置）１２５とを有する。プロセッサ１２１は、例えば中央処理装置（ＣＰＵ：Central Processing Unit）等で形成可能であり、メモリ１２２に記憶されたプログラムを実行して、コンピュータシステム１００全体の制御を司る。

【0033】

メモリ１２２は、例えば半導体記憶装置、磁気記録媒体、光記録媒体、光磁気記録媒体等により形成可能である。メモリ１２２は、プロセッサ１２１が実行する各種プログラム、各種データ等を記憶する記憶装置の一例であり、支援システム１のＤＢを形成可能である。記憶装置は、ＣＤ－ＲＯＭ（Compact Disk-Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ等であっても良い。また、記憶装置は、プログラムを記憶したコンピュータ読み取り可能な記憶媒体であっても良い。更に、記憶装置は、複数の記憶装置で形成されていても良く、この場合、コンピュータシステム１００に外部接続された記憶装置を含んでも良い。

【0034】

入力装置１２３は、利用者により操作される例えばキーボード等で形成可能であり、プロセッサ１２１にコマンド及びデータを入力するのに用いられる。表示装置１２４は、利用者に対するメッセージ、処理結果等を表示するのに用いられる。なお、入力装置１２３と表示装置１２４とが一体的に設けられたタッチパネルを用いても良い。インタフェース１２５は、無線通信機能を有し、コンピュータシステム１００と他の装置との間の情報、コマンド等の授受を司る通信手段の一例である。

【0035】

コンピュータシステム１００が図１に示す支援システム１を形成する場合、プロセッサ１２１は、メモリ１２２が記憶するプログラムを実行して、図２に示すステップＳ１，Ｓ２，Ｓ３，Ｓ６，Ｓ７の処理を実行する。

【0036】

なお、コンピュータシステム１００は、当該コンピュータシステム１００の構成要素がバス１２０を介して接続されたハードウェア構成に限定されるものではなく、汎用のコンピュータにより形成可能である。

【0037】

また、図３に示すハードウェア構成を有するコンピュータシステム１００は、例えば図１に示す端末装置４を形成可能である。端末装置４を形成するコンピュータシステム１００の場合、入力装置１２３は、カメラ、カメラの傾きを推定するのに用いる情報を出力するセンサ等を更に含む。カメラの傾きを推定するのに用いる情報を出力するセンサは、例えば３軸加速度センサ、ジャイロセンサ等であっても良い。

【0038】

コンピュータシステム１００が図１に示す端末装置４を形成する場合、プロセッサ１２１は、メモリ１２２が記憶するプログラムを実行して、図２に示すステップＳ４，Ｓ５の処理を実行する。

【0039】

図４は、第２実施例における画像認識アプリケーション構築支援システムの一例を示す機能ブロック図である。図４中、図１と同一部分には同一符号を付し、その説明は省略する。図４に示す支援システム１Ａは、管理部１１と、分析部１２と、提示部１３を有する。

【0040】

端末装置４Ａは、例えばスマートフォン、タブレット等により形成可能である。端末装置４は、支援システム１Ａと通信を行う通信装置と、カメラとセンサを含む入力装置と、推定部１４Ａを有する。推定部１４Ａは、端末装置４Ａのカメラで画像を撮影して学習用画像データとして追加する際に、端末装置４Ａのセンサから得られるセンサ情報を元に、端末装置４Ａのカメラが対象物を撮影した視点座標を周知の方法で推定する推定手段の一例である。画像の視点座標は、センサ情報から周知の方法で推定したカメラの傾きと、例えば画像の中央部に写っている対象物との位置関係から周知の方法で推定することができる。

【0041】

図５は、第２実施例における画像認識アプリケーション構築支援システムの動作の一例を説明するフローチャートである。図５中、図２と同一ステップには同一符号を付し、その説明は省略する。

【0042】

図５に示す処理のうち、ステップＳ４，Ｓ５の処理は、端末装置４Ａが実行可能であり、ステップＳ６Ａ，Ｓ７Ａの処理は、端末装置４Ａの推定部１４Ａが実行可能である。

【0043】

ステップＳ４，Ｓ５では、端末装置４Ａが第１実施例における端末装置４と同様の処理を実行する。ステップＳ６Ａでは、端末装置４Ａの推定部１４Ａが、画像内の対象物を撮影した際の視点座標を、端末装置４Ａのセンサから受信したセンサ情報を元に周知の方法で推定する。ステップＳ７Ａでは、端末装置４Ａの推定部１４Ａが、撮影した画像と推定した視点座標を、紐付けしてメタ情報として支援システム１ＡのＤＢに追加することを管理部１１に指示し、処理はステップＳ２へ戻る。これにより、管理部１１は、推定部１４Ａからの指示に応答して、不足している視点座標から撮影した画像と、画像内の対象物を撮影した際の視点座標を紐付けして、支援システム１ＡのＤＢに追加する。

【0044】

図３に示すコンピュータシステム１００が図４に示す支援システム１Ａを形成する場合、プロセッサ１２１は、メモリ１２２が記憶するプログラムを実行して、図５に示すステップＳ１，Ｓ２，Ｓ３の処理を実行する。

【0045】

図３に示すコンピュータシステム１００が図４に示す端末装置４Ａを形成する場合、プロセッサ１２１は、メモリ１２２が記憶するプログラムを実行して、図５に示すステップＳ４，Ｓ５，Ｓ６Ａ，Ｓ７Ａの処理を実行する。

【0046】

図６は、画像認識アプリケーション構築支援システムの効果を説明する図である。図６中、図１及び図４と同一部分には同一符号を付し、その説明は省略する。

【0047】

図６に示すように、画像データセット２の画像の視点座標、即ち、画像中の対象物である被写体を撮影したカメラの視点座標を、例えば特許文献４に記載された周知技術を用いて抽出し、メタ情報として画像と共に支援システムのＤＢに保存する。被写体の視点座標（ｘ_０，ｙ_０，ｚ_０）は、例えばｘｙｚ座標系で表される。この場合、例えば被写体が乗り物、花及び野球選手の場合、これらの被写体の画像と、夫々の視点座標（ｘ_１，ｙ_１，ｚ_１），（ｘ_２，ｙ_２，ｚ_２），（ｘ_３，ｙ_３，ｚ_３）を紐付けしてメタ情報として支援システムのＤＢに保存して管理する。

【0048】

支援システムのＤＢに保存した画像と視点のデータセットを、学習用画像データセットとして画像認識エンジンによるモデルの学習に用いる際、モデルに使用した画像の視点の分布を統計分析して、利用者に提示する。統計分析の結果は、例えば球状の座標におけるモデルのヒートマップで端末装置４（４Ａ）の表示装置に表示する。つまり、学習したモデルを現場で導入する際、統計分析の結果を用い、現場で必要な視点の画像がどれくらい不足しているかを、現場にいる利用者に提示する。学習用画像データセットのうち、何枚かの画像がモデルの学習に使用された場合、各画像の視点を視点座標毎にカウントし、ヒートマップ等で可視化する。図６に示す例では、ヒートマップにおいて、各画像の視点を視点座標毎にカウントした値が大きい領域は黒色で示し、カウントした値が中程度の領域が灰色で示し、カウントした値が小さい領域は白色で示す。この例では、モデルのヒートマップから、被写体の側面の視点から撮影された画像が多く、真上の視点から撮影された画像が少ないことがわかる。

【0049】

そこで、利用者は、モデルのヒートマップから判明した、不足している視点の画像を、端末装置４（４Ａ）のカメラで撮影して追加することができる。例えば、被写体である乗り物がスクーターであれば、利用者は端末装置４（４Ａ）のカメラで、スクーターの真上周辺の視点からスクーターを撮影する。端末装置４（４Ａ）は、カメラの傾きを推定するのに用いるセンサ情報を出力するセンサを有する。利用者が、現場で不足している視点の画像を中心に被写体を撮影すると、撮影に使用した端末装置４（４Ａ）で取得できるセンサ情報から推定したカメラの傾きと、例えば画像の中央部に写っている被写体との位置関係から、画像の視点座標を推定することができる。これにより、現場で撮影した画像の視点座標を、画像と共に支援システムのＤＢ内の学習用画像データセットに追加することができる。

【0050】

利用者は、モデルのヒートマップを見て、不足している視点の画像を把握できるので、不足している視点から端末装置４（４Ａ）のカメラで被写体の画像を撮影することができる。利用者は、不足している視点の画像のみを撮影して学習用画像データとして追加すれば良いため、効率良く低コストでシステム構築を実現できる。

【0051】

このように、画像データセットに含まれる画像の撮影条件を分析し、不足した撮影条件の画像を取得しつつ、新たな撮影条件も撮影に使用する端末装置４（４Ａ）のセンサを使って収集することで、無駄なくデータを収集でき、構築作業のコストを削減できる。また、画像認識システムの構築において、多くのコスト（即ち、人の作業時間）を要する学習画像データの収集の工数を削減できる。

【0052】

端末装置４（４Ａ）が、提示された統計分析の結果から、視点の分布が十分であるか否かを判断しても良い。この場合、端末装置４（４Ａ）が、統計分析の結果に基づき、利用者に不足している視点座標からの画像の撮影を促すメッセージを、表示する等して通知れば良い。利用者は、基本的には端末装置４からの指示に応じた操作を行えば良いため、利便性が良い。

【0053】

上記の各実施例によれば、画像データセットに含まれる画像の撮影条件を分析し、不足した撮影条件の画像を取得しつつ、新たな撮影条件も撮影に使用する端末装置のセンサを使って収集する。これにより、無駄なくデータを収集して、画像認識アプリケーションを構築する作業の工数を削減できるので、構築する作業のコストを削減できる。また、例えばカメラが対象物を撮影する視点が固定できない場合であっても、学習用画像データセットを分析し、学習用画像データセットの画像の視点のばらつきを利用者に提示することで、不足している視点からの画像データの収集を支援することができる。

【0054】

以上の実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
端末装置と無線通信可能な画像認識アプリケーション構築支援システムであって、
画像データセットの各画像がどの視点から撮影されたかを示すメタ情報を画像と共にメモリに保存して管理する管理手段と、
前記メモリに保存した情報のうち、画像認識エンジンがモデルの学習に使用した複数の画像の視点の分布を統計分析する分析手段と、
統計分析の結果を前記端末装置に提示する提示手段と、
を備えたことを特徴とする、画像認識アプリケーション構築支援システム。
(付記２）
前記提示手段は、前記統計分析の結果を、各画像の視点を視点座標毎にカウントした値の分布を表す前記モデルのヒートマップで提示することで、不足している視点の画像を識別可能に提示することを特徴とする、付記１記載の画像認識アプリケーション構築支援システム。
（付記３）
前記端末装置のカメラで撮影した画像と、前記端末装置のセンサから得られる、前記カメラの傾きを推定するのに用いるセンサ情報を前記端末装置から受信し、前記センサ情報から推定した前記カメラの傾きと前記撮影した画像中の被写体との位置関係から視点を推定して前記メモリへの追加保存を指示する推定手段を更に備え、
前記管理手段は、前記指示に応答して、前記推定手段が受信した画像と推定した視点を紐付けして前記メモリへ追加保存することを特徴とする、付記１又は２記載の画像認識アプリケーション構築支援システム。
（付記４）
前記管理手段は、前記画像データセットの各画像と、各画像から抽出された各画像の視点座標を、前記画像認識アプリケーション構築支援システムからアクセス可能なクラウドコンピューティングシステムから取得することを特徴とする、付記１乃至３のいずれか１項記載の画像認識アプリケーション構築支援システム。
（付記５）
前記画像データセットは、オープンなデータセットであることを特徴とする、付記４記載の画像認識アプリケーション構築支援システム。
（付記６）
端末装置と無線通信可能なコンピュータに、画像認識アプリケーションの構築を支援させるプログラムであって、
画像データセットの各画像がどの視点から撮影されたかを示すメタ情報を画像と共にメモリに保存して管理し、
前記メモリに保存した情報のうち、画像認識エンジンがモデルの学習に使用した複数の画像の視点の分布を統計分析し、
統計分析の結果を前記端末装置に提示する、
処理を前記コンピュータに実行させるためのプログラム。
(付記７）
前記提示する処理は、前記統計分析の結果を、各画像の視点を視点座標毎にカウントした値の分布を表す前記モデルのヒートマップで提示することで、不足している視点の画像を識別可能に提示する、付記６記載のプログラム。
（付記８）
前記端末装置のカメラで撮影した画像と、前記端末装置のセンサから得られる、前記カメラの傾きを推定するのに用いるセンサ情報を前記端末装置から受信し、前記センサ情報から推定した前記カメラの傾きと前記撮影した画像中の被写体との位置関係から視点を推定して前記メモリへの追加保存を指示する、
処理を前記コンピュータに更に実行させ、
前記管理する処理は、前記指示に応答して、前記指示する処理で受信した画像と推定した視点を紐付けして前記メモリへ追加保存する、付記６又は７記載のプログラム。
（付記９）
前記管理する処理は、前記画像データセットの各画像と、各画像から抽出された各画像の視点座標を、前記コンピュータからアクセス可能なクラウドコンピューティングシステムから取得する、付記６乃至８のいずれか１項記載のプログラム。
（付記１０）
前記画像データセットは、オープンなデータセットである、付記９記載のプログラム。

【0055】

以上、開示の画像認識アプリケーション構築支援システム及びプログラムを実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能であることは言うまでもない。

【符号の説明】

【0056】

１，１Ａ 画像認識アプリケーション構築支援システム
２ 画像データセット
３ 視点座標抽出部
４，４Ａ 端末装置
１１ 管理部
１２ 分析部
１３ 提示部
１４，１４Ａ 推定部
１００ コンピュータ
１２０ バス
１２１ プロセッサ
１２２ メモリ
１２３ 入力装置
１２４ 表示装置
１２５ インタフェース
ＤＢ データベース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】