特許 6995714 特定装置、特定方法及び特定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2021-12-17

(45)【発行日】2022-01-17

(54)【発明の名称】特定装置、特定方法及び特定プログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20220106BHJP

【ＦＩ】

G06T7/70 Z

【請求項の数】 15

(21)【出願番号】P 2018142822

(22)【出願日】2018-07-30

(65)【公開番号】P2020021170

(43)【公開日】2020-02-06

【審査請求日】2020-06-26

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100124084

【弁理士】

【氏名又は名称】黒岩 久人

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】巻渕 有哉

【審査官】佐藤 実

(56)【参考文献】

【文献】特開２０１８－０３６８４８（ＪＰ，Ａ）

【文献】国際公開第２０１１／０４６１２８（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／７０

(57)【特許請求の範囲】

【請求項1】

所定エリアを、前記所定エリアに存在する所定のオブジェクトよりも上方の位置から撮像する撮像装置が撮像した画像を取得する取得部と、
前記取得部が取得した第１画像に含まれる前記所定のオブジェクトであって、実空間を移動中の前記オブジェクトの実空間における向きが当該オブジェクトの実空間における移動方向と同一である前記所定のオブジェクトを特定するオブジェクト特定部と、
前記取得部が取得した前記第１画像に対応する第１時刻における前記所定のオブジェクトの前記画像の座標系に対応する位置を示す第１位置と、当該第１時刻よりも前の第２時刻における前記所定のオブジェクトの前記座標系に対応する位置を示す第２位置とを特定するオブジェクト位置特定部と、
前記撮像装置が撮像した画像の平面である画像平面を仮想的に延長した平面と、前記撮像装置の光学中心から前記所定エリアに降ろした垂線との交点の、当該平面上への投影点を前記座標系における基準点とし、前記第１位置から前記基準点の位置に向かう方向を基準方向と特定し、前記オブジェクト位置特定部が特定した前記第２位置から前記第１位置に向かう方向を前記所定のオブジェクトの移動方向と特定し、特定した移動方向と前記基準方向とがなす角度に基づいて前記第１画像における前記所定のオブジェクトの向きを特定するオブジェクト向き特定部と、
を備える特定装置。

【請求項2】

所定エリアを、前記所定エリアに存在する所定のオブジェクトよりも上方の位置から撮像する撮像装置が撮像した画像を取得する取得部と、
前記取得部が取得した第１画像に含まれる前記所定のオブジェクトであって、実空間を移動中の前記オブジェクトの実空間における向きが当該オブジェクトの実空間における移動方向と同一である前記所定のオブジェクトを特定するオブジェクト特定部と、
前記取得部が取得した前記第１画像に対応する第１時刻における前記所定のオブジェクトの前記画像の座標系に対応する位置を示す第１位置と、当該第１時刻よりも後の第２時刻における前記所定のオブジェクトの前記座標系に対応する位置を示す第２位置とを特定するオブジェクト位置特定部と、
前記撮像装置が撮像した画像の平面である画像平面を仮想的に延長した平面と、前記撮像装置の光学中心から前記所定エリアに降ろした垂線との交点の、当該平面上への投影点を前記座標系における基準点とし、前記第１位置から前記基準点の位置に向かう方向を基準方向と特定し、前記オブジェクト位置特定部が特定した前記第１位置から前記第２位置に向かう方向を前記所定のオブジェクトの移動方向と特定し、特定した移動方向と前記基準方向とがなす角度に基づいて前記第１画像における前記所定のオブジェクトの向きを特定するオブジェクト向き特定部と、
を備える特定装置。

【請求項3】

前記取得部は、前記所定のオブジェクトの時刻ごとの位置を示す動線情報を取得し、
前記オブジェクト位置特定部は、前記取得部が取得した前記第１画像に基づいて前記第１時刻における前記所定のオブジェクトの位置を示す前記第１位置を特定し、前記動線情報に基づいて、前記第１時刻とは異なる時刻である前記第２時刻における前記所定のオブジェクトの位置を示す第２位置を特定する、
請求項１又は２に記載の特定装置。

【請求項4】

前記オブジェクト位置特定部は、前記取得部が取得した前記第１画像に基づいて前記第１時刻における前記所定のオブジェクトの位置を示す前記第１位置を特定し、前記取得部が取得した前記第２時刻に撮像された第２画像に基づいて、前記第２時刻における前記所定のオブジェクトの位置を示す第２位置を特定する、
請求項１又は２に記載の特定装置。

【請求項5】

前記オブジェクト位置特定部は、前記第１位置から所定距離以上離れたオブジェクトの位置を前記第２位置として特定する、
請求項１から４のいずれか１項に記載の特定装置。

【請求項6】

複数の角度範囲のそれぞれに、１つの前記オブジェクトの向きが関連付けられており、
前記オブジェクト向き特定部は、前記所定のオブジェクトの向きを、前記角度が含まれる前記角度範囲に関連付けられている１つの前記オブジェクトの向きに特定する、
請求項１から５のいずれか１項に記載の特定装置。

【請求項7】

前記オブジェクト位置特定部は、前記取得部が取得した第１画像に関連する３つ以上の時刻のそれぞれにおける前記所定のオブジェクトの位置を特定し、
前記オブジェクト向き特定部は、特定された３つ以上の時刻のそれぞれについて、当該時刻における前記所定のオブジェクトの位置に基づいて前記オブジェクトの移動方向を特定し、特定された３つ以上の時刻のそれぞれにおける前記オブジェクトの移動方向に基づいて前記所定のオブジェクトの向きを特定する、
請求項１から６のいずれか１項に記載の特定装置。

【請求項8】

複数の角度範囲のそれぞれに、１つの前記オブジェクトの向きが関連付けられており、
前記オブジェクト向き特定部は、特定された３つ以上の時刻のそれぞれについて、当該時刻のそれぞれに対応する角度が含まれる前記角度範囲に関連付けられている１つの前記オブジェクトの向きを特定し、特定されたオブジェクトの向きが含まれる割合に基づいて、前記所定のオブジェクトの向きを特定する、
請求項７に記載の特定装置。

【請求項9】

前記所定のオブジェクトの前記第１画像中の領域を特定するオブジェクト領域特定部と、
前記オブジェクト領域特定部が特定した領域が示す画像と、前記オブジェクト向き特定部が特定した前記向きを示す向き情報とを、機械学習における学習データとして抽出する抽出部とをさらに備える、
請求項１から８のいずれか１項に記載の特定装置。

【請求項10】

前記抽出部は、前記角度が所定の範囲外に存在する場合、学習データを抽出しないように制御する、
請求項９に記載の特定装置。

【請求項11】

前記抽出部は、前記第１位置と、前記基準点との距離が所定値未満である場合に、学習データを抽出しないように制御する、
請求項９又は１０に記載の特定装置。

【請求項12】

コンピュータが実行する、
所定エリアを、前記所定エリアに存在する所定のオブジェクトよりも上方の位置から撮像する撮像装置が撮像した画像を取得するステップと、
前記取得するステップにおいて取得された第１画像に含まれる前記所定のオブジェクトであって、実空間を移動中の前記オブジェクトの実空間における向きが当該オブジェクトの実空間における移動方向と同一である前記所定のオブジェクトを特定するステップと、
前記取得するステップにおいて取得された前記第１画像に対応する第１時刻における前記所定のオブジェクトの前記画像の座標系に対応する位置を示す第１位置と、当該第１時刻よりも前の第２時刻における前記所定のオブジェクトの前記座標系に対応する位置を示す第２位置とを特定するステップと、
前記撮像装置が撮像した画像の平面である画像平面を仮想的に延長した平面と、前記撮像装置の光学中心から前記所定エリアに降ろした垂線との交点の、当該平面上への投影点を前記座標系における基準点とし、前記第１位置から前記基準点の位置に向かう方向を基準方向と特定するステップと、
特定された前記第２位置から前記第１位置に向かう方向を前記所定のオブジェクトの移動方向と特定し、特定した移動方向と前記基準方向とがなす角度に基づいて前記第１画像における前記所定のオブジェクトの向きを特定するステップと、
を備える特定方法。

【請求項13】

コンピュータが実行する、
所定エリアを、前記所定エリアに存在する所定のオブジェクトよりも上方の位置から撮像する撮像装置が撮像した画像を取得するステップと、
前記取得するステップにおいて取得された第１画像に含まれる前記所定のオブジェクトであって、実空間を移動中の前記オブジェクトの実空間における向きが当該オブジェクトの実空間における移動方向と同一である前記所定のオブジェクトを特定するステップと、
前記取得するステップにおいて取得された前記第１画像に対応する第１時刻における前記所定のオブジェクトの前記画像の座標系に対応する位置を示す第１位置と、当該第１時刻よりも後の第２時刻における前記所定のオブジェクトの前記座標系に対応する位置を示す第２位置とを特定するステップと、
前記撮像装置が撮像した画像の平面である画像平面を仮想的に延長した平面と、前記撮像装置の光学中心から前記所定エリアに降ろした垂線との交点の、当該平面上への投影点を前記座標系における基準点とし、前記第１位置から前記基準点の位置に向かう方向を基準方向と特定するステップと、
特定された前記第１位置から前記第２位置に向かう方向を前記所定のオブジェクトの移動方向と特定し、特定した移動方向と前記基準方向とがなす角度に基づいて前記第１画像における前記所定のオブジェクトの向きを特定するステップと、
を備える特定方法。

【請求項14】

コンピュータを、
所定エリアを、前記所定エリアに存在する所定のオブジェクトよりも上方の位置から撮像する撮像装置が撮像した画像を取得する取得部、
前記取得部が取得した第１画像に含まれる前記所定のオブジェクトであって、実空間を移動中の前記オブジェクトの実空間における向きが当該オブジェクトの実空間における移動方向と同一である前記所定のオブジェクトを特定するオブジェクト特定部、
前記取得部が取得した前記第１画像に対応する第１時刻における前記所定のオブジェクトの前記画像の座標系に対応する位置を示す第１位置と、当該第１時刻よりも前の第２時刻における前記所定のオブジェクトの前記座標系に対応する位置を示す第２位置とを特定するオブジェクト位置特定部、及び、
前記撮像装置が撮像した画像の平面である画像平面を仮想的に延長した平面と、前記撮像装置の光学中心から前記所定エリアに降ろした垂線との交点の、当該平面上への投影点を前記座標系における基準点とし、前記第１位置から前記基準点の位置に向かう方向を基準方向と特定し、前記オブジェクト位置特定部が特定した前記第２位置から前記第１位置に向かう方向を前記所定のオブジェクトの移動方向と特定し、特定した移動方向と前記基準方向とがなす角度に基づいて前記第１画像における前記所定のオブジェクトの向きを特定するオブジェクト向き特定部、
として機能させる特定プログラム。

【請求項15】

コンピュータを、
所定エリアを、前記所定エリアに存在する所定のオブジェクトよりも上方の位置から撮像する撮像装置が撮像した画像を取得する取得部、
前記取得部が取得した第１画像に含まれる前記所定のオブジェクトであって、実空間を移動中の前記オブジェクトの実空間における向きが当該オブジェクトの実空間における移動方向と同一である前記所定のオブジェクトを特定するオブジェクト特定部、
前記取得部が取得した前記第１画像に対応する第１時刻における前記所定のオブジェクトの前記画像の座標系に対応する位置を示す第１位置と、当該第１時刻よりも後の第２時刻における前記所定のオブジェクトの前記座標系に対応する位置を示す第２位置とを特定するオブジェクト位置特定部、及び、
前記撮像装置が撮像した画像の平面である画像平面を仮想的に延長した平面と、前記撮像装置の光学中心から前記所定エリアに降ろした垂線との交点の、当該平面上への投影点を前記座標系における基準点とし、前記第１位置から前記基準点の位置に向かう方向を基準方向と特定し、前記オブジェクト位置特定部が特定した前記第１位置から前記第２位置に向かう方向を前記所定のオブジェクトの移動方向と特定し、特定した移動方向と前記基準方向とがなす角度に基づいて前記第１画像における前記所定のオブジェクトの向きを特定するオブジェクト向き特定部、
として機能させる特定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オブジェクトの向きを特定する特定装置、特定方法及び特定プログラムに関する。

【背景技術】

【0002】

従来、マーケティング等を目的として店内等の所定エリアに滞在する店員や客の行動を解析するにあたり、所定エリアを撮像した撮像画像から、人物を示すオブジェクトの位置を特定し、人物動線を生成する技術が用いられている。さらに、高度な行動分析を可能とするため、機械学習や深層学習を用いて、人物を示すオブジェクトの画像から、人物の向きを推定する技術が提案されている（例えば、非特許文献１を参照）。

【先行技術文献】

【非特許文献】

【0003】

【文献】Chen, Cheng, and Jean-Marc Odobez. "We are not contortionists: Coupled adaptive learning for head and body orientation estimation in surveillance video." Computer Vision and Pattern Recognition (CVPR), 2012.

【発明の概要】

【発明が解決しようとする課題】

【0004】

機械学習や深層学習による画像分類器を構築するためには、オブジェクトの画像に対して、オブジェクトの向き情報が教師データ（教師ラベル）として与えられた、大量の学習データが必要となる。図１１は、学習データの例を示す図である。例えば、画像に写るオブジェクトの向きとして、正面、左側面、背面及び右側面という４クラスを定義した場合、図１１に示すように、各クラスラベルのいずれかを教師ラベルとして有する大量の画像が必要となる。一方で、１枚１枚のオブジェクトの画像に対して、向き情報を人手で付与する場合、作業者が、画像に含まれるオブジェクトの向きを特定する必要がある。このため、向き情報を人手で付与する作業は、多大な労力を要する。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、画像に写るオブジェクトの向きを効率的に特定することができる特定装置、特定方法及び特定プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様に係る特定装置は、所定エリアを撮像する撮像装置が撮像した画像を取得する取得部と、前記取得部が取得した第１画像に含まれる所定のオブジェクトを特定するオブジェクト特定部と、前記取得部が取得した前記第１画像に対応する第１時刻における前記所定のオブジェクトの位置を示す第１位置と、当該第１時刻とは異なる時刻である第２時刻における前記所定のオブジェクトの位置を示す第２位置とを特定するオブジェクト位置特定部と、前記オブジェクト位置特定部が特定した前記第１位置及び前記第２位置に基づいて前記第１画像における前記所定のオブジェクトの向きを特定するオブジェクト向き特定部と、を備える。

【0007】

前記取得部は、前記所定のオブジェクトの時刻ごとの位置を示す動線情報を取得し、前記オブジェクト位置特定部は、前記取得部が取得した前記第１画像に基づいて前記第１時刻における前記所定のオブジェクトの位置を示す前記第１位置を特定し、前記動線情報に基づいて、前記第１時刻とは異なる時刻である前記第２時刻における前記所定のオブジェクトの位置を示す第２位置を特定してもよい。

【0008】

前記オブジェクト位置特定部は、前記取得部が取得した前記第１画像に基づいて前記第１時刻における前記所定のオブジェクトの位置を示す前記第１位置を特定し、前記取得部が取得した前記第２時刻に撮像された第２画像に基づいて、前記第２時刻における前記所定のオブジェクトの位置を示す第２位置を特定してもよい。

【0009】

前記オブジェクト位置特定部は、前記第１位置から所定距離以上離れたオブジェクトの位置を前記第２位置として特定してもよい。
前記オブジェクト向き特定部は、前記第１位置と前記第２位置とに基づいて定められる前記所定のオブジェクトの移動方向と、前記第１画像において定められる基準方向とがなす角度に基づいて前記所定のオブジェクトの向きを特定してもよい。

【0010】

前記オブジェクト向き特定部は、前記第１位置から前記第１画像において定められる基準点の位置に向かう方向を前記基準方向として特定してもよい。
前記オブジェクト向き特定部は、前記撮像装置の画像平面を仮想的に延長した平面と、前記撮像装置の光学中心から前記所定エリアに降ろした垂線との交点の、当該平面上への投影点を前記基準点としてもよい。

【0011】

複数の角度範囲のそれぞれに、１つの前記オブジェクトの向きが関連付けられており、前記オブジェクト向き特定部は、前記所定のオブジェクトの向きを、前記角度が含まれる前記角度範囲に関連付けられている１つの前記オブジェクトの向きに特定してもよい。

【0012】

前記オブジェクト位置特定部は、前記取得部が取得した第１画像に関連する３つ以上の時刻のそれぞれにおける前記所定のオブジェクトの位置を特定し、前記オブジェクト向き特定部は、特定された３つ以上の時刻のそれぞれについて、当該時刻における前記所定のオブジェクトの位置に基づいて前記オブジェクトの移動方向を特定し、特定された３つ以上の時刻のそれぞれにおける前記オブジェクトの移動方向に基づいて前記所定のオブジェクトの向きを特定してもよい。

【0013】

複数の角度範囲のそれぞれに、１つの前記オブジェクトの向きが関連付けられており、前記オブジェクト向き特定部は、特定された３つ以上の時刻のそれぞれについて、当該時刻のそれぞれに対応する角度が含まれる前記角度範囲に関連付けられている１つの前記オブジェクトの向きを特定し、特定されたオブジェクトの向きが含まれる割合に基づいて、前記所定のオブジェクトの向きを特定してもよい。

【0014】

前記特定装置は、前記所定のオブジェクトの前記第１画像中の領域を特定するオブジェクト領域特定部と、前記オブジェクト領域特定部が特定した領域が示す画像と、前記オブジェクト向き特定部が特定した前記向きを示す向き情報とを、機械学習における学習データとして抽出する抽出部とをさらに備えてもよい。

【0015】

前記オブジェクト向き特定部は、前記第１位置と前記第２位置とに基づいて定められる前記所定のオブジェクトの移動方向と、前記第１画像において定められる基準方向とがなす角度に基づいて前記所定のオブジェクトの向きを特定し、前記抽出部は、前記角度が所定の範囲外に存在する場合、学習データを抽出しないように制御してもよい。
前記抽出部は、前記第１位置と、前記第１画像において定められる画像上の基準点との距離が所定値未満である場合に、学習データを抽出しないように制御してもよい。

【0016】

本発明の第２の態様に係る特定方法は、コンピュータが実行する、所定エリアを撮像する撮像装置が撮像した画像を取得するステップと、前記取得するステップにおいて取得された第１画像に含まれる所定のオブジェクトを特定するステップと、前記取得するステップにおいて取得された前記第１画像に対応する第１時刻における前記所定のオブジェクトの位置を示す第１位置と、当該第１時刻とは異なる時刻である第２時刻における前記所定のオブジェクトの位置を示す第２位置とを特定するステップと、特定された前記第１位置及び前記第２位置に基づいて前記第１画像における前記所定のオブジェクトの向きを特定するステップと、を備える。

【0017】

本発明の第３の態様に係る特定プログラムは、コンピュータを、所定エリアを撮像する撮像装置が撮像した画像を取得する取得部、前記取得部が取得した第１画像に含まれる所定のオブジェクトを特定するオブジェクト特定部、前記取得部が取得した前記第１画像に対応する第１時刻における前記所定のオブジェクトの位置を示す第１位置と、当該第１時刻とは異なる時刻である第２時刻における前記所定のオブジェクトの位置を示す第２位置とを特定するオブジェクト位置特定部、及び、前記オブジェクト位置特定部が特定した前記第１位置及び前記第２位置に基づいて前記第１画像における前記所定のオブジェクトの向きを特定するオブジェクト向き特定部、として機能させる。

【発明の効果】

【0018】

本発明によれば、画像に写るオブジェクトの向きを効率的に特定することができるという効果を奏する。

【図面の簡単な説明】

【0019】

【図1】本実施形態に係る学習データ生成装置の概要を示す図である。

【図2】本実施形態に係る学習データ生成装置の構成を示す図である。

【図3】所定距離を画像座標系での所定ピクセル数とした場合に第２位置を特定する例を示す図である。

【図4】撮像装置が撮像した第１画像が全方位画像である場合にオブジェクトの向きを特定する例について説明する図である。

【図5】撮像装置が撮像した第１画像が通常画像である場合にオブジェクトの向きを特定する例について説明する図である。

【図6】基準点を特定する例を示す図である。

【図7】オブジェクトの正面を撮像したものと推定されるオブジェクトに対してオブジェクトの向きが特定された例を示す図である。

【図8】オブジェクトの背面を撮像したものと推定されるオブジェクトに対してオブジェクトの向きが特定された例を示す図である。

【図9】第１画像に関連する３つ以上の時刻のそれぞれにおけるオブジェクトの位置を特定した例を示す図である。

【図10】本実施形態に係る学習データ生成装置が第１画像を取得してから学習データを抽出するまでの処理の流れを示すフローチャートである。

【図11】学習データの例を示す図である。

【発明を実施するための形態】

【0020】

［学習データ生成装置１の概要］
図１は、本実施形態に係る学習データ生成装置１の概要を示す図である。学習データ生成装置１は、撮像装置（不図示）が撮像した所定エリアの撮像画像に含まれる所定のオブジェクトの画像と、所定のオブジェクトが当該画像に写る向きとを関連付けた、機械学習において用いられる学習データを生成するコンピュータであり、所定のオブジェクトの向きを特定する特定装置として機能する。

【0021】

ここで、所定エリアは、例えば店舗のフロアである。所定エリアには、動きを分析する対象の所定のオブジェクトとして、店員等の人物が存在する。なお、以下の説明では、所定のオブジェクトを単にオブジェクトという。

【0022】

図１に示すように、学習データ生成装置１は、撮像装置が撮像した所定エリアの撮像画像を取得し（図１の（１））、撮像画像に含まれるオブジェクトを特定する（図１の（２））。学習データ生成装置１は、撮像画像に対応する第１時刻におけるオブジェクトの位置を特定するとともに（図１の（３））、第１時刻と異なる第２時刻のオブジェクトの位置を特定する（図１の（４））。

【0023】

学習データ生成装置１は、特定した第１時刻のオブジェクトの位置と、第２時刻のオブジェクトの位置と、第１画像における基準方向との関係に基づいて、オブジェクトの向きを特定する（図１の（５））。このようにすることで、学習データ生成装置１は、撮像画像に写っているオブジェクトの移動方向を特定し、当該移動方向と基準方向との関係に基づいて、当該オブジェクトが当該画像に写る向きを高精度かつ効率的に特定することができる。

【0024】

その後、学習データ生成装置１は、撮像画像に写っているオブジェクトの画像と、特定したオブジェクトが当該画像に写る向きを示す向き情報とを、機械学習における学習データとして抽出する（図１の（６））。このようにすることで、学習データ生成装置１は、人手により学習データを生成する場合に比べて学習データを高速に生成することができる。

【0025】

［学習データ生成装置１の構成］
続いて、学習データ生成装置１の構成を説明する。図２は、本実施形態に係る学習データ生成装置１の構成を示す図である。図２に示すように、学習データ生成装置１は、記憶部１１と、制御部１２とを備える。

【0026】

記憶部１１は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を含む記憶媒体である。記憶部１１は、制御部１２が実行するプログラムを記憶している。例えば、記憶部１１は、学習データ生成装置１を、取得部１２１、オブジェクト特定部１２２、オブジェクト位置特定部１２３、オブジェクト領域特定部１２４、オブジェクト向き特定部１２５、及び抽出部１２６として機能させる学習データ生成プログラムを記憶している。学習データ生成プログラムは、学習データ生成装置１を、取得部１２１、オブジェクト特定部１２２、オブジェクト位置特定部１２３、オブジェクト領域特定部１２４、オブジェクト向き特定部１２５として機能させるオブジェクト向き特定プログラムを含んでいてもよい。

【0027】

また、記憶部１１は、所定エリアを撮像する撮像装置が撮像した一以上の画像を記憶する。撮像装置は、例えば、所定エリアの天井等に設置されたカメラであり、所定エリアの上方から、真下方向や斜め下方向を撮像することにより画像を生成する。複数の撮像画像のそれぞれには、画像の撮像時刻が関連付けられている。撮像画像としては、例えば、所定エリアの天井等に設置された全方位カメラにより生成された全方位画像や一般的なカメラにより生成された画像が挙げられる。本実施形態では、一般的なカメラにより撮像された画像を通常画像という。

【0028】

また、記憶部１１は、所定エリアを撮像した一以上の撮像画像に基づいて生成された、所定エリアにおけるオブジェクトの時刻ごとの位置を示す動線情報が一以上記憶されている。動線情報は、時刻と、当該時刻におけるオブジェクトの所定エリアにおける位置を示す位置情報とを関連付けた情報である。動線情報に含まれている時刻は、所定エリアを撮像した一以上の撮像画像のそれぞれに関連付けられている撮像時刻のいずれかに対応しているものとする。動線情報には、少なくとも２つの時刻のそれぞれに対応する位置情報が含まれているものとする。

【0029】

ここで、動線情報に含まれる位置情報は、例えば、撮像画像における位置であるローカル位置（例えば、画像座標系）を示すものとする。なお、ローカル位置とグローバル位置（例えば、世界座標系）との対応関係が記憶部１１に記憶されている場合は、動線情報に含まれる位置情報は、例えば、所定エリアの位置であるグローバル位置を示すものであってもよい。

【0030】

制御部１２は、例えばＣＰＵ（Central Processing Unit）である。制御部１２は、記憶部１１に記憶された学習データ生成プログラムを実行することにより、取得部１２１、オブジェクト特定部１２２、オブジェクト位置特定部１２３、オブジェクト領域特定部１２４、オブジェクト向き特定部１２５、及び抽出部１２６として機能する。

【0031】

取得部１２１は、所定エリアを撮像する撮像装置が撮像した画像を取得する。また、取得部１２１は、記憶部１１に記憶されている動線情報を取得する。ここで、取得部１２１が取得した画像を第１画像という。

【0032】

オブジェクト特定部１２２は、取得部１２１が取得した第１画像に含まれているオブジェクトを特定する。具体的には、オブジェクト特定部１２２は、取得部１２１が取得した動線情報のうち、第１画像に関連付けられている撮像時刻に対応する時刻を含む動線情報を特定することにより、取得部１２１が取得した第１画像に含まれているオブジェクトを特定する。

【0033】

なお、動線情報には、店員や客といったオブジェクトの属性を示す属性情報が関連付けられていてもよい。オブジェクト特定部１２２は、例えば学習データ生成装置１のユーザからオブジェクトの属性を受け付けてもよい。そして、オブジェクト特定部１２２は、受け付けた属性を有する動線情報を特定することにより、受け付けた属性に対応するオブジェクトのみを特定してもよい。

【0034】

オブジェクト位置特定部１２３は、取得部１２１が取得した第１画像に対応する撮像時刻である第１時刻におけるオブジェクトの位置と、当該第１時刻とは異なる時刻である第２時刻におけるオブジェクトの位置とを特定する。ここで、第２時刻は、第１時刻よりも前の時刻であるものとする。また、第１時刻におけるオブジェクトの位置を第１位置、第２時刻におけるオブジェクトの位置を第２位置ともいう。

【0035】

オブジェクト位置特定部１２３は、取得部１２１が取得した第１画像に基づいて、第１位置を特定する。例えば、オブジェクト位置特定部１２３は、第１画像に関連付けられている撮像時刻に対応する時刻を含む動線情報を参照し、当該時刻に関連付けられている位置情報を特定することにより、第１画像に対応する第１位置を特定する。

【0036】

オブジェクト位置特定部１２３は、第１画像に関連付けられている撮像時刻に対応する時刻を含む動線情報に基づいて、第２時刻における所定のオブジェクトの位置を示す第２位置を特定する。ここで、オブジェクト位置特定部１２３は、第１位置から所定距離以上離れたオブジェクトの位置を第２位置として特定してもよい。

【0037】

所定距離は、例えば、撮像画像の座標系である画像座標系での距離（例えば、ピクセル単位）、又は、所定エリアの座標系である世界座標系での距離（例えば、メートル単位）に基づいて定められる。図３は、所定距離を画像座標系での所定ピクセル数（例えば５０ピクセル）とした場合に第２位置を特定する例を示す図である。ここで、第１画像に関連付けられている撮像時刻を時刻ｔとする。図３に示す例では、時刻ｔの１フレーム前、２フレーム前の時刻である時刻ｔ－１及び時刻ｔ－２では、時刻ｔにおけるオブジェクト位置に対する距離が所定ピクセル未満であり、時刻ｔの３フレーム前の時刻である時刻ｔ－３で初めて当該距離が所定ピクセル以上となる。したがって、オブジェクト位置特定部１２３は、時刻ｔ－３に対応する位置を第２位置として特定する。

【0038】

オブジェクトの移動軌跡は、実際にはほぼ静止している場合でも、足元位置が若干移動する場合がある。これに対して、オブジェクト位置特定部１２３は、第１位置から所定距離以上離れたオブジェクトの位置を第２位置として特定することにより、オブジェクトが実際に移動したときの移動前の位置を第２位置として特定することができる。これにより、学習データ生成装置１は、オブジェクトの移動方向の特定精度を高めることができる。

【0039】

なお、オブジェクト位置特定部１２３は、取得部１２１が取得した第１画像の画像解析を行うことにより、第１位置を特定してもよい。また、取得部１２１が、第１画像に関連付けられている撮像時刻としての第１時刻とは異なる撮像時刻である第２時刻に撮像された撮像画像を第２画像として取得してもよい。そして、オブジェクト位置特定部１２３が、取得部１２１が取得した第２画像に基づいて第２位置を特定してもよい。例えば、オブジェクト位置特定部１２３は、取得部１２１が取得した第２画像の画像解析を行うことにより、第２位置を特定してもよい。この場合において、オブジェクト位置特定部１２３は、後述のオブジェクト領域特定部１２４が特定したオブジェクト領域に基づいて第１位置及び第２位置を特定してもよい。例えば、オブジェクト位置特定部１２３は、オブジェクト領域の中心点の位置を、オブジェクトの位置としてもよい。また、オブジェクト位置特定部１２３は、後述するオブジェクトに対応する三次元モデルを構成する点群のうち、一点（例えば、オブジェクトが人物である場合は、足元位置）を特定し、当該点の画像上への投影点の位置をオブジェクトの位置としてもよい。このようにすることで、学習データ生成装置１は、動線情報を用いることなく第１位置及び第２位置を特定することができる。

【0040】

オブジェクト領域特定部１２４は、オブジェクトの第１画像中の領域であるオブジェクト領域を特定する。例えば、記憶部１１に、第１画像と、第１画像から予め抽出したオブジェクト領域とを関連付けて記憶させておき、オブジェクト領域特定部１２４は、第１画像に関連付けられているオブジェクト領域を記憶部１１から取得することにより、オブジェクト領域を特定する。

【0041】

また、オブジェクト領域特定部１２４は、オブジェクト位置特定部１２３が特定した第１画像中のオブジェクトの位置に、当該オブジェクトに対応する三次元モデルを仮想的に配置した場合に、撮像装置が撮像した画像に含まれる三次元モデルに対応する領域を算出することにより、オブジェクト領域を特定してもよい。具体的には、記憶部１１に、三次元モデルを構成する点群を示す点群情報と、撮像装置の投影パラメータとを記憶させておく。そして、オブジェクト領域特定部１２４は、記憶部１１から当該点群情報と当該パラメータとを取得し、三次元モデルを仮想的に配置した場合に、当該点群情報が示す点群の少なくとも一部について、当該投影パラメータに基づいて、撮像装置が撮像する画像上への投影点を算出し、当該投影点の点群を近似する多角形の輪郭領域をオブジェクト領域として特定する。

【0042】

また、オブジェクト領域特定部１２４は、特定した輪郭領域を内包する矩形領域をオブジェクト領域として特定してもよい。オブジェクト領域特定部１２４は、特定した輪郭領域を内包する複数の矩形領域のうち、当該矩形の面積が相対的に小さい矩形領域をオブジェクト領域として特定してもよい。

【0043】

また、オブジェクト領域特定部１２４は、撮像装置が全方位画像を撮像する撮像装置である場合に、矩形領域に対応する一点と、当該撮像装置が撮像した画像の中心とを通る直線と、全方位画像に対して予め定められた基準軸に対応する直線とがなす角度に基づいて、矩形領域の回転成分を算出してもよい。そして、オブジェクト領域特定部１２４は、算出した回転成分を有する矩形領域のうち、面積が相対的に小さい矩形領域をオブジェクト領域として特定してもよい。

【0044】

オブジェクト向き特定部１２５は、オブジェクト位置特定部１２３が特定した第１時刻におけるオブジェクトの位置を示す第１位置と、第２時刻におけるオブジェクトの位置を示す第２位置とに基づいて、第１画像におけるオブジェクトの向きを特定する。

【0045】

以下、図４～図６を参照して、オブジェクト向き特定部１２５がオブジェクトの向きを特定する処理の詳細について説明する。図４は、撮像装置が撮像した第１画像が全方位画像である場合にオブジェクトの向きを特定する例について説明する図である。図５は、撮像装置が撮像した第１画像が通常画像である場合にオブジェクトの向きを特定する例について説明する図である。図６は、基準点を特定する例を示す図である。

【0046】

オブジェクト向き特定部１２５は、オブジェクトの向きを特定するにあたり、移動中のオブジェクトの向きが移動方向と同一という前提を用いる。例えば、オブジェクトが前方に移動している場合、オブジェクトは前方を向いており、オブジェクトが左方向に移動している場合、オブジェクトは左方向を向いているものとする。

【0047】

オブジェクト向き特定部１２５は、第１位置から第１画像において定められる基準点の位置に向かう方向を基準方向として特定する。例えば、図４に示すように、撮像装置が撮像した画像が真下方向を撮像した画像である場合、基準点Ｐｂは、画像の中心位置であり、基準方向Ｄｂは、第１位置Ｐ１から基準点Ｐｂに向かう方向である。オブジェクト向き特定部１２５は、撮像装置が撮像した画像が真下方向を撮像した画像である場合、画像の中心位置を特定し、当該中心位置を基準点に特定する。なお、基準方向Ｄｂは、第２位置Ｐ２から基準点Ｐｂに向かう方向であってもよい。

【0048】

また、撮像装置が撮像した画像が真下方向を撮像した画像ではない場合、オブジェクト向き特定部１２５は、図６に示すように基準点Ｐｂを特定する。具体的には、撮像装置が撮像した画像が真下方向を撮像した画像ではない場合、オブジェクト向き特定部１２５は、図６に示すように、撮像装置の画像平面を仮想的に延長した平面と、撮像装置の光学中心から所定エリアに降ろした垂線との交点の、当該平面上への投影点を基準点Ｐｂとする。オブジェクト向き特定部１２５は、撮像装置が撮像した画像が真下方向を撮像した画像ではない場合、撮像装置の画像平面を仮想的に延長した平面と、撮像装置の光学中心から所定エリアに降ろした垂線との交点の、当該平面上への投影点を特定し、当該投影点を基準点に特定する。図６に示すように、撮像装置の設置角度が斜めであり、画像平面が光学中心の真下とならない場合、基準点Ｐｂは、図５に示すように画像平面（撮像平面）の外側となる場合がある。なお、撮像装置が撮像した画像が真下方向を撮像した画像である場合に、上記に従って特定した基準点は画像の中心位置となる。

【0049】

なお、基準点の位置を示す基準点情報を記憶部１１に予め記憶させておいてもよい。そして、オブジェクト向き特定部１２５が、記憶部１１に記憶されている基準点情報を参照し、基準点を特定してもよい。オブジェクト向き特定部１２５は、第１画像における第１位置から、特定した基準点に向かう方向を基準方向として特定する。

【0050】

なお、図５に示すように通常カメラの画像であり、画像平面において基準点がオブジェクト位置から大きく離れている場合、基準方向は真下方向に近似することができる。この場合には、基準方向を示す基準方向情報を記憶部１１に予め記憶させておき、オブジェクト向き特定部１２５が、記憶部１１に記憶されている基準方向情報を参照し、基準方向を特定してもよい。

【0051】

オブジェクト向き特定部１２５は、第１位置と第２位置とに基づいて定められるオブジェクトの移動方向を特定する。オブジェクト向き特定部１２５は、第１位置を示す座標成分から第２位置を示す座標成分を減算することにより、オブジェクトの移動方向を特定する。例えば、オブジェクト向き特定部１２５は画像上の位置を示す画像座標系に対応する第１位置の座標成分から第２位置の座標成分を減算することにより、オブジェクトの移動方向を特定する。なお、オブジェクト向き特定部１２５は、所定エリア上の位置を示す世界座標系に対応する第１位置の座標成分から第２位置の座標成分を減算することにより、オブジェクトの移動方向を特定してもよい。

【0052】

なお、本実施形態では、第２時刻は、第１時刻よりも前の時刻であるものとし、オブジェクト向き特定部１２５が、第１位置を示す座標成分から第２位置を示す座標成分を減算することにより、オブジェクトの移動方向を特定したが、これに限らない。第２時刻は、第１時刻よりも後の時刻であってもよい。この場合、オブジェクト向き特定部１２５は、第２位置を示す座標成分から第１位置を示す座標成分を減算することにより、オブジェクトの移動方向を特定してもよい。

【0053】

オブジェクト向き特定部１２５は、特定したオブジェクトの移動方向と、第１画像において定められる基準方向とがなす角度に基づいてオブジェクトの画像に写る向きを特定する。図４及び図５に示す例では、オブジェクト向き特定部１２５は、第２位置Ｐ２から第１位置Ｐ１に向かう方向をオブジェクトの移動方向Ｄｍとする。そして、オブジェクト向き特定部１２５は、移動方向Ｄｍと、基準方向Ｄｂとがなす角度θをオブジェクトの向きを示す向き情報とする。オブジェクト向き特定部１２５は、移動方向Ｄｍと、基準方向Ｄｂとがなす複数の角度のうち、相対的に小さい角度θをオブジェクトの画像に写る向きを示す向き情報とする。

【0054】

オブジェクト向き特定部１２５は、図４及び図５のいずれの場合も、オブジェクトの左側面を撮像したものと推定されるオブジェクト領域画像に対して、θ＝約９０°というオブジェクト向き情報を自動的に付与することができる。

【0055】

図７は、オブジェクトの正面を撮像したものと推定されるオブジェクトに対してオブジェクトの向きが特定された例を示す図である。図８は、オブジェクトの背面を撮像したものと推定されるオブジェクトに対してオブジェクトの向きが特定された例を示す図である。図７に示す例では、θが約０°であり、図８に示す例では、θが約１８０°であることが確認できる。

【0056】

図７及び図８に示すように、基準点が画像内に存在する場合、画像上のオブジェクトの移動方向が同一方向（図７及び図８では、移動方向はいずれも右下方向）であっても、オブジェクトの向き（図７では正面、図８では背面）が異なる。これに対して、学習データ生成装置１は、移動体の移動方向と、基準方向とのなす角度を特定することにより、オブジェクトの画像に写る向きを精度良く特定することができる。

【0057】

なお、複数の角度範囲のそれぞれには、１つのオブジェクトの向きが関連付けられていてもよい。例えば、θが０°±α、９０°±α、１８０°±α、２７０°±αのそれぞれの範囲に、オブジェクトの向きとして、正面、左側面、背面、右側面の４つのクラスが関連付けられていてもよい。そして、オブジェクト向き特定部１２５は、オブジェクトの向きを、角度θが含まれる角度範囲に関連付けられている１つのオブジェクトの向き（クラス）に特定してもよい。また、オブジェクト向き特定部１２５は、オブジェクトの向きを示す向き情報として、オブジェクトの向きに対応する教師データのラベル値を特定してもよい。例えば、正面クラスのラベル値を０、左側面クラスのラベル値を１、背面クラスのラベル値を２、右側面クラスのラベル値を３とし、オブジェクト向き特定部１２５が、特定したオブジェクトの向きに対応するラベル値を特定してもよい。教師データのラベル値として離散値を付与することで、機械学習における分類問題（例えば、上記例では４クラス）として学習させることができる。

【0058】

また、オブジェクト位置特定部１２３は、取得部１２１が取得した第１画像に関連する３つ以上の時刻のそれぞれにおけるオブジェクトの位置を特定してもよい。そして、オブジェクト向き特定部１２５は、特定された３つ以上の時刻のそれぞれについて、当該時刻におけるオブジェクトの位置に基づいてオブジェクトの移動方向を特定し、特定された３つ以上の時刻のそれぞれにおけるオブジェクトの移動方向に基づいてオブジェクトの向きを特定してもよい。

【0059】

この場合、オブジェクト向き特定部１２５は、特定された３つ以上の時刻のそれぞれについて、当該時刻のそれぞれに対応するオブジェクトの移動方向と、基準方向とがなす角度を特定する。図９は、第１画像に関連する３つ以上の時刻のそれぞれにおけるオブジェクトの位置を特定した例を示す図である。図９に示す例では、第１画像に関連付けられている撮像時刻（時刻ｔ１）に対応するオブジェクトの位置である第１位置Ｐ１の他に、撮像時刻よりも前の時刻に対応する第２位置Ｐ２、第３位置Ｐ３、第４位置Ｐ４が特定された例を示す。ここで、第２位置Ｐ２、第３位置Ｐ３、及び第４位置Ｐ４は、撮像時刻の１フレーム前、２フレーム前、及び３フレーム前の時刻に対応するオブジェクトの位置である。オブジェクト向き特定部１２５は、第２位置Ｐ２、第３位置Ｐ３、第４位置Ｐ４における移動方向のなす角度として、角度θ１、角度θ２、及び角度θ３を特定する。

【0060】

オブジェクト向き特定部１２５は、オブジェクトの向き情報として、角度θ１、θ２、及びθ３の平均値や中央値を用いてもよい。また、オブジェクト向き特定部１２５は、上述したように、特定された３つ以上の時刻のそれぞれについて、当該時刻のそれぞれに対応する角度が含まれる角度範囲に関連付けられている１つのオブジェクトの向きを特定してもよい。そして、オブジェクト向き特定部１２５は、特定したオブジェクトの向きが含まれる割合に基づいて、オブジェクトの向きを特定してもよい。

【0061】

例えば、上述したように、正面クラスのラベル値を０、左側面クラスのラベル値を１、背面クラスのラベル値を２、右側面クラスのラベル値を３とした場合において、オブジェクト向き特定部１２５が、角度θ１、θ２、及びθ３に対して、ラベル値として０、０、１と特定した場合には、多数決によりオブジェクトの向きを示すラベル値を０に特定する。このようにすることで、オブジェクトの移動方向を精度良く特定し、当該移動方向に基づいてオブジェクトの向きを精度良く特定することができる。

【0062】

抽出部１２６は、オブジェクト領域特定部１２４が特定した領域が示す画像と、オブジェクト向き特定部１２５が特定したオブジェクトの向きを示す向き情報とを、機械学習における学習データとして抽出し、抽出した学習データを記憶部１１に記憶させる。ここで、機械学習には、深層学習が含まれるものとする。機械学習としては、サポートベクターマシン（Support Vector Machine）やＣＮＮ（Convolutional Neural Network）が含まれる。

【0063】

抽出部１２６は、オブジェクト向き特定部１２５が、角度θを示す角度情報、すなわち、連続値をオブジェクトの向きを示す向き情報として抽出する場合、抽出した学習データを、機械学習における回帰問題として学習させることができる。

【0064】

抽出部１２６は、角度θが所定の範囲外に存在する場合、当該角度θに対応する学習データを抽出しないように制御してもよい。例えば、機械学習において、上述した４クラスの分類問題として学習させる場合に、学習データ生成装置１は、正面と左側面の中間方向のような、明確にクラス分類するのが困難な画像を学習データから省くことで、学習を効率的に実施させることができる。

【0065】

また、オブジェクト向き特定部１２５が、第１画像に関連する３つ以上の時刻のそれぞれにおけるオブジェクトの位置に対応して複数の角度θ１、θ２、及びθ３をそれぞれ、０、０、１（上記の４クラス問題の場合）と離散化する場合、抽出部１２６は、離散値が含まれる割合が所定値未満の場合は、学習データを抽出しないように制御してもよい。例えば、抽出部１２６は、所定値を１００％に設定した場合、全ての離散値が同一の場合にのみ、学習データを抽出する。このようにすることでも、学習データ生成装置１は、明確にクラス分類するのが困難な画像を学習データから省くことで、学習を効率的に実施させることができる。

【0066】

また、抽出部１２６は、第１画像に対応する所定のオブジェクトの位置を示す第１位置と、当該第１画像において定められる画像上の基準点との距離が所定値未満である場合に、学習データを抽出しないように制御してもよい。第１画像上の基準点に近い位置では、オブジェクトを真上から撮像した画像となり、オブジェクトの向き推定には適していない。これに対して、学習データ生成装置１は、第１位置と、基準点との距離が所定値未満であり、オブジェクトを真上から撮像したような画像を抽出しないので、不要な学習を抑制することができる。

【0067】

［学習データ生成装置１における処理の流れ］
続いて、学習データ生成装置１における処理の流れについて説明する。図１０は、本実施形態に係る学習データ生成装置１が第１画像を取得してから学習データを抽出するまでの処理の流れを示すフローチャートである。なお、本フローチャートでは、オブジェクト位置の特定に動線情報を用い、かつ、オブジェクトの画像に写る向きを４つのクラスのいずれかに分類するときの処理の流れについて説明する。

【0068】

まず、取得部１２１は、第１画像を取得する（Ｓ１）。
続いて、オブジェクト特定部１２２は、第１画像に対応する動線情報を特定することにより、第１画像に含まれているオブジェクトを特定する（Ｓ２）。

【0069】

続いて、オブジェクト位置特定部１２３は、特定された動線情報に基づいて、第１画像に対応する撮像時刻である第１時刻におけるオブジェクトの位置である第１位置と、当該第１時刻とは異なる時刻である第２時刻におけるオブジェクトの位置である第２位置とを特定する（Ｓ３）。

【0070】

続いて、オブジェクト向き特定部１２５は、第１位置及び第２位置に基づいてオブジェクトの移動方向を特定する（Ｓ４）。
続いて、オブジェクト向き特定部１２５は、特定した移動方向と、第１画像における基準方向とのなす角度を特定し（Ｓ５）、特定した角度に基づいてオブジェクトの向きに対応するクラスを特定する（Ｓ６）。

【0071】

続いて、抽出部１２６は、オブジェクト向き特定部１２５がオブジェクトの向きに対応するクラスを特定できたか否かを判定する（Ｓ７）。抽出部１２６は、クラスを特定できたと判定すると、Ｓ８に処理を移し、クラスを特定できなかったと判定すると、本フローチャートに係る処理を終了する。

【0072】

続いて、抽出部１２６は、第１位置と、第１画像における基準点との距離が所定値以上であるか否かを判定する（Ｓ８）。抽出部１２６は、第１位置と基準点との距離が所定値以上であると判定すると、Ｓ９に処理を移し、第１位置と基準点との距離が所定値未満であると判定すると、本フローチャートに係る処理を終了する。なお、抽出部１２６は、Ｓ８に係る処理を、Ｓ３の直後等、Ｓ３からＳ８の処理が行われる間の任意のタイミングで実行してもよい。

【0073】

続いて、オブジェクト領域特定部１２４は、オブジェクトの第１画像中の領域であるオブジェクト領域を特定する（Ｓ９）。
続いて、抽出部１２６は、特定されたオブジェクト領域とオブジェクトの向きに対応するクラスとを関連付けた学習データを抽出する（Ｓ１０）。

【0074】

なお、本フローチャートにおいて、オブジェクト位置特定部１２３は、特定された動線情報に基づいてオブジェクトの位置を特定しているが、これに限らない。オブジェクト位置特定部１２３は、取得部１２１が取得した第１画像及び第２画像の少なくともいずれかに対して画像解析を行うことにより、オブジェクトの位置である第１位置及び第２位置の少なくともいずれかを特定するようにしてもよい。

【0075】

［本実施形態における効果］
以上説明したように、本実施形態に係る学習データ生成装置１は、所定エリアを撮像する撮像装置が撮像した第１画像に含まれる所定のオブジェクトを特定し、第１画像に対応する第１時刻における所定のオブジェクトの位置を示す第１位置と、当該第１時刻とは異なる時刻である第２時刻における所定のオブジェクトの位置を示す第２位置とを特定する。学習データ生成装置１は、特定した第１位置及び第２位置に基づいて第１画像における所定のオブジェクトの向きを特定する。このようにすることで、学習データ生成装置１は、人手によりオブジェクトの向きを特定する場合に比べて、オブジェクトの画像に写る向きを効率的に特定することができる。

【0076】

また、学習データ生成装置１は、第１位置と第２位置とに基づいて定められる所定のオブジェクトの移動方向と、第１画像において定められる基準方向とがなす角度に基づいて所定のオブジェクトの向きを特定する。このようにすることで、学習データ生成装置１は、オブジェクトの画像に写る向きを精度良く特定することができる。

【0077】

以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。

【0078】

例えば、上述の実施形態では、記憶部１１が、撮像装置が撮像した一以上の画像と、動線情報とを記憶し、取得部１２１が、記憶部１１に記憶されている画像及び動線情報を取得することとしたが、これに限らない。学習データ生成装置１とは異なる装置が、撮像装置が撮像した一以上の画像及び動線情報を記憶し、取得部１２１が、当該装置に記憶されている画像及び動線情報を取得してもよい。

【0079】

また、特に、装置の分散・統合の具体的な実施形態は以上に図示するものに限られず、その全部又は一部について、種々の付加等に応じて、又は、機能負荷に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

【符号の説明】

【0080】

１・・・学習データ生成装置、１１・・・記憶部、１２・・・制御部、１２１・・・取得部、１２２・・オブジェクト特定部、１２３・・・オブジェクト位置特定部、１２４・・・オブジェクト領域特定部、１２５・・・オブジェクト向き特定部、１２６・・・抽出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】