特許 7541635 学習データ生成プログラム、学習データ生成装置及び学習データ生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-21

(45)【発行日】2024-08-29

(54)【発明の名称】学習データ生成プログラム、学習データ生成装置及び学習データ生成方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240822BHJP

【ＦＩ】

G06T7/00 350B

【請求項の数】 8

(21)【出願番号】P 2020142015

(22)【出願日】2020-08-25

(65)【公開番号】P2022037732

(43)【公開日】2022-03-09

【審査請求日】2023-07-19

(73)【特許権者】

【識別番号】506301140

【氏名又は名称】公立大学法人会津大学

(73)【特許権者】

【識別番号】000010098

【氏名又は名称】アルプスアルパイン株式会社

(74)【代理人】

【識別番号】100094525

【弁理士】

【氏名又は名称】土井 健二

(74)【代理人】

【識別番号】100094514

【弁理士】

【氏名又は名称】林 恒徳

(72)【発明者】

【氏名】趙 強福

(72)【発明者】

【氏名】富岡 洋一

(72)【発明者】

【氏名】蘇 凱

(72)【発明者】

【氏名】王 慧涛

(72)【発明者】

【氏名】チョウドリ エムディ インティサル

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特開２０１６－０７６０７３（ＪＰ，Ａ）

【文献】神村 吏、木谷 友哉，位置情報を用いた二輪車モーションセンシングデータへの正解データ自動ラベリング手法の一提案，情報処理学会，日本，情報処理学会，2013年10月17日，Vol.2013-DPS-157 No.6，p.1-6

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

撮像装置によって撮像された動画データに含まれる複数の画像データのうちの第１画像データから、複数の固定位置のそれぞれに対応する複数の部分画像データを抽出し、
前記第１画像データに対応する前記複数の部分画像データを出力し、
前記第１画像データに対応する前記複数の部分画像データのそれぞれに映る対象物の種類を示す第１識別情報の入力を受け付け、
前記複数の画像データのうちの前記第１画像データの後に撮像された第２画像データから、前記複数の固定位置のそれぞれに対応する複数の部分画像データを抽出し、
前記第２画像データに対応する前記複数の部分画像データを、前記第２画像データに対応する前記複数の部分画像データのそれぞれの出力位置が、前記第１画像データにおける同一の固定位置に対応する前記複数の部分画像データのそれぞれの出力位置と一致するように出力し、
前記第２画像データに対応する前記複数の部分画像データのうちの少なくとも一部に映る対象物の種類を示す第２識別情報の入力を受け付ける、
処理をコンピュータに実行させることを特徴とする学習データ生成プログラム。

【請求項2】

請求項１において、
前記第１画像データから複数の部分画像データを抽出する処理では、前記複数の部分画像データのそれぞれのサイズが前記第１画像データを構成する各ピクセルよりも大きいサイズであって、かつ、前記複数の部分画像データのそれぞれのサイズが互いに同一のサイズになるように、前記第１画像データから前記複数の部分画像データの抽出を行う、
ことを特徴とする学習データ生成プログラム。

【請求項3】

請求項１において、
前記第２画像データに対応する前記複数の部分画像データを出力する処理では、前記第２画像データに対応する前記複数の部分画像データと、前記第１画像データにおける同一の固定位置に対応する前記第１識別情報とを対応付けて出力する、
ことを特徴とする学習データ生成プログラム。

【請求項4】

請求項１において、さらに、
前記第１画像データに対応する部分画像データごとに、各部分画像データにおける色情報と、前記撮像装置から各部分画像データに映る対象物までの距離情報とに対し、前記第１識別情報を付加することによって第１学習データを生成し、
前記第２画像データに対応する部分画像データごとに、各部分画像データにおける色情報と、前記撮像装置から各部分画像データに映る対象物までの距離情報とに対し、前記第２識別情報を付加することによって第２学習データを生成する、
処理をコンピュータに実行させることを特徴とする学習データ生成プログラム。

【請求項5】

請求項４において、
前記第２学習データを生成する処理では、
前記第２画像データに対応する部分画像データのうち、前記第２識別情報の入力を受け付けた部分画像データごとに、各部分画像データにおける色情報と、前記撮像装置から各部分画像データに映る対象物までの距離情報とに対し、前記第２識別情報を付加することによって前記第２学習データの生成を行い、
前記第２画像データに対応する部分画像データのうち、前記第２識別情報の入力を受け付けなかった部分画像データごとに、各部分画像データにおける色情報と、前記撮像装置から各部分画像データに映る対象物までの距離情報とに対し、前記第１識別情報のうち、各部分画像データと同一の固定位置に対応する部分画像データに対応する前記第１識別情報を付加することによって前記第２学習データの生成を行う、
ことを特徴とする学習データ生成プログラム。

【請求項6】

請求項４において、さらに、
前記複数の固定位置ごとに、各固定位置に対応する１以上の座標を特定し、
前記第１画像データに対応する前記複数の部分画像データごとに、各部分画像データに対応する前記１以上の座標と前記第１識別情報とを含む第３学習データを生成し、
前記第２画像データに対応する前記複数の部分画像データごとに、各部分画像データに対応する前記１以上の座標と前記第２識別情報とを含む第４学習データを生成する、
処理をコンピュータに実行させることを特徴とする学習データ生成プログラム。

【請求項7】

撮像装置によって撮像された動画データに含まれる複数の画像データのうちの第１画像データから、複数の固定位置のそれぞれに対応する複数の部分画像データを抽出する部分画像抽出部と、
前記第１画像データに対応する前記複数の部分画像データを出力する画像出力部と、
前記第１画像データに対応する前記複数の部分画像データのそれぞれに映る対象物の種類を示す第１識別情報の入力を受け付ける入力受付部と、を有し、
前記部分画像抽出部は、さらに、前記複数の画像データのうちの前記第１画像データの後に撮像された第２画像データから、前記複数の固定位置のそれぞれに対応する複数の部分画像データを抽出し、
前記画像出力部は、さらに、前記第２画像データに対応する前記複数の部分画像データを、前記第２画像データに対応する前記複数の部分画像データのそれぞれの出力位置が、前記第１画像データにおける同一の固定位置に対応する前記複数の部分画像データのそれぞれの出力位置と一致するように出力し、
前記入力受付部は、さらに、前記第２画像データに対応する前記複数の部分画像データのうちの少なくとも一部に映る対象物の種類を示す第２識別情報の入力を受け付ける、
ことを特徴とする学習データ生成装置。

【請求項8】

撮像装置によって撮像された動画データに含まれる複数の画像データのうちの第１画像データから、複数の固定位置のそれぞれに対応する複数の部分画像データを抽出し、
前記第１画像データに対応する前記複数の部分画像データを出力し、
前記第１画像データに対応する前記複数の部分画像データのそれぞれに映る対象物の種類を示す第１識別情報の入力を受け付け、
前記複数の画像データのうちの前記第１画像データの後に撮像された第２画像データから、前記複数の固定位置のそれぞれに対応する複数の部分画像データを抽出し、
前記第２画像データに対応する前記複数の部分画像データを、前記第２画像データに対応する前記複数の部分画像データのそれぞれの出力位置が、前記第１画像データにおける同一の固定位置に対応する前記複数の部分画像データのそれぞれの出力位置と一致するように出力し、
前記第２画像データに対応する前記複数の部分画像データのうちの少なくとも一部に映る対象物の種類を示す第２識別情報の入力を受け付ける、
処理をコンピュータに実行させることを特徴とする学習データ生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習データ生成プログラム、学習データ生成装置及び学習データ生成方法に関する。

【背景技術】

【0002】

近年、高齢者の生活活動を支援することを目的とした電動カート（以下、シニアカーとも呼ぶ）の利用が広がっている。高齢者は、例えば、シニアカーに乗車して買い物等の外出を行うことで、外出に伴う身体への負担を軽減させることが可能になる。

【0003】

ここで、上記のようなシニアカーは、例えば、悪路等の影響によって走行中に転倒する可能性がある。そして、高齢者は、この場合、自力で立ち上がることができない可能性がある。

【0004】

そのため、シニアカーは、例えば、走行経路上において転倒の原因となる障害物の存在を検出し、その検出した障害物を避けながら走行を行う。これにより、シニアカーは、転倒のリスクを自動的に回避することが可能になる（特許文献１乃至２及び非特許文献１乃至２を参照）。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１６－１８６７０３号公報

【文献】特開２０１８－１５６４０８号公報

【非特許文献】

【0006】

【文献】Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi, “You Only Look Once: Unified, Real-Time Object Detection”, arXiv:1506.02640v5.

【文献】Vijay Badrinarayanan, Alex Kendall, Roberto Cipolla, “SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation”, arXiv:1511.00561v3.

【発明の概要】

【発明が解決しようとする課題】

【0007】

上記のようなシニアカーにおいて、走行中における障害物の検知は、例えば、カメラ等の撮像装置によって撮像された画像データと、その画像データに含まれる障害物の位置及び種類を示す情報（以下、ラベル情報とも呼ぶ）とを含む複数の学習データを学習した学習モデルによって行われる。そのため、作業者は、学習モデルの生成を行う前に、学習モデルの生成に要する数の学習データを予め生成する必要がある。

【0008】

しかしながら、上記のような学習データの生成を行う場合、作業者は、例えば、各画像データに対応するラベル情報の入力を手作業によって行う必要がある。そのため、学習モデルの生成に必要な学習データの数等によって、学習データの生成に要する作業者の作業負担が膨大になる場合がある。

【0009】

そこで、本発明の目的は、学習データの生成に要する作業負担を抑えることを可能とする学習データ生成プログラム、学習データ生成装置及び学習データ生成方法を提供することにある。

【課題を解決するための手段】

【0010】

上記目的を達成するための本発明における学習データ生成プログラムは、撮像装置によって撮像された動画データに含まれる複数の画像データのうちの第１画像データから、複数の固定位置のそれぞれに対応する複数の部分画像データを抽出し、前記第１画像データに対応する前記複数の部分画像データを出力し、前記第１画像データに対応する前記複数の部分画像データのそれぞれに映る対象物の種類を示す第１識別情報の入力を受け付け、前記複数の画像データのうちの前記第１画像データの後に撮像された第２画像データから、前記複数の固定位置のそれぞれに対応する複数の部分画像データを抽出し、前記第２画像データに対応する前記複数の部分画像データを、前記第２画像データにおけるに対応する前記複数の部分画像データのそれぞれの出力位置が、前記第１画像データにおける同一の固定位置に対応する前記複数の部分画像データのそれぞれの出力位置と一致するように出力し、前記第２画像データに対応する前記複数の部分画像データのうちの少なくとも一部に映る対象物の種類を示す第２識別情報の入力を受け付ける、処理をコンピュータに実行させることを特徴とする。

【0011】

また、上記目的を達成するための本発明における学習データ生成プログラムは、一つの態様では、前記複数の部分画像データのそれぞれのサイズが前記第１画像データを構成する各ピクセルよりも大きいサイズであって、かつ、前記複数の部分画像データのそれぞれのサイズが互いに同一のサイズになるように、前記第１画像データから前記複数の部分画像データの抽出を行う、ことを特徴とする。

【0012】

また、上記目的を達成するための本発明における学習データ生成プログラムは、一つの態様では、前記第２画像データに対応する前記複数の部分画像データと、前記第１画像データにおける同一の固定位置に対応する前記第１識別情報とを対応付けて出力する、ことを特徴とする。

【0013】

また、上記目的を達成するための本発明における学習データ生成プログラムは、一つの態様では、前記第１画像データに対応する部分画像データごとに、各部分画像データにおける色情報と、前記撮像装置から各部分画像データに映る対象物までの距離情報とに対し、前記第１識別情報を付加することによって第１学習データを生成し、前記第２画像データに対応する部分画像データごとに、各部分画像データにおける色情報と、前記撮像装置から各部分画像データに映る対象物までの距離情報とに対し、前記第２識別情報を付加することによって第２学習データを生成する、処理をコンピュータに実行させることを特徴とする。

【0014】

また、上記目的を達成するための本発明における学習データ生成プログラムは、一つの態様では、前記第２画像データに対応する部分画像データのうち、前記第２識別情報の入力を受け付けた部分画像データごとに、各部分画像データにおける色情報と、前記撮像装置から各部分画像データに映る対象物までの距離情報とに対し、前記第２識別情報を付加することによって前記第２学習データの生成を行い、前記第２画像データに対応する部分画像データのうち、前記第２識別情報の入力を受け付けなかった部分画像データごとに、各部分画像データにおける色情報と、前記撮像装置から各部分画像データに映る対象物までの距離情報とに対し、前記第１識別情報のうち、各部分画像データと同一の固定位置に対応する部分画像データに対応する前記第１識別情報を付加することによって前記第２学習データの生成を行う、ことを特徴とする。

【0015】

また、上記目的を達成するための本発明における学習データ生成プログラムは、一つの態様では、前記複数の固定位置ごとに、各固定位置に対応する１以上の座標を特定し、前記第１画像データに対応する前記複数の部分画像データごとに、各部分画像データに対応する前記１以上の座標と前記第１識別情報とを含む第３学習データを生成し、前記第２画像データに対応する前記複数の部分画像データごとに、各部分画像データに対応する前記１以上の座標と前記第２識別情報とを含む第４学習データを生成する、処理をコンピュータに実行させることを特徴とする。

【0016】

また、上記目的を達成するための本発明における学習データ生成装置は、撮像装置によって撮像された動画データに含まれる複数の画像データのうちの第１画像データから、複数の固定位置のそれぞれに対応する複数の部分画像データを抽出する部分画像抽出部と、前記第１画像データに対応する前記複数の部分画像データを出力する画像出力部と、前記第１画像データに対応する前記複数の部分画像データのそれぞれに映る対象物の種類を示す第１識別情報の入力を受け付ける入力受付部と、を有し、前記部分画像抽出部は、さらに、前記複数の画像データのうちの前記第１画像データの後に撮像された第２画像データから、前記複数の固定位置のそれぞれに対応する複数の部分画像データを抽出し、前記画像出力部は、さらに、前記第２画像データに対応する前記複数の部分画像データを、前記第２画像データにおけるに対応する前記複数の部分画像データのそれぞれの出力位置が、前記第１画像データにおける同一の固定位置に対応する前記複数の部分画像データのそれぞれの出力位置と一致するように出力し、前記入力受付部は、さらに、前記第２画像データに対応する前記複数の部分画像データのうちの少なくとも一部に映る対象物の種類を示す第２識別情報の入力を受け付ける、ことを特徴とする。

【0017】

また、上記目的を達成するための本発明における学習方法は、撮像装置によって撮像された動画データに含まれる複数の画像データのうちの第１画像データから、複数の固定位置のそれぞれに対応する複数の部分画像データを抽出し、前記第１画像データに対応する前記複数の部分画像データを出力し、前記第１画像データに対応する前記複数の部分画像データのそれぞれに映る対象物の種類を示す第１識別情報の入力を受け付け、前記複数の画像データのうちの前記第１画像データの後に撮像された第２画像データから、前記複数の固定位置のそれぞれに対応する複数の部分画像データを抽出し、前記第２画像データに対応する前記複数の部分画像データを、前記第２画像データにおけるに対応する前記複数の部分画像データのそれぞれの出力位置が、前記第１画像データにおける同一の固定位置に対応する前記複数の部分画像データのそれぞれの出力位置と一致するように出力し、前記第２画像データに対応する前記複数の部分画像データのうちの少なくとも一部に映る対象物の種類を示す第２識別情報の入力を受け付ける、処理をコンピュータに実行させることを特徴とする。

【発明の効果】

【0018】

本発明における学習データ生成プログラム、学習データ生成装置及び学習データ生成方法によれば、学習データの生成に要する作業負担を抑えることが可能になる。

【図面の簡単な説明】

【0019】

【図1】図１は、第１の実施の形態における情報処理装置１の構成例を示す図である。

【図2】図２は、第１の実施の形態における学習データ生成処理の概略について説明する図である。

【図3】図３は、第１の実施の形態における学習データ生成処理の概略について説明する図である。

【図4】図４は、第１の実施の形態における学習データ生成処理の詳細を説明するフローチャート図である。

【図5】図５は、第１の実施の形態における学習データ生成処理の詳細を説明するフローチャート図である。

【図6】図６は、学習データ生成処理の具体例について説明する図である。

【図7】図７は、ラベル情報の出力結果について説明する図である。

【図8】図８は、ラベル情報の出力結果について説明する図である。

【発明を実施するための形態】

【0020】

以下、図面を参照して本発明の実施の形態について説明する。しかしながら、かかる実施の形態例が、本発明の技術的範囲を限定するものではない。

【0021】

初めに、第１の実施の形態における情報処理装置１（以下、学習データ生成装置１とも呼ぶ）の構成例について説明を行う。図１は、第１の実施の形態における情報処理装置１の構成例を示す図である。

【0022】

情報処理装置１は、コンピュータ装置であって、例えば、汎用的なＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）である。そして、情報処理装置１は、例えば、シニアカーに搭載される学習モデルの生成に用いる学習データを生成する処理（以下、単に学習データ生成処理とも呼ぶ）を行う。

【0023】

情報処理装置１は、汎用的なコンピュータ装置のハードウエア構成を有し、例えば、図１に示すように、プロセッサであるＣＰＵ１０１と、メモリ１０２と、通信インタフェース１０３と、記憶媒体１０４とを有する。各部は、バス１０５を介して互いに接続される。

【0024】

記憶媒体１０４は、例えば、学習データ生成処理を行うためのプログラム（図示しない）を記憶するプログラム格納領域（図示しない）を有する。

【0025】

また、記憶媒体１０４は、例えば、学習データ生成処理を行う際に用いられる情報を記憶する記憶部１１０（以下、記憶領域１１０とも呼ぶ）を有する。なお、記憶媒体１０４は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）であってよい。

【0026】

ＣＰＵ１０１は、記憶媒体１０４からメモリ１０２にロードされたプログラムを実行して学習処理を行う。

【0027】

通信インタフェース１０３は、例えば、インターネット網等のネットワークＮＷを介して操作端末２と通信を行う。なお、情報処理装置１と操作端末２との間における情報の移動は、例えば、作業者がＵＳＢメモリ等の記憶媒体等を用いることによって手動で行うものであってもよい。

【0028】

操作端末２は、例えば、作業者が学習データの生成を行う際に用いるコンピュータ装置であって、例えば、汎用的なＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）である。

【0029】

［第１の実施の形態の概略］
次に、第１の実施の形態における学習処理の概略について説明を行う。図２は、第１の実施の形態における学習処理の概略について説明する図である。

【0030】

情報処理装置１の画像取得部１１１は、例えば、学習モデルの生成に用いる画像データを取得する。具体的に、画像取得部１１１は、例えば、作業者によって予め記憶領域１１０に記憶された動画データ（図示しない撮像装置によって予め撮像された動画データ）を構成する複数の画像データを取得するものであってよい。

【0031】

そして、情報処理装置１の部分画像抽出部１１２は、画像取得部１１１が取得した画像データのうちの１つの画像データ（以下、第１画像データとも呼ぶ）から、第１画像データにおける複数の固定位置のそれぞれに対応する複数の部分画像データ（以下、第１部分画像データとも呼ぶ）を抽出する。

【0032】

続いて、情報処理装置１の画像出力部１１３は、例えば、部分画像抽出部１１２が抽出した複数の第１部分画像データを操作端末２に出力する。

【0033】

その後、情報処理装置の入力受付部１１４は、画像出力部１１３が出力した複数の第１部分画像データのそれぞれに映る対象物の種類を示す識別情報（以下、第１識別情報とも呼ぶ）の入力を受け付ける。

【0034】

具体的に、作業者は、例えば、複数の第１部分画像データが操作端末２に出力されたことに応じて、複数の第１部分画像データのそれぞれに対応する第１識別情報（ラベル情報）の入力を行う。

【0035】

そして、学習データ生成部１１５は、部分画像抽出部１１２が抽出した複数の第１部分画像データごとに、各部分画像データと、入力受付部１１４が入力を受け付けた各部分画像データに対応する第１識別情報とを含む学習データ（以下、第１学習データとも呼ぶ）を生成する。

【0036】

さらに、学習データ出力部１１６は、例えば、学習データ生成部１１５が生成した複数の第１学習データを操作端末２に出力する。

【0037】

次に、部分画像抽出部１１２は、画像取得部１１１が取得した画像データのうち、第１画像データの後の画像データ（以下、第２画像データとも呼ぶ）から、第２画像データにおける複数の固定位置のそれぞれに対応する複数の部分画像データ（以下、第２部分画像データとも呼ぶ）を抽出する。

【0038】

具体的に、部分画像抽出部１１２は、例えば、第１画像データの次に撮像された第２画像データから、複数の第２部分画像データの抽出を行う。

【0039】

続いて、画像出力部１１３は、例えば、部分画像抽出部１１２が抽出した複数の第２部分画像データを操作端末２に出力する。

【0040】

具体的に、画像出力部１１３は、例えば、部分画像抽出部１１２が抽出した複数の第２部分画像データのそれぞれを、各部分画像データの出力位置が、部分画像抽出部１１２が抽出した複数の第１部分画像データのうちの同一の固定位置に対応する部分画像データの出力位置と一致するように出力する。

【0041】

さらに具体的に、画像出力部１１３は、例えば、部分画像抽出部１１２が抽出した複数の第２部分画像データのそれぞれを、第１画像データから抽出した複数の第１部分画像データのそれぞれに対応する第１識別情報（入力受付部１１４が入力を受け付けた第１識別情報）のそれぞれと対応付ける形で出力する。

【0042】

その後、入力受付部１１４は、画像出力部１１３が出力した複数の第２部分画像データのうちの少なくとも一部に映る対象物の種類を示す識別情報（以下、第２識別情報とも呼ぶ）の入力を受け付ける。

【0043】

具体的に、作業者は、例えば、複数の第２部分画像データのそれぞれが第１識別情報とともに出力されたことに応じて、複数の第２部分画像データのうち、各部分画像データとともに出力されている第１識別情報が各部分画像データに対応する識別情報として適切ではないものを特定する。言い換えれば、作業者は、複数の第２部分画像データのうち、同一の固定位置に対応する第１部分画像データと第２部分画像データとの間において、各部分画像データに映る対象物の種類が変わっているものを特定する。そして、作業者は、特定した第２部分画像データに対応する第２識別情報（第２部分画像データに対応する適切な識別情報）についての入力を行う。

【0044】

すなわち、例えば、第２画像データが第１画像データの直後の撮像された画像データである場合、第１部分画像データ及び第２画像データは、互いに類似した画像データの組合せであり、異なる部分が少ない画像データの組合せであると判断できる。

【0045】

そのため、情報処理装置１は、例えば、複数の第２部分画像データのそれぞれを、同一の固定位置に対応する第１部分画像データの第１識別情報と対応付ける形で出力する。そして、作業者は、例えば、複数の第２部分画像データとともに出力された第１識別情報のうち、第２部分画像データに対応する識別情報として適切ではない識別情報についてのみ変更を行う。

【0046】

その後、情報処理装置１は、記憶領域１１０に記憶された動画データを構成する他の画像データについても、各画像データを構成する複数の部分画像データのそれぞれを、各画像データの直前に撮像された画像データを構成する複数の部分画像データのそれぞれに対応する識別情報と対応付けて出力する。そして、作業者は、他の画像データのそれぞれについても、各画像データを構成する複数の部分画像データのそれぞれとともに出力されている識別情報のうち、変更を要する識別情報（適切でない識別情報）についてのみ変更を行う。

【0047】

これにより、情報処理装置１は、学習データの生成時において、識別情報（ラベル情報）の入力に伴う作業者の作業負担を軽減させることが可能になる。そのため、作業者は、例えば、学習モデルの生成に要する学習データの数が膨大である場合であっても、学習データの生成を手作業によって行うことが可能になる。

【0048】

また、情報処理装置１は、例えば、他の学習モデル（例えば、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｉｖｅ Ｏｎｃｅ）やＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｏｒ）による学習モデル）よりも規模の小さい学習モデルの生成が可能な学習データを生成することが可能になる。

【0049】

そして、学習データ生成部１１５は、部分画像抽出部１１２が抽出した複数の第２部分画像データごとに、各部分画像データと、入力受付部１１４が入力を受け付けた各部分画像データに対応する第２識別情報とを含む学習データ（以下、第２学習データとも呼ぶ）を生成する。

【0050】

さらに、学習データ出力部１１６は、例えば、学習データ生成部１１５が生成した複数の第２学習データを操作端末２に出力する。

【0051】

［第１の実施の形態の詳細］
次に、第１の実施の形態における学習データ生成処理の詳細について説明を行う。図３及び図４は、第１の実施の形態における学習データ生成処理の詳細を説明するフローチャート図である。また、図５から図８は、第１の実施の形態における学習データ生成処理の詳細を説明する図である。

【0052】

画像取得部１１１は、図３に示すように、例えば、学習データの生成タイミングになるまで待機する（Ｓ１１のＮＯ）。学習データの生成タイミングは、例えば、作業者が操作端末２を介して学習データ生成処理を開始する旨の情報を入力したタイミングであってよい。また、学習データの生成タイミングは、例えば、作業者が撮像装置（図示しない）によって撮像された動画データを記憶領域１１０に記憶したタイミングであってもよい。

【0053】

そして、学習データの生成タイミングになった場合（Ｓ１１のＹＥＳ）、画像取得部１１１は、例えば、記憶領域１１０に記憶された動画データを取得する（Ｓ１２）。

【0054】

続いて、画像取得部１１１は、Ｓ１２の処理で取得した画像データから画像データを１つ取得する（Ｓ１３）。

【0055】

具体的に、画像取得部１１１は、Ｓ１２の処理で取得した動画データを構成する画像データを時系列順に１つ取得する。

【0056】

その後、部分画像抽出部１１２は、Ｓ１３の処理で取得した画像データにおける各固定位置に対応する複数の部分画像データを抽出する（Ｓ１４）。以下、Ｓ１４の処理の具体例について説明を行う。

【0057】

［Ｓ１４の処理の具体例］
図５は、Ｓ１４の処理の具体例について説明する図である。具体的に、図５は、画像データＤＴ１のうち、複数の関心領域ＲＯＩのそれぞれに対応する複数の部分画像データを説明する図である。なお、以下、各関心領域ＲＯＩの番号は、図５に示す各領域の番号に対応するものとして説明を行う。

【0058】

作業者は、例えば、情報処理装置１による学習データ生成処理を開始する前に、関心領域ＲＯＩの固定位置及びサイズを予め決定する。具体的に、作業者は、例えば、図５に示すように、第１サイズの矩形からなる６個の関心領域ＲＯＩ（関心領域ＲＯＩ１から関心領域ＲＯＩ６のそれぞれ）と、第１サイズよりも大きい第２サイズの矩形からなる１６個の関心領域ＲＯＩ（関心領域ＲＯＩ７から関心領域ＲＯＩ２２のそれぞれ）とを決定する。

【0059】

そして、部分画像抽出部１１２は、Ｓ１４の処理において、例えば、画像データＤＴ１から、作業者が決定した２２個の関心領域ＲＯＩに対応する部分画像データのそれぞれを抽出する。

【0060】

具体的に、部分画像抽出部１１２は、例えば、図５に示すように、画像データＤＴ１における下端部分の領域を水平方向に沿って８等分した部分画像データ（第２サイズの矩形からなる８個の部分画像データ）を、それぞれ関心領域ＲＯＩ１５、ＲＯＩ１６、ＲＯＩ１７、ＲＯＩ１８、ＲＯＩ１９、ＲＯＩ２０、ＲＯＩ２１及びＲＯＩ２２（以下、これらを総称して単に第１関心領域ＲＯＩとも呼ぶ）に対応する部分画像データとして抽出する。

【0061】

また、部分画像抽出部１１２は、例えば、図５に示すように、画像データＤＴ１における第１関心領域ＲＯＩの上端に接する領域を水平方向に沿って８等分した部分画像データ（第２サイズの矩形からなる８個の部分画像データ）を、それぞれ関心領域ＲＯＩ７、ＲＯＩ８、ＲＯＩ９、ＲＯＩ１０、ＲＯＩ１１、ＲＯＩ１２、ＲＯＩ１３及びＲＯＩ１４（以下、これらを総称して単に第２関心領域ＲＯＩとも呼ぶ）に対応する部分画像データとして抽出する。

【0062】

さらに、部分画像抽出部１１２は、図５に示すように、例えば、画像データＤＴ１における第２関心領域ＲＯＩの上端に接する領域であって水平方向における中央付近の領域を水平方向に沿って６等分した部分画像データ（第１サイズの矩形からなる６個の部分画像データ）を、それぞれ関心領域ＲＯＩ１、ＲＯＩ２、ＲＯＩ３、ＲＯＩ４、ＲＯＩ５及びＲＯＩ６（以下、これらを総称して単に第３関心領域ＲＯＩとも呼ぶ）に対応する部分画像データとして抽出する。

【0063】

なお、図５に示す例において、作業者は、例えば、シニアカーの１ｍから２ｍ前方の領域が第２関心領域ＲＯＩ及び第３関心領域ＲＯＩに対応するように、第２サイズを決定する。すなわち、例えば、シニアカーが時速６ｋｍで走行する場合、シニアカーが約１秒後に走行する経路上の領域（以下、危険領域：ｄａｎｇｅｒ ａｒｅａとも呼ぶ）が第２関心領域ＲＯＩ及び第３関心領域ＲＯＩに対応するように、第２サイズを決定する。また、図５に示す例において、作業者は、例えば、シニアカーの２ｍから４ｍ前方の領域が第３関心領域ＲＯＩに対応するように、第１サイズを決定する。すなわち、例えば、シニアカーが時速６ｋｍで走行する場合、シニアカーが約２秒後に走行する経路上の領域（以下、注意領域：ｎｏｔｉｃｅ ａｒｅａとも呼ぶ）が第３関心領域ＲＯＩに対応するように、第１サイズを決定する。

【0064】

これにより、情報処理装置１は、後述するように、各画像データから抽出された複数の部分画像データのそれぞれに対応する識別情報と、各画像データの後に撮像された画像データから抽出された複数の部分画像データのそれぞれに対応する識別情報との比較を容易に行わせることが可能になる。

【0065】

なお、以下、作業者が２種類のサイズの関心領域ＲＯＩの決定を行う場合について説明を行うが、作業者は、３種類以上のサイズの関心領域ＲＯＩの決定を行うものであってもよい。また、以下、作業者が矩形の関心領域ＲＯＩの決定を行う場合について説明を行うが、作業者は、矩形以外の形状（例えば、正六角形）の関心領域ＲＯＩの決定を行うものであってもよい。

【0066】

図３に戻り、画像出力部１１３は、Ｓ１４の処理で抽出した複数の部分画像データを出力する（Ｓ１５）。

【0067】

ここで、画像出力部１１３は、例えば、Ｓ１５の処理が２回目以降に行われる場合、Ｓ１４の処理が抽出した複数の部分画像データのそれぞれを、各部分画像データの出力位置が、前回行われたＳ１４の処理で抽出した複数の部分画像データのうちの同一の固定位置に対応する部分画像データの出力位置と一致するように出力する。

【0068】

さらに、画像出力部１１３は、例えば、Ｓ１５の処理が２回目以降に行われる場合、Ｓ１４の処理が抽出した複数の部分画像データのそれぞれを、前回行われたＳ１４の処理で抽出した複数の部分画像データのそれぞれに対応するラベル情報（前回行われたＳ１６の処理で入力を受け付けたラベル情報）と対応付ける形で出力する。

【0069】

そして、入力受付部１１４は、Ｓ１４の処理で抽出した複数の部分画像データのそれぞれに対応するラベル情報（複数の部分画像データのそれぞれに映る対象物の種類）の入力を受け付ける（Ｓ１６）。

【0070】

具体的に、作業者は、例えば、Ｓ１４の処理で抽出した複数の部分画像データが操作端末２に出力されたことに応じて、各部分画像データに対応するラベル情報の入力を行う。

【0071】

さらに具体的に、例えば、学習データ生成処理においてＳ１６の処理が１回目に行われる場合、作業者は、Ｓ１４の処理で抽出した複数の部分画像データのそれぞれに対応するラベル情報の入力を行う。

【0072】

一方、例えば、学習データ生成処理においてＳ１６の処理が２回目以降に行われる場合、作業者は、Ｓ１４の処理で抽出した複数の部分画像データのそれぞれに対応するラベル情報のうち、前回行われたＳ１６の処理で入力を受け付けたラベル情報と異なるラベル情報についてのみ入力を行う。

【0073】

続いて、Ｓ１４の処理で抽出した複数の部分画像データのそれぞれに対応するラベル情報を受け付けた場合（Ｓ１６のＹＥＳ）、学習データ生成部１１５は、図４に示すように、直前に行われたＳ１６の処理で入力を受け付けた部分画像データごとに、各部分画像データと、直前に行われたＳ１６の処理で入力を受け付けた各部分画像データに対応するラベル情報とを含む学習データを生成する（Ｓ２１）。そして、学習データ生成部１１５は、例えば、Ｓ２１の処理で生成した学習データを記憶領域１１０に記憶する。

【0074】

また、学習データ生成部１１５は、この場合、直前に行われたＳ１６の処理で入力を受け付けなかった部分画像データごとに、各部分画像データと、Ｓ１６の処理で最後に入力を受け付けた各部分画像データに対応するラベル情報とを含む学習データを生成する（Ｓ２２）。そして、学習データ生成部１１５は、例えば、Ｓ２２の処理で生成した学習データを記憶領域１１０に記憶する。

【0075】

その後、学習データ生成部１１５は、Ｓ１３の処理において画像データの全てを取得したか否かを判定する（Ｓ２３）。

【0076】

その結果、画像データの全てを取得していないと判定した場合（Ｓ２３のＮＯ）、画像取得部１１１は、Ｓ１３以降の処理を再度行う。

【0077】

一方、画像データの全てを取得したと判定した場合（Ｓ２３のＹＥＳ）、情報処理装置１は、データ生成処理を終了する。

【0078】

具体的に、情報処理装置１は、この場合、例えば、Ｓ２１の処理及びＳ２２の処理で生成した学習データを用いた機械学習を行うことによって、学習モデルを生成する。以下、学習データ生成処理の具体例について説明を行う。

【0079】

［学習データ生成処理の具体例］
図６は、学習データ生成処理の具体例について説明する図である。具体的に、図６は、ラベル情報の入力画面の具体例について説明する図である。

【0080】

図６に示す画像データＤＴ２ａは、１回目に行われたＳ１３の処理で取得した画像データから生成されたＲＧＢ情報についての画像データであり、画像データＤＴ３ａは、１回目に行われたＳ１３の処理で取得した画像データから生成された距離情報についての画像データである。また、図６に示す入力画面ＩＮは、画像データＤＴ２ａ及び画像データＤＴ３ａの指定等を行う画像データ指定部ＩＮａと、ラベル情報（各部分画像データに映る障害物の種類）の入力等を行うラベル情報入力部ＩＮｂとを有する。

【0081】

図６に示す例において、入力受付部１１４は、例えば、作業者が画像データ指定部ＩＮａに含まれる「Ｌｏａｄ ＲＧＢ Ｉｍａｇｅｓ」及び「Ｌｏａｄ Ｄｅｐｔｈ Ｉｍａｇｅｓ」を押下することによって画像データＤＴ２ａ及び画像データＤＴ３ａのロードを行う旨が入力された場合、画像データＤＴ２ａ及び画像データＤＴ３ａのそれぞれを、各関心領域ＲＯＩ（関心領域ＲＯＩ１から関心領域ＲＯＩ２２）に対応するフレームを重ね合わせた状態で出力する。

【0082】

そして、作業者は、この場合、例えば、画像データＤＴ２ａにおける各関心領域ＲＯＩに対応する領域（画像データＤＴ２ａから抽出された各部分画像データ）ごとに、ラベル情報入力部ＩＮｂにおける「Ｂｕｍｐ」や「Ｄｅｎｔ」等の中から、各領域に映る対象物の種類を指定（選択）する。

【0083】

次に、作業者は、例えば、画像データ指定部ＩＮａにおける「Ｎｅｘｔ Ｉｍａｇｅｓ」を押下することによって、２回目に行われたＳ１３の処理で取得した画像データから生成されたＲＧＢ情報についての画像データＤＴ２ｂ（画像データＤＴ２ａの次のＲＧＢ情報についての画像データ）と、２回目に行われたＳ１３の処理で取得した画像データから生成された距離情報についての画像データＤＴ３ｂ（画像データＤＴ３ａの次の距離情報についての画像データ）とを、各関心領域ＲＯＩに対応するフレームを重ね合わせた状態で表示する。

【0084】

そして、作業者は、例えば、画像データＤＴ２ｂにおける各関心領域ＲＯＩに対応する領域のうち、各領域に映る対象物の種類が画像データＤＴ２ａから変わった領域を特定する。さらに、作業者は、特定した領域ごとに、ラベル情報入力部ＩＮｂにおける「Ｂｕｍｐ」や「Ｄｅｎｔ」等の中から、各領域に映る対象物の種類を指定（選択）する。

【0085】

その後、作業者は、Ｓ１２の処理で取得した動画データに含まれる他の画像データのそれぞれについても同様に、各画像データにおける各関心領域ＲＯＩに対応する領域に映る対象物の種類の特定を繰り返し行う。

【0086】

これにより、情報処理装置１は、学習データの生成時において、ラベル情報の入力に要する作業者の作業負担を軽減させることが可能になる。そのため、作業者は、例えば、学習モデルの生成に要する学習データの数が膨大である場合であっても、手作業によって学習データの生成を行うことが可能になる。

【0087】

なお、上記の例では、シニアカーが走行経路上の障害物を検出するための学習モデルの生成に用いられる学習データを生成する場合について説明を行ったが、本実施の形態における学習データ生成処理は、他の用途の学習モデルの生成に用いられる学習データを生成する場合においても適用が可能である。

【0088】

［入力を受け付けたラベル情報の出力］
次に、作業者が入力したラベル情報の出力について説明を行う。図７及び図８は、ラベル情報の出力結果について説明する図である。

【0089】

情報処理装置１は、Ｓ１６の処理において、各画像データを構成する複数の部分画像データのそれぞれに対応するラベル情報の入力を受け付けた場合、入力を受け付けたラベル情報に含まれる情報を予め指定されたフォーマットに変換して出力するものであってもよい。

【0090】

具体的に、情報処理装置１は、例えば、図７に示すように、例えば、画像データＤＴ２ａに含まれる複数の部分画像データごとに、各部分画像データに映る対象物の種類を示す値と、各部分画像データの左上の座標、高さ及び幅とをテキストファイルの形式で出力するものであってもよい。

【0091】

また、情報処理装置１は、例えば、図８に示すように、例えば、画像データＤＴ２ａに含まれる複数の部分画像データごとに、各部分画像データに映る対象物の種類（ｎａｍｅ）と、各部分画像データのＸ軸上の最小値（ｘｍｉｎ）、Ｘ軸上の最大値（ｘｍａｘ）、Ｙ軸上の最小値（ｙｍｉｎ）及びＹ軸上の最大値（ｙｍａｘ）とをＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）ファイルの形式で出力するものであってもよい。

【0092】

これにより、作業者は、Ｓ１６の処理で入力を受け付けたラベル情報に含まれる情報を変換したファイルを用いることで、他の学習モデル（例えば、ＹＯＬＯやＳＳＤによる学習モデル）の生成に用いる学習データについても併せて生成することが可能になる。そのため、作業者は、他の学習モデルについての学習データの生成に伴う作業負荷についても抑えることが可能になる。

【0093】

また、Ｓ１６の処理で入力を受け付けたラベル情報は、図５で説明した関心領域ＲＯＩごとに入力されるラベル情報であり、例えば、バウンディングボックスを用いる場合よりも単位が小さく、かつ、ピクセルごとの場合よりも単位が大きい。

【0094】

そのため、作業者は、Ｓ１６の処理で入力を受け付けたラベル情報に含まれる情報を変換したファイルを用いることで、学習データの生成に要する作業負担を抑えながら、判定精度の高い学習モデルを生成することが可能な学習データを生成することが可能になる。

【符号の説明】

【0095】

１：情報処理装置
２：操作端末
１０１：ＣＰＵ
１０２：メモリ
１０３：通信インタフェース
１０４：記憶媒体
１０５：バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】