ホーム > 特許ランキング > 株式会社ストラドビジョン
知財求人 - 知財ポータルサイト「IP Force」
6793411自律走行状況で障害物検出のための学習用データセットの生成方法及びこれを利用したコンピューティング装置、学習方法及び学習装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6793411
(24)【登録日】2020年11月12日
(45)【発行日】2020年12月2日
(54)【発明の名称】自律走行状況で障害物検出のための学習用データセットの生成方法及びこれを利用したコンピューティング装置、学習方法及び学習装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20201119BHJP
G06T 7/11 20170101ALI20201119BHJP
G06T 11/80 20060101ALI20201119BHJP
【ＦＩ】
G06T7/00 350C
G06T7/00 650B
G06T7/11
G06T11/80 A
【請求項の数】30
【全頁数】21
(21)【出願番号】特願2019-160648(P2019-160648)
(22)【出願日】2019年9月3日
(65)【公開番号】特開2020-38666(P2020-38666A)
(43)【公開日】2020年3月12日
【審査請求日】2019年9月3日
(31)【優先権主張番号】16/120,623
(32)【優先日】2018年9月4日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】517038176
【氏名又は名称】株式会社ストラドビジョン
(74)【代理人】
【識別番号】100121728
【弁理士】
【氏名又は名称】井関 勝守
(74)【代理人】
【識別番号】100165803
【弁理士】
【氏名又は名称】金子 修平
(72)【発明者】
【氏名】キム ゲヒョン
(72)【発明者】
【氏名】キム ヨンジュン
(72)【発明者】
【氏名】キム インス
(72)【発明者】
【氏名】キム ハクギョン
(72)【発明者】
【氏名】ナム ウンヒョン
(72)【発明者】
【氏名】ブ ソクフン
(72)【発明者】
【氏名】ソン ミョンチョル
(72)【発明者】
【氏名】ヨ ドンフン
(72)【発明者】
【氏名】リュ ウジュ
(72)【発明者】
【氏名】ジャン テウン
(72)【発明者】
【氏名】ジョン ギョンジュン
(72)【発明者】
【氏名】ジェ ホンモ
(72)【発明者】
【氏名】ジョ ホジン
【審査官】
岡本 俊威
(56)【参考文献】
【文献】
特開２０１８−０６０５１１（ＪＰ，Ａ）
【文献】
特開平０５−３０３６４５（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０６Ｔ ７／００− ７／９０
Ｇ０６Ｔ １１／８０
(57)【特許請求の範囲】
【請求項1】
自律走行状況で、少なくとも一つの障害物検出のための少なくとも一つの学習用データセットを生成する方法において、
（ａ）コンピューティング装置が、（ｉ）道路走行状況を示す少なくとも一つの第１原本イメージ及び（ｉｉ）前記第１原本イメージに対応する少なくとも一つの第１セグメンテーション原本正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）イメージを獲得する段階；
（ｂ）前記コンピューティング装置が、（ｉ）少なくとも一つの特定の物体に対するイメージを含む少なくとも一つの第２原本イメージ及び（ｉｉ）前記特定の物体に対するセグメンテーション情報を含み、前記第２原本イメージに対応する少なくとも一つの第２セグメンテーション原本正解イメージを獲得する段階；
（ｃ）前記コンピューティング装置が、（ｉ）前記第２原本イメージから前記特定の物体に対応する部分を切り取って生成された少なくとも一つの第３原本イメージ及び（ｉｉ）前記第２セグメンテーション原本正解イメージから前記特定の物体が位置する部分に対応する各ピクセルを切り取って生成された少なくとも一つの第３セグメンテーション原本正解イメージを獲得する段階；及び
（ｄ）前記コンピューティング装置が、（ｉ）前記第３原本イメージを前記第１原本イメージに合成して、少なくとも一つの学習用第４原本イメージを生成し、（ｉｉ）前記第３原本イメージが前記第１原本イメージに合成された少なくとも一つの特定位置に対応するように、前記第３セグメンテーション原本正解イメージを前記第１セグメンテーション原本正解イメージに合成して少なくとも一つの学習用第４セグメンテーション原本正解イメージを生成することにより、前記学習用第４原本イメージとそれに対応する前記学習用第４セグメンテーション原本正解イメージを含む前記学習用データセットを生成する段階；を含むことを特徴とする方法。
（ａ）コンピューティング装置が、（ｉ）道路走行状況を示す少なくとも一つの第１原本イメージ及び（ｉｉ）前記第１原本イメージに対応する少なくとも一つの第１セグメンテーション原本正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）イメージを獲得する段階；
（ｂ）前記コンピューティング装置が、（ｉ）少なくとも一つの特定の物体に対するイメージを含む少なくとも一つの第２原本イメージ及び（ｉｉ）前記特定の物体に対するセグメンテーション情報を含み、前記第２原本イメージに対応する少なくとも一つの第２セグメンテーション原本正解イメージを獲得する段階；
（ｃ）前記コンピューティング装置が、（ｉ）前記第２原本イメージから前記特定の物体に対応する部分を切り取って生成された少なくとも一つの第３原本イメージ及び（ｉｉ）前記第２セグメンテーション原本正解イメージから前記特定の物体が位置する部分に対応する各ピクセルを切り取って生成された少なくとも一つの第３セグメンテーション原本正解イメージを獲得する段階；及び
（ｄ）前記コンピューティング装置が、（ｉ）前記第３原本イメージを前記第１原本イメージに合成して、少なくとも一つの学習用第４原本イメージを生成し、（ｉｉ）前記第３原本イメージが前記第１原本イメージに合成された少なくとも一つの特定位置に対応するように、前記第３セグメンテーション原本正解イメージを前記第１セグメンテーション原本正解イメージに合成して少なくとも一つの学習用第４セグメンテーション原本正解イメージを生成することにより、前記学習用第４原本イメージとそれに対応する前記学習用第４セグメンテーション原本正解イメージを含む前記学習用データセットを生成する段階；を含むことを特徴とする方法。
【請求項2】
前記（ｄ）段階は、
（ｄ＿１）前記コンピューティング装置が、前記第３原本イメージ及び前記第３セグメンテーション原本正解イメージを互いに同一の方法で変形して各々変形された第３原本イメージ及び変形された第３セグメンテーション原本正解イメージを生成する段階；及び
（ｄ＿２）前記コンピューティング装置が、前記変形された第３原本イメージ及び前記変形された第３セグメンテーション原本正解イメージを各々前記第１原本イメージ及び前記第１セグメンテーション原本正解イメージに合成する段階；
を含むことを特徴とする請求項１に記載の方法。
（ｄ＿１）前記コンピューティング装置が、前記第３原本イメージ及び前記第３セグメンテーション原本正解イメージを互いに同一の方法で変形して各々変形された第３原本イメージ及び変形された第３セグメンテーション原本正解イメージを生成する段階；及び
（ｄ＿２）前記コンピューティング装置が、前記変形された第３原本イメージ及び前記変形された第３セグメンテーション原本正解イメージを各々前記第１原本イメージ及び前記第１セグメンテーション原本正解イメージに合成する段階；
を含むことを特徴とする請求項１に記載の方法。
【請求項3】
前記（ｄ＿１）段階で、
前記コンピューティング装置は、アフィン変換（ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍ）アルゴリズム及び薄板スプライン補間（ｔｈｉｎ−ｐｌａｔｅ ｓｐｌｉｎｅ ｉｎｔｅｒｐｏｌａｔｉｏｎ）アルゴリズムのうち少なくとも一つのアルゴリズムを利用して、前記第３原本イメージ及び前記第３セグメンテーション原本正解イメージを変形することを特徴とする請求項２に記載の方法。
前記コンピューティング装置は、アフィン変換（ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍ）アルゴリズム及び薄板スプライン補間（ｔｈｉｎ−ｐｌａｔｅ ｓｐｌｉｎｅ ｉｎｔｅｒｐｏｌａｔｉｏｎ）アルゴリズムのうち少なくとも一つのアルゴリズムを利用して、前記第３原本イメージ及び前記第３セグメンテーション原本正解イメージを変形することを特徴とする請求項２に記載の方法。
【請求項4】
前記コンピューティング装置は、前記（ｄ＿１）段階で適用されるアルゴリズム及びその細部パラメータのうち少なくとも一部を変化させながら、前記（ｄ＿１）段階及び前記（ｄ＿２）段階を繰り返し遂行し、互いに異なる複数の前記学習用第４原本イメージ及び互いに異なる複数の前記学習用第４セグメンテーション原本正解イメージを生成することを特徴とする請求項２に記載の方法。
【請求項5】
前記第１原本イメージ及び前記第１セグメンテーション原本正解イメージは様々な道路走行イメージデータベース及びこれに対応するセグメンテーション原本正解イメージデータベースから各々選択され、
前記第２原本イメージ及び前記第２セグメンテーション原本正解イメージは、様々な物体の種類別原本イメージデータベース及びこれに対応するセマンティック（ｓｅｍａｎｔｉｃ）セグメンテーション原本正解イメージデータベースから各々選択されることを特徴とする請求項１に記載の方法。
前記第２原本イメージ及び前記第２セグメンテーション原本正解イメージは、様々な物体の種類別原本イメージデータベース及びこれに対応するセマンティック（ｓｅｍａｎｔｉｃ）セグメンテーション原本正解イメージデータベースから各々選択されることを特徴とする請求項１に記載の方法。
【請求項6】
前記（ｃ）段階で、
前記コンピューティング装置は、前記第２セグメンテーション原本正解イメージのセマンティックセグメンテーション情報を利用して、前記特定の物体を前記第２原本イメージ及び前記第２セグメンテーション原本正解イメージから切り取ることを特徴とする請求項５に記載の方法。
前記コンピューティング装置は、前記第２セグメンテーション原本正解イメージのセマンティックセグメンテーション情報を利用して、前記特定の物体を前記第２原本イメージ及び前記第２セグメンテーション原本正解イメージから切り取ることを特徴とする請求項５に記載の方法。
【請求項7】
前記（ｃ）段階で、
前記コンピューティング装置は、（ｉ）前記第２セグメンテーション原本正解イメージ内の前記特定の物体に対するセマンティックセグメンテーション情報を有する領域を切り取って前記第３セグメンテーション原本正解イメージを獲得し、（ｉｉ）前記第２セグメンテーション原本正解イメージ内の前記第３セグメンテーション原本正解イメージ部分のピクセル情報に対応される前記第２原本イメージ内のピクセルの位置を参照にして前記第３原本イメージを獲得することを特徴とする請求項６に記載の方法。
前記コンピューティング装置は、（ｉ）前記第２セグメンテーション原本正解イメージ内の前記特定の物体に対するセマンティックセグメンテーション情報を有する領域を切り取って前記第３セグメンテーション原本正解イメージを獲得し、（ｉｉ）前記第２セグメンテーション原本正解イメージ内の前記第３セグメンテーション原本正解イメージ部分のピクセル情報に対応される前記第２原本イメージ内のピクセルの位置を参照にして前記第３原本イメージを獲得することを特徴とする請求項６に記載の方法。
【請求項8】
前記（ｄ）段階で、
前記コンピューティング装置は、（ｉ）前記第１原本イメージ内で道路に対応する部分を判断した後、前記第３原本イメージを前記第１原本イメージから前記道路に対応する部分内の任意の位置に合成し、前記学習用第４原本イメージを生成し、（ｉｉ）前記第１原本イメージでの前記任意の位置に対応するように前記第１セグメンテーション原本正解イメージに前記第３セグメンテーション原本正解イメージを合成することで、前記学習用第４セグメンテーション原本正解イメージを生成することを特徴とする請求項１に記載の方法。
前記コンピューティング装置は、（ｉ）前記第１原本イメージ内で道路に対応する部分を判断した後、前記第３原本イメージを前記第１原本イメージから前記道路に対応する部分内の任意の位置に合成し、前記学習用第４原本イメージを生成し、（ｉｉ）前記第１原本イメージでの前記任意の位置に対応するように前記第１セグメンテーション原本正解イメージに前記第３セグメンテーション原本正解イメージを合成することで、前記学習用第４セグメンテーション原本正解イメージを生成することを特徴とする請求項１に記載の方法。
【請求項9】
前記（ｄ）段階で、
前記コンピューティング装置は、前記任意の位置を変えながら前記学習用第４原本イメージ及び前記学習用第４セグメンテーション原本正解イメージを生成する過程を複数回遂行し、互いに異なる複数の前記学習用第４原本イメージ及び互いに異なる複数の前記学習用第４セグメンテーション原本正解イメージを生成することを特徴とする請求項８に記載の方法。
前記コンピューティング装置は、前記任意の位置を変えながら前記学習用第４原本イメージ及び前記学習用第４セグメンテーション原本正解イメージを生成する過程を複数回遂行し、互いに異なる複数の前記学習用第４原本イメージ及び互いに異なる複数の前記学習用第４セグメンテーション原本正解イメージを生成することを特徴とする請求項８に記載の方法。
【請求項10】
前記第１セグメンテーション原本正解イメージは、前記道路に対するセグメンテーション情報を含むことを特徴とする請求項１に記載の方法。
【請求項11】
ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）による学習方法において、
（ａ）（Ｉ）コンピューティング装置が（ｉ）道路走行状況を示す、少なくとも一つの第１原本イメージ及び（ｉｉ）前記第１原本イメージに対応する少なくとも一つの第１セグメンテーション原本正解イメージを獲得するプロセス；（ＩＩ）前記コンピューティング装置が（ｉ）少なくとも一つの特定の物体に対するイメージを含む少なくとも一つの第２原本イメージ及び（ｉｉ）前記特定の物体に対するセグメンテーション情報を含んで前記第２原本イメージに対応する少なくとも一つの第２セグメンテーション原本正解イメージを獲得するプロセス；（ＩＩＩ）前記コンピューティング装置が、（ｉ）前記第２原本イメージから前記特定の物体に対応する部分を切り取って生成された少なくとも一つの第３原本イメージ及び（ｉｉ）前記第２セグメンテーション原本正解イメージから前記特定の物体が位置する部分に対応する各ピクセルを切り取って生成された少なくとも一つの第３セグメンテーション原本正解イメージを獲得するプロセス；及び（ＩＶ）前記コンピューティング装置が（ｉ）前記第３原本イメージを前記第１原本イメージに合成して、少なくとも一つの学習用第４原本イメージを生成し、（ｉｉ）前記第３原本イメージが前記第１原本イメージに合成された少なくとも一つの特定位置に対応するように、前記第３セグメンテーション原本正解イメージを前記第１セグメンテーション原本正解イメージに合成して少なくとも一つの学習用第４セグメンテーション原本正解イメージを生成することにより、前記学習用第４原本イメージとそれに対応する前記学習用第４セグメンテーション原本正解イメージを含む学習用データセットを生成するプロセスを遂行した状態で、学習装置が、前記学習用第４原本イメージを、自律走行状況で少なくとも一つの障害物検出のための少なくとも一つの学習用イメージとして入力を受ける段階；及び
（ｂ）前記学習装置が、前記学習用第４原本イメージに対して、前記ＣＮＮの複数の演算を適用して出力イメージを獲得して、前記出力イメージと前記第４セグメンテーション原本正解イメージを比較した後、バックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）によって前記学習装置のパラメータを調整する段階；
を含むことを特徴とする学習方法。
（ａ）（Ｉ）コンピューティング装置が（ｉ）道路走行状況を示す、少なくとも一つの第１原本イメージ及び（ｉｉ）前記第１原本イメージに対応する少なくとも一つの第１セグメンテーション原本正解イメージを獲得するプロセス；（ＩＩ）前記コンピューティング装置が（ｉ）少なくとも一つの特定の物体に対するイメージを含む少なくとも一つの第２原本イメージ及び（ｉｉ）前記特定の物体に対するセグメンテーション情報を含んで前記第２原本イメージに対応する少なくとも一つの第２セグメンテーション原本正解イメージを獲得するプロセス；（ＩＩＩ）前記コンピューティング装置が、（ｉ）前記第２原本イメージから前記特定の物体に対応する部分を切り取って生成された少なくとも一つの第３原本イメージ及び（ｉｉ）前記第２セグメンテーション原本正解イメージから前記特定の物体が位置する部分に対応する各ピクセルを切り取って生成された少なくとも一つの第３セグメンテーション原本正解イメージを獲得するプロセス；及び（ＩＶ）前記コンピューティング装置が（ｉ）前記第３原本イメージを前記第１原本イメージに合成して、少なくとも一つの学習用第４原本イメージを生成し、（ｉｉ）前記第３原本イメージが前記第１原本イメージに合成された少なくとも一つの特定位置に対応するように、前記第３セグメンテーション原本正解イメージを前記第１セグメンテーション原本正解イメージに合成して少なくとも一つの学習用第４セグメンテーション原本正解イメージを生成することにより、前記学習用第４原本イメージとそれに対応する前記学習用第４セグメンテーション原本正解イメージを含む学習用データセットを生成するプロセスを遂行した状態で、学習装置が、前記学習用第４原本イメージを、自律走行状況で少なくとも一つの障害物検出のための少なくとも一つの学習用イメージとして入力を受ける段階；及び
（ｂ）前記学習装置が、前記学習用第４原本イメージに対して、前記ＣＮＮの複数の演算を適用して出力イメージを獲得して、前記出力イメージと前記第４セグメンテーション原本正解イメージを比較した後、バックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）によって前記学習装置のパラメータを調整する段階；
を含むことを特徴とする学習方法。
【請求項12】
前記（ＩＶ）プロセスで、
（ＩＶ＿１）前記コンピューティング装置が、前記第３原本イメージ及び前記第３セグメンテーション原本正解イメージを互いに同一の方法で変形して各々変形された第３原本イメージ及び変形された第３セグメンテーション原本正解イメージを生成し；（ＩＶ＿２）前記コンピューティング装置が、前記変形された第３原本イメージ及び前記変形された第３セグメンテーション原本正解イメージを各々前記第１原本イメージ及び前記第１セグメンテーション原本正解イメージに合成することを特徴とする請求項１１に記載の学習方法。
（ＩＶ＿１）前記コンピューティング装置が、前記第３原本イメージ及び前記第３セグメンテーション原本正解イメージを互いに同一の方法で変形して各々変形された第３原本イメージ及び変形された第３セグメンテーション原本正解イメージを生成し；（ＩＶ＿２）前記コンピューティング装置が、前記変形された第３原本イメージ及び前記変形された第３セグメンテーション原本正解イメージを各々前記第１原本イメージ及び前記第１セグメンテーション原本正解イメージに合成することを特徴とする請求項１１に記載の学習方法。
【請求項13】
前記コンピューティング装置は、前記（ＩＶ＿１）プロセスで適用されるアルゴリズム及びその細部パラメータのうち少なくとも一部を変化させながら、前記（ＩＶ＿１）プロセス及び前記（ＩＶ＿２）プロセスを繰り返し遂行し、互いに異なる複数の前記学習用第４原本イメージ及び互いに異なる複数の前記学習用第４セグメンテーション原本正解イメージを生成することを特徴とする請求項１２に記載の学習方法。
【請求項14】
前記（ＩＶ）プロセスで、
前記コンピューティング装置は、（ｉ）前記第１原本イメージ内で道路に対応する部分を判断した後、前記第３原本イメージを前記第１原本イメージから前記道路に対応する部分内の任意の位置に合成し、前記学習用第４原本イメージを生成し、（ｉｉ）前記第１原本イメージでの前記任意の位置に対応するように前記第１セグメンテーション原本正解イメージに前記第３セグメンテーション原本正解イメージを合成することで、前記学習用第４セグメンテーション原本正解イメージを生成することを特徴とする請求項１１に記載の学習方法。
前記コンピューティング装置は、（ｉ）前記第１原本イメージ内で道路に対応する部分を判断した後、前記第３原本イメージを前記第１原本イメージから前記道路に対応する部分内の任意の位置に合成し、前記学習用第４原本イメージを生成し、（ｉｉ）前記第１原本イメージでの前記任意の位置に対応するように前記第１セグメンテーション原本正解イメージに前記第３セグメンテーション原本正解イメージを合成することで、前記学習用第４セグメンテーション原本正解イメージを生成することを特徴とする請求項１１に記載の学習方法。
【請求項15】
前記（ＩＶ）プロセスで、
前記コンピューティング装置は、前記任意の位置を変えながら前記学習用第４原本イメージ及び前記学習用第４セグメンテーション原本正解イメージを生成する過程を複数回遂行し、互いに異なる複数の前記学習用第４原本イメージ及び互いに異なる複数の前記学習用第４セグメンテーション原本正解イメージを生成することを特徴とする請求項１４に記載の学習方法。
前記コンピューティング装置は、前記任意の位置を変えながら前記学習用第４原本イメージ及び前記学習用第４セグメンテーション原本正解イメージを生成する過程を複数回遂行し、互いに異なる複数の前記学習用第４原本イメージ及び互いに異なる複数の前記学習用第４セグメンテーション原本正解イメージを生成することを特徴とする請求項１４に記載の学習方法。
【請求項16】
自律走行状況で、少なくとも一つの障害物検出のための少なくとも一つの学習用データセットを生成するコンピューティング装置において、
（ｉ−１）道路走行状況を示す少なくとも一つの第１原本イメージ及び（ｉ−２）前記第１原本イメージに対応する少なくとも一つの第１セグメンテーション原本正解イメージを獲得し、（ｉｉ−１）少なくとも一つの特定の物体に対するイメージを含む少なくとも一つの第２原本イメージ及び（ｉｉ−２）前記特定の物体に対するセグメンテーション情報を含み、前記第２原本イメージに対応する少なくとも一つの第２セグメンテーション原本正解イメージを獲得するための通信部；及び
（Ｉ）（ｉ）前記第２原本イメージから前記特定の物体に対応する部分を切り取って生成された少なくとも一つの第３原本イメージ及び（ｉｉ）前記第２セグメンテーション原本正解イメージから前記特定の物体が位置する部分に対応する各ピクセルを切り取って生成された少なくとも一つの第３セグメンテーション原本正解イメージを獲得するプロセス；及び（ＩＩ）（ｉ）前記第３原本イメージを前記第１原本イメージに合成して、少なくとも一つの学習用第４原本イメージを生成し、（ｉｉ）前記第３原本イメージが前記第１原本イメージに合成された少なくとも一つの特定位置に対応するように、前記第３セグメンテーション原本正解イメージを前記第１セグメンテーション原本正解イメージに合成して少なくとも一つの学習用第４セグメンテーション原本正解イメージを生成することにより、前記学習用第４原本イメージとそれに対応する前記学習用第４セグメンテーション原本正解イメージを含む前記学習用データセットを生成するプロセスを遂行するプロセッサ；
を含むことを特徴とするコンピューティング装置。
（ｉ−１）道路走行状況を示す少なくとも一つの第１原本イメージ及び（ｉ−２）前記第１原本イメージに対応する少なくとも一つの第１セグメンテーション原本正解イメージを獲得し、（ｉｉ−１）少なくとも一つの特定の物体に対するイメージを含む少なくとも一つの第２原本イメージ及び（ｉｉ−２）前記特定の物体に対するセグメンテーション情報を含み、前記第２原本イメージに対応する少なくとも一つの第２セグメンテーション原本正解イメージを獲得するための通信部；及び
（Ｉ）（ｉ）前記第２原本イメージから前記特定の物体に対応する部分を切り取って生成された少なくとも一つの第３原本イメージ及び（ｉｉ）前記第２セグメンテーション原本正解イメージから前記特定の物体が位置する部分に対応する各ピクセルを切り取って生成された少なくとも一つの第３セグメンテーション原本正解イメージを獲得するプロセス；及び（ＩＩ）（ｉ）前記第３原本イメージを前記第１原本イメージに合成して、少なくとも一つの学習用第４原本イメージを生成し、（ｉｉ）前記第３原本イメージが前記第１原本イメージに合成された少なくとも一つの特定位置に対応するように、前記第３セグメンテーション原本正解イメージを前記第１セグメンテーション原本正解イメージに合成して少なくとも一つの学習用第４セグメンテーション原本正解イメージを生成することにより、前記学習用第４原本イメージとそれに対応する前記学習用第４セグメンテーション原本正解イメージを含む前記学習用データセットを生成するプロセスを遂行するプロセッサ；
を含むことを特徴とするコンピューティング装置。
【請求項17】
前記（ＩＩ）プロセスで、
（ＩＩ＿１）前記プロセッサが、前記第３原本イメージ及び前記第３セグメンテーション原本正解イメージを互いに同一の方法で変形して各々変形された第３原本イメージ及び変形された第３セグメンテーション原本正解イメージを生成するプロセス；及び（ＩＩ＿２）前記プロセッサが、前記変形された第３原本イメージ及び前記変形された第３セグメンテーション原本正解イメージを各々前記第１原本イメージ及び前記第１セグメンテーション原本正解イメージに合成するプロセス；を遂行することを特徴とする請求項１６に記載のコンピューティング装置。
（ＩＩ＿１）前記プロセッサが、前記第３原本イメージ及び前記第３セグメンテーション原本正解イメージを互いに同一の方法で変形して各々変形された第３原本イメージ及び変形された第３セグメンテーション原本正解イメージを生成するプロセス；及び（ＩＩ＿２）前記プロセッサが、前記変形された第３原本イメージ及び前記変形された第３セグメンテーション原本正解イメージを各々前記第１原本イメージ及び前記第１セグメンテーション原本正解イメージに合成するプロセス；を遂行することを特徴とする請求項１６に記載のコンピューティング装置。
【請求項18】
前記（ＩＩ＿１）プロセスで、
前記プロセッサは、アフィン変換アルゴリズム及び薄板スプライン補間アルゴリズムのうち少なくとも一つのアルゴリズムを利用して、前記第３原本イメージ及び前記第３セグメンテーション原本正解イメージを変形することを特徴とする請求項１７に記載のコンピューティング装置。
前記プロセッサは、アフィン変換アルゴリズム及び薄板スプライン補間アルゴリズムのうち少なくとも一つのアルゴリズムを利用して、前記第３原本イメージ及び前記第３セグメンテーション原本正解イメージを変形することを特徴とする請求項１７に記載のコンピューティング装置。
【請求項19】
前記プロセッサは、前記（ＩＩ＿１）プロセスで適用されるアルゴリズム及びその細部パラメータのうち少なくとも一部を変化させながら、前記（ＩＩ＿１）プロセス及び前記（ＩＩ＿２）プロセスを繰り返し遂行し、互いに異なる複数の前記学習用第４原本イメージ及び互いに異なる複数の前記学習用第４セグメンテーション原本正解イメージを生成することを特徴とする請求項１７に記載のコンピューティング装置。
【請求項20】
前記第１原本イメージ及び前記第１セグメンテーション原本正解イメージは様々な道路走行イメージデータベース及びこれに対応するセグメンテーション原本正解イメージデータベースから各々選択され、
前記第２原本イメージ及び前記第２セグメンテーション原本正解イメージは、様々な物体の種類別原本イメージデータベース及びこれに対応するセマンティックセグメンテーション原本正解イメージデータベースから各々選択されることを特徴とする請求項１６に記載のコンピューティング装置。
前記第２原本イメージ及び前記第２セグメンテーション原本正解イメージは、様々な物体の種類別原本イメージデータベース及びこれに対応するセマンティックセグメンテーション原本正解イメージデータベースから各々選択されることを特徴とする請求項１６に記載のコンピューティング装置。
【請求項21】
前記（Ｉ）プロセスで、
前記プロセッサは、前記第２セグメンテーション原本正解イメージのセマンティックセグメンテーション情報を利用して、前記特定の物体を前記第２原本イメージ及び前記第２セグメンテーション原本正解イメージから切り取ることを特徴とする請求項２０に記載のコンピューティング装置。
前記プロセッサは、前記第２セグメンテーション原本正解イメージのセマンティックセグメンテーション情報を利用して、前記特定の物体を前記第２原本イメージ及び前記第２セグメンテーション原本正解イメージから切り取ることを特徴とする請求項２０に記載のコンピューティング装置。
【請求項22】
前記（Ｉ）プロセスで、
前記プロセッサは、（ｉ）前記第２セグメンテーション原本正解イメージ内の前記特定の物体に対するセマンティックセグメンテーション情報を有する領域を切り取って前記第３セグメンテーション原本正解イメージを獲得し、（ｉｉ）前記第２セグメンテーション原本正解イメージ内の前記第３セグメンテーション原本正解イメージ部分のピクセル情報に対応される前記第２原本イメージ内のピクセルの位置を参照にして前記第３原本イメージを獲得することを特徴とする請求項２１に記載のコンピューティング装置。
前記プロセッサは、（ｉ）前記第２セグメンテーション原本正解イメージ内の前記特定の物体に対するセマンティックセグメンテーション情報を有する領域を切り取って前記第３セグメンテーション原本正解イメージを獲得し、（ｉｉ）前記第２セグメンテーション原本正解イメージ内の前記第３セグメンテーション原本正解イメージ部分のピクセル情報に対応される前記第２原本イメージ内のピクセルの位置を参照にして前記第３原本イメージを獲得することを特徴とする請求項２１に記載のコンピューティング装置。
【請求項23】
前記（ＩＩ）プロセスで、
前記プロセッサは、（ｉ）前記第１原本イメージ内で道路に対応する部分を判断した後、前記第３原本イメージを前記第１原本イメージから前記道路に対応する部分内の任意の位置に合成し、前記学習用第４原本イメージを生成し、（ｉｉ）前記第１原本イメージでの前記任意の位置に対応するように前記第１セグメンテーション原本正解イメージに前記第３セグメンテーション原本正解イメージを合成することで、前記学習用第４セグメンテーション原本正解イメージを生成することを特徴とする請求項１６に記載のコンピューティング装置。
前記プロセッサは、（ｉ）前記第１原本イメージ内で道路に対応する部分を判断した後、前記第３原本イメージを前記第１原本イメージから前記道路に対応する部分内の任意の位置に合成し、前記学習用第４原本イメージを生成し、（ｉｉ）前記第１原本イメージでの前記任意の位置に対応するように前記第１セグメンテーション原本正解イメージに前記第３セグメンテーション原本正解イメージを合成することで、前記学習用第４セグメンテーション原本正解イメージを生成することを特徴とする請求項１６に記載のコンピューティング装置。
【請求項24】
前記（ＩＩ）プロセスで、
前記プロセッサは、前記任意の位置を変えながら前記学習用第４原本イメージ及び前記学習用第４セグメンテーション原本正解イメージを生成する過程を複数回遂行し、互いに異なる複数の前記学習用第４原本イメージ及び互いに異なる複数の前記学習用第４セグメンテーション原本正解イメージを生成することを特徴とする請求項２０に記載のコンピューティング装置。
前記プロセッサは、前記任意の位置を変えながら前記学習用第４原本イメージ及び前記学習用第４セグメンテーション原本正解イメージを生成する過程を複数回遂行し、互いに異なる複数の前記学習用第４原本イメージ及び互いに異なる複数の前記学習用第４セグメンテーション原本正解イメージを生成することを特徴とする請求項２０に記載のコンピューティング装置。
【請求項25】
前記第１セグメンテーション原本正解イメージは、前記道路に対するセグメンテーション情報を含むことを特徴とする請求項１６に記載のコンピューティング装置。
【請求項26】
ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）による学習を遂行するための学習装置において、
（Ｉ）コンピューティング装置が（ｉ）道路走行状況を示す、少なくとも一つの第１原本イメージ及び（ｉｉ）前記第１原本イメージに対応する少なくとも一つの第１セグメンテーション原本正解イメージを獲得するプロセス、（ＩＩ）前記コンピューティング装置が（ｉ）少なくとも一つの特定の物体に対するイメージを含む少なくとも一つの第２原本イメージ及び（ｉｉ）前記特定の物体に対するセグメンテーション情報を含み前記第２原本イメージに対応する少なくとも一つの第２セグメンテーション原本正解イメージを獲得するプロセス、（ＩＩＩ）前記コンピューティング装置が、（ｉ）前記第２原本イメージから前記特定の物体に対応する部分を切り取って生成された少なくとも一つの第３原本イメージ及び（ｉｉ）前記第２セグメンテーション原本正解イメージから前記特定の物体が位置する部分に対応する各ピクセルを切り取って生成された少なくとも一つの第３セグメンテーション原本正解イメージを獲得するプロセス、及び（ＩＶ）前記コンピューティング装置が（ｉ）前記第３原本イメージを前記第１原本イメージに合成して、少なくとも一つの学習用第４原本イメージを生成し、（ｉｉ）前記第３原本イメージが前記第１原本イメージに合成された少なくとも一つの特定位置に対応するように、前記第３セグメンテーション原本正解イメージを前記第１セグメンテーション原本正解イメージに合成して少なくとも一つの学習用第４セグメンテーション原本正解イメージを生成することにより、前記学習用第４原本イメージとそれに対応する前記学習用第４セグメンテーション原本正解イメージを含む学習用データセットを生成するプロセスを遂行した状態で、前記学習用第４原本イメージを、自律走行状況で少なくとも一つの障害物検出のための少なくとも一つの学習用イメージとして入力を受ける通信部；及び
前記学習用第４原本イメージに対して、前記ＣＮＮの複数の演算を適用して出力イメージを獲得し、前記出力イメージと前記第４セグメンテーション原本正解イメージを比較した後、バックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）によって前記学習装置のパラメータを調整するプロセッサ；
を含むことを特徴とする学習装置。
（Ｉ）コンピューティング装置が（ｉ）道路走行状況を示す、少なくとも一つの第１原本イメージ及び（ｉｉ）前記第１原本イメージに対応する少なくとも一つの第１セグメンテーション原本正解イメージを獲得するプロセス、（ＩＩ）前記コンピューティング装置が（ｉ）少なくとも一つの特定の物体に対するイメージを含む少なくとも一つの第２原本イメージ及び（ｉｉ）前記特定の物体に対するセグメンテーション情報を含み前記第２原本イメージに対応する少なくとも一つの第２セグメンテーション原本正解イメージを獲得するプロセス、（ＩＩＩ）前記コンピューティング装置が、（ｉ）前記第２原本イメージから前記特定の物体に対応する部分を切り取って生成された少なくとも一つの第３原本イメージ及び（ｉｉ）前記第２セグメンテーション原本正解イメージから前記特定の物体が位置する部分に対応する各ピクセルを切り取って生成された少なくとも一つの第３セグメンテーション原本正解イメージを獲得するプロセス、及び（ＩＶ）前記コンピューティング装置が（ｉ）前記第３原本イメージを前記第１原本イメージに合成して、少なくとも一つの学習用第４原本イメージを生成し、（ｉｉ）前記第３原本イメージが前記第１原本イメージに合成された少なくとも一つの特定位置に対応するように、前記第３セグメンテーション原本正解イメージを前記第１セグメンテーション原本正解イメージに合成して少なくとも一つの学習用第４セグメンテーション原本正解イメージを生成することにより、前記学習用第４原本イメージとそれに対応する前記学習用第４セグメンテーション原本正解イメージを含む学習用データセットを生成するプロセスを遂行した状態で、前記学習用第４原本イメージを、自律走行状況で少なくとも一つの障害物検出のための少なくとも一つの学習用イメージとして入力を受ける通信部；及び
前記学習用第４原本イメージに対して、前記ＣＮＮの複数の演算を適用して出力イメージを獲得し、前記出力イメージと前記第４セグメンテーション原本正解イメージを比較した後、バックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）によって前記学習装置のパラメータを調整するプロセッサ；
を含むことを特徴とする学習装置。
【請求項27】
前記コンピューティング装置によって遂行される前記（ＩＶ）プロセスで、
（ＩＶ＿１）前記コンピューティング装置が、前記第３原本イメージ及び前記第３セグメンテーション原本正解イメージを互いに同一の方法で変形して各々変形された第３原本イメージ及び変形された第３セグメンテーション原本正解イメージを生成し；（ＩＶ＿２）前記コンピューティング装置が、前記変形された第３原本イメージ及び前記変形された第３セグメンテーション原本正解イメージを各々前記第１原本イメージ及び前記第１セグメンテーション原本正解イメージに合成することを特徴とする請求項２６に記載の学習装置。
（ＩＶ＿１）前記コンピューティング装置が、前記第３原本イメージ及び前記第３セグメンテーション原本正解イメージを互いに同一の方法で変形して各々変形された第３原本イメージ及び変形された第３セグメンテーション原本正解イメージを生成し；（ＩＶ＿２）前記コンピューティング装置が、前記変形された第３原本イメージ及び前記変形された第３セグメンテーション原本正解イメージを各々前記第１原本イメージ及び前記第１セグメンテーション原本正解イメージに合成することを特徴とする請求項２６に記載の学習装置。
【請求項28】
前記コンピューティング装置は、前記（ＩＶ＿１）プロセスで適用されるアルゴリズム及びその細部パラメータのうち少なくとも一部を変化させながら、前記（ＩＶ＿１）プロセス及び前記（ＩＶ＿２）プロセスを繰り返し遂行し、互いに異なる複数の前記学習用第４原本イメージ及び互いに異なる複数の前記学習用第４セグメンテーション原本正解イメージを生成することを特徴とする請求項２７に記載の学習装置。
【請求項29】
前記コンピューティング装置によって遂行される前記（ＩＶ）プロセスで、
前記コンピューティング装置は、（ｉ）前記第１原本イメージ内で道路に対応する部分を判断した後、前記第３原本イメージを前記第１原本イメージから前記道路に対応する部分内の任意の位置に合成し、前記学習用第４原本イメージを生成し、（ｉｉ）前記第１原本イメージでの前記任意の位置に対応するように前記第１セグメンテーション原本正解イメージに前記第３セグメンテーション原本正解イメージを合成することで、前記学習用第４セグメンテーション原本正解イメージを生成することを特徴とする請求項２６に記載の学習装置。
前記コンピューティング装置は、（ｉ）前記第１原本イメージ内で道路に対応する部分を判断した後、前記第３原本イメージを前記第１原本イメージから前記道路に対応する部分内の任意の位置に合成し、前記学習用第４原本イメージを生成し、（ｉｉ）前記第１原本イメージでの前記任意の位置に対応するように前記第１セグメンテーション原本正解イメージに前記第３セグメンテーション原本正解イメージを合成することで、前記学習用第４セグメンテーション原本正解イメージを生成することを特徴とする請求項２６に記載の学習装置。
【請求項30】
前記コンピューティング装置によって遂行される前記（ＩＶ）プロセスで、
前記コンピューティング装置は、前記任意の位置を変えながら前記学習用第４原本イメージ及び前記学習用第４セグメンテーション原本正解イメージを生成する過程を複数回遂行し、互いに異なる複数の前記学習用第４原本イメージ及び互いに異なる複数の前記学習用第４セグメンテーション原本正解イメージを生成することを特徴とする請求項２９に記載の学習装置。
前記コンピューティング装置は、前記任意の位置を変えながら前記学習用第４原本イメージ及び前記学習用第４セグメンテーション原本正解イメージを生成する過程を複数回遂行し、互いに異なる複数の前記学習用第４原本イメージ及び互いに異なる複数の前記学習用第４セグメンテーション原本正解イメージを生成することを特徴とする請求項２９に記載の学習装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自律走行状況で、少なくとも一つの障害物検出のための少なくとも一つの学習用データセットを生成する方法に関し；より詳しくは、前記自律走行状況で前記障害物検出のための前記学習用データセットを生成する方法において、（ａ）（ｉ）道路走行状況を示す少なくとも一つの第１原本イメージ及び（ｉｉ）前記第１原本イメージに対応する少なくとも一つの第１セグメンテーション原本正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）イメージを獲得する段階；（ｂ）（ｉ）少なくとも一つの特定の物体に対するイメージを含む少なくとも一つの第２原本イメージ及び（ｉｉ）前記特定の物体に対するセグメンテーション情報を含み、前記第２原本イメージに対応する少なくとも一つの第２セグメンテーション原本正解イメージを獲得する段階；（ｃ）（ｉ）前記第２原本イメージから前記特定の物体に対応する部分を切り取って生成された少なくとも一つの第３原本イメージ及び（ｉｉ）前記第２セグメンテーション原本正解イメージから前記特定の物体が位置する部分に対応する各ピクセルを切り取って生成された少なくとも一つの第３セグメンテーション原本正解イメージを獲得する段階；及び（ｄ）（ｉ）前記第３原本イメージを前記第１原本イメージに合成して、少なくとも一つの学習用第４原本イメージを生成し、（ｉｉ）前記第３原本イメージが前記第１原本イメージに合成された少なくとも一つの特定位置に対応するように、前記第３セグメンテーション原本正解イメージを前記第１セグメンテーション原本正解イメージに合成して少なくとも一つの学習用第４セグメンテーション原本正解イメージを生成することにより、前記学習用第４原本イメージとそれに対応する前記学習用第４セグメンテーション原本正解イメージを含む前記学習用データセットを生成する段階；を含む方法及びこれを利用したコンピューティング装置と学習方法及び学習装置に関する。
【背景技術】
【0002】
ディープ・コンボリューション・ニューラル・ネットワーク（Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ；ＤｅｅｐＣＮＮｓ）は、ディープラーニング分野で起きた驚くべき発展の核心である。ＣＮＮｓは、文字の認識問題を解くために９０年代にすでに使われたが、現在のように広く使われるようになったのは最近の研究結果のおかげである。このようなディープＣＮＮは２０１２年ＩｍａｇｅＮｅｔイメージ分類コンテストで他の競争相手に勝って優勝を収めた。そして、コンボリューションニューラルネットワークは機械学習分野で非常に有用なツールとなった。
【0003】
一方、イメージセグメンテーション（Ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ）は、入力としてイメージ（トレーニングイメージまたはテストイメージ）を受けて、出力としてラベル（ｌａｂｅｌ）イメージを作り出す方法である。最近、ディープラーニング（Ｄｅｅｐ ｌｅａｒｎｉｎｇ）技術が脚光を浴び、セグメンテーションもディープラーニングを多く利用する傾向にある。
【0004】
一方、自律走行状況で利用される障害物を検出するためにＣＮＮを学習する場合、学習装置は自律走行状況で遭遇する様々な物体を学習しなければならず、そのために学習用イメージは自律走行状況で向き合うことになる様々な物体が存在するイメージである必要がある。
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、実際の走行状況では、道路上に様々な物体が存在し得るが、このようなデータを収集することは容易ではない。つまり、道路上に頻繁に現れない特異な物体に対する学習イメージは、一般走行映像データでは容易には入手できないだろう。例えば、人や自転車、車両等に対しては、一般走行映像データから容易に得られるイメージであるため、このような物体が含まれる学習イメージでは検出性能を高めるための学習をし得るが、虎やワニ等に対しては、一般走行映像データから容易に入手できず、これにより特異な物体への検出性能を高めるための学習は容易でないという問題点が存在する。
【0006】
本発明は、前述した問題点を解決することを目的とする。
【0007】
本発明は、自律走行の際の実際の道路走行状況において、頻繁に接することのない物体を検出し得る性能を高めるために利用される学習用イメージセットを確保することを他の目的とする。
【0008】
また、本発明は、学習用データセットを用いてＣＮＮのパラメータを学習することにより、実際の道路走行状況で頻繁に接することのない物体に対しても正確度高く検出し得るようにする学習方法を提供することを他の目的とする。
【課題を解決するための手段】
【0009】
本発明の一態様によれば、自律走行状況で少なくとも一つの障害物検出のための少なくとも一つの学習用データセットを生成する方法は、（ａ）コンピューティング装置が、（ｉ）道路走行状況を示す少なくとも一つの第１原本イメージ及び（ｉｉ）前記第１原本イメージに対応する少なくとも一つの第１セグメンテーション原本正解（ｇｒｏｕｎｄ ｔｒｕｔｈ）イメージを獲得する段階；（ｂ）前記コンピューティング装置が、（ｉ）少なくとも一つの特定の物体に対するイメージを含む少なくとも一つの第２原本イメージ及び（ｉｉ）前記特定の物体に対するセグメンテーション情報を含み、前記第２原本イメージに対応する少なくとも一つの第２セグメンテーション原本正解イメージを獲得する段階；（ｃ）前記コンピューティング装置が、（ｉ）前記第２原本イメージから前記特定の物体に対応する部分を切り取って生成された少なくとも一つの第３原本イメージ及び（ｉｉ）前記第２セグメンテーション原本正解イメージから前記特定の物体が位置する部分に対応する各ピクセルを切り取って生成された少なくとも一つの第３セグメンテーション原本正解イメージを獲得する段階；及び（ｄ）前記コンピューティング装置が、（ｉ）前記第３原本イメージを前記第１原本イメージに合成して、少なくとも一つの学習用第４原本イメージを生成し、（ｉｉ）前記第３原本イメージが前記第１原本イメージに合成された少なくとも一つの特定位置に対応するように、前記第３セグメンテーション原本正解イメージを前記第１セグメンテーション原本正解イメージに合成して少なくとも一つの学習用第４セグメンテーション原本正解イメージを生成することにより、前記学習用第４原本イメージとそれに対応する前記学習用第４セグメンテーション原本正解イメージを含む前記学習用データセットを生成する段階；を含む。
【0010】
一例として、 前記（ｄ）段階は、（ｄ＿１）前記コンピューティング装置が、前記第３原本イメージ及び前記第３セグメンテーション原本正解イメージを互いに同一の方法で変形して各々変形された第３原本イメージ及び変形された第３セグメンテーション原本正解イメージを生成する段階；及び（ｄ＿２）前記コンピューティング装置が、前記変形された第３原本イメージ及び前記変形された第３セグメンテーション原本正解イメージを各々前記第１原本イメージ及び前記第１セグメンテーション原本正解イメージに合成する段階；を含む。
【0011】
一例として、前記（ｄ＿１）段階で、前記コンピューティング装置は、アフィン変換（ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍ）アルゴリズム及び薄板スプライン補間（ｔｈｉｎ−ｐｌａｔｅ ｓｐｌｉｎｅ ｉｎｔｅｒｐｏｌａｔｉｏｎ）アルゴリズムのうち少なくとも一つのアルゴリズムを利用して、前記第３原本イメージ及び前記第３セグメンテーション原本正解イメージを変形する。
【0012】
一例として、前記コンピューティング装置は、前記（ｄ＿１）段階で適用されるアルゴリズム及びその細部パラメータのうち少なくとも一部を変化させながら、前記（ｄ＿１）段階及び前記（ｄ＿２）段階を繰り返し遂行し、互いに異なる複数の前記学習用第４原本イメージ及び互いに異なる複数の前記学習用第４セグメンテーション原本正解イメージを生成する。
【0013】
一例として、 前記第１原本イメージ及び前記第１セグメンテーション原本正解イメージは様々な道路走行イメージデータベース及びこれに対応するセグメンテーション原本正解イメージデータベースから各々選択され、前記第２原本イメージ及び前記第２セグメンテーション原本正解イメージは、様々な物体の種類別原本イメージデータベース及びこれに対応するセマンティック（ｓｅｍａｎｔｉｃ）セグメンテーション原本正解イメージデータベースから各々選択される。
【0014】
一例として、 前記（ｃ）段階で、前記コンピューティング装置は、前記第２セグメンテーション原本正解イメージのセマンティックセグメンテーション情報を利用して、前記特定の物体を前記第２原本イメージ及び前記第２セグメンテーション原本正解イメージから切り取る。
【0015】
一例として、 前記（ｃ）段階で、前記コンピューティング装置は、（ｉ）前記第２セグメンテーション原本正解イメージ内の前記特定の物体に対するセマンティックセグメンテーション情報を有する領域を切り取って前記第３セグメンテーション原本正解イメージを獲得し、（ｉｉ）前記第２セグメンテーション原本正解イメージ内の前記第３セグメンテーション原本正解イメージ部分のピクセル情報に対応される前記第２原本イメージ内のピクセルの位置を参照にして前記第３原本イメージを獲得する。
【0016】
一例として、 前記（ｄ）段階で、前記コンピューティング装置は、（ｉ）前記第１原本イメージ内で道路に対応する部分を判断した後、前記第３原本イメージを前記第１原本イメージから前記道路に対応する部分内の任意の位置に合成し、前記学習用第４原本イメージを生成し、（ｉｉ）前記第１原本イメージでの前記任意の位置に対応するように前記第１セグメンテーション原本正解イメージに前記第３セグメンテーション原本正解イメージを合成することで、前記学習用第４セグメンテーション原本正解イメージを生成する。
【0017】
一例として、 前記（ｄ）段階で、前記コンピューティング装置は、前記任意の位置を変えながら前記学習用第４原本イメージ及び前記学習用第４セグメンテーション原本正解イメージを生成する過程を複数回遂行し、互いに異なる複数の前記学習用第４原本イメージ及び互いに異なる複数の前記学習用第４セグメンテーション原本正解イメージを生成する。
【0018】
一例として、前記第１セグメンテーション原本正解イメージは、前記道路に対するセグメンテーション情報を含む。
【0019】
本発明の他の態様によれば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）による学習方法において、（ａ）（Ｉ）コンピューティング装置が（ｉ）道路走行状況を示す、少なくとも一つの第１原本イメージ及び（ｉｉ）前記第１原本イメージに対応する少なくとも一つの第１セグメンテーション原本正解イメージを獲得するプロセス；（ＩＩ）前記コンピューティング装置が（ｉ）少なくとも一つの特定の物体に対するイメージを含む少なくとも一つの第２原本イメージ及び（ｉｉ）前記特定の物体に対するセグメンテーション情報を含み、前記第２原本イメージに対応する少なくとも一つの第２セグメンテーション原本正解イメージを獲得するプロセス；（ＩＩＩ）前記コンピューティング装置が、（ｉ）前記第２原本イメージから前記特定の物体に対応する部分を切り取って生成された少なくとも一つの第３原本イメージ及び（ｉｉ）前記第２セグメンテーション原本正解イメージから前記特定の物体が位置する部分に対応する各ピクセルを切り取って生成された少なくとも一つの第３セグメンテーション原本正解イメージを獲得するプロセス；及び（ＩＶ）前記コンピューティング装置が（ｉ）前記第３原本イメージを前記第１原本イメージに合成して、少なくとも一つの学習用第４原本イメージを生成し、（ｉｉ）前記第３原本イメージが前記第１原本イメージに合成された少なくとも一つの特定位置に対応するように、前記第３セグメンテーション原本正解イメージを前記第１セグメンテーション原本正解イメージに合成して少なくとも一つの学習用第４セグメンテーション原本正解イメージを生成することにより、前記学習用第４原本イメージとそれに対応する前記学習用第４セグメンテーション原本正解イメージを含む学習用データセットを生成するプロセスを遂行した状態で、学習装置が、前記学習用第４原本イメージを、自律走行状況で少なくとも一つの障害物検出のための少なくとも一つの学習用イメージとして入力を受ける段階；及び（ｂ）前記学習装置が、前記学習用第４原本イメージに対して、前記ＣＮＮの複数の演算を適用して出力イメージを獲得して、前記出力イメージと前記第４セグメンテーション原本正解イメージを比較した後、バックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）によって前記学習装置のパラメータを調整する段階；を含む。
【0020】
一例として、 前記（ＩＶ）プロセスで、（ＩＶ＿１）前記コンピューティング装置が、前記第３原本イメージ及び前記第３セグメンテーション原本正解イメージを互いに同一の方法で変形して各々変形された第３原本イメージ及び変形された第３セグメンテーション原本正解イメージを生成し；（ＩＶ＿２）前記コンピューティング装置が、前記変形された第３原本イメージ及び前記変形された第３セグメンテーション原本正解イメージを各々前記第１原本イメージ及び前記第１セグメンテーション原本正解イメージに合成する。
【0021】
一例として、前記コンピューティング装置は、前記（ＩＶ＿１）プロセスで適用されるアルゴリズム及びその細部パラメータのうち少なくとも一部を変化させながら、前記（ＩＶ＿１）プロセス及び前記（ＩＶ＿２）プロセスを繰り返し遂行し、互いに異なる複数の前記学習用第４原本イメージ及び互いに異なる複数の前記学習用第４セグメンテーション原本正解イメージを生成する。
【0022】
一例として、前記（ＩＶ）プロセスで、前記コンピューティング装置は、（ｉ）前記第１原本イメージ内で道路に対応する部分を判断した後、前記第３原本イメージを前記第１原本イメージから前記道路に対応する部分内の任意の位置に合成し、前記学習用第４原本イメージを生成し、（ｉｉ）前記第１原本イメージでの前記任意の位置に対応するように前記第１セグメンテーション原本正解イメージに前記第３セグメンテーション原本正解イメージを合成することで、前記学習用第４セグメンテーション原本正解イメージを生成する。
【0023】
一例として、前記（ＩＶ）プロセスで、前記コンピューティング装置は、前記任意の位置を変えながら前記学習用第４原本イメージ及び前記学習用第４セグメンテーション原本正解イメージを生成する過程を複数回遂行し、互いに異なる複数の前記学習用第４原本イメージ及び互いに異なる複数の前記学習用第４セグメンテーション原本正解イメージを生成する。
【0024】
本発明のさらに他の態様によれば、自律走行状況で、少なくとも一つの障害物検出のための少なくとも一つの学習用データセットを生成するコンピューティング装置において、（ｉ−１）道路走行状況を示す少なくとも一つの第１原本イメージ及び（ｉ−２）前記第１原本イメージに対応する少なくとも一つの第１セグメンテーション原本正解イメージを獲得し、（ｉｉ−１）少なくとも一つの特定の物体に対するイメージを含む少なくとも一つの第２原本イメージ及び（ｉｉ−２）前記特定の物体に対するセグメンテーション情報を含み、前記第２原本イメージに対応する少なくとも一つの第２セグメンテーション原本正解イメージを獲得するための通信部；及び（Ｉ）（ｉ）前記第２原本イメージから前記特定の物体に対応する部分を切り取って生成された少なくとも一つの第３原本イメージ及び（ｉｉ）前記第２セグメンテーション原本正解イメージから前記特定の物体が位置する部分に対応する各ピクセルを切り取って生成された少なくとも一つの第３セグメンテーション原本正解イメージを獲得するプロセス；及び（ＩＩ）（ｉ）前記第３原本イメージを前記第１原本イメージに合成して、少なくとも一つの学習用第４原本イメージを生成し、（ｉｉ）前記第３原本イメージが前記第１原本イメージに合成された少なくとも一つの特定位置に対応するように、前記第３セグメンテーション原本正解イメージを前記第１セグメンテーション原本正解イメージに合成して少なくとも一つの学習用第４セグメンテーション原本正解イメージを生成することにより、前記学習用第４原本イメージとそれに対応する前記学習用第４セグメンテーション原本正解イメージを含む前記学習用データセットを生成するプロセスを遂行するプロセッサ；を含む。
【0025】
一例として、前記（ＩＩ）プロセスで、（ＩＩ＿１）前記プロセッサが、前記第３原本イメージ及び前記第３セグメンテーション原本正解イメージを互いに同一の方法で変形して各々変形された第３原本イメージ及び変形された第３セグメンテーション原本正解イメージを生成するプロセス；及び（ＩＩ＿２）前記プロセッサが、前記変形された第３原本イメージ及び前記変形された第３セグメンテーション原本正解イメージを各々前記第１原本イメージ及び前記第１セグメンテーション原本正解イメージに合成するプロセス；を遂行する。
【0026】
一例として、 前記（ＩＩ＿１）プロセスで、前記プロセッサは、アフィン変換アルゴリズム及び薄板スプライン補間アルゴリズムのうち少なくとも一つのアルゴリズムを利用して、前記第３原本イメージ及び前記第３セグメンテーション原本正解イメージを変形する。
【0027】
一例として、前記プロセッサは、前記（ＩＩ＿１）プロセスで適用されるアルゴリズム及びその細部パラメータのうち少なくとも一部を変化させながら、前記（ＩＩ＿１）プロセス及び前記（ＩＩ＿２）プロセスを繰り返し遂行し、互いに異なる複数の前記学習用第４原本イメージ及び互いに異なる複数の前記学習用第４セグメンテーション原本正解イメージを生成する。
【0028】
一例として、前記第１原本イメージ及び前記第１セグメンテーション原本正解イメージは様々な道路走行イメージデータベース及びこれに対応するセグメンテーション原本正解イメージデータベースから各々選択され、前記第２原本イメージ及び前記第２セグメンテーション原本正解イメージは、様々な物体の種類別原本イメージデータベース及びこれに対応するセマンティックセグメンテーション原本正解イメージデータベースから各々選択される。
【0029】
一例として、前記（Ｉ）プロセスで、前記プロセッサは、前記第２セグメンテーション原本正解イメージのセマンティックセグメンテーション情報を利用して、前記特定の物体を前記第２原本イメージ及び前記第２セグメンテーション原本正解イメージから切り取る。
【0030】
一例として、前記（Ｉ）プロセスで、前記プロセッサは、（ｉ）前記第２セグメンテーション原本正解イメージ内の前記特定の物体に対するセマンティックセグメンテーション情報を有する領域を切り取って前記第３セグメンテーション原本正解イメージを獲得し、（ｉｉ）前記第２セグメンテーション原本正解イメージ内の前記第３セグメンテーション原本正解イメージ部分のピクセル情報に対応される前記第２原本イメージ内のピクセルの位置を参照にして前記第３原本イメージを獲得する。
【0031】
一例として、前記（ＩＩ）プロセスで、前記プロセッサは、（ｉ）前記第１原本イメージ内で道路に対応する部分を判断した後、前記第３原本イメージを前記第１原本イメージから前記道路に対応する部分内の任意の位置に合成し、前記学習用第４原本イメージを生成し、（ｉｉ）前記第１原本イメージでの前記任意の位置に対応するように前記第１セグメンテーション原本正解イメージに前記第３セグメンテーション原本正解イメージを合成することで、前記学習用第４セグメンテーション原本正解イメージを生成する。
【0032】
一例として、前記（ＩＩ）プロセスで、前記プロセッサは、前記任意の位置を変えながら前記学習用第４原本イメージ及び前記学習用第４セグメンテーション原本正解イメージを生成する過程を複数回遂行し、互いに異なる複数の前記学習用第４原本イメージ及び互いに異なる複数の前記学習用第４セグメンテーション原本正解イメージを生成する。
【0033】
一例として、前記第１セグメンテーション原本正解イメージは、前記道路に対するセグメンテーション情報を含む。
【0034】
本発明のさらに他の態様によれば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）による学習を遂行するための学習装置において、 （Ｉ）コンピューティング装置が（ｉ）道路走行状況を示す、少なくとも一つの第１原本イメージ及び（ｉｉ）前記第１原本イメージに対応する少なくとも一つの第１セグメンテーション原本正解イメージを獲得するプロセス、（ＩＩ）前記コンピューティング装置が（ｉ）少なくとも一つの特定の物体に対するイメージを含む少なくとも一つの第２原本イメージ及び（ｉｉ）前記特定の物体に対するセグメンテーション情報を含み前記第２原本イメージに対応する少なくとも一つの第２セグメンテーション原本正解イメージを獲得するプロセス、（ＩＩＩ）前記コンピューティング装置が（ｉ）前記第２原本イメージから前記特定の物体に対応する部分を切り取って生成された少なくとも一つの第３原本イメージ及び（ｉｉ）前記第２セグメンテーション原本正解イメージから前記特定の物体が位置する部分に対応する各ピクセルを切り取って生成された少なくとも一つの第３セグメンテーション原本正解イメージを獲得するプロセス、及び（ＩＶ）前記コンピューティング装置が（ｉ）前記第３原本イメージを前記第１原本イメージに合成して、少なくとも一つの学習用第４原本イメージを生成し、（ｉｉ）前記第３原本イメージが前記第１原本イメージに合成された少なくとも一つの特定位置に対応するように、前記第３セグメンテーション原本正解イメージを前記第１セグメンテーション原本正解イメージに合成して少なくとも一つの学習用第４セグメンテーション原本正解イメージを生成することにより、前記学習用第４原本イメージとそれに対応する前記学習用第４セグメンテーション原本正解イメージを含む学習用データセットを生成するプロセスを遂行した状態で、前記学習用第４原本イメージを、自律走行状況で少なくとも一つの障害物検出のための少なくとも一つの学習用イメージとして入力を受ける通信部；及び前記学習用第４原本イメージに対して、前記ＣＮＮの複数の演算を適用して出力イメージを獲得し、前記出力イメージと前記第４セグメンテーション原本正解イメージを比較した後、バックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）によって前記学習装置のパラメータを調整するプロセッサ；を含む。
【0035】
一例として、 前記コンピューティング装置によって遂行される前記（ＩＶ）プロセスで、（ＩＶ＿１）前記コンピューティング装置が、前記第３原本イメージ及び前記第３セグメンテーション原本正解イメージを互いに同一の方法で変形して各々変形された第３原本イメージ及び変形された第３セグメンテーション原本正解イメージを生成し；（ＩＶ＿２）前記コンピューティング装置が、前記変形された第３原本イメージ及び前記変形された第３セグメンテーション原本正解イメージを各々前記第１原本イメージ及び前記第１セグメンテーション原本正解イメージに合成する。
【0036】
一例として、前記コンピューティング装置は、前記（ＩＶ＿１）プロセスで適用されるアルゴリズム及びその細部パラメータのうち少なくとも一部を変化させながら、前記（ＩＶ＿１）プロセス及び前記（ＩＶ＿２）プロセスを繰り返し遂行し、互いに異なる複数の前記学習用第４原本イメージ及び互いに異なる複数の前記学習用第４セグメンテーション原本正解イメージを生成する。
【0037】
一例として、前記コンピューティング装置によって遂行される前記（ＩＶ）プロセスで、前記コンピューティング装置は、（ｉ）前記第１原本イメージ内で道路に対応する部分を判断した後、前記第３原本イメージを前記第１原本イメージから前記道路に対応する部分内の任意の位置に合成し、前記学習用第４原本イメージを生成し、（ｉｉ）前記第１原本イメージでの前記任意の位置に対応するように前記第１セグメンテーション原本正解イメージに前記第３セグメンテーション原本正解イメージを合成することで、前記学習用第４セグメンテーション原本正解イメージを生成する。
【0038】
一例として、前記コンピューティング装置によって遂行される前記（ＩＶ）プロセスで、前記コンピューティング装置は、前記任意の位置を変えながら前記学習用第４原本イメージ及び前記学習用第４セグメンテーション原本正解イメージを生成する過程を複数回遂行し、互いに異なる複数の前記学習用第４原本イメージ及び互いに異なる複数の前記学習用第４セグメンテーション原本正解イメージを生成する。
【発明の効果】
【0039】
本発明によれば、自律走行の際の実際の道路走行状況において、頻繁に接することのない物体を検出し得る性能を高めるために利用される学習用データセットを確保し得る効果がある。
【0040】
また、本発明によれば、学習用データセットをトレーニングイメージとして利用して、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）のパラメータを学習することにより、実際の道路走行状況で頻繁に接することのない物体に対しても正確度高く検出し得るようにする学習方法を提供し得る効果がある。
【図面の簡単な説明】
【0041】
本発明の前記及び他の目的及び特徴は、次の添付図面とともに与えられた好ましい実施例の説明において明らかになるだろう。【発明を実施するための形態】
【0042】
後述する本発明に対する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は当業者が本発明を実施することができるように充分詳細に説明される。本発明の多様な実施例は相互異なるが、相互排他的である必要はないことを理解されたい。例えば、ここに記載されている特定の形状、構造及び特性は一実施例に係る本発明の精神及び範囲を逸脱せずに他の実施例で具現され得る。また、各々の開示された実施例内の個別構成要素の位置または配置は本発明の精神及び範囲を逸脱せずに変更され得ることを理解されたい。従って、後述する詳細な説明は限定的な意味で捉えようとするものではなく、本発明の範囲は、適切に説明されると、その請求項が主張することと均等なすべての範囲と、併せて添付された請求項によってのみ限定される。図面で類似する参照符号はいくつかの側面にかけて同一か類似する機能を指称する。
【0043】
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得て、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
【0044】
以下、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施することができるようにするために、本発明の好ましい実施例について添付の図面を参照して詳細に説明することとする。
【0045】
図１は、本発明に係る自律走行状況で少なくとも一つの障害物検出のための少なくとも一つの学習用データセットを生成し、これによってＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）学習を遂行する方法を示したフローチャートであり、図２は、本発明に係る前記学習用データセットを生成する過程を示した図面である。
【0046】
図１及び図２を参照すれば、本発明に係る前記自律走行状況で前記障害物検出のための学習用データセットを生成する方法は、道路走行状態を示す第１原本イメージ及び前記第１原本イメージに対応する第１セグメンテーション原本正解イメージを獲得する段階Ｓ０１、特定の物体を含む第２原本イメージ及び前記第２原本イメージに対応する第２セグメンテーション原本正解イメージを獲得する段階Ｓ０２、前記第２原本イメージ及び前記第２セグメンテーション原本正解イメージから各々前記特定の物体に対応する領域を切り取って第３原本イメージ及び第３セグメンテーション原本正解イメージを獲得する段階Ｓ０３、前記第３原本イメージ及び前記第３セグメンテーション原本正解イメージを各々多様に変形させて変形された第３原本イメージ及び変形された第３セグメンテーション原本正解イメージを生成する段階Ｓ０４、前記変形された第３原本イメージを前記第１原本イメージの多様な位置に各々合成して、前記変形された第３原本イメージが前記第１原本イメージに合成された位置に対応するように前記変形された第３セグメンテーション原本正解イメージを前記第１セグメンテーション原本正解イメージに合成することで、学習用第４原本イメージとそれに対応する学習用第４セグメンテーション原本正解イメージを含む前記学習用データセットを生成する段階Ｓ０５、前記第４原本イメージを学習装置に入力し、前記第４原本イメージに対して前記学習装置に含まれた前記ＣＮＮによる複数回の演算を適用して出力イメージを獲得する段階Ｓ０６、及び前記出力イメージと前記学習用データセットに含まれた前記第４セグメンテーション原本正解イメージを比較してロス（ｌｏｓｓ）を獲得した後、バックプロパゲーション（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を通じて前記学習装置内前記ＣＮＮの少なくとも一つのパラメータを調整する段階Ｓ０７を含む。このような過程は、前記学習用データセットを生成するコンピューティング装置で遂行され得る。
【0047】
前記コンピューティング装置の通信部では、道路走行状況を示す前記第１原本イメージ及びこれに対応される前記第１セグメンテーション原本正解イメージを獲得し、前記特定の物体に対するイメージを含む前記第２原本イメージ及び前記特定の物体に対するセグメンテーション情報を含み、前記第２原本イメージに対応する前記第２セグメンテーション原本正解イメージを獲得する機能を遂行し、このコンピューティング装置のプロセッサでは、（ｉ）前記第２原本イメージから前記特定の物体に対応する部分を切り取って生成された前記第３原本イメージ及び前記第２セグメンテーション原本正解イメージから前記特定の物体が位置する部分に対応される各ピクセルを切り取って生成された前記第３セグメンテーション原本正解イメージを獲得するプロセス；及び（ｉｉ）前記第３原本イメージを前記第１原本イメージに合成して、前記学習用第４原本イメージを生成し、前記第３原本イメージが前記第１原本イメージに合成された少なくとも一つの特定位置に対応するように、前記第３セグメンテーション原本正解イメージを前記第１セグメンテーション原本正解イメージに合成して前記学習用第４セグメンテーション原本正解イメージを生成することにより、前記学習用第４原本イメージとそれに対応する前記学習用第４セグメンテーション原本正解イメージを含む前記学習用データセットを生成するプロセスを遂行する。
【0049】
まず、前記Ｓ０１段階では、図２の最上段左側図面のように、一般的な道路走行イメージデータベースから前記第１原本イメージが選択され、前記道路走行イメージデータベースに対応する第１セグメンテーション原本正解イメージデータベースから前記第１セグメンテーション原本正解イメージが選択される。
【0050】
この際、前記道路走行イメージデータベース及びこれに対応する前記第１セグメンテーション原本正解イメージデータベースは、多様な道路走行関連イメージとこれに各々対応する多様なセグメンテーション原本正解イメージが含まれており、前記道路走行イメージデータベースと、前記第１セグメンテーション原本正解イメージデータベースは一つのデータベースで構成され得る。この際、前記第１セグメンテーション原本正解イメージは、前記第１原本イメージ上の様々な物体に対するセマンティックセグメンテーション情報を含むイメージでもあり得るが、少なくとも道路に対するセグメンテーション情報さえ含んでいれば、前記第１セグメンテーション原本正解イメージとして充分であり得る。
【0051】
その後、前記Ｓ０２段階では、図２の二番目の行の左側図面のように、前記特定の物体に対するイメージを含む前記第２原本イメージ（前記第１原本イメージとは異なって道路走行環境である必要がなく、一般的には道路走行環境とは異なる環境であるだろう）を様々な物体の種類別原本イメージデータベースから選択して、図２の二番目の行の右側図面のように、前記第２原本イメージ内の前記特定の物体に対するセグメンテーション情報を含み、前記第２原本イメージに対応する前記第２セグメンテーション原本正解イメージを前記様々な物体の種類別原本イメージデータベースに対応する第２セグメンテーション原本正解イメージデータベースから選択する。この際、前記第２セグメンテーション原本正解イメージデータベースはセマンティックセグメンテーションイメージを含む。
【0052】
ここでも、前記様々な物体の種類別原本イメージデータベースと、前記第２セグメンテーションデータベースは一つのデータベースで構成され得て、牛、虎、熊、キリン、ワニ、犬、猫、人、鳥などのように道路で遭遇し得る任意の多様な物体に対するイメージとこれに対してセマンティックセグメンテーションを遂行した原本正解イメージがペアで含まれている。
【0053】
その後、前記Ｓ０３段階では、図２の三番目の行の左側図面のように、前記第２原本イメージから前記特定の物体に対応する部分（例えば、左側牛のイメージ部分）を切り取って前記第３原本イメージを生成して、図２の三番目の行の右側図面のように、前記第２セグメンテーション原本正解イメージから前記特定の物体が位置する部分に対応されるピクセルを切り取って前記第３セグメンテーション原本正解イメージを生成する。
【0054】
この際、前記コンピューティング装置は、前記第２セグメンテーション原本正解イメージから前記第３セグメンテーション原本正解イメージを先に切り取り、切り取ってから生成された前記第３セグメンテーション原本正解イメージのピクセル情報をもとに前記第２原本イメージから前記特定の物体に対応する部分を切り取って前記第３原本イメージを生成し得る。
【0055】
この際、前記コンピューティング装置は、前記第２セグメンテーション原本正解イメージのセマンティックセグメンテーション情報を利用して、前記第２原本イメージ及び前記第２セグメンテーション原本正解イメージから前記特定の物体に対応する部分を切り取る方法を利用する。具体的には、前記第２セグメンテーション原本正解イメージから前記第３セグメンテーション原本正解イメージ部分のピクセル情報に対応される前記第２原本イメージ内の前記ピクセルの位置を参照にして前記第３原本イメージが獲得される。
【0056】
再度図１を参照すると、前記Ｓ０４段階及び前記Ｓ０５段階では、前記コンピューティング装置が、前記第３原本イメージを前記第１原本イメージに合成し、前記第３原本イメージが前記第１原本イメージに合成された位置に対応するように前記第３セグメンテーション原本正解イメージを前記第１セグメンテーション原本正解イメージに合成する。これによって、前記学習用第４原本イメージとこれに対応する前記学習用第４セグメンテーション原本正解イメージが生成される。このように生成された前記学習用第４原本イメージと、前記学習用の第４セグメンテーション原本正解イメージは、前記学習用データセットとなる。
【0057】
本発明の一実施例によれば、前記コンピューティング装置は、前記第３原本イメージ及び前記第３セグメンテーション原本正解イメージを互いに同一の方法で変形した後、前記変形された第３原本イメージ及び前記変形された第３セグメンテーション原本正解イメージを各々前記第１原本イメージ及び前記第１セグメンテーション原本正解イメージに合成し得る。このような変形アルゴリズムの例は、アフィン変換（ａｆｆｉｎｅ ｔｒａｎｓｆｏｒｍ）アルゴリズム及び薄板スプライン補間（ｔｈｉｎ−ｐｌａｔｅ ｓｐｌｉｎｅ ｉｎｔｅｒｐｏｌａｔｉｏｎ）アルゴリズムなどが利用され得る。また、前記第３原本イメージ及び前記第３セグメンテーション原本正解イメージのサイズを変更したり、所定角度へ回転させたり、左右反転させるなどの方式でイメージを変形させ得る。このような段階は、前述した各過程の混合過程を繰り返すことにより遂行され、アルゴリズム又はこれに適用される詳細パラメータを変化させ続けたり、変形される前記サイズを変更させ続けたり、回転角度を変更させ続けながら様々に変形された第３原本イメージ及び多様に変形された第３セグメンテーション原本正解イメージを生成し得る。これによって、互いに異なる複数の前記学習用第４原本イメージ及び互いに異なる複数の前記学習用第４セグメンテーション原本正解イメージを生成され得る。つまり、一つの第１原本イメージと一つの第１セグメンテーション原本正解イメージ、及び一つの第３原本イメージと一つの第３セグメンテーション原本正解イメージから様々な前記学習用第４原本イメージや多様な前記学習用第４セグメンテーション原本正解イメージが生成され得るようになる。
【0058】
一方、前述のとおり、前記第１セグメンテーション原本正解イメージには前記道路に対するセグメンテーション情報が含まれているため、前記コンピューティング装置は、前記第１原本イメージ内で前記道路に該当する部分を判断した後、前記第３原本イメージを前記第１原本イメージ内の前記道路に対応する領域に合成して前記学習用第４原本イメージを生成する。この際、前記第３原本イメージを前記第１原本イメージ内の前記道路に対応する領域内で任意の位置に合成し、前記学習用第４原本イメージを生成し得る。そして、前記第１原本イメージ内の前記第３原本イメージが合成される前記任意の位置に対応するように前記第１セグメンテーション原本正解イメージに前記第３セグメンテーション原本正解イメージを合成することで、前記学習用第４セグメンテーション原本正解イメージを生成する。そしてこの段階でも、前記コンピューティング装置は、前記道路に対応する領域内で前記任意の位置を変え続けながら前記学習用第４原本イメージ及び前記学習用第４セグメンテーション原本正解イメージを生成する過程を複数回遂行し得る。これによって、互いに異なる複数の前記学習用第４原本イメージ及び互いに異なる複数の前記学習用第４セグメンテーション原本正解イメージが生成される。前記変形アルゴリズムを繰り返す場合のように、多様な前記学習用第４原本イメージ及び多様な前記学習用第４セグメンテーション原本正解イメージが一つの第１原本イメージと一つの第１セグメンテーション原本正解イメージ、及び一つの第３原本イメージと一つの第３セグメンテーション原本正解イメージから生成され得る。
【0059】
その後、再び図１を参照すれば、本発明は、前記合成された第４原本イメージを入力イメージとして前記Ｓ０６段階及び前記Ｓ０７段階が遂行される。
【0060】
図３は、本発明に係る前記獲得した学習用データセットを利用してＣＮＮイメージセグメンテーションを遂行する過程を示した図面である。
【0061】
図３を参照して、前記Ｓ０６段階及び前記Ｓ０７段階を具体的に説明すると、前記生成された学習用データセットからペアの前記第４原本イメージ及び前記第４セグメンテーション原本正解イメージが選択された後、前記選択された第４原本イメージがＣＮＮ装置にトレーニングイメージとして入力される。前記トレーニングイメージが入力されると、複数のコンボリューションフィルタ（またはコンボリューションレイヤ）で複数回のコンボリューション演算を遂行して特徴マップを獲得する。そして、最終的に生成された特徴マップ、すなわち、ＣＯＮＶ．Ｋの出力を複数のデコンボリューションフィルタ（またはデコンボリューションレイヤ）で複数回のデコンボリューション演算を遂行してセグメンテーションイメージを獲得する。このように前記コンボリューション演算でイメージをエンコーディング（ｅｎｃｏｄｉｎｇ）して前記特徴マップが獲得され、前記最終特徴マップ、すなわち前記ＣＯＮＶ．Ｋの出力がデコーディング（ｄｅｃｏｄｉｎｇ）され、前記セグメンテーションイメージ（またはラベル（ｌａｂｅｌ）イメージ）が獲得される前記ＣＮＮ装置の仕組みをエンコーディング・デコーディングネットワーク、またはＵ−Ｎｅｔという。前記エンコーディング過程で各コンボリューション演算を実行するたびに前記入力イメージの大きさが、例えば１／２に縮小されるのだが、これはイメージのサイズを減らして演算量を減らすためだ。また、前記エンコーディング過程において、前記コンボリューションフィルタにより入力されたイメージのチャンネル数は増加するのだが、これは減らされた演算量の利得を活用しながらも、増えたチャンネルを通じて複雑なパターンを得るためである。一般的に、前記エンコーディング過程で各々の前記コンボリューションフィルタを経るたびに、前記イメージのサイズは１／２に減りチャンネル数は２倍に増える。このように縮小された特徴マップは、高周波領域が多く除去され、低周波領域中心の情報を有することになるのだが、このような低周波領域は、イメージの意味のある（ｍｅａｎｉｎｇｆｕｌ）部分、すなわち、空、道路、建物、自動車などの詳しい部分を意味する。このような意味のあるパートを、前記デコンボリューション演算、すなわちデコーディング演算によって前記セグメンテーションイメージとして類推することになる。
【0062】
一方、前記ＣＮＮ学習を遂行する過程で、（ｉ）前記第４原本イメージを前記トレーニングイメージとして入力して算出された前記セグメンテーションイメージと（ｉｉ）前記第４セグメンテーション原本正解イメージとの差である前記ロスを計算する。そして、前記計算されたロスをバックプロパゲーションして、前記ＣＮＮの前記パラメータを最適化する学習を行う。
【0063】
本発明によれば、自律走行状況で実際の道路走行状況で獲得した映像データでは容易には得られない様々な状況、すなわち、様々な物体が道路上に存在する状況に対する多くの学習イメージセットを提供し得る。そして、これにより、実際の道路走行状況で頻繁に接することのできない物体に対してもＣＮＮ学習によって自律走行状況で検出し得る効果がある。
【0064】
本発明技術分野の通常の技術者に理解され、前記で説明されたイメージ、例えばトレーニングイメージ、テストイメージといったイメージデータの送受信が学習装置及びテスト装置の各通信部によって行われ得り、特徴マップと演算を遂行するためのデータが学習装置及びテスト装置のプロセッサ（及び／またはメモリ）によって保有／維持でき得り、コンボリューション演算、デコンボリューション演算、ロス値の演算過程が主に学習装置及びテスト装置のプロセッサにより遂行され得るが、本発明はこれに限定されるものではない。
【0065】
以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて遂行できるプログラム命令語の形態で具現されてコンピュータで判読可能な記録媒体に記録され得る。前記コンピュータで判読可能な記録媒体はプログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含まれ得る。前記コンピュータ判読可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものか、コンピュータソフトウェア分野の当業者に公知となって使用可能なものでもよい。コンピュータで判読可能な記録媒体の例には、ハードディスク、フロッピィディスク及び磁気テープのような磁気媒体、 ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどといったプログラム命令語を保存して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードも含まれる。前記のハードウェア装置は本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得て、その逆も同様である。
【0066】
以上、本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば係る記載から多様な修正及び変形が行われ得る。
【0067】
従って、本発明の思想は前記の説明された実施例に極限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。