知財求人 - 知財ポータルサイト「IP Force」
特開2024-159721画像の部分領域をニューラルネットワークに入力したことに基づいて外部オブジェクトを識別するための電子装置及びその方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024159721
(43)【公開日】2024-11-08
(54)【発明の名称】画像の部分領域をニューラルネットワークに入力したことに基づいて外部オブジェクトを識別するための電子装置及びその方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20241031BHJP
G08G 1/04 20060101ALI20241031BHJP
G08G 1/16 20060101ALI20241031BHJP
【ＦＩ】
G06T7/00 350C
G06T7/00 650B
G08G1/04 D
G08G1/16 C
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2024072232
(22)【出願日】2024-04-26
(31)【優先権主張番号】10-2023-0054677
(32)【優先日】2023-04-26
(33)【優先権主張国・地域又は機関】KR
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
２．ＷＣＤＭＡ
３．３ＧＰＰ
(71)【出願人】
【識別番号】516082420
【氏名又は名称】シンクウェア コーポレーション
【氏名又は名称原語表記】ＴＨＩＮＫＷＡＲＥ ＣＯＲＰＯＲＡＴＩＯＮ
(74)【代理人】
【識別番号】110002789
【氏名又は名称】弁理士法人ＩＰＸ
(72)【発明者】
【氏名】チュン・ヘジュン
(72)【発明者】
【氏名】パク・ヨセップ
【テーマコード（参考）】
5H181
5L096
【Ｆターム（参考）】
5H181AA01
5H181BB05
5H181BB20
5H181CC03
5H181CC04
5H181CC12
5H181CC14
5H181CC27
5H181DD10
5H181FF04
5H181FF33
5H181LL01
5H181LL02
5H181LL04
5H181LL07
5L096AA02
5L096AA06
5L096BA04
5L096BA17
5L096CA04
5L096CA14
5L096DA01
5L096DA03
5L096EA39
5L096FA12
5L096FA16
5L096FA54
5L096FA62
5L096FA64
5L096FA66
5L096FA69
5L096GA34
5L096GA40
5L096GA51
5L096GA55
5L096HA11
5L096KA04
(57)【要約】 （修正有）
【課題】ニューラルネットワークを用いて、外部オブジェクトを識別する電子装置及びその方法を提供する。
【解決手段】カメラ及びプロセッサを含む電子装置において、プロセッサは、カメラを介して取得した画像のＦＯＶ（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）に基づいて、画像を分割するために使用するウィンドウの幅を識別し、基準面に対応する視覚オブジェクトを含む第１の領域に基づいて、ウィンドウの高さを識別し、幅及び高さに基づいて、ウィンドウを使用して第１の領域を複数の部分領域に分割し、複数の部分領域のうち第１の部分領域が入力されたニューラルネットワークから、外部オブジェクトが第１の部分領域に含まれるか否かを識別し、外部オブジェクトが第１の部分領域に含まれるか否かに基づいて識別された間隔に基づいて、画像内で第１の部分領域から離隔された第２の部分領域を取得する。
【選択図】図１１
【解決手段】カメラ及びプロセッサを含む電子装置において、プロセッサは、カメラを介して取得した画像のＦＯＶ（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）に基づいて、画像を分割するために使用するウィンドウの幅を識別し、基準面に対応する視覚オブジェクトを含む第１の領域に基づいて、ウィンドウの高さを識別し、幅及び高さに基づいて、ウィンドウを使用して第１の領域を複数の部分領域に分割し、複数の部分領域のうち第１の部分領域が入力されたニューラルネットワークから、外部オブジェクトが第１の部分領域に含まれるか否かを識別し、外部オブジェクトが第１の部分領域に含まれるか否かに基づいて識別された間隔に基づいて、画像内で第１の部分領域から離隔された第２の部分領域を取得する。
【選択図】図１１
【特許請求の範囲】
【請求項1】
電子装置（ｅｌｅｃｔｒｏｎｉｃ ｄｅｖｉｃｅ）であって、
カメラと、
プロセッサとを含み、
前記プロセッサは、
前記カメラを介して取得された画像のＦＯＶ（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）に基づいて、前記画像の分割に使用されるウィンドウの幅（ｗｉｄｔｈ）を識別し、
基準面（ｒｅｆｅｒｅｎｃｅ ｓｕｒｆａｃｅ）に対応する視覚オブジェクトを含む第１の領域に基づいて、前記ウィンドウの高さ（ｈｅｉｇｈｔ）を識別し、
前記幅及び前記高さに基づいて、前記ウィンドウを用いて、前記第１の領域を複数の部分領域に分割し、
前記複数の部分領域のうち第１の部分領域が入力されたニューラルネットワークから、前記第１の部分領域に外部オブジェクトが含まれるか否かを識別し、
前記外部オブジェクトが、前記第１の部分領域に含まれるか否かに基づいて識別された間隔に基づいて、前記画像内で前記第１の部分領域から離隔された第２の部分領域を取得するように構成されている、電子装置。
カメラと、
プロセッサとを含み、
前記プロセッサは、
前記カメラを介して取得された画像のＦＯＶ（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）に基づいて、前記画像の分割に使用されるウィンドウの幅（ｗｉｄｔｈ）を識別し、
基準面（ｒｅｆｅｒｅｎｃｅ ｓｕｒｆａｃｅ）に対応する視覚オブジェクトを含む第１の領域に基づいて、前記ウィンドウの高さ（ｈｅｉｇｈｔ）を識別し、
前記幅及び前記高さに基づいて、前記ウィンドウを用いて、前記第１の領域を複数の部分領域に分割し、
前記複数の部分領域のうち第１の部分領域が入力されたニューラルネットワークから、前記第１の部分領域に外部オブジェクトが含まれるか否かを識別し、
前記外部オブジェクトが、前記第１の部分領域に含まれるか否かに基づいて識別された間隔に基づいて、前記画像内で前記第１の部分領域から離隔された第２の部分領域を取得するように構成されている、電子装置。
【請求項2】
前記プロセッサは、
前記カメラによる、第１の画像である前記画像の歪み（ｄｉｓｔｏｒｔｉｏｎ）を識別し、
前記第１の画像とは異なり、前記歪みを補償した第２の画像に基づいて、前記外部オブジェクトを識別するように構成されている、請求項１に記載の電子装置。
前記カメラによる、第１の画像である前記画像の歪み（ｄｉｓｔｏｒｔｉｏｎ）を識別し、
前記第１の画像とは異なり、前記歪みを補償した第２の画像に基づいて、前記外部オブジェクトを識別するように構成されている、請求項１に記載の電子装置。
【請求項3】
前記プロセッサは、
前記複数の部分領域を、前記幅の第１の比率だけ部分的に重なるように構成されている、請求項１に記載の電子装置。
前記複数の部分領域を、前記幅の第１の比率だけ部分的に重なるように構成されている、請求項１に記載の電子装置。
【請求項4】
センサをさらに含み、
前記プロセッサは、
前記センサに基づいて、第１の基準速度以下である、前記電子装置の第１の速度を識別し、及び
前記第１の速度の識別に基づいて、前記画像の縁部を含む第１のサブ領域において、前記複数の部分領域を、前記第１の比率より小さい第２の比率だけ重なるように構成されている、請求項３に記載の電子装置。
前記プロセッサは、
前記センサに基づいて、第１の基準速度以下である、前記電子装置の第１の速度を識別し、及び
前記第１の速度の識別に基づいて、前記画像の縁部を含む第１のサブ領域において、前記複数の部分領域を、前記第１の比率より小さい第２の比率だけ重なるように構成されている、請求項３に記載の電子装置。
【請求項5】
センサをさらに含み、
前記プロセッサは、
前記センサに基づいて、第２の基準速度以上である、前記電子装置の第２の速度を識別し、及び
前記第２の速度の識別に基づいて、前記画像の縁部を含む第１の部分領域とは異なる第２の部分領域において、前記複数の部分領域を、前記第１の比率よりも小さい第２の比率だけ重なるように構成されている、請求項３に記載の電子装置。
前記プロセッサは、
前記センサに基づいて、第２の基準速度以上である、前記電子装置の第２の速度を識別し、及び
前記第２の速度の識別に基づいて、前記画像の縁部を含む第１の部分領域とは異なる第２の部分領域において、前記複数の部分領域を、前記第１の比率よりも小さい第２の比率だけ重なるように構成されている、請求項３に記載の電子装置。
【請求項6】
スピーカをさらに含み、
前記プロセッサは、
前記外部オブジェクトを識別したことに基づいて、前記外部オブジェクトが識別されたことを知らせるためのオーディオ信号を出力するように構成されている、請求項１に記載の電子装置。
前記プロセッサは、
前記外部オブジェクトを識別したことに基づいて、前記外部オブジェクトが識別されたことを知らせるためのオーディオ信号を出力するように構成されている、請求項１に記載の電子装置。
【請求項7】
ディスプレイをさらに含み、
前記プロセッサは、
前記外部オブジェクトを識別したことに基づいて、前記外部オブジェクトに対応する視覚オブジェクトを表示するように構成されている、請求項１に記載の電子装置。
前記プロセッサは、
前記外部オブジェクトを識別したことに基づいて、前記外部オブジェクトに対応する視覚オブジェクトを表示するように構成されている、請求項１に記載の電子装置。
【請求項8】
センサをさらに含み、
前記プロセッサは、
前記センサを用いて識別された前記カメラが向いている方向を識別し、
指定された範囲内の前記方向を識別したことに基づいて、前記高さを識別するように構成されている、請求項１に記載の電子装置。
前記プロセッサは、
前記センサを用いて識別された前記カメラが向いている方向を識別し、
指定された範囲内の前記方向を識別したことに基づいて、前記高さを識別するように構成されている、請求項１に記載の電子装置。
【請求項9】
前記高さは、第１の高さであり、
前記プロセッサは、
前記第２の領域の第２の高さを識別し、
前記第２の高さと前記第１の高さとの差を識別したことに基づいて、前記画像の一部をキャプチャした前記複数の部分領域のサイズを調整するように構成されている、請求項１に記載の電子装置。
前記プロセッサは、
前記第２の領域の第２の高さを識別し、
前記第２の高さと前記第１の高さとの差を識別したことに基づいて、前記画像の一部をキャプチャした前記複数の部分領域のサイズを調整するように構成されている、請求項１に記載の電子装置。
【請求項10】
前記プロセッサは、
前記第２の高さより小さい前記第１の高さを識別したことに基づいて、前記第２の領域の一頂点（ｖｅｒｔｅｘ）を含む、第１の部分領域を識別し、
前記第１の部分領域と部分的に重なり、前記第１の部分領域と同じサイズを有する第２の部分領域を識別するように構成されている、請求項９に記載の電子装置。
前記第２の高さより小さい前記第１の高さを識別したことに基づいて、前記第２の領域の一頂点（ｖｅｒｔｅｘ）を含む、第１の部分領域を識別し、
前記第１の部分領域と部分的に重なり、前記第１の部分領域と同じサイズを有する第２の部分領域を識別するように構成されている、請求項９に記載の電子装置。
【請求項11】
電子装置（ｅｌｅｃｔｒｏｎｉｃ ｄｅｖｉｃｅ）であって、
メモリと、
プロセッサとを含み、
前記プロセッサは、
前記メモリに記憶された画像において、車線（ｌｉｎｅ）によって区切られた複数の車路（ｌａｎｅｓ）のうち第１の車路で、第１の車両を識別したことに基づいて、前記第１の車両に関連する第１のデータセットを取得し、
前記複数の車路のうち、前記第１の車路とは異なる第２の車路で、第２の車両を識別したことに基づいて、前記第２の車両に関連する第２のデータセットを取得し、
前記複数の車路のうち、前記第１の車路及び前記第２の車路とは異なる第３の車路で、第３の車両を識別したことに基づいて、前記第３の車両に関連する第３のデータセットを取得し、
前記第１のデータセット、前記第２のデータセット、及び及び前記第３のデータセットのそれぞれに基づくトゥルースデータ（ｔｒｕｔｈ ｄａｔａ）を用いて、ニューラルネットワークをトレーニングするように構成されている、電子装置。
メモリと、
プロセッサとを含み、
前記プロセッサは、
前記メモリに記憶された画像において、車線（ｌｉｎｅ）によって区切られた複数の車路（ｌａｎｅｓ）のうち第１の車路で、第１の車両を識別したことに基づいて、前記第１の車両に関連する第１のデータセットを取得し、
前記複数の車路のうち、前記第１の車路とは異なる第２の車路で、第２の車両を識別したことに基づいて、前記第２の車両に関連する第２のデータセットを取得し、
前記複数の車路のうち、前記第１の車路及び前記第２の車路とは異なる第３の車路で、第３の車両を識別したことに基づいて、前記第３の車両に関連する第３のデータセットを取得し、
前記第１のデータセット、前記第２のデータセット、及び及び前記第３のデータセットのそれぞれに基づくトゥルースデータ（ｔｒｕｔｈ ｄａｔａ）を用いて、ニューラルネットワークをトレーニングするように構成されている、電子装置。
【請求項12】
前記ニューラルネットワークは、
前記第１のデータセット、前記第２のデータセット、及び前記第３のデータセットのそれぞれから識別された車両の形態を用いてトレーニングされた、請求項１１に記載の電子装置。
前記第１のデータセット、前記第２のデータセット、及び前記第３のデータセットのそれぞれから識別された車両の形態を用いてトレーニングされた、請求項１１に記載の電子装置。
【請求項13】
前記ニューラルネットワークは、
前記車両として識別された第１のバウンディングボックス内に含まれる１つ又はそれ以上のテキストを含む第１のバウンディングボックス内の車両ナンバープレートを用いてトレーニングされた、請求項１１に記載の電子装置。
前記車両として識別された第１のバウンディングボックス内に含まれる１つ又はそれ以上のテキストを含む第１のバウンディングボックス内の車両ナンバープレートを用いてトレーニングされた、請求項１１に記載の電子装置。
【請求項14】
前記ニューラルネットワークは、
前記第２の領域に含まれる１つ又はそれ以上のテキストのラベリング（ｌａｂｅｌｉｎｇ）を用いてトレーニングされた、請求項１３に記載の電子装置。
前記第２の領域に含まれる１つ又はそれ以上のテキストのラベリング（ｌａｂｅｌｉｎｇ）を用いてトレーニングされた、請求項１３に記載の電子装置。
【請求項15】
電子装置（ｅｌｅｃｔｒｏｎｉｃ ｄｅｖｉｃｅ）の方法であって、
カメラを介して取得された画像のＦＯＶ（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）に基づいて、前記画像の分割に使用されるウィンドウの幅（ｗｉｄｔｈ）を識別する動作、
基準面（ｒｅｆｅｒｅｎｃｅ ｓｕｒｆａｃｅ）に対応する視覚オブジェクトを含む第１の領域に基づいて、前記ウィンドウの高さ（ｈｅｉｇｈｔ）を識別する動作、
前記幅及び前記高さに基づいて、前記画像内で互いに部分的に重なった複数の部分領域を分割する動作、
前記複数の部分領域のうち第１の部分領域が入力されたニューラルネットワークから、外部オブジェクトが前記第１の部分領域に含まれるか否かを識別する動作、及び
前記外部オブジェクトが、前記第１の部分領域に含まれるか否かに基づいて識別された間隔に基づいて、前記画像内で前記第１の部分領域から離隔された第２の部分領域を取得する動作を含む、方法。
カメラを介して取得された画像のＦＯＶ（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）に基づいて、前記画像の分割に使用されるウィンドウの幅（ｗｉｄｔｈ）を識別する動作、
基準面（ｒｅｆｅｒｅｎｃｅ ｓｕｒｆａｃｅ）に対応する視覚オブジェクトを含む第１の領域に基づいて、前記ウィンドウの高さ（ｈｅｉｇｈｔ）を識別する動作、
前記幅及び前記高さに基づいて、前記画像内で互いに部分的に重なった複数の部分領域を分割する動作、
前記複数の部分領域のうち第１の部分領域が入力されたニューラルネットワークから、外部オブジェクトが前記第１の部分領域に含まれるか否かを識別する動作、及び
前記外部オブジェクトが、前記第１の部分領域に含まれるか否かに基づいて識別された間隔に基づいて、前記画像内で前記第１の部分領域から離隔された第２の部分領域を取得する動作を含む、方法。
【請求項16】
前記方法は、
前記カメラによる第１の画像である前記画像の歪み（ｄｉｓｔｏｒｔｉｏｎ）を識別する動作、及び
前記第１の画像とは異なり、前記歪みを補償した第２の画像に基づいて、前記外部オブジェクトを識別する動作を含む、請求項１５に記載の方法。
前記カメラによる第１の画像である前記画像の歪み（ｄｉｓｔｏｒｔｉｏｎ）を識別する動作、及び
前記第１の画像とは異なり、前記歪みを補償した第２の画像に基づいて、前記外部オブジェクトを識別する動作を含む、請求項１５に記載の方法。
【請求項17】
前記方法は、
前記複数の部分領域を、前記幅の第１の比率だけ部分的に重なる動作を含む、請求項１５に記載の方法。
前記複数の部分領域を、前記幅の第１の比率だけ部分的に重なる動作を含む、請求項１５に記載の方法。
【請求項18】
前記方法は、
センサに基づいて、第１の基準速度以下である、前記電子装置の第１の速度を識別する動作、及び
前記第１の速度の識別に基づいて、前記画像の縁部を含む第１の部分領域で、前記複数の部分領域を、前記第１の比率よりも小さい第２の比率だけ重なる動作を含む、請求項１７に記載の方法。
センサに基づいて、第１の基準速度以下である、前記電子装置の第１の速度を識別する動作、及び
前記第１の速度の識別に基づいて、前記画像の縁部を含む第１の部分領域で、前記複数の部分領域を、前記第１の比率よりも小さい第２の比率だけ重なる動作を含む、請求項１７に記載の方法。
【請求項19】
前記方法は、
センサに基づいて、第２の基準速度以上である、前記電子装置の第２の速度を識別する動作、及び
前記第２の速度の識別に基づいて、前記画像の縁部を含む第１の部分領域とは異なる第２の部分領域で、前記複数の部分領域を、前記第１の比率よりも小さい第２の比率だけ重なる動作を含む、請求項１７に記載の方法。
センサに基づいて、第２の基準速度以上である、前記電子装置の第２の速度を識別する動作、及び
前記第２の速度の識別に基づいて、前記画像の縁部を含む第１の部分領域とは異なる第２の部分領域で、前記複数の部分領域を、前記第１の比率よりも小さい第２の比率だけ重なる動作を含む、請求項１７に記載の方法。
【請求項20】
前記方法は、
前記外部オブジェクトを識別したことに基づいて、前記外部オブジェクトが識別されたことを知らせるためのオーディオ信号を出力する動作を含む、請求項１５に記載の方法。
前記外部オブジェクトを識別したことに基づいて、前記外部オブジェクトが識別されたことを知らせるためのオーディオ信号を出力する動作を含む、請求項１５に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示（ｐｒｅｓｅｎｔ ｄｉｓｃｌｏｓｕｒｅ）は、画像の部分領域をニューラルネットワークに入力したことに基づいて、外部オブジェクトを識別するための電子装置及びその方法に関する。
【背景技術】
【0002】
画像オブジェクト認識技術が発達するにつれて、様々な形態のサービスが出現している。これらのサービスは、自律走行（Ａｕｔｏｍａｔｉｃ Ｄｒｉｖｉｎｇ）、拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）、仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、メタバス（Ｍｅｔａｖｅｒｓｅ）などに使用でき、スマートフォンなどの異なるユーザーが有する電子装置を介して提供することができる。前記サービスは、人工知能（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）など、ヒトの行動及び／又は思考を模倣するハードウェア及び／又はソフトウェアメカニズムに関連し得る。人工知能に関連する技術は、生物の神経網をシミュレートしたニューラルネットワークを利用する技術を含むことができる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
ニューラルネットワークを用いて、外部オブジェクトを識別するための方法が求められる場合がある。
【課題を解決するための手段】
【0004】
一実施形態（ａｎ ｅｍｂｏｄｉｍｅｎｔ）によれば、電子装置（ｅｌｅｃｔｒｏｎｉｃ ｄｅｖｉｃｅ）は、カメラ及びプロセッサを含むことができる。このプロセッサは、前記カメラを介して取得した画像のＦＯＶ（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）に基づいて、前記画像を分割するために使用されるウィンドウの幅（ｗｉｄｔｈ）を識別することができる。前記プロセッサは、基準面（ｒｅｆｅｒｅｎｃｅ ｓｕｒｆａｃｅ）に対応する視覚オブジェクトを含む第１の領域に基づいて、前記ウィンドウの高さ（ｈｅｉｇｈｔ）を識別することができる。前記プロセッサは、前記幅及び前記高さに基づいて、前記ウィンドウを用いて、前記第１の領域を複数の部分領域に分割することができる。前記プロセッサは、前記複数の部分領域のうち第１の部分領域が入力されたニューラルネットワークから、外部オブジェクトが前記第１の部分領域に含まれるか否かを識別することができる。前記プロセッサは、前記外部オブジェクトが、前記第１の部分領域に含まれるか否かに基づいて識別された間隔に基づいて、前記画像内で、前記第１の部分領域から離隔された第２の部分領域を取得することができる。
【0005】
一実施形態によれば、電子装置（ｅｌｅｃｔｒｏｎｉｃ ｄｅｖｉｃｅ）は、メモリ及びプロセッサを含むことができる。前記プロセッサは、前記メモリに記憶された画像において、車線（ｌｉｎｅ）によって区切られた複数の車路（ｌａｎｅｓ）のうち第１の車路で第１の車両を識別したことに基づいて、前記第１の車両に関連する第１のデータセットを取得することができる。前記プロセッサは、前記複数の車路のうち、前記第１の車路とは異なる第２の車路で、第２の車両を識別したことに基づいて、前記第２の車両に関連する第２のデータセットを取得することができる。前記プロセッサは、前記複数の車路のうち、前記第１の車路及び前記第２の車路とは異なる第３の車路で、第３の車両を識別したことに基づいて、前記第３の車両に関連する第３のデータセットを取得することができる。前記プロセッサは、前記第１のデータセット、前記第２のデータセット、及び前記第３のデータセットのそれぞれに基づくトゥルースデータ（ｔｒｕｔｈ ｄａｔａ）を用いて、ニューラルネットワークをトレーニングすることができる。
【0006】
一実施形態によれば、電子装置（ｅｌｅｃｔｒｏｎｉｃ ｄｅｖｉｃｅ）の方法は、カメラを介して取得した画像のＦＯＶ（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）に基づいて、前記画像を分割するために使用されるウィンドウの幅（ｗｉｄｔｈ）を識別する動作を含むことができる。この方法は、基準面（ｒｅｆｅｒｅｎｃｅ ｓｕｒｆａｃｅ）に対応する視覚オブジェクトを含む第１の領域に基づいて、前記ウィンドウの高さ（ｈｅｉｇｈｔ）を識別する動作を含むことができる。この方法は、前記幅と前記高さに基づいて、前記画像内で互いに部分的に重なっている複数の部分領域を分割する動作を含むことができる。この方法は、前記複数の部分領域のうち第１の部分領域が入力されたニューラルネットワークから、外部オブジェクトが前記第１の部分領域に含まれるか否かを識別する動作を含むことができる。この方法は、前記外部オブジェクトが、前記第１の部分領域に含まれるか否かに基づいて識別された間隔に基づいて、前記画像内で、前記第１の部分領域から離隔された第２の部分領域を取得する動作を含むことができる。
【発明の効果】
【0007】
本開示によれば、ニューラルネットワークを用いることで、外部オブジェクトを識別することができる。
【図面の簡単な説明】
【0008】
【図1】一実施形態による電子装置のブロック図（ｂｌｏｃｋ ｄｉａｇｒａｍ）の一例を示す。
【図2】一実施形態による、ニューラルネットワークを学習するための電子装置の一例を示す。
【図3a】一実施形態による、ニューラルネットワークの学習のために電子装置によって識別される情報を説明するための例示的な図である。
【図3b】一実施形態による、ニューラルネットワークの学習のために電子装置によって識別される情報を説明するための例示的な図である。
【図4a】基準面を識別するために行われる一実施形態による電子装置の動作の一例を説明するための図である。
【図4b】基準面を識別するために行われる一実施形態による電子装置の動作の一例を説明するための図である。
【図4c】基準面を識別するために行われる一実施形態による電子装置の動作の一例を説明するための図である。
【図5a】一実施形態による、外部オブジェクトを識別するための電子装置の動作を説明するための図である。
【図5b】一実施形態による、外部オブジェクトを識別するための電子装置の動作を説明するための図である。
【図5c】一実施形態による、外部オブジェクトを識別するための電子装置の動作を説明するための図である。
【図5d】一実施形態による、外部オブジェクトを識別するための電子装置の一例を示す。
【図6a】外部オブジェクトを識別するために行われる電子装置の動作の一例を示す。
【図6b】外部オブジェクトを識別するために行われる電子装置の動作の一例を示す。
【図6c】外部オブジェクトを識別するために行われる電子装置の動作の一例を示す。
【図7】一実施形態による、車両の自律走行システムを示すブロック図の一例を示す。
【図8】一実施形態による、自律走行移動体を示すブロック図の一例を示す。
【図9】一実施形態による、自律走行移動体を示すブロック図の一例を示す。
【図10】様々な実施形態によるユーザ装置に関連するゲートウェイの例を示す。
【図11】一実施形態による電子装置の動作に関するフローチャートの一例を示す。
【図12】一実施形態による電子装置の動作に関するフローチャートの一例を示す。
【図13】学習データのセットに基づいて、ニューラルネットワークをトレーニングする電子装置の動作を説明するための図である。
【図14】一実施形態による電子装置のブロック図である。
【発明を実施するための形態】
【0009】
本明細書に開示された様々な実施形態による電子装置は、様々な形態の装置であり得る。電子装置は、例えば、携帯用通信装置（例えば、スマートフォン）、コンピュータ装置、携帯用マルチメディア装置、携帯用医療機器、カメラ、電子装置、又は家電機器を含むことができる。本明細書の実施形態による電子装置は、前述の機器に限定されない。
【0010】
本明細書の様々な実施形態及びそれに使用される用語は、本明細書に記載された技術的特徴を、特定の実施形態に限定することを意図するものではなく、その実施形態の様々な変更、等価物、又は代替物を含むことを理解されたい。図面の説明に関して、類似又は関連する構成要素には、類似の参照番号を使用する場合がある。項目に対応する名詞の単数形は、関連する文脈上、明らかに別段の指示がない限り、項目１つ又はそれ以上を含むことができる。本明細書において、「Ａ又はＢ」、「Ａ及びＢのうち少なくとも１つ」、「Ａ又はＢのうち少なくとも１つ」、「Ａ、Ｂ又はＣ」「Ａ、Ｂ及びＣのうち少なくとも１つ」、及び「Ａ、Ｂ又はＣのうち少なくとも１つ」などの句の各々は、その句の対応する句に一緒に列挙された項目のいずれか、又はそれらの可能なすべての組み合わせを含むことができる。「第１」、「第２」、又は「一番目」又は「二番目」などの用語は、単にその構成要素を他の対応する構成要素と区別するために使用される場合があり、その構成要素を他の側面（例えば、重要性又は順序）に限定しない。ある（例えば、第１の）構成要素が、他の（例えば、第２の）構成要素に、「機能的に」又は「通信的に」という用語と組み合わせて、又はそのような用語なしで、「結合（ｃｏｕｐｌｅｄ）」又は「接続（ｃｏｎｎｅｃｔｅｄ）」と言及されている場合、それは、ある構成要素が他の構成要素に直接（例えば、有線で）、無線で、又は第３の構成要素を介して接続され得ることを意味する。
【0011】
本明細書で使用される「モジュール」という用語は、ハードウェア、ソフトウェア、又はファームウェアで実装されるユニットを含むことができ、例えば、論理、論理ブロック、部品、又は回路などの用語と交換可能に使用することができる。モジュールは、一体に構成された部品又は１つ又はそれ以上の機能を実行する、部品の最小単位又はその一部であり得る。例えば、一実施形態によれば、モジュールは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）の形態で実装され得る。
【0012】
本明細書の様々な実施形態は、機器（ｍａｃｈｉｎｅ、例えば、電子装置１０１）によって読み取り可能な記憶媒体（ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）（内臓メモリ又は外部メモリ）に格納された１つ又はそれ以上の命令を含むソフトウェア（例えば、プログラム）として実施することができる。例えば、機器（例えば、電子装置１０１）のプロセッサ（例えば、プロセッサ１２０）は、記憶媒体から格納された１つ又はそれ以上の命令のうち少なくとも１つの命令を呼び出し、それを実行することができる。これにより、機器が、呼び出された少なくとも１つの命令に従って、少なくとも１つの機能を実行するように動作することを可能にする。１つ又はそれ以上の命令は、コンパイラによって生成されたコード又はインタプリタによって実行され得るコードを含むことができる。機器で読み取り可能な記憶媒体は、非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体の形態で提供されてもよい。ここで、「非一時的」とは、記憶媒体が実在（ｔａｎｇｉｂｌｅ）する装置であり、信号（ｓｉｇｎａｌ、例えば、電磁波）を含まないことを意味するだけであり、この用語は、データが記憶媒体に半永久的に保存される場合と、一時的に保存される場合とを区別しない。
【0013】
一実施形態によれば、本明細書に開示された様々な実施形態による方法は、コンピュータプログラム製品（ｃｏｍｐｕｔｅｒ ｐｒｏｇｒａｍ ｐｒｏｄｕｃｔ）に含まれて提供されてもよい。コンピュータプログラム製品は、商品として販売者と購入者との間で取引され得る。コンピュータプログラム製品は、機器で読み取り可能な記憶媒体（例えば、ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ（ＣＤ－ＲＯＭ））の形態で配布されるか、又はアプリケーションストア（例えば、プレイストアＴＭ）を介して又は２つのユーザ装置（例：スマートフォン）間で直接、オンラインで配布（例えば、ダウンロード又はアップロード）されてもよい。オンライン配布の場合、コンピュータプログラム製品の少なくとも一部は、製造元のサーバ、アプリケーションストアのサーバ、又は中継サーバのメモリなどの機器で読み取り可能な記憶媒体に少なくとも一時的に保存されるか、一時的に生成され得る。
【0014】
様々な実施形態によれば、前記の構成要素の各構成要素（例えば、モジュール又はプログラム）は、単数又は複数の個体を含んでもよい。複数の個体のうち一部は、異なる構成要素に分離配置してもよい。様々な実施形態によれば、前述の該当構成要素のうち１つ又はそれ以上の構成要素又は動作を省略しても、又は１つ又はそれ以上の他の構成要素又は動作を追加してもよい。代替的又は追加的に、複数の構成要素（例えば、モジュール又はプログラム）は、１つの構成要素に統合することができる。この場合、統合された構成要素は、複数の構成要素の各構成要素の１つ又はそれ以上の機能を、統合前に複数の構成要素のうち該当構成要素によって実行されるのと同じ又は同様に実行することができる。様々な実施形態によれば、モジュール、プログラム、又は他の構成要素によって実行される動作は、順次、並列的、繰り返し、又は経験的に実行されてもよく、又は動作のうち１つ又はそれ以上が異なる順序で実行されても、省略されても、あるいは、１つ以上の他の動作が追加されてもよい。
【0015】
以下、添付の図面を参照して本明細書の様々な実施形態について説明する。
【0016】
図１は、一実施形態による電子装置のブロック図（ｂｌｏｃｋ ｄｉａｇｒａｍ）の一例を示す。
【0017】
図１を参照すると、一実施形態による電子装置１０１は、プロセッサ１２０、メモリ１３０、カメラ１４０、センサ１５０、ディスプレイ１６０、又はスピーカ１７０のうち少なくとも１つを含むことができる。プロセッサ１２０、メモリ１３０、カメラ１４０、センサ１５０、ディスプレイ１６０、及びスピーカ１７０は、通信バス（ａ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｂｕｓ）１１０などの電子部品（ｅｌｅｃｔｒｏｎｉｃａｌ ｃｏｍｐｏｎｅｎｔ）によって互いに電気的及び／又は動作的に接続することができる（ｅｌｅｃｔｒｏｎｉｃａｌｌｙ ａｎｄ／ｏｒ ｏｐｅｒａｂｌｙ ｃｏｕｐｌｅｄ ｗｉｔｈ ｅａｃｈ ｏｔｈｅｒ）。以下では、ハードウェアが動作的に結合されたことは、ハードウェアのうち第１のハードウェアによって第２のハードウェアが制御されるように、ハードウェア間の直接接続、又は間接的な接続が有線又は無線で確立されたことを意味することがある。異なるブロックに示されているが、実施形態は、これに限定されない。図１のハードウェアの一部は、ＳｏＣ（ｓｙｓｔｅｍ ｏｎ ａ ｃｈｉｐ）などの単一の集積回路（ｓｉｎｇｌｅ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）に含まれてもよい。電子装置１０１に含まれるハードウェアの種類及び／又は数は、図１に示すものに限定されない。例えば、電子装置１０１は、図１に示すハードウェアの一部のみを含むことができる。
【0018】
一実施形態によれば、電子装置１０１は、１つ以上の命令に基づいて、データを処理するためのハードウェアを含むことができる。データを処理するためのハードウェアは、プロセッサ１２０を含んでもよい。例えば、データを処理するためのハードウェアは、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ａｎｄ ｌｏｇｉｃ ｕｎｉｔ）、ＦＰＵ（ｆｌｏａｔｉｎｇ ｐｏｉｎｔ ｕｎｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、及び／又はＡＰ（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ）を含むことができる。プロセッサ１２０は、シングルコアプロセッサの構造を有してもよく、又はデュアルコア（ｄｕａｌ ｃｏｒｅ）、クアッドコア（ｑｕａｄ ｃｏｒｅ）、ヘキサコア（ｈｅｘａ ｃｏｒｅ）、又はオクタコア（ｏｃｔａ ｃｏｒｅ）などのマルチコアプロセッサの構造を有してもよい。
【0019】
一実施形態によれば、電子装置１０１のメモリ１３０は、電子装置１０１のプロセッサ１２０に入力及び／又は出力されるデータ及び／又は命令を格納するためのハードウェア構成要素を含んでもよい。例えば、メモリ１３０は、ＲＡＭ（ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）などの揮発性メモリ（ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、及び／又はＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）などの不揮発性メモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）を含むことができる。例えば、揮発性メモリは、ＤＲＡＭ（ｄｙｎａｍｉｃ ＲＡＭ）、ＳＲＡＭ（ｓｔａｔｉｃ ＲＡＭ）、キャッシュＲＡＭ（Ｃａｃｈｅ ＲＡＭ）、ＰＳＲＡＭ（ｐｓｅｕｄｏ ＳＲＡＭ）のうち少なくとも１つを含むことができる。例えば、不揮発性メモリは、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（ｅｒａｓａｂｌｅ ＰＲＯＭ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュメモリ、ハードディスク、コンパクトディスク、ＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）、ｅＭＭＣ（ｅｍｂｅｄｄｅｄ ｍｕｌｔｉ－ｍｅｄｉａ ｃａｒｄ）のうち少なくとも１つを含み得る。例えば、電子装置１０１のメモリ１３０は、ニューラルネットワークを含むことができる。電子装置１０１は、メモリ１３０に格納されたニューラルネットワークに基づいて、外部オブジェクトを識別することができる。例えば、電子装置１０１は、メモリ１３０に記憶された画像に基づいて、ニューラルネットワークをトレーニングすることができる。電子装置１０１は、前記画像で識別された外部オブジェクトに基づいて、ニューラルネットワークをトレーニングすることができる。例えば、電子装置１０１は、外部オブジェクトに対応し、道路（ｒｏａｄ）上を走行中の車両に対応する画像を用いて、ニューラルネットワークをトレーニングすることができる。例えば、前記道路は、車線（ｌｉｎｅ）を含むことができる。例えば、この道路は、車線によって区切られた車路（ｌａｎｅｓ）を含むことができる。電子装置１０１は、各車路で識別された車両を用いて、ニューラルネットワークを学習することができる。ニューラルネットワークをトレーニングする動作は、図２で後述する。
【0020】
一実施形態によれば、電子装置１０１のカメラ１４０は、レンズアセンブリ（ａｓｓｅｍｂｌｙ）、又は画像センサを含むことができる。このレンズアセンブリは、画像撮影の対象である被写体から放出された光を収集することができる。レンズアセンブリは、１つ又はそれ以上のレンズを含むことができる。一実施形態によれば、カメラ１４０は、複数のレンズアセンブリを含むことができる。例えば、カメラ１４０は、複数のレンズアセンブリのいくつかが同じレンズ特性（例えば、画角、焦点距離、オートフォーカス、ｆナンバー（ｆ ｎｕｍｂｅｒ）、又は光学ズーム）を有するか、又は少なくとも１つのレンズアセンブリは、他のレンズアセンブリのレンズ特性とは異なる１つ以上のレンズ特性を有することができる。レンズアセンブリは、広角レンズ又は望遠レンズを含んでもよい。一実施形態によれば、フラッシュは、１つ又はそれ以上の発光ダイオード（例えば、ＲＧＢ（ｒｅｄ－ｇｒｅｅｎ－ｂｌｕｅ）ＬＥＤ、ｗｈｉｔｅ ＬＥＤ、ｉｎｆｒａｒｅｄ ＬＥＤ、又は ｕｌｔｒａｖｉｏｌｅｔ ＬＥＤ）、又はゼノンランプ（ｘｅｎｏｎ ｌａｍｐ）を含むことができる。例えば、画像センサは、被写体から放射又は反射され、レンズアセンブリを介して伝達された光を、電気信号に変換することによって、被写体に対応する画像を取得することができる。一実施形態によれば、画像センサは、例えば、ＲＧＢセンサ、ＢＷ（ｂｌａｃｋ ａｎｄ ｗｈｉｔｅ）センサ、ＩＲセンサ、又はＵＶセンサなどの属性が異なる画像センサのうち選択された１つの画像センサ、同じ属性を有する複数の画像センサ、又は異なる属性を有する複数の画像センサを含むことができる。画像センサに含まれる各画像センサは、例えば、ＣＣＤ（ｃｈａｒｇｅｄ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）センサ又はＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサを用いて実現することができる。
【0021】
一実施形態によれば、電子装置１０１は、カメラ１４０を用いて画像を取得することができる。電子装置１０１は、取得された画像内で外部オブジェクトを識別することができる。電子装置１０１は、画像内で視覚オブジェクトを識別することができる。例えば、電子装置１０１は、前記視覚オブジェクトのうち、基準面に対応する視覚オブジェクトを識別したことに基づいて、外部オブジェクトを識別するための領域を識別することができる。例えば、前記基準面は、一面に垂直な方向に、重力が作用する面を含むことができる。電子装置１０１は、前記領域を複数の部分領域に分割することができる。例えば、電子装置１０１は、カメラ１４０及び／又は画像のＦＯＶ（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）に基づいて、前記領域を分割するためのウィンドウの幅（ｗｉｄｔｈ）を識別することができる。例えば、電子装置１０１は、基準面に対応する視覚オブジェクトを含む領域に基づいて、ウィンドウの高さ（ｈｅｉｇｈｔ）を識別することができる。電子装置１０１は、前記幅と前記高さに基づいて、前記領域を複数の部分領域に分割することができる。ウィンドウの幅及び／又は高さを識別するための動作は、図４ａ～図４ｃで後述する。
【0022】
一実施形態によれば、電子装置１０１は、カメラ１４０に基づいて取得された画像の歪み（ｄｉｓｔｏｒｔｉｏｎ）を識別することができる。電子装置１０１は、カメラ１４０の内部パラメータ（ｉｎｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒ）を識別することができる。電子装置１０１は、カメラ１４０の内部パラメータを識別したことに基づいて、歪みを識別することができる。例えば、電子装置１０１は、内部パラメータに基づいて、放射歪み（ｒａｄｉａｌ ｄｉｓｔｏｒｔｉｏｎ）及び／又は接線歪み（ｔａｎｇｅｎｔｉａｌ ｄｉｓｔｏｒｔｉｏｎ）を識別することができる。電子装置１０１は、第１の画像である画像内で歪みを識別したことに基づいて、前記歪みを補償した第２の画像を取得することができる。電子装置１０１は、第２の画像に基づいて、外部オブジェクトを識別することができる。例えば、電子装置１０１は、ニューラルネットワークに第２の画像を入力したことに基づいて、前記ニューラルネットワークを用いて、外部オブジェクトを識別することができる。
【0023】
一実施形態によれば、電子装置１０１のセンサ１５０は、ＩＭＵ（ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）センサなどの電子装置１０１の慣性を測定するためのセンサを含むことができる。例えば、ＩＭＵセンサは、ジャイロセンサ、加速度センサ、及び／又は６－ＤＯＦ（ｄｅｇｒｅｅ ｏｆ ｆｒｅｅｄｏｍ）センサを含むことができるが、これに限定されない。電子装置１０１は、センサ１５０を用いて、電子装置１０１と基準面（ｒｅｆｅｒｅｎｃｅ ｓｕｒｆａｃｅ）との間の角度を識別することができる。例えば、前記基準面は、一面に垂直な方向に、重力が作用する面を含むことができる。一実施形態によれば、電子装置１０１は、前記基準面を用いて、外部オブジェクトを識別するための領域を分割することができる。基準面を用いて、外部オブジェクトを識別するための領域を分割する動作については、図４ａ～図４ｃで後述する
【0024】
一実施形態によれば、電子装置１０１のセンサ１５０は、電子装置１０１の速度を測定するためのセンサを含んでもよい。例えば、電子装置１０１の速度を測定するためのセンサは、ＧＰＳ（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）センサを含むことができる。例えば、電子装置１０１は、ＧＰＳセンサに基づいて取得した電子装置１０１の位置の変更に基づいて、電子装置１０１の速度（ｖｅｌｏｃｉｔｙ）及び／又は速力（ｓｐｅｅｄ）を識別することができる。電子装置１０１は、電子装置１０１の速度及び／又は速力に基づいて、複数の部分領域間の間隔を変更することができる。この部分領域間の間隔を調整する動作については、図５ｃ～図５ｄで後述する。
【0025】
一実施形態によれば、電子装置１０１のディスプレイ１６０は、ユーザに視覚化された情報（ｖｉｓｕａｌｉｚｅｄ ｉｎｆｏｒｍａｔｉｏｎ）を出力することができる。例えば、ディスプレイ１６０は、ＧＰＵ（ｇｒａｐｈｉｃ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）などの回路を含むプロセッサ１２０によって制御され、ユーザに視覚化された情報を出力することができる。ディスプレイ１６０は、ＦＰＤ（ｆｌａｔ ｐａｎｅｌ ｄｉｓｐｌａｙ）、及び／又は電子ペーパー（ｅｌｅｃｔｒｏｎｉｃ ｐａｐｅｒ）を含むことができる。ＦＰＤは、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、ＰＤＰ（ｐｌａｓｍａ ｄｉｓｐｌａｙ ｐａｎｅｌ）、及び／又は１つ以上のＬＥＤ（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）を含むことができる。ＬＥＤは、ＯＬＥＤ（ｏｒｇａｎｉｃ ＬＥＤ）を含むことができる。一実施形態によれば、電子装置１０１は、ディスプレイ１６０を介して、カメラ１４０によって取得された画像を表示することができる。電子装置１０１は、前記画像内で識別された指定のタイプの外部オブジェクトを識別したことに基づいて、指定されたタイプの外部オブジェクトを強調表示することができる。例えば、電子装置１０１は、指定されたタイプの外部オブジェクト上に重畳で、外部オブジェクトに対応する視覚オブジェクトを表示することができる。例えば、電子装置１０１は、視覚オブジェクトのアルファ値（ａｌｐｈａ ｖａｌｕｅ）を変更したことに基づいて、視覚オブジェクトの透明度を変更してもよい。電子装置１０１は、透明度が変更された視覚オブジェクトを、外部オブジェクト上に重ねて表示することにより、外部オブジェクトを強調表示することができる。
【0026】
一実施形態によれば、電子装置１０１のスピーカ１７０は、スピーカ１７０内に振動板で振動を提供する少なくとも１つのボイスコイル（ｖｏｉｃｅ ｃｏｉｌ）、及び磁場を形成することができるマグネット（ｍａｇｎｅｔ）を含むことができる。少なくとも１つのボイスコイルに電流が流れると、ボイスコイルによって形成された磁場は、マグネットによって形成された磁場と相互作用（ｉｎｔｅｒａｃｔｉｏｎ）し、ボイスコイルを振動させることができる。ボイスコイルに接続された振動板は、ボイスコイルの振動に基づいて振動することができる。スピーカ１７０は、前記振動板の振動に基づいて、オーディオ信号を出力することができる。一実施形態によれば、電子装置１０１は、カメラ１４０を介して取得した画像内で、外部オブジェクトを識別することができる。例えば、電子装置１０１は、前記外部オブジェクトのタイプを識別することができる。電子装置１０１は、指定されたタイプの外部オブジェクトを識別したことに基づいて、スピーカ１７０を介して、オーディオ信号を出力することができる。例えば、指定されたタイプの外部オブジェクトは、障害物などの車両の移動を妨げるタイプに対応する外部オブジェクトを含むことができる。
【0027】
一実施形態によれば、電子装置１０１は、前記複数の部分領域のうち、第１の部分領域に外部オブジェクトが含まれるか否かを識別することができる。電子装置１０１は、第１の部分領域に外部オブジェクトが含まれるか否かに基づいて、第２の部分領域を識別することができる。例えば、電子装置１０１は、第１の部分領域に含まれる外部オブジェクトを識別したことに基づいて、第１の部分領域と第１の間隔で離隔された第２の部分領域を識別することができる。例えば、電子装置１０１は、第１の部分領域に外部オブジェクトが含まれていないことに基づいて、第１の部分領域と第２の間隔で離隔された第２の部分領域を識別することができる。例えば、第１の間隔は、第２の間隔よりも広くてもよい。電子装置１０１は、第１の間隔及び／又は第２の間隔で離隔された部分領域を、ニューラルネットワークに入力することができる。電子装置１０１は、前記部分領域が入力されたニューラルネットワークに基づいて、外部オブジェクトを識別することができる。
【0028】
前述したように、一実施形態によれば、電子装置１０１は、カメラを介して取得した画像のＦＯＶに基づいて、画像を分割することができる。例えば、電子装置１０１は、ＦＯＶに基づいて、画像を分割するために使用されるウィンドウの幅を識別することができる。一実施形態によれば、電子装置１０１は、基準面（例えば、地面）に対応する視覚オブジェクトを含む第１の領域を識別することができる。電子装置１０１は、第１の領域を識別したことに基づいて、前記ウィンドウの高さを識別することができる。例えば、電子装置１０１は、前記ウィンドウの幅と高さに基づいて、前記ウィンドウを用いて、第１の領域を複数の部分領域に分割することができる。例えば、電子装置１０１は、第１の間隔に基づいて、第１の領域を前記複数の部分領域に分割することができる。電子装置１０１は、前記複数の部分領域のうち第１の部分領域を、ニューラルネットワークに入力することができる。電子装置１０１は、第１の部分領域が入力されたニューラルネットワークから、外部オブジェクトが第１の部分領域に含まれるか否かを識別することができる。電子装置１０１は、第１の部分領域に含まれるか否かに基づいて、部分領域間の間隔を識別することができる。電子装置１０１は、前記複数の部分領域間の間隔に基づいて、第１の部分領域から離隔された第２の部分領域を取得することができる。例えば、前記間隔は、第１の間隔及び／又は第１の間隔よりも広い第２の間隔を含むことができる。電子装置１０１は、第１の間隔及び／又は第１の間隔よりも広い第２の間隔に基づく複数の部分領域に基づいて、外部オブジェクトを識別することによって、プロセッサ１２０の使用量を減らすことができる。
【0029】
図２は、一実施形態による、ニューラルネットワークを学習するための電子装置の一例を示す。図２の電子装置１０１は、図１の電子装置１０１を含むことができる。図２の動作は、図１のプロセッサ１２０によって実行することができる。
【0030】
一実施形態によれば、電子装置１０１は、メモリ（例えば、図１のメモリ１３０）内に格納された画像を識別することができる。例えば、前記画像は、電子装置１０１に含まれるカメラ（例えば、図１のカメラ１４０）を介して取得することができる。例えば、前記画像は、外部電子装置（例えば、サーバ）から送信されてもよい。例えば、電子装置１０１は、前記画像内で、複数の車路（ｌａｎｅｓ）２５０を識別することができる。例えば、複数の車路２５０は、車線２３０によって区切られてもよい。電子装置１０１は、複数の車路２５０のそれぞれで識別された車両に基づくトゥルースデータ（ｔｒｕｔｈ ｄａｔａ）を用いて、ニューラルネットワークをトレーニングすることができる。
【0031】
一実施形態によれば、電子装置１０１は、複数の車路２５０のうち１つに含まれる車両を識別することができる。例えば、電子装置１０１は、複数の車路２５０のうち左側で識別された第１の車路２５１で、第１の車両２２１を識別することができる。電子装置１０１は、第１の車両２２１を識別したことに基づいて、第１のバウンディングボックス２４１を識別することができる。電子装置１０１は、第１の車路２５１で第１の車両２２１を識別したことに基づいて、第１の車両２２１の形態を識別することができる。例えば、電子装置１０１は、第１のバウンディングボックス２４１内で、第１の車両２２１の右側面（ｒｉｇｈｔ ｓｉｄｅ）及び後面（ｒｅａｒ ｓｉｄｅ）を識別することができる。電子装置１０１は、第１の車両２２１の右側面及び後面を識別したことに基づいて、第１の車両２２１の形態を識別することができる。電子装置１０１は、第１のバウンディングボックス２４１を識別したことに基づいて、第１の車両２２１に関連する第１のデータセットを取得することができる。電子装置１０１は、第１のデータセットに基づくトゥルースデータを用いて、ニューラルネットワークをトレーニングすることができる。このトゥルースデータは、第１の車両２２１及び第１のバウンディングボックス２４１内で識別された車両ナンバープレート（ｌｉｃｅｎｓｅ ｐｌａｔｅ）に基づいて取得できる。
【0032】
一実施形態によれば、電子装置１０１は、第１のバウンディングボックス２４１内に、１つ以上のテキストを含む車両ナンバープレートを識別することができる。電子装置１０１は、前記１つ以上のテキストを含む車両ナンバープレートを用いて、ニューラルネットワークをトレーニングすることができる。例えば、電子装置１０１は、前記１つ以上のテキストに対して、ラベリング（ｌａｂｅｌｉｎｇ）を実行することができる。例えば、このラベリングは、データラベリングと呼ばれることがある。例えば、電子装置１０１は、前記１つ以上のテキストに対するラベリングを用いて、ニューラルネットワークをトレーニングすることができる。
【0033】
一実施形態によれば、電子装置１０１は、複数の車線２５０のうち中央車路である第２の車路２５２において、第２の車両２２２を識別することができる。例えば、第２の車路２５２は、第１の車線２３１によって第１の車路２５１と区別されてもよい。電子装置１０１は、第２の車両２２２を識別したことに基づいて、第２のバウンディングボックス２４２を識別することができる。電子装置１０１は、第２の車路２５２で第２の車両２２２を識別したことに基づいて、第２の車両２２２の形態を識別することができる。例えば、電子装置１０１は、第２のバウンディングボックス２４２内で、第２の車両２２２の後面を識別することができる。電子装置１０１は、第２の車両２２２の後面を識別したことに基づいて、第２の車両２２２の形態を識別することができる。電子装置１０１は、第２のバウンディングボックス２４２を識別したことに基づいて、第２の車両２２２に関連する第２のデータセットを取得することができる。電子装置１０１は、第２のデータセットに基づくトゥルースデータを用いて、ニューラルネットワークをトレーニングすることができる。前記トゥルースデータは、第２の車両２２２及び第２のバウンディングボックス２４２内で識別された車両ナンバープレートに基づいて取得することができる。
【0034】
一実施形態によれば、電子装置１０１は、第２のバウンディングボックス２４２内に、１つ以上のテキストを含む車両ナンバープレートを識別することができる。電子装置１０１は、前記１つ以上のテキストを含む車両ナンバープレートを用いて、ニューラルネットワークをトレーニングしてもよい。例えば、電子装置１０１は、前記１つ以上のテキストに対して、ラベリングを実行することができる。電子装置１０１は、第２のバウンディングボックス２４２内で識別された１つ以上のテキストに対するラベリングを用いて、ニューラルネットワークをトレーニングすることができる。
【0035】
一実施形態によれば、電子装置１０１は、複数の車路２５０のうち右側の車路である第３の車路２５３において、第３の車両２２３を識別することができる。例えば、第３の車路２５３は、第２の車線２３２によって第２の車路２５２と区別されてもよい。電子装置１０１は、第３の車両２２３を識別したことに基づいて、第３のバウンディングボックス２４３を識別することができる。電子装置１０１は、第３の車路２５３で第３の車両２２３０を識別したことに基づいて、第３の車両２２３の形態を識別することができる。例えば、電子装置１０１は、第３のバウンディングボックス２４３内で、第３の車両２２３の左側面（ｌｅｆｔ ｓｉｄｅ）及び後面を識別することができる。電子装置１０１は、第３の車両２２３の左側面及び後面を識別したことに基づいて、第３の車両２２３の形態を識別することができる。電子装置１０１は、第３のバウンディングボックス２４３を識別したことに基づいて、第３の車両２２３に関連する第３のデータセットを取得することができる。電子装置１０１は、第３のデータセットに基づくトゥルースデータを用いて、ニューラルネットワークをトレーニングすることができる。前記トゥルースデータは、第３の車両２２３及び第３のバウンディングボックス２４３内で識別された車両ナンバープレートに基づいて取得することができる。
【0036】
一実施形態によれば、電子装置１０１は、第１のデータセット、第２のデータセット、及び／又は第３のデータセットを取得するときに、各データセットを取得するためのバウンディングボックス２４０のそれぞれのサイズを同じように作成することができる。例えば、バウンディングボックス２４０の各々の幅ｗ１、ｗ２、ｗ３は、６４０ピクセル（ｐｉｘｅｌｓ）であり得る。例えば、バウンディングボックス２４０のそれぞれの高さｈ１、ｈ２、ｈ３は、６４０ピクセル（ｐｉｘｅｌｓ）であり得る。
【0037】
例えば、バウンディングボックス２４０の各々の縁部（ｐｅｒｉｐｈｅｒｉｅｓ）は、車両の中心から同じ距離だけ離隔されてもよい。電子装置１０１は、画像内で第１の車両２２１の中心点に対応する点Ｃ１を中心とする第１のバウンディングボックス２４１を識別することができる。同様に、第２のバウンディングボックス２４２の中心となる点Ｃ２は、画像内で第２の車両２２２の中心点に対応することができる。同様に、第３のバウンディングボックス２４３の中心となる点Ｃ３は、画像内で第３の車両２２３の中心点に対応することができる。
【0038】
例えば、バウンディングボックス２４０の各々の縁部は、車両の中心から、３２０ピクセル（ｐｉｘｅｌｓ）離れた距離に形成されてもよい。電子装置１０１は、バウンディングボックス２４０の各々内で、車両ナンバープレートのそれぞれを識別することができる。電子装置１０１は、車両ナンバープレート内で識別された１つ以上のテキストのそれぞれにラベリングを実行することができる。前記ラベリングに関連する動作は、図３ａで後述する。
【0039】
前述のように、一実施形態によれば、電子装置１０１は、複数の車路２５０のそれぞれで識別された車両の形態に基づくトゥルースデータを用いて、ニューラルネットワークをトレーニングすることができる。電子装置１０１は、複数の車路２５０のそれぞれで識別された車両の形態に基づくトゥルースデータを用いて、ニューラルネットワークをトレーニングすることによって、車両の位置を正確に測定するためのニューラルネットワークをトレーニングすることができる。以下の図３ａでは、バウンディングボックス内で識別された車両ナンバープレートに含まれる１つ又はそれ以上のテキストのそれぞれにラベリングする動作が後述される。
【0040】
図３ａは、一実施形態による、ニューラルネットワークの学習のために電子装置によって識別される情報を説明するための例示的な図である。
【0041】
【0042】
図３ａを参照すると、一実施形態によれば、電子装置１０１は、画像３００内で識別された車両に対応するバウンディングボックス（例えば、図２の第１のバウンディングボックス２４１、第２のバウンディングボックス２４２、及び／又は第３のバウンディングボックス２４３）を識別することができる。電子装置１０１は、バウンディングボックス内で車両ナンバープレートに対応する領域３１０を識別することができる。電子装置１０１は、領域３１０内で１つ以上のテキスト３２０を識別することができる。電子装置１０１は、１つ以上のテキスト３２０を識別したことに基づいて、前記１つ以上のテキストのそれぞれにラベリングを実行することができる。このラベリングは、データラベリングと呼ばれることがある。
【0043】
例えば、電子装置１０１は、第１のテキスト３２１に対応する第１の部分領域３３１を識別することができる。電子装置１０１は、第１の部分領域３３１に、第１のタグをラベリングすることができる。例えば、電子装置１０１は、第２のテキスト３２２に対応する第２の部分領域３３２を識別することができる。例えば、電子装置１０１は、第２の部分領域３３２に、第２にタグをラベリングすることができる。電子装置１０１は、第３のテキスト３２３に対応する第３の部分領域３３３を識別することができる。電子装置１０１は、第３の部分領域３３３に、第３のタグをラベリングすることができる。例えば、電子装置１０１は、第４のテキスト３２４に対応する第４の部分領域３３４を識別することができる。電子装置１０１は、第４の部分領域３３４に、第４のタグをラベリングすることができる。例えば、電子装置１０１は、第５のテキスト３２５に対応する第５の部分領域３３５を識別することができる。電子装置１０１は、第５の部分領域３３５に、第５のタグをラベリングすることができる。電子装置１０１は、第６のテキスト３２６に対応する第６の部分領域３３６を識別することができる。電子装置１０１は、第６の部分領域３３６に、第６のタグをラベリングすることができる。例えば、電子装置１０１は、第７のテキスト３２７に対応する第７の部分領域３３７を識別することができる。電子装置１０１は、第７の部分領域３３７に第７のタグをラベリングすることができる。例えば、電子装置１０１は、第８のテキスト３２８に対応する第８の部分領域３３８を識別することができる。電子装置１０１は、第８の部分領域３３８に、第８のタグをラベリングすることができる。１つ以上のテキスト３２０は、ヒトによって読み取り可能な（ｒｅａｄａｂｌｅ）文字を含むことができる。
【0044】
一実施形態によれば、電子装置１０１は、１つ又はそれ以上のテキスト３２０に対応する部分領域３３０のそれぞれにラベリングした部分領域３３０を用いて、ニューラルネットワークをトレーニングすることができる。電子装置１０１は、部分領域３３０を含むトゥルースデータを用いて、ニューラルネットワークをトレーニングすることができる。
【0045】
前述のように、一実施形態によれば、電子装置１０１は、画像３００に含まれる部分領域３３０を用いて、ニューラルネットワークをトレーニングすることができる。電子装置１０１は、部分領域３３０を用いて、ニューラルネットワークをトレーニングすることによって、前記ニューラルネットワークを実行するときに、画像内で指定された数以下のピクセルを有する外部オブジェクトを識別することができる。
【0046】
図３ｂは、一実施形態による、ニューラルネットワークを学習するために電子装置によって識別される情報を説明するための例示的な図である。
【0047】
図３ｂを参照して説明される電子装置１０１の動作は、図１、図２、及び／又は図３ａの電子装置１０１、及び／又は図１のプロセッサ１２０によって実行され得る。図３ｂを参照すると、車両ナンバープレート用のバウンディングボックスのセット３６０に含まれる１つのバウンディングボックス３４０に関連する電子装置１０１の動作が説明される。実施形態は、これに限定されず、電子装置１０１は、セット３６０に含まれる他のバウンディングボックスに対して、同様の動作を実行してもよい。
【0048】
図３ｂを参照すると、一実施形態によれば、電子装置１０１は、画像内で、車両ナンバープレートを含むバウンディングボックス３４０を識別することができる。電子装置１０１は、バウンディングボックス３４０の頂点を識別することができる。電子装置１０１は、バウンディングボックス３４０の左上の第１の頂点３４１を識別することができる。電子装置１０１は、第１の頂点３４１の画像内の第１の座標値を識別することができる。電子装置１０１は、バウンディングボックス３４０の右下の第２の頂点３４２を識別することができる。電子装置１０１は、第２の頂点３４２の画像内の第２の座標値を識別することができる。電子装置１０１は、第１の座標値及び第２の座標値に基づいて、前記車両ナンバープレートを含む視覚オブジェクトの車種を識別することができる。例えば、電子装置１０１は、前記車両ナンバープレートの画像内の位置に基づいて、前記視覚オブジェクトに対応する車種を識別することができる。前述した動作は、図３ａに示す車両ナンバープレートを識別する間に、電子装置１０１のプロセッサによって実行することができる。
【0049】
一実施形態によれば、電子装置１０１は、複数のカメラに基づいて取得した画像を用いて、車両ナンバープレートを識別することができる。例えば、電子装置１０１は、異なる角度で取得した画像に基づいて、車両ナンバープレートを識別することができる。例えば、電子装置１０１は、ホモグラフィ（ｈｏｍｏｇｒａｐｈｙ）などの投影技法に基づいて、前記車両ナンバープレートを識別することができる。電子装置１０１は、投影技法によって前記車両ナンバープレートを識別したことに基づいて、前記車両ナンバープレートを含むバウンディングボックス３４０を識別することができる。
【0050】
一実施形態によれば、電子装置１０１は、画像内で車両ナンバープレートを含むバウンディングボックス３４０を識別することができる。電子装置１０１は、バウンディングボックス３４０内で、１つ以上のテキスト３５１、３５３及び／又は視覚オブジェクト３５２を識別することができる。例えば、１つ以上のテキスト３５１、３５３は、地域を区別するための第１のセットの第１のテキスト３５１を含むことができる。例えば、第１のセットのテキスト３５１は、車両ナンバープレートが取り付けられた車両の登録地域を示すためのテキストを含んでもよい。例えば、１つ以上のテキスト３５１、３５３は、車両を区別するための識別番号を含む第２のセットのテキスト３５３を含むことができる。例えば、第２のセットのテキスト３５３は、アルファベット、及び／又は数字を含むことができるが、これに限定されない。
【0051】
一実施形態によれば、電子装置１０１は、第１のセットの第１のテキスト３５１の文字を識別することができる。電子装置１０１は、第１のテキスト３５１の文字を識別したことに基づいて、第１のテキスト３５１が車両の登録地域を表すことを識別することができる。一実施形態によれば、電子装置１０１は、第２のセットの第２のテキスト３５３の文字を識別することができる。電子装置１０１は、第２のテキスト３５３の文字を識別したことに基づいて、第２のテキスト３５３が車両を区別するための識別番号を示すことを識別することができる。
【0052】
一実施形態によれば、電子装置１０１は、バウンディングボックス３４０内で視覚オブジェクト３５２を識別することができる。例えば、視覚オブジェクト３５２は、車両の登録地域を表すための視覚オブジェクトを含んでもよい。例えば、視覚オブジェクト３５２は、動物、及び／又は植物などの自然物を含み得る。例えば、視覚オブジェクト３５２は、盾、及び／又はヘルメットなどの人工物を含み得るが、これに限定されない。例えば、視覚オブジェクト３５２は、人工物と自然物の組み合わせを含むことができる。
【0053】
一実施形態によれば、電子装置１０１は、バウンディングボックス３４０に含まれる１つ以上のテキスト３５１、３５３及び／又は視覚オブジェクト３５２のそれぞれにラベリングを実行することができる。例えば、電子装置１０１は、１つ以上のテキスト３５１、３５３のそれぞれにタグをラベリングすることができる。前記タグをラベリングする動作は、図３ａの動作と実質的に同じであってもよい。例えば、電子装置１０１は、ニューラルネットワークモデルを用いて、ラベリングを実行することができる。前記ニューラルネットワークモデルは、図３ａのニューラルネットワークと呼ぶことができる。
【0054】
一実施形態によれば、電子装置１０１は、第１のニューラルネットワークモデルを用いて、車両ナンバープレートを含む画像を生成することができる。例えば、電子装置１０１は、画像内のバウンディングボックス３４０を、第１のニューラルネットワークモデルに入力したことに基づいて、バウンディングボックス３４０に含まれる車両ナンバープレートと同様の画像を生成することができる。例えば、第１のニューラルネットワークモデルは、ＣＧＡＮ（ｃｏｎｄｉｔｉｏｎａｌ ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｓ）などの画像を生成するためのニューラルネットワークモデルを含むことができる。
【0055】
一実施形態によれば、電子装置１０１は、第１のニューラルネットワークモデルを介して出力された画像を、第１のニューラルネットワークモデルとは異なる第２のニューラルネットワークモデルに入力することができる。電子装置１０１は、第２のニューラルネットワークモデルに前記画像を入力することによって、第２のニューラルネットワークモデルを学習させることができる。例えば、第２のニューラルネットワークモデルは、画像内で車両ナンバープレートを識別するためのニューラルネットワークモデルを含んでもよい。
【0056】
前述のように、一実施形態によれば、電子装置１０１は、第１のニューラルネットワークモデルに基づいて取得した画像を用いて、第２のニューラルネットワークモデルを学習させることができる。電子装置１０１は、第１のニューラルネットワークモデルに基づいて、前記画像を取得することによって、第２のニューラルネットワークモデルを学習させるための画像を取得することができる。
【0057】
図４ａ～図４ｃは、基準面を識別するために行われる一実施形態による電子装置１０１の動作の一例を説明するための図である。図４ａ～図４ｃを参照して説明する電子装置１０１の動作は、図１、図２、図３ａ、及び／又は図３ｂの電子装置１０１によって実行することができる。図４ａ～図４ｃの動作は、図１のプロセッサ１２０によって実行することができる。
【0058】
図４ａを参照すると、一実施形態によれば、電子装置１０１は、カメラ（例えば、図１のカメラ１４０）、及びセンサ（例えば、図１のセンサ１５０）を含むことができる。例えば、電子装置１０１は、前記センサを用いて、前記カメラが向いている方向を識別することができる。例えば、図４ａでは、電子装置１０１のカメラは、＋ｚ軸方向を向いていてもよい。例えば、＋ｚ軸方向は、第１の方向であり得る。例えば、＋ｘ軸方向は、第２の方向であってもよい。例えば、＋ｙ軸方向は、第３の方向であってもよい。例えば、第１の方向、第２の方向、及び第３の方向は、互いに垂直であってもよい。電子装置１０１は、カメラの方向に基づいて、画像４１０内の基準面を識別することができる。例えば、電子装置１０１は、カメラの焦点距離（ｆｏｃａｌ ｌｅｎｇｔｈ）を識別することができる。電子装置１０１は、カメラの焦点距離に基づいて、前記基準面を識別するための基準点Ｐを識別することができる。例えば、前記基準点（ｒｅｆｅｒｅｎｃｅ ｐｏｉｎｔ）は、消失点（ｖａｎｉｓｈｉｎｇ ｐｏｉｎｔ）と呼ぶことがある。電子装置１０１は、基準点Ｐに基づいて、画像４１０を分割するためのウィンドウの高さ（ｈｅｉｇｈｔ）を識別することができる。例えば、電子装置１０１は、基準点Ｐ及び画像４１０の高さに基づいて、前記ウィンドウの高さを識別することができる。図４ａにおいて、基準点Ｐの座標は、（ｘ１、ｙ１、ｚ１）であり得る。例えば、電子装置１０１は、下記の数１に基づいて、前記ウィンドウの高さを識別することができる。
数１において、ｈは、ウィンドウの高さを含むことができる。前記数１において、ｙ１は、基準点のｙ座標に対応し得る。ｙ座標は、画像４１０の左下端の頂点を原点として形成された座標系におけるｙ座標を含むことができる。数１において、ｙ２は、画像４１０の高さを含むことができる。数１において、０．０５は、指定された値であり、変更可能（ｃｈａｎｇｅａｂｌｅ）であり得る。
【数1】
【0059】
一実施形態によれば、電子装置１０１は、焦点距離及び基準点Ｐに基づいて、画像４１０の高さを得るすることができる。例えば、電子装置１０１は、以下の数２に基づいて、画像４１０の高さを識別することができる。
数２において、ｙ３は、画像４１０の高さの半分を含むことができる。数２において、ｆは、カメラの焦点距離を含むことができる。数２において、ｙ１は、基準点Ｐのｙ座標に対応し得る。数２において、ｚ１は、基準点Ｐのｚ座標に対応し得る。電子装置１０１は、ｙ３に基づいて、画像４１０の高さを取得することができる。例えば、電子装置１０１は、ｙ３＊２の結果値に基づいて、画像４１０の高さを取得することができる。例えば、ｙ３＊２の結果値は、ｙ２と呼ぶことがある。電子装置１０１は、基準点Ｐに基づいて識別された基準面に基づいて、画像４１０を分割するための領域を識別することができる。電子装置１０１は、前記ウィンドウを用いて、前記領域を複数の部分領域に分割することができる。例えば、前記複数の部分領域のうち第１の部分領域は、第２の部分領域と指定された間隔で離隔されてもよい。前記指定された間隔は、電子装置１０１の速度によって変更されてもよい。
【数2】
【0060】
図４ｂを参照すると、一実施形態によれば、電子装置１０１は、画像４１０内で、複数の視覚オブジェクト４２０を識別することができる。電子装置１０１は、画像４１０内で、複数の視覚オブジェクト４２０が指定された数以上識別された領域を識別することができる。例えば、電子装置１０１は、指定された数以上の複数の視覚オブジェクト４２０を識別したことに基づいて、画像４１０を分割するための領域４３０を識別することができる。電子装置１０１は、前記ウィンドウを用いて、領域４３０を複数の部分領域に分割することができる。
【0061】
例えば、電子装置１０１は、領域４３０にＵ－ｎｅｔなどの画像分割（ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ）のためのニューラルネットワークに基づいて、複数の視覚オブジェクト４２０を識別することができる。電子装置１０１は、複数の視覚オブジェクト４２０を識別したことに基づいて、画像４１０内で、空に対応する領域を識別することができる。電子装置１０１は、前記空に対応する領域を識別したことに基づいて、基準面（例えば、地面）に対応する視覚オブジェクト４４０を識別することができる。電子装置１０１は、前記基準面に対応する視覚オブジェクト４４０を含む領域に基づいて、ウィンドウの高さを識別することができる。電子装置１０１は、画像４１０のＦＯＶに基づいて、ウィンドウの幅を識別することができる。例えば、ウィンドウの幅は、ＦＯＶに基づいて取得することができる。例えば、前記ウィンドウの幅は、後述する数３～数５に基づいて得ることができる。
数３を参照すると、例えば、ＦＯＶは、画像４１０、及び／又はカメラのＦＯＶを含み得る。例えば、ｙ２は、画像４１０の高さを含むことができる。例えば、ｙ２は、画像４１０の第２の方向のピクセルの数を含むことができる。例えば、ｆは、カメラの焦点距離を含むことができる。そして、ｔａｎ－１は、逆タンジェント（Ｉｎｖｅｒｓｅ Ｔａｎｇｅｎｔ）を表す。
数４を参照すると、「ＮＣＩ（ｎｕｍｂｅｒ ｏｆ ｔｏｔａｌ ｃｒｏｐ ｉｍａｇｅｓ）」は、画像４１０のｘ軸方向に形成される複数の部分領域の数を含むことができる。例えば、「ＦＯＶ」は、数３に基づいて取得された値であり得る。例えば、数４において、「２」、及び／又は「１」は、指定された値として変更可能であり得る。数４の２０は、ＦＯＶにおいて、１つの車線の水平方向内のＦＯＶであり得る。数４の２０は、経験的（ｈｅｕｒｉｓｔｉｃ）に決定された値であり、実施形態に従って他の値に置き換えることができる。
数５を参照すると、例えば、「ＲＣＳ（ＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）ｃｒｏｐ ｓｉｚｅ）」は、ウィンドウの幅を含むことができる。例えば、「ｉｎｐｕｔ ｗｉｄｔｈ」は、画像４１０の幅を含むことができる。例えば、「ｉｎｐｕｔ ｗｉｄｔｈ」は、画像４１０の第３の方向に形成されたピクセルの数を含むことができる。例えば、ＮＣＩは、数４に基づいて得られた結果値であり得る。例えば、「１」及び／又は「２」は、指定された値として変更可能であり得る。
【数3】
【数4】
【数5】
【0062】
一実施形態によれば、電子装置１０１は、ウィンドウの幅及び高さに基づいて、前記ウィンドウを用いて、基準面に対応する視覚オブジェクト４４０を含む領域を、複数の部分領域に分割することができる。電子装置１０１は、前記複数の部分領域を順次にニューラルネットワークに入力することができる。電子装置１０１は、順次に入力された複数の部分領域に基づいて、前記部分領域内の外部オブジェクトを識別することができる。
【0063】
図４ｃを参照すると、一実施形態によれば、電子装置１０１は、画像４１０に対して画像処理（ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ）を実行することができる。この画像処理は、ピラミッド画像処理と呼ばれることがある。例えば、ピラミッド画像処理は、ガウシアン（Ｇａｕｓｓｉａｎ）ピラミッド、ラプラシアン（Ｌａｐｌａｃｉａｎ）ピラミッド、及び／又はステアラブル（ｓｔｅｅｒａｂｌｅ）ピラミッドを含むことができる。例えば、電子装置１０１は、モルフォロジー（ｍｏｒｐｈｏｌｏｇｙ）演算に基づいて、画像４１０に対して画像処理を実行することができる。前記モルフォロジー演算は、侵食（ｅｒｏｓｉｏｎ）及び／又は膨張（ｄｉｌａｔｉｏｎ）を含んでもよい。
【0064】
電子装置１０１は、画像４１０に対する画像処理に基づいて、画像４１５を取得することができる。例えば、電子装置１０１は、画像４１０内で識別された複数の視覚オブジェクトの色を変更することができる。例えば、電子装置１０１は、画像４１０内で複数の視覚オブジェクトに対応する第１の部分を、第１の色（例えば、黒色）に変更することができる。電子装置１０１は、前記複数の視覚オブジェクトに対応する第１の部分を、第１の色に変更した画像４１５を取得することができる。電子装置１０１は、第１の部分と異なる第２の部分を、第２の色（例えば、白色）に変更してもよい。電子装置１０１は、第１の部分及び第２の部分の色を変更した画像４１５を取得することができる。電子装置１０１は、画像４１５内で、画像４１５の第３の方向に配列されたピクセルで、第１の色の比率が指定された比率以上で識別されたことに基づいて、基準面を識別することができる。例えば、電子装置１０１は、前記基準面を識別したことに基づいて、画像４１５を分割するための領域を識別することができる。電子装置１０１は、前記ウィンドウを用いて、前記領域を分割することができる。
【0065】
前述したように、一実施形態によれば、電子装置１０１は、ウィンドウに基づいて、画像を分割することができる。電子装置１０１は、複数の部分領域に分割された画像を、ニューラルネットワークに順次に入力することができる。電子装置１０１は、前記複数の部分領域をニューラルネットワークに入力したことに基づいて、前記複数の部分領域内で、外部オブジェクトを識別することができる。電子装置１０１は、前記分割された画像に基づいて、外部オブジェクトを識別することによって、プロセッサの使用量を減らすことができる。電子装置１０１は、前記分割された画像に基づいて、外部オブジェクトを識別することによって、前記部分領域内で外部オブジェクトを識別することができる。
【0066】
図５ａ～図５ｃは、一実施形態による、外部オブジェクトを識別するための電子装置１０１の動作を説明するための図である。図５ａ～図５ｄの電子装置１０１は、図１、図２、図３ａ、図３ｂ、図４ａ、図４ｂ、及び／又は図４ｃの電子装置１０１を含むことができる。図５ａ～図５ｄの動作は、図１のプロセッサ１２０によって実行することができる。図５ａ～図５ｄの動作は、ニューラルネットワークを用いて、外部オブジェクトを識別する動作を含んでもよい。
【0067】
図５ａ～図５ｂを参照すると、一実施形態によれば、電子装置１０１は、カメラ（例えば、図１のカメラ１４０）を介して、画像５００を取得することができる。一実施形態によれば、電子装置１０１は、画像５００を分割するためのウィンドウの幅及び高さを識別することができる。前記ウィンドウの幅と高さは、図４ａ～図４ｃの動作に基づいて識別することができる。電子装置１０１は、前記幅及び高さに基づいて、前記ウィンドウを用いて、第１の領域５１０内の複数の部分領域５２０を取得することができる。例えば、部分領域５２０は、第１の間隔５３１だけ離隔して配置されてもよい。例えば、第１の間隔５３１は、部分領域５２０のそれぞれの第１の縁部（例えば、左側の端部）間の間隔を含むことができる。例えば、第１の間隔５３１は、部分領域５２０のそれぞれの第２の縁部（例えば、右側の縁部）間の間隔を含むことができる。例えば、第１の間隔５３１は、部分領域５２０のそれぞれの中心点間の間隔を含むことができる。例えば、第１の間隔５３１は、ウィンドウの幅の半分に対応する間隔であり得る。例えば、第１の部分領域５２１、第２の部分領域５２２、第３の部分領域５２３、第４の部分領域５２４、第５の部分領域５２５、第６の部分領域５２６、及び／又は第７の部分領域５２７は、同じサイズであってもよい。部分領域５２０の数は、限定されない。一実施形態によれば、電子装置１０１は、第１の部分領域５２１から第７の部分領域５２７まで、順次に（ｓｅｑｕｅｎｔｉａｌｌｙ）ニューラルネットワークに入力することができる。電子装置１０１は、ニューラルネットワークに入力された部分領域５２０に基づいて、部分領域５２０のうち少なくとも１つに含まれる外部オブジェクト５０１を識別することができる。
【0068】
一実施形態によれば、電子装置１０１は、複数の領域５２０を、ニューラルネットワークに入力することができる。電子装置１０１は、複数の領域５２０をニューラルネットワークに入力したことに基づいて、複数の領域５２０内で、外部オブジェクト５０１を識別することができる。
【0069】
図５ｂを参照すると、一実施形態によれば、電子装置１０１は、ニューラルネットワークに部分領域５２０を入力することができる。電子装置１０１は、前記ニューラルネットワークから、外部オブジェクト５０１が第１の部分領域５２１に含まれるか否かを識別することができる。電子装置１０１は、第１の部分領域５２１に外部オブジェクト５０１が含まれるか否かに基づいて、第１の間隔５３１及び／又は第２の間隔５３２を識別することができる。例えば、電子装置１０１は、第１の部分領域５２１内で外部オブジェクト５０１を識別することができる。電子装置１０１は、第１の部分領域５２１で外部オブジェクト５０１を識別したことに基づいて、第２の間隔５３２を識別することができる。電子装置１０１は、第２の間隔５３２に基づいて、第４の部分領域５２４を取得することができる。例えば、電子装置１０１は、第１の部分領域５２１で外部オブジェクト５０１を識別したことに基づいて、外部オブジェクト５０１が識別された部分領域（例えば、第１の部分領域５２１、第２の部分領域５２２、及び第３の部分領域５２３）に対応する第２の間隔５３２を識別することができる。電子装置１０１は、第２の間隔５３２を識別したことに基づいて、第１の部分領域５２１から第２の間隔５３２だけ離隔された第４の部分領域５２４を取得することができる。電子装置１０１は、第４の部分領域５２４の取得に基づいて、第４の部分領域５２４を、ニューラルネットワークに入力することができる。
【0070】
図５ｃ～図５ｄを参照すると、一実施形態によれば、電子装置１０１は、センサ（例えば、図１のセンサ１５０）に基づいて、電子装置１０１の速度を識別することができる。電子装置１０１は、前記速度に基づいて、部分領域（例えば、図５ａ及び／又は図５ｂの部分領域５２０）間の間隔を変更することができる。例えば、電子装置１０１は、前記速度に基づいて、前記部分領域のうち一部間の間隔を変更することができる。一実施形態によれば、電子装置１０１は、電子装置１０１の速度に基づいて、複数の車路２５０に対応する領域で、部分領域５４０間の間隔を変更することができる。
【0071】
一実施形態によれば、電子装置１０１は、複数の部分領域５２０を重ねて形成することができる。電子装置１０１は、ウィンドウの幅に基づいて、複数の部分領域５２０を重ねてもよい。例えば、電子装置１０１は、前記ウィンドウの幅の第１の比率だけ重畳してもよい。例えば、第１の比率は、約５０％を含み得る。例えば、第１の比率は、「１／２」で表すことができるが、これに限定されない。
【0072】
一実施形態によれば、電子装置１０１は、第１の基準速度以下である、電子装置１０１の第１の速度を識別することができる。例えば、第１の基準速度は、約４０ｋｍ／ｈを含み得る。電子装置１０１は、第１の基準速度以下である第１の速度を識別したことに基づいて、前記画像の縁部を含む第１のサブ領域において、前記複数の部分領域を、第１の比率より小さい第２の比率だけ重畳してもよい。例えば、第２の比率は、第１の比率の二乗と実質的に同じであってもよい。例えば、第１の比率が「（１／ｎ）」として提供される場合、第２の比率は、「（１／ｎ）ｍ」として提供されてもよい。例えば、ｎ＝ｍ＝２の場合、第１の比率は、１／２であり、第２の比率は、１／４であり得る。前記の例では、電子装置１０１及び／又は電子装置１０１を含む車両の速度が、第１の基準速度である約４０ｋｍ／ｈ以上であるか、以下であるかによって、サブ領域に重畳される部分領域の数は、異なる場合がある。例えば、電子装置１０１の速度が第１の基準速度以上である場合、部分領域は、第１のサブ領域に第１の比率（＝１／２）に従って重なってもよい。例えば、電子装置１０１の速度が第１の基準速度以下である場合、部分領域は、第１のサブ領域に第２の比率（＝１／４）に従って重なってもよい。
【0073】
一実施形態によれば、電子装置１０１は、第２の基準速度を超えた、電子装置１０１の第２の速度を識別することができる。例えば、第２の基準速度は、約６０ｋｍ／ｈを含み得る。電子装置１０１は、第２の基準速度を超えた第２の速度を識別したことに基づいて、前記画像の縁部を含む第２のサブ領域において、前記複数の部分領域を、第１の比率よりも小さい第２の比率だけ重畳してもよい。例えば、第２の比率は、第１の比率の二乗と実質的に同じであってもよい。例えば、第１の割合が「（１／ｎ）」として提供される場合、第２の割合は、「（１／ｎ）ｍ」として提供されてもよい。
【0074】
図５ｃを参照すると、一実施形態によれば、電子装置１０１は、センサに基づいて、電子装置１０１の速度を識別することができる。電子装置１０１は、速度に基づいて、複数の車路２５０のうち指定された車路に対応する複数の部分領域間の間隔を変更することができる。例えば、電子装置１０１は、第２の車路２５２を含むサブ領域内の部分領域５４１、５４２を用いて、外部オブジェクトを識別することができる。例えば、電子装置１０１は、第２の基準速度を超えた第２の速度を識別することができる。例えば、第２の基準速度は、約６０ｋｍ／ｈを含み得る。電子装置１０１は、前記複数の領域間の間隔を変更することができる。例えば、電子装置１０１は、第１の部分領域５４１と第２の部分領域５４２との間の間隔を、第１の間隔５３３に変更することができる。電子装置１０１は、変更された間隔の複数の部分領域内で、外部オブジェクトを識別することができる。
【0075】
図５ｄを参照すると、一実施形態によれば、電子装置１０１は、センサに基づいて、電子装置１０１の速度を識別することができる。電子装置１０１は、速度に基づいて、複数の車路２５０のうち指定された車路に対応する複数の部分領域間の間隔を変更することができる。例えば、前記指定された車路は、第１の車路２５１と第３の車路２５３とを含むことができる。電子装置１０１は、左側の縁部又は右側の縁部を含むサブ領域５４０内の部分領域５４３、５４４を用いて、外部オブジェクトを識別することができる。例えば、電子装置１０１は、第１の基準速度以下である第１の速度を識別することができる。例えば、第１の基準速度は、約６０ｋｍ／ｈを含み得る。電子装置１０１は、前記複数の領域間の間隔を変更してもよい。例えば、電子装置１０１は、第１の部分領域５４３と第２の部分領域５４４との間の間隔を、第２の間隔５３４に変更することができる。電子装置１０１は、前記変更された間隔の複数の部分領域内で、外部オブジェクトを識別することができる。図５ｃの第１の間隔５３３及び図５ｄの第２の間隔５３４は、実質的に同じであってもよい。
【0076】
前述のように、一実施形態によれば、電子装置１０１は、ニューラルネットワークに入力された画像の部分領域に基づいて、外部オブジェクトを識別することができる。電子装置１０１は、画像内の複数の部分領域を、ニューラルネットワークに順次入力することができる。電子装置１０１は、順次に入力された部分領域に基づいて、前記部分領域内の外部オブジェクトを識別することができる。電子装置１０１は、前記部分領域内で外部オブジェクトを識別した場合、前記部分領域を含まない異なる部分領域を、ニューラルネットワークに入力することができる。電子装置１０１は、前述した動作を行うことにより、プロセッサの使用量を低減することができる。
【0077】
図６ａ～図６ｃは、外部オブジェクトを識別するために実行される電子装置の動作の一例を示す。図６ａ～図６ｃを参照して行われる電子装置１０１の動作は、図１、図２、図３ａ、図３ｂ、図４ａ、図４ｂ、図４ｃ、図５ａ、図５ｂ、図５ｃ、及び／又は図５ｄの電子装置１０１によって実行されてもよい。図６ａ～図６ｃの動作は、図１のプロセッサ１２０によって実行することができる。図６ａ～図６ｃの動作は、ニューラルネットワークを用いて、外部オブジェクトを識別する動作を含んでもよい。
【0078】
図６ａ～図６ｃを参照すると、一実施形態によれば、電子装置１０１は、カメラ（例えば、図１のカメラ１４０）を介して、画像６１０を取得することができる。例えば、画像６１０は、ニューラルネットワークの入力に使用される画像とは異なるサイズの画像を含むことができる。電子装置１０１は、前記ニューラルネットワークの入力に用いられる画像のサイズに対応するサイズで、画像６１０のサイズを変更することができる。例えば、電子装置１０１は、第１のサイズを有する部分領域を、ニューラルネットワークに入力したことに基づいて、外部オブジェクトを識別することができる。電子装置１０１は、ニューラルネットワークに用いられる部分領域よりも大きいサイズを有する部分領域６２０を取得することができる。電子装置１０１は、部分領域６２０を取得したことに基づいて、部分領域６２０のサイズを変更することができる。例えば、電子装置１０１は、部分領域６２０の画像処理に基づいて、部分領域６２０のサイズを変更することができる。例えば、電子装置１０１は、部分領域６２０に対してダウンスケーリング（ｄｏｗｎ－ｓｃａｌｉｎｇ）及び／又はアップスケーリング（ｕｐ－ｓｃａｌｉｎｇ）を実行することができる。電子装置１０１は、ダウンスケーリング及び／又はアップスケーリングを行ったことに基づいて、部分領域６２０のサイズを変更することができる。
【0079】
一実施形態によれば、電子装置１０１は、ニューラルネットワークに用いられる部分領域よりも大きいサイズを有する部分領域６２０を取得したことに基づいて、第１の領域６１５の左上端の頂点を含む部分領域６２０を用いたニューラルネットワークを実行することができる。例えば、電子装置１０１は、第１の領域６１５の左上端から第１の領域６１５の右上端に、外部オブジェクトを識別する動作を実行することができる。
【0080】
図６ｂを参照すると、一実施形態によれば、電子装置１０１は、画像６１０内で、部分領域６３０を取得することができる。電子装置１０１は、部分領域６３０のサイズがニューラルネットワークに要求されるサイズより大きいことを識別することができる。電子装置１０１は、前記ニューラルネットワークに要求されるサイズよりも大きい部分領域６３０のサイズを識別したことに基づいて、部分領域６３０のサイズを縮小することができる。例えば、電子装置１０１は、部分領域６３０のダウンスケーリングに基づいて、部分領域６３０のサイズを縮小することができる。電子装置１０１は、部分領域６３０のサイズを縮小した部分領域６３５を取得することができる。電子装置１０１は、前記ダウンスケーリングによって処理された部分領域６３５を、ニューラルネットワークに入力することができる。電子装置１０１は、部分領域６３５をニューラルネットワークに入力したことに基づいて、部分領域６３５内で外部オブジェクトを識別することができる。
【0081】
図６ｃを参照すると、一実施形態によれば、電子装置１０１は、画像６１０内で、部分領域６４０を取得することができる。電子装置１０１は、部分領域６４０のサイズがニューラルネットワークに要求されるサイズより小さいことを識別することができる。電子装置１０１は、前記ニューラルネットワークに要求されるサイズよりも小さい部分領域６４０のサイズを識別したことに基づいて、部分領域６４０のサイズを拡大することができる。例えば、電子装置１０１は、部分領域６４０のアップスケーリングに基づいて、部分領域６４０のサイズを拡大することができる。電子装置１０１は、部分領域６４０のサイズを拡大した部分領域６４５を取得することができる。電子装置１０１は、前記アップスケーリングによって処理された部分領域６４５を、ニューラルネットワークに入力することができる。電子装置１０１は、部分領域６４５をニューラルネットワークに入力したことに基づいて、部分領域６４５内で外部オブジェクトを識別することができる。
【0082】
前述のように、一実施形態によれば、電子装置１０１は、ニューラルネットワークに入力された画像の部分領域に基づいて、外部オブジェクトを識別することができる。例えば、前記ニューラルネットワークは、画像の部分領域を用いて、外部オブジェクトを識別するためのニューラルネットワークを含んでもよい。電子装置１０１は、ニューラルネットワークに入力するための画像の部分領域のサイズを変更することができる。電子装置１０１は、変更されたサイズを有する部分領域を、ニューラルネットワークに入力することによって、様々なサイズの画像内で外部オブジェクトを識別することができる。電子装置１０１は、前記ニューラルネットワークを用いて、外部オブジェクトを識別することによって、比較的小さいサイズを有する外部オブジェクトを識別することができる。電子装置１０１は、前記部分領域に基づいて、外部オブジェクトを識別することによって、プロセッサの使用量を低減することができる。
【0083】
図７は、一実施形態による、車両の自律走行システムを示すブロック図の一例を示す。
【0084】
図７による車両の自律走行システム７００は、センサ７０３、画像前処理器７０５、ディープラーニングネットワーク７０７、人工知能（ＡＩ）プロセッサ７０９、車両制御モジュール７１１、ネットワークインタフェース７１３、及び通信部７１５を含むディープラーニングネットワークであり得る。様々な実施形態では、各要素は、様々なインタフェースを介して接続することができる。例えば、センサ７０３によってセンシングされ、出力されたセンサデータは、画像前処理器７０５に供給（ｆｅｅｄ）されることができる。画像前処理器７０５によって処理されたセンサデータは、ＡＩプロセッサ７０９で実行（ｒｕｎ）されるディープラーニングネットワーク７０７に供給されてもよい。ＡＩプロセッサ７０９によって実行されるディープラーニングネットワーク７０７の出力は、車両制御モジュール７１１に供給されてもよい。ＡＩプロセッサ７０９で実行されるディープラーニングネットワーク７０７の中間結果は、ＡＩプロセッサ７０９に供給することができる。様々な実施形態では、ネットワークインタフェース７１３は、車載電子装置と通信を実行することによって、車両の自律走行のための自律走行経路情報及び／又は自律走行制御命令を、内部ブロック構成に伝達する。一実施形態では、ネットワークインタフェース７１３は、センサ７０３を介して取得したセンサデータを、外部サーバに送信するために使用され得る。いくつかの実施形態では、自律走行制御システム７００は、適切に（ａｓ ａｐｐｒｏｐｒｉａｔｅ）追加的な又はより少ない構成要素を含んでもよい。例えば、いくつかの実施形態では、画像前処理器７０５は、選択的（ｏｐｔｉｏｎａｌ）構成要素であり得る。別の例では、後処理構成要素（図示せず）は、出力が車両制御モジュール７１１に提供される前に、ディープラーニングネットワーク７０７の出力で、後処理を実行するために、自律走行制御システム７００内に含まれてもよい。
【0085】
いくつかの実施形態では、センサ７０３は、１つ以上のセンサを含むことができる。様々な実施形態では、センサ７０３は、車両の異なる位置に取り付けることができる。センサ７０３は、１つ以上の異なる方向に向けられてもよい。例えば、センサ７０３は、前面（ｆｏｒｗａｒｄ－ｆａｃｉｎｇ）、後面（ｒｅａｒ－ｆａｃｉｎｇ）、側面（ｓｉｄｅ－ｆａｃｉｎｇ）などの方向に向くように、車両の前（ｆｒｏｎｔ）、側（ｓｉｄｅｓ）、後（ｒｅａｒ）、及び／又はループ（ｒｏｏｆ）に取り付けることができる。いくつかの実施形態では、センサ７０３は、高ダイナミックレンジカメラ（ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ ｃａｍｅｒａｓ）などの画像センサであってもよい。いくつかの実施形態では、センサ７０３は、非視覚センサ（ｎｏｎ－ｖｉｓｕａｌ ｓｅｎｓｏｒｓ）を含む。いくつかの実施形態では、センサ７０３は、画像センサに加えて、レーダ（ＲＡＤＡＲ）、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）、及び／又は超音波センサを含む。いくつかの実施形態では、センサ７０３は、車両制御モジュール７１１を有する車両に取り付けられて（ｍｏｕｎｔｅｄ）いない。例えば、センサ７０３は、センサデータをキャプチャするためのディープラーニングシステムの一部として含まれ、環境又は道路に取り付けられてもよいし、及び／又は周囲の車両に取り付けられてもよい。
【0086】
いくつかの実施形態では、画像前処理器（Ｉｍａｇｅ ｐｒｅ－ｐｒｏｃｅｓｓｏｒ）７０５は、センサ７０３のセンサデータを前処理するために使用することができる。例えば、画像前処理器７０５は、センサデータを前処理するために、１つ又はそれ以上の構成要素にセンサデータをスプリット（ｓｐｌｉｔ）するために、及び／又は１つ又はそれ以上の構成要素を後処理するために使用することができる。いくつかの実施形態では、画像前処理器７０５は、グラフィック処理装置（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ；ＧＰＵ）、中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ；ＣＰＵ）、画像信号プロセッサ、又は専門化された画像プロセッサ（ｓｐｅｃｉａｌｉｚｅｄ ｉｍａｇｅ ｐｒｏｃｅｓｓｏｒ）であってもよい。様々な実施形態では、画像前処理器７０５は、高ダイナミックレンジデータ（ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ ｄａｔａ）を処理するためのトーンマッパー（ｔｏｎｅ－ｍａｐｐｅｒ）プロセッサであり得る。いくつかの実施形態では、画像前処理器７０５は、ＡＩプロセッサ７０９の構成要素であってもよい。
【0087】
いくつかの実施形態では、ディープラーニングネットワーク（Ｄｅｅｐ ｌｅａｒｎｉｎｇ ｎｅｔｗｏｒｋ）７０７は、自律車両を制御するための制御命令を実施するためのディープラーニングネットワークであり得る。例えば、ディープラーニングネットワーク７０７は、センサデータを使用してトレーニングされた畳み込みニューラルネットワーク（ＣＮＮ）などの人工ニューラルネットワークであり得、ディープラーニングネットワーク７０７の出力は、車両制御モジュール７１１に提供される。
【0088】
いくつかの実施形態では、人工知能（ＡＩ）プロセッサ７０９は、ディープラーニングネットワーク７０７を実行（ｒｕｎ）するためのハードウェアプロセッサであり得る。いくつかの実施形態では、ＡＩプロセッサ７０９は、センサデータに対して畳み込みニューラルネットワーク（ＣＮＮ）を介して推論（ｉｎｆｅｒｅｎｃｅ）を実行するための専門化されたＡＩプロセッサである。いくつかの実施形態では、ＡＩプロセッサ７０９は、センサデータのビット深さ（ｂｉｔ ｄｅｐｔｈ）のために最適化されてもよい。いくつかの実施形態では、ＡＩプロセッサ７０９は、畳み込み、内積、ベクトル、及び／又は行列演算を含むニューラルネットワークの演算などのディープラーニング演算に最適化されてもよい。いくつかの実施形態では、ＡＩプロセッサ７０９は、並列処理を効果的に実行できる複数のグラフィック処理装置（ＧＰＵ）を介して実装されてもよい。
【0089】
様々な実施形態では、ＡＩプロセッサ７０９は、ＡＩプロセッサ７０９が実行されている間に、センサ７０３から受信されたセンサデータに対してディープラーニング分析を行い、車両を少なくとも部分的に自律的に動作させるために使用された機械学習の結果を決定するために引き起こされる命令を有するＡＩプロセッサを提供するように構成されたメモリに、入出力インタフェースを介してカップリングすることができる。いくつかの実施形態では、車両制御モジュール（Ｖｅｈｉｃｌｅ Ｃｏｎｔｒｏｌ Ｍｏｄｕｌｅ）７１１は、人工知能（ＡＩ）プロセッサ７０９から出力された車両制御のための命令を処理し、車両の様々なモジュールを制御するために、ＡＩプロセッサ７０９の出力を、各車両のモジュールを制御するための命令に変換する（ｔｒａｎｓｌａｔｅ）ために使用することができる。いくつかの実施形態では、車両制御モジュール７１１は、自律走行用の車両を制御するために用いられる。いくつかの実施形態では、車両制御モジュール７１１は、車両のステアリング及び／又は速度を調整することができる。例えば、車両制御モジュール７１１は、減速、加速、ステアリング、車線変更、車線維持などの車両の走行を制御するために使用することができる。いくつかの実施形態では、車両制御モジュール７１１は、ブレーキライト（ｂｒａｋｅ ｌｉｇｈｔｓ）、方向指示灯（ｔｕｒｎｓ ｓｉｇｎａｌｓ）、ヘッドライト（ｈｅａｄｌｉｇｈｔｓ）などの車両照明（ｖｅｈｉｃｌｅ ｌｉｇｈｔｉｎｇ）を制御するための制御信号を生成することができる。いくつかの実施形態では、車両制御モジュール７１１は、車両の音響システム（ｖｅｈｉｃｌｅ'ｓ ｓｏｕｎｄ ｓｙｓｔｅｍ）、車両の音声警告（ｖｅｈｉｃｌｅ'ｓ ａｕｄｉｏ ｗａｒｎｉｎｇｓ）、車両のマイクロホンシステム（ｖｅｈｉｃｌｅ'ｓ ｍｉｃｒｏｐｈｏｎｅ ｓｙｓｔｅｍ）、車両のホーンシステム（ｖｅｈｉｃｌｅ'ｓ ｈｏｒｎ ｓｙｓｔｅｍ）などの車両オーディオ関連システムを制御するために使用することができる。
【0090】
いくつかの実施形態では、車両制御モジュール７１１は、意図された目的地へのアクセス又は潜在的な衝突（ｐｏｔｅｎｔｉａｌ ｃｏｌｌｉｓｉｏｎ）などの走行イベントの乗客及び／又は運転者を知らせるための警告システムを含む通知システム（ｎｏｔｉｆｉｃａｔｉｏｎ ｓｙｓｔｅｍｓ）を制御するために使用することができる。いくつかの実施形態では、車両制御モジュール７１１は、車両のセンサ７０３などのセンサを調整するために使用されてもよい。例えば、車両制御モジュール７１１は、センサ７０３の指向方向の修正（ｍｏｄｉｆｙｉｎｇ ｔｈｅ ｏｒｉｅｎｔａｔｉｏｎ）、センサ７０３の出力解像度及び／又はフォーマットタイプの変更、キャプチャレート（ｃａｐｔｕｒｅ ｒａｔｅ）の増加又は減少、ダイナミックレンジ（ｄｙｎａｍｉｃ ｒａｎｇｅ）の調整、カメラの焦点の調整を行うことができる。さらに、車両制御モジュール７１１は、センサの動作を個別に又は集団的にオン／オフすることができる。
【0091】
いくつかの実施形態では、車両制御モジュール７１１は、フィルタの周波数の範囲を変更したり、特徴（ｆｅａｔｕｒｅｓ）及び／又はオブジェクトの検出のためのエッジ検出パラメータ（ｅｄｇｅ ｄｅｔｅｃｔｉｏｎ ｐａｒａｍｅｔｅｒ）を調整したり、ビット深さ及びチャネルを調整（ａｄｊｕｓｔｉｎｇ ｃｈａｎｎｅｌｓ ａｎｄ ｂｉｔ ｄｅｐｔｈ）したりするなどの方法で、画像前処理器７０５のパラメータを変更するために使用することができる。様々な実施形態では、車両制御モジュール７１１は、車両の自律走行及び／又は車両の運転者支援（Ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ）機能を制御するために使用されてもよい。
【0092】
いくつかの実施形態では、ネットワークインタフェース７１３は、自律走行制御システム７００のブロック構成と通信部７１５との間の内部インタフェースを担当することができる。具体的には、ネットワークインタフェース７１３は、音声データを含むデータを受信及び／又は発信するための通信インタフェースであり得る。様々な実施形態では、ネットワークインタフェース７１３は、通信部７１５を介して音声通話を接続するか、テキストメッセージを受信及び／又は発信するか、センサデータを送信するか、自律走行システムで車両のソフトウェアを更新するか、又は車両の自律走行システムのソフトウェアを更新するために、外部のサーバと接続することができる。
【0093】
様々な実施形態では、通信部７１５は、セルラー又はＷｉＦｉ方式の様々な無線インタフェースを含むことができる。例えば、ネットワークインタフェース７１３は、通信部７１５を介して接続された外部サーバから、センサ７０３、画像前処理器７０５、ディープラーニングネットワーク７０７、ＡＩプロセッサ７０９、車両制御モジュール７１１のための動作パラメータ及び／又は命令に対する更新を受信するために使用することができる。例えば、ディープラーニングネットワーク７０７の機械学習モデルは、通信部７１５を用いて更新することができる。さらに別の例によれば、通信部７１５は、画像処理パラメータなどの画像前処理器７０５の動作パラメータ及び／又はセンサ７０３のファームウェアを更新するために使用されてもよい。
【0094】
別の実施形態では、通信部７１５は、事故又は事故が発生する恐れのある（ｎｅａｒ－ａｃｃｉｄｅｎｔ）イベントで、緊急サービス（ｅｍｅｒｇｅｎｃｙ ｓｅｒｖｉｃｅｓ）と緊急連絡（ｅｍｅｒｇｅｎｃｙ ｃｏｎｔａｃｔ）のための通信を活性化するために使用することができる。例えば、衝突イベントでは、通信部７１５は、支援のための緊急サービスを呼び出すために使用され、衝突の詳細及び車両の位置の緊急サービスを外部に通知するために使用され得る。様々な実施形態では、通信部７１５は、予想到着時刻及び／又は目的地の位置を更新又は取得することができる。
【0095】
一実施形態によれば、図７に示す自律走行システム７００は、車両の電子装置で構成されてもよい。一実施形態によれば、自律走行システム７００のＡＩプロセッサ７０９は、車両の自律走行時に、ユーザから自律走行解除イベントが発生した場合、自律走行解除イベント関連情報を、ディープラーニングネットワークのトレーニングセットデータに入力するように制御することによって、車両の自律走行ソフトウェアを学習させるように制御することができる。
【0096】
図８及び図９は、一実施形態による、自律走行移動体を示すブロック図の一例を示す。図８を参照すると、本実施形態による自律走行移動体８００は、制御装置９００、センシングモジュール８０４ａ、８０４ｂ、８０４ｃ、８０４ｄ、エンジン８０６、及びユーザインタフェース８０８を含むことができる。
【0097】
自律走行移動体８００は、自律走行モード又はマニュアルモードを備えることができる。一例として、ユーザインタフェース８０８を介して受信されたユーザ入力に従って、マニュアルモードから自律走行モードに切り替えても、又は自律走行モードからマニュアルモードに切り替えてもよい。
【0098】
移動体８００が自律走行モードで運行される場合、自律走行移動体８００は、制御装置９００の制御下で運行することができる。
【0099】
本実施形態では、制御装置９００は、メモリ９２２とプロセッサ９２４とを含むコントローラ９２０、センサ９１０、通信装置９３０、オブジェクト検出装置９４０を含むことができる。
【0100】
ここで、オブジェクト検出装置９４０は、距離測定装置（例えば、電子装置１０１）の全部又は一部の機能を実行することができる。
【0101】
すなわち、本実施形態では、オブジェクト検出装置９４０は、移動体８００の外側に位置するオブジェクを検出するための装置であり、オブジェクト検出装置９４０は、移動体８００の外側に位置するオブジェクを検出し、検出結果に応じたオブジェクト情報を生成することができる。
【0102】
オブジェクト情報は、オブジェクトの存在の有無に関する情報、オブジェクトの位置情報、移動体とオブジェクトとの距離情報、及び移動体とオブジェクトとの相対速度情報を含むことができる。
【0103】
オブジェクトは、車線、他の車両、歩行者、交通信号、光、道路、構造物、過速度防止顎、地形物、動物など、移動体８００の外側に配置する様々なオブジェクトを含むことができる。ここで、交通信号は、交通信号灯、交通標識、道路面に描かれた文様又はテキストを含む概念であり得る。そして、光は、他の車両に設けられたランプから生成された光であってもよく、街灯で生成された光であっても、太陽光であってもよい。
【0104】
そして、構造物は、道路の周りに位置し、地面に固定された物体であり得る。例えば、構造物は、街灯、街路樹、建物、電柱、信号灯、橋を含むことができる。地形物は、山、丘などを含み得る。
【0105】
そのようなオブジェクト検出装置９４０は、カメラモジュールを含むことができる。コントローラ９２０は、カメラモジュールで撮影された外部画像から、オブジェクト情報を抽出し、その情報をコントローラ９２０に処理させることができる。
【0106】
また、オブジェクト検出装置９４０は、外部環境を認識するための撮像装置をさらに含んでもよい。ＬＩＤＡＲに加えて、ＲＡＤＡＲ、ＧＰＳ装置、走行距離測定装置（Ｏｄｏｍｅｔｒｙ）及び他のコンピュータビジョン装置、超音波センサ、赤外線センサなどを使用することができ、これらの装置は、必要に応じて、選択又は同時に動作し、より正確な感知を可能にする。
【0107】
一方、本発明の一実施形態に係る距離測定装置は、自律走行移動体８００とオブジェクトとの間の距離を算出し、自律走行移動体８００の制御装置９００と連携して算出された距離に基づいて、移動体の動作を制御することができる。
【0108】
一例として、自律走行移動体８００とオブジェクトとの間の距離に応じて追突する可能性のある場合、自律走行移動体８００は、速度を低下又は停止するように、ブレーキを制御することができる。別の例として、オブジェクトが移動するオブジェクトである場合、自律走行移動体８００は、オブジェクトと所定の距離以上を維持するように、自律走行移動体８００の走行速度を制御することができる。
【0109】
本発明の一実施形態による距離測定装置は、自律走行移動体８００の制御装置９００内の一モジュールで構成することができる。すなわち、制御装置９００のメモリ９２２とプロセッサ９２４とが、本発明による追突防止方法をソフトウェア的に実現させることができる。
【0110】
また、センサ９１０は、移動体の内部／外部環境をセンシングモジュール８０４ａ、８０４ｂ、８０４ｃ、８０４ｄと接続して、各種のセンシング情報を取得することができる。ここで、センサ９１０は、姿勢センサ（例えば、ヨーセンサ（ｙａｗ ｓｅｎｓｏｒ）、ロールセンサ（ｒｏｌｌ ｓｅｎｓｏｒ）、ピッチセンサ（ｐｉｔｃｈ ｓｅｎｓｏｒ）、衝突センサ、ホイールセンサ（ｗｈｅｅｌ ｓｅｎｓｏｒ）、速度センサ、傾斜センサ、重量感知センサ、ヘディングセンサ（ｈｅａｄｉｎｇ ｓｅｎｓｏｒ）、ジャイロセンサ（ｇｙｒｏ ｓｅｎｓｏｒ）、ポジションモジュール（ｐｏｓｉｔｉｏｎ ｍｏｄｕｌｅ）、移動体前進／後進センサ、バッテリセンサ、燃料センサ、タイヤセンサ、ハンドル回転によるステアリングセンサ、移動体内部温度センサ、移動体内部湿度センサ、超音波センサ、照度センサ、加速ペダルポジションセンサ、ブレーキペダルポジションセンサなどを含むことができる。
【0111】
これにより、センサ９１０は、移動体姿勢情報、移動体衝突情報、移動体方向情報、移動体位置情報（ＧＰＳ情報）、移動体角度情報、移動体速度情報、移動体加速度情報、移動体傾き情報、移動体前進／後進情報、バッテリー情報、燃料情報、タイヤ情報、移動体ランプ情報、移動体内部温度情報、移動体内部湿度情報、ステアリングホイール回転角度、移動体外部照度、アクセルペダルにかかる圧力、ブレーキペダルにかかる圧力などに対するセンシング信号を取得することができる。
【0112】
また、センサ９１０は、その他、加速ペダルセンサ、圧力センサ、エンジン回転速度センサ（ｅｎｇｉｎｅ ｓｐｅｅｄ ｓｅｎｓｏｒ）、空気流量センサ（ＡＦＳ）、吸気温度センサ（ＡＴＳ）、水温センサ（ＷＴＳ）、スロットル位置センサ（ＴＰＳ）、ＴＤＣセンサ、クランク角センサ（ＣＡＳ）などをさらに含んでもよい。
【0113】
このように、センサ９１０は、センシングデータに基づいて、移動体状態情報を生成することができる。
【0114】
無線通信装置９３０は、自律走行移動体８００間の無線通信を実施するように構成される。例えば、ユーザの携帯電話、又は他の無線通信装置９３０、他の移動体、中央装置（交通制御装置）、サーバなどと自律走行移動体８００とが通信できるようにする。無線通信装置９３０は、接続無線プロトコルに従って、無線信号を送受信することができる。無線通信プロトコルは、Ｗｉ‐Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、ＬＴＥ（Ｌｏｎｇ－Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＷＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍｓ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）であり、通信プロトコルは、これに限定されない。
【0115】
また、本実施形態における自律走行移動体８００は、無線通信装置９３０を介して、移動体間の通信を実現することも可能である。すなわち、無線通信装置９３０は、車両対車両間（Ｖ２Ｖ）通信（ｖｅｈｉｃｌｅ－ｔｏ－ｖｅｈｉｃｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）で道路上の他の移動体や他の移動体と通信を行うことができる。自律走行移動体８００は、走行警告、交通情報などの情報を、車両間通信で送受信することができ、他の移動体に情報を要求するか、要求を受信することも可能である。例えば、無線通信装置９３０は、Ｖ２Ｖ通信を短距離通信（ＤＳＲＣ、ｄｅｄｉｃａｔｅｄ ｓｈｏｒｔ－ｒａｎｇｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）装置又はＣ－Ｖ２Ｖ（Ｃｅｌｌｕｌａｒ－Ｖ２Ｖ）装置で行うことができる。また、車両間の通信に加えて、車両と他の物体（例えば、歩行者が携帯する電子機器など）との間の通信（Ｖ２Ｘ、Ｖｅｈｉｃｌｅ ｔｏ Ｅｖｅｒｙｔｈｉｎｇ ｃｏｍｍｕｎｉｃａｔｉｏｎ）も無線通信装置９３０を介して実現することができる。
【0116】
また、無線通信装置９３０は、地上網（Ｔｅｒｒｅｓｔｒｉａｌ Ｎｅｔｗｏｒｋ）ではなく、非地上網（Ｎｏｎ－Ｔｅｒｒｅｓｔｒｉａｌ Ｎｅｔｗｏｒｋ）を介して、道路上に位置するインフラ（交通信号灯、ＣＣＴＶ、ＲＳＵ、ｅＮｏｄｅ Ｂなど）又は他の自律走行（Ａｕｔｏｎｏｍｏｕｓ Ｄｒｉｖｉｎｇ）／非自律走行（Ｎｏｎ－Ａｕｔｏｎｏｍｏｕｓ Ｄｒｉｖｉｎｇ）車両などを含む様々なモビリティ（Ｍｏｂｉｌｉｔｙ）で生成された情報を、自律走行移動体８００の自律走行を実行するための情報として取得することができる。
【0117】
例えば、無線通信装置９３０は、非地上網（Ｎｏｎ－Ｔｅｒｒｅｓｔｒｉａｌ Ｎｅｔｗｏｒｋ）を構成する地球低軌道（ＬＥＯ、Ｌｏｗ Ｅａｒｔｈ Ｏｒｂｉｔ）衛星システム、地球中軌道（ＭＥＯ、Ｍｅｄｉｕｍ Ｅａｒｔｈ Ｏｒｂｉｔ）衛星システム、地球停止軌道（ＧＥＯ、 Ｇｅｏｓｔａｔｉｏｎａｒｙ Ｏｒｂｉｔ）衛星システム、高高度プラットフォーム（ＨＡＰ、 Ｈｉｇｈ Ａｌｔｉｔｕｄｅ Ｐｌａｔｆｏｒｍ）システムなどと、自律走行移動体８００に設けられた（ｍｏｕｎｔｅｄ）非地上網専用のアンテナを介して無線通信を行うことができる。
【0118】
例えば、無線通信装置９３０は、現在３ＧＰＰ等で議論されている５Ｇ ＮＲ ＮＴＮ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ Ｎｅｗ Ｒａｄｉｏ Ｎｏｎ－Ｔｅｒｒｅｓｔｒｉａｌ Ｎｅｔｗｏｒｋ）標準規格に準拠した無線接続規格に従って、ＮＴＮを構成する様々なプラットフォームとの無線通信を行うことができるが、これに限定されない。
【0119】
本実施形態では、コントローラ９２０は、自律走行移動体８００の位置、現在時刻、利用可能な電力などの様々な情報を考慮して、ＮＴＮ通信を適切に行うことができるプラットフォームを選択し、選択されたプラットフォームとの無線通信を実行するように、無線通信装置９３０を制御することができる。
【0120】
本実施形態では、コントローラ９２０は、移動体８００内の各ユニットの全体的な動作を制御するユニットであり、移動体の製造業者によって製造時に構成されてもよく、又は製造後に自律走行の機能を実行するためにさらに構成されてもよい。あるいは、製造時に構成されたコントローラ９２０のアップグレードを通じて、継続的な追加機能を実行するための構成を含むことができる。そのようなコントローラ９２０は、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）と呼ばれることがある。
【0121】
コントローラ９２０は、接続されたセンサ９１０、オブジェクト検出装置９４０、通信装置９３０などから各種データを収集し、収集されたデータに基づいて、制御信号を移動体内の他の構成を含むセンサ９１０、エンジン８０６、ユーザインタフェース８０８、通信装置９３０、オブジェクト検出装置９４０に伝達することができる。また、図示されていないが、移動体の走行に関連する加速装置、ブレーキングシステム、操舵装置、又はナビゲーション装置にも制御信号を伝達することができる。
【0122】
本実施形態では、コントローラ９２０は、エンジン８０６を制御することができ、例えば、自律走行移動体８００が走行中の道路の制限速度を検出し、走行速度が制限速度を超えないように、エンジン８０６を制御するか、又は制限速度を超えない範囲内で、自律走行移動体８００の走行速度を加速するように、エンジン８０６を制御することができる。
【0123】
また、コントローラ９２０は、自律走行移動体８００の走行中に、自律走行移動体８００が車線に近接するか、車線を逸脱している場合、そのような車線の近接及び離脱が正常の走行状況に応じたものか、その他の走行状況に応じたか否かを判断し、判断結果に応じて、移動体の走行を制御するように、エンジン８０６を制御することができる。具体的には、自律走行移動体８００は、移動体が走行中の車路の両側に形成された車線を検出することができる。この場合、コントローラ９２０は、自律走行移動体８００が車線に近接するか、車線を逸脱しているかを判断し、自律走行移動体８００が車線に近接するか、車線を離脱していると判断すると、このような走行が正確な走行状況によるのか、又はその他の走行状況によるのかを判断することができる。ここで、正常の走行状況の例として、移動体の車路変更が必要な状況であり得る。そして、他の走行状況の例として、移動体の車路変更が必要でない状況であり得る。コントローラ９２０は、移動体の車路変更を必要としない状況で、自律走行移動体８００が車線に近いか、車線を逸脱していると判断した場合、自律走行移動体８００が車線を逸脱せずに、その移動体で正常に走行するように、自律走行移動体８００の走行を制御することができる。
【0124】
移動体の前方に他の移動体又は妨害物が存在する場合には、走行移動体を減速するように、エンジン８０６又はブレーキングシステムを制御することができ、速度に加えて、軌跡、運行経路、操舵角を制御することができる。あるいは、コントローラ９２０は、移動体の走行車線、走行信号などの他の外部環境の認識情報に応じて、必要な制御信号を生成して、移動体の走行を制御してもよい。
【0125】
コントローラ９２０は、自らの制御信号の生成に加えて、周辺移動体又は中央サーバとの通信を行い、受信した情報を介して、周辺装置を制御するための命令を送信することによって、移動体の走行を制御することも可能である。
【0126】
また、コントローラ９２０は、カメラモジュール９５０の位置が変更されるか、画角が変更された場合、本実施形態による正確な移動体又は車線認識が困難な場合があるので、これを防止するために、カメラモジュール９５０のキャリブレーション（ｃａｌｉｂｒａｔｉｏｎ）を実行するように制御する制御信号を生成することもできる。したがって、本実施形態では、コントローラ９２０は、カメラモジュール９５０でキャリブレーション制御信号を生成することにより、自律走行移動体８００の移動に伴って発生する振動や衝撃等により、カメラモジュール９５０の装着位置が変更されても、カメラモジュール９５０の正常な装着位置、方向、画角などを継続的に維持することができる。コントローラ９２０は、予め記憶されたカメラモジュール９２０の初期装着位置、方向、画角情報と、自律走行移動体８００の走行中に測定されるカメラモジュール９２０の初期装着位置、方向、画角情報等が、臨界値以上に変化した場合、カメラモジュール９２０のキャリブレーションを実行するように、制御信号を生成することができる。
【0127】
本実施形態では、コントローラ９２０は、メモリ９２２とプロセッサ９２４とを含むことができる。プロセッサ９２４は、コントローラ９２０の制御信号に従って、メモリ９２２に記憶されたソフトウェアを実行することができる。具体的には、コントローラ９２０は、本発明による車線検出方法を行うためのデータ及び命令をメモリ９２２に格納し、この命令は、本明細書に開示された１つ又はそれ以上の方法を実施するために、プロセッサ９２４によって実行され得る。
このとき、メモリ９２２は、不揮発性のプロセッサ９２４で実行可能な記録媒体に記憶されてもよい。メモリ９２２は、適切な内外部装置を介して、ソフトウェア及びデータを記憶することができる。メモリ９２２は、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ハードディスク、及びドングルに接続されたメモリ９２２装置から構成することができる。
このとき、メモリ９２２は、不揮発性のプロセッサ９２４で実行可能な記録媒体に記憶されてもよい。メモリ９２２は、適切な内外部装置を介して、ソフトウェア及びデータを記憶することができる。メモリ９２２は、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ハードディスク、及びドングルに接続されたメモリ９２２装置から構成することができる。
【0128】
メモリ９２２は、オペレーティングシステム（ＯＳ、Ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）、ユーザアプリケーション、実行可能な命令を少なくとも記憶することができる。メモリ９２２は、アプリケーションデータ、配列データ構造も記憶することができる。
【0129】
プロセッサ９２４は、マイクロプロセッサ又は適切な電子プロセッサで、コントローラ、マイクロコントローラ、又はステートマシンであり得る。
【0130】
プロセッサ９２４は、コンピューティングデバイスの組み合わせで実装することができ、コンピューティングデバイスは、デジタル信号プロセッサ、マイクロプロセッサ、又はそれらの適切な組み合わせで構成することができる。
【0131】
一方、自律走行移動体８００は、前述した制御装置９００へのユーザの入力のためのユーザインタフェース８０８をさらに含んでもよい。ユーザインタフェース８０８は、適切な相互作用でユーザに情報を入力させることができる。例えば、タッチスクリーン、キーパッド、操作ボタンなどで実施することができる。ユーザインタフェース８０８は、入力又は命令をコントローラ９２０に送信し、コントローラ９２０は、入力又は命令に応答して、移動体の制御動作を実行することができる。
【0132】
また、ユーザインタフェース８０８は、自律走行移動体８００の外部の装置で、無線通信装置９３０を介して、自律走行移動体８００と通信を行うことができる。例えば、ユーザインタフェース８０８は、携帯電話、タブレット、又は他のコンピュータ装置と連動可能にすることができる。
【0133】
さらに、本実施形態では、自律走行移動体８００は、エンジン８０６を含むものとして説明したが、他のタイプの推進システムを含むことも可能である。例えば、移動体は、電気エネルギーで運転することができ、水素エネルギー又はそれらを組み合わせたハイブリッドシステムを介して運転することができる。したがって、コントローラ９２０は、自律走行移動体８００の推進システムによる推進メカニズムを含み、これによる制御信号を、各推進メカニズムの構成に提供することができる。
【0134】
以下、図９を参照して、本実施形態による制御装置９００の詳細構成についてより詳細に説明する。
【0135】
制御装置９００は、プロセッサ９２４を含む。プロセッサ９２４は、汎用シングルチップ又はマルチチップマイクロプロセッサ、専用マイクロプロセッサ、マイクロコントローラ、プログラマブルゲートアレイなどであり得る。プロセッサは、中央処理装置（ＣＰＵ）と呼ばれることがある。また、本実施形態では、プロセッサ９２４は、複数のプロセッサの組み合わせで使用することも可能である。
【0136】
制御装置９００はまた、メモリ９２２を含む。メモリ９２２は、電子情報を記憶することができる任意の電子構成要素であり得る。メモリ９２２も、単一のメモリに加えて、メモリ９２２の組み合わせを含むことができる。
【0137】
本発明による距離測定装置の距離測定方法を実行するためのデータ及び命令９２２ａは、メモリ９２２に記憶されてもよい。プロセッサ９２４が命令９２２ａを実行するとき、命令９２２ａ及び命令の実行に必要なデータ９２２ｂの全部又は一部が、プロセッサ９２４上にロード９２４ａ、９２４ｂされてもよい。
【0138】
制御装置９００は、信号の送信及び受信を可能にするための送信機９３０ａ、受信機９３０ｂ、又はトランシーバ９３０ｃを含んでもよい。１つ以上のアンテナ９３２ａ、９３２ｂは、送信機９３０ａ、受信機９３０ｂ、又は各トランシーバ９３０ｃに電気的に接続されてもよく、さらにアンテナを含んでもよい。
【0139】
制御装置９００は、デジタル信号プロセッサ（ＤＳＰ）９７０を含んでもよい。ＤＳＰ９７０を介して、移動体がデジタル信号を迅速に処理できるようにすることができる。
【0140】
制御装置９００は、通信インタフェース９８０を含んでもよい。通信インタフェース９８０は、他の装置を制御装置９００に接続するための１つ以上のポート及び／又は通信モジュールを含んでもよい。通信インタフェース９８０は、ユーザと制御装置９００とが相互作用することを可能にすることができる。
【0141】
制御装置９００の様々な構成は、一緒に１つ以上のバス９９０によって接続されてもよく、バス９９０は、電力バス、制御信号バス、状態信号バス、データバスなどを含むこともできる。プロセッサ９２４の制御に応じて、構成は、バス９９０を介して相互情報を伝達し、所望の機能を実行させることができる。
【0142】
一方、様々な実施形態では、制御装置９００は、セキュリティクラウドとの通信のために、ゲートウェイに関連付けられてもよい。例えば、図１０を参照すると、制御装置９００は、車両１０００の構成要素１００１～１００４のうち少なくとも１つから取得された情報を、セキュリティクラウド１００６に提供するためのゲートウェイ１００５に関連付けられてもよい。例えば、ゲートウェイ１００５は、制御装置９００内に含まれてもよい。別の例では、ゲートウェイ１００５は、制御装置９００と区別される車両１０００内の別々の装置から構成されてもよい。ゲートウェイ１００５は、異なるネットワークを有するソフトウェア管理クラウド１００９、セキュリティクラウド１００６、及び車載セキュリティソフトウェア１０１０によって保護された車両１０００内のネットワークを通信可能に接続する。
【0143】
例えば、構成要素１００１は、センサであり得る。例えば、このセンサは、車両１０００の状態又は車両１０００の周囲の状態のうち少なくとも１つに関する情報を取得するために用いられ得る。例えば、構成要素１００１は、センサ９１０を含むことができる。
【0144】
例えば、構成要素１００２は、ＥＣＵ（ｅｌｅｃｔｒｏｎｉｃ ｃｏｎｔｒｏｌ ｕｎｉｔ）であってもよい。例えば、ＥＣＵは、エンジン制御、変速機の制御、エアバッグの制御、タイヤ空気圧管理に使用することができる。
【0145】
例えば、構成要素１００３は、インストルメントクラスタ（ｉｎｓｔｒｕｍｅｎｔ ｃｌｕｓｔｅｒ）であり得る。例えば、インストルメントクラスタは、ダッシュボード（ｄａｓｈｂｏａｒｄ）のうち運転席の正面に配置されたパネルを意味することがある。例えば、インストルメントクラスタは、運転に必要な情報を運転者（又は搭乗者）に表示するように構成されてもよい。例えば、インストルメントクラスタは、エンジンの１分当たりの回転数（ＲＰＭ、ｒｅｖｏｌｕｔｉｏｎｓ ｐｅｒ ｍｉｎｕｔｅ、又は ｒｏｔａｔｅ ｐｅｒ ｍｉｎｕｔｅ）を指示するための視覚要素、車両１０００の速度を指示するための視覚要素、残留燃料量を指示するための視覚要素、歯車の状態を指示するための視覚要素、又は構成要素１００１を介して取得された情報を指示するための視覚要素のうち少なくとも１つを表示するために使用することができる。
【0146】
例えば、構成要素１００４は、テレマティクス（ｔｅｌｅｍａｔｉｃｓ）装置であり得る。例えば、このテレマティックス装置は、無線通信技術とＧＰＳ（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）技術とを組み合わせて、車両１０００内で位置情報、安全運転などの様々な移動通信サービスを提供する装置を意味することができる。例えば、テレマティックス装置は、運転者、クラウド（例えば、セキュリティクラウド１００６）、及び／又は周辺環境と車両１０００とを接続するために使用することができる。例えば、前記テレマティックス装置は、５Ｇ ＮＲ規格の技術（例えば、５Ｇ ＮＲのＶ２Ｘ技術、５Ｇ ＮＲのＮＴＮ（Ｎｏｎ－Ｔｅｒｒｅｓｔｒｉａｌ Ｎｅｔｗｏｒｋ）技術）のために、高帯域幅及び低遅延をサポートするように構成されてもよい。例えば、前記テレマティックス装置は、車両１０００の自律走行をサポートするように構成されてもよい。
【0147】
例えば、ゲートウェイ１００５は、車両１０００内のネットワークと車両外のネットワークであるソフトウェア管理クラウド１００９とセキュリティクラウド１００６とを接続するために使用することができる。例えば、ソフトウェア管理クラウド１００９は、車両１０００の走行及び管理に必要な少なくとも１つのソフトウェアを更新又は管理するために使用することができる。例えば、ソフトウェア管理クラウド１００９は、車両内に設置された車内セキュリティソフトウェア（ｉｎ－ｃａｒ ｓｅｃｕｒｉｔｙ ｓｏｆｔｗａｒｅ）１０１０と連動することができる。例えば、車内セキュリティソフトウェア１０１０は、車両１０００内のセキュリティ機能を提供するために使用され得る。例えば、車内セキュリティソフトウェア１０１０は、車内ネットワークの暗号化のために、外部の認証された（ａｕｔｈｏｒｉｚｅｄ）サーバから取得した暗号化キーを用いて、車内ネットワークを介して送受信されるデータを暗号化することができる。様々な実施形態において、車内セキュリティソフトウェア１０１０によって使用される暗号化キーは、車両の識別情報（車両ナンバープレート、車ＶＩＮ（ｖｅｈｉｃｌｅ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｎｕｍｂｅｒ））又はユーザごとに一意に付与された情報（ユーザ識別情報など）に対応して生成することができる。
【0148】
様々な実施形態では、ゲートウェイ１００５は、前記暗号化キーに基づいて、車内セキュリティソフトウェア１０１０によって暗号化されたデータを、ソフトウェア管理クラウド１００９及び／又はセキュリティクラウド１００６に送信することができる。ソフトウェア管理クラウド１００９及び／又はセキュリティクラウド１００６は、車内セキュリティソフトウェア１０１０の暗号化キー（Ｅｎｃｒｙｐｔｉｏｎ Ｋｅｙ）によって暗号化された前記データを復号することができる復号キー（Ｄｅｃｒｙｐｔｉｏｎ Ｋｅｙ）を用いて復号することによって、前記データがどの車両又はどのユーザから受信したデータであるかを識別することができる。例えば、この復号キーは、前記暗号化キーに対応する固有のキーであるため、ソフトウェア管理クラウド１００９及び／又はセキュリティクラウド１００６は、前記復号キーを介して復号されたデータに基づいて、前記データの送信主体（例えば、車両又はユーザ）を識別することができる。
【0149】
例えば、ゲートウェイ１００５は、車内セキュリティソフトウェア１０１０をサポートするように構成されており、制御装置２１００と関連付けられてもよい。例えば、ゲートウェイ１００５は、セキュリティクラウド１００６に接続されたクライアント装置１００７と制御装置９００との間の接続をサポートするために、制御装置９００に関連付けられてもよい。別の例では、ゲートウェイ１００５は、セキュリティクラウド１００６に接続されたサードパーティクラウド１００８と制御装置９００との間の接続をサポートするために、制御装置９００に関連付けられてもよい。しかし、これに限定されない。
【0150】
様々な実施形態では、ゲートウェイ１００５は、車両１０００のオペレーティングソフトウェアを管理するためのソフトウェア管理クラウド１００９と車両１０００とを接続するために使用することができる。例えば、ソフトウェア管理クラウド１００９は、車両１０００のオペレーティングソフトウェアの更新が要求されるか否かをモニタリングし、車両１０００のオペレーティングソフトウェアの更新が要求されたことをモニタリングすることに基づいて、ゲートウェイ１００５を介して、車両１０００のオペレーティングソフトウェアを更新するためのデータを提供することができる。別の例として、ソフトウェア管理クラウド１００９は、車両１０００のオペレーティングソフトウェアの更新を要求するユーザ要求を、車両１０００からゲートウェイ１００５を介して受信し、この受信に基づいて、車両１０００のオペレーティングソフトウェアを更新するためのデータを提供することができる。しかし、これに限定されない。
【0151】
図１１は、一実施形態による電子装置の動作に関するフローチャートの一例を示す。図１１の電子装置は、図１、図２、図３ａ、図３ｂ、図４ａ、図４ｂ、図４ｃ、図５ａ、図５ｂ、図５ｃ、図５ｄ、図６ａ、図６ｂ、及び／又は図６ｃの電子装置１０１を含むことができる。図１１の電子装置は、図７の自律走行システム７００を含むことができる。図１１の電子装置は、図８及び／又は図９の制御装置９００を含んでもよい。図１１の動作は、図１のプロセッサ１２０によって実行することができる。
【0152】
図１１を参照すると、動作１１０１において、一実施形態による電子装置は、カメラ（例えば、図１のカメラ１４０）を介して画像を取得することができる。電子装置は、前記カメラを介して取得した画像のＦＯＶ及び／又は前記カメラのＦＯＶに基づいて、前記画像の分割に使用されるウィンドウの幅を識別することができる。
【0153】
動作１１０３において、一実施形態による電子装置は、基準面に対応する視覚オブジェクト（例えば、地面）を含む第１の領域に基づいて、ウィンドウの高さを識別することができる。
【0154】
動作１１０５において、一実施形態による電子装置は、ウィンドウの幅及び高さに基づいて、前記ウィンドウを用いて、第１の領域を複数の部分領域に分割することができる。例えば、電子装置は、地面に対応する第１の領域を、ウィンドウのサイズと同じサイズを有する部分領域に分割することができる。
【0155】
動作１１０７において、一実施形態による電子装置は、複数の部分領域のうち第１の部分領域が入力されたニューラルネットワークから、外部オブジェクトが第１の部分領域に含まれるか否かを識別することができる。例えば、電子装置は、複数の部分領域を、順次にニューラルネットワークに入力することができる。電子装置は、前記複数の部分領域を順次にニューラルネットワークに入力したことに基づいて、前記複数の部分領域のうち１つに外部オブジェクトが含まれるか否かを識別することができる。例えば、電子装置は、前記複数の部分領域のうち第１の部分領域内に外部オブジェクトが含まれていることを識別することができる。電子装置は、第１の部分領域内に外部オブジェクトが含まれていることを識別することに基づいて、第１の部分領域から指定された間隔で離隔された第２の部分領域を取得することができる。
【0156】
動作１１０９において、一実施形態による電子装置は、外部オブジェクトが第１の部分領域に含まれるか否かに基づいて識別された間隔に基づいて、画像内で第１の部分領域から離隔された第２の部分領域を取得することができる。電子装置は、第１の部分領域内で外部オブジェクトを識別したことに基づいて、第１の部分領域を含まない第２の部分領域を、ニューラルネットワークに入力することができる。
【0157】
前述のように、一実施形態による電子装置は、ニューラルネットワークに入力された画像の部分領域に基づいて、外部オブジェクトを識別することができる。例えば、このニューラルネットワークは、画像の部分領域を用いて、外部オブジェクトを識別するためのニューラルネットワークを含んでもよい。電子装置は、前記ニューラルネットワークを用いて外部オブジェクトを識別することによって、比較的小さいサイズを有する外部オブジェクトを識別することができる。電子装置は、前記部分領域に基づいて外部オブジェクトを識別することによって、プロセッサの使用量を減らすことができる。
【0158】
図１２は、一実施形態による電子装置の動作に関するフローチャートの一例を示す。図１２の電子装置は、図１、図２、図３ａ、図３ｂ、図４ａ、図４ｂ、図４ｃ、図５ａ、図５ｂ、図５ｃ、図５ｄ、図６ａ、図６ｂ、及び／又は図６ｃの電子装置１０１、及び／又は図１１の電子装置を含んでもよい。図１２の電子装置は、図７の自律走行システム７００を含むことができる。図１２の電子装置は、図８及び／又は図９の制御装置９００を含むことができる。図１２の動作は、図１のプロセッサ１２０によって実行することができる。
【0159】
図１２を参照すると、動作１２０１において、一実施形態による電子装置は、メモリ（例えば、図１のメモリ１３０）に記憶された画像を識別することができる。電子装置は、前記メモリに記憶された画像において、車線（例えば、図２の車線２３０）により区切られた複数の車路（例えば、図２の複数の車路２５０）のうち第１の車路（例えば、図２の第１の車路２５１）で車両を識別したことに基づいて、第１の車両に関連する第１のデータセットを取得することができる。例えば、第１の車両に関連する第１のデータセットは、第１の車両として識別された領域で識別された第１の車両の車両ナンバープレートに関連するデータを含むことができる。
【0160】
動作１２０３において、一実施形態による電子装置は、複数の車路のうち、第１の車路とは異なる第２の車路（例えば、図２の第２の車路２５２）で、第２の車両を識別することができる。電子装置は、第２の車路で第２の車両を識別したことに基づいて、第２の車両に関連する第２のデータセットを取得することができる。例えば、第２の車両に関連する第２のデータセットは、第２の車両として識別された領域で識別された第２の車両の車両ナンバープレートに関連するデータを含むことができる。
【0161】
動作１２０５において、一実施形態による電子装置は、複数の車路のうち、第１の車路及び第２の車路とは異なる第３の車路（例えば、図２の第３の車路２５３）で第３の車両を識別することができる。例えば、電子装置は、第３の車路で第３の車両を識別したことに基づいて、第３の車両に関連するデータセットを取得することができる。例えば、第３の車両に関連する第３のデータセットは、第３の車両として識別された領域で識別された第３の車両の車両ナンバープレートに関連するデータを含むことができる。
【0162】
動作１２０７において、一実施形態による電子装置は、第１のデータセット、第２のデータセット、及び第３のデータセットのそれぞれに基づくトゥルースデータを用いて、ニューラルネットワークをトレーニングすることができる。電子装置は、異なる車路で識別された車両に関連するデータセットに基づいて、ニューラルネットワークをトレーニングすることができる。例えば、前記データセットは、複数の車路の中で車両が識別された車路、及び／又は前記車両に含まれる車両ナンバープレートに関連するデータを含むことができる。
【0163】
前述のように、一実施形態によれば、電子装置は、複数の車路で車両を識別することができる。電子装置は、前記複数の車路のそれぞれで識別された車両のそれぞれに関連するデータセットを取得することができる。電子装置は、前記データセットに基づいて、ニューラルネットワークをトレーニングすることができる。電子装置は、前記データセットに基づいて、前記ニューラルネットワークをトレーニングすることによって、画像内の部分領域に含まれる外部オブジェクトを識別するためのニューラルネットワークを取得することができる。
【0164】
図１３は、一実施形態による、学習データのセットに基づいて、ニューラルネットワークをトレーニングする電子装置１０１の動作を説明するための図である。図１３を参照して説明される動作は、図１～図１２の電子装置によって実行することができる。
【0165】
図１３を参照すると、動作１３０２において、一実施形態による電子装置は、学習データのセットを取得することができる。電子装置は、教師あり学習（ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）のための学習データのセットを取得することができる。学習データは、入力データとこの入力データに対応する基底トゥルース（ｇｒｏｕｎｄ ｔｒｕｔｈ）データのペア（ｐａｉｒ）を含むことができる。基底トゥルースデータは、この基底トゥルースデータのペアである入力データを受信したニューラルネットワークから取得しようとする出力データを表すことができる。前記基底トゥルースデータは、図１～図１２を参照して説明した電子装置によって取得することができる。
【0166】
例えば、画像を認識するために、ニューラルネットワークをトレーニングする場合、学習データは、画像及び該画像に含まれる１つ又はそれ以上の被写体に関する情報を含むことができる。前記情報は、画像を介して識別可能な被写体の分類（ｃａｔｅｇｏｒｙ又は ｃｌａｓｓ）を含んでもよい。前記情報は、画像内で、被写体に対応する視覚オブジェクトの位置、幅、高さ、及び／又はサイズを含み得る。動作１３０２を通じて識別される学習データのセットは、複数の学習データのペアを含んでもよい。画像を認識するために、ニューラルネットワークをトレーニングする前記の例では、電子装置によって識別される学習データのセットは、複数の画像及び該複数の画像のそれぞれに対応する基底トゥルースデータを含むことができる。
【0167】
図１３を参照すると、動作１３０４において、一実施形態による電子装置は、学習データのセットに基づいて、ニューラルネットワークのトレーニングを実行することができる。ニューラルネットワークが教師あり学習に基づいてトレーニングされる一実施形態では、電子装置は、学習データに含まれる入力データを、前記ニューラルネットワークの入力層に入力することができる。前記入力層を含むニューラルネットワークの一例を、図１４を参照して説明する。入力層を介して、前記入力データを受信したニューラルネットワークの出力層から、電子装置は、前記入力データに対応するニューラルネットワークの出力データを取得することができる。
【0168】
一実施形態では、動作１３０４のトレーニングは、前記出力データと、前記学習データに含まれ、前記入力データに対応する基底トゥルースデータとの間の差に基づいて実行されてもよい。例えば、電子装置は、傾斜降下アルゴリズム（ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ）に基づいて、前記差が減少するように、前記ニューラルネットワークに関連する１つ又はそれ以上のパラメータ（例えば、図１４を参照して後述する重み）を調整することができる。前記１つ以上のパラメータを調整する電子装置の動作は、ニューラルネットワークへのチューニングと呼ばれることがある。電子装置は、出力データに基づくニューラルネットワークのチューニングを、コスト関数（ｃｏｓｔ ｆｕｎｃｔｉｏｎ）など、ニューラルネットワークの性能を評価するために定義された関数を用いて実行することができる。前述の出力データと基底トゥルースデータとの間の差は、コスト関数の一例として含まれてもよい。
【0169】
図１３を参照すると、動作１３０６において、一実施形態による電子装置は、動作１３０４によってトレーニングされたニューラルネットワークから、有効な出力データが出力されたか否かを識別することができる。出力データが有効であるということは、出力データと基底トゥルースデータとの間の差（又はコスト関数）が、前記ニューラルネットワークを使用するために設定された条件を満たすことを意味することができる。例えば、出力データと基底トゥルースデータとの間の差の平均値及び／又は最大値が、指定された閾値以下である場合、電子装置は、有効な出力データがニューラルネットワークから出力されると決定することができる。
【0170】
ニューラルネットワークから有効な出力データが出力されない場合（動作１３０６－いいえ）、電子装置は、動作１３０４に基づくニューラルネットワークのトレーニングを繰り返し実行することができる。実施形態は、これに限定されず、電子装置は、動作１３０２、１３０４を繰り返し実行することができる。
【0171】
ニューラルネットワークから有効な出力データを取得した状態で（動作１３０６‐はい）、動作１３０８に基づいて、一実施形態による電子装置は、トレーニングされたニューラルネットワークを使用することができる。例えば、電子装置は、学習データとして、前記ニューラルネットワークに入力された入力データと区別された他の入力データを、ニューラルネットワークに入力することができる。前記他の入力データを受信したニューラルネットワークから取得した出力データを、電子装置は、ニューラルネットワークに基づいて、前記他の入力データの推論を行った結果として利用することができる。
【0172】
図１４は、一実施形態による電子装置１０１のブロック図である。図１４の電子装置１０１は、図１～図１３の電子装置を含んでもよい。例えば、図１３を参照して説明した動作は、図１４の電子装置１０１及び／又は図１４のプロセッサ１４１０によって実行することができる。
【0173】
図１４を参照すると、電子装置１０１のプロセッサ１４１０は、メモリ１４２０に記憶されたニューラルネットワーク１４３０に関連する計算（ｃｏｍｐｕｔａｔｉｏｎｓ）を実行することができる。プロセッサ１４１０は、ＣＰＵ（ｃｅｎｔｅｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＧＰＵ（ｇｒａｐｈｉｃ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、又はＮＰＵ（ｎｅｕｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）のうち少なくとも１つを含んでもよい。ＮＰＵは、ＣＰＵとは別のチップとして実装されてもよく、又はＳｏＣ（ｓｙｓｔｅｍ ｏｎ ａ ｃｈｉｐ）の形態でＣＰＵなどのチップに集積され（ｉｎｔｅｇｒａｔｅｄ）てもよい。ＣＰＵに集積された（ｉｎｔｅｇｒａｔｅｄ）ＮＰＵは、ニューラルコア及び／又はＡＩ（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）アクセラレータと呼ばれることがある。
【0174】
図１４を参照すると、プロセッサ１４１０は、メモリ１４２０に記憶されたニューラルネットワーク１４３０を識別することができる。ニューラルネットワーク１４３０は、入力層（Ｉｎｐｕｔ ｌａｙｅｒ）１４３２、１つ以上の隠れ層（Ｈｉｄｄｅｎ ｌａｙｅｒｓ）１４３４（又は中間層（Ｉｎｔｅｒｍｅｄｉａｔｅ ｌａｙｅｒｓ））、及び出力層（Ｏｕｔｐｕｔ ｌａｙｅｒｓ）１４３６の結合を含むことができる。前述の層（例えば、入力層１４３２、１つ以上の隠れ層１４３４、及び出力層１４３６）は、複数のノードを含むことができる。隠れ層１４３４の数は、実施形態によって変わってもよく、複数の隠れ層１４３４を含むニューラルネットワーク１４３０は、ディープ（ｄｅｅｐ）ニューラルネットワークと呼ばれることがある。ディープニューラルネットワークをトレーニングする動作は、ディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）と呼ばれることがある。
【0175】
一実施形態では、ニューラルネットワーク１４３０が、フィードフォワードニューラルネットワーク（ｆｅｅｄ ｆｏｒｗａｒｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）の構造を有する場合、特定の層に含まれる第１のノードは、前記特定の層の以前の別の層に含まれる第２のノードのすべてに接続することができる。メモリ１４２０内で、ニューラルネットワーク１４３０のために記憶されたパラメータは、第２のノードと第１のノードとの間の接続に割り当てられた（ａｓｓｉｇｎｅｄ）重み付け（ｗｅｉｇｈｔ）を含むことができる。フィードフォワードニューラルネットワークの構造を有するニューラルネットワーク１４３０において、第１のノードの値は、第２のノードと第１のノードとを接続する接続に割り当てられた重み付けに基づく、第２のノードに割り当てられた値の重み付け合（ｗｅｉｇｈｔｅｄ ｓｕｍ）に対応することができる。
【0176】
一実施形態では、ニューラルネットワーク１４３０が畳み込み（ｃｏｎｖｏｌｕｔｉｏｎ）ニューラルネットワークの構造を有する場合、特定の層に含まれる第１のノードは、前記特定の層の以前の別の層に含まれる第２のノードの一部に対する重み付け合に対応できる。第１のノードに対応する第２のノードのいくつかは、前記特定の層に対応するフィルタによって識別されてもよい。メモリ１４２０内で、ニューラルネットワーク１４３０のために記憶されたパラメータは、前記フィルタを表す重み付けを含むことができる。フィルタは、第２のノードのうち、第１のノードの重み付け合を計算するために使用される１つ以上のノード、及び前記１つ以上のノードのそれぞれに対応する重み付けを含むことができる。
【0177】
一実施形態によれば、電子装置１０１のプロセッサ１４１０は、メモリ１４２０に記憶された学習データセット１４４０を使用して、ニューラルネットワーク１４３０に対してトレーニングを実行することができる。学習データセット１４４０に基づいて、プロセッサ１４１０は、図１３を参照して説明した動作を実行して、ニューラルネットワーク１４３０のためにメモリ１４２０に格納された１つ又はそれ以上のパラメータを調整することができる。
【0178】
一実施形態によれば、電子装置１０１のプロセッサ１４１０は、学習データセット１４４０に基づいてトレーニングされたニューラルネットワーク１４３０を用いて、オブジェクト検出、オブジェクト認識、及び／又はオブジェクト分類を実行することができる。プロセッサ１４１０は、カメラ１４５０を介して取得した画像（又はビデオ）を、ニューラルネットワーク１４３０の入力層１４３２に入力することができる。画像が入力された入力層１４３２に基づいて、プロセッサ１４１０は、ニューラルネットワーク１４３０に含まれる層のノードの値を順次取得し、出力層１４３６のノードの値のセット（例えば、出力データ）を取得することができる。前記出力データは、ニューラルネットワーク１４３０を用いて、前記画像に含まれる情報を推定した結果として使用することができる。実施形態は、これに限定されず、プロセッサ１４１０は、通信回路１４６０を介して、電子装置１０１に接続された外部電子装置から取得した画像（又はビデオ）を、ニューラルネットワーク１４３０に入力することができる。
【0179】
一実施形態では、画像を処理するためにトレーニングされたニューラルネットワーク１４３０は、前記画像内で、被写体に対応する領域を識別するか（オブジェクト検出）、及び／又は前記画像内でに表現された被写体のクラスを識別する（オブジェクト認識及び／又はオブジェクト分類）ために使用することができる。例えば、電子装置１０１は、ニューラルネットワーク１４３０を用いて、前記画像内で、前記被写体に対応する領域を、バウンディングボックスなどの長方形の形状に基づいて、分割（ｓｅｇｍｅｎｔ）することができる。例えば、電子装置１０１は、ニューラルネットワーク１４３０を用いて、複数の指定されたクラスのうち、前記被写体にマッチングする少なくとも１つのクラスを識別することができる。
【0180】
前述したように、一実施形態による電子装置（ｅｌｅｃｔｒｏｎｉｃ ｄｅｖｉｃｅ）は、カメラとプロセッサとを含むことができる。前記プロセッサは、前記カメラを介して取得した画像のＦＯＶ（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）に基づいて、前記画像の分割に使用されるウィンドウの幅（ｗｉｄｔｈ）を識別し、基準面（ｒｅｆｅｒｅｎｃｅ ｓｕｒｆａｃｅ）に対応する視覚オブジェクトを含む第１の領域に基づいて、前記ウィンドウの高さ（ｈｅｉｇｈｔ）を識別し、前記幅及び高さに基づいて、前記ウィンドウを用いて、第１の領域を複数の部分領域に分割し、前記複数の部分領域のうち第１の部分領域が入力されたニューラルネットワークから、外部オブジェクトが第１の部分領域に含まれるかどうかを識別し、前記外部オブジェクトが第１の部分領域に含まれるか否かに基づいて識別された間隔に基づいて、前記画像内で、第１の部分領域から離隔された第２の部分領域を取得することができる。
【0181】
一実施形態によれば、前記プロセッサは、前記カメラによる第１の画像である画像の歪み（ｄｉｓｔｏｒｔｉｏｎ）を識別し、第１の画像とは異なり、前記歪みを補償した第２の画像に基づいて、前記外部オブジェクトを識別することができる。
【0182】
一実施形態によれば、前記プロセッサは、前記複数の部分領域を前記幅の第１の比率だけ部分的に重ねることができる。
【0183】
一実施形態によれば、電子装置は、センサを含むことができる。前記プロセッサは、該センサに基づいて、第１の基準速度以下である、前記電子装置の第１の速度を識別し、第１の速度を識別することに基づいて、前記画像の縁部を含む第１のサブ領域で、前記複数の部分領域を、第１の比率よりも小さい第２の比率だけ重畳してもよい。
【0184】
一実施形態によれば、電子装置は、センサを含むことができる。前記プロセッサは、該センサに基づいて、第２の基準速度以上である、前記電子装置の第２の速度を識別し、第２の速度を識別することに基づいて、前記画像の縁部を含む第１の部分領域とは異なる第２の部分領域で、前記複数の部分領域を、前記第１の比率より小さい第２の比率だけ重ねることができる。
【0185】
一実施形態によれば、電子装置は、スピーカを含むことができる。前記プロセッサは、前記外部オブジェクトを識別したことに基づいて、前記外部オブジェクトが識別されたことを知らせるためのオーディオ信号を出力することができる。
【0186】
一実施形態によれば、電子装置は、ディスプレイを含んでもよい。前記プロセッサは、前記外部オブジェクトを識別したことに基づいて、前記外部オブジェクトに対応する視覚オブジェクトを表示することができる。
【0187】
一実施形態によれば、電子装置は、センサを含むことができる。前記プロセッサは、前記センサを用いて識別された前記カメラが向いている方向を識別し、指定された範囲内の前記方向を識別したことに基づいて、前記高さを識別することができる。
【0188】
一実施形態によれば、前記高さは、第１の高さを含み得る。前記プロセッサは、第２の領域の第２の高さを識別し、第２の高さと第１の高さとの差を識別したことに基づいて、前記画像の一部をキャプチャした複数の部分領域のサイズを調整することができる。
【0189】
一実施形態によれば、前記プロセッサは、第２の高さより小さい第１の高さを識別することに基づいて、第２の領域の一頂点（ｖｅｒｔｅｘ）を含む第１の部分領域を識別し、 第１の部分領域と部分的に重なり、第１の部分領域と同じサイズを有する第２の部分領域を識別することができる。
【0190】
前述のように、一実施形態によれば、電子装置（ｅｌｅｃｔｒｏｎｉｃ ｄｅｖｉｃｅ）は、メモリ及びプロセッサを含むことができる。前記プロセッサは、前記メモリに記憶された画像において、車線（ｌｉｎｅ）によって区切られた複数の車路（ｌａｎｅｓ）のうち、第１の車路で第１の車両を識別したことに基づいて、第１の車両に関連する第１のデータセットを取得し、前記複数の車路のうち、第１の車路とは異なる第２の車路で第２車両を識別したことに基づいて、第２車両に関連する第２データセットを取得し、前記複数の車路のうち、第１の車路及び第２の車路とは異なる第３の車路で、第３の車両を識別したことに基づいて、第３の車両に関連する第３のデータセットを取得し、第１のデータセット、第２のデータセット及び第３のデータセットのそれぞれに基づくトゥルースデータ（ｔｒｕｔｈ ｄａｔａ）を用いて、ニューラルネットワークをトレーニングすることができる。
【0191】
一実施形態によれば、前記ニューラルネットワークは、第１のデータセット、第２のデータセット、及び第３のデータセットのそれぞれで識別された車両の形態を使用してトレーニングすることができる。
【0192】
一実施形態によれば、前記ニューラルネットワークは、第１の車両として識別された第１のバウンディングボックスに含まれる１つ又はそれ以上のテキストを含む第１のバウンディングボックス内の車両ナンバープレートを用いてトレーニングすることができる。
【0193】
一実施形態によれば、前記ニューラルネットワークは、第２の領域に含まれる１つ又はそれ以上のテキストに対するラベリング（ｌａｂｅｌｉｎｇ）を用いてトレーニングすることができる。
【0194】
前述のように、一実施形態によれば、電子装置（ｅｌｅｃｔｒｏｎｉｃ ｄｅｖｉｃｅ）の方法は、カメラを介して取得した画像のＦＯＶ（ｆｉｅｌｄ ｏｆ ｖｉｅｗ）に基づいて、前記画像の分割に使用されるウィンドウの幅（ｗｉｄｔｈ）を識別する動作、基準面（ｒｅｆｅｒｅｎｃｅ ｓｕｒｆａｃｅ）に対応する視覚オブジェクトを含む第１の領域に基づいて、前記ウィンドウの高さ（ｈｅｉｇｈｔ）を識別する動作、前記幅及び高さに基づいて、前記画像で互いに部分的に重畳された複数の部分領域を分割する動作、前記複数の部分領域のうち第１の部分領域が入力されたニューラルネットワークから、外部オブジェクトが第１の部分領域に含まれるか否を識別する動作、及び前記外部オブジェクトが第１の部分領域に含まれるか否に基づいて識別された間隔に基づいて、前記画像内で、第１の部分領域から離隔された第２の部分領域を取得する動作を含むことができる。
【0195】
一実施形態によれば、前記方法は、前記カメラによる第１の画像である前記画像の歪み（ｄｉｓｔｏｒｔｉｏｎ）を識別する動作と、第１の画像とは異なり、前記歪みを補償した第２の画像に基づいて、前記外部オブジェクトを識別する動作とを含むことができる。
【0196】
一実施形態によれば、前記方法は、前記複数の部分領域を、前記幅の第１の比率だけ部分的に重畳する動作を含んでもよい。
【0197】
一実施形態によれば、前記方法は、センサに基づいて、第１の基準速度以下である、前記電子装置の第１の速度を識別する動作、及び前記第１の速度の識別に基づいて、前記画像の縁部を含む第１の部分領域で、前記複数の部分領域を、第１の比率より小さい第２の比率だけ重畳する動作を含むことができる。
【0198】
一実施形態によれば、前記方法は、センサに基づいて、第２の基準速度以上である、前記電子装置の第２の速度を識別する動作、及び第２の速度の識別に基づいて、前記画像の縁部を含む第１の部分領域とは異なる第２の部分領域で、前記複数の部分領域を、第１の比率よりも小さい第２の比率だけ重畳する動作を含むことができる。
【0199】
一実施形態によれば、前記方法は、前記外部オブジェクトを識別したことに基づいて、前記外部オブジェクトが識別されることを知らせるためのオーディオ信号を出力する方法を含むことができる。
【図1】
【図2】
【図3a】
【図3b】
【図4a】
【図4b】
【図4c】
【図5a】
【図5b】
【図5c】
【図5d】
【図6a】
【図6b】
【図6c】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
