知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025143239
(43)【公開日】2025-10-01
(54)【発明の名称】学習データを取得するための電子装置及び方法
(51)【国際特許分類】
H04N 23/60 20230101AFI20250924BHJP
G06T 7/00 20170101ALI20250924BHJP
G06V 10/25 20220101ALI20250924BHJP
G06N 20/00 20190101ALI20250924BHJP
【ＦＩ】
H04N23/60 500
G06T7/00 350B
G06V10/25
G06N20/00 130
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2025042965
(22)【出願日】2025-03-17
(31)【優先権主張番号】10-2024-0037475
(32)【優先日】2024-03-18
(33)【優先権主張国・地域又は機関】KR
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
２．ＺＩＧＢＥＥ
３．ＷＣＤＭＡ
４．３ＧＰＰ
(71)【出願人】
【識別番号】516082420
【氏名又は名称】シンクウェア コーポレーション
【氏名又は名称原語表記】ＴＨＩＮＫＷＡＲＥ ＣＯＲＰＯＲＡＴＩＯＮ
(74)【代理人】
【識別番号】110002789
【氏名又は名称】弁理士法人ＩＰＸ
(72)【発明者】
【氏名】パク・ヨセップ
(72)【発明者】
【氏名】オー・ヒョンソク
(72)【発明者】
【氏名】チュン・ヘジュン
(72)【発明者】
【氏名】チェ・ヨチャン
(72)【発明者】
【氏名】シン・トンウォン
【テーマコード（参考）】
5C122
5L096
【Ｆターム（参考）】
5C122DA14
5C122EA22
5C122FA18
5C122FF09
5C122FH05
5C122FH09
5C122FH11
5C122GA01
5C122HA13
5C122HA35
5C122HA48
5C122HB01
5C122HB05
5L096BA04
5L096CA04
5L096CA05
5L096DA01
5L096EA05
5L096EA35
5L096EA39
5L096FA12
5L096FA16
5L096FA25
5L096FA32
5L096FA66
5L096GA08
5L096GA51
5L096HA11
5L096KA04
(57)【要約】 （修正有）
【課題】電子装置は学習データを用いて、環境によって発生するノイズ、ブラーを改善したイメージを取得する。
【解決手段】電子装置は、第１のカメラから第１のイメージを取得することができる。この電子装置は、第１のカメラよりもシャッタースピードが遅い第２のカメラから第２のイメージを取得することができる。この電子装置は、第１のイメージと第２のイメージとで、互いに対応する時点で取得された第１のイメージと第２のイメージとを識別することができる。この電子装置は、第１のイメージにおいて、指定された種類のオブジェクト内の第１の関心領域を設定することができる。この電子装置は、第２のイメージにおいて、第１の関心領域と同じ位置の第２の関心領域を設定することができる。この電子装置は、第１の関心領域が設定された第１のイメージと、第２の関心領域が設定された第２のイメージとを、学習データとして生成することができる。
【選択図】図１
【解決手段】電子装置は、第１のカメラから第１のイメージを取得することができる。この電子装置は、第１のカメラよりもシャッタースピードが遅い第２のカメラから第２のイメージを取得することができる。この電子装置は、第１のイメージと第２のイメージとで、互いに対応する時点で取得された第１のイメージと第２のイメージとを識別することができる。この電子装置は、第１のイメージにおいて、指定された種類のオブジェクト内の第１の関心領域を設定することができる。この電子装置は、第２のイメージにおいて、第１の関心領域と同じ位置の第２の関心領域を設定することができる。この電子装置は、第１の関心領域が設定された第１のイメージと、第２の関心領域が設定された第２のイメージとを、学習データとして生成することができる。
【選択図】図１
【特許請求の範囲】
【請求項1】
電子装置であって、
通信回路；
命令を格納するメモリ；及び
前記通信回路及び前記メモリと動作可能に接続された少なくとも１つのプロセッサを含み、
前記命令が前記プロセッサによって実行されると、前記電子装置は、
前記通信回路を介して、第１のカメラから第１のイメージを取得し、
前記通信回路を介して、前記第１のカメラよりもシャッタースピードが遅い第２のカメラから第２のイメージを取得し、
前記第１のイメージと前記第２のイメージとで、互いに対応する時点で取得された第１のイメージ及び第２のイメージを識別し、
前記第１のイメージにおいて、指定された種類のオブジェクト内の第１の関心領域を設定し、
前記第２のイメージにおいて、前記第１の関心領域と同じ位置の第２の関心領域を設定し、
前記第１の関心領域が設定された第１のイメージと、前記第２の関心領域が設定された第２のイメージとを、学習データとして生成するように引き起こす、電子装置。
通信回路；
命令を格納するメモリ；及び
前記通信回路及び前記メモリと動作可能に接続された少なくとも１つのプロセッサを含み、
前記命令が前記プロセッサによって実行されると、前記電子装置は、
前記通信回路を介して、第１のカメラから第１のイメージを取得し、
前記通信回路を介して、前記第１のカメラよりもシャッタースピードが遅い第２のカメラから第２のイメージを取得し、
前記第１のイメージと前記第２のイメージとで、互いに対応する時点で取得された第１のイメージ及び第２のイメージを識別し、
前記第１のイメージにおいて、指定された種類のオブジェクト内の第１の関心領域を設定し、
前記第２のイメージにおいて、前記第１の関心領域と同じ位置の第２の関心領域を設定し、
前記第１の関心領域が設定された第１のイメージと、前記第２の関心領域が設定された第２のイメージとを、学習データとして生成するように引き起こす、電子装置。
【請求項2】
前記第２のカメラは、前記第１のカメラと互いに対応する角度を有するように配置され、
前記第２のカメラのレンズ属性は、前記第１のカメラのレンズ属性と同じであり、
前記命令が前記プロセッサによって実行されると、前記電子装置は、
前記第１のカメラ及び前記第２のカメラに、互いに対応する時点で撮影を指示するように引き起こす、請求項１に記載の電子装置。
前記第２のカメラのレンズ属性は、前記第１のカメラのレンズ属性と同じであり、
前記命令が前記プロセッサによって実行されると、前記電子装置は、
前記第１のカメラ及び前記第２のカメラに、互いに対応する時点で撮影を指示するように引き起こす、請求項１に記載の電子装置。
【請求項3】
前記命令が前記プロセッサによって実行されると、前記電子装置は、
前記第１のカメラ及び前記第２のカメラに、対応する時点で撮影を指示した後、指定された時間の間、第１のイメージ及び第２のイメージを取得し、
前記第１のイメージのうちの基準イメージと、前記第２のイメージのそれぞれとを比較することに基づいて、前記基準イメージと互いに対応する時点で取得されたイメージを識別し、
前記第１のイメージから前記基準イメージまでのフレーム差と同じフレーム差を有する前記第２のイメージを、前記第２のイメージから識別するように引き起こす、請求項１に記載の電子装置。
前記第１のカメラ及び前記第２のカメラに、対応する時点で撮影を指示した後、指定された時間の間、第１のイメージ及び第２のイメージを取得し、
前記第１のイメージのうちの基準イメージと、前記第２のイメージのそれぞれとを比較することに基づいて、前記基準イメージと互いに対応する時点で取得されたイメージを識別し、
前記第１のイメージから前記基準イメージまでのフレーム差と同じフレーム差を有する前記第２のイメージを、前記第２のイメージから識別するように引き起こす、請求項１に記載の電子装置。
【請求項4】
前記命令が前記プロセッサによって実行されると、前記電子装置は、
前記第１のイメージにおいて、指定されたサイズの領域をクロップすることによって、クロップされた第１のイメージを生成し、
前記クロップされた第１のイメージに基づいて、前記第２のイメージにおいて、指定されたサイズの他の領域をクロップすることによって、クロップされた第２のイメージを生成するように引き起こす、請求項１に記載の電子装置。
前記第１のイメージにおいて、指定されたサイズの領域をクロップすることによって、クロップされた第１のイメージを生成し、
前記クロップされた第１のイメージに基づいて、前記第２のイメージにおいて、指定されたサイズの他の領域をクロップすることによって、クロップされた第２のイメージを生成するように引き起こす、請求項１に記載の電子装置。
【請求項5】
前記命令が前記プロセッサによって実行されると、前記電子装置は、
前記クロップされた第１のイメージと、前記第２のイメージの複数の領域との間の正規化された差分値を識別し、
前記クロップされた第１のイメージの特徴点と、前記第２のイメージの複数の領域のそれぞれの特徴点との間の正規化された距離を識別し、
前記正規化された差分値と、前記正規化された距離との間の重み付き平均が最も低い領域をクロップすることによって、前記クロップされた第２のイメージを生成するように引き起こす、請求項４に記載の電子装置。
前記クロップされた第１のイメージと、前記第２のイメージの複数の領域との間の正規化された差分値を識別し、
前記クロップされた第１のイメージの特徴点と、前記第２のイメージの複数の領域のそれぞれの特徴点との間の正規化された距離を識別し、
前記正規化された差分値と、前記正規化された距離との間の重み付き平均が最も低い領域をクロップすることによって、前記クロップされた第２のイメージを生成するように引き起こす、請求項４に記載の電子装置。
【請求項6】
前記命令が前記プロセッサによって実行されると、前記電子装置は、
前記クロップされた第１のイメージにおいて、指定された種類のオブジェクトを識別し、
前記クロップされた第１のイメージで識別された前記オブジェクト内の前記第１の関心領域を設定し、
前記クロップされた第２のイメージにおいて、前記クロップされた第１のイメージの前記オブジェクトの位置を設定し、
前記クロップされた第２のイメージにおいて、前記クロップされた第１のイメージの前記第１の関心領域と同じ位置の前記第２の関心領域を設定するように引き起こす、請求項４に記載の電子装置。
前記クロップされた第１のイメージにおいて、指定された種類のオブジェクトを識別し、
前記クロップされた第１のイメージで識別された前記オブジェクト内の前記第１の関心領域を設定し、
前記クロップされた第２のイメージにおいて、前記クロップされた第１のイメージの前記オブジェクトの位置を設定し、
前記クロップされた第２のイメージにおいて、前記クロップされた第１のイメージの前記第１の関心領域と同じ位置の前記第２の関心領域を設定するように引き起こす、請求項４に記載の電子装置。
【請求項7】
前記命令が前記プロセッサによって実行されると、前記電子装置は、
前記第１の関心領域において、文字列識別アルゴリズムに基づいて、文字列を識別し、
前記第１の関心領域及び前記第２の関心領域において、前記識別された文字列をラベル付けするように引き起こす、請求項６に記載の電子装置。
前記第１の関心領域において、文字列識別アルゴリズムに基づいて、文字列を識別し、
前記第１の関心領域及び前記第２の関心領域において、前記識別された文字列をラベル付けするように引き起こす、請求項６に記載の電子装置。
【請求項8】
前記命令が前記プロセッサによって実行されると、前記電子装置は、
前記第１の関心領域を、指定された変換アルゴリズムに基づいて、指定された図形に変換し、
前記指定された図形に変換された前記第１の関心領域において、前記文字列識別アルゴリズムに基づいて、前記文字列を識別するように引き起こす、請求項７に記載の電子装置。
前記第１の関心領域を、指定された変換アルゴリズムに基づいて、指定された図形に変換し、
前記指定された図形に変換された前記第１の関心領域において、前記文字列識別アルゴリズムに基づいて、前記文字列を識別するように引き起こす、請求項７に記載の電子装置。
【請求項9】
前記命令が前記プロセッサによって実行されると、前記電子装置は、
前記第１のイメージのうち、連続するイメージ間の差に基づいて、前記電子装置が移動するかどうかを識別し、
前記電子装置が移動していないことに基づいて、前記第１のイメージ及び前記第２のイメージを削除し、
前記電子装置が移動することに基づいて、前記第１のイメージ及び前記第２のイメージに基づいた前記学習データを生成するように引き起こす、請求項１に記載の電子装置。
前記第１のイメージのうち、連続するイメージ間の差に基づいて、前記電子装置が移動するかどうかを識別し、
前記電子装置が移動していないことに基づいて、前記第１のイメージ及び前記第２のイメージを削除し、
前記電子装置が移動することに基づいて、前記第１のイメージ及び前記第２のイメージに基づいた前記学習データを生成するように引き起こす、請求項１に記載の電子装置。
【請求項10】
通信回路を含む電子装置で実行される方法であって、
前記通信回路を介して、第１のカメラから第１のイメージを取得する動作、
前記通信回路を介して、前記第１のカメラよりもシャッタースピードが遅い第２のカメラから第２のイメージを取得する動作、
前記第１のイメージと前記第２のイメージとで、互いに対応する時点で取得された第１のイメージ及び第２のイメージを識別する動作、
前記第１イメージにおいて、指定された種類のオブジェクト内の第１の関心領域を設定する動作、
前記第２のイメージにおいて、前記第１の関心領域と同じ位置の第２の関心領域を設定する動作、及び
前記第１の関心領域が設定された第１のイメージと、前記第２の関心領域が設定された第２のイメージとを、学習データとして生成する動作を含む、方法。
前記通信回路を介して、第１のカメラから第１のイメージを取得する動作、
前記通信回路を介して、前記第１のカメラよりもシャッタースピードが遅い第２のカメラから第２のイメージを取得する動作、
前記第１のイメージと前記第２のイメージとで、互いに対応する時点で取得された第１のイメージ及び第２のイメージを識別する動作、
前記第１イメージにおいて、指定された種類のオブジェクト内の第１の関心領域を設定する動作、
前記第２のイメージにおいて、前記第１の関心領域と同じ位置の第２の関心領域を設定する動作、及び
前記第１の関心領域が設定された第１のイメージと、前記第２の関心領域が設定された第２のイメージとを、学習データとして生成する動作を含む、方法。
【請求項11】
前記第１のカメラ及び前記第２のカメラに、互いに対応する時点で撮影を指示した後、指定された時間の間、第１のイメージ及び第２のイメージを取得する動作、
前記第１のイメージのうちの基準イメージと、前記第２のイメージのそれぞれとを比較することに基づいて、前記基準イメージと互いに対応する時点で取得されたイメージを識別する動作、及び
前記第１のイメージから前記基準イメージまでのフレーム差と同じフレーム差を有する前記第２のイメージを、前記第２のイメージから識別する動作を含む、請求項１０に記載の方法。
前記第１のイメージのうちの基準イメージと、前記第２のイメージのそれぞれとを比較することに基づいて、前記基準イメージと互いに対応する時点で取得されたイメージを識別する動作、及び
前記第１のイメージから前記基準イメージまでのフレーム差と同じフレーム差を有する前記第２のイメージを、前記第２のイメージから識別する動作を含む、請求項１０に記載の方法。
【請求項12】
前記第１のイメージにおいて、指定されたサイズの領域をクロップすることによって、クロップされた第１のイメージを生成する動作、及び
前記クロップされた第１のイメージに基づいて、前記第２のイメージにおいて、指定されたサイズの他の領域をクロップすることによって、クロップされた第２のイメージを生成する動作を含む、請求項１０に記載の方法。
前記クロップされた第１のイメージに基づいて、前記第２のイメージにおいて、指定されたサイズの他の領域をクロップすることによって、クロップされた第２のイメージを生成する動作を含む、請求項１０に記載の方法。
【請求項13】
前記クロップされた第１のイメージと前記第２のイメージの複数の領域との間の正規化された差分値を識別する動作、
前記クロップされた第１のイメージの特徴点と、前記第２のイメージの複数の領域のそれぞれの特徴点との間の正規化された距離を識別する動作、及び
前記正規化された差分値と、前記正規化された距離との間の重み付き平均が最も低い領域をクロップすることによって、前記クロップされた第２のイメージを生成する動作を含む、請求項１２に記載の方法。
前記クロップされた第１のイメージの特徴点と、前記第２のイメージの複数の領域のそれぞれの特徴点との間の正規化された距離を識別する動作、及び
前記正規化された差分値と、前記正規化された距離との間の重み付き平均が最も低い領域をクロップすることによって、前記クロップされた第２のイメージを生成する動作を含む、請求項１２に記載の方法。
【請求項14】
前記クロップされた第１のイメージにおいて、指定された種類のオブジェクトを識別する動作、
前記クロップされた第１のイメージで識別されたオブジェクト内の前記第１の関心領域を設定する動作、
前記クロップされた第２のイメージにおいて、前記クロップされた第１のイメージの前記オブジェクトの位置を設定する動作、及び
前記クロップされた第２のイメージにおいて、前記クロップされた第１のイメージの前記第１の関心領域と同じ位置の前記第２の関心領域を設定する動作を含む、請求項１２に記載の方法。
前記クロップされた第１のイメージで識別されたオブジェクト内の前記第１の関心領域を設定する動作、
前記クロップされた第２のイメージにおいて、前記クロップされた第１のイメージの前記オブジェクトの位置を設定する動作、及び
前記クロップされた第２のイメージにおいて、前記クロップされた第１のイメージの前記第１の関心領域と同じ位置の前記第２の関心領域を設定する動作を含む、請求項１２に記載の方法。
【請求項15】
前記第１のイメージのうち連続するイメージ間の差に基づいて、前記電子装置が移動するかどうかを識別する動作、
前記電子装置が移動していないことに基づいて、前記第１のイメージ及び前記第２のイメージを削除する動作、及び
前記電子装置が移動することに基づいて、前記第１のイメージ及び前記第２のイメージに基づいて、前記学習データを生成する動作を含む、請求項１０に記載の方法。
前記電子装置が移動していないことに基づいて、前記第１のイメージ及び前記第２のイメージを削除する動作、及び
前記電子装置が移動することに基づいて、前記第１のイメージ及び前記第２のイメージに基づいて、前記学習データを生成する動作を含む、請求項１０に記載の方法。
【請求項16】
非一時的コンピュータ読み取り可能な記録媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）であって、
命令を含むプログラムを記憶し、
前記命令は、通信回路を含む電子装置のプロセッサによって実行されると、前記電子装置が、
前記通信回路を介して、第１のカメラから第１のイメージを取得し、
前記通信回路を介して、前記第１のカメラよりもシャッタースピードが遅い第２のカメラから第２のイメージを取得し、
前記第１のイメージと前記第２のイメージとで、互いに対応する時点で取得された第１のイメージ及び第２のイメージを識別し、
前記第１のイメージにおいて、指定された種類のオブジェクト内の第１の関心領域を設定し、
前記第２のイメージにおいて、前記第１の関心領域と同じ位置の第２の関心領域を設定し、
前記第１の関心領域が設定された第１のイメージと、前記第２の関心領域が設定された第２のイメージとを、学習データとして生成するように引き起こす、非一時的コンピュータ読み取り可能な記憶媒体。
命令を含むプログラムを記憶し、
前記命令は、通信回路を含む電子装置のプロセッサによって実行されると、前記電子装置が、
前記通信回路を介して、第１のカメラから第１のイメージを取得し、
前記通信回路を介して、前記第１のカメラよりもシャッタースピードが遅い第２のカメラから第２のイメージを取得し、
前記第１のイメージと前記第２のイメージとで、互いに対応する時点で取得された第１のイメージ及び第２のイメージを識別し、
前記第１のイメージにおいて、指定された種類のオブジェクト内の第１の関心領域を設定し、
前記第２のイメージにおいて、前記第１の関心領域と同じ位置の第２の関心領域を設定し、
前記第１の関心領域が設定された第１のイメージと、前記第２の関心領域が設定された第２のイメージとを、学習データとして生成するように引き起こす、非一時的コンピュータ読み取り可能な記憶媒体。
【請求項17】
前記命令が前記プロセッサによって実行されると、前記電子装置は、
前記第１のイメージにおいて、指定されたサイズの領域をクロップすることによって、クロップされた第１のイメージを生成し、
前記クロップされた第１のイメージに基づいて、前記第２のイメージにおいて、指定されたサイズの他の領域をクロップすることによって、クロップされた第２のイメージを生成するように引き起こす、請求項１６に記載の非一時的コンピュータ読み取り可能な記憶媒体。
前記第１のイメージにおいて、指定されたサイズの領域をクロップすることによって、クロップされた第１のイメージを生成し、
前記クロップされた第１のイメージに基づいて、前記第２のイメージにおいて、指定されたサイズの他の領域をクロップすることによって、クロップされた第２のイメージを生成するように引き起こす、請求項１６に記載の非一時的コンピュータ読み取り可能な記憶媒体。
【請求項18】
前記命令が前記プロセッサによって実行されると、前記電子装置は、
前記クロップされた第１のイメージと、前記第２のイメージの複数の領域との間の正規化された差分値を識別し、
前記クロップされた第１のイメージの特徴点と、前記第２のイメージの複数の領域のそれぞれの特徴点との間の正規化された距離を識別し、
前記正規化された差分値と、前記正規化された距離との間の重み付き平均が最も低い領域をクロップすることによって、前記クロップされた第２のイメージを生成するように引き起こす、請求項１７に記載の非一時的コンピュータ読み取り可能な記憶媒体。
前記クロップされた第１のイメージと、前記第２のイメージの複数の領域との間の正規化された差分値を識別し、
前記クロップされた第１のイメージの特徴点と、前記第２のイメージの複数の領域のそれぞれの特徴点との間の正規化された距離を識別し、
前記正規化された差分値と、前記正規化された距離との間の重み付き平均が最も低い領域をクロップすることによって、前記クロップされた第２のイメージを生成するように引き起こす、請求項１７に記載の非一時的コンピュータ読み取り可能な記憶媒体。
【請求項19】
前記命令が前記プロセッサによって実行されると、前記電子装置は、
前記クロップされた第１のイメージにおいて、指定された種類のオブジェクトを識別し、
前記クロップされた第１のイメージで識別された前記オブジェクト内の前記第１の関心領域を設定し、
前記クロップされた第２のイメージにおいて、前記クロップされた第１のイメージの前記オブジェクトの位置を設定し、
前記クロップされた第２のイメージにおいて、前記クロップされた第１のイメージの前記第１の関心領域と同じ位置の前記第２の関心領域を設定するように引き起こす、請求項１７に記載の非一時的コンピュータ読み取り可能な記憶媒体。
前記クロップされた第１のイメージにおいて、指定された種類のオブジェクトを識別し、
前記クロップされた第１のイメージで識別された前記オブジェクト内の前記第１の関心領域を設定し、
前記クロップされた第２のイメージにおいて、前記クロップされた第１のイメージの前記オブジェクトの位置を設定し、
前記クロップされた第２のイメージにおいて、前記クロップされた第１のイメージの前記第１の関心領域と同じ位置の前記第２の関心領域を設定するように引き起こす、請求項１７に記載の非一時的コンピュータ読み取り可能な記憶媒体。
【請求項20】
前記命令が前記プロセッサによって実行されると、前記電子装置は、
前記第１のイメージのうち、連続するイメージ間の差に基づいて、前記電子装置が移動するかどうかを識別し、
前記電子装置が移動していないことに基づいて、前記第１のイメージ及び前記第２のイメージを削除し、
前記電子装置が移動することに基づいて、前記第１のイメージ及び前記第２のイメージに基づいた前記学習データを生成するように引き起こす、請求項１６に記載の非一時的コンピュータ読み取り可能な記憶媒体。
前記第１のイメージのうち、連続するイメージ間の差に基づいて、前記電子装置が移動するかどうかを識別し、
前記電子装置が移動していないことに基づいて、前記第１のイメージ及び前記第２のイメージを削除し、
前記電子装置が移動することに基づいて、前記第１のイメージ及び前記第２のイメージに基づいた前記学習データを生成するように引き起こす、請求項１６に記載の非一時的コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示（ｐｒｅｓｅｎｔ ｄｉｓｃｌｏｓｕｒｅ）は、学習データを取得するための電子装置及び方法に関する。
【背景技術】
【0002】
外部環境に関するイメージを取得するために車両に搭載された電子装置は、環境（例えば、低照度、動的環境）によって発生するノイズ（ｎｏｉｓｅ）、又はブラー（ｂｌｕｒ）により、鮮明なイメージを取得することが困難な場合がある。
【0003】
人工知能（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）を用いて、デノイズ（ｄｅ－ｎｏｉｓｅ）又はデブラー（ｄｅ－ｂｌｕｒ）を介して改善されたイメージを取得することができる。
【0004】
前述の情報は、本開示の理解を助けることを目的とする背景技術（ｒｅｌａｔｅｄ ａｒｔ）として提供することができる。前述のいずれも、本開示に関連する先行技術（ｐｒｉｏｒ ａｒｔ）として適用可能であるかどうかについては、いかなる主張も決定も行われない。
【発明の概要】
【課題を解決するための手段】
【0005】
一実施形態によれば、電子装置は、通信回路を含むことができる。前記電子装置は、命令を格納するメモリを含むことができる。前記電子装置は、前記通信回路及び前記メモリと動作可能に接続された少なくとも１つのプロセッサを含むことができる。前記命令が前記プロセッサによって実行されると、前記電子装置は、前記通信回路を介して、第１のカメラから第１のイメージを取得するように引き起こすことができる。前記命令が前記プロセッサによって実行されると、前記電子装置は、前記通信回路を介して、前記第１のカメラよりもシャッタースピードが遅い第２のカメラから、第２のイメージを取得するように引き起こすことができる。前記命令が前記プロセッサによって実行されると、前記電子装置は、前記第１のイメージと前記第２のイメージとで、互いに対応する時点で取得された第１のイメージ及び第２のイメージを識別するように引き起こすことができる。前記命令が前記プロセッサによって実行されると、前記電子装置は、前記第１のイメージにおいて、指定された種類のオブジェクト内の第１の関心領域を設定するように引き起こすことができる。前記命令が前記プロセッサによって実行されると、前記電子装置は、前記第２のイメージにおいて、前記第１の関心領域と同じ位置の第２の関心領域を設定するように引き起こすことができる。前記命令が前記プロセッサによって実行されると、前記電子装置は、前記第１の関心領域が設定された第１のイメージと、前記第２の関心領域が設定された第２のイメージとを、学習データとして生成するように引き起こすことができる。
【0006】
一実施形態によれば、電子装置によって実行される方法は、通信回路を含む電子装置で実行することができる。この方法は、前記通信回路を介して、第１のカメラから第１のイメージを取得する動作を含むことができる。この方法は、前記通信回路を介して、前記第１のカメラよりもシャッタースピードが遅い第２のカメラから、第２のイメージを取得する動作を含むことができる。この方法は、前記第１のイメージと前記第２のイメージとで、互いに対応する時点で取得された第１のイメージ及び第２のイメージを識別する動作を含むことができる。この方法は、前記第１のイメージにおいて、指定された種類のオブジェクト内の第１の関心領域を設定する動作を含むことができる。この方法は、前記第２のイメージにおいて、前記第１の関心領域と同じ位置の第２の関心領域を設定する動作を含むことができる。この方法は、前記第１の関心領域が設定された第１のイメージと、前記第２の関心領域が設定された第２のイメージとを、学習データとして生成する動作を含むことができる。
【0007】
非一時的コンピュータ読み取り可能な記憶媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）は、命令を含むプログラムを記憶することができる。前記命令が通信回路を含む電子装置のプロセッサによって実行されると、前記電子装置は、前記通信回路を介して、第１のカメラから第１のイメージを取得するように引き起こすことができる。前記命令が前記プロセッサによって実行されると、前記電子装置は、前記通信回路を介して、前記第１のカメラよりもシャッタースピードが遅い第２のカメラから、第２のイメージを取得するように引き起こすことができる。前記命令が前記プロセッサによって実行されると、前記電子装置は、前記第１のイメージと前記第２のイメージとで、互いに対応する時点で取得された第１のイメージ及び第２のイメージを識別するように引き起こすことができる。前記命令が前記プロセッサによって実行されると、前記電子装置は、前記第１のイメージにおいて、指定された種類のオブジェクト内の第１の関心領域を設定するように引き起こすことができる。前記命令が前記プロセッサによって実行されると、前記電子装置は、前記第２のイメージにおいて、前記第１の関心領域と同じ位置の第２の関心領域を設定するように引き起こすことができる。前記命令が前記プロセッサによって実行されると、前記電子装置は、前記第１の関心領域が設定された第１のイメージと、前記第２の関心領域が設定された第２のイメージとを、学習データとして生成するように引き起こすことができる。
【発明の効果】
【0008】
一実施形態によれば、電子装置及びその方法は、デノイズ（ｄｅ－ｎｏｉｓｅ）及び／又はデブラー（ｄｅ－ｂｌｕｒ）のための人工知能を学習するための学習データを取得することができる。
【図面の簡単な説明】
【0009】
【図1】電子装置のブロック図（ｂｌｏｃｋ ｄｉａｇｒａｍ）の一例を示す。
【図2a】カメラを介して取得されるフレームの例を示す。
【図2b】カメラを介して取得されるフレームの例を示す。
【図2c】カメラを介して取得されるフレームの例を示す。
【図2d】カメラを介して取得されるフレームの例を示す。
【図3】カメラを介して取得されるＧＴ（ｇｒｏｕｎｄ ｔｒｕｔｈ）イメージ及びブラー（ｂｌｕｒ）イメージの一例を示す。
【図4】ＧＴイメージ及びブラーイメージをクロップする動作の一例を示す。
【図5】ＧＴイメージから関心領域を抽出する動作の一例を示す。
【図6】ブラーイメージで関心領域を設定する動作の一例を示す。
【図7】一実施形態による、電子装置の動作を説明するための例示的なフローチャートを示す。
【図8】一実施形態による、車両の自律走行システムを示したブロック図の一例を示す。
【図9】一実施形態による、自律走行移動体を示すブロック図の一例を示す。
【図10】一実施形態による、自律走行移動体を示すブロック図の一例を示す。
【図11】様々な実施形態によるユーザ装置に関連するゲートウェイの例を示す。
【図12】一実施形態による、学習データのセットに基づいて、ニューラルネットワークをトレーニングする電子装置の動作を説明するための図である。
【図13】一実施形態による、電子装置のブロック図である。
【図14】トラクターとトレーラーが接続されていない状態を例示する図である。
【図15】トラクターとトレーラーが接続された状態を例示する図である。
【発明を実施するための形態】
【0010】
以下、添付の図面を参照して、本明細書の様々な実施形態について説明する。図面の説明に関して、類似又は関連する構成要素には、同様の参照番号を使用することができる。
【0011】
長年にわたり、トラック輸送産業は、着実な成長を経験し、より複雑なサプライチェーンに対応するために、サービスの範囲を拡大してきた。これらのサービスには、ラストマイル配送（ｌａｓｔ－ｍｉｌｅ ｄｅｌｉｖｅｒｉｅｓ）、ドロップトレーラープログラム（ｄｒｏｐ－ｔｒａｉｌｅｒ ｐｒｏｇｒａｍｓ）、港（ｐｏｒｔ）での複合一貫輸送（ｉｎｔｅｒｍｏｄａｌ ｔｒａｎｓｐｏｒｔａｔｉｏｎ）（２つ以上の異なる輸送手段（船舶と鉄道、船舶と飛行機）によって貨物を目的地まで輸送すること）などが含まれる。
【0012】
このように、貨物を輸送する方法は、非常に多様であるため、貨物輸送関連機器の製造業者は、様々な輸送要求（ｖａｒｉｏｕｓ ｔｒａｎｓｐｏｒｔａｔｉｏｎ ｎｅｅｄｓ）に応じて、貨物を輸送するための異なる形態の装置を設計した。
【0013】
本明細書では、貨物（ｆｒｅｉｇｈｔ）輸送（ｃａｒｒｙ又はｃａｔｅｒｉｎｇ）を主目的とするトレーラーを牽引するトラック（ｔｒｕｃｋ）をトラクター（ｔｒａｃｔｏｒ）と呼び、説明する。
【0014】
本明細書で説明するトラクターは、トラクターのキャブ（ｃａｂ）の位置及び形状に応じて、コンベンショナルトラック（ｃｏｎｖｅｎｔｉｏｎａｌ ｔｒｕｃｋ）（又はボンネットトラック（ｂｏｎｎｅｔｅｄ ｔｒｕｃｋ））、キャブオーバートラック（ｃａｂ－ｏｖｅｒ ｔｒｕｃｋ）（又はキャブオーバーエンジン（ｃａｂ－ｏｖｅｒ ｅｎｇｉｎｅ））、及びコンベンショナルトラックとキャブオーバートラックの中間形態であるセミコンベンショナルトラック（ｓｅｍｉ－ｃｏｎｖｅｎｔｉｏｎａｌ ｔｒｕｃｋ）に区分けることができる。
【0015】
コンベンショナルトラックは、トラクターのキャブの前車軸（ｆｒｏｎｔ ａｘｌｅ ｉｎ ｆｒｏｎｔ ｏｆ ｃａｂ）上に、エンジン（ｅｎｇｉｎｅ）及びフード（ｈｏｏｄ）が位置する形態で、運転者が前車軸（ｆｒｏｎｔ ａｘｌｅ）の後ろに座るようになる構造を有し、トラクターのエンジンが運転者の前面に位置する北米（Ｎｏｒｔｈ Ａｍｅｒｉｃａ） で主に使用されるトラクターの形態である。
【0016】
一方、キャブオーバートラックは、トラクターのキャブがトラクターの先端まで位置し、運転者が前車軸（ｆｒｏｎｔ ａｘｌｅ）の前に座るようになる構造を持ち、トラクターの前面が平らな、別名「ｆｌａｔ ｆａｃｅ（又はｆｌａｔ ｎｏｓｅ）」形態で、トラクターのエンジンが運転者の下に位置するヨーロッパ、アジアなどのほとんどの国で主に使用されるトラクターの形態である。
【0017】
トラクターの目的及び需要に応じて、様々な形態が存在するように、トラクターによって牽引されるトレーラーにも様々な形態がある。その中で最も代表的なトレーラーの種類には、フルトレーラー（ｆｕｌｌ－ｔｒａｉｌｅｒ）とセミトレーラー（ｓｅｍｉ－ｔｒａｉｌｅｒ）がある。フルトレーラーとセミトレーラーとは、トレーラーに前車軸（ｆｒｏｎｔ ａｘｌｅ）と後車軸（ｒｅａｒ ａｘｌｅ）の両方が取り付けられているかどうかに区別できる。このトレーラーは、結合装置（ａ ｃｏｕｐｌｉｎｇ ｄｅｖｉｃｅ）を介して、ボックストラック（ｂｏｘ ｔｒｕｃｋ）又はトラクター（ｔｒａｃｔｏｒ）に接続することができる。
【0018】
具体的に説明すると、フルトレーラー（ｆｕｌｌ－ｔｒａｉｌｅｒ）は、前車軸（ｆｒｏｎｔ ａｘｌｅ）と後車軸（ｒｅａｒ ａｘｌｅ）との両方が取り付けられている商業用貨物トレーラー（ｆｒｅｉｇｈｔ ｔｒａｉｌｅｒ）である。フルトレーラーは、総荷重をトレーラーだけで支えるように設計されており、自分の重量をトラクターに頼らずに完全に支えることができ、トラクターのような牽引装置（ｈａｕｌｉｎｇ ｕｎｉｔ又はｔｏｗｉｎｇ ｕｎｉｔ）に結合するために、ドローバー（ｄｒａｗｂａｒ）が装備されており、主にアメリカ、カナダなどで多く使用される。
【0019】
一方、セミトレーラー（ｓｅｍｉ－ｔｒａｉｌｅｒ）は、前車軸（ｆｒｏｎｔ ａｘｌｅ）なしで、後車軸（ｒｅａｒ ａｘｌｅ）のみが装備されている貨物トレーラーで、荷重のかなりの部分（ｌａｒｇｅ ｐｏｒｔｉｏｎ）を「ｆｉｆｔｈ ｗｈｅｅｌ（転向輪）」と呼ばれる一種のヒッチ（ｈｉｔｃｈ）に連結されたトラクターによって支えることができる。セミトレーラーは、トラクターから分離（ｄｅｔａｃｈｍｅｎｔ）されて、停止状態（ｓｔａｔｉｏｎａｒｙ）になった場合には、セミトレーラーの下部に取り付けられたランディングギア（ｌａｎｄｉｎｇ ｇｅａｒ）を、地面に垂直に広げることにより、トレーラーの荷重を支えることができる。セミトレーラーとトラクターの結合（ｃｏｍｂｉｎａｔｉｏｎ）は、セミトレーラートラック（ｓｅｍｉ－ｔｒａｉｌｅｒ ｔｒｕｃｋ）（アメリカでは、単に「セミトレーラー（ｓｅｍｉ－ｔｒａｉｌｅｒ）」、「トラクタートレーラー（ｔｒａｃｔｏｒ－ｔｒａｉｌｅｒ）」、「セミトラック（ｓｅｍｉ－ｔｒｕｃｋ）」、「ビッグリーグ（Ｂｉｇ ｒｉｇ）」又は「セミ（ｓｅｍｉ）」ともいう）と呼ばれる。前述した「転向輪（Ｆｉｆｔｈ ｗｈｅｅｌ）」とは、トレーラートラックのトラクター車軸に取り付けられて、トレーラーの方向転換を容易にするための水平車輪をいい、第５輪とも呼ばれる。「転向輪（Ｆｉｆｔｈ ｗｈｅｅｌ）」は、トラクターとセミトレーラーを可動結合できるようにする装置で、通常、セミトレーラーに取り付けられているキングピン（ｋｉｎｇｐｉｎ）を、トラクターにしっかり固定してくれるトラニオンプレート（ｔｒｕｎｎｉｏｎ ｐｌａｔｅ）とラッチ（ｌａｔｃｈ）装置からなる下部を含む。
【0020】
以下、本明細書では、前述のトラクター／トレーラーの用語に基づいて、説明の便宜上、「トレーラー（Ｔｒａｉｌｅｒ）」は、トレーラー用トラクターに接続する貨物輸送車両を、「トラクター（ｔｒａｃｔｏｒ）」は、トレーラーの移動のための牽引車両を意味するものとして用いる。また、本発明では、詳細な説明に記載された実施形態による権利の限定を最大限排除するために、「トレーラー」を牽引（ｈａｕｌｉｎｇ／ｔｏｗｉｎｇ）するトラクター（ｔｒａｃｔｏｒ）を「牽引車両」、トラクターによって牽引されるトレーラーを「被牽引車両」という用語と混用して説明することもある。
【0021】
そして、説明の便宜のために、本明細書全体で説明される「トレーラー」は、「セミトレーラー」を指すものと理解することが好ましいが、これに限定されない。
【0022】
一実施形態では、電子装置１０１、及びカメラ１５１、１５５は、車両（図示せず）に含まれる（又は搭載される）ことができる。電子装置１０１は、車両内のＥＣＵ（ｅｌｅｃｔｒｏｎｉｃ ｃｏｎｔｒｏｌ ｕｎｉｔ）に対応してもよく、又はＥＣＵに含まれてもよい。ＥＣＵは、ＥＣＭ（ｅｌｅｃｔｒｏｎｉｃ ｃｏｎｔｒｏｌ ｍｏｄｕｌｅ）と呼ばれることがある。電子装置１０１は、車両において、本発明の実施形態による機能を提供するために使用される独立したハードウェア（Ｈａｒｄｗａｒｅ）で構成することができる。実施形態は、これに限定されず、電子装置１０１は、車両に取り付けられたデバイス（例えば、ブラックボックス）に対応してもよく、又は前記デバイスに含まれてもよい。
【0023】
図１を参照すると、一実施形態による電子装置１０１は、通信回路１１０、プロセッサ１２０、及びメモリ１３０を含むことができる。通信回路１１０、プロセッサ１２０、及びメモリ１３０は、通信バス（ａ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｂｕｓ）１４０などの電子部品（ｅｌｅｃｔｒｏｎｉｃ ｃｏｍｐｏｎｅｎｔ）によって、互いに電気的及び／又は動作的に接続することができる（ｅｌｅｃｔｒｏｎｉｃａｌｌｙ ａｎｄ／ｏｒ ｏｐｅｒａｂｌｙ ｃｏｕｐｌｅｄ ｗｉｔｈ ｅａｃｈ ｏｔｈｅｒ）。以下では、ハードウェアが動作的に結合されているのは、ハードウェアのうちの第１のハードウェアによって、第２のハードウェアが制御されるように、ハードウェア間の直接的な接続、又は間接的な接続が、有線で、又は無線で確立されたことを意味することがある。異なるブロックに示されているが、実施形態は、これに限定されない。図１のハードウェアの一部は、ＳｏＣ（ｓｙｓｔｅｍ ｏｎ ａ ｃｈｉｐ）などの単一の集積回路（ｓｉｎｇｌｅ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）に含まれてもよい。電子装置１０１内に含まれるハードウェアの種類及び／又は数は、図１に示すものに限定されない。例えば、電子装置１０１は、図１に示すハードウェアの一部のみを含むことができる。
【0024】
一実施形態によれば、電子装置１０１の通信回路１１０は、電子装置１０１と外部電子装置との間（例えば、カメラ１５１、１５５）の電気信号の送信及び／又は受信をサポートするためのハードウェア部品を含むことができる。通信回路１１０は、例えば、モデム（ＭＯＤＥＭ）、アンテナ、Ｏ／Ｅ（ｏｐｔｉｃ／ｅｌｅｃｔｒｏｎｉｃ）変換器のうちの少なくとも１つを含むことができる。通信回路１１０は、イーサネット（ｅｔｈｅｒｎｅｔ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷｉＦｉ（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ）、ブルトゥス（Ｂｌｕｅｔｏｏｔｈ）、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ ｌｏｗ ｅｎｅｒｇｙ）、Ｚｉｇｂｅｅ、ＬＴＥ（ｌｏｎｇ ｔｅｒｍ ｅｖｏｌｕｔｉｏｎ）、５Ｇ ＮＲ（ｎｅｗ ｒａｄｉｏ）及び／又は６Ｇなどの様々なタイプのプロトコルに基づいて、電気信号の送信及び／又は受信をサポートすることができる。
【0025】
一実施形態によれば、電子装置１０１は、１つ以上の命令に基づいて、データを処理するためのハードウェアを含むことができる。データを処理するためのハードウェアは、プロセッサ１２０を含むことができる。例えば、データを処理するためのハードウェアは、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ａｎｄ ｌｏｇｉｃ ｕｎｉｔ）、ＦＰＵ（ｆｌｏａｔｉｎｇ ｐｏｉｎｔ ｕｎｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、及び／又はＡＰ（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ）を含むことができる。プロセッサ１２０は、シングルコアプロセッサの構造を有してもよく、又はデュアルコア（ｄｕａｌ ｃｏｒｅ）、クアッドコア（ｑｕａｄ ｃｏｒｅ）、ヘキサコア（ｈｅｘａ ｃｏｒｅ）、又はオクタコア（ｏｃｔａ ｃｏｒｅ）などのマルチコアプロセッサの構造を有してもよい。
【0026】
一実施形態によれば、電子装置１０１のメモリ１３０は、電子装置１０１のプロセッサ１２０に入力及び／又は出力されるデータ及び／又は命令を格納するためのハードウェア構成要素を含むことができる。例えば、メモリ１３０は、ＲＡＭ（ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）などの揮発性メモリ（ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、及び／又はＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）などの不揮発性メモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）を含むことができる。例えば、揮発性メモリは、ＤＲＡＭ（ｄｙｎａｍｉｃ ＲＡＭ）、ＳＲＡＭ（ｓｔａｔｉｃ ＲＡＭ）、キャッシュ（Ｃａｃｈｅ）ＲＡＭ、ＰＳＲＡＭ（ｐｓｅｕｄｏ ＳＲＡＭ）のうち少なくとも１つを含むことができる。例えば、不揮発性メモリは、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（ｅｒａｓａｂｌｅ ＰＲＯＭ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュメモリ、ハードディスク、コンパクトディスク、ＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）、ｅＭＭＣ（ｅｍｂｅｄｄｅｄ ｍｕｌｔｉ－ｍｅｄｉａ ｃａｒｄ）のうち少なくとも１つを含み得る。
【0027】
図示されていないが、電子装置１０１は、様々な構成要素をさらに含んでもよい。例えば、電子装置１０１は、ユーザインタフェースを表示するためのディスプレイをさらに含むことができる。
【0028】
一実施形態によれば、カメラ１５１、１５５のそれぞれは、レンズアセンブリ（ａｓｓｅｍｂｌｙ）、又はイメージセンサを含むことができる。レンズアセンブリは、イメージ撮影の対象である被写体から放出された光を収集することができる。レンズアセンブリは、１つ又はそれ以上のレンズを含み得る。一実施形態によれば、カメラ１５１、１５５のそれぞれは、複数のレンズアセンブリを含むことができる。例えば、カメラ１５１、１５５のそれぞれは、複数のレンズアセンブリの一部が同じレンズ属性（例えば、画角、焦点距離、オートフォーカス、ｆナンバー（ｆ ｎｕｍｂｅｒ）、又は光学ズーム）を有してもよく、又は少なくとも１つのレンズアセンブリが、他のレンズアセンブリのレンズ属性とは異なる１つ以上のレンズ属性を有してもよい。レンズアセンブリは、広角レンズ又は望遠レンズを含むことができる。一実施形態によれば、フラッシュは、１つ又はそれ以上の発光ダイオード（例えば、ＲＧＢ（ｒｅｄ－ｇｒｅｅｎ－ｂｌｕｅ）ＬＥＤ、ｗｈｉｔｅＬＥＤ、ｉｎｆｒａｒｅｄＬＥＤ、又はｕｌｔｒａｖｉｏｌｅｔＬＥＤ）、又はキセノンランプ（ｘｅｎｏｎ ｌａｍｐ）を含むことができる。例えば、イメージセンサは、被写体から放射又は反射されて、レンズアセンブリを介して伝達された光を、電気信号に変換することによって、前記被写体に対応するイメージを取得することができる。一実施形態によれば、イメージセンサは、例えば、ＲＧＢセンサ、ＢＷ（ｂｌａｃｋ ａｎｄ ｗｈｉｔｅ）センサ、ＩＲセンサ、又はＵＶセンサなどの属性が異なるイメージセンサのうちの選択された１つのイメージセンサ、同じ属性を有する複数のイメージセンサ、又は他の属性を有する複数のイメージセンサを含むことができる。イメージセンサに含まれる各イメージセンサは、例えば、ＣＣＤ（ｃｈａｒｇｅｄ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）センサ又はＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサを用いて実現することができる。
【0029】
一実施形態では、カメラ１５１、１５５のそれぞれには、設定差が存在してもよい。一実施形態では、カメラ１５１、１５５の各々は、複数の設定のうちの少なくとも１つの設定に差が存在し得る。例えば、複数の設定は、カメラ１５１、１５５のそれぞれの角度（例えば、傾斜（ｔｉｌｔ）角度 、ロール（ｒｏｌｌ）角度、及び／又はパン（ｐａｎ）角度）を含み得る。例えば、複数の設定は、画角（ａｎｇｌｅ ｏｆ ｖｉｅｗ）、解像度、及び／又はレンズ属性（例えば、画角、焦点距離、オートフォーカス、ｆナンバー（ｆ ｎｕｍｂｅｒ）、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）感度、又は光学ズーム）を含むことができる。例えば、複数の設定は、シャッタースピードを含むことができる。例えば、カメラ１５１、１５５のそれぞれの角度は、（ハードウェア構造（例えば、水平計、ケース、固定台）によって）互いに同一である（又は、実質的に同一である）（又は、対応する）ように設定（又は配置）されてもよい。例えば、カメラ１５１、１５５のそれぞれの解像度、及び／又はレンズ特性（例えば、画角、焦点距離、オートフォーカス、ｆナンバー、ＩＳＯ感度、又は光学ズーム）は、互いに同一である（又は実質的に同一である）（又は対応する）ように設定することができる。例えば、カメラ１５１、１５５の各シャッタースピードは、互いに異なっていてもよい。例えば、カメラ１５１のシャッタースピードは、カメラ１５５のシャッタースピードより速くてもよい。一実施形態では、カメラ１５１のシャッタースピードがカメラ１５５のシャッタースピードよりも速いほど、カメラ１５１を介して取得されるイメージは、カメラ１５５を介して取得されたイメージより鮮明になり得る。一実施形態では、カメラ１５１のシャッタースピードが、カメラ１５５のシャッタースピードよりも速いほど、カメラ１５５を介して取得されるイメージは、カメラ１５１を介して取得されるイメージよりも解像度、白色ノイズ、又はブラー（ｂｌｕｒ）（又はモーションブラー）現象のうちの少なくとも１つがより多く発生することがある。これにより、カメラ１５５を介して取得されたイメージは、カメラ１５１を介して取得されたイメージよりも文字列識別が困難になる可能性がある。
【0030】
一実施形態では、カメラ１５１を介して取得されたイメージは、正解イメージ（ｇｒｏｕｎｄ ｔｒｕｔｈ ｉｍａｇｅ）と呼ばれることがある。一実施形態では、カメラ１５５を介して取得されたイメージは、ブラーイメージ（ｂｌｕｒ ｉｍａｇｅ）（又はモーションブラーイメージ）と呼ばれることがある。
【0031】
一実施形態によれば、カメラ１５１、１５５は、車両（図示せず）の一方向に向かって位置（又は配置）されてもよい。例えば、カメラ１５１、１５５は、車両の前方方向（ｆｒｏｎｔ ｄｉｒｅｃｔｉｏｎ）及び／又は走行方向（ｄｒｉｖｉｎｇ ｄｉｒｅｃｔｉｏｎ）に向かって位置（又は配置）されてもよい。
【0032】
図１では、カメラ１５１、１５５が電子装置１０１と物理的に区別されるように例示されているが、これは、例示に過ぎない。実施形態によれば、カメラ１５１、１５５の一部は、電子装置１０１と一体的に形成することができる。あるいは、カメラ１５１、１５５の両方を電子装置１０１と一体的に形成してもよい。例えば、カメラ１５１、１５５の両方が電子装置１０１と一体的に形成されている場合、通信回路１１０は、カメラ１５１、１５５とプロセッサ１２０との間のインタフェースのための回路（例えば、ＭＩＰＩ（ｍｏｂｉｌｅ ｉｎｄｕｓｔｒｙ ｐｒｏｃｅｓｓｏｒ ｉｎｔｅｒｆａｃｅ））であり得る。
【0033】
以下では、電子装置１０１がカメラ１５１、１５５を介して学習データを収集する動作について説明する。
【0034】
一実施形態では、電子装置１０１のプロセッサ１２０は、カメラ１５１、１５５に撮影を指示（又は命令）することができる。一実施形態では、電子装置１０１のプロセッサ１２０は、カメラ１５１、１５５に、互いに同じ（又は実質的に同じ）（又は対応する）時点で撮影を指示（又は命令）することができる。一実施形態では、プロセッサ１２０は、車両が移動することに基づいて、カメラ１５１、１５５に撮影を指示（又は命令）することができる。しかし、これに限定されない。一実施形態では、プロセッサ１２０は、車両の移動に関係なく、カメラ１５１、１５５に撮影を指示（又は命令）することができる。例えば、時点が互いに同一である（又は実質的に同一である）（又は対応する）ことは、撮影の指示（又は命令）が、指定されたオフセット（又はフレームレートに応じたフレーム間隔）内に生成及び／又は送信されることを意味することができる。
【0035】
一実施形態では、プロセッサ１２０は、カメラ１５１、１５５のそれぞれからイメージストリームを取得することができる。一実施形態では、イメージストリームは、設定されたフレームレート（例えば、ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ、ＦＰＳ）で取得されるイメージのデータストリームであり得る。一実施形態では、設定されたフレームレートは、３０ＦＰＳであり得る。しかし、これに限定されない。一実施形態では、設定されたフレームレートは、３０ＦＰＳより小さくてもよく（例えば、２４ＦＰＳ）、又は大きくてもよい（例えば、６０ＦＰＳ）。
【0036】
一実施形態では、プロセッサ１２０は、撮影命令の後に設定されたフレームレートで取得された指定数（例えば、１０個）のイメージを、メモリ１３０（又はメモリ１３０のバッファ）に格納することができる。一実施形態では、プロセッサ１２０は、撮影命令の後に指定された時間（例えば、０．３秒）の間に取得されたイメージを、メモリ１３０（又はメモリ１３０のバッファ）に格納することができる。例えば、プロセッサ１２０は、カメラ１５１から指定された時間の間に取得された指定数（例えば、１０個）のＧＴ（ｇｒｏｕｎｄ ｔｒｕｔｈ）イメージと、カメラ１５５から指定された時間の間に取得された指定数（例えば、１０個）のブラーイメージを、メモリ１３０（又はメモリ１３０のバッファ）に格納することができる。
【0037】
一実施形態では、プロセッサ１２０は、カメラ１５１、１５５から取得されたＧＴイメージ及びブラーイメージに基づいて、車両が移動しているかどうかを識別することができる。一実施形態では、プロセッサ１２０は、連続するイメージ間の比較に基づいて、車両が移動しているかどうかを識別することができる。例えば、プロセッサ１２０は、連続するＧＴイメージ（又はブラーイメージ）間の比較に基づいて、車両が移動しているかどうかを識別することができる。ここで、連続するイメージ間の比較は、第１のフレームのイメージの特徴マップと、第１のフレームの後の第２のフレームのイメージの特徴マップとを比較することに基づいてもよい。連続するイメージ間の比較は、第１のフレームのイメージと、第２のフレームのイメージとの間の差分イメージ（ｄｉｆｆｅｒｅｎｔｉａｌ ｉｍａｇｅ）に基づいてもよい。ここで、第２のフレームは、設定されたフレームレートに応じて、第１のフレームの次回に取得されるフレームであってもよい。ここで、特徴マップは、ニューラルネットワークに基づいて取得することができる。しかし、これに限定されない。
【0038】
一実施形態では、プロセッサ１２０は、連続するイメージ間の差が、指定された基準差以下であることに基づいて、車両が停止中であることを識別することができる。一実施形態では、プロセッサ１２０は、連続するイメージ間の差が、指定された基準差を超えることに基づいて、車両が移動中であることを識別することができる。例えば、プロセッサ１２０は、第１のフレームのイメージの特徴マップと、第２のフレームのイメージの特徴マップとの差分特徴マップにおいて、基準差を超える領域のサイズが、基準サイズ以上であることに基づいて、車両が移動中であることを識別することができる。例えば、プロセッサ１２０は、第１のフレームのイメージの特徴マップと、第２のフレームのイメージの特徴マップとの間の差分特徴マップにおいて、基準差を超える領域のサイズが、基準サイズ未満であることに基づいて、車両が停止中であることを識別することができる。例えば、プロセッサ１２０は、第１のフレームのイメージと、第２のフレームのイメージとの間の差分イメージにおいて、基準差を超える領域のサイズが、基準サイズ以上であることに基づいて、車両が移動中であることを識別することができる。例えば、プロセッサ１２０は、第１のフレームのイメージと、第２のフレームのイメージとの間の差分イメージにおいて、基準差を超える領域のサイズが、基準サイズ未満であることに基づいて、車両が停止中であることを識別することができる。
【0039】
一実施形態では、プロセッサ１２０は、カメラ１５１、１５５から取得されたＧＴイメージ及びブラーイメージに基づいて、重複イメージを識別することができる。一実施形態では、プロセッサ１２０は、連続するイメージ間の比較に基づいて、重複イメージを識別することができる。例えば、プロセッサ１２０は、連続するＧＴイメージ（又はブラーイメージ）間の比較に基づいて、重複イメージを識別することができる。ここで、連続するイメージ間の比較は、第１のフレームのイメージの特徴マップと、第１のフレームの後の第２のフレームのイメージの特徴マップとの比較に基づいてもよい。連続するイメージ間の比較は、第１のフレームのイメージと、第２のフレームのイメージとの差分イメージに基づいてもよい。ここで、第２のフレームは、設定されたフレームレートに応じて、第１のフレームの次回に取得されるフレームであり得る。ここで、特徴マップは、ニューラルネットワークに基づいて取得され得る。しかし、これに限定されない。
【0040】
一実施形態では、プロセッサ１２０は、連続するイメージ間の差が、指定された基準差以下であることに基づいて、連続するイメージが重複イメージであり得る。一実施形態では、プロセッサ１２０は、重複イメージのうちの１つのイメージを削除（又は除去）することができる。
【0041】
一実施形態では、プロセッサ１２０は、カメラ１５１、１５５から取得されたＧＴイメージ及びブラーイメージを処理するかどうかを決定することができる。例えば、プロセッサ１２０は、車両の移動中に、ＧＴイメージ及びブラーイメージが取得されたかどうかに基づいて、ＧＴイメージとブラーイメージとを処理するかどうかを決定することができる。例えば、プロセッサ１２０は、車両の移動中に、ＧＴイメージとブラーイメージとが取得された場合、ＧＴイメージとブラーイメージとを処理すると決定することができる。しかし、これに限定されない。
【0042】
一実施形態では、プロセッサ１２０は、指定された数のＧＴイメージとブラーイメージとの間の時間を整列させることができる。一実施形態では、プロセッサ１２０は、ＧＴイメージとブラーイメージとを処理すると決定された場合、指定された数のＧＴイメージとブラーイメージとの間の時間を整列させることができる。例えば、プロセッサ１２０は、基準カメラを介して取得されたイメージのうち、基準イメージと他のカメラを介して取得されたイメージとを比較して、時間を整列させることができる。例えば、基準カメラがカメラ１５１であり、基準イメージが指定された数のイメージのうち中間イメージ（例えば、５番目のイメージ）であってもよい。この場合、プロセッサ１２０は、５番目のＧＴイメージと１０個のブラーイメージとを比較して、５番目のＧＴイメージと同じ時点（又は実質的に同じ時点）（又は互いに対応する時点）で取得されたブラーイメージを識別することができる。
【0043】
例えば、ＧＴイメージとブラーイメージとの比較は、ＧＴイメージの特徴マップとブラーイメージの特徴マップとの比較に基づいてもよい。例えば、電子装置１０１は、ＧＴイメージの特徴マップとブラーイメージの特徴マップとの間の差分特徴マップにおける基準差を超える領域のサイズと基準サイズとを比較することに基づいて、互いに同じ時点で取得されたＧＴイメージとブラーイメージを識別することができる。例えば、プロセッサ１２０は、ＧＴイメージの特徴マップとブラーイメージの特徴マップとの差分特徴マップにおいて、基準差を超える領域のサイズが基準サイズ以上であることに基づいて、ＧＴイメージとブラーイメージとを、同じ時点で取得されていないイメージとして識別することができる。例えば、プロセッサ１２０は、ＧＴイメージの特徴マップとブラーイメージの特徴マップとの間の差分特徴マップにおける基準差を超える領域のサイズが、基準サイズ未満であることに基づいて、ＧＴイメージとブラーイメージとを、同じ時点で取得されたイメージとして識別することができる。ここで、特徴マップは、ニューラルネットワークに基づいて取得することができる。しかし、これに限定されない。
【0044】
例えば、ＧＴイメージとブラーイメージとの比較は、ＧＴイメージとブラーイメージとの間の差分イメージに基づいてもよい。例えば、電子装置１０１は、差分イメージの基準差を超える領域のサイズと基準サイズとを比較することに基づいて、互いに同じ時点で取得されたＧＴイメージとブラーイメージとを識別することができる。例えば、プロセッサ１２０は、ＧＴイメージとブラーイメージとの間の差分イメージにおいて基準差を超える領域のサイズが、基準サイズ以上であることに基づいて、ＧＴイメージとブラーイメージとを、同じ時点で取得されていないイメージとして識別することができる。例えば、プロセッサ１２０は、ＧＴイメージとブラーイメージとの間の差分イメージにおいて基準差を超える領域のサイズが、基準サイズ未満であることに基づいて、ＧＴイメージとブラーイメージとを、同じ時点で取得されたイメージとして識別することができる。
【0045】
一実施形態では、ＧＴイメージとブラーイメージとが実質的に同じ時点）（又は互いに対応する時点）で取得されることは、ＧＴイメージとブラーイメージとの間の取得時間差が設定されたフレームレートに応じたフレーム間隔（又はフレーム間隔の半分）以下であることを含み得る。ＧＴイメージとブラーイメージとの比較は、図２ａ～図２ｄを参照して説明することができる。
【0046】
【0047】
図２ａを参照すると、カメラ１５１、１５５は、同じ時点（又は実質的に同じ時点）（又は互いに対応する時点）（例えば、Ｔ１）で撮影を開始することができる。一実施形態では、カメラ１５１、１５５が実質的に同じ時点（又は互いに対応する時点）で撮影を開始することは、カメラ１５１、１５５間の撮影開始時間差が設定されたフレームレートに応じたフレーム間隔（又はフレーム間隔の半分）以下であることを含み得る。これにより、図２ａでは、１０個のＧＴイメージ２１１～２２０と、１０個のブラーイメージ２２１～２３０とを、同じ時点（又は実質的に同じ時点）（又は互いに対応する時点）で取得することができる。例えば、時点Ｔ１でＧＴイメージ２１１と、ブラーイメージ２２１とを取得することができる。例えば、時点（例えば、Ｔ２～Ｔ１０）のそれぞれにおいて、ＧＴイメージ２１２～２２０及びブラーイメージ２２２～２３０を取得することができる。
【0048】
一実施形態では、プロセッサ１２０は、１０個のＧＴイメージ２１１～２２０と、１０個のブラーイメージ２２１～２３０との間の時間を整列させることができる。例えば、プロセッサ１２０は、カメラ１５１（又は基準カメラ）を介して取得されたＧＴイメージ２１１～２２０のうち、指定された順番（例えば、５番目）のＧＴイメージ２１５（又は、基準イメージ）と、カメラ１５５（又は他のカメラ）を介して取得された１０個のブラーイメージ２２１～２３０のそれぞれとを比較することができる。ここで、ＧＴイメージ２１５と１０個のブラーイメージ２２１～２３０のそれぞれとの間の比較は、ＧＴイメージ２１５の特徴マップと、１０個のブラーイメージ２２１～２３０のそれぞれの特徴マップとの比較に基づいてもよい。連続するイメージ間の比較は、ＧＴイメージ２１５と、１０個のブラーイメージ２２１～２３０のぞれぞれとの間の差分イメージに基づいてもよい。ここで、特徴マップは、ニューラルネットワークに基づいて取得することができる。しかし、これに限定されない。
【0049】
一実施形態では、プロセッサ１２０は、ＧＴイメージ２１５と、１０個のブラーイメージ２２１～２３０のぞれぞれとの間の差が、指定された基準差以下であるブラーイメージを、ＧＴイメージ２１５と同じ時点で取得されたイメージと判定することができる。例えば、プロセッサ１２０は、ＧＴイメージ２１５と、ブラーイメージ２２５とを、互いに同じ時点で取得されたイメージと判定することができる。これにより、電子装置１０１は、１０個のＧＴイメージ２１１～２２０と、１０個のブラーイメージ２２１～２３０との取得順序（又はフレーム順序）に応じて、互いに同じ時点で取得されたイメージセットを判別することができる。例えば、電子装置１０１は、１０個のＧＴイメージ２１１～２２０のうち、特定のＧＴイメージと基準イメージとの間のフレーム差と同じフレーム差を有するブラーイメージを、１０個のブラーイメージ２２１～２３０から識別することができる。一実施形態では、電子装置１０１は、特定のイメージと識別されたブラーイメージとを、互いに同じ時点で取得されたイメージセットと判定することができる。例えば、ＧＴイメージ２１５とブラーイメージ２２５とが同じ時点で得られたイメージであると判断されると、ＧＴイメージ２１１とブラーイメージ２２１とは、互いに同じ時点（例えば、Ｔ１）で取得されたイメージであると判別することができる。
【0050】
図２ｂを参照すると、カメラ１５１は、カメラ１５５よりも２フレームの時間に対応する時間だけ遅い時点（例えば、Ｔ３）で撮影を開始することができる。これにより、プロセッサ１２０の撮影命令の後、図２ｂでは、８個のＧＴイメージ２１３～２２０と、１０個のブラーイメージ２２１～２３０とを取得することができる。例えば、時点Ｔ１、Ｔ２で、ブラーイメージ２２１、２２２を取得することができる。例えば、時点（例えば、Ｔ３～Ｔ１０）のそれぞれにおいて、ＧＴイメージ２１３～２２０及びブラーイメージ２２３～２３０を取得することができる。
【0051】
一実施形態では、プロセッサ１２０は、８個のＧＴイメージ２１３～２２０と、１０個のブラーイメージ２２１～２３０との間の時間を整列させることができる。例えば、プロセッサ１２０は、カメラ１５１を介して取得されたＧＴイメージ２１３～２２０のうち、指定された順番（例えば、５番目）のＧＴイメージ２１７と、カメラ１５５を介して取得された１０個のブラーイメージ２２１～２３０のそれぞれとを比較することができる。
【0052】
一実施形態では、プロセッサ１２０は、ＧＴイメージ２１７と１０個のブラーイメージ２２１～２３０のそれぞれとの間の差が、指定された基準差以下であるブラーイメージを、ＧＴイメージ２１７と同じ時点で取得されたイメージと判定することができる。例えば、プロセッサ１２０は、ＧＴイメージ２１７とブラーイメージ２２７とを、互いに同じ時点で取得されたイメージと判定することができる。これにより、電子装置１０１は、８個のＧＴイメージ２１３～２２０と、１０個のブラーイメージ２２１～２３０との取得順序（又はフレーム順序）に応じて、互いに同じ時点で取得されたイメージセットを判別することができる。例えば、ＧＴイメージ２１７とブラーイメージ２２７とが、同じ時点で得られたイメージであると判断されると、ＧＴイメージ２１３とブラーイメージ２２３とが、同じ時点で取得されたイメージであると判断することができる。
【0053】
図２ｃを参照すると、カメラ１５５は、カメラ１５１より１フレームの時間に対応する時間だけ遅い時点（例えば、Ｔ２）で撮影を開始することができる。これにより、プロセッサ１２０の撮影命令の後、図２ｃでは、１０個のＧＴイメージ２１１～２２０と、９個のブラーイメージ２２２～２３０とを取得することができる。例えば、時点Ｔ１で、ＧＴイメージ２１１を取得することができる。例えば、時点（例えば、Ｔ２～Ｔ１０）のそれぞれにおいて、ＧＴイメージ２１２～２２０及びブラーイメージ２２２～２３０を取得することができる。
【0054】
一実施形態では、プロセッサ１２０は、１０個のＧＴイメージ２１１～２２０と、９個のブラーイメージ２２２～２３０との間の時間を整列させることができる。例えば、プロセッサ１２０は、カメラ１５１を介して取得されたＧＴイメージ２１１～２２０のうち、指定された順番（例えば、５番目）のＧＴイメージ２１５と、カメラ１５５を介して取得された９個のブラーイメージ２２２～２３０のそれぞれとを比較することができる。
【0055】
一実施形態では、プロセッサ１２０は、ＧＴイメージ２１５と９個のブラーイメージ２２２～２３０のそれぞれとの間の差が、指定された基準差以下であるブラーイメージを、ＧＴイメージ２１５と同じ時点で取得されたイメージと判定することができる。例えば、プロセッサ１２０は、ＧＴイメージ２１５とブラーイメージ２２５とを、互いに同じ時点で取得されたイメージと判定することができる。したがって、電子装置１０１は、１０個のＧＴイメージ２１１～２２０と、９個のブラーイメージ２２２～２３０との取得順序（又はフレーム順序）に応じて、互いに同じ時点で取得されたイメージセットを判別することができる。例えば、ＧＴイメージ２１５とブラーイメージ２２５とが、同じ時点で得られたイメージであると判定されると、ＧＴイメージ２１２とブラーイメージ２２２とは、同じ時点で取得されたイメージであると判定することができる。
【0056】
図２ｄを参照すると、カメラ１５５は、カメラ１５１より３フレームの時間に対応する時間だけ遅い時点（例えば、Ｔ４）で撮影を開始することができる。これにより、プロセッサ１２０の撮影命令の後、図２ｄでは、１０個のＧＴイメージ２１１～２２０と７個のブラーイメージ２２４～２３０とを取得することができる。例えば、時点Ｔ１、Ｔ２、Ｔ３で、ＧＴイメージ２１１、２１２、２１３を取得することができる。例えば、時点（例えば、Ｔ４～Ｔ１０）のそれぞれにおいて、ＧＴイメージ２１４～２２０及びブラーイメージ２２４～２３０を取得することができる。
【0057】
一実施形態では、プロセッサ１２０は、１０個のＧＴイメージ２１１～２２０と、７個のブラーイメージ２２４～２３０との間の時間を整列させることができる。例えば、プロセッサ１２０は、カメラ１５１を介して取得されたＧＴイメージ２１１～２２０のうち、指定された順番（例えば５番目）のＧＴイメージ２１５と、カメラ１５５を介して取得された７個のブラーイメージ２２４～２３０のそれぞれとを比較することができる。
【0058】
一実施形態では、プロセッサ１２０は、ＧＴイメージ２１５と７個のブラーイメージ２２４～２３０のそれぞれとの間の差が、指定された基準差以下であるブラーイメージを、ＧＴイメージ２１５と同じ時点で取得されたイメージとして判定することができる。例えば、プロセッサ１２０は、ＧＴイメージ２１５とブラーイメージ２２５とを、互いに同じ時点で取得されたイメージと判定することができる。したがって、電子装置１０１は、１０個のＧＴイメージ２１１～２２０と、７個のブラーイメージ２２４～２３０との取得順序（又はフレーム順序）に応じて、互いに同じ時点で取得されたイメージセットを判別することができる。例えば、ＧＴイメージ２１５とブラーイメージ２２５とが、同じ時点で得られたイメージであると判定されると、ＧＴイメージ２１４とブラーイメージ２２４とが、同じ時点で取得されたイメージであると判定することができる。
【0059】
一実施形態では、プロセッサ１２０は、互いに同じ時点（又は実質的に同じ時点）（又は互いに対応する時点）で取得されたＧＴイメージ及びブラーイメージに基づいて、学習データセットを生成することができる。学習データセットは、一対のＧＴイメージとブラーイメージに基づくイメージを含むことができる。学習データは、複数の学習データセットを含むことができる。学習データセットの生成は、図３～図６を参照して説明することができる。
【0060】
図３は、カメラを介して取得されるＧＴ（ｇｒｏｕｎｄ ｔｒｕｔｈ）イメージ及びブラー（ｂｌｕｒ）イメージの一例を示す。
【0061】
図３を参照すると、ＧＴイメージ２１１とブラーイメージ２２１とは、カメラ１５１、１５５間の物理的位置差によって、視野（ｆｉｅｌｄ ｏｆ ｖｉｅｗ、ＦＯＶ）が異なる場合がある。例えば、ＧＴイメージ２１１の車両のナンバープレート３１０は、ＧＴイメージ２１１の中心垂直線３０１の左右にまたがっているが、ブラーイメージ２２１の車両のナンバープレート３２０は、ブラーイメージ２２１の中心垂直線３０１の右側に位置してもよい。図３では、ＧＴイメージ２１１及びブラーイメージ２２１の車両の領域の大部分が全て水平中心線３０５の下に位置するように例示されているが、カメラ１５１、１５５のそれぞれの配置位置及び／又は角度によって、カメラ１５１、１５５の視野が互いに異なってもよい。したがって、ＧＴイメージ２１１及びブラーイメージ２２１に基づいて、学習データを生成するために、ＧＴイメージ２１１及びブラーイメージ２２１に対する所定のイメージ処理を必要とすることがある。以下では、図４～図６を参照して、学習データを生成するためのＧＴイメージ２１１及びブラーイメージ２２１のイメージ処理動作について説明する。
【0062】
図４は、ＧＴイメージ２１１及びブラーイメージ２２１をクロップする動作の一例を示す。
【0063】
一実施形態では、プロセッサ１２０は、ＧＴイメージ２１１をクロップすることができる。例えば、プロセッサ１２０は、ＧＴイメージ２１１をクロップすることによって、ＧＴイメージ２１１の外郭領域を除去することができる。一実施形態では、プロセッサ１２０は、ＧＴイメージ２１１の指定されたサイズ（例えば、ＧＴイメージ２１１の９０％）の領域４１０をクロップすることによって、クロップされたＧＴイメージ４２０を取得（又は抽出）（又は生成）することができる。一実施形態では、プロセッサ１２０は、ＧＴイメージ２１１の指定された領域４１０（例えば、中央領域）をクロップすることによって、クロップされたＧＴイメージ４２０を取得することができる。しかし、これに限定されない。一実施形態では、プロセッサ１２０は、オブジェクトを含む領域をクロップすることによって、クロップされたＧＴイメージ４２０を取得することができる。一実施形態では、プロセッサ１２０は、ＧＴイメージ２１１内のＯＤ（ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ）モデルを介して、オブジェクトを識別することができる。一実施形態では、プロセッサ１２０は、識別されたオブジェクトを含む領域４１０をクロップすることによって、クロップされたＧＴイメージ４２０を取得することができる。
【0064】
一実施形態では、プロセッサ１２０は、ＧＴイメージ２１１と同じ時点で取得されたブラーイメージ２２１から、クロップされたＧＴイメージ４２０に対応する他の領域４３０を識別することができる。一実施形態では、プロセッサ１２０は、ブラーイメージ２２１と、クロップされたＧＴイメージ４２０とを比較して、他の領域４３０を識別することができる。
【0065】
例えば、クロップされたＧＴイメージ４２０とブラーイメージ２２１との比較は、クロップされたＧＴイメージ４２０とブラーイメージ２２１の特定の領域のそれぞれとの間の差分イメージに基づいてもよい。一実施形態では、特定の領域は、クロップされたＧＴイメージ４２０と比較される領域であり得る。一実施形態では、特定の領域は、クロップされたＧＴイメージ４２０がブラーイメージ２２１内でシフトされるにつれて位置する領域であり得る。例えば、電子装置１０１は、差分イメージのうちの差が最も少ない（又は、一致率が最も高い）差分イメージに関連する特定の領域を、ブラーイメージ２２１の他の領域４３０として識別することができる。しかし、これに限定されない。一実施形態では、電子装置１０１は、クロップされたＧＴイメージ４２０とブラーイメージ２２１との特徴マップを比較することに基づいて、ブラーイメージ２２１の他の領域４３０を識別することができる。
【0066】
例えば、クロップされたＧＴイメージ４２０とブラーイメージ２２１との比較は、クロップされたＧＴイメージ４２０とブラーイメージ２２１の特定の領域のそれぞれとの間の特徴点座標間の距離差に基づいてもよい。例えば、電子装置１０１は、クロップされたＧＴイメージ４２０の特徴点を識別することができる。例えば、特徴点は、クロップドＧＴイメージ４２０に含まれるオブジェクト（例えば、車両、建物、歩行者）の特定の位置（例えば、ヘッドライト、ナンバープレート、頭部）を含み得る。例えば、電子装置１０１は、ブラーイメージ２２１の特徴点を識別することができる。例えば、電子装置１０１は、互いに対応するクロップされたＧＴイメージ４２０の特徴点と、ブラーイメージ２２１の特定の領域のそれぞれにおける特徴点との間の距離を識別することができる。一実施形態では、電子装置１０１は、特徴点の距離が最も短い特定の領域を、ブラーイメージ２２１の他の領域４３０として識別することができる。
【0067】
例えば、クロップされたＧＴイメージ４２０とブラーイメージ２２１との比較は、各差分イメージの正規化された差分値（例えば、０から１の間の正規化）及び特定の領域のそれぞれにおける距離の正規化された距離に基づいてもよい。例えば、電子装置１０１は、正規化された差分値と正規化された距離との重み付けが最も低い特定の領域を、ブラーイメージ２２１の他の領域４３０として識別することができる。
【0068】
一実施形態では、プロセッサ１２０は、ブラーイメージ２２１でクロップされたＧＴイメージ４２０に対応する他の領域４３０を、クロップされたブラーイメージ４４０にクロップ（又は取得）（又は抽出）することができる。一実施形態では、クロップされたブラーイメージ４４０のサイズと、クロップされたＧＴイメージ４２０のサイズとは、互いに等しくてもよい。一実施形態では、クロップされたＧＴイメージ４２０に含まれるオブジェクトの種類、サイズ及び位置は、クロップされたブラーイメージ４４０に含まれるオブジェクトの種類、サイズ及び位置と同じであってもよい。
【0069】
実施形態によれば、プロセッサ１２０は、クロップされたＧＴイメージ４２０に対して、イメージ補正を実行することができる。例えば、プロセッサ１２０は、クロップされたＧＴイメージ４２０の明るさを高めることができる。
【0070】
図５は、ＧＴイメージ２１１から関心領域を抽出する動作の一例を示す。
【0071】
図５を参照すると、プロセッサ１２０は、クロップされたＧＴイメージ４２０内のオブジェクトを識別することができる。一実施形態では、プロセッサ１２０は、クロップされたＧＴイメージ４２０内のイメージセグメンテーション（ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ）モデル及び／又はオブジェクト検出（ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ、ＯＤ）モデルを介して、指定された種類のオブジェクト（例えば、車両、交通標識（ｔｒａｆｆｉｃ ｓｉｇｎ）、道路標示（ｒｏａｄ ｍａｒｋｉｎｇ））を識別することができる。一実施形態では、プロセッサ１２０は、オブジェクトを識別するためのマスクのサイズを調整することによって、クロップされたＧＴイメージ４２０内のオブジェクトを識別することができる。一実施形態では、プロセッサ１２０は、オブジェクトを識別するために、マスクを大きな順序で使用することができる。
【0072】
一実施形態では、プロセッサ１２０は、クロップされたＧＴイメージ４２０で識別されたオブジェクト（すなわち、自動車）の領域５１０を、ＧＴオブジェクトイメージ５２０として抽出（又は取得）することができる。一実施形態では、プロセッサ１２０は、識別されたオブジェクトを含む領域５１０をクロップすることによって、ＧＴオブジェクトイメージ５２０を取得することができる。
【0073】
一実施形態では、プロセッサ１２０は、ＧＴオブジェクトイメージ５２０から、オブジェクトのテキスト領域（例えば、車両のナンバープレート、交通標識の交通案内、道路標示の道路案内）に対応する関心領域５３０を識別することができる。一実施形態では、プロセッサ１２０は、イメージセグメンテーションモデルに基づいて、ＧＴオブジェクトイメージ５２０から関心領域５３０を識別することができる。図５において、左下端のＧＴオブジェクトイメージ５２０は、 右上端のＧＴオブジェクトイメージ５２０を拡大して表示したものであり、左下端のＧＴオブジェクトイメージ５２０と、右上端のＧＴオブジェクトイメージ５２０とは、同じイメージであってもよい。
【0074】
一実施形態では、プロセッサ１２０は、関心領域５３０で図形フィッティング（例えば、三角形、四角形、五角形、又は多角形を介したフィッティング）を介して、頂点５３１、５３３、５３５、５３７を計算（又は、識別）（又は決定）することができる。一実施形態では、プロセッサ１２０は、関心領域５３０内の図形フィッティングを介して、頂点５３１、５３３、５３５、５３７のそれぞれの座標を識別することができる。例えば、頂点５３１、５３３、５３５、５３７のうち、左下端の頂点５３１を、原点として設定した２次元仮想座標系において、電子装置１０１は、頂点５３１、５３３、５３５、５３７のそれぞれの座標を識別することができる。例えば、２次元仮想座標系のｘ軸は、ＧＴオブジェクトイメージ５２０の下側端に沿って形成されてもよい。２次元仮想座標系のｙ軸は、ＧＴオブジェクトイメージ５２０の左側端に沿って形成されてもよい。
【0075】
一実施形態では、プロセッサ１２０は、オブジェクトの領域５１０及びフィッティングされた関心領域５４０を、クロップされたＧＴイメージ４２０にマーキング（又は設定）（又は識別）（又は指定）することができる。
【0076】
一実施形態では、プロセッサ１２０は、フィッティングされた関心領域５４０を変換することができる。例えば、プロセッサ１２０は、指定された変換アルゴリズム（例えば、剛体（ｒｉｇｉｄ－ｂｏｄｙ）変換、擬似（ｓｉｍｉｌａｒｉｔｙ）変換、線形（ｌｉｎｅａｒ）変換、アフィン（ａｆｆｉｎｅ）変換、及び／又は遠近（ｐｅｒｓｐｅｃｔｉｖｅ）変換のためのアルゴリズム）を介してフィッティングされた関心領域５４０を変換することができる。一実施形態では、プロセッサ１２０は、フィッティングされた関心領域５４０を、ナンバープレート形状の図形（例えば、長方形）に変換することができる。しかし、これに限定されない。
【0077】
一実施形態では、クロップされたＧＴイメージ４２０の（変換された）フィッティングされた関心領域５４０に対して、ナンバープレートに表示された文字列を識別（又は認識）するためのアルゴリズム（又は動作）を遂行（又は実行）することができる。前記アルゴリズムは、イメージの文字列を識別するためのアルゴリズム（例えば、ＯＣＲ（ｏｐｔｉｃａｌ ｃｈａｒａｃｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎ）機能によるアルゴリズム）を含むことができる。一実施形態では、クロップされたＧＴイメージ４２０のフィッティングされた関心領域５４０のＯＣＲアルゴリズムに基づいて、ナンバープレートに表示された文字列を識別（又は認識）することができる。
【0078】
一実施形態では、プロセッサ１２０は、クロップされたＧＴイメージ４２０のフィッティングされた関心領域５４０に、ナンバープレートに表示された文字列をラベル付けすることができる。
【0079】
図６は、ブラーイメージ２２１で関心領域を設定する動作の一例を示す。
【0080】
図６を参照すると、プロセッサ１２０は、オブジェクトの領域６１０及び関心領域６４０を、クロップされたブラーイメージ４４０にマーキング（又は設定）（又は識別）（又は指定）することができる。一実施形態では、プロセッサ１２０は、クロップされたＧＴイメージ４２０のオブジェクトの領域５１０及び関心領域５４０に基づいて、クロップされたブラーイメージ４４０に、オブジェクトの領域６１０及び関心領域６４０をマーキング（又は、設定）（又は、識別）（又は指定）することができる。一実施形態では、クロップされたブラーイメージ４４０に表示されたオブジェクトの領域６１０のサイズ及び位置は、クロップされたＧＴイメージ４２０に表示されたオブジェクトの領域５１０のサイズ及び位置と互いに同一であってもよい。一実施形態では、クロップされたブラーイメージ４４０に表示された関心領域６４０のサイズ及び位置は、クロップされたＧＴイメージ４２０に表示された関心領域５４０のサイズ及び位置と互いに同一であってもよい。
【0081】
一実施形態では、プロセッサ１２０は、クロップされたブラーイメージ４４０の関心領域６４０に、ナンバープレートに表示された文字列をラベル付けすることができる。一実施形態では、文字列は、クロップされたＧＴイメージ４２０のフィッティングされた関心領域５４０で識別された文字列と同じであり得る。
【0082】
一実施形態では、プロセッサ１２０は、オブジェクトの領域５１０及び関心領域５４０が、マーキング（又は、設定）（又は、識別）（又は、指定）されたクロップされたＧＴイメージ４２０と、オブジェクトの領域６１０及び関心領域６４０が、マーキング（又は、設定）（又は、識別）（又は、指定）されたクロップされたブラーイメージ４４０とを、学習データセットとして設定（又は識別）（又は取得）することができる。
【0083】
一実施形態では、プロセッサ１２０は、次回のイメージ（例えば、ＧＴイメージ２１２及びブラーイメージ２２２）に対して、ＧＴイメージ２１１及びブラーイメージ２２１に対して行われた動作を繰り返し実行することができる。
【0084】
前述したように、電子装置１０１は、互いに同一時点で、同じ時点（又は実質的に同じ時点）（又は互いに対応する時点）で取得されたＧＴイメージ及びブラーイメージに基づいて、学習データを構築することができる。電子装置１０１は、異なるシャッタースピードに従って取得されるＧＴイメージ及びブラーイメージに基づいて、学習データを構築することができる。これにより、電子装置１０１は、ユーザの介入が最小化されたＧＴイメージ及びブラーイメージに基づいて、学習データを構築することができる。また、電子装置１０１は、ユーザの介入が最小限に抑えられることにより、大量の学習データを構築することができる。また、電子装置１０１は、ブラーイメージに対する人工知能モデルの出力結果を、ＧＴイメージに基づいて学習することにより、デブラー及び／又はデノイズのための人工知能モデルを構築することができる。これにより、電子装置１０１は、解像度、ホワイトノイズ、又はブラー（ｂｌｕｒ）現象のうち少なくとも１つによって識別されないイメージ内の文字列を復元することができる。また、電子装置１０１は、車両のナンバープレートだけでなく、交通標識及び／又は道路標示に関する大量の学習データを構築することができる。
【0085】
図７は、一実施形態による、電子装置の動作を説明するための例示的なフローチャートを示す。
【0086】
図７は、図１～図６を参照して説明することができる。図７の動作は、電子装置１０１によって実行することができる。図７の動作は、メモリ１３０に格納された命令が実行されることによって行うことができる。図７の動作は、プロセッサ１２０がメモリ１３０に格納された命令を実行することによって行ってもよい。
【0087】
図７を参照すると、動作７１０において、電子装置１０１は、複数のカメラ１５１、１５５からイメージを取得することができる。一実施形態では、カメラ１５１、１５５は、シャッタースピードが互いに異なっていてもよい。例えば、カメラ１５１のシャッタースピードは、カメラ１５５のシャッタースピードより速くてもよい。例えば、カメラ１５１、１５５のそれぞれの角度は、互いに同一である（又は実質的に同一である）（又は対応する）ように設定（又は配置）されてもよい。例えば、カメラ１５１、１５５のそれぞれの解像度、及び／又はレンズ特性（例えば、画角、焦点距離、オートフォーカス、ｆナンバー、ＩＳＯ感度、又は光学ズーム）は、互いに同一である（又は実質的に同一である）（又は対応する）ように設定できる。
【0088】
一実施形態では、電子装置１０１は、カメラ１５１、１５５に、互いに同一である（又は実質的に同一である）（又は、対応する）時点で、撮影を指示（又は命令）することによって、カメラ１５１、１５５からイメージを取得することができる。例えば、時点が互いに同じである（又は実質的に同じである）（又は対応する）ことは、撮影の指示（又は命令）が、指定されたオフセット（又はフレームレートに応じたフレーム間隔）内に生成及び／又は送信されることを意味することがある。
【0089】
動作７２０において、電子装置１０１は、第１のイメージと第２のイメージとの間で互いに重なる領域を識別することができる。一実施形態では、電子装置１０１は、カメラ１５１から取得されたイメージのうち第１のイメージと、カメラ１５５から取得されたイメージのうち第１のイメージと同じ時点で取得される第２のイメージとの間で互いに重なる領域を識別することができる。
【0090】
一実施形態では、電子装置１０１は、第１のイメージをクロップすることに基づいて、第１のイメージと第２のイメージとの間の重なる領域を識別することができる。例えば、電子装置１０１は、第１のイメージをクロップすることによって、第１のイメージの外郭領域を除去することができる。一実施形態では、電子装置１０１は、第１のイメージの指定されたサイズ（例えば、第１のイメージの９０％）の領域をクロップすることによって、クロップされた第１のイメージを取得（又は抽出）（又は生成）することができる。一実施形態では、電子装置１０１は、第１のイメージの指定された領域（例えば、中央領域）をクロップすることによって、クロップされた第１のイメージを取得することができる。
【0091】
一実施形態では、電子装置１０１は、第１のイメージと同じ時点で取得された第２のイメージ内のクロップされた第１のイメージに対応する他の領域を識別することができる。一実施形態では、電子装置１０１は、第２のイメージと、クロップされた第１のイメージとを比較して、他の領域を識別することができる。
【0092】
例えば、クロップされた第１のイメージと第２のイメージとの比較は、クロップされた第１のイメージと第２のイメージの特定の領域のそれぞれとの間の差分イメージに基づいてもよい。一実施形態では、特定の領域は、クロップされた第１のイメージと比較される領域であり得る。一実施形態では、特定の領域は、クロップされた第１のイメージが第２のイメージからシフトするにつれて位置する領域であり得る。例えば、電子装置１０１は、差分イメージのうちの差が最も少ない（又は、一致率が最も高い）差分イメージに関連する特定の領域を、第２のイメージの他の領域として識別することができる。しかし、これに限定されない。一実施形態では、電子装置１０１は、クロップされた第１のイメージと第２のイメージとの特徴マップを比較することに基づいて、第２のイメージの他の領域を識別することができる。
【0093】
例えば、クロップされた第１のイメージと第２のイメージとの比較は、クロップされた第１のイメージと第２のイメージの特定の領域のそれぞれとの間の特徴点座標間の距離差に基づいてもよい。例えば、電子装置１０１は、クロップされた第１のイメージの特徴点を識別することができる。例えば、特徴点は、クロップされた第１のイメージに含まれるオブジェクト（例えば、車両、建物、歩行者）の特定の位置（例えば、ヘッドライト、ナンバープレート、頭部）を含み得る。例えば、電子装置１０１は、第２のイメージの特徴点を識別することができる。例えば、電子装置１０１は、互いに対応するクロップされた第１のイメージの特徴点と、第２のイメージの特定の領域のそれぞれにおける特徴点との間の距離を識別することができる。一実施形態では、電子装置１０１は、特徴点の距離が最も短い特定の領域を、第２のイメージの他の領域として識別することができる。
【0094】
例えば、クロップされた第１のイメージと第２のイメージとの比較は、各差分イメージの正規化された差分値（例えば、０～１の間の正規化）と特定の領域のそれぞれにおける距離の正規化された距離に基づいてもよい。例えば、電子装置１０１は、正規化された差分値と正規化された距離との重み付けが最も低い特定の領域を、第２のイメージの他の領域として識別することができる。
【0095】
一実施形態では、電子装置１０１は、第２のイメージから、クロップされた第１のイメージに対応する他の領域を、クロップされた第２のイメージとしてクロップ（又は取得）（又は抽出）することができる。一実施形態では、クロップされた第２のイメージのサイズと、クロップされた第１のイメージのサイズとは、互いに等しくてもよい。一実施形態では、クロップされた第１のイメージに含まれるオブジェクトの種類、サイズ及び位置は、クロップされた第２のイメージに含まれるオブジェクトの種類、サイズ及び位置と同じであってもよい。
【0096】
一実施形態では、電子装置１０１は、クロップされた第１のイメージと、クロップされた第２のイメージとを、第１のイメージと第２のイメージとの間で重なり合う領域として識別することができる。
【0097】
動作７３０において、電子装置１０１は、第１のイメージの第１の重複領域内の第１の関心領域を識別することができる。一実施形態では、電子装置１０１は、第１のイメージの第１の重複領域におけるオブジェクトの識別、及び、識別されたオブジェクト内の第１の関心領域の識別を順次実行することができる。
【0098】
一実施形態では、電子装置１０１は、クロップされた第１のイメージから、オブジェクトを識別することができる。一実施形態では、電子装置１０１は、クロップされた第１のイメージで、イメージセグメントテーション（ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ）モデル及び／又はオブジェクト検出（ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ、ＯＤ）モデルを介して、指定された種類のオブジェクト（例えば、車両、交通標識、道路標示）を識別することができる。一実施形態では、電子装置１０１は、オブジェクトを識別するためのマスクのサイズを調整することによって、クロップされた第１のイメージ内のオブジェクトを識別することができる。一実施形態では、電子装置１０１は、オブジェクトを識別するために、マスクを大きな順序から使用することができる。
【0099】
一実施形態では、電子装置１０１は、クロップされた第１のイメージで識別されたオブジェクト（すなわち、自動車）の領域を、オブジェクトイメージとして抽出（又は取得）することができる。一実施形態では、電子装置１０１は、識別されたオブジェクトを含む領域をクロップすることによって、オブジェクトイメージを取得することができる。
【0100】
一実施形態では、電子装置１０１は、オブジェクトイメージ内のオブジェクトのテキスト領域（例えば、車両のナンバープレート、交通標識の交通案内、道路標示の道路案内）に対応する関心領域を識別することができる。一実施形態では、電子装置１０１は、イメージセグメンテーションモデルに基づいて、オブジェクトイメージ内の関心領域を識別することができる。図５において、 左下端のオブジェクトイメージは、左下端のオブジェクトイメージを拡大して表示したものであり、右上端のオブジェクトイメージと右上端のオブジェクトイメージとは、同じイメージであってもよい。
【0101】
一実施形態では、電子装置１０１は、関心領域における図形フィッティング（例えば、三角形、四角形、五角形、又は多角形を介したフィッティング）を介して、頂点を計算（又は識別）（又は決定）することができる。一実施形態では、電子装置１０１は、関心領域の図形フィッティングを介して、頂点のそれぞれの座標を識別することができる。例えば、頂点のうち左下端の頂点を原点として設定した２次元仮想座標系で、電子装置１０１は、各頂点の座標を識別することができる。
【0102】
一実施形態では、電子装置１０１は、クロップされた第１のイメージのオブジェクトの領域内のフィッティングされた関心領域を識別することができる。
【0103】
動作７４０において、電子装置１０１は、第２のイメージの第２の重複領域内の第１の関心領域に対応する第２の関心領域を識別することができる。一実施形態では、電子装置１０１は、第２のイメージの第２の重複領域において、オブジェクト領域の設定と、オブジェクト領域内の第２の関心領域の設定とを順次実行することができる。
【0104】
一実施形態では、電子装置１０１は、オブジェクトの領域及び関心領域を、クロップされた第２のイメージにマーキング（又は設定）（又は識別）（又は指定）することができる。一実施形態では、電子装置１０１は、クロップされた第１のイメージのオブジェクトの領域及び関心領域に基づいて、クロップされた第２のイメージに、オブジェクトの領域及び関心領域をマーキング（又は、設定）（又は、識別）（又は、指定）することができる。一実施形態では、クロップされた第２のイメージに表示されるオブジェクトの領域のサイズ及び位置は、クロップされた第１のイメージに表示されたオブジェクトの領域のサイズ及び位置と互いに等しくてもよい。一実施形態では、クロップされた第２のイメージに表示された関心領域のサイズ及び位置は、クロップされた第１のイメージに表示された関心領域のサイズ及び位置と互いに等しくてもよい。
【0105】
動作７５０において、電子装置１０１は、第１の関心領域で識別されたオブジェクトを、第２の関心領域にラベル付け（ｌａｂｅｌｉｎｇ）することができる。一実施形態では、電子装置１０１は、第１の関心領域で識別されたオブジェクトの文字列を、第２の関心領域にラベル付けすることができる。
【0106】
一実施形態では、電子装置１０１は、フィッティングされた関心領域を変換することができる。例えば、電子装置１０１は、指定された変換アルゴリズム（例えば、剛体（ｒｉｇｉｄ－ｂｏｄｙ）変換、擬似変換、線形変換、アフィン変換、及び／又は遠近変換のためのアルゴリズム）を介してフィッティングされた関心領域を変換することができる。一実施形態では、電子装置１０１は、フィッティングされた関心領域を、ナンバープレート形状の図形（例えば、長方形）に変換することができる。しかし、これに限定されない。
【0107】
一実施形態では、クロップされた第１のイメージの（変換された）フィッティングされた関心領域に対して、ナンバープレートに表示された文字列を識別（又は認識）するためのアルゴリズム（又は動作）を遂行（又は実行）することができる。前記アルゴリズムは、イメージの文字列を識別するためのアルゴリズム（例えば、ＯＣＲ（ｏｐｔｉｃａｌ ｃｈａｒａｃｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎ）機能によるアルゴリズム）を含むことができる。一実施形態では、クロップされた第１のイメージのフィッティングされた関心領域のＯＣＲアルゴリズムに基づいて、ナンバープレートに表示された文字列を識別（又は認識）することができる。
【0108】
一実施形態では、電子装置１０１は、クロップされた第２のイメージの関心領域に、ナンバープレートに表示された文字列をラベル付けすることができる。一実施形態では、文字列は、クロップされた第１のイメージのフィッティングされた関心領域で識別された文字列と同じであり得る。
【0109】
その後、電子装置１０１は、オブジェクトの領域及び関心領域がマーキングされたクロップされた第１のイメージと、オブジェクトの領域及び関心領域がマーキングされたクロップされた第２のイメージとを、学習データセットとして設定（又は、識別）（又は、取得）することができる。
【0110】
その後、電子装置１０１は、次回のイメージ（例えば、第１のイメージ及び第２のイメージ）について、第１のイメージ及び第２のイメージに対して行われた動作を繰り返し実行することができる。
【0111】
図８は、一実施形態による、車両の自律走行システムを示すブロック図の一例を示す。
【0112】
図８による車両の自律走行システム８００は、センサ８０３、イメージ前処理器８０５、ディープラーニングネットワーク８０７、人工知能（ＡＩ）プロセッサ８０９、車両制御モジュール８１１、ネットワークインタフェース８１３、及び通信部８１５を含むディープラーニングネットワークであり得る。様々な実施形態では、各要素は、様々なインタフェースを介して接続することができる。例えば、センサ８０３によってセンシングされ、出力されたセンサデータは、イメージ前処理器８０５に供給（ｆｅｅｄ）されることができる。イメージ前処理器８０５によって処理されたセンサデータは、ＡＩプロセッサ８０９で実行（ｒｕｎ）されるディープラーニングネットワーク８０７に供給されてもよい。ＡＩプロセッサ８０９によって実行（ｒｕｎ）されるディープラーニングネットワーク８０７の出力は、車両制御モジュール８１１に供給されてもよい。ＡＩプロセッサ８０９で実行（ｒｕｎ）されるディープラーニングネットワーク８０７の中間結果は、ＡＩプロセッサ８０９に供給することができる。様々な実施形態では、ネットワークインタフェース８１３は、車載電子装置（例えば、図１の電子装置１０１及び／又はカメラ１５１、１５５）と通信を実行することによって、車両の自律走行のための自律走行経路情報及び／又は自律走行制御命令を、内部ブロック構成に伝達する。一実施形態では、ネットワークインタフェース８１３は、センサ８０３を介して取得したセンサデータを、外部サーバに送信するために使用され得る。いくつかの実施形態では、自律走行システム８００は、適切に（ａｓ ａｐｐｒｏｐｒｉａｔｅ）追加的な又はより少ない構成要素を含んでもよい。例えば、いくつかの実施形態では、イメージ前処理器８０５は、選択的（ｏｐｔｉｏｎａｌ）構成要素であり得る。別の例では、後処理構成要素（図示せず）は、出力が車両制御モジュール８１１に提供される前に、ディープラーニングネットワーク８０７の出力で、後処理を実行するために、自律走行システム８００内に含まれてもよい。
【0113】
いくつかの実施形態では、センサ８０３は、１つ以上のセンサを含むことができる。様々な実施形態では、センサ８０３は、車両の異なる位置に取り付けることができる。センサ８０３は、１つ以上の異なる方向に向けられてもよい。例えば、センサ８０３は、前面（ｆｏｒｗａｒｄ－ｆａｃｉｎｇ）、後面（ｒｅａｒ－ｆａｃｉｎｇ）、側面（ｓｉｄｅ－ｆａｃｉｎｇ）などの方向を向くように、車両の前（ｆｒｏｎｔ）、側（ｓｉｄｅｓ）、後（ｒｅａｒ）、及び／又はループ（ｒｏｏｆ）に取り付けることができる。いくつかの実施形態では、センサ８０３は、高ダイナミックレンジカメラ（ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ ｃａｍｅｒａｓ）などのイメージセンサであってもよい。いくつかの実施形態では、センサ８０３は、非視覚センサ（ｎｏｎ－ｖｉｓｕａｌ ｓｅｎｓｏｒｓ）を含む。いくつかの実施形態では、センサ８０３は、イメージセンサに加えて、レーダ（ＲＡＤＡＲ）、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）、及び／又は超音波センサを含む。いくつかの実施形態では、センサ８０３は、車両制御モジュール８１１を有する車両に取り付けられて（ｍｏｕｎｔｅｄ）いない。例えば、センサ８０３は、センサデータをキャプチャするためのディープラーニングシステムの一部として含まれ、環境又は道路に取り付けられてもよいし、及び／又は周囲の車両に取り付けられてもよい。
【0114】
いくつかの実施形態では、イメージ前処理器（Ｉｍａｇｅ ｐｒｅ－ｐｒｏｃｅｓｓｏｒ）８０５は、センサ８０３のセンサデータを前処理するために使用することができる。例えば、イメージ前処理器８０５は、センサデータを前処理するために、１つ又はそれ以上の構成要素にセンサデータをスプリット（ｓｐｌｉｔ）するために、及び／又は１つ又はそれ以上の構成要素を後処理するために使用することができる。いくつかの実施形態では、イメージ前処理器８０５は、グラフィック処理装置（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ；ＧＰＵ）、中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ；ＣＰＵ）、イメージ信号プロセッサ、又は専門化されたイメージプロセッサ（ｓｐｅｃｉａｌｉｚｅｄ ｉｍａｇｅ ｐｒｏｃｅｓｓｏｒ）であってもよい。様々な実施形態では、イメージ前処理器８０５は、高ダイナミックレンジデータ（ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ ｄａｔａ）を処理するためのトーンマッパー（ｔｏｎｅ－ｍａｐｐｅｒ）プロセッサであり得る。いくつかの実施形態では、イメージ前処理器８０５は、ＡＩプロセッサ８０９の構成要素であってもよい。
【0115】
いくつかの実施形態では、ディープラーニングネットワーク（Ｄｅｅｐ ｌｅａｒｎｉｎｇ ｎｅｔｗｏｒｋ）８０７は、自律車両を制御するための制御命令を実施するためのディープラーニングネットワークであり得る。例えば、ディープラーニングネットワーク８０７は、センサデータを使用してトレーニングされた畳み込みニューラルネットワーク（ＣＮＮ）などの人工ニューラルネットワークであり得、ディープラーニングネットワーク８０７の出力は、車両制御モジュール８１１に提供される。
【0116】
いくつかの実施形態では、人工知能（ＡＩ）プロセッサ８０９は、ディープラーニングネットワーク８０７を実行（ｒｕｎ）するためのハードウェアプロセッサであり得る。いくつかの実施形態では、ＡＩプロセッサ８０９は、センサデータに対して畳み込みニューラルネットワーク（ＣＮＮ）を介して推論（ｉｎｆｅｒｅｎｃｅ）を実行するための専門化されたＡＩプロセッサである。いくつかの実施形態では、ＡＩプロセッサ８０９は、センサデータのビット深さ（ｂｉｔ ｄｅｐｔｈ）のために最適化されてもよい。いくつかの実施形態では、ＡＩプロセッサ８０９は、畳み込み、内積、ベクトル、及び／又は行列演算を含むニューラルネットワークの演算などのディープラーニング演算に最適化されてもよい。いくつかの実施形態では、ＡＩプロセッサ８０９は、並列処理を効果的に実行できる複数のグラフィック処理装置（ＧＰＵ）を介して実装されてもよい。
【0117】
様々な実施形態では、ＡＩプロセッサ８０９は、ＡＩプロセッサ８０９が実行されている間に、センサ８０３から受信されたセンサデータに対してディープラーニング分析を行い、車両を少なくとも部分的に自律的に動作させるために使用された機械学習の結果を決定するために引き起こされる命令を有するＡＩプロセッサを提供するように構成されたメモリに、入出力インタフェースを介してカップリングすることができる。いくつかの実施形態では、車両制御モジュール（Ｖｅｈｉｃｌｅ Ｃｏｎｔｒｏｌ Ｍｏｄｕｌｅ）８１１は、人工知能（ＡＩ）プロセッサ８０９から出力された車両制御のための命令を処理し、車両の様々なモジュールを制御するために、ＡＩプロセッサ８０９の出力を、各車両のモジュールを制御するための命令に変換する（ｔｒａｎｓｌａｔｅ）ために使用することができる。いくつかの実施形態では、車両制御モジュール８１１は、自律走行用の車両を制御するために用いられる。いくつかの実施形態では、車両制御モジュール８１１は、車両のステアリング及び／又は速度を調整することができる。例えば、車両制御モジュール８１１は、減速、加速、ステアリング、車線変更、車線維持などの車両の走行を制御するために使用することができる。いくつかの実施形態では、車両制御モジュール８１１は、ブレーキライト（ｂｒａｋｅ ｌｉｇｈｔｓ）、方向指示灯（ｔｕｒｎｓ ｓｉｇｎａｌｓ）、ヘッドライト（ｈｅａｄｌｉｇｈｔｓ）などの車両照明（ｖｅｈｉｃｌｅ ｌｉｇｈｔｉｎｇ）を制御するための制御信号を生成することができる。いくつかの実施形態では、車両制御モジュール８１１は、車両の音響システム（ｖｅｈｉｃｌｅ'ｓ ｓｏｕｎｄ ｓｙｓｔｅｍ）、車両の音声警告（ｖｅｈｉｃｌｅ'ｓ ａｕｄｉｏ ｗａｒｎｉｎｇｓ）、車両のマイクロホンシステム（ｖｅｈｉｃｌｅ'ｓ ｍｉｃｒｏｐｈｏｎｅ ｓｙｓｔｅｍ）、車両のホーンシステム（ｖｅｈｉｃｌｅ'ｓ ｈｏｒｎ ｓｙｓｔｅｍ）などの車両オーディオ関連システムを制御するために使用することができる。
【0118】
いくつかの実施形態では、車両制御モジュール８１１は、意図された目的地へのアクセス又は潜在的な衝突（ｐｏｔｅｎｔｉａｌ ｃｏｌｌｉｓｉｏｎ）などの走行イベントの乗客及び／又は運転者を知らせるための警告システムを含む通知システム（ｎｏｔｉｆｉｃａｔｉｏｎ ｓｙｓｔｅｍｓ）を制御するために使用することができる。いくつかの実施形態では、車両制御モジュール８１１は、車両のセンサ８０３などのセンサを調整するために使用されてもよい。例えば、車両制御モジュール８１１は、センサ８０３の指向方向の修正（ｍｏｄｉｆｙｉｎｇ ｔｈｅ ｏｒｉｅｎｔａｔｉｏｎ）、センサ８０３の出力解像度及び／又はフォーマットタイプの変更、キャプチャレート（ｃａｐｔｕｒｅ ｒａｔｅ）の増加又は減少、ダイナミックレンジ（ｄｙｎａｍｉｃ ｒａｎｇｅ）の調整、カメラの焦点の調整を行うことができる。さらに、車両制御モジュール８１１は、センサの動作を個別に又は集団的にオン／オフすることができる。
【0119】
いくつかの実施形態では、車両制御モジュール８１１は、フィルタの周波数の範囲を変更したり、特徴（ｆｅａｔｕｒｅｓ）及び／又はオブジェクトの検出のためのエッジ検出パラメータ（ｅｄｇｅ ｄｅｔｅｃｔｉｏｎ ｐａｒａｍｅｔｅｒ）を調整したり、ビット深さ及びチャネルを調整（ａｄｊｕｓｔｉｎｇ ｃｈａｎｎｅｌｓ ａｎｄ ｂｉｔ ｄｅｐｔｈ）したりするなどの方法で、イメージ前処理器８０５のパラメータを変更するために使用することができる。様々な実施形態では、車両制御モジュール８１１は、車両の自律走行及び／又は車両の運転者支援（Ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ）機能を制御するために使用されてもよい。
【0120】
いくつかの実施形態では、ネットワークインタフェース８１３は、自律走行システム８００のブロック構成と通信部８１５との間の内部インタフェースを担当することができる。具体的には、ネットワークインタフェース８１３は、音声データを含むデータを受信及び／又は発信するための通信インタフェースであり得る。様々な実施形態では、ネットワークインタフェース８１３は、通信部８１５を介して音声通話を接続するか、テキストメッセージを受信及び／又は発信するか、センサデータを送信するか、自律走行システムで車両のソフトウェアを更新するか、又は車両の自律走行システムのソフトウェアを更新するために、外部のサーバと接続することができる。
【0121】
様々な実施形態では、通信部８１５は、セルラー又はＷｉＦｉ方式の様々な無線インタフェースを含むことができる。例えば、ネットワークインタフェース８１３は、通信部８１５を介して接続された外部サーバから、センサ８０３、イメージ前処理器８０５、ディープラーニングネットワーク８０７、ＡＩプロセッサ８０９、車両制御モジュール８１１のための動作パラメータ及び／又は命令に対する更新を受信するために使用することができる。例えば、ディープラーニングネットワーク８０７の機械学習モデルは、通信部８１５を用いて更新することができる。さらに別の例によれば、通信部８１５は、イメージ処理パラメータなどのイメージ前処理器８０５の動作パラメータ及び／又はセンサ８０３のファームウェアを更新するために使用されてもよい。
【0122】
別の実施形態では、通信部８１５は、事故又は事故が発生する恐れのある（ｎｅａｒ－ａｃｃｉｄｅｎｔ）イベントで、緊急サービス（ｅｍｅｒｇｅｎｃｙ ｓｅｒｖｉｃｅｓ）と緊急連絡（ｅｍｅｒｇｅｎｃｙ ｃｏｎｔａｃｔ）のための通信を活性化するために使用することができる。例えば、衝突イベントでは、通信部８１５は、支援のための緊急サービスを呼び出すために使用され、衝突の詳細及び車両の位置の緊急サービスを外部に通知するために使用され得る。様々な実施形態では、通信部８１５は、予想到着時刻及び／又は目的地の位置を更新又は取得することができる。
【0123】
一実施形態によれば、図８に示す自律走行システム８００は、車両の電子装置１０１で構成されてもよい。一実施形態によれば、自律走行システム８００のＡＩプロセッサ８０９は、車両の自律走行時に、ユーザから自律走行解除イベントが発生した場合、自律走行解除イベント関連情報を、ディープラーニングネットワークのトレーニングセットデータに入力するように制御することによって、車両の自律走行ソフトウェアを学習させるように制御することができる。
【0124】
【0125】
図９を参照すると、本実施形態による自律走行移動体９００は、制御装置１０００、センシングモジュール９０４ａ、９０４ｂ、９０４ｃ、９０４ｄ、エンジン９０６、及びユーザインタフェース９０８を含むことができる。
【0126】
自律走行移動体９００は、自律走行モード又はマニュアルモードを備えることができる。一例として、ユーザインタフェース９０８を介して受信されたユーザ入力に従って、マニュアルモードから自律走行モードに切り替えても、又は自律走行モードからマニュアルモードに切り替えてもよい。
【0127】
自律走行移動体９００が自律走行モードで運行される場合、自律走行移動体９００は、制御装置１０００の制御下で運行することができる。
【0128】
本実施形態では、制御装置１０００は、メモリ１０２２とプロセッサ１０２４とを含むコントローラ１０２０、センサ１０１０、通信装置１０３０、オブジェクト検出装置１０４０を含むことができる。
【0129】
ここで、オブジェクト検出装置１０４０は、距離測定装置の全部又は一部の機能を実行することができる。
【0130】
すなわち、本実施形態では、オブジェク検出装置１０４０は、自律走行移動体９００の外側に位置するオブジェクを検出するための装置であり、オブジェク検出装置１０４０は、自律走行移動体９００の外側に位置するオブジェクを検出し、検出結果に応じたオブジェクト情報を生成することができる。
【0131】
オブジェクト情報は、オブジェクトの存在の有無に関する情報、オブジェクトの位置情報、移動体とオブジェクトとの距離情報、及び移動体とオブジェクトとの相対速度情報を含むことができる。
【0132】
オブジェクトは、車線、他の車両、歩行者、交通信号、光、道路、構造物、過速防止顎、地形物、動物など、自律走行移動体９００の外側に位置する様々なオブジェクトを含むことができる。ここで、交通信号は、交通信号灯、交通標識、道路面に描かれた文様又はテキストを含む概念であり得る。そして、光は、他の車両に設けられたランプから生成された光であってもよく、街灯で生成された光であっても、太陽光であってもよい。
【0133】
そして、構造物は、道路の周りに位置し、地面に固定された物体であり得る。例えば、構造物は、街灯、街路樹、建物、電柱、信号灯、橋を含むことができる。地形物は、山、丘などを含み得る。
【0134】
そのようなオブジェクト検出装置１０４０は、カメラモジュールを含むことができる。コントローラ１０２０は、カメラモジュールで撮影された外部イメージから、オブジェクト情報を抽出し、その情報をコントローラ１０２０に処理させることができる。
【0135】
また、オブジェクト検出装置１０４０は、外部環境を認識するための撮像装置をさらに含んでもよい。ＬＩＤＡＲに加えて、ＲＡＤＡＲ、ＧＰＳ装置、走行距離測定装置（Ｏｄｏｍｅｔｒｙ）及び他のコンピュータビジョン装置、超音波センサ、赤外線センサなどを使用することができ、これらの装置は、必要に応じて、選択又は同時に動作し、より正確な感知を可能にする。
【0136】
一方、本発明の一実施形態による距離測定装置は、自律走行移動体９００とオブジェクトとの間の距離を算出し、自律走行移動体９００の制御装置１０００と連携して算出された距離に基づいて、移動体の動作を制御することができる。
【0137】
一例として、自律走行移動体９００とオブジェクトとの間の距離に応じて追突する可能性のある場合、自律走行移動体９００は、速度を低下又は停止するように、ブレーキを制御することができる。別の例として、オブジェクトが移動するオブジェクトである場合、自律走行移動体９００は、オブジェクトと所定の距離以上を維持するように、自律走行移動体９００の走行速度を制御することができる。
【0138】
本発明の一実施形態による距離測定装置は、自律走行移動体９００の制御装置１０００内の一モジュールで構成することができる。すなわち、制御装置１０００のメモリ１０２２とプロセッサ１０２４とが、本発明による追突防止方法をソフトウェア的に実現させることができる。
【0139】
また、センサ１０１０は、移動体の内部／外部環境をセンシングモジュール９０４ａ、９０４ｂ、９０４ｃ、９０４ｄと接続して、各種のセンシング情報を取得することができる。ここで、センサ１０１０は、姿勢センサ（例えば、ヨーセンサ（ｙａｗ ｓｅｎｓｏｒ）、ロールセンサ（ｒｏｌｌ ｓｅｎｓｏｒ）、ピッチセンサ（ｐｉｔｃｈ ｓｅｎｓｏｒ））、衝突センサ、ホイールセンサ（ｗｈｅｅｌ ｓｅｎｓｏｒ）、速度センサ、傾斜センサ、重量感知センサ、ヘディングセンサ（ｈｅａｄｉｎｇ ｓｅｎｓｏｒ）、ジャイロセンサ（ｇｙｒｏ ｓｅｎｓｏｒ）、ポジションモジュール（ｐｏｓｉｔｉｏｎ ｍｏｄｕｌｅ）、移動体前進／後進センサ、バッテリセンサ、燃料センサ、タイヤセンサ、ハンドル回転によるステアリングセンサ、移動体内部温度センサ、移動体内部湿度センサ、超音波センサ、照度センサ、加速ペダルポジションセンサ、ブレーキペダルポジションセンサなどを含むことができる。
【0140】
これにより、センサ１０１０は、移動体姿勢情報、移動体衝突情報、移動体方向情報、移動体位置情報（ＧＰＳ情報）、移動体角度情報、移動体速度情報、移動体加速度情報、移動体傾き情報、移動体前進／後進情報、バッテリ情報、燃料情報、タイヤ情報、移動体ランプ情報、移動体内部温度情報、移動体内部湿度情報、ステアリングホイール回転角度、移動体外部照度、アクセルペダルにかかる圧力、ブレーキペダルにかかる圧力などに対するセンシング信号を取得することができる。
【0141】
また、センサ１０１０は、その他、加速ペダルセンサ、圧力センサ、エンジン回転速度センサ（ｅｎｇｉｎｅ ｓｐｅｅｄ ｓｅｎｓｏｒ）、空気流量センサ（ＡＦＳ）、吸気温度センサ（ＡＴＳ）、水温センサ（ＷＴＳ）、スロットル位置センサ（ＴＰＳ）、ＴＤＣセンサ、クランク角センサ（ＣＡＳ）などをさらに含んでもよい。
【0142】
このように、センサ１０１０は、センシングデータに基づいて、移動体状態情報を生成することができる。
【0143】
無線通信装置１０３０は、自律走行移動体９００間の無線通信を実施するように構成される。例えば、ユーザの携帯電話、又は他の無線通信装置１０３０、他の移動体、中央装置（交通制御装置）、サーバなどと自律走行移動体９００とが通信できるようにする。無線通信装置１０３０は、接続無線プロトコルに従って、無線信号を送受信することができる。無線通信プロトコルは、Ｗｉ‐Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、ＬＴＥ（Ｌｏｎｇ－Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＷＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍｓ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）であり、通信プロトコルは、これに限定されない。
【0144】
また、本実施形態における自律走行移動体９００は、無線通信装置１０３０を介して、移動体間の通信を実現することも可能である。すなわち、無線通信装置１０３０は、車両対車両間（Ｖ２Ｖ）通信（ｖｅｈｉｃｌｅ－ｔｏ－ｖｅｈｉｃｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）で道路上の他の移動体や他の移動体と通信を行うことができる。自律走行移動体９００は、走行警告、交通情報などの情報を、車両間通信で送受信することができ、他の移動体に情報を要求するか、要求を受信することも可能である。例えば、無線通信装置１０３０は、Ｖ２Ｖ通信を短距離通信（ＤＳＲＣ、ｄｅｄｉｃａｔｅｄ ｓｈｏｒｔ－ｒａｎｇｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）装置又はＣ－Ｖ２Ｖ（Ｃｅｌｌｕｌａｒ－Ｖ２Ｖ）装置で行うことができる。また、車両間の通信に加えて、車両と他のオブジェクト（例えば、歩行者が携帯する電子装置など）との間の通信（Ｖ２Ｘ、Ｖｅｈｉｃｌｅ ｔｏ Ｅｖｅｒｙｔｈｉｎｇ ｃｏｍｍｕｎｉｃａｔｉｏｎ）も無線通信装置１０３０を介して実現することができる。
【0145】
また、無線通信装置１０３０は、地上網（Ｔｅｒｒｅｓｔｒｉａｌ Ｎｅｔｗｏｒｋ）ではなく、非地上網（Ｎｏｎ－Ｔｅｒｒｅｓｔｒｉａｌ Ｎｅｔｗｏｒｋ）を介して、道路上に位置するインフラ（交通信号灯、ＣＣＴＶ、ＲＳＵ、ｅＮｏｄｅ Ｂなど）又は他の自律走行（Ａｕｔｏｎｏｍｏｕｓ Ｄｒｉｖｉｎｇ）／非自律走行（Ｎｏｎ－Ａｕｔｏｎｏｍｏｕｓ Ｄｒｉｖｉｎｇ）車両などを含む様々なモビリティ（Ｍｏｂｉｌｉｔｙ）から生成された情報を、自律走行移動体９００の自律走行を実行するための情報として取得することができる。
【0146】
例えば、無線通信装置１０３０は、非地上網（Ｎｏｎ－Ｔｅｒｒｅｓｔｒｉａｌ Ｎｅｔｗｏｒｋ）を構成する地球低軌道（ＬＥＯ、Ｌｏｗ Ｅａｒｔｈ Ｏｒｂｉｔ）衛星システム、地球中軌道（ＭＥＯ、Ｍｅｄｉｕｍ Ｅａｒｔｈ Ｏｒｂｉｔ）衛星システム、地球停止軌道（ＧＥＯ、Ｇｅｏｓｔａｔｉｏｎａｒｙ Ｏｒｂｉｔ）衛星システム、高高度プラットフォーム（ＨＡＰ、Ｈｉｇｈ Ａｌｔｉｔｕｄｅ Ｐｌａｔｆｏｒｍ）システムなどと自律走行移動体９００に設けられた（ｍｏｕｎｔｅｄ）非地上網専用アンテナを介して、無線通信を行うことができる。
【0147】
例えば、無線通信装置１０３０は、現在、３ＧＰＰ等で議論されている５Ｇ ＮＲ ＮＴＮ（５ＴＨ Ｇｅｎｅｒａｔｉｏｎ Ｎｅｗ Ｒａｄｉｏ Ｎｏｎ－Ｔｅｒｒｅｓｔｒｉａｌ Ｎｅｔｗｏｒｋ）規格に準拠した無線接続規格に従って、ＮＴＮを構成する様々なプラットフォームとの無線通信を行うことができ、これに限定されない。
【0148】
本実施形態において、コントローラ１０２０は、自律走行移動体９００の位置、現在時刻、利用可能な電力などの様々な情報を考慮して、ＮＴＮ通信を適切に行うことができるプラットフォームを選択し、選択されたプラットフォームとの無線通信を実行するように無線通信装置１０３０を制御することができる。
【0149】
本実施形態では、コントローラ１０２０は、自律走行移動体９００内の各ユニットの全体的な動作を制御するユニットであり、移動体の製造業者によって製造時に構成されてもよく、又は製造後に自律走行の機能を実行するためにさらに構成されてもよい。あるいは、製造時に構成されたコントローラ１０２０のアップグレードを通じて、継続的な追加機能を実行するための構成を含むことができる。そのようなコントローラ１０２０は、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）と呼ばれることがある。
【0150】
コントローラ１０２０は、接続されたセンサ１０１０、オブジェクト検出装置１０４０、通信装置１０３０などから各種データを収集し、収集されたデータに基づいて、制御信号を移動体内の他の構成を含むセンサ１０１０、エンジン９０６、ユーザインタフェース９０８、通信装置１０３０、オブジェクト検出装置１０４０に伝達することができる。また、図示されていないが、移動体の走行に関連する加速装置、ブレーキングシステム、操舵装置、又はナビゲーション装置にも制御信号を伝達することができる。
【0151】
本実施形態では、コントローラ１０２０は、エンジン９０６を制御することができ、例えば、自律走行移動体９００が走行中の道路の制限速度を検出し、走行速度が制限速度を超えないように、エンジン９０６を制御するか、又は制限速度を超えない範囲内で、自律走行移動体９００の走行速度を加速するように、エンジン９０６を制御することができる。
【0152】
また、コントローラ１０２０は、自律走行移動体９００の走行中に、自律走行移動体９００が車線に近接するか、車線を離脱している場合、そのような車線の近接及び離脱が正常の走行状況に応じたものか、その他の走行状況に応じたか否かを判断し、判断結果に応じて、移動体の走行を制御するように、エンジン９０６を制御することができる。具体的には、自律走行移動体９００は、移動体が走行中の車路の両側に形成された車線を検出することができる。この場合、コントローラ１０２０は、自律走行移動体９００が車線に近接するか、車線を離脱しているかを判断し、自律走行移動体９００が車線に近接するか、車線を離脱していると判断すると、このような走行が正確な走行状況によるのか、又はその他の走行状況によるのかを判断することができる。ここで、正常の走行状況の例として、移動体の車路変更が必要な状況であり得る。そして、他の走行状況の例として、移動体の車路変更が必要でない状況であり得る。コントローラ１０２０は、移動体の車路変更を必要としない状況で、自律走行移動体９００が車線に近接するか、車線を離脱していると判断した場合、自律走行移動体９００が車線を離脱せずに、その移動体で正常に走行するように、自律走行移動体９００の走行を制御することができる。
【0153】
移動体の前方に他の移動体又は妨害物が存在する場合には、走行移動体を減速するように、エンジン９０６又はブレーキングシステムを制御することができ、速度に加えて、軌跡、運行経路、操舵角を制御することができる。あるいは、コントローラ１０２０は、移動体の走行車線、走行信号などの他の外部環境の認識情報に応じて、必要な制御信号を生成して、移動体の走行を制御してもよい。
【0154】
コントローラ１０２０は、自らの制御信号の生成に加えて、周辺移動体又は中央サーバとの通信を行い、受信した情報を介して、周辺装置を制御するための命令を送信することによって、移動体の走行を制御することも可能である。
【0155】
また、コントローラ１０２０は、カメラモジュールの位置が変更されるか、画角が変更された場合、本実施形態による正確な移動体又は車線認識が困難な場合があるので、これを防止するために、カメラモジュールのキャリブレーション（ｃａｌｉｂｒａｔｉｏｎ）を実行するように制御する制御信号を生成することもできる。したがって、本実施形態では、コントローラ１０２０は、カメラモジュールでキャリブレーション制御信号を生成することにより、自律走行移動体９００の移動に伴って発生する振動や衝撃等により、カメラモジュールの装着位置が変更されても、カメラモジュールの正常な装着位置、方向、画角などを継続的に維持することができる。コントローラ１０２０は、予め記憶されたカメラモジュールの初期装着位置、方向、画角情報と、自律走行移動体９００の走行中に測定されるカメラモジュールの初期装着位置、方向、画角情報等が、臨界値以上に変化した場合、カメラモジュールのキャリブレーションを実行するように、制御信号を生成することができる。
【0156】
本実施形態では、コントローラ１０２０は、メモリ１０２２とプロセッサ１０２４とを含むことができる。プロセッサ１０２４は、コントローラ１０２０の制御信号に従って、メモリ１０２２に記憶されたソフトウェアを実行することができる。具体的には、コントローラ１０２０は、本発明による車線検出方法を行うためのデータ及び命令をメモリ１０２２に格納し、この命令は、本明細書に開示された１つ又はそれ以上の方法を実施するために、プロセッサ１０２４によって実行され得る。
【0157】
このとき、メモリ１０２２は、不揮発性のプロセッサ１０２４で実行可能な記録媒体に記憶されてもよい。メモリ１０２２は、適切な内外部装置を介して、ソフトウェア及びデータを格納することができる。メモリ１０２２は、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ハードディスク、及びドングルに接続されたメモリ１０２２装置から構成することができる。
【0158】
メモリ１０２２は、オペレーティングシステム（ＯＳ、Ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ）、ユーザアプリケーション、実行可能な命令を少なくとも格納することができる。メモリ１０２２は、アプリケーションデータ、配列データ構造も格納することができる。
【0159】
プロセッサ１０２４は、マイクロプロセッサ又は適切な電子プロセッサで、コントローラ、マイクロコントローラ、又はステートマシンであり得る。
【0160】
プロセッサ１０２４は、コンピューティングデバイスの組み合わせで実装することができ、コンピューティングデバイスは、デジタル信号プロセッサ、マイクロプロセッサ、又はそれらの適切な組み合わせで構成することができる。
【0161】
一方、自律走行移動体９００は、前述した制御装置１０００へのユーザの入力のためのユーザインタフェース９０８をさらに含んでもよい。ユーザインタフェース９０８は、適切な相互作用でユーザに情報を入力させることができる。例えば、タッチスクリーン、キーパッド、操作ボタンなどで実施することができる。ユーザインタフェース９０８は、入力又は命令をコントローラ１０２０に送信し、コントローラ１０２０は、入力又は命令に応答して、移動体の制御動作を実行することができる。
【0162】
また、ユーザインタフェース９０８は、自律走行移動体９００の外部の装置で、無線通信装置１０３０を介して、自律走行移動体９００と通信を行うことができる。例えば、ユーザインタフェース９０８は、携帯電話、タブレット、又は他のコンピュータ装置と連動可能にすることができる。
【0163】
さらに、本実施形態では、自律走行移動体９００は、エンジン９０６を含むものとして説明したが、他のタイプの推進システムを含むことも可能である。例えば、移動体は、電気エネルギーで運転することができ、水素エネルギー又はそれらを組み合わせたハイブリッドシステムを介して運転することができる。したがって、コントローラ１０２０は、自律走行移動体９００の推進システムによる推進メカニズムを含み、これによる制御信号を、各推進メカニズムの構成に提供することができる。
【0164】
以下、図１０を参照して、本実施形態による制御装置１０００の詳細構成についてより詳細に説明する。
【0165】
制御装置１０００は、プロセッサ１０２４を含む。プロセッサ１０２４は、汎用シングルチップ又はマルチチップマイクロプロセッサ、専用マイクロプロセッサ、マイクロコントローラ、プログラム可能なゲートアレイなどであり得る。プロセッサは、中央処理装置（ＣＰＵ）と呼ばれることがある。また、本実施形態では、プロセッサ１０２４は、複数のプロセッサの組み合わせで使用することも可能である。
【0166】
制御装置１０００はまた、メモリ１０２２を含む。メモリ１０２２は、電子情報を格納することができる任意の電子構成要素であり得る。メモリ１０２２も、単一のメモリに加えて、メモリ１０２２の組み合わせを含むことができる。
【0167】
本発明による距離測定装置の距離測定方法を実行するためのデータ１０２２ｂ及び命令１０２２ａは、メモリ１０２２に記憶されてもよい。プロセッサ１０２４が命令１４２４ａを実行するとき、命令１０２４ａ及び命令の実行に必要なデータ１０２４ｂの全部又は一部が、プロセッサ１０２４上にロードされてもよい。
【0168】
制御装置１０００は、信号の送信及び受信を可能にするための送信機１０３０ａ、受信機１０３０ｂ、又はトランシーバ１０３０ｃを含んでもよい。１つ以上のアンテナ１０３２ａ、１０３２ｂは、送信機１０３０ａ、受信機１０３０ｂ、又は各トランシーバ１０３０ｃに電気的に接続されてもよく、さらにアンテナを含んでもよい。
【0169】
制御装置１０００は、デジタル信号プロセッサ（ＤＳＰ）１０７０を含んでもよい。ＤＳＰ１０７０を介して、移動体がデジタル信号を迅速に処理できるようにすることができる。
【0170】
制御装置１０００は、通信インタフェース１０８０を含んでもよい。通信インタフェース１０８０は、他の装置を制御装置１０００に接続するための１つ以上のポート及び／又は通信モジュールを含んでもよい。通信インタフェース１０８０は、ユーザと制御装置１０００とが相互作用することを可能にすることができる。
【0171】
制御装置１０００の様々な構成は、一緒に１つ以上のバス１０９０によって接続されてもよく、バス１０９０は、電力バス、制御信号バス、状態信号バス、データバスなどを含むこともできる。プロセッサ１０２４の制御に応じて、構成は、バス１０９０を介して相互情報を伝達し、所望の機能を実行させることができる。
【0172】
一方、様々な実施形態では、制御装置１０００は、セキュリティクラウドとの通信のために、ゲートウェイに関連付けられてもよい。例えば、図１１を参照すると、制御装置１０００は、車両１１００の構成要素１１０１～１１０４のうち少なくとも１つから取得された情報を、セキュリティクラウド１１０６に提供するためのゲートウェイ１１０５に関連付けられてもよい。例えば、ゲートウェイ１１０５は、制御装置１０００内に含まれてもよい。別の例では、ゲートウェイ１１０５は、制御装置１０００と区別される車両１１００内の別々の装置から構成されてもよい。ゲートウェイ１１０５は、異なるネットワークを有するソフトウェア管理クラウド１１０９、セキュリティクラウド１１０６、及び車載セキュリティソフトウェア１１１０によって保安された車両１１００内のネットワークを通信可能に接続する。
【0173】
例えば、構成要素１１０１は、センサであり得る。例えば、このセンサは、車両１１００の状態又は車両１１００の周囲の状態のうち少なくとも１つに関する情報を取得するために用いられ得る。例えば、構成要素１１０１は、センサ１０１０を含むことができる。
【0174】
例えば、構成要素１１０２は、ＥＣＵ（ｅｌｅｃｔｒｏｎｉｃ ｃｏｎｔｒｏｌ ｕｎｉｔ）であってもよい。例えば、ＥＣＵは、エンジン制御、変速機の制御、エアバッグの制御、タイヤ空気圧管理に使用することができる。
【0175】
例えば、構成要素１１０３は、インストルメントクラスタ（ｉｎｓｔｒｕｍｅｎｔ ｃｌｕｓｔｅｒ）であり得る。例えば、インストルメントクラスタは、ダッシュボード（ｄａｓｈｂｏａｒｄ）のうち運転席の正面に配置されたパネルを意味することがある。例えば、インストルメントクラスタは、運転に必要な情報を運転者（又は搭乗者）に表示するように構成されてもよい。例えば、インストルメントクラスタは、エンジンの１分当たりの回転数（ＲＰＭ、ｒｅｖｏｌｕｔｉｏｎｓ ｐｅｒ ｍｉｎｕｔｅ、又は ｒｏｔａｔｅ ｐｅｒ ｍｉｎｕｔｅ）を指示するための視覚要素、車両１１００の速度を指示するための視覚要素、残留燃料量を指示するための視覚要素、歯車の状態を指示するための視覚要素、又は構成要素１１０１を介して取得された情報を指示するための視覚要素のうち少なくとも１つを表示するために使用することができる。
【0176】
例えば、構成要素１１０４は、テレマティクス（ｔｅｌｅｍａｔｉｃｓ）装置であり得る。例えば、このテレマティックス装置は、無線通信技術とＧＰＳ（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）技術とを組み合わせて、車両１１００内で位置情報、安全運転などの様々な移動通信サービスを提供する装置を意味することができる。例えば、テレマティックス装置は、運転者、クラウド（例えば、セキュリティクラウド１１０６）、及び／又は周辺環境と車両１１００とを接続するために使用することができる。例えば、前記テレマティックス装置は、５Ｇ ＮＲ規格の技術（例えば、５Ｇ ＮＲのＶ２Ｘ技術、５Ｇ ＮＲのＮＴＮ（Ｎｏｎ－Ｔｅｒｒｅｓｔｒｉａｌ Ｎｅｔｗｏｒｋ）技術）のために、高帯域幅及び低遅延をサポートするように構成されてもよい。例えば、前記テレマティックス装置は、車両１１００の自律走行をサポートするように構成されてもよい。
【0177】
例えば、ゲートウェイ１１０５は、車両１１００内のネットワークと車両外のネットワークであるソフトウェア管理クラウド１１０９とセキュリティクラウド１１０６とを接続するために使用することができる。例えば、ソフトウェア管理クラウド１１０９は、車両１１００の走行及び管理に必要な少なくとも１つのソフトウェアを更新又は管理するために使用することができる。例えば、ソフトウェア管理クラウド１１０９は、車両内に設置された車載セキュリティソフトウェア（ｉｎ－ｃａｒ ｓｅｃｕｒｉｔｙ ｓｏｆｔｗａｒｅ）１１１０と連動することができる。例えば、車載セキュリティソフトウェア１１１０は、車両１１００内のセキュリティ機能を提供するために使用され得る。例えば、車載セキュリティソフトウェア１１１０は、車両内ネットワークの暗号化のために、外部の認証された（ａｕｔｈｏｒｉｚｅｄ）サーバから取得した暗号化キーを用いて、車内ネットワークを介して送受信されるデータを暗号化することができる。様々な実施形態において、車載セキュリティソフトウェア１１１０によって使用される暗号化キーは、車両の識別情報（車両ナンバープレート、車ＶＩＮ（ｖｅｈｉｃｌｅ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｎｕｍｂｅｒ））又はユーザごとに一意に付与された情報（ユーザ識別情報など）に対応して生成することができる。
【0178】
様々な実施形態では、ゲートウェイ１１０５は、前記暗号化キーに基づいて、車載セキュリティソフトウェア１１１０によって暗号化されたデータを、ソフトウェア管理クラウド１１０９及び／又はセキュリティクラウド１１０６に送信することができる。ソフトウェア管理クラウド１１０９及び／又はセキュリティクラウド１１０６は、車載セキュリティソフトウェア１１１０の暗号化キー（Ｅｎｃｒｙｐｔｉｏｎ Ｋｅｙ）によって暗号化された前記データを復号することができる復号キー（Ｄｅｃｒｙｐｔｉｏｎ Ｋｅｙ）を用いて復号することによって、前記データがどの車両又はどのユーザから受信したデータであるかを識別することができる。例えば、この復号キーは、前記暗号化キーに対応する固有のキーであるため、ソフトウェア管理クラウド１１０９及び／又はセキュリティクラウド１１０６は、前記復号キーを介して復号された前記データに基づいて、前記データの送信主体（例えば、前記車両又は前記ユーザ）を識別することができる。
【0179】
例えば、ゲートウェイ１１０５は、車載セキュリティソフトウェア１１１０をサポートするように構成されており、制御装置１０００と関連付けられてもよい。例えば、ゲートウェイ１１０５は、セキュリティクラウド１１０６に接続されたクライアント装置１１０７と制御装置１０００との間の接続をサポートするために、制御装置１０００に関連付けられてもよい。別の例では、ゲートウェイ１１０５は、セキュリティクラウド１１０６に接続されたサードパーティクラウド１１０８と制御装置１０００との間の接続をサポートするために、制御装置１０００に関連付けられてもよい。しかし、これに限定されない。
【0180】
様々な実施形態では、ゲートウェイ１１０５は、車両１１００のオペレーティングソフトウェアを管理するためのソフトウェア管理クラウド１１０９と車両１１００とを接続するために使用することができる。例えば、ソフトウェア管理クラウド１１０９は、車両１１００のオペレーティングソフトウェアの更新が要求されるか否かをモニタリングし、車両１１００のオペレーティングソフトウェアの更新が要求されたことをモニタリングすることに基づいて、ゲートウェイ１１０５を介して、車両１１００のオペレーティングソフトウェアを更新するためのデータを提供することができる。別の例として、ソフトウェア管理クラウド１１０９は、車両１１００のオペレーティングソフトウェアの更新を要求するユーザ要求を、車両１１００からゲートウェイ１１０５を介して受信し、この受信に基づいて、車両１１００のオペレーティングソフトウェアを更新するためのデータを提供することができる。しかし、これに限定されない。
【0181】
図１２は、一実施形態による、学習データのセットに基づいて、ニューラルネットワークをトレーニングする電子装置の動作を説明するための図である。
【0182】
【0183】
図１２を参照すると、動作１２０２において、一実施形態による電子装置は、学習データのセットを取得することができる。電子装置は、教師あり学習（ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）のための学習データのセットを取得することができる。学習データは、入力データとこの入力データに対応する基底トゥルース（ｇｒｏｕｎｄ ｔｒｕｔｈ）データのペア（ｐａｉｒ）を含むことができる。基底トゥルースデータは、この基底トゥルースデータのペアである入力データを受信したニューラルネットワークから取得しようとする出力データを表すことができる。前記基底トゥルースデータは、前述の電子装置によって取得することができる。
【0184】
例えば、イメージを認識するために、ニューラルネットワークをトレーニングする場合、学習データは、イメージ及び該イメージに含まれる１つ以上の被写体に関する情報を含むことができる。これらの情報は、イメージを介して識別可能な被写体の分類（ｃａｔｅｇｏｒｙ又はｃｌａｓｓ）を含んでもよい。前記情報は、イメージ内で、被写体に対応する視覚オブジェクトの位置、幅、高さ、及び／又はサイズを含み得る。動作１２０２を通じて識別される学習データのセットは、複数の学習データのペアを含んでもよい。イメージを認識するために、ニューラルネットワークをトレーニングする前記の例では、電子装置によって識別される学習データのセットは、複数のイメージ及び該複数のイメージのそれぞれに対応する基底トゥルースデータを含むことができる。
【0185】
図１２を参照すると、動作１２０４において、一実施形態による電子装置は、学習データのセットに基づいて、ニューラルネットワークのトレーニングを実行することができる。ニューラルネットワークが教師あり学習に基づいてトレーニングされる一実施形態では、電子装置は、学習データに含まれる入力データを、前記ニューラルネットワークの入力層に入力することができる。前記入力層を含むニューラルネットワークの一例を、図１３を参照して説明する。前記入力層を介して、前記入力データを受信したニューラルネットワークの出力層から、電子装置は、前記入力データに対応するニューラルネットワークの出力データを取得することができる。
【0186】
一実施形態では、動作１２０４のトレーニングは、前記出力データと、前記学習データに含まれ、前記入力データに対応する基底トゥルースデータとの間の差に基づいて実行されてもよい。例えば、電子装置は、傾斜降下アルゴリズム（ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ）に基づいて、前記差が減少するように、前記ニューラルネットワークに関連する１つ以上のパラメータ（例えば、図１３を参照して後述する重み）を調整することができる。前記１つ以上のパラメータを調整する電子装置の動作は、ニューラルネットワークへのチューニングと呼ばれることがある。電子装置は、出力データに基づくニューラルネットワークのチューニングを、コスト関数（ｃｏｓｔ ｆｕｎｃｔｉｏｎ）など、ニューラルネットワークの性能を評価するために定義された関数を用いて実行することができる。前述の出力データと基底トゥルースデータとの間の差は、前記コスト関数の一例として含まれてもよい。
【0187】
図１２を参照すると、動作１２０６において、一実施形態による電子装置は、動作１２０４によってトレーニングされたニューラルネットワークから、有効な出力データが出力されたか否かを識別することができる。出力データが有効であるということは、出力データと基底トゥルースデータとの間の差（又はコスト関数）が、前記ニューラルネットワークを使用するために設定された条件を満たすことを意味することができる。例えば、出力データと基底トゥルースデータとの間の差の平均値及び／又は最大値が、指定された閾値以下である場合、電子装置は、有効な出力データがニューラルネットワークから出力されると決定することができる。
【0188】
ニューラルネットワークから有効な出力データが出力されない場合（１２０６－ＮＯ）、電子装置は、動作１２０４に基づくニューラルネットワークのトレーニングを繰り返し実行することができる。実施形態は、これに限定されず、電子装置は、動作１２０２、１２０４を繰り返し実行することができる。
【0189】
ニューラルネットワークから有効な出力データを取得した状態で（動作１２０６－ＹＥＳ）、動作１２０８に基づいて、一実施形態による電子装置は、トレーニングされたニューラルネットワークを使用することができる。例えば、電子装置は、学習データとして、前記ニューラルネットワークに入力された入力データと区別された他の入力データを、ニューラルネットワークに入力することができる。前記他の入力データを受信したニューラルネットワークから取得した出力データを、電子装置は、ニューラルネットワークに基づいて、前記他の入力データの推論を行った結果として利用することができる。
【0190】
図１３は、一実施形態による電子装置のブロック図である。
【0191】
図１３の電子装置１３００は、前述の電子装置１０１を含んでもよい。
【0192】
【0193】
図１３を参照すると、電子装置１３００のプロセッサ１３１０は、メモリ１３２０に格納されたニューラルネットワーク１３３０に関連する計算（ｃｏｍｐｕｔａｔｉｏｎｓ）を実行することができる。プロセッサ１３１０は、ＣＰＵ（ｃｅｎｔｅｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＧＰＵ（ｇｒａｐｈｉｃ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、又はＮＰＵ（ｎｅｕｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）のうち少なくとも１つを含んでもよい。ＮＰＵは、ＣＰＵとは別のチップとして実装されてもよく、又はＳｏＣ（ｓｙｓｔｅｍ ｏｎ ａ ｃｈｉｐ）の形態でＣＰＵなどのチップに集積され（ｉｎｔｅｇｒａｔｅｄ）てもよい。ＣＰＵに集積されたＮＰＵは、ニューラルコア及び／又はＡＩ（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）アクセラレータと呼ばれることがある。
【0194】
図１３を参照すると、プロセッサ１３１０は、メモリ１３２０に格納されたニューラルネットワーク１３３０を識別することができる。ニューラルネットワーク１３３０は、入力層（Ｉｎｐｕｔ ｌａｙｅｒ）１３３２、１つ以上の隠れ層（Ｈｉｄｄｅｎ ｌａｙｅｒｓ）１３３４（又は中間層（Ｉｎｔｅｒｍｅｄｉａｔｅ ｌａｙｅｒｓ））、及び出力層（Ｏｕｔｐｕｔ ｌａｙｅｒｓ）１３３６の結合を含むことができる。前述の層（例えば、入力層１３３２、１つ以上の隠れ層１３３４、及び出力層１３３６）は、複数のノードを含むことができる。隠れ層１３３４の数は、実施形態によって変わってもよく、複数の隠れ層１３３４を含むニューラルネットワーク１３３０は、ディープ（ｄｅｅｐ）ニューラルネットワークと呼ばれることがある。前記ディープニューラルネットワークをトレーニングする動作は、ディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）と呼ばれることがある。
【0195】
一実施形態では、ニューラルネットワーク１３３０が、フィードフォワードニューラルネットワーク（ｆｅｅｄ ｆｏｒｗａｒｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）の構造を有する場合、特定の層に含まれる第１のノードは、前記特定の層の以前の別の層に含まれる第２のノードのすべてに接続することができる。メモリ１３２０内で、ニューラルネットワーク１３３０のために格納されたパラメータは、前記第２のノードと前記第１のノードとの間の接続に割り当てられた（ａｓｓｉｇｎｅｄ）重み付け（ｗｅｉｇｈｔ）を含むことができる。フィードフォワードニューラルネットワークの構造を有するニューラルネットワーク１３３０において、前記第１のノードの値は、前記第２のノードと前記第１のノードとを接続する接続に割り当てられた重み付けに基づく、前記第２のノードに割り当てられた値の重み付け合（ｗｅｉｇｈｔｅｄ ｓｕｍ）に対応することができる。
【0196】
一実施形態では、ニューラルネットワーク１３３０が畳み込み（ｃｏｎｖｏｌｕｔｉｏｎ）ニューラルネットワークの構造を有する場合、特定の層に含まれる第１のノードは、前記特定の層の以前の別の層に含まれる第２のノードの一部に対する重み付け合に対応できる。前記第１のノードに対応する前記第２のノードの一部は、前記特定の層に対応するフィルタによって識別されてもよい。メモリ１３２０内で、ニューラルネットワーク１３３０のために格納されたパラメータは、前記フィルタを表す重み付けを含むことができる。フィルタは、前記第２のノードのうち、前記第１のノードの重み付け合を計算するために使用される１つ以上のノード、及び前記１つ以上のノードのそれぞれに対応する重み付けを含むことができる。
【0197】
一実施形態によれば、電子装置１３００のプロセッサ１３１０は、メモリ１３２０に格納された学習データセット１３４０を使用して、ニューラルネットワーク１３３０に対してトレーニングを実行することができる。学習データセット１３４０に基づいて、プロセッサ１３１０は、図１２を参照して説明した動作を実行して、ニューラルネットワーク１３３０のためにメモリ１３２０に格納された１つ以上のパラメータを調整することができる。
【0198】
一実施形態によれば、電子装置１３００のプロセッサ１３１０は、学習データセット１３４０に基づいてトレーニングされたニューラルネットワーク１３３０を用いて、オブジェクト検出、オブジェクト認識、及び／又はオブジェクト分類を実行することができる。プロセッサ１３１０は、カメラ１３５０を介して取得したイメージ（又はビデオ）を、ニューラルネットワーク１３３０の入力層１３３２に入力することができる。イメージが入力された入力層１３３２に基づいて、プロセッサ１３１０は、ニューラルネットワーク１３３０に含まれる層のノードの値を順次取得し、出力層１３３６のノードの値のセット（例えば、出力データ）を取得することができる。前記出力データは、ニューラルネットワーク１３３０を用いて、前記イメージに含まれる情報を推定した結果として使用することができる。実施形態は、これに限定されず、プロセッサ１３１０は、通信回路１３６０を介して、電子装置１３００に接続された外部電子装置から取得したイメージ（又はビデオ）を、ニューラルネットワーク１３３０に入力することができる。
【0199】
一実施形態では、イメージを処理するためにトレーニングされたニューラルネットワーク１３３０は、前記イメージ内で、被写体に対応する領域を識別するか（オブジェクト検出）、及び／又は前記イメージ内に表現された被写体のクラスを識別（オブジェクト認識及び／又はオブジェクト分類）するために使用することができる。例えば、電子装置１３００は、ニューラルネットワーク１３３０を用いて、前記イメージ内で、前記被写体に対応する領域を、バウンディングボックスなどの矩形の形状に基づいて、分割する（ｓｅｇｍｅｎｔ）ことができる。例えば、電子装置１３００は、ニューラルネットワーク１３３０を用いて、複数の指定されたクラスのうち、前記被写体にマッチングする少なくとも１つのクラスを識別することができる。
【0200】
【0201】
図１４は、トラクター１２とトレーラー１４とが接続されていない状態を示す。
【0202】
図１５は、トラクター１２とトレーラー１４とが接続された状態を示す。本発明の実施形態では、トレーラー１４は、トラクター１２によって運ばれる転向輪ヒッチ１６によって選択的に接続されており、これは、トレーラー１４に固定されたキングピン１８を公知の方法で締結する。
【0203】
本明細書の図１４に示すトレーラー２０は、「セミトレーラー」形態を示しているが、これは、説明の便宜のためであり、本発明の実施形態は、「セミトレーラー」形態にのみ適用されるものと理解すべきではない。
【0204】
前述したように、電子装置１０１は、通信回路１１０を含むことができる。前記電子装置１０１は、命令を格納するメモリ１３０を含むことができる。前記電子装置１０１は、前記通信回路１１０及び前記メモリ１３０と動作的に接続された少なくとも１つのプロセッサ１２０を含むことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記通信回路１１０を介して、第１のカメラ１５１から第１のイメージ２１１～２２０を取得するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記通信回路１１０を介して、前記第１のカメラ１５１よりもシャッタースピードが遅い第２のカメラ１５５から、第２のイメージ２２１～２３０を取得するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記第１のイメージ２１１～２２０と、前記第２のイメージ２２１～２３０とで、互いに対応する時点で取得された第１のイメージ２１１及び第２のイメージ２２１を識別するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記第１のイメージ２１１において、指定された種類のオブジェクト内の第１の関心領域５４０を設定するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記第２のイメージ２２１において、前記第１の関心領域５４０と同じ位置の第２の関心領域６４０を設定するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、第１の関心領域５４０が設定された第１のイメージ２１１及び前記第２の関心領域６４０が設定された第２のイメージ２２１を、学習データとして生成するように引き起こすことができる。
【0205】
一実施形態では、前記第２のカメラ１５５は、前記第１のカメラ１５１と互いに対応する角度を有するように配置されてもよい。一実施形態では、前記第２のカメラ１５５のレンズ属性は、前記第１のカメラ１５１のレンズ属性と同じであり得る。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記第１のカメラ１５１及び前記第２のカメラ１５５に、互いに対応する時点で撮影を指示するように引き起こすことができる。
【0206】
前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記第１のカメラ１５１及び前記第２のカメラ１５５に、互いに対応する時点で撮影を指示した後、指定された時間の間に、第１のイメージ２１１～２２０及び第２のイメージ２２１～２３０を取得するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記第１のイメージ２１１～２２０のうちの基準イメージ（例えば、イメージ２１５）と、前記第２のイメージ２２１～２３０のそれぞれとを比較することに基づいて、前記基準イメージ（例えば、イメージ２１５）と互いに対応する時点で取得されたイメージ（例えば、イメージ２２５）を識別するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記第１のイメージ２１１から前記基準イメージ（例えば、イメージ２１５）までのフレーム差と同じフレーム差を有する前記第２のイメージ２２１を、前記第２のイメージ２２１～２３０から識別するように引き起こすことができる。
【0207】
前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記第１のイメージ２１１において、指定されたサイズの領域４１０をクロップすることによって、クロップされた第１のイメージ２１１を生成するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記クロップされた第１のイメージ２１１に基づいて、前記第２のイメージ２２１において、指定されたサイズの他の領域４３０をクロップすることによって、クロップされた第２のイメージ２２１を生成するように引き起こすことができる。
【0208】
前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記クロップされた第１のイメージ２１１と、前記第２のイメージ２２１の複数の領域間の正規化された差分値を識別するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記クロップされた第１のイメージ２１１の特徴点と、前記第２のイメージ２２１の複数の領域のそれぞれの特徴点との間の正規化された距離を識別するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記正規化された差分値と、前記正規化された距離との間の重み付き平均が最も低い領域をクロップすることによって、前記クロップされた第２のイメージ２２１を生成するように引き起こすことができる。
【0209】
前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記クロップされた第１のイメージ２１１において、指定された種類のオブジェクトを識別するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記クロップされた第１のイメージ２１１で識別された前記オブジェクト内の前記第１の関心領域５４０を設定するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記クロップされた第２のイメージ２２１において、前記クロップされた第１のイメージ２１１の前記オブジェクトの位置を設定するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記クロップされた第２のイメージ２２１において、前記クロップされた第１のイメージ２１１の前記第１の関心領域５４０と同じ位置の前記第２の関心領域６４０を設定するように引き起こすことができる。
【0210】
前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記第１の関心領域５４０で文字列識別アルゴリズムに基づいて、文字列を識別するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記第１の関心領域５４０及び前記第２の関心領域６４０で、前記識別された文字列をラベル付けするように引き起こすことができる。
【0211】
前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記第１の関心領域５４０を、指定された変換アルゴリズムに基づいて、指定された図形に変換するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記指定された図形に変換された前記第１の関心領域５４０で、前記文字列識別アルゴリズムに基づいて、前記文字列を識別するように引き起こすことができる。
【0212】
前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記第１のイメージ２１１～２２０のうち連続するイメージ間の差に基づいて、前記電子装置１０１が移動しているかどうかを識別するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、この電子装置１０１が移動していないことに基づいて、前記第１のイメージ２１１～２２０及び前記第２のイメージ２２１～２３０を削除するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、この電子装置１０１が移動していることに基づいて、前記第１のイメージ２１１～２２０及び前記第２のイメージ２２１～２３０に基づいて、前記学習データを生成するように引き起こすことができる。
【0213】
前述したように、方法は、通信回路１１０を含む電子装置１０１で実行することができる。この方法は、前記通信回路１１０を介して、第１のカメラ１５１から第１のイメージ２１１～２２０を取得する動作を含むことができる。前記方法は、前記通信回路１１０を介して、前記第１のカメラ１５１よりもシャッタースピードが遅い第２のカメラ１５５から、第２のイメージ２２１～２３０を取得する動作を含むことができる。前記方法は、前記第１のイメージ２１１～２２０と、前記第２のイメージ２２１～２３０とで、互いに対応する時点で取得された第１のイメージ２１１及び第２のイメージ２２１を識別する動作を含むことができる。前記方法は、前記第１のイメージ２１１において、指定された種類のオブジェクト内の第１の関心領域５４０を設定する動作を含むことができる。前記方法は、前記第２のイメージ２２１において、前記第１の関心領域５４０と同じ位置の第２の関心領域６４０を設定する動作を含むことができる。前記方法は、前記第１の関心領域５４０が設定された第１のイメージ２１１と、前記第２の関心領域６４０が設定された第２のイメージ２２１とを、学習データとして生成する動作を含むことができる。
【0214】
前記方法は、前記第１のカメラ１５１及び前記第２のカメラ１５５に、互いに対応する時点で撮影を指示した後、指定された時間の間に、第１のイメージ２１１～２２０及び第２のイメージ２２１～２３０を取得する動作を含むことができる。前記方法は、前記第１のイメージ２１１～２２０のうち基準イメージ（例えば、イメージ２１５）と、前記第２のイメージ２２１～２３０のそれぞれとを比較することに基づいて、前記基準イメージ（例えば、イメージ２１５）と互いに対応する時点で取得されたイメージを識別する動作を含むことができる。前記方法は、前記第１のイメージ２１１から前記基準イメージ（例えば、イメージ２１５）までのフレーム差と同じフレーム差を有する前記第２のイメージ２２１を、前記第２のイメージ２２１～２３０から識別する動作を含むことができる。
【0215】
前記方法は、前記第１のイメージ２１１において、指定されたサイズの領域４１０をクロップすることによって、クロップされた第１のイメージ２１１を生成する動作を含み得る。前記方法は、前記クロップされた第１のイメージ２１１に基づいて、前記第２のイメージ２２１において、指定されたサイズの他の領域４３０をクロップすることによって、クロップされた第２のイメージ２２１を生成する動作を含むことができる。
【0216】
前記方法は、前記クロップされた第１のイメージ２１１と、前記第２のイメージ２２１の複数の領域との間の正規化された差分値を識別する動作を含み得る。前記方法は、前記クロップされた第１のイメージ２１１の特徴点と、前記第２のイメージ２２１の複数の領域のそれぞれの特徴点との間の正規化された距離を識別する動作を含むことができる。前記方法は、前記正規化された差分値と、前記正規化された距離との間の重み付き平均が最も低い領域をクロップすることによって、前記クロップされた第２のイメージ２２１を生成する動作を含むことができる。
【0217】
前記方法は、前記クロップされた第１のイメージ２１１において、指定された種類のオブジェクトを識別する動作を含むことができる。前記方法は、前記クロップされた第１のイメージ２１１で識別された前記オブジェクト内の前記第１の関心領域５４０を設定する動作を含むことができる。前記方法は、前記クロップされた第２のイメージ２２１において、前記クロップされた第１のイメージ２１１の前記オブジェクトの位置を設定する動作を含むことができる。前記方法は、前記クロップされた第２のイメージ２２１において、前記クロップされた第１のイメージ２１１の前記第１の関心領域５４０と同じ位置の前記第２の関心領域６４０を設定する動作を含むことができる。
【0218】
前記方法は、前記第１のイメージ２１１～２２０のうち連続するイメージ間の差に基づいて、前記電子装置１０１が移動しているかどうかを識別する動作を含み得る。この方法は、前記電子装置１０１が移動していないことに基づいて、前記第１のイメージ２１１～２２０及び前記第２のイメージ２２１～２３０を削除する動作を含むことができる。前記方法は、前記電子装置１０１が移動することに基づいて、前記第１のイメージ２１１～２２０及び前記第２のイメージ２２１～２３０に基づいて、学習データを生成する動作を含むことができる。
【0219】
前述のように、非一時的コンピュータ読み取り可能な記録媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）は、命令を含むプログラムを記憶することができる。前記命令は、通信回路１１０を含む電子装置１０１のプロセッサ１２０によって実行されると、前記電子装置１０１が、前記通信回路１１０を介して、第１のカメラから第１のイメージ２１１～２２０を取得するように引き起こすことができる。前記命令が前記プロセッサ１２０により実行されると、前記電子装置１０１は、前記通信回路１１０を介して、前記第１のカメラ１５１よりもシャッタースピードが遅い第２のカメラ１５５から、第２のイメージ２２１～２３０を取得するように引き起こすことができる。前記命令が前記プロセッサ１２０により実行されると、前記電子装置１０１は、前記第１のイメージ２１１～２２０と、前記第２のイメージ２２１～２３０とで、互いに対応する時点で取得された第１のイメージ２１１及び第２のイメージ１２２を識別するように引き起こすことができる。前記命令が前記プロセッサ１２０により実行されると、前記電子装置１０１は、前記第１のイメージ２１１において、指定された種類のオブジェクト内の第１の関心領域５４０を設定するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記第２のイメージ２２１において、前記第１の関心領域５４０と同じ位置の第２の関心領域６４０を設定するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記第１の関心領域５４０が設定された第１のイメージ２１１と、前記第２の関心領域６４０が設定された第２のイメージ２２１とを、学習データとして生成するように引き起こすことができる。
【0220】
前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記第１のイメージ２１１において、指定されたサイズの領域４１０をクロップすることによって、クロップされた第１のイメージ２１１を生成するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記クロップされた第１のイメージ２１１に基づいて、前記第２のイメージ２２１において、指定されたサイズの他の領域４３０をクロップすることによって、クロップされた第２のイメージ２２１を生成するように引き起こすことができる。
【0221】
前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記クロップされた第１のイメージ２１１と、前記第２のイメージ２２１の複数の領域間の正規化された差分値を識別するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記クロップされた第１のイメージ２１１の特徴点と、前記第２のイメージ２２１の複数の領域のそれぞれの特徴点との間の正規化された距離を識別するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記正規化された差分値と、前記正規化された距離との間の重み付き平均が最も低い領域をクロップすることによって、前記クロップされた第２のイメージ２２１を生成するように引き起こすことができる。
【0222】
前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記クロップされた第１のイメージ２１１において、指定された種類のオブジェクトを識別するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記クロップされた第１のイメージ２１１で識別された前記オブジェクト内の前記第１の関心領域５４０を設定するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記クロップされた第２のイメージ２２１で、前記クロップされた第１のイメージ２１１の前記オブジェクトの位置を設定するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記クロップされた第２のイメージ２２１において、前記クロップされた第１のイメージ２１１の前記第１の関心領域５４０と同じ位置の前記第２の関心領域６４０を設定するように引き起こすことができる。
【0223】
前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記第１のイメージ２１１～２２０のうち連続するイメージ間の差に基づいて、前記電子装置１０１が移動しているかどうかを識別するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、この電子装置１０１が移動していないことに基づいて、前記第１のイメージ２１１～２２０及び前記第２のイメージ２２１～２３０を削除するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、この電子装置１０１が移動することに基づいて、前記第１のイメージ２１１～２２０及び前記第２のイメージ２２１～２３０に基づいて、前記学習データを生成するように引き起こすことができる。
【0224】
前述したように、電子装置１０１は、カメラ１５１、１５５を含むことができる。前記電子装置１０１は、命令を格納するメモリ１３０を含むことができる。前記電子装置１０１は、前記カメラ１５１、１５５及び前記メモリ１３０と動作的に接続された少なくとも１つのプロセッサ１２０を含むことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、第１のカメラ１５１から第１のイメージ２１１～２２０を取得するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記第１のカメラ１５１よりもシャッタースピードが遅い第２のカメラ１５５から、第２のイメージ２２１～２３０を取得するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記第１のイメージ２１１～２２０と、前記第２のイメージ２２１～２３０とで、互いに対応する時点で取得された第１のイメージ２１１及び第２のイメージ２２１を識別するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記第１のイメージ２１１において、指定された種類のオブジェクト内の第１の関心領域５４０を設定するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記第２のイメージ２２１において、前記第１の関心領域５４０と同じ位置の第２の関心領域６４０を設定するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前期電子装置１０１は、前記第１の関心領域５４０が設定された第１のイメージ２１１と、前記第２の関心領域６４０が設定された第２のイメージ２２１とを、学習データとして生成するように引き起こすことができる。
【0225】
前述したように、方法は、カメラ１５１、１５５を含む電子装置１０１で実行することができる。この方法は、第１のカメラ１５１から第１のイメージ２１１～２２０を取得する動作を含むことができる。前記方法は、前記第１のカメラ１５１よりもシャッタースピードが遅い第２のカメラ１５５から、第２のイメージ２２１～２３０を取得する動作を含むことができる。前記方法は、前記第１のイメージ２１１～２２０と、前記第２のイメージ２２１～２３０とで、互いに対応する時点で取得された第１のイメージ２１１と第２のイメージ２２１とを識別する動作を含むことができる。前記方法は、前記第１のイメージ２１１において、指定された種類のオブジェクト内の第１の関心領域５４０を設定する動作を含むことができる。前記方法は、前記第２のイメージ２２１において、前記第１の関心領域５４０と同じ位置の第２の関心領域６４０を設定する動作を含むことができる。前記方法は、前記第１の関心領域５４０が設定された第１のイメージ２１１と、前記第２の関心領域６４０が設定された第２のイメージ２２１とを、学習データとして生成する動作を含むことができる。
【0226】
前述のように、非一時的コンピュータ読み取り可能な記録媒体は、命令を含むプログラムを記憶することができる。前記命令は、カメラ１５１、１５５を含む電子装置１０１のプロセッサ１２０によって実行されると、前記電子装置１０１が、第１のカメラ１５１から第１のイメージ２１１～２２０を取得するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記第１のカメラ１５１よりもシャッタースピードが遅い第２のカメラ１５５から、第２のイメージ２２１～２３０を取得するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記第１のイメージ２１１～２２０と、前記第２のイメージ２２１～２３０とで、互いに対応する時点で取得された第１のイメージ２１１及び第２のイメージ２２１を識別するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記第１のイメージ２１１において、指定された種類のオブジェクト内の第１の関心領域５４０を設定するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記第２のイメージ２２１において、前記第１の関心領域５４０と同じ位置の第２の関心領域６４０を設定するように引き起こすことができる。前記命令が前記プロセッサ１２０によって実行されると、前記電子装置１０１は、前記第１の関心領域５４０が設定された第１のイメージ２１１と、前記第２の関心領域６４０が設定された第２のイメージ２２１とを、学習データとして生成するように引き起こすことができる。
【0227】
本開示の一実施形態及びそれに使用される用語は、本明細書に記載された技術的特徴を、特定の実施形態に限定することを意図するものではなく、その実施形態の様々な変更、等価物、又は代替物を含むことを理解すべきである。図面の説明に関して、類似又は関連する構成要素には、同様の参照番号を使用する場合がある。項目に対応する名詞の単数形は、関連する文脈上、明らかに別段の指示がない限り、前記項目１つ又は複数を含むことができる。本明細書において、「Ａ又はＢ」、「Ａ及びＢのうち少なくとも１つ」、「Ａ又はＢのうち少なくとも１つ」、「Ａ、Ｂ又はＣ」、「Ａ、Ｂ及びＣのうち少なくとも１つ」、及び「Ａ、Ｂ、又はＣのうち少なくとも１つ」などの句の各々は、その句の対応する句に一緒に列挙された項目のいずれか、又はそれらの可能なすべての組み合わせを含むことができる。「第１」、「第２」、又は「一番目」又は「二番目」などの用語は、単にその構成要素を他の対応する構成要素と区別するために使用される場合があり、その構成要素を他の側面（例えば、重要性又は順序）に限定しない。ある（例えば、第１の）構成要素が、他の（例えば、第２の）構成要素に、「機能的に」又は「通信的に」という用語と組み合わせて、又はそのような用語なしで、「結合された（ｃｏｕｐｌｅｄ）」又は「接続された（ｃｏｎｎｅｃｔｅｄ）」と言及されている場合、これは、前記のいくつかの構成要素が、前記の他の構成要素に直接（例えば、有線で）、無線で、又は第３の構成要素を介して接続され得ることを意味する。
【0228】
前述の本開示の特定の実施形態では、開示に含まれる構成要素は、提示された特定の実施形態に従って単数又は複数で表されている。ただし、単数又は複数の表現は、説明の便宜のために提示した状況に適して選択されたものであり、本開示が単数又は複数の構成要素に限定されるものではなく、複数で表される構成要素であっても単数で構成されてもよく、単数で表現された構成要素であっても複数で構成されてもよい。
【0229】
様々な実施形態によれば、前述の該当構成要素のうち１つ又はそれ以上の構成要素又は動作を省略しても、又は１つ又はそれ以上の他の構成要素又は動作を追加してもよい。代替的又は追加的に、複数の構成要素（例えば、モジュール又はプログラム）は、１つの構成要素に統合することができる。この場合、統合された構成要素は、複数の構成要素の各構成要素の１つ又はそれ以上の機能を、統合前に複数の構成要素のうち該当構成要素によって実行されるのと同じ又は同様に実行することができる。様々な実施形態によれば、モジュール、プログラム、又は他の構成要素によって実行される動作は、順次、並列的、繰り返し、又は経験的に実行されてもよく、又は前記動作のうち１つ又はそれ以上が異なる順序で実行されても、省略されても、あるいは、１つ以上の他の動作が追加されてもよい。
【0230】
なお、本開示の詳細な説明では、具体的な実施形態について説明したが、本開示の範囲から逸脱しない限り、様々な変形が可能であることは言うまでもない。
【図1】
【図2a】
【図2b】
【図2c】
【図2d】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
