ホーム > 特許ランキング > ソニーグループ株式会社
特表2023-547791フレーム及びイベントカメラ処理に基づくオブジェクト分類及び関連する応用
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-11-14
(54)【発明の名称】フレーム及びイベントカメラ処理に基づくオブジェクト分類及び関連する応用
(51)【国際特許分類】
G06V 10/764 20220101AFI20231107BHJP
G08G 1/16 20060101ALI20231107BHJP
G06V 10/82 20220101ALI20231107BHJP
G06V 20/58 20220101ALI20231107BHJP
G06T 7/00 20170101ALI20231107BHJP
G06T 7/254 20170101ALI20231107BHJP
G06V 10/75 20220101ALI20231107BHJP
B60W 60/00 20200101ALI20231107BHJP
B60W 30/095 20120101ALI20231107BHJP
【ＦＩ】
G06V10/764
G08G1/16 C
G06V10/82
G06V20/58
G06T7/00 650B
G06T7/00 350C
G06T7/254 A
G06V10/75
B60W60/00
B60W30/095
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023521419
(86)(22)【出願日】2021-10-07
(85)【翻訳文提出日】2023-04-06
(86)【国際出願番号】 IB2021059215
(87)【国際公開番号】W WO2022074606
(87)【国際公開日】2022-04-14
(31)【優先権主張番号】63/089,413
(32)【優先日】2020-10-08
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/090,773
(32)【優先日】2020-10-13
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/177,933
(32)【優先日】2021-02-17
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＺＩＧＢＥＥ
２．ＢＬＵＥＴＯＯＴＨ
３．ＷＣＤＭＡ
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100092093
【弁理士】
【氏名又は名称】辻居 幸一
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100109335
【弁理士】
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100120525
【弁理士】
【氏名又は名称】近藤 直樹
(72)【発明者】
【氏名】ヤマザキ テッド
(72)【発明者】
【氏名】ラーセン トニー
(72)【発明者】
【氏名】アンダーソン リー
(72)【発明者】
【氏名】梨子田 辰志
(72)【発明者】
【氏名】高橋 巨成
【テーマコード（参考）】
3D241
5H181
5L096
【Ｆターム（参考）】
3D241BA32
3D241BA60
3D241CA06
3D241CA08
3D241CA12
3D241CE02
3D241CE05
3D241CE08
3D241DC31Z
3D241DC33Z
3D241DC35Z
3D241DC39Z
3D241DC59Z
5H181AA01
5H181AA05
5H181AA26
5H181BB04
5H181BB05
5H181BB20
5H181CC04
5H181CC24
5H181FF10
5H181FF12
5H181FF13
5H181FF24
5H181FF25
5H181FF32
5H181LL01
5H181LL07
5H181LL08
5H181LL09
5H181LL20
5L096BA04
5L096CA04
5L096CA14
5L096DA02
5L096DA04
5L096FA06
5L096FA09
5L096FA69
5L096GA51
5L096HA03
5L096HA11
5L096JA22
(57)【要約】
フレーム及びイベントカメラ処理に基づくオブジェクト分類及び関連する応用のためのシステム及び方法を提供する。システムは、イメージセンサ回路の出力を取得し、取得された出力の第１のフレーム内の第１のオブジェクトに関連する特徴点に基づいて第１のオブジェクト分類結果を決定する。システムは、取得された出力の少なくとも２つのフレームに対してイベントカメラ信号処理演算を実行してイベントフレームを生成する。生成されたイベントフレームは、第２のオブジェクトに関連する画素レベルの動き情報を含む。システムは、画素レベルの動き情報に基づいて第２のオブジェクト分類結果を決定し、決定された第１のオブジェクト分類結果及び決定された第２のオブジェクト分類結果に基づいて１又は２以上のオブジェクト分類タグを決定する。決定された１又は２以上のオブジェクト分類タグは、少なくとも第１のオブジェクト及び第２のオブジェクトに含まれる１又は２以上のオブジェクトに対応する。
【選択図】 図１
【選択図】 図１
【特許請求の範囲】
【請求項1】
イメージセンサ回路の出力を取得し、前記取得された出力の第１のフレームにおける１又は２以上の第１のオブジェクトに関連する特徴点に基づいて第１のオブジェクト分類結果を決定し、
前記取得された出力の少なくとも２つのフレームに対してイベントカメラ信号処理動作を実行して、１又は２以上の第２のオブジェクトに関連する画素レベルの動き情報を含むイベントフレームを生成し、
前記画素レベルの動き情報に基づいて第２のオブジェクト分類結果を決定し、
前記決定された第１のオブジェクト分類結果及び前記決定された第２のオブジェクト分類結果に基づいて、少なくとも前記１又は２以上の第１のオブジェクト及び前記１又は２以上の第２のオブジェクトに含まれる１又は２以上のオブジェクトに対応する１又は２以上のオブジェクト分類タグを決定する、
ように構成された回路を備える、ことを特徴とするシステム。
【請求項2】
前記１又は２以上の第１のオブジェクトは、静止状態、又は静止状態に達する寸前であり、前記１又は２以上の第２のオブジェクトは移動中である、請求項１に記載のシステム。
【請求項3】
前記回路は、前記取得された出力の前記第１のフレームにおける特徴点を検出し、
前記検出された特徴点と既知のオブジェクトクラスに関連する第１の基準特徴との間の第１のパターンマッチを決定する、
ようにさらに構成され、前記第１のオブジェクト分類結果は、前記決定された第１のパターンマッチに基づいて決定される、
請求項１に記載のシステム。
【請求項4】
前記回路は、前記画素レベルの動き情報と、既知のオブジェクトクラスに関連する第２の基準特徴とのパターンマッチングを行うことに基づいて、前記第２のオブジェクト分類結果を決定するようにさらに構成される、請求項１に記載のシステム。
【請求項5】
前記第１のオブジェクト分類結果は、前記１又は２以上の第１のオブジェクトに関連する第１の境界ボックス情報がオーバーレイ表示された前記第１のフレームを含み、前記第２のオブジェクト分類結果は、前記１又は２以上の第２のオブジェクトに関連する第２の境界ボックス情報がオーバーレイ表示された前記イベントフレームを含む、
請求項１に記載のシステム。
【請求項6】
前記回路は、前記決定された第１のオブジェクト分類結果と前記決定された第２のオブジェクト分類結果との間の相違点を決定し、
前記１又は２以上の第１のオブジェクト又は前記１又は２以上の第２のオブジェクトから、誤分類されたもの、未分類のもの、検出されたにもかかわらず未分類のもの、誤検出されたもの、又は誤検出されて誤分類されたもの、のうちのいずれかである第１のオブジェクトを前記相違点に基づいて決定する、
ようにさらに構成される、請求項１に記載のシステム。
【請求項7】
前記回路は、前記決定された相違点、前記決定された第１のオブジェクト分類結果、及び前記決定された第２のオブジェクト分類結果に基づいて、前記決定された第１のオブジェクトに対してパターンマッチング動作を実行し、
前記パターンマッチング動作の実行に基づいて、前記決定された第１のオブジェクトを第１のオブジェクトクラスに分類する、
ようにさらに構成される、請求項６に記載のシステム。
【請求項8】
前記回路は、前記第１のオブジェクトクラスが正しいとの判定に基づいて、前記第１のオブジェクトについて前記１又は２以上のオブジェクト分類タグのうちの第１のオブジェクト分類タグを決定するようにさらに構成される、請求項７に記載のシステム。
【請求項9】
前記パターンマッチング動作は、機械学習ベースのパターンマッチング動作、又は深層学習ベースのパターンマッチング動作である、請求項７に記載のシステム。
【請求項10】
前記回路は、前記第１のオブジェクトクラスが正しくないとの判定に基づいて、前記イベントフレーム又は前記第１のフレームをサーバに送信し、
前記送信に基づいて、前記決定された第１のオブジェクトの第２のオブジェクトクラスを前記サーバから受け取り、
前記第２のオブジェクトクラスが正しいとの判定に基づいて、前記第１のオブジェクトについて前記１又は２以上のオブジェクト分類タグのうちの第１のオブジェクト分類タグを決定する、
ようにさらに構成される、請求項７に記載のシステム。
【請求項11】
前記第１のフレーム及び前記イベントフレームの各々は、車両の外部環境のシーン情報を取り込む、請求項１に記載のシステム。
【請求項12】
前記回路は、前記環境における事故又はニアミスを含むイベントを検出するように前記車両の電子制御システムを制御し、
前記決定された１又は２以上のオブジェクト分類タグ及び前記検出されたイベントに基づいて前記車両の運転者の行動パターンを決定する、
ようにさらに構成される、請求項１１に記載のシステム。
【請求項13】
前記電子制御システムは、先進運転支援システム（ＡＤＡＳ）及び自律運転（ＡＤ）システムの一方である、請求項１２に記載のシステム。
【請求項14】
前記回路は、前記決定された行動パターンに基づいて前記車両の１又は２以上の動作を制御するようにさらに構成される、請求項１２に記載のシステム。
【請求項15】
前記回路は、前記決定された行動パターンに基づいて通知情報を生成し、
前記生成された通知情報を、前記車両又は前記車両の前記運転者に関連する電子装置に送信する、
ようにさらに構成される、請求項１２に記載のシステム。
【請求項16】
前記回路は、車両の内部において、ユーザインターフェイス（ＵＩ）の画像を前記車両の内部の投影面上に投影するように画像投影装置を制御し、前記第１のフレーム及び前記イベントフレームの各々が、前記車両の内部の車内環境のシーン情報を取り込み、
前記決定された１又は２以上のオブジェクト分類タグのうちの第２のオブジェクト分類タグに基づいて、前記投影画像に含まれる前記ＵＩの仮想ＵＩ要素上の指の動きを検出し、
前記検出に基づいて前記仮想ＵＩ要素を選択し、
前記選択に基づいて１又は２以上の車両機能を制御する、
ようにさらに構成される、請求項１に記載のシステム。
【請求項17】
イメージセンサ回路の出力を取得することと、前記取得された出力の第１のフレームにおける１又は２以上の第１のオブジェクトに関連する特徴点に基づいて第１のオブジェクト分類結果を決定することと、
前記取得された出力の少なくとも２つのフレームに対してイベントカメラ信号処理動作を実行して、１又は２以上の第２のオブジェクトに関連する画素レベルの動き情報を含むイベントフレームを生成することと、
前記画素レベルの動き情報に基づいて第２のオブジェクト分類結果を決定することと、
前記決定された第１のオブジェクト分類結果及び前記決定された第２のオブジェクト分類結果に基づいて、少なくとも前記１又は２以上の第１のオブジェクト及び前記１又は２以上の第２のオブジェクトに含まれる１又は２以上のオブジェクトに対応する１又は２以上のオブジェクト分類タグを決定することと、
を含むことを特徴とする方法。
【請求項18】
前記取得された出力の前記第１のフレームにおける特徴点を検出することと、前記検出された特徴点と既知のオブジェクトクラスに関連する第１の基準特徴との間の第１のパターンマッチを決定することと、
をさらに含み、前記第１のオブジェクト分類結果は、前記決定された第１のパターンマッチに基づいて決定される、
請求項１７に記載の方法。
【請求項19】
前記画素レベルの動き情報と既知のオブジェクトクラスに関連する第２の基準特徴とのパターンマッチングを行うことに基づいて前記第２のオブジェクト分類結果を決定することをさらに含む、請求項１７に記載の方法。
【請求項20】
コンピュータ実行可能命令を記憶した非一時的コンピュータ可読媒体であって、前記コンピュータ実行可能命令は、システムによって実行された時に、イメージセンサ回路の出力を取得することと、
前記取得された出力の第１のフレームにおける１又は２以上の第１のオブジェクトに関連する特徴点に基づいて第１のオブジェクト分類結果を決定することと、
前記取得された出力の少なくとも２つのフレームに対してイベントカメラ信号処理動作を実行して、１又は２以上の第２のオブジェクトに関連する画素レベルの動き情報を含むイベントフレームを生成することと、
前記画素レベルの動き情報に基づいて第２のオブジェクト分類結果を決定することと、
前記決定された第１のオブジェクト分類結果及び前記決定された第２のオブジェクト分類結果に基づいて、少なくとも前記１又は２以上の第１のオブジェクト及び前記１又は２以上の第２のオブジェクトに含まれる１又は２以上のオブジェクトに対応する１又は２以上のオブジェクト分類タグを決定することと、
を含む動作を前記システムに実行させる、ことを特徴とする非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
〔関連出願との相互参照／引用による組み入れ〕
本出願は、２０２０年１０月０８日に出願された米国仮特許出願第６３／０８９４１３号に対する優先権を主張するものであり、この文献の内容は全体が引用により本明細書に組み入れられる。
本出願は、２０２０年１０月０８日に出願された米国仮特許出願第６３／０８９４１３号に対する優先権を主張するものであり、この文献の内容は全体が引用により本明細書に組み入れられる。
【0002】
本開示の様々な実施形態は、画像及びイベントカメラ処理に関する。具体的には、本開示の様々な実施形態は、フレーム及びイベントカメラ処理に基づくオブジェクト分類及び関連する応用のためのシステム及び方法に関する。
【背景技術】
【0003】
画像処理の進歩は、取り込み画像をオブジェクト検出及び分類に利用できる様々な画像処理装置及び技術の発展をもたらした。多くの事例では、フレームベースのカメラなどの従来の画像処理装置が誤検出してしまうような、或いは検出できたにもかかわらず誤分類してしまうようなオブジェクトは画像内にほとんど存在しないと考えられる。いくつかの用途、特にオブジェクトの検出又は分類に基づいて重要な決定又は動作を行う用途では、オブジェクト検出又は分類の不正確さが受け入れられない場合がある。
【発明の概要】
【発明が解決しようとする課題】
【0004】
当業者には、説明したシステムと、本出願の残り部分において図面を参照しながら示す本開示のいくつかの態様とを比較することにより、従来の慣習的な手法の限界及び不利点が明らかになるであろう。
【課題を解決するための手段】
【0005】
実質的に少なくとも１つの図に関連して図示及び／又は説明し、特許請求の範囲にさらに完全に示すような、フレーム及びイベントカメラ処理に基づくオブジェクト分類及び関連する応用のためのシステム及び方法を提供する。
【0006】
全体を通じて同じ要素を同じ参照符号によって示す添付図面を参照しながら本開示の以下の詳細な説明を検討することにより、本開示のこれらの及びその他の特徴及び利点を理解することができる。
【図面の簡単な説明】
【0007】
【図1】本開示の実施形態による、フレーム及びイベントカメラ処理に基づくオブジェクト分類のための例示的な環境を示すブロック図である。
【図5】本開示の実施形態による、仮想ユーザインターフェイス（ＵＩ）要素の選択に基づいて１又は２以上の車両機能を制御する例示的なシナリオを示す図である。
【図8】本開示の実施形態による、運転者の行動パターンに基づいて通知情報を生成する例示的なシナリオを示す図である。
【図9】本開示の実施形態による、フレーム及びイベントカメラ処理に基づく例示的なオブジェクト分類法を示すフローチャートである。
【発明を実施するための形態】
【0008】
開示するフレーム及びイベントカメラ処理に基づくオブジェクト分類及び関連する応用のためのシステム及び方法では、後述する実装を見出すことができる。本開示の例示的な態様は、フレーム及びイベントカメラ処理に基づくオブジェクト分類のためのシステムを提供する。このシステムは、例えば撮像装置、スマートフォン、エッジコンピュータ装置、車両、モノのインターネット（ＩｏＴ）装置、及び有人ドローンなどに実装することができる。
【0009】
システムは、いずれかの時点でイメージセンサ回路の出力を取得し、フレーム及びイベントカメラ処理に基づいてオブジェクト分類タグを決定するように構成することができる。システムは、取得された出力の第１のフレーム内の（静止状態にあると考えられる、又は静止状態に達する寸前と考えられるオブジェクトなどの）１又は２以上の第１のオブジェクトに関連する特徴点に基づいて第１のオブジェクト分類結果を決定するように構成することができる。また、システムは、取得された出力の少なくとも２つのフレームに対してイベントカメラ信号処理動作を実行してイベントフレームを生成することに基づいて第２のオブジェクト分類結果を決定することもできる。生成されたイベントフレームは、（移動中と考えられるオブジェクトなどの）１又は２以上の第２のオブジェクトに関連する画素レベルの動き情報を含むことができる。システムは、決定された第１のオブジェクト分類結果及び決定された第２のオブジェクト分類結果に基づいて、少なくとも（単複の）第１のオブジェクト及び（単複の）第２のオブジェクトに含まれていると考えられる１又は２以上のオブジェクトに対応する１又は２以上のオブジェクト分類タグを決定するように構成することができる。開示するシステムは、フレーム及びイベントカメラ処理の実行によって、典型的なフレームベースのオブジェクト検出／分類法では誤検出及び／又は誤分類される恐れがある（単複の）オブジェクトを確実に検出して分類することができる。
【0010】
図１は、本開示の実施形態による、フレーム及びイベントカメラ処理に基づくオブジェクト分類のための例示的な環境を示すブロック図である。図１にはネットワーク環境１００の図を示す。ネットワーク環境１００は、システム１０２、イメージセンサ回路１０４、サーバ１０６、及びデータベース１０８を含むことができる。システム１０２は、通信ネットワーク１１０を介してイメージセンサ回路１０４及びサーバ１０６に結合することができる。さらに、システム１０２に関連することができるユーザ１１２も示す。
【0011】
システム１０２は、イメージセンサ回路１０４の出力を取得するように構成できる好適なロジック、回路、コード及び／又はインターフェイスを含むことができる。システム１０２は、取得された出力に対してフレーム及びイベントカメラ信号処理を実行することに基づいて（単複の）オブジェクト分類結果を決定することができる。システム１０２の実装例としては、以下に限定するわけではないが、（カメラなどの）撮像装置、車両電子制御ユニット（ＥＣＵ）、スマートフォン、携帯電話機、ウェアラブル又はヘッドマウント電子装置（例えば、拡張現実（ＸＲ）ヘッドセット）、ゲーム装置、メインフレーム機、サーバ、コンピュータワークステーション、エッジコンピュータ装置、有人ドローン支援システム、消費者電子（ＣＥ）装置、又は画像処理能力を有するいずれかのコンピュータ装置のうちの１つ又は２つ以上を挙げることができる。
【0012】
イメージセンサ回路１０４は、イメージセンサ回路１０４に入射できる光信号に基づいて画像信号を取得するように構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。取得された画像信号は、イメージセンサ回路１０４を含む撮像ユニットの視野（ＦＯＶ）内のシーンの１又は２以上のフレームに対応することができる。イメージセンサ回路１０４は、取得された画像信号を自機の出力に含めることができる。ある実施形態では、取得された画像信号が、ベイヤー空間における未加工画像データであることができる。撮像ユニットは、システム１０２から分離された又はシステム１０２に統合されたカメラ装置とすることができる。イメージセンサ回路１０４の例としては、以下に限定するわけではないが、パッシブピクセルセンサ、アクティブピクセルセンサ、半導体電荷結合素子（ＣＣＤ）ベースのイメージセンサ、相補型金属酸化膜半導体（ＣＭＯＳ）ベースのイメージセンサ、グローバルシャッター付きバックライトＣＭＯＳセンサ、シリコンオンインシュレータ（ＳＯＩ）ベースのシングルチップイメージセンサ、Ｎ型金属酸化膜半導体ベースのイメージセンサ、フラットパネル検出器、又はその他の異形のイメージセンサを挙げることができる。
【0013】
サーバ１０６は、（単複の）画像及び／又は（単複の）イベントフレーム内の１又は２以上のオブジェクトを検出及び／又は分類するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。サーバ１０６は、パターンマッチングのための（データベース１０８などの）データベースと、（単複の）フレーム内の（単複の）オブジェクトを正しく検出及び／又は分類するように訓練された人工知能（ＡＩ）モデル、機械学習モデル、又は深層学習モデルとを含むことができる。例示的な実施形態では、サーバ１０６がクラウドサーバとして実装され、ウェブアプリケーション、クラウドアプリケーション、ＨＴＴＰリクエスト、リポジトリ動作及びファイル転送などを通じて動作を実行することができる。サーバ１０６の他の実装例としては、以下に限定するわけではないが、データベースサーバ、ファイルサーバ、ウェブサーバ、メディアサーバ、アプリケーションサーバ、メインフレームサーバ、又はクラウドコンピューティングサーバを挙げることができる。
【0014】
少なくとも１つの実施形態では、当業者に周知の複数の技術を使用することによって、サーバ１０６を複数の分散型クラウドベースリソースとして実装することができる。当業者であれば、本開示の範囲を２つの別個のエンティティとしてのサーバ１０６及びシステム１０２の実装に限定しないこともできると理解するであろう。いくつかの実施形態では、本開示の範囲から逸脱することなく、サーバ１０６の機能を全体的に又は少なくとも部分的にシステム１０２に組み込むこともできる。
【0015】
データベース１０８は、例えば各オブジェクトクラスのオブジェクトの画像例、オブジェクト特徴、クラスラベル又はタグなどを含むことができるオブジェクトパターン情報を記憶するように構成できる好適なロジック、インターフェイス及び／又はコードを含むことができる。データベース１０８は、リレーショナルデータベース又は非リレーショナルデータベースとすることができる。ある実施形態では、データベース１０８をクラウドサーバなどのサーバ上に記憶することができ、或いはシステム１０２上にキャッシュして記憶することができる。
【0016】
通信ネットワーク１１０は、システム１０２がサーバ１０６及び簡略化のために本開示から省略する他の装置と通信できるようにする通信媒体を含むことができる。通信ネットワーク１１０は、有線接続、無線接続、又はこれらの組み合わせを含むことができる。通信ネットワーク１１０の例としては、以下に限定するわけではないが、インターネット、クラウドネットワーク、ワイヤレスフィデリティ（Ｗｉ－Ｆｉ）ネットワーク、（グローバルナビゲーション衛星システム（ＧＮＳＳ）衛星コンステレーションなどを使用する）衛星通信ネットワーク、（第４世代ロングタームエボリューション（ＬＴＥ）又は第５世代ニューラジオ（ＮＲ）などの）セルラー又はモバイル無線ネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、又はメトロポリタンエリアネットワーク（ＭＡＮ）を挙げることができる。ネットワーク環境１００内の様々な装置は、様々な有線及び無線通信プロトコルに従って通信ネットワーク１１０に接続するように構成することができる。このような有線及び無線通信プロトコルの例としては、以下に限定するわけではないが、伝送制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、ＩＥＥＥ８０２．１１、ライトフィデリティ（Ｌｉ－Ｆｉ）、８０２．１６、ＩＥＥＥ ８０２．１１ｓ、ＩＥＥＥ ８０２．１１ｇ、マルチホップ通信、無線アクセスポイント（ＡＰ）、装置間通信、セルラー通信プロトコル、衛星通信プロトコル及びＢｌｕｅｔｏｏｔｈ（ＢＴ）通信プロトコルのうちの少なくとも１つを挙げることができる。
【0017】
動作中、イメージセンサ回路１０４は、シーンの１又は２以上のフレームを含むことができる出力を生成することができる。ある実施形態では、システム１０２が、シーンの１又は２以上のフレームとして表すことができる画像信号を取得するようにイメージセンサ回路１０４を制御することができる。
【0018】
システム１０２は、イメージセンサ回路１０４の出力を取得することができる。取得される出力は、１又は２以上のフレームを含むことができる。例えば、取得される出力は、１又は２以上の静止オブジェクト、１又は２以上の移動オブジェクト又はこれらの組み合わせを含むシーンに関連することができる第１のフレーム１１４を含むことができる。
【0019】
システム１０２は、取得された出力の第１のフレーム１１４内の特徴点を検出することができる。このような各特徴点は、第１のフレーム１１４内の点、エッジ、基本オブジェクト（ｅｌｅｍｅｎｔａｒｙ ｏｂｊｅｃｔ）又は形状成分などの特定の構造に関連する情報に対応することができる。これに加えて又はこれに代えて、このような特徴点は、特徴ベクトル、或いは第１のフレーム１１４に一般近傍演算（ｇｅｎｅｒａｌ ｎｅｉｇｈｂｏｒｈｏｏｄ ｏｐｅｒａｔｉｏｎ）又は特徴検出を適用した結果とすることもできる。システム１０２は、取得された出力の第１のフレーム１１４内の１又は２以上の第１のオブジェクトに関連する特徴点に基づいて第１のオブジェクト分類結果を決定することができる。ある実施形態では、第１のオブジェクト分類結果が、第１のフレーム１１４内のこのような第１のオブジェクトの周囲の境界ボックス、及びこのような第１のオブジェクトについて予測されるクラスラベルを含むことができる。これらの又はその他の実施形態では、このような第１のオブジェクトがシーン内で静止状態にあることができ、又はシーン内で静止状態に達する寸前であることができる。
【0020】
いくつかのシナリオでは、第１のオブジェクト分類結果が、シーン内及び第１のフレーム１１４内に存在し得る全ての関心オブジェクトを検出して分類しないことがある。例えば、いくつかのオブジェクトが誤検出され、又は未検出のままの場合がある。また、たとえ第１のフレーム１１４内でいくつかのオブジェクトが検出された場合でも、このようなオブジェクトのうちの１つ又は２つ以上が誤分類されることがある。従って、単独でイベントカメラ信号処理を実行して、シーン内の移動中と考えられるオブジェクト、及び取得されるイメージセンサ回路１０４の出力に取り込むことができる情報を検出することができる。
【0021】
システム１０２は、取得された出力の少なくとも２つのフレームに対してイベントカメラ信号処理動作を実行してイベントフレーム１１６を生成することができる。生成されたイベントフレーム１１６は、１又は２以上の第２のオブジェクトに関連する画素レベルの動き情報を含むことができる。イベントカメラ信号処理動作は、標準的なフレームベースのカメラ処理とは対照的に、それぞれが明度変化を表すことができるイベントを出力することができる。回路２０２は、取得された出力のフレーム内の画素位置毎に、イベントを検出する度にログ強度を記録し、記録された強度からの十分な大きさの変化を継続的にモニタすることができる。回路２０２は、この変化が閾値を上回った時に新たなイベントを検出し、これを画素の位置、新たなイベントが検出された時点及び明度変化の極性（例えば、明度の増加は１又は明度の減少は０）と共に記録することができる。
【0022】
画素レベルの動き情報３０８Ａは、イベントフレーム１１６の画素に記録された明度又は強度変化に対応することができる。システム１０２は、画素レベルの動き情報に基づいて第２のオブジェクト分類結果を決定することができる。ある実施形態では、第２のオブジェクト分類結果が、イベントフレーム１１６内のこのような第２のオブジェクトの周囲の境界ボックス、及びこのような第２のオブジェクトについて予測されるクラスラベルを含むことができる。いくつかのシナリオでは、第２のオブジェクト分類結果が、第１のフレーム１１４の第１のオブジェクト分類結果において誤検出された、誤分類された、又は全く含まれていない（単複の）オブジェクトを検出して分類することができる。従って、第２のオブジェクト分類結果は、取得されたイメージセンサ回路１０４の出力に取り込まれたシーン内の全ての（単複の）関心オブジェクトの分類プロセスを補完することができる。システム１０２は、決定された第１のオブジェクト分類結果及び決定された第２のオブジェクト分類結果に基づいて１又は２以上のオブジェクト分類タグを決定することができる。このようなオブジェクト分類タグは、少なくとも１又は２以上の第１のオブジェクト及び１又は２以上の第２のオブジェクトに含まれている可能性がある１又は２以上のオブジェクトに対応することができる。
【0023】
図２は、本開示の実施形態による、図１の例示的なシステムのブロック図である。図２の説明は図１の要素に関連して行う。図２にはシステム１０２のブロック図２００を示す。システム１０２は、回路２０２、メモリ２０４、入力／出力（Ｉ／Ｏ）装置２０６、及びネットワークインターフェイス２０８を含むことができる。ある実施形態では、システム１０２がイメージセンサ回路１０４を含むこともできる。回路２０２は、メモリ２０４、Ｉ／Ｏ装置２０６及びネットワークインターフェイス２０８に通信可能に結合することができる。Ｉ／Ｏ装置２０６は、例えばディスプレイ装置２１０を含むことができる。
【0024】
回路２０２は、システム１０２が実行すべき異なる動作に関連するプログラム命令を実行するように構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。回路２０２は、１又は２以上の特殊処理ユニットの機能をまとめて実行する統合プロセッサ又はプロセッサ群として実装できる１又は２以上の特殊処理ユニットを含むことができる。回路２０２は、当業で周知の複数のプロセッサ技術に基づいて実装することができる。回路２０２の実装例は、Ｘ８６ベースのプロセッサ、グラフィックプロセッシングユニット（ＧＰＵ）、縮小命令セットコンピューティング（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピューティング（ＣＩＳＣ）プロセッサ、マイクロコントローラ、中央処理装置（ＣＰＵ）、及び／又はその他の計算回路とすることができる。
【0025】
メモリ２０４は、回路２０２が実行すべきプログラム命令を記憶するように構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。少なくとも１つの実施形態では、メモリ２０４を、第１のフレーム１１４、イベントフレーム１１６、第１のオブジェクト分類結果、第２のオブジェクト分類結果、及び１又は２以上のオブジェクト分類タグを記憶するように構成することができる。メモリ２０４は、オブジェクトクラスを記憶するように構成することができる。メモリ２０４の実装例としては、以下に限定するわけではないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的に消去可能なプログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、固体ドライブ（ＳＳＤ）、ＣＰＵキャッシュ、及び／又はセキュアデジタル（ＳＤ）カードを挙げることができる。
【0026】
Ｉ／Ｏ装置２０６は、入力を受け取り、受け取った入力に基づいて出力を提供するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。Ｉ／Ｏ装置２０６は、回路２０２と通信するように構成できる様々な入力及び出力装置を含むことができる。例えば、システム１０２は、Ｉ／Ｏ装置２０６を介してユーザインターフェイス要素を選択するとともに、フレーム及びイベントカメラ処理を開始するためのユーザ入力を受け取ることができる。Ｉ／Ｏ装置２０６の例としては、以下に限定するわけではないが、タッチ画面、キーボード、マウス、ジョイスティック、ディスプレイ装置（例えば、ディスプレイ装置２１０）、マイク、又はスピーカを挙げることができる。
【0027】
ディスプレイ装置２１０は、ユーザインターフェイス要素を表示するように構成できる好適なロジック、回路及び／又はインターフェイスを含むことができる。１つの実施形態では、ディスプレイ装置２１０を、ディスプレイ装置２１０を介してユーザ１１２からユーザ入力を受け取るように構成できるタッチ対応装置とすることができる。ディスプレイ装置２１０は、以下に限定するわけではないが、液晶ディスプレイ（ＬＣＤ）ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、プラズマディスプレイ、又は有機ＬＥＤ（ＯＬＥＤ）ディスプレイ技術のうちの少なくとも１つなどの、複数の既知の技術を通じて実現できるディスプレイ装置、或いはその他のディスプレイ装置を含むことができる。ある実施形態によれば、ディスプレイ装置２１０のディスプレイユニットは、ヘッドマウント装置（ＨＭＤ）、スマートメガネ装置、シースルーディスプレイ、投影型ディスプレイ、エレクトロクロミックディスプレイ又は透明ディスプレイのディスプレイ画面を意味することができる。
【0028】
ネットワークインターフェイス２０８は、回路２０２が通信ネットワーク１１０を介してイメージセンサ回路１０４及び／又は他の通信装置と通信するのを容易にするように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ネットワークインターフェイス２０８は、通信ネットワーク１１０を介したシステム１０２の無線通信をサポートする様々な既知の技術を使用して実装することができる。ネットワークインターフェイス２０８は、例えばアンテナ、無線周波数（ＲＦ）トランシーバ、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタルシグナルプロセッサ、コーダ－デコーダ（ＣＯＤＥＣ）チップセット、加入者ＩＤモジュール（ＳＩＭ）カード、及びローカルバッファ回路などを含むことができる。
【0029】
ネットワークインターフェイス２０８は、インターネット、イントラネット、無線ネットワーク、セルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）又はメトロポリタンエリアネットワーク（ＭＡＮ）などのネットワークと無線通信を介して通信するように構成することができる。無線通信は、グローバルシステムフォーモバイルコミュニケーション（ＧＳＭ）、拡張データＧＳＭ環境（ＥＤＧＥ）、広帯域符号分割多元接続（Ｗ－ＣＤＭＡ）、ロングタームエボリューション（ＬＴＥ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、（ＧＮＳＳ衛星コンステレーションなどを使用する）衛星通信、Ｂｌｕｅｔｏｏｔｈ、（ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ又はＩＥＥＥ ８０２．１１ｎなどの）ワイヤレスフィデリティ（ＷｉＦｉ）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、ライトフィデリティ（Ｌｉ－Ｆｉ）、又はワールドワイド・インターオペラビリティ・フォー・マイクロウェーブ・アクセス（Ｗｉ－ＭＡＸ）などの複数の通信規格、プロトコル及び技術のうちの１つ又は２つ以上を使用するように構成することができる。
【0030】
図１で説明したようなシステム１０２によって実行される機能又は動作は回路２０２によって実行することができる。回路２０２によって実行される動作については、例えば図３Ａ及び図３Ｂ、図４Ａ及び図４Ｂ、図５、図６Ａ、６Ｂ及び図６Ｃ、図７Ａ及び図７Ｂ、図８、及び図９において詳細に説明する。
【0031】
図３Ａ及び図３Ｂは、本開示の実施形態による、フレーム及びイベントカメラ処理に基づくオブジェクト分類のための例示的な動作を集合的に示すブロック図である。図３Ａ及び図３Ｂの説明は図１及び図２の要素に関連して行う。図３Ａ及び図３Ｂには、本明細書で説明する３０２～３３６の例示的な動作を示すブロック図３００を示す。ブロック図３００に示す例示的な動作は３０２から開始することができ、図１又は図２のシステム１０２などのいずれかのコンピュータシステム、装置又はデバイスによって実行することができる。ブロック図３００の１又は２以上のブロックに関連する例示的な動作については離散ブロックで示しているが、これらは例示的な動作の実装に応じてさらなるブロックに分割し、より少ないブロックに結合し、又は削除することもできる。
【0032】
３０２において、データ取得を実行することができる。ある実施形態では、回路２０２が、イメージセンサ回路１０４の出力を取得することができる。イメージセンサ回路１０４は、システム１０２に統合することも、或いはネットワークインターフェイス又はＩ／Ｏインターフェイスを介して外部的にシステム１０２に接続することもできる。ある実施形態では、例えばシステム１０２上の永続ストレージ及びクラウドサーバなどとすることができるデータソースから出力を取得することができる。別の実施形態では、イメージセンサ回路１０４のフレームバッファから直接（非圧縮形態又は未加工形態で）出力を取得することができる。取得された出力は、イメージセンサ回路１０４のＦＯＶ内のシーンの１又は２以上のフレームを含むことができる。取得された出力の各フレームは、少なくとも１つのオブジェクトを含むことができる。
【0033】
３０４において、フレームカメラ信号処理動作を実行することができる。ある実施形態では、回路２０２を、取得された出力に対してフレームカメラ信号処理動作を実行して第１のフレーム３０２Ａを取得するように構成することができる。例えば、図示のように、第１のフレーム３０２Ａは交通量の多い道路のシーンを示しており、歩行者及び静止車両を含む。ある実施形態では、第１のフレーム３０２Ａに対してノイズ除去及びエッジ検出などの動作を実行することができる。イメージセンサ回路１０４によっては、このような動作をイメージセンサ回路１０４のアナログ－デジタル（ＡＤＣ）の前に実行することができる。
【0034】
回路２０２は、フレームカメラ信号処理動作の一部として、取得された出力の第１のフレーム３０２Ａ内の特徴点３０４Ａを検出することができる。検出された特徴点３０４Ａは、第１のフレーム３０２Ａ内の１又は２以上の第１のオブジェクトに関連する固有の特徴と呼ぶことができる。ある実施形態では、特徴点３０４Ａが、特定のオブジェクトクラスにおいてこのような第１のオブジェクトの各々を分類するために必要とされ得る情報を含むことができる。例えば、第１のオブジェクトは、以下に限定するわけではないが、ヘッドライト、窓及び車輪などの特徴点を有することができ、第２のオブジェクトは、以下に限定するわけではないが、脚、腕及び顔などの特徴点を有することができる。
【0035】
回路２０２は、検出された特徴点３０４Ａと、既知のオブジェクトクラスに関連する第１の基準特徴（ｒｅｆｅｒｅｎｃｅ ｆｅａｔｕｒｅｓ）３０４Ｂとの間の第１のパターンマッチを決定することができる。第１の基準特徴３０４Ｂは、（例えば、既知のオブジェクトクラスに属することができてデータベース１０８に記憶できる）オブジェクトの画像の訓練データセットから抽出できる特徴点又はテンプレート特徴を含むことができる。第１のパターンマッチは、パターンマッチング法の実行に基づいて決定することができる。パターンマッチング法は、検出された特徴点３０４Ａを第１の基準特徴３０４Ｂと照合できる一連の計算法を含むことができる。この照合に基づいて、検出された特徴点３０４ａの中からの一群の特徴点を特定のオブジェクトクラスに確率的に分類することができる。パターンマッチング法は、例えばテンプレートマッチング法、機械学習、又は深層学習ベースのパターンマッチング法、ハールカスケード（Ｈａａｒ Ｃａｓｃａｄｅｓ）、或いはハール特徴（Ｈａａｒ ｆｅａｔｕｒｅｓ）、ローカルバイナリパターン（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ：ＬＢＰ）又はスケール不変特徴変換（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ：ＳＩＦＴ）特徴などの特徴に基づくことができるいずれかの特徴マッチング法とすることができる。これらの方法例の詳細な実装は当業者に周知であると考えられ、従ってこのような方法の詳細な説明は簡潔にするために本開示から省略している。
【0036】
３０６において、第１のオブジェクト分類結果を決定することができる。ある実施形態では、回路２０２を、第１のフレーム３０２Ａ内の１又は２以上の第１のオブジェクトに関連する特徴点３０４Ａに基づいて第１のオブジェクト分類結果を決定するように構成することができる。具体的には、（３０４において決定された）第１のパターンマッチに基づいて第１のオブジェクト分類結果を決定することができる。第１のオブジェクト分類結果は、１又は２以上の第１のオブジェクトに関連する第１の境界ボックス情報がオーバーレイ表示された第１のフレーム３０２Ａを含むことができる。例えば、図示のように、境界ボックス情報は、１又は２以上の第１のオブジェクトを含むと予測できる境界ボックス３０６Ａ及び境界ボックス３０６Ｂを含むことができる。ある実施形態では、第１のオブジェクト分類結果が、第１のフレーム３０２Ａ内の１又は２以上の第１のオブジェクトに対応する１又は２以上のクラスラベル（例えば、車、人物又は自転車）を含むこともできる。
【0037】
いくつかのシナリオでは、第１のオブジェクト分類結果が、シーン内及び第１のフレーム３０２Ａ内に存在し得る全ての関心オブジェクトを検出して分類しないことがある。例えば、いくつかのオブジェクトが誤検出され、又は未検出のままの場合がある。また、たとえ第１のフレーム３０２Ａ内でいくつかのオブジェクトが検出された場合でも、このようなオブジェクトのうちの１つ又は２つ以上が誤分類されることがある。従って、単独でイベントカメラ信号処理を実行してシーン内の全ての関心オブジェクトの検出及び分類を支援し、この情報をイメージセンサ回路１０４の取得された出力に取り込むことができる。
【0038】
３０８において、イベントカメラ信号処理動作を実行することができる。ある実施形態では、回路２０２を、取得された出力の少なくとも２つのフレーム（又はスキャン）に対してイベントカメラ信号処理動作を実行してイベントフレーム３０２Ｂを生成するように構成することができる。生成されたイベントフレーム３０２Ｂは、１又は２以上の第２のオブジェクトに関連する画素レベルの動き情報３０８Ａを含むことができる。ある実施形態では、１又は２以上の第２のオブジェクトと１又は２以上の第１のオブジェクトとの間で共通できる少なくとも１つのオブジェクトが存在することができる。別の実施形態では、１又は２以上の第１のオブジェクトと１又は２以上の第２のオブジェクトとの間で共通するオブジェクトが存在しないことができる。別の実施形態では、１又は２以上の第１のオブジェクトが１又は２以上の第２のオブジェクトと同じであることができる。
【0039】
イベントカメラ信号処理動作は、取得された出力の少なくとも２つのスキャン又はフレームからの全ての画素の明度又は強度変化の（非同期的な独立した）測定を含むことができる。イベントカメラ信号処理動作の初期出力は、一連のデジタルイベント又はスパイクを含むことができ、各イベントは（例えば、対数強度（ｌｏｇ ｉｎｔｅｎｓｉｔｙ）を用いて測定される）明度の変化を表す。プリセット閾値（ｐｒｅｓｅｔ ｔｈｒｅｓｈｏｌｄ）未満の明度又は強度の変化は、一連のデジタルイベント又はスパイクに含まれない場合がある。
【0040】
イベントカメラ信号処理動作は、標準的なフレームベースのカメラ処理とは対照的に、それぞれが明度変化を表すことができるイベントを出力することができる。回路２０２は、取得された出力のフレーム内の画素位置毎に、イベントを検出する度にログ強度を記録し、この記録された値からの十分な大きさの変化を継続的にモニタすることができる。回路２０２は、この変化が閾値を上回った時に新たなイベントを検出し、これを画素の位置、新たなイベントが検出された時点及び明度変化の極性（例えば、明度の増加は１又は明度の減少は０）と共に記録することができる。画素レベルの動き情報３０８Ａは、イベントフレーム３０２Ｂの画素に記録された明度又は強度変化に対応することができる。例えば、移動オブジェクトは、イメージセンサ回路１０４の特定の画素位置に入射する光信号の強度変化を引き起こすことができる。このような変化をイベントフレーム３０２Ｂに記録することができ、この中の画素はイメージセンサ回路１０４の特定の画素位置に対応する。
【0041】
３１０において、第２のオブジェクト分類結果を決定することができる。ある実施形態では、回路２０２を、画素レベルの動き情報３０８Ａに基づいて第２のオブジェクト分類結果を決定するように構成することができる。第２のオブジェクト分類結果は、１又は２以上の第２のオブジェクトに関連する第２の境界ボックス情報がオーバーレイ表示されたイベントフレーム３０２Ｂを含むことができる。境界ボックス情報は、１又は２以上の第２のオブジェクトを含むと予測できる、境界ボックス３１０Ａ及び境界ボックス３１０Ｂなどの１又は２以上の境界ボックスを含むことができる。第１のオブジェクト分類結果は、イベントフレーム３０２Ｂ内の１又は２以上の第２のオブジェクトに対応する１又は２以上のクラスラベル（例えば、車、人物又は自転車）を含むこともできる。
【0042】
ある実施形態では、回路２０２が、画素レベルの動き情報３０８Ａと既知のオブジェクトクラスに関連する第２の基準特徴３０８Ｂとのパターンマッチングを行うことによって第２のオブジェクト分類結果を決定することができる。第２の基準特徴３０８Ｂは、第１の基準特徴３０４Ｂと同様に、（例えば、既知のオブジェクトクラスに属することができてデータベース１０８に記憶することができる）オブジェクトの画像の訓練データセットから抽出できる特徴点又はテンプレート特徴を含むことができる。ある実施形態では、第２の基準特徴３０８Ｂが、既知のオブジェクトクラスのオブジェクト又はオブジェクトコンポーネントに関連する画素情報を含むことができる。パターンマッチングは、（３０４で）上述した説明において例を挙げた方法に基づくことができる。これらの方法例の詳細な実装は当業者に周知であると考えられ、従ってこのような方法の詳細な説明は簡潔にするために本開示から省略している。
【0043】
３１２において、第１及び第２の分類結果を比較することができる。ある実施形態では、回路２０２を、決定された第１のオブジェクト分類結果と決定された第２のオブジェクト分類結果とを比較するように構成することができる。比較に基づいて、第１のオブジェクト分類結果と第２のオブジェクト分類結果との間に相違点があるか否かを判定することができる。第１のオブジェクト分類結果と第２のオブジェクト分類結果との間に相違点がない場合、制御は３１４に進むことができる。そうでなければ、制御は３１６に進むことができる。
【0044】
３１４において、１又は２以上のオブジェクトについてオブジェクト分類タグを決定することができる。回路２０２は、決定された第１のオブジェクト分類結果及び決定された第２のオブジェクト分類結果に基づいて１又は２以上のオブジェクト分類タグを決定するように構成することができる。決定された１又は２以上のオブジェクト分類タグは、少なくとも１又は２以上の第１のオブジェクト及び１又は２以上の第２のオブジェクトに含まれている可能性がある１又は２以上のオブジェクトに対応することができる。このような各オブジェクト分類タグは、オブジェクトが属することができるオブジェクトクラスを指定することができる。例えば、第１のオブジェクト分類結果は、車及び歩行者（すなわち、第１のオブジェクト）上に境界ボックス（すなわち、境界ボックス３０６Ａ及び境界ボックス３０６Ｂ）がオーバーレイ表示された第１のフレーム３０２Ａを含み、第２のオブジェクト分類結果は、イベントフレーム３０２Ｂ内の車及び歩行者上に境界ボックス（すなわち、境界ボックス３１０Ａ及び境界ボックス３１０Ｂ）がオーバーレイ表示されたイベントフレーム３０２Ｂを含むことができる。車及び歩行者については、オブジェクト分類タグをそれぞれ「車」及び「人間」として決定することができる。
【0045】
３１６において、決定された第１のオブジェクト分類結果と決定された第２のオブジェクト分類結果との間の相違点を決定することができる。ある実施形態では、回路２０２を、決定された第１のオブジェクト分類結果と決定された第２のオブジェクト分類結果との間の相違点を決定するように構成することができる。例えば、シーンａは、移動車両及び歩行者を含むことができる。決定された第１のオブジェクト分類結果は、歩行者の境界ボックス情報のみを含むことができる。このような場合には、フレームベースのカメラ処理が移動車両を検出し損ねた可能性がある。一方で、決定された第２のオブジェクト分類結果は、移動車両及び歩行者の境界ボックス情報を含むことができる。決定された第１のオブジェクト分類結果及び決定された第２のオブジェクト分類結果に基づいて、移動車両が存在する画素位置において相違点を決定することができる。
【0046】
３１８において、第１のオブジェクト分類結果が第２のオブジェクト分類結果と異なる原因となる第１のオブジェクトを決定することができる。ある実施形態では、回路２０２を、誤分類されたもの、未分類のもの、検出されたにもかかわらず未分類のもの、誤検出されたもの、又は誤検出されて誤分類されたもの、のうちのいずれかである第１のオブジェクト（例えば、移動車両）を決定するように構成することができる。第１のオブジェクトは、決定された相違点に基づいて、１又は２以上の第１のオブジェクト、或いは１又は２以上の第２のオブジェクトの中から決定することができる。例えば、あるオブジェクトが第１のオブジェクト分類結果及び第２のオブジェクト分類結果の両方において検出されたものの、第１のオブジェクト分類結果における第１のオブジェクトのクラスが第２のオブジェクト分類結果におけるオブジェクトのクラスと異なる場合、このオブジェクトは決定された相違点に含めることができる。同様に、第１のオブジェクト検出結果において検出されなかったオブジェクトが第２のオブジェクト検出結果によって検出された場合、このオブジェクトも決定された相違点に含めることができる。
【0047】
３２０において、パターンマッチング動作を実行することができる。ある実施形態では、回路２０２を、決定された第１のオブジェクトに対してパターンマッチング動作を実行するように構成することができる。このような動作は、決定された相違点、第１のオブジェクト分類結果、及び第２のオブジェクト分類結果に基づいて実行することができる。別の実施形態では、回路２０２が、決定された相違点、第１のオブジェクト分類結果、第２のオブジェクト分類結果、第１のフレーム３０２Ａ及び／又はイベントフレーム３０２Ｂなどの情報をエッジノードに送信することができる。エッジコンピュータ装置などのエッジノードは、情報を受け取り、受け取った情報に基づいてパターンマッチング動作を実行するように構成することができる。
【0048】
ある実施形態では、パターンマッチング動作を、機械学習ベースのパターンマッチング動作又は深層学習ベースのパターンマッチング動作とすることができる。パターンマッチング動作は、第１のフレーム３０２Ａ及び／又はイベントフレーム３０２Ｂ内の（単複の）オブジェクトを検出及び／又は分類するパターンマッチングタスクに基づいて訓練された機械学習（ＭＬ）モデル又は深層学習モデルに依拠することができる。このようなモデルは、そのハイパーパラメータ及びトポロジー／アーキテクチャによって定めることができる。例えば、ニューラルネットワークベースのモデルは、そのハイパーパラメータとして、ノード（又はニューロン）の数、（単複の）活性化関数、重みの数、コスト関数、正則化関数、入力サイズ、学習率、及び層の数などを有することができる。このようなモデルは、計算ネットワーク、又はノード（例えば、人工ニューロン）のシステムと呼ぶことができる。深層学習の実装では、深層学習モデルのノードを、ニューラルネットワークトポロジーで定められるような層状に配置することができる。これらの層は、入力層、１又は２以上の隠れ層、及び出力層を含むことができる。各層は、１又は２以上のノード（又は、例えば円で表される人工ニューロン）を含むことができる。入力層における全てのノードの出力は、（単複の）隠れ層の少なくとも１つのノードに結合することができる。同様に、各隠れ層の入力は、モデルの他の層における少なくとも１つのノードの出力に結合することができる。各隠れ層の出力は、深層学習モデルの他の層における少なくとも１つのノードの入力に結合することができる。最終層の（単複の）ノードは、少なくとも１つの隠れ層から入力を受け取って結果を出力することができる。層の数及び各層におけるノードの数は、訓練データセットに基づく深層学習モデルの訓練前、訓練中又は訓練後に設定できるハイパーパラメータから決定することができる。
【0049】
深層学習モデルの各ノードは、モデルの訓練中に調整できるパラメータセットを有する数学関数（例えば、シグモイド関数又は正規化線形ユニット（ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ））に対応することができる。パラメータセットは、例えば重みパラメータ及び正則化パラメータなどを含むことができる。各ノードは、深層学習モデルの他の（単複の）層（例えば、前の（単複の）層）のノードからの１又は２以上の入力に基づいて、数学関数を使用して出力を計算することができる。深層学習モデルのノードの全部又は一部は、同じ又は異なる数学関数に対応することができる。
【0050】
深層学習モデルの訓練では、（訓練データセットからの）所与の入力のための最終層の出力が深層学習モデルの損失関数に基づく正しい結果に一致するかどうかに基づいて各ノードの１又は２以上のパラメータを更新することができる。上記プロセスは、損失関数の最小値が達成されて訓練エラーが最小化されるまで同じ又は異なる入力について繰り返すことができる。当業では、勾配降下法、確率的勾配降下法、バッチ勾配降下法、勾配ブースト法及びメタヒューリスティック法などの複数の訓練法が知られている。
【0051】
ある実施形態では、ＭＬモデル又は深層学習モデルが、例えばシステム１０２上で実行可能なアプリケーションのソフトウェアコンポーネントとして実装できる電子データを含むことができる。ＭＬモデル又は深層学習モデルは、システム１０２などの処理装置による実行のためにライブラリ、外部スクリプト又はその他のロジック／命令に依拠することができる。ＭＬモデル又は深層学習モデルは、入力画像又はイベントフレーム内のオブジェクトを検出して分類することなどの１又は２以上の動作をシステム１０２などのコンピュータ装置が実行できるようにするコンピュータ実行可能コード又はルーチンを含むことができる。これに加えて又はこれに代えて、ＭＬモデル又は深層学習モデルは、以下に限定するわけではないが、プロセッサ、（例えば、１又は２以上の動作の実行又はその制御を行う）マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は特定用途向け集積回路（ＡＳＩＣ）を含むハードウェアを使用して実装することもできる。例えば、システム１０２には、ＭＬモデル又は深層学習モデルの計算を加速させる推論アクセラレータチップを含めることができる。いくつかの実施形態では、ＭＬモデル又は深層学習モデルを、ハードウェア及びソフトウェアの両方の組み合わせを使用して実装することができる。
【0052】
深層学習モデルの例としては、以下に限定するわけではないが、人工ニューラルネットワーク（ＡＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、Ｒｅｇｉｏｎｓ ｗｉｔｈ ＣＮＮ（Ｒ－ＣＮＮ）、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ（ＹＯＬＯ）ネットワーク、残差ニューラルネットワーク（Ｒｅｓ－Ｎｅｔ）、特徴ピラミッドネットワーク（ＦＰＮ）、網膜ネット、シングルショット検出器（ＳＳＤ）、及び／又はこれらの組み合わせを挙げることができる。
【0053】
３２２において、第１のオブジェクトクラスを決定することができる。ある実施形態では、回路２０２を、パターンマッチング動作の実行に基づいて、決定された第１のオブジェクトを第１のオブジェクトクラスに分類するように構成することができる。第１のオブジェクトクラスは、第１のオブジェクトが属することができるクラスを指定することができる。
【0054】
３２４において、第１のオブジェクトクラスが正しいかどうかを判定することができる。ある実施形態では、回路２０２を、第１のオブジェクトクラスが正しいか否かを判定するように構成することができる。例えば、回路２０２は、第１のオブジェクトクラスを、第１のオブジェクト分類結果又は第２のオブジェクト分類結果において最初に識別されたオブジェクトクラスと照合することができる。両オブジェクトクラスが一致する場合には、第１のオブジェクトクラスを正しいと判定し、制御は３２６に進むことができる。そうでなければ、制御は３２８に進むことができる。
【0055】
３２６において、第１のオブジェクト分類タグを決定することができる。ある実施形態では、回路２０２を、第１のオブジェクトクラスが正しいとの判定に基づいて、第１のオブジェクトについて１又は２以上のオブジェクト分類タグのうちの第１のオブジェクト分類タグを決定するように構成することができる。
【0056】
３２８において、イベントフレーム３０２Ｂ又は第１のフレーム３０２Ａを（サーバ１０６などの）サーバに送信することができる。ある実施形態では、回路２０２が、第１のオブジェクトクラスが正しくないとの判定に基づいて、イベントフレーム３０２Ｂ又は第１のフレーム３０２Ａをサーバに送信することができる。
【0057】
３３０において、サーバから第２のオブジェクトクラスを受け取ることができる。ある実施形態では、回路２０２が、送信に基づいて、決定された第１のオブジェクトの第２のオブジェクトクラスをサーバ１０６から受け取ることができる。第２のオブジェクトクラスは、決定された第１のオブジェクトクラスと異なることができる。サーバは、オブジェクト画像及び（テンプレート特徴などの）パターンマッチング情報の網羅的データベースの支援の有無にかかわらずパターンマッチング法を実行することができる。
【0058】
３３２において、第２のオブジェクトクラスが正しいか否かを判定することができる。ある実施形態では、回路２０２を、第２のオブジェクトクラスが正しいか否かを判定するように構成することができる。回路２０２は、第２のオブジェクトクラスを、第１のオブジェクト分類結果又は第２のオブジェクト分類結果において最初に識別されたオブジェクトクラスと照合することができる。両オブジェクトクラスが一致する場合には、第２のオブジェクトクラスを正しいと判定し、制御は３３４に進むことができる。そうでなければ、制御は３３６に進むことができる。
【0059】
３３４において、第１のオブジェクトのオブジェクト分類タグを決定することができる。ある実施形態では、回路２０２が、第２のオブジェクトクラスが正しいとの判定に基づいて、第１のオブジェクトについて第１のオブジェクト分類タグを決定することができる。第１のオブジェクト分類タグは、（３１４において決定された）１又は２以上のオブジェクト分類タグに含めることができる。
【0060】
３３６において、回路２０２は、第１のオブジェクトのオブジェクト分類タグを不明として決定することができる。このオブジェクト分類タグを第１のオブジェクトにタグ付けすることができる。このタグ付けは、（データベース１０８などの）データベースをパターンマッチングについて改善するために（サーバ１０６などの）サーバに報告することができる。制御は、終了に進むことができる。
【0061】
図４Ａ及び図４Ｂは、本開示の実施形態による、車両の運転者の行動パターンを決定する例示的な動作を集合的に示すブロック図である。図４Ａ及び図４Ｂの説明は、図１、図２、図３Ａ及び図３Ｂの要素に関連して行う。図４Ａ及び図４Ｂには、本明細書で説明する例示的な動作４０２～４２２を示すブロック図４００を示す。ブロック図４００に示す例示的な動作は４０２から開始することができ、図１又は図２のシステム１０２などのいずれかのコンピュータシステム、装置、有人ドローン又はデバイスによって実行することができる。ブロック図４００の１又は２以上のブロックに関連する例示的な動作については離散ブロックで示しているが、これらは例示的な動作の実装に応じてさらなるブロックに分割し、より少ないブロックに結合し、又は削除することもできる。
【0062】
４０２において、データを取得することができる。ある実施形態では、回路２０２が、（例えば、図３Ａの３０２で説明したように）イメージセンサ回路１０４の出力を取得することができる。第１のフレーム１１４及びイベントフレーム１１６の各々は、車外環境のシーン情報を取り込むことができる。イメージセンサ回路１０４は、（ダッシュカメラのように）車両内部に取り付けることも、車両本体の外部に取り付けることも、或いは（交通カメラ、或いはカメラを含むことができる及び／又はＶｅｈｉｃｌｅ－ｔｏ－Ｅｖｅｒｙｔｈｉｎｇ（Ｖ２Ｘ）ネットワークの一部とすることができるいずれかの装置などの）沿道ユニットの一部とすることもできる。車両は、自律走行車両、半自律走行車両、又は非自律走行車両とすることができる。車両の例としては、以下に限定するわけではないが、電動式車両、ハイブリッド車両、及び／又は１又は２以上の異なる再生可能な又は再生不能な動力源の組み合わせを使用する車両を挙げることができる。本開示は、二輪車両、三輪車両、四輪車両、又は４つよりも多くの車輪を有する車両などの車両にも適用可能である。このような車両の説明は簡潔にするために本開示から省略している。
【0063】
車外環境のシーン情報は、路上又は運転環境内で典型的に見られるオブジェクトを含むことができる。例えば、車外環境のシーン情報は、道路及び道路タイプ、車線、交通信号又は標識、歩行者、沿道インフラ及び付近の車両などに関する情報を含むことができる。
【0064】
４０４において、フレームカメラ信号処理動作を実行することができる。ある実施形態では、回路２０２を、（例えば、図３Ａの３０４で説明したように）取得された出力の第１のフレーム１１４に対してフレームカメラ信号処理動作を実行して、取得された出力の第１のフレーム１１４内の特徴点３０４Ａを検出するように構成することができる。
【0065】
４０６において、第１のオブジェクト分類結果を決定することができる。ある実施形態では、回路２０２を、（例えば図３Ａの３０６で説明したように）取得された出力の第１のフレーム１１４内の１又は２以上の第１のオブジェクトに関連する特徴点３０４Ａに基づいて第１のオブジェクト分類結果を決定するように構成することができる。
【0066】
４０８において、イベントカメラ信号処理動作を実行することができる。ある実施形態では、回路２０２を、（例えば、図３Ａの３０８で説明したように）取得された出力の少なくとも２つのフレームに対してイベントカメラ信号処理動作を実行してイベントフレーム１１６を生成するように構成することができる。
【0067】
４１０において、第２のオブジェクト分類結果を決定することができる。ある実施形態では、回路２０２を、（例えば、図３Ａの３１０で説明したように）生成されたイベントフレーム１１６に含まれる画素レベルの動き情報に基づいて第２のオブジェクト分類結果を決定するように構成することができる。
【0068】
４１２において、オブジェクト分類タグを決定することができる。ある実施形態では、回路２０２を、（例えば、図３Ａ及び図３Ｂの３１２～３３６の動作で説明したように）決定された第１のオブジェクト分類結果及び決定された第２のオブジェクト分類結果に基づいて１又は２以上のオブジェクト分類タグを決定するように構成することができる。
【0069】
４１４において、限定するわけではないが環境内の事故又はニアミスを含むイベントを検出するように車両の電子制御システムを制御することができる。ある実施形態では、回路２０２を、限定するわけではないが環境内の事故又はニアミスを含むイベントを検出するように車両の電子制御システムを制御するよう構成することができる。限定ではなく一例として、電子制御システムは、先進運転支援システム（ＡＤＡＳ）又は自律運転（ＡＤ）システムの一方とすることができる。ＡＤＡＳ又はＡＤシステムの詳細な実装は当業者に周知であると考えられ、従ってこのようなシステムの詳細な説明は簡潔にするために本開示から省略している。
【0070】
４１６において、車両の運転者の行動パターンを決定することができる。ある実施形態では、回路２０２を、決定された１又は２以上のオブジェクト分類タグ及び検出されたイベントに基づいて車両の運転者の行動パターンを決定するように構成することができる。行動パターンは、運転者又は車両に関連する、イベントの検出時点前後（例えば、イベント検出前（又は直前）からイベント検出後の一定期間まで）に記録できる一連の動作、観察又は判断を意味することができる。ある実施形態では、システム１０２上で機械学習を使用して運転者の行動パターンを決定することができる。また、イベントが検出された期間の前後にログ記録された様々なデータ点間の関係を示すシーングラフをシステム１０２上に構築することもできる。図６Ａ及び図６Ｂに、ニアミスイベントのシーングラフの例を示す。限定ではなく一例として、行動パターンは、運転パターン、車外環境に対する運転者の注意力の指標、及び運転者が運転中に行った動作などを含むことができる。運転パターンは、イベント検出前、イベント検出時又はイベント検出後の車両の平均速度などのデータ、１又は２以上のオブジェクト分類タグに基づくことができる。例えば、運転者は、歩行者（検出された路上オブジェクト）が道路を横断しようとしている時には低速で走行し、道路が空いている時には高速で走行すると考えられる。また、行動パターンから判定できる運転スキルに応じて運転者をプロファイリングすることも可能である。
【0071】
４１８において、車両の１又は２以上の動作を制御することができる。ある実施形態では、回路２０２を、決定された行動パターンに基づいて車両の１又は２以上の動作を制御するように構成することができる。例えば、行動パターンに基づいて、交通停止標識に近付いている時に運転者が注意散漫であり又は減速していないと判定された場合、回路２０２は、（例えば、車両ＥＣＵの一部として）ブレーキをかけて車両の速度を落とすことができる。このような１又は２以上の動作の制御の詳細については、例えば図６Ａ及び６Ｂ図においてさらに説明する。
【0072】
４２０において、通知情報を生成することができる。ある実施形態では、回路２０２が、決定された行動パターンに基づいて通知情報を生成することができる。通知情報は、例えば付近の（事故、ニアミス、曲がり角などの）交通関連イベントに関して運転者に警告できるメッセージ、（交通停止標識付近で停止することなどの）行動の修正又は車両動作の実行のための運転者に対するプロンプト又は指示を含むことができる。通知情報の例については、例えば図７Ａ及び図７Ｂに示す。
【0073】
４２２において、生成された通知情報を電子装置４２２Ａに送信することができる。ある実施形態では、回路２０２が、生成された通知情報を車両又は車両の運転者に関連する電子装置４２２Ａに送信することができる。例えば、電子装置４２２Ａは、スマートフォン、（運転者が携帯できる）いずれかのパーソナル装置、又は車両のディスプレイ画面とすることができる。電子装置４２２Ａは、通知情報を受け取ってレンダリングすることができる。
【0074】
図５は、本開示の実施形態による、仮想ユーザインターフェイス（ＵＩ）要素の選択に基づいて１又は２以上の車両機能を制御する例示的なシナリオを示す図である。図５の説明は、図１、図２、図３Ａ、図３Ｂ、図４Ａ及び図４Ｂの要素に関連して行う。図５には、車両５０２を示す例示的なシナリオ５００を示す。さらに、画像投影装置５０４、仮想ＵＩ要素５０６Ａ、５０６Ｂ及び５０６Ｃ、並びに（ディスプレイ装置２１０などの）ディスプレイ装置５０８も示す。図５には、車両５０２の内部の運転席に座っているユーザ５１０（例えば、運転者）をさらに示す。
【0075】
画像投影装置５０４は、ユーザ５１０が車両５０２の運転中にアクセスできる（未使用の又は使用頻度の低い）いずれかの空間上に仮想ＵＩ要素５０６Ａ、５０６Ｂ及び５０６Ｃを投影するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。（プロジェクタなどの）画像投影装置５０４は、車両５０２の車載システム（すなわち、システム１０２）に結合して仮想ＵＩ要素５０６Ａ、５０６Ｂ及び５０６Ｃを表示することができる。
【0076】
ある実施形態では、回路２０２が、車両５０２の内部において、車両内部の投影面上にＵＩの画像を投影するように画像投影装置５０４を制御することができる。投影面は、ユーザ５１０がアクセス可能であって仮想ＵＩ要素５０６Ａ、５０６Ｂ及び５０６Ｃを表示するために確実に利用できる車両５０２の内部のいずれかの表面とすることができる。例えば、図示のように、投影面は車両５０２のハンドルの一部である。なお、図５の投影面及び仮想ＵＩ要素５０６Ａ、５０６Ｂ及び５０６Ｃは一例として示すものにすぎない。本開示は、本開示の範囲から逸脱することなく、車両５０２の内部のいずれかの投影面又はその他の機械及び仮想ＵＩ要素に（いずれかのスタイル、数又は外観で）適用することができる。
【0077】
回路２０２は、イメージセンサ回路１０４の出力を取得するように構成することができる。取得された出力に基づいて、図３Ａ及び図３Ｂの動作を実行して第１のフレーム１１４及びイベントフレーム１１６を生成し、第１のフレーム１１４及びイベントフレーム１１６に取り込むことができる１又は２以上のオブジェクトの１又は２以上のオブジェクト分類タグを決定することができる。第１のフレーム１１４及びイベントフレーム１１６の各々は、車両５０２の内部の車内環境のシーン情報を取り込むことができる。車内環境はユーザ５１０を含むことができる。
【0078】
回路２０２は、いずれかの時点で、投影画像に含まれるＵＩの仮想ＵＩ要素５０６Ａ、５０６Ｂ及び５０６Ｃのうちの１つにおける指の動きを検出することができる。このような検出は、決定された１又は２以上のオブジェクト分類タグのうちの第２のオブジェクト分類タグに基づいて行うことができる。例えば、第２のオブジェクト分類タグはＵＩ上の指を指定することができ、イベントフレーム１１６は、イベントフレーム１１６内の指が検出された領域の周囲の指の動きを示すことができる。
【0079】
ある実施形態では、回路２０２が、イベントカメラ信号処理動作の一部として（指などの）１又は２以上のオブジェクトの周囲のエッジを検出し、イベントフレーム１１６及び検出されたエッジに基づいてハンドル上の沈降エリア（ｓｉｎｋｉｎｇ ａｒｅａ）の存在を判定することができる。沈降エリアの存在は、指が仮想ＵＩ要素５０６Ａ、５０６Ｂ及び５０６Ｃのうちの１つを押圧している動作を示すことができる。指の動きは、エッジ検出の判定及び沈降エリアの判定に基づいて検出することができる。
【0080】
回路２０２は、指の動きの検出に基づいて仮想ＵＩ要素５０６Ａ、５０６Ｂ及び５０６Ｃの中から仮想ＵＩ要素を選択する。ある実施形態では、このような選択が、エッジの検出、及び選択された仮想ＵＩ要素が存在するハンドル上の領域と沈降エリアが一致するとの判定に基づくことができる。回路２０２は、選択に基づいて１又は２以上の車両機能を制御することができる。例えば、仮想ＵＩ要素５０６ＡはＢｌｕｅｔｏｏｔｈ機能をオン／オフすることができ、仮想ＵＩ要素５０６Ｂは、ユーザ５１０又はディスプレイ装置５０８に関連する電子装置上で地図アプリケーションを開くことができ、仮想ＵＩ要素５０６Ｃは電話アプリケーションを開くことができる。ＵＩ要素は、ワイパー制御、ヘッドランプ制御又は方向指示器制御などの車両機能を制御するために使用することもできる。
【0081】
図６Ａ、図６Ｂ及び図６Ｃは、本開示の実施形態による、車両の運転者の行動パターンを決定するために使用される例示的な一連の観察を集合的に示す図である。図６Ａ、図６Ｂ及び図６Ｃの説明は、図１、図２、図３Ａ、図３Ｂ、図４Ａ、図４Ｂ及び図５の要素に関連して行う。図６Ａ、図６Ｂ及び図６Ｃには、本明細書で説明するイベント検出後の一連の観察を示す図６００を示す。システム１０２は、このような観察を収集し、これを分析して（例えば、図４Ａ及び図４Ｂで説明したような）運転者の行動パターンを決定することができる。
【0082】
回路２０２又はＡＤＡＳ／ＡＤは、いずれかの時点で環境内の事故６０２Ｂ又はニアミス６０２Ａなどのイベントを検出することができる。環境内にニアミス６０２Ａが存在する場合、車両５０２（及び車両機能）に応じて運転者が動作を行い（６０４Ａ）、或いはＡＤＡＳ／ＡＤが動作を行う（６０４Ｂ）ことができる。事故の場合、運転者はブレーキをかけ（６０６Ａ）、ハンドルを調整し（６０６Ｂ）、又はクラクションのみを鳴らす（６０６Ｃ）ことができる。運転者は、移動オブジェクトが近づいた場合（６０８Ａ）、静止オブジェクトが近づいた場合（６０８Ｂ）、又は静止オブジェクトがさらに近づいた場合（６０８Ｃ）にブレーキをかける（６０６Ａ）ことができる。オブジェクトは、車両６１０Ａ、歩行者６１０Ｂ、バイク６１０Ｃ、自転車６１０Ｄ、バス６１０Ｅ又は動物６１０Ｆとすることができる。オブジェクトの動きは、車両５０２の左側６１２Ａ、右側６１２Ｂ、前方６１２Ｃ又は後方６１２Ｄのいずれかに向かうことができる。運転者は、高速道路に合流し（６１６Ａ）、高速道路の位置に向かって運転し（６１６Ｂ）、又は交差点を通過する（６１６Ｃ）ために、オブジェクトの動きの強度に基づいてアクセルを踏み込み又は離す（６１４）ことができる。回路２０２は、交通のタイプを、渋滞６１８Ｂ、のろのろ運転６１８Ｃ、又は渋滞無し６１８Ｄのいずれであるか決定することができる。イベントが検出された時点で、システム１０２に（夕方６２０Ａ、朝６２０Ｂ、夜６２０Ｃ及び日中６２０Ｄなどの）時刻を記録することができる。夕方の場合には、太陽がまぶしいかどうか（６２２Ａ）、或いは曇りであるか（６２２Ｂ）、雨であるか（６２２Ｃ）、又は霧が出ているか（６２２Ｄ）を判定することができる。夕方に太陽がまぶしい場合には、運転者がハンズフリー通話を行っているか（６２４Ａ）、音楽又はラジオを聞いているか（６２６Ｂ又は６２６Ｃ）、音楽を聞いていないか（６２６Ｄ）を判定することができる。６２８において、６０２Ａ～６２６Ｄの一連の観察をシステム１０２に記録することができる。回路２０２は、記録された一連の観察を分析して運転者の行動パターンを決定し、システム１０２が行動パターンに基づいて車両の１又は２以上の動作を制御するのを支援する。
【0083】
図７Ａ及び図７Ｂは、本開示の実施形態による、運転者の行動パターンに基づいて通知情報を生成する例示的なシナリオを集合的に示す図である。図７Ａ及び図７Ｂの説明は、図１、図２、図３Ａ、図３Ｂ、図４Ａ、図４Ｂ、図５、図６Ａ、図６Ｂ及び図６Ｃの要素に関連して行う。図７Ａ及び図７Ｂには、本明細書で説明する例示的な動作７０２～７３０を示す図７００を示す。図７００に示す例示的な動作は７０２から開始することができ、図１又は図２のシステム１０２などのいずれかのコンピュータシステム、装置又はデバイスによって実行することができる。
【0084】
７０２において、データベースを検索することができる。ある実施形態では、回路２０２が、車両の運転者に関連するデータベースを検索することができる。データベースは、（サーバ１０６などの）サーバ又は車両上のローカル記憶装置から検索することができる。その後、回路２０２は、検索されたデータベースに含まれていて車内環境に関連する可能性がある情報を分析することができる。また、回路２０２は、車外環境のシーン情報を分析することもできる。ある実施形態では、車内環境及び車外環境に含まれるオブジェクトの分類に基づいてこのような分析をさらに実行することができる。
【0085】
７０４において、運転者が車両の運転中にハンズフリー機能を使用して電話を使用していると判定することができる。ある実施形態では、回路２０２が、シーン情報及び車内環境に関連する情報の分析に基づいて運転者が運転中に電話を使用していると判定することができる。
【0086】
回路２０２は、シーン情報及び車内環境に関連する情報の分析に基づいて一連の観察を記録することができる。例えば、一連の観察は、（まぶしい太陽７０６などの）環境条件、（夕方７０８などの）時刻、（７１０における）渋滞直後に（７１２における）高速道路に合流する行為、（７１４における）ペダルを踏み込む行為などを含むことができる。回路２０２は、このような観察、及び運転者が携帯電話を使用している可能性があるとの判定に基づいて、「合流地点左側でニアミス発生、減速」のようなメッセージ７１８を含む通知７１６を表示するように（車両ディスプレイ又はユーザ装置などの）電子装置を制御することができる。
【0087】
ある実施形態では、回路２０２を、通知７１６を電子装置に送信するようにさらに構成することができる。通知７１６は、以下に限定するわけではないが、可聴信号、視覚信号、又は他のいずれかの通知信号を含むことができる。ある例では、通知７１６を、「ハンドルを握ってください」などの可聴メッセージを含む音声信号とすることができる。別の例では、通知７１６を、地図上の潜在的ニアミスエリア上のマーキング及び／又はカメラシースルーなどの視覚信号とすることができる。
【0088】
７２０において、運転者が表示された通知７１６に従ったかどうかを判定することができる。ある実施形態では、回路２０２を、運転者が表示された通知７１６に従ったか否かを決定するように構成することができる。例えば、回路２０２は、運転者が行った動作と、表示された通知７１６において示唆される動作とを照合することができる。両動作が一致する場合、制御は７２２に進むことができる。そうでなければ、制御は７３０に進むことができる。
【0089】
７２２において、（例えば、図６Ａにおける）検出されたイベントがニアミス又は事故であるかどうかを判定することができる。ある実施形態では、回路２０２が、イベントを環境内のニアミス又は事故として検出することができる。ある実施形態では、回路２０２が、（ニアミス又は事故、及び検出されたイベントに対して運転者が行った動作などの）検出されたイベントに基づいて、運転者の行動パターンについて行動分類タグを決定することができる。決定された行動分類タグは、運転者又は車両に関する一連の動作、観察又は判断を含む行動パターンに対応することができ、イベントの検出時点前後に記録することができる。
【0090】
運転者が表示された通知７１６に従わずに（環境内の事故又はニアミスなどの）イベントが検出された場合、回路２０２は、運転者の行動分類タグを「危険」７２４として決定することができる。危険７２４などの行動分類タグは、運転者が表示された通知７１６に従わず、従って運転中にリスクを冒したことを意味することができる。このような分類タグの場合、回路２０２は、運転者に発することができる警告を強化することができる。例えば、警告は、保険金請求、レンタカー費用、運転者又はパイロット免許更新システム、有人ドローンを含むトラック及びタクシー運転者、又はパイロット階級システムのうちの少なくとも１つに関連する特定のペナルティ、課金及び／又は報奨を含むことができる。警告は、将来的にこのようなイベントを回避するための具体的な指示を含むこともできる。
【0091】
運転者が表示された通知７１６に従っていて（環境内の事故又はニアミスなどの）イベントが検出された別の事例では、回路２０２が、運転者の行動パターンの行動分類タグを「警告によって防止可能」７２８として決定することができる。
【0092】
７３０において、（例えば、図６Ａにおける）検出されたイベントがニアミス又は事故であるかどうかを判定することができる。ある実施形態では、回路２０２が、イベントを環境内のニアミス又は事故として検出することができる。運転者が表示された通知７１６に従わずに（環境内の事故又はニアミスなどの）イベントが検出された事例では、回路２０２が、運転者の行動パターンの行動分類タグを「要警告」７３２として決定することができる。運転者が表示された通知７１６に従わずに（環境内の事故又はニアミスなどの）イベントが検出されない別の事例では、回路２０２が、運転者の行動パターンの行動分類タグを「タグ無し」７３４として決定することができる。
【0093】
図８は、本開示の実施形態による、運転者の行動パターンに基づいて通知情報を生成する例示的なシナリオを示す図である。図８の説明は、図１、図２、図３Ａ、図３Ｂ、図４Ａ、図４Ｂ、図５、図６Ａ、図６Ｂ、図６Ｃ、図７Ａ及び図７Ｂの要素に関連して行う。図８には、本明細書で説明する８０２～８１２の例示的な動作を示す図８００を示す。図８００に示す例示的な動作は８０２から開始することができ、図１又は図２のシステム１０２などのいずれかのコンピュータシステム、装置又はデバイスによって実行することができる。
【0094】
８０２において、通知を表示することができる。ある実施形態では、回路２０２を、シーン情報及び車内環境に関連する情報の分析に基づいて通知を表示するように構成することができる。通知は、「合流地点左側でニアミス発生、減速」などのメッセージ８０２Ａを含むことができる。
【0095】
ある実施形態では、回路２０２が、（図４Ａ、図４Ｂ、図６Ａ、図６Ｂ及び図６Ｃでも説明したように）決定された行動分類タグに基づいて運転者の行動パターンを評価することができる。評価は、運転者の行動パターンについての報酬及び／又は処罰などの認識を含むことができる。
【0096】
８０４において、運転者が表示された通知に従ったかどうかを判定することができる。ある実施形態では、回路２０２を、運転者が表示された通知に従ったか否かを判定するように構成することができる。例えば、回路２０２は、運転者が行った動作と、表示された通知において示唆される動作とを照合することができる。両動作が一致する場合、制御は８０６に進むことができる。そうでなければ、制御は８１２に進むことができる。
【0097】
８０６において、（例えば、図６Ａにおける）検出されたイベントがニアミス又は事故であるかどうかを判定することができる。運転者が表示された通知に従っていて（環境内の事故又はニアミスなどの）イベントが検出された事例では、回路２０２が、運転者の行動パターンに（このような行動の理由などの）有効な裏付け８０８があると評価することができる。このような評価は、保険サービスが正確かつ信頼性の高い保険金請求判断を行うために役立つことができる。運転者が表示された通知に従っていて（環境内の事故又はニアミスなどの）イベントが検出されなかった別の事例では、回路２０２が、運転者の行動に対して（割引又は報酬ポイントなどの）報酬８１０を追加すべきであると評価することができる。
【0098】
８１２において、（例えば、図６Ａにおける）検出されたイベントがニアミス又は事故であるかどうかを判定することができる。ある実施形態では、回路２０２が、イベントを環境内のニアミス又は事故として検出することができる。運転者が表示された通知に従わずに環境内の事故又はニアミスなどのイベントが検出された事例では、回路２０２が、車両の保険金請求又は支払いにペナルティ８１４（罰則又は罰金など）を加えるべきであると評価することができる。ドライバーが表示された通知に従わずに（環境内の事故又はニアミスなどの）イベントが検出されなかった別の事例では、回路２０２が、動作不要８１６と評価することができる。
【0099】
図９は、本開示の実施形態による、フレーム及びイベントカメラ処理に基づくオブジェクト分類のための例示的な方法を示すフローチャートである。図９の説明は、図１、図２、図３Ａ、図３Ｂ、図４Ａ、図４Ｂ、図５、図６Ａ、図６Ｂ、図６Ｃ、図７及び図８の要素に関連して行う。図９にはフローチャート９００を示す。フローチャート９００の動作は、システム１０２などのコンピュータシステム又は回路２０２によって実行することができる。動作は９０２から開始して９０４に進むことができる。
【0100】
９０４において、イメージセンサ回路１０４の出力を取得することができる。１又は２以上の実施形態では、回路２０２を、イメージセンサ回路の出力を取得するように構成することができる。取得の詳細については、例えば図３Ａ及び図３Ｂにおいて説明している。
【0101】
９０６において、第１のオブジェクト分類結果を決定することができる。１又は２以上の実施形態では、回路２０２を、取得された出力の第１のフレーム内の１又は２以上の第１のオブジェクトに関連する特徴点に基づいて第１のオブジェクト分類結果を決定するように構成することができる。第１のオブジェクト分類結果の決定の詳細については、例えば図３Ａ及び図３Ｂにおいて説明している。
【0102】
９０８において、イベントカメラ信号処理動作を実行することができる。１又は２以上の実施形態では、回路２０２を、取得された出力の少なくとも２つのフレームに対してイベントカメラ信号処理動作を実行してイベントフレームを生成するように構成することができる。生成されたイベントフレームは、１又は２以上の第２のオブジェクトに関連する画素レベルの動き情報を含むことができる。イベントカメラ信号処理動作の実行の詳細については、例えば図３Ａ及び図３Ｂにおいて説明している。
【0103】
９１０において、第２のオブジェクト分類結果を決定することができる。１又は２以上の実施形態では、回路２０２を、例えば図３Ａ及び図３Ｂで説明したように画素レベルの動き情報に基づいて第２のオブジェクト分類結果を決定するように構成することができる。
【0104】
９１２において、１又は２以上のオブジェクト分類タグを決定することができる。１又は２以上の実施形態では、回路２０２を、決定された第１のオブジェクト分類結果及び決定された第２のオブジェクト分類結果に基づいて１又は２以上のオブジェクト分類タグを決定するように構成することができる。決定された１又は２以上のオブジェクト分類タグは、少なくとも１又は２以上の第１のオブジェクト及び１又は２以上の第２のオブジェクトに含まれる１又は２以上のオブジェクトに対応することができる。１又は２以上のオブジェクト分類タグの決定の詳細については、例えば図３Ａ及び図３Ｂにおいて説明している。制御は終了に進むことができる。
【0105】
フローチャート９００については、９０４、９０６、９０８、９１０及び９１２などの離散的動作として説明したが、本開示はこのように限定されるものではない。従って、いくつかの実施形態では、開示する実施形態の本質を損なうことなく、このような離散的動作を特定の実装に応じてさらなる動作にさらに分割し、より少ない動作に組み合わせ、又は削除することができる。
【0106】
本開示の様々な実施形態は、機械及び／又はコンピュータ（例えば、システム１０２）によって実行可能なコンピュータ実行可能命令を記憶した非一時的コンピュータ可読媒体及び／又は記憶媒体を提供することができる。コンピュータ実行可能命令は、取得された出力の第１のフレーム内の１又は２以上の第１のオブジェクトに関連する特徴点に基づいて第１のオブジェクト分類結果を決定することをさらに含む動作を機械及び／又はコンピュータ（例えば、システム１０２）に実行させることができる。動作は、取得された出力の少なくとも２つのフレームに対してイベントカメラ信号処理動作を実行してイベントフレームを生成することをさらに含むことができる。生成されたイベントフレームは、１又は２以上の第２のオブジェクトに関連する画素レベルの動き情報を含むことができる。動作は、画素レベルの動き情報に基づいて第２のオブジェクトの分類結果を決定することをさらに含むことができる。動作は、決定された第１のオブジェクト分類結果及び決定された第２のオブジェクト分類結果に基づいて１又は２以上のオブジェクト分類タグを決定することをさらに含むことができる。決定された１又は２以上のオブジェクト分類タグは、少なくとも１又は２以上の第１のオブジェクト及び１又は２以上の第２のオブジェクトに含まれる１又は２以上のオブジェクトに対応することができる。
【0107】
本開示の例示的な態様は、（回路２０２などの）回路を含むことができる（システム１０２などの）システムを含むことができる。回路２０２は、イメージセンサ回路の出力を取得するように構成することができる。回路２０２は、取得された出力の第１のフレーム内の１又は２以上の第１のオブジェクトに関連する特徴点に基づいて第１のオブジェクト分類結果を決定するように構成することができる。回路２０２は、取得された出力の少なくとも２つのフレームに対してイベントカメラ信号処理動作を実行してイベントフレームを生成するように構成することができる。生成されたイベントフレームは、１又は２以上の第２のオブジェクトに関連する画素レベルの動き情報を含むことができる。回路２０２は、画素レベルの動き情報に基づいて第２のオブジェクトの分類結果を決定するように構成することができる。回路２０２は、決定された第１のオブジェクト分類結果及び決定された第２のオブジェクト分類結果に基づいて１又は２以上のオブジェクト分類タグを決定するように構成することができる。決定された１又は２以上のオブジェクト分類タグは、少なくとも１又は２以上の第１のオブジェクト及び１又は２以上の第２のオブジェクトに含まれる１又は２以上のオブジェクトに対応することができる。
【0108】
ある実施形態によれば、１又は２以上の第１のオブジェクトは、静止状態、又は静止状態に達する寸前であることができ、１又は２以上の第２のオブジェクトは移動中である。
【0109】
ある実施形態によれば、回路２０２は、取得された出力の第１のフレーム内の特徴点を検出するようにさらに構成することができる。回路２０２は、検出された特徴点と既知のオブジェクトクラスに関連する第１の基準特徴との間の第１のパターンマッチを決定するようにさらに構成することができる。決定された第１のパターンマッチに基づいて第１のオブジェクト分類結果を決定することができる。
【0110】
ある実施形態によれば、回路２０２は、画素レベルの動き情報と既知のオブジェクトクラスに関連する第２の基準特徴とのパターンマッチングを行うことに基づいて第２のオブジェクト分類結果を決定するようにさらに構成することができる。
【0111】
ある実施形態によれば、第１のオブジェクト分類結果は、１又は２以上の第１のオブジェクトに関連する第１の境界ボックス情報がオーバーレイ表示された第１のフレームを含むことができ、第２のオブジェクト分類結果は、１又は２以上の第２のオブジェクトに関連する第２の境界ボックス情報がオーバーレイ表示されたイベントフレームを含むことができる。
【0112】
ある実施形態によれば、回路２０２は、決定された第１のオブジェクト分類結果と決定された第２のオブジェクト分類結果との間の相違点を決定するようにさらに構成することができる。その後、回路２０２は、１又は２以上の第１のオブジェクト又は１又は２以上の第２のオブジェクトから、誤分類されたもの、未分類のもの、検出されたにもかかわらず未分類のもの、誤検出されたもの、又は誤検出されて誤分類されたもの、のうちのいずれかである第１のオブジェクトを決定するようにさらに構成することができ、第１のオブジェクトは相違点に基づいて決定される。
【0113】
ある実施形態によれば、回路２０２は、決定された相違点、決定された第１のオブジェクト分類結果及び決定された第２のオブジェクト分類結果に基づいて、決定された第１のオブジェクトに対してパターンマッチング動作を実行するようにさらに構成することができる。回路２０２は、パターンマッチング動作の実行に基づいて、決定された第１のオブジェクトを第１のオブジェクトクラスに分類することができる。
【0114】
ある実施形態によれば、回路２０２は、第１のオブジェクトクラスが正しいとの判定に基づいて、第１のオブジェクトについて１又は２以上のオブジェクト分類タグのうちの第１のオブジェクト分類タグを決定するようにさらに構成することができる。
【0115】
ある実施形態によれば、パターンマッチング動作は、機械学習ベースのパターンマッチング動作、又は深層学習ベースのパターンマッチング動作であることができる。
【0116】
ある実施形態によれば、回路２０２は、第１のオブジェクトクラスが正しくないとの判定に基づいて、イベントフレーム又は第１のフレームをサーバに送信するようにさらに構成することができる。回路２０２は、送信に基づいて、決定された第１のオブジェクトの第２のオブジェクトクラスをサーバから受け取るようにさらに構成することができる。回路２０２は、第２のオブジェクトクラスが正しいとの判定に基づいて、第１のオブジェクトについて１又は２以上のオブジェクト分類タグのうちの第１のオブジェクト分類タグを決定するようにさらに構成することができる。
【0117】
ある実施形態によれば、第１のフレーム及びイベントフレームの各々は、車外環境のシーン情報を取り込む。
【0118】
ある実施形態によれば、回路２０２は、環境内の事故又はニアミスを含むイベントを検出するように車両の電子制御システムを制御するようさらに構成することができる。回路２０２は、決定された１又は２以上のオブジェクト分類タグ及び検出されたイベントに基づいて車両の運転者の行動パターンを決定するようにさらに構成することができる。
【0119】
ある実施形態によれば、電子制御システムは、先進運転支援システム（ＡＤＡＳ）及び自律運転（ＡＤ）システムの一方とすることができる。
【0120】
ある実施形態によれば、回路２０２は、決定された行動パターンに基づいて車両の１又は２以上の動作を制御するようにさらに構成することができる。
【0121】
ある実施形態によれば、回路２０２は、決定された行動パターンに基づいて通知情報を生成するようにさらに構成することができる。回路２０２は、生成された通知情報を、車両又は車両の運転者に関連する電子装置に送信するようにさらに構成することができる。
【0122】
ある実施形態によれば、回路２０２は、車両内部において、車両内部の投影面上にユーザインターフェイス（ＵＩ）の画像を投影するように画像投影装置を制御するようさらに構成することができる。第１のフレーム及びイベントフレームの各々は、車両内部の車内環境のシーン情報を取り込むことができる。回路２０２は、決定された１又は２以上のオブジェクト分類タグのうちの第２のオブジェクト分類タグに基づいて、投影画像に含まれるＵＩの仮想ＵＩ要素上の指の動きを検出するようにさらに構成することができる。回路２０２は、検出に基づいて仮想ＵＩ要素を選択し、選択に基づいて１又は２以上の車両機能を制御するようにさらに構成することができる。
【0123】
本開示は、ハードウェアで実現することも、又はハードウェアとソフトウェアとの組み合わせで実現することもできる。本開示は、少なくとも１つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアとの組み合わせは、ロードされて実行された時に本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含む汎用コンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部を含むハードウェアで実現することができる。
【0124】
本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムとは、情報処理能力を有するシステムに特定の機能を直接的に、或いはａ）別の言語、コード又は表記法への変換、ｂ）異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、あらゆる言語、コード又は表記法におけるあらゆる表現を意味する。
【0125】
いくつかの実施形態を参照しながら本開示を説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することもできると理解するであろう。また、本開示の範囲から逸脱することなく、特定の状況又は内容を本開示の教示に適合させるように多くの修正を行うこともできる。従って、本開示は、開示した特定の実施形態に限定されるものではなく、添付の特許請求の範囲内に収まる全ての実施形態を含むように意図される。
【符号の説明】
【0126】
１００ ネットワーク環境
１０２ システム
１０４ イメージセンサ回路
１０６ サーバ
１０８ データベース
１１０ 通信ネットワーク
１１２ ユーザ
１１４ 第１のフレーム
１１６ イベントフレーム
１０２ システム
１０４ イメージセンサ回路
１０６ サーバ
１０８ データベース
１１０ 通信ネットワーク
１１２ ユーザ
１１４ 第１のフレーム
１１６ イベントフレーム
【図1】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図5】
【図6A】
【図6B】
【図6C】
【図7A】
【図7B】
【図8】
【図9】
【国際調査報告】