ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-05
(45)【発行日】2024-08-14
(54)【発明の名称】自動車用制御システム
(51)【国際特許分類】
H04N 25/70 20230101AFI20240806BHJP
H04N 25/78 20230101ALI20240806BHJP
H04N 23/60 20230101ALI20240806BHJP
B60R 11/02 20060101ALI20240806BHJP
【ＦＩ】
H04N25/70
H04N25/78
H04N23/60
B60R11/02 Z
【請求項の数】
12
(21)【出願番号】P 2021561934
(86)(22)【出願日】2020-03-18
(65)【公表番号】
(43)【公表日】2022-06-23
(86)【国際出願番号】 EP2020057519
(87)【国際公開番号】W WO2020216535
(87)【国際公開日】2020-10-29
【審査請求日】2022-12-23
(31)【優先権主張番号】19170739.7
(32)【優先日】2019-04-24
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110003339
【氏名又は名称】弁理士法人南青山国際特許事務所
(72)【発明者】
【氏名】シル ディートマ
【審査官】三沢 岳志
(56)【参考文献】
【文献】米国特許出願公開第２０１８／０３３０２３８（ＵＳ，Ａ１）
【文献】特開２０１９－０３２８３３（ＪＰ，Ａ）
【文献】国際公開第２０１７／１６８６６５（ＷＯ，Ａ１）
【文献】国際公開第２０１９／０３１２５８（ＷＯ，Ａ１）
【文献】国際公開第２０１９／０５７９８７（ＷＯ，Ａ１）
【文献】特開２０１８－１６００４９（ＪＰ，Ａ）
【文献】Bing WANG et al.、米国，“Region-of-Interest Compression and View Synthesis for Light Field Video Streaming”，IEEE Access，IEEE，2019年03月26日，Vol. 7，pp.41183-41192，DOI: 10.1109/ACCESS.2019.2907572
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２５／７０
Ｈ０４Ｎ ２５／７８
Ｈ０４Ｎ ２３／６０
Ｂ６０Ｒ １１／０２
(57)【特許請求の範囲】
【請求項1】
少なくとも１つのセンシング機器と、
前記少なくとも１つのセンシング機器から少なくとも１つの解釈済みセンサデータストリームを受信するためのデータバスを介して、前記センシング機器に接続された中央処理装置と
を具備し、
前記少なくとも1つのセンシング機器は、
第１のデータレートを有するセンサデータストリームを生成するように構成されたセンサと、
前記中央処理装置における人工ニューラルネットワークに基づくプロセスのための前処理データとして、前記センサデータストリームを解釈して、前記第１のデータレートよりも低い第２のデータレートを有する解釈済みセンサデータストリームを生成するように構成されたデータ処理回路と、
前記センシング機器から前記中央処理装置に、前記解釈済みセンサデータストリームを送信するように構成された送信機と、
前記人工ニューラルネットワークと前記送信機との間の信号経路内に配置されたデータ圧縮ユニットとを具備し、
前記データ圧縮ユニットは、前記解釈済みセンサデータストリームのデータレートをさらに圧縮するように構成され、
前記中央処理装置は、少なくとも１つの解釈済みセンサデータストリームに基づいて、運転指示を生成するように構成される
自動車用制御システムであって、
前記センシング機器は、高品質ビデオストリームを提供するように構成された画像センサを含み、
前記センシング機器は、前記高品質ビデオストリームに基づいて、低品質ビデオストリームを出力するように構成され、
前記自動車用制御システムは、前記低品質ビデオストリームをディスプレイ上に示すように構成される
自動車用制御システム。
【請求項2】
請求項１に記載の自動車用制御システムであって、前記センサは、画像センサ、マルチスペクトルセンサ、偏光画像センサ、飛行時間型センサ、レーダーセンサ、およびライダーセンサのうちの１つを含む
自動車用制御システム。
【請求項3】
請求項１に記載の自動車用制御システムであって、少なくとも１つの前記センサ、および、前記人工ニューラルネットワークの少なくとも１つの第１の層を含む回路が、共通の半導体チップ内に集積される
自動車用制御システム。
【請求項4】
請求項１に記載の自動車用制御システムであって前記解釈済みセンサデータストリームは、車両の周囲の環境内でマシン・ビジョンまたは物体認識を可能にするマシン・ビジョン・アプリケーションで使用するように構成される
自動車用制御システム。
【請求項5】
請求項１に記載の自動車用制御システムであって、前記センサデータストリームは、画像ベースの情報であり、前記解釈済みセンサデータストリームは、前記画像ベースの情報から１つの物体における情報を含む
自動車用制御システム。
【請求項6】
請求項１に記載の自動車用制御システムであって、前記解釈済みセンサデータストリームは、元のセンサデータの少なくとも１つの関心領域に関連する情報を含む
自動車用制御システム。
【請求項7】
請求項１に記載の自動車用制御システムであって、前記第２のデータレートは、前記第１のデータレートの40%未満である
自動車用制御システム。
【請求項8】
請求項１に記載の自動車用制御システムであって、前記センサデータストリームのデータレートは、少なくとも7 Gbit/sであり、かつ/または、前記センサのフレームレートは、少なくとも25フレーム/秒であり、かつ/または、前記センサの解像度は、少なくとも6メガピクセルである
自動車用制御システム。
【請求項9】
請求項１に記載の自動車用制御システムであって、前記センサはビデオストリームを提供するように構成され、前記センシング機器のビデオコーダは、前記ビデオストリームの品質を低下させるように構成され、
前記センシング機器は、符号化されたビデオストリームを、前記解釈済みセンサデータストリームに付加的に送信するように構成される
自動車用制御システム。
【請求項10】
請求項１に記載の自動車用制御システムであって、少なくとも２つのサブネットワークを含むニューラルネットワークをさらに含み、
前記センシング機器の人工ニューラルネットワークが、前記自動車用制御システムの前記ニューラルネットワークの第１のサブネットワークとして提供され、
前記ニューラルネットワークの第２のサブネットワークが前記中央処理装置に提供される
自動車用制御システム。
【請求項11】
請求項１０に記載の自動車用制御システムであって、複数のセンシング機器をさらに備え、
前記自動車用制御システムの前記ニューラルネットワークは、複数のサブネットワークを備える分散型ニューラルネットワークであり、
前記センシング機器の各々は、前記ニューラルネットワークのサブネットワークを備える
自動車用制御システム。
【請求項12】
請求項１１に記載の自動車用制御システムであって、前記中央処理装置は、少なくとも2つのプロセッサを備え、
前記少なくとも２つのプロセッサのうちの第１のプロセッサは、前記ニューラルネットワークのサブネットワークを備え、
前記少なくとも２つのプロセッサのうちの第２のプロセッサは、ニューラルネットワークを備えていない
自動車用制御システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、センシング機器を含む自動車用制御システムに関する。
【背景技術】
【0002】
現代の車両では、環境センサは、例えば、自動運転機能のために使用される。画像センサ、レーダーセンサ、またはLIDAR（ライダー）センサのようなセンサは、環境をスクリーニングし、車両の周囲の物体に関する情報を提供する。
【0003】
例えば、高度な運転者支援システムを含む自律型または半自律型の車両の、より良い機能性のために、改良されたセンサが必要とされる可能性がある。車両に提供されるより多くのセンサまたは性能を向上させたセンサは、車両の環境内の物体の検出または車両のための街路コースを改善し得る。
センサデータの処理、例えば、複数のセンサの処理は、車両の中央処理ユニットで実現されてもよい。環境における物体認識は、例えば人工知能アルゴリズムおよびニューラルネットワークの使用による、複数のセンサの組み合わせセンサデータに基づいてもよい。
単一のセンサ群が、センサシステムを構成するために、車両のデータバスを介して中央処理ユニットと接続されてもよい。
センサデータの処理、例えば、複数のセンサの処理は、車両の中央処理ユニットで実現されてもよい。環境における物体認識は、例えば人工知能アルゴリズムおよびニューラルネットワークの使用による、複数のセンサの組み合わせセンサデータに基づいてもよい。
単一のセンサ群が、センサシステムを構成するために、車両のデータバスを介して中央処理ユニットと接続されてもよい。
【0004】
しかしながら、高性能環境センサは、高データレートを有するセンサデータを生成する。例えば、車両のデータバスのデータ伝送容量は、全てのセンサの高データレートセンサ信号に対する要件を満たさない場合がある。
例えば、中央処理ユニットに高データレートセンサ信号を送信すると、電力消費が増大する可能性がある。
例えば、中央処理ユニットに高データレートセンサ信号を送信すると、電力消費が増大する可能性がある。
【0005】
1つの可能性として、センサデータを中央処理ユニットに送信する前に、センサ信号の品質を低下させるためのデータ圧縮アルゴリズムを使用することが考えられる。しかしながら、例えば画像センサの映像データの圧縮によって、画質が低下し、その結果として、環境に関する重要な情報が失われる可能性がある。
例えば、マシン・ビジョン・アプリケーションでは、映像品質が低下した映像信号を使用すると、より信頼性の低い出力が生成されてしまう場合がある。例えば、このようなデータ圧縮を使用する場合、車両の環境センサの利用可能な性能をフルに使用することができない場合がある。
従って、例えば、車両の自動運転のための機能性をさらに改善することは不可能であろう。
例えば、マシン・ビジョン・アプリケーションでは、映像品質が低下した映像信号を使用すると、より信頼性の低い出力が生成されてしまう場合がある。例えば、このようなデータ圧縮を使用する場合、車両の環境センサの利用可能な性能をフルに使用することができない場合がある。
従って、例えば、車両の自動運転のための機能性をさらに改善することは不可能であろう。
【0006】
車両のデータバスのデータ伝送容量に関する要件を制限または低減しながら、車両内で高性能環境センサの使用を可能にする概念が必要とされる場合がある。
【発明の概要】
【0007】
この必要性は、独立クレームに従った特許発明の対象によって満たされる。有利な実施形態が、従属請求によって指定される。
【0008】
本開示の一例は、センシング機器、例えば半導体パッケージに関する。センシング機器は、第1のデータレートを有するセンサデータストリームを生成するように構成されたセンサを含む。
さらに、センシング機器は、センサデータストリームを解釈して、第1データレートよりも低い第2データレートを有する解釈済みセンサデータストリームを、中央処理装置(例えば、中央装置または中央処理装置)における人工ニューラルネットワークに基づくプロセスのための前処理データとして生成するように構成されたデータ処理回路を備える。
さらに、センシング機器は、解釈済みセンサデータストリームをセンシング機器から中央処理装置に送信するように構成された送信機を備える。
さらに、センシング機器は、センサデータストリームを解釈して、第1データレートよりも低い第2データレートを有する解釈済みセンサデータストリームを、中央処理装置(例えば、中央装置または中央処理装置)における人工ニューラルネットワークに基づくプロセスのための前処理データとして生成するように構成されたデータ処理回路を備える。
さらに、センシング機器は、解釈済みセンサデータストリームをセンシング機器から中央処理装置に送信するように構成された送信機を備える。
【0009】
本開示で提案されるセンシング機器は、分散型または非集中的のセンサネットワーク、例えば、車両のセンサシステムに使用することができる。センシング機器は、自動車用の制御システム、例えば高度運転者支援システムでの使用のために構成することができる。
センサシステムは、例えば、複数のセンシング機器および中央処理装置を備えることができる。センシング機器のセンサ(例えば、環境センサ)のセンサデータは、センシング機器内のプロセッサ、例えば、ニューラルネットワーク、例えば、センサシステムのニューラルネットワークのサブネットワークを含むプロセッサによって前処理されてもよい。
センシング機器でセンサデータを前処理することにより、例えば、より高いデータレートを有する当初のセンサデータの代わりに、解釈済みセンサデータストリームのような前処理されたセンサデータを送信することが可能になる。
センサシステムは、例えば、複数のセンシング機器および中央処理装置を備えることができる。センシング機器のセンサ(例えば、環境センサ)のセンサデータは、センシング機器内のプロセッサ、例えば、ニューラルネットワーク、例えば、センサシステムのニューラルネットワークのサブネットワークを含むプロセッサによって前処理されてもよい。
センシング機器でセンサデータを前処理することにより、例えば、より高いデータレートを有する当初のセンサデータの代わりに、解釈済みセンサデータストリームのような前処理されたセンサデータを送信することが可能になる。
【0010】
例えば、センサシステムのニューラルネットワークは、中央処理装置とセンシング機器または複数のセンシング機器との間に分散させることができる。換言すれば、人工ニューラルネットワークは、分割され、別個の電気回路に設けられた多数のサブネットワークに分割され得る。
解釈済みセンサデータストリームを送信することは、例えば、データ伝送容量に関する要件を低減し、同時に、例えば、マシン・ビジョンまたは物体認識のような、センシング機器のセンサの性能をフルに使用することを可能にし得る。
解釈済みセンサデータストリームを送信することは、例えば、データ伝送容量に関する要件を低減し、同時に、例えば、マシン・ビジョンまたは物体認識のような、センシング機器のセンサの性能をフルに使用することを可能にし得る。
【0011】
本開示のさらなる例は、少なくとも1つの提案されるセンシング機器を備える自動車(例えば、運転者支援システム)用の制御システムに関する。
この自動車用の制御システムは、センシング機器から少なくとも1つの解釈済みセンサデータストリームを受信するためのデータバスを介してセンシング機器に接続された中央処理装置をさらに含む。中央処理装置は、少なくとも1つの解釈済みセンサデータに基づいて、運転指示を生成するように構成される。
この自動車用の制御システムは、センシング機器から少なくとも1つの解釈済みセンサデータストリームを受信するためのデータバスを介してセンシング機器に接続された中央処理装置をさらに含む。中央処理装置は、少なくとも1つの解釈済みセンサデータに基づいて、運転指示を生成するように構成される。
【0012】
自動車用の提案される制御システムでは、例えば、高データレートセンサ信号を生成する高性能センサが使用されてもよく、その一方で、例えば、データバスのデータ伝送容量に関する要件が、制限または低減されてもよい。
例えば、本願で提案されるセンシング機器を提供することによって、データバスを介して、より多数のセンサのデータを送信することが可能となる。
例えば、本願で提案されるセンシング機器を提供することによって、データバスを介して、より多数のセンサのデータを送信することが可能となる。
【0013】
本開示による一例は、少なくとも1つの提案されるセンシング機器および/または自動車用に提案される制御システムを備える車両に関する。
【0014】
例えば、センサと中央処理装置との間のデータ接続のための既存のデータバスを備えた車両において、本願で提案されるセンシング機器は、例えば、データバスのデータ伝送容量の限界に達することなく、より多くの数のセンサまたは性能が向上したセンサを使用することを可能にする。
【図面の簡単な説明】
【0015】
機器および/または方法のいくつかの例を、単なる例として、添付の図面を参照して、以下で説明する。
【図1】センサおよびデータ処理回路を備えたセンシング機器の一例を示す。
【図2】1つ以上のセンシング機器を備える自動車用の制御システムの一例を示す。
【図3】複数のセンシング機器を備えるシステムの概略ブロック図を示す。
【図4】センシング機器を備えた自動車用制御システムを含む車両の一例を示す。
【図5】センシング機器および画質の低下したビデオストリームの伝送を伴う自動車用制御システムを備える車両の一例を示す。
【図6】積層型画像センサの一構成を示す概略図である。
【図7】周辺回路の一構成例を示す概略ブロック図を示す。
【図8】固体撮像装置の例示的な一構成を示す概略斜視図である。
【図9】固体撮像装置における層状チップの例示的なレイアウトを示す図である。
【発明を実施するための形態】
【0016】
ここで、いくつかの例が図示されている添付図面を参照して、種々の例をさらに完全に説明する。これらの図において、線、層および/または領域の厚さは、明瞭化のために誇張されている。
【0017】
従って、さらなる例は、種々の変更および代替の形態を行うことが可能であるが、それらのいくつかの特定の例を図に示し、続いて、詳細に説明する。しかしながら、この詳細な説明は、記載される特定の形態にさらなる例を限定するものではない。
さらなる例は、本開示の範囲内に入るすべての修正、同等のもの、および代替を含み得る。同一または類似の符号は、図の説明全体を通して同様または類似の要素を指すが、この要素は、同一または類似の機能性を提供しながら、互いに比較したときに、同一または修正された形態で実施されてもよい。
さらなる例は、本開示の範囲内に入るすべての修正、同等のもの、および代替を含み得る。同一または類似の符号は、図の説明全体を通して同様または類似の要素を指すが、この要素は、同一または類似の機能性を提供しながら、互いに比較したときに、同一または修正された形態で実施されてもよい。
【0018】
一要素が別の要素に「接続されている」または「連結されている」と称される場合、これらの要素は、直接接続されてもよく、または1つ以上の介在要素を介して連結されてもよい。
2つの要素AおよびBが「または」を用いて「連結されている」場合、これは、明示的または暗示的に規定されていない場合に、すべての可能な組み合わせ、すなわち、Aのみ、Bのみ、ならびに、AおよびBを開示していることが理解される。
同じ組み合わせのための代替語句は、「AおよびBのうちの少なくとも1つ」または「Aおよび/またはB」である。同様のことが、二以上の要素の組合せについて準用される。
2つの要素AおよびBが「または」を用いて「連結されている」場合、これは、明示的または暗示的に規定されていない場合に、すべての可能な組み合わせ、すなわち、Aのみ、Bのみ、ならびに、AおよびBを開示していることが理解される。
同じ組み合わせのための代替語句は、「AおよびBのうちの少なくとも1つ」または「Aおよび/またはB」である。同様のことが、二以上の要素の組合せについて準用される。
【0019】
特定の例を説明する目的で本明細書において使用される用語は、さらなる例を限定するものではない。「1つの～」および「この～」などの単数形が使用され、かつ、単一の要素のみを使用することが、必須のものとして明示的にも暗示的にも定義されていない場合、さらなる例は、同一の機能を実装するために複数の要素を使用してもよい。
同様に、機能性が複数の要素を使用して実装されるものとして後に説明される場合、さらなる例は、単一の要素または処理エンティティを使用して同一の機能を実装してもよい。
「備える」、「具備する」、「備えている」、「含む」および/または「含んでいる」という用語は、使用される場合、記載された特徴、整数、ステップ、操作、プロセス、行為、要素および/または構成要件の存在を指定するが、1つ以上の他の特徴、整数、ステップ、操作、プロセス、行為、要素、構成要件および/またはそれらの任意のグループの存在または追加を排除しないことをさらに理解されたい。
特に定義されていない限り、(技術用語および科学用語を含む)全ての用語は、本明細書において、当該例が属する当該技術分野の通常の意味において使用される。
同様に、機能性が複数の要素を使用して実装されるものとして後に説明される場合、さらなる例は、単一の要素または処理エンティティを使用して同一の機能を実装してもよい。
「備える」、「具備する」、「備えている」、「含む」および/または「含んでいる」という用語は、使用される場合、記載された特徴、整数、ステップ、操作、プロセス、行為、要素および/または構成要件の存在を指定するが、1つ以上の他の特徴、整数、ステップ、操作、プロセス、行為、要素、構成要件および/またはそれらの任意のグループの存在または追加を排除しないことをさらに理解されたい。
特に定義されていない限り、(技術用語および科学用語を含む)全ての用語は、本明細書において、当該例が属する当該技術分野の通常の意味において使用される。
【0020】
図1は、センシング機器100(例えば、半導体パッケージ)の一例を示す。
このセンシング機器100は、第1のデータレートを有するセンサデータストリーム115を生成するように構成されたセンサ110を備える。
センシング機器100は、センサデータストリーム115を解釈して、第1のデータレートよりも低い第2のデータレートを有する解釈済みセンサデータストリーム125を生成するように構成されたデータ処理回路120をさらに含む。
この解釈済みセンサデータストリーム125は、中央処理装置における人工ニューラルネットワークに基づくプロセスのための前処理データとして提供される。さらに、センシング機器100は、解釈済みセンサデータストリーム125を、センシング機器100から中央処理装置に送信するように構成された送信機130を備える。
このセンシング機器100は、第1のデータレートを有するセンサデータストリーム115を生成するように構成されたセンサ110を備える。
センシング機器100は、センサデータストリーム115を解釈して、第1のデータレートよりも低い第2のデータレートを有する解釈済みセンサデータストリーム125を生成するように構成されたデータ処理回路120をさらに含む。
この解釈済みセンサデータストリーム125は、中央処理装置における人工ニューラルネットワークに基づくプロセスのための前処理データとして提供される。さらに、センシング機器100は、解釈済みセンサデータストリーム125を、センシング機器100から中央処理装置に送信するように構成された送信機130を備える。
【0021】
例えば、半導体パッケージ100(例えば、半導体パッケージ)は、車両のセンサシステム内に設けられてもよい。車両は、自律型または半自律型の車両であってもよく、例えば、運転者支援機能が、車両によって提供されてもよい。
例えば、運転指示が、センサシステムの中央処理装置でのセンサデータに基づいて生成されてもよく、例えば、センシング機器100の送信機130が、解釈済みセンサデータストリーム125を、中央処理装置に送信する。
解釈済みセンサデータストリーム125は、例えば、データバス135を介して中央処理装置に送信されてもよい。
例えば、運転指示が、センサシステムの中央処理装置でのセンサデータに基づいて生成されてもよく、例えば、センシング機器100の送信機130が、解釈済みセンサデータストリーム125を、中央処理装置に送信する。
解釈済みセンサデータストリーム125は、例えば、データバス135を介して中央処理装置に送信されてもよい。
【0022】
センサシステムは、例えば、車両の周囲の環境内でマシン・ビジョンまたは物体認識を可能にすることができる。例えば、センシング機器100のセンサ110は、環境センサであり、例えば、マシン・ビジョン・アプリケーション用に構成される。
例えば、解釈済みセンサデータストリーム125は、マシン・ビジョン・アプリケーションで使用するように構成されてもよい。センサ110のセンサデータは、例えばニューラルネットワークを含むデータ処理回路120のような電気回路によって少なくとも部分的に処理される。
ニューラルネットワークは、例えば、ディープ・ニューラル・ネットワークDNNまたはコンパクトなディープ・ニューラル・ネットワークなどの人工ニューラルネットワークであってもよい。
ニューラルネットワークは、例えば、物体の検出および/または運転指示の生成のために、センシング機器100のセンサ110のセンサデータ、すなわち、複数のセンシング機器の複数のセンサの情報を使用してもよい。
例えば、中央処理装置内では、ニューラルネットワークの第1の部分が、例えばデータ処理回路120において提供される。解釈済みセンサデータストリーム125は、例えば、メタデータ、抽象データ、および/またはセンサデータの中間データ表現を含み得る。
例えば、解釈済みセンサデータストリーム125は、マシン・ビジョン・アプリケーションで使用するように構成されてもよい。センサ110のセンサデータは、例えばニューラルネットワークを含むデータ処理回路120のような電気回路によって少なくとも部分的に処理される。
ニューラルネットワークは、例えば、ディープ・ニューラル・ネットワークDNNまたはコンパクトなディープ・ニューラル・ネットワークなどの人工ニューラルネットワークであってもよい。
ニューラルネットワークは、例えば、物体の検出および/または運転指示の生成のために、センシング機器100のセンサ110のセンサデータ、すなわち、複数のセンシング機器の複数のセンサの情報を使用してもよい。
例えば、中央処理装置内では、ニューラルネットワークの第1の部分が、例えばデータ処理回路120において提供される。解釈済みセンサデータストリーム125は、例えば、メタデータ、抽象データ、および/またはセンサデータの中間データ表現を含み得る。
【0023】
例えば、センサ100は、高データレート、例えば当初すなわち非圧縮センサデータを有するセンサデータストリーム115を生成する高性能センサである。このセンサデータストリームは、例えば、改善された物体認識のために必要とされ得る、車両の環境に関する重要な情報を含んでもよい。
したがって、マシン・ビジョン・アプリケーションの場合、例えば画像センサ110の画像の画質の低下をもたらすセンサデータストリームの圧縮は、センサデータストリームすなわち当初のセンサデータを、ニューラルネットワークによって処理する前では回避されるべきである。
例えば、センサデータストリーム115のデータレートは、例えばデータバス135の過負荷のリスクのために、データバス135を介して送信するには高すぎる場合がある。
したがって、マシン・ビジョン・アプリケーションの場合、例えば画像センサ110の画像の画質の低下をもたらすセンサデータストリームの圧縮は、センサデータストリームすなわち当初のセンサデータを、ニューラルネットワークによって処理する前では回避されるべきである。
例えば、センサデータストリーム115のデータレートは、例えばデータバス135の過負荷のリスクのために、データバス135を介して送信するには高すぎる場合がある。
【0024】
センシング機器100内にデータ処理回路120を設けることによって、センシング機器100内に、例えば、センシング機器100を備えるシステムのニューラルネットワークの少なくとも一部のようなニューラルネットワークを設けることができる。
センサデータストリーム115を解釈することは、データ処理回路120のニューラルネットワークによってセンサデータストリーム115を処理することを含み得る。例えば、データ処理回路120は、車両のセンサシステムにおけるニューラルネットワークの第1のサブネットワークを含む。
例えば、センシング機器100が使用されるシステムの中央処理装置(図2も参照)は、ニューラルネットワークの第2のサブネットワークを含む。したがって、センサシステムのニューラルネットワークは、センシング機器100と中央処理装置との間に分散されてもよい。
センシング機器100またはデータ処理回路120は、分散された人工ニューラルネットワークの一部を含んでもよい。
センサデータストリーム115を解釈することは、データ処理回路120のニューラルネットワークによってセンサデータストリーム115を処理することを含み得る。例えば、データ処理回路120は、車両のセンサシステムにおけるニューラルネットワークの第1のサブネットワークを含む。
例えば、センシング機器100が使用されるシステムの中央処理装置(図2も参照)は、ニューラルネットワークの第2のサブネットワークを含む。したがって、センサシステムのニューラルネットワークは、センシング機器100と中央処理装置との間に分散されてもよい。
センシング機器100またはデータ処理回路120は、分散された人工ニューラルネットワークの一部を含んでもよい。
【0025】
人工ニューラルネットワークをセンシング機器100内に設けることによって、センサデータストリーム115、例えばセンサ110の非圧縮センサデータは、例えば、中央処理装置に高データレートのセンサデータストリーム115を送信する必要がない、人工ニューラルネットワークによって処理することができる。
例えば、人工ニューラルネットワークまたは人工ニューラルネットワークの第1の層によってセンサデータストリーム115を処理することは、データレートの減少をもたらし得る。
例えば、センシング機器100のニューラルネットワークを使用してセンターデータストリーム115を処理することによって生成され得る解釈済みセンサデータストリーム125のデータレートは、例えば、非圧縮センサデータを含むセンサデータストリーム115のデータレートよりも低い。
例えば、人工ニューラルネットワークまたは人工ニューラルネットワークの第1の層によってセンサデータストリーム115を処理することは、データレートの減少をもたらし得る。
例えば、センシング機器100のニューラルネットワークを使用してセンターデータストリーム115を処理することによって生成され得る解釈済みセンサデータストリーム125のデータレートは、例えば、非圧縮センサデータを含むセンサデータストリーム115のデータレートよりも低い。
【0026】
センシング機器100内にデータ処理回路120を設けることにより、非圧縮センサデータを、例えばデータバスを介して高データレートで送信することを回避しつつ、例えば分散センサシステムのニューラルネットワークのようなニューラルネットワークによって、センサ110の非圧縮センサデータを処理することが可能になり得る。
低いデータ速度でセンサから中央ニューラルネットワークにセンサデータを送る前にデータ圧縮を使用する他の概念と比較して、センシング機器100を提供することによって、センサデータは、最大データ速度でセンサデータを中央処理装置に送信する必要がない、ニューラルネットワークによる最大データ速度で使用されてもよい。
低いデータ速度でセンサから中央ニューラルネットワークにセンサデータを送る前にデータ圧縮を使用する他の概念と比較して、センシング機器100を提供することによって、センサデータは、最大データ速度でセンサデータを中央処理装置に送信する必要がない、ニューラルネットワークによる最大データ速度で使用されてもよい。
【0027】
例えば、センシング機器100は、例えば、自動運転機能を可能にする車両の分散型センサシステム内に設けられてもよい。
データ処理回路120を設けることは、大きな画像データレートを有するセンサ(例えば画像センサ)のデータ送信を回避することを可能にし、従って、例えば、データ伝送による電力消費および/または伝送コストを低減することができる。
例えば、ニューラルネットワークを採用する信号処理は、例えば、センサの高いまたは最大フレームレート、ならびに/もしくは、高いまたは最大解像度を用いて、センシング機器内で少なくとも部分的に分散化して行われてもよい。
その結果、例えば、より高い解像度、および、より高いフレームレートを有するセンサを使用しながら、標準的な通信インターフェース、例えばデータバスを使用することが可能となり得る。同時に、システム性能を高めながら、例えばデータバスの過負荷を回避することができる。
データ処理回路120を設けることは、大きな画像データレートを有するセンサ(例えば画像センサ)のデータ送信を回避することを可能にし、従って、例えば、データ伝送による電力消費および/または伝送コストを低減することができる。
例えば、ニューラルネットワークを採用する信号処理は、例えば、センサの高いまたは最大フレームレート、ならびに/もしくは、高いまたは最大解像度を用いて、センシング機器内で少なくとも部分的に分散化して行われてもよい。
その結果、例えば、より高い解像度、および、より高いフレームレートを有するセンサを使用しながら、標準的な通信インターフェース、例えばデータバスを使用することが可能となり得る。同時に、システム性能を高めながら、例えばデータバスの過負荷を回避することができる。
【0028】
本開示の提案された概念を使用することによって、センサと中央装置との間のインターフェースに必要なデータ速度を低減することができる。例えば、本開示の信号処理は、利用可能な高性能画像センサをフルスペックで使用することができる。
例えば、提案されたシステムのコストおよび/または電力消費は、インターフェースが制限要因となり得るので、低減され得る。例えば、改良された画像センサが、分散化されたセンサシステムにおいて提供されてもよい。
例えば、画像センサへの論理回路の集積化が使用されてもよい。また、例えば、信号処理の一部がセンシング機器に委託されると、中央ユニットにおける所要電力を低減することができる。
例えば、提案されたシステムのコストおよび/または電力消費は、インターフェースが制限要因となり得るので、低減され得る。例えば、改良された画像センサが、分散化されたセンサシステムにおいて提供されてもよい。
例えば、画像センサへの論理回路の集積化が使用されてもよい。また、例えば、信号処理の一部がセンシング機器に委託されると、中央ユニットにおける所要電力を低減することができる。
【0029】
例えば、センサ110は、画像センサ、マルチスペクトルセンサ、偏光画像センサ、飛行時間型センサ、レーダーセンサ、およびLIDAR（ライダー）センサのうちの1つを含むことができる。マルチスペクトルセンサは、可視スペクトル、近赤外線スペクトルおよび/または赤外線スペクトルの検出を可能にする。
例えば、センサは、可視スペクトル内により多くのスペクトル線を有してもよく、例えば、センサ110は、RGBだけでなく、より多くの色を別々に検出するように構成されてもよい。このようなセンサは、例えば、十分に高いデータレートを有するセンサデータを生成することができる。
しかしながら、センシング機器100内にデータ処理回路120を設け、伝送前にセンサデータを前処理または解釈することによって、例えば、限られたデータ伝送容量を有するセンサネットワークにおいても、このような高性能センサを使用することが可能となり得る。
例えば、センサは、可視スペクトル内により多くのスペクトル線を有してもよく、例えば、センサ110は、RGBだけでなく、より多くの色を別々に検出するように構成されてもよい。このようなセンサは、例えば、十分に高いデータレートを有するセンサデータを生成することができる。
しかしながら、センシング機器100内にデータ処理回路120を設け、伝送前にセンサデータを前処理または解釈することによって、例えば、限られたデータ伝送容量を有するセンサネットワークにおいても、このような高性能センサを使用することが可能となり得る。
【0030】
センサ110、データ処理回路120および送信機130は、例えば、金属、プラスチック、ガラスおよび/またはセラミックのケーシングを含む共通パッケージ内に配置されてもよい。例えば、個別の半導体素子または集積回路を共通パッケージ内に配置することにより、センシング機器のコンパクトな寸法を可能にする。
例えば、少なくとも1つのセンサ110と、人工ニューラルネットワークの少なくとも1つの層（第1の層）(例えば、複数の第1の層)を含む回路（例えばデータ処理回路120）とが、共通の半導体チップ内に集積される。
センサ110とデータ処理回路とを一体化することにより、例えば、半導体パッケージのさらなる小型化を可能にする。例えば、送信機130が、共通の半導体チップ内にさらに集積されてもよい。
例えば、少なくとも1つのセンサ110と、人工ニューラルネットワークの少なくとも1つの層（第1の層）(例えば、複数の第1の層)を含む回路（例えばデータ処理回路120）とが、共通の半導体チップ内に集積される。
センサ110とデータ処理回路とを一体化することにより、例えば、半導体パッケージのさらなる小型化を可能にする。例えば、送信機130が、共通の半導体チップ内にさらに集積されてもよい。
【0031】
例えば、センサデータストリームは、画像ベースの情報であり、解釈済みセンサデータストリーム125は、この画像ベースの情報から1つの物体における情報を含む。
例えば、データ処理回路120によって、例えば、半導体パッケージを含むセンサシステムのニューラルネットワークの第1のサブネットワークによって、センサデータストリーム115を前処理した後に、物体に関する情報を直接提供したり、物体認識を可能にしたりすることができない場合がある。
しかしながら、物体に関する関連情報は、解釈済みセンサデータストリーム125に含めることができ、これは、例えば、ニューラルネットワークの第2の層を含む中央処理装置に設けられたニューラルネットワークのさらなるサブネットワークによって、解釈済みセンサデータストリーム125をさらに処理した後に、物体認識を可能にする。
例えば、データ処理回路120によって、例えば、半導体パッケージを含むセンサシステムのニューラルネットワークの第1のサブネットワークによって、センサデータストリーム115を前処理した後に、物体に関する情報を直接提供したり、物体認識を可能にしたりすることができない場合がある。
しかしながら、物体に関する関連情報は、解釈済みセンサデータストリーム125に含めることができ、これは、例えば、ニューラルネットワークの第2の層を含む中央処理装置に設けられたニューラルネットワークのさらなるサブネットワークによって、解釈済みセンサデータストリーム125をさらに処理した後に、物体認識を可能にする。
【0032】
解釈済みセンサデータストリーム125は、例えば、ニューラルネットワークの中間層の状態、ニューラルネットワークの出力層の状態、および/または、信号処理アルゴリズムの任意の中間結果または出力であってもよい。
センサデータストリーム115がビデオストリームである場合、例えば、解釈済みセンサデータストリーム125を変換して元のビデオストリームに戻すことは不可能であるかもしれない。解釈済みセンサデータストリーム125は、マシン・ビジョンで使用するために排他的に構成することができるが、例えば、ユーザに映像を表示するために使用することはできない。
センサデータストリーム115がビデオストリームである場合、例えば、解釈済みセンサデータストリーム125を変換して元のビデオストリームに戻すことは不可能であるかもしれない。解釈済みセンサデータストリーム125は、マシン・ビジョンで使用するために排他的に構成することができるが、例えば、ユーザに映像を表示するために使用することはできない。
【0033】
例えば、センサデータは、レーダに基づく情報、ライダーに基づく情報、偏光画像センサ情報、マルチスペクトル画像センサ情報、および飛行時間型センサに基づく情報のうちの少なくとも1つであり、解釈済みセンサデータストリーム125は、レーダに基づく情報、ライダーに基づく情報、偏光画像センサ情報、マルチスペクトル画像センサ情報、および飛行時間型センサに基づく情報のうちの少なくとも1つから、1つの物体に関する情報を対応して含む。
前述したように、物体認識は、例えば、ニューラルネットワークの第2の層を含む人工ニューラルネットワークのサブネットワークによって、解釈済みセンサデータストリーム125をさらに処理した後にのみ可能となる。
前述したように、物体認識は、例えば、ニューラルネットワークの第2の層を含む人工ニューラルネットワークのサブネットワークによって、解釈済みセンサデータストリーム125をさらに処理した後にのみ可能となる。
【0034】
例えば、解釈済みセンサデータストリーム125は、元のセンサデータの少なくとも1つの関心領域に関連する情報を含み得る。例えば、解釈済みセンサデータストリーム125の適用に関する関連情報がない画像の領域は、(例えばマシン・ビジョンのために使用されるが、)削除され、送信されなくてもよい。
例えば、関連情報を含む領域、例えば画像領域のみが選択され、送信されてもよい。解釈済みセンサデータストリーム125は、送信されるデータレートをさらに低減するために、元のセンサデータ(例えば、当初のセンサデータ)の、一連の関心領域を含んでもよい。
例えば、高速移動または他の特定の特徴が、一画像のいくつかのセクションまたは領域内で検出された場合に、これらのいくつかのセクションまたは領域のみが送信されてもよい。
例えば、関連情報を含む領域、例えば画像領域のみが選択され、送信されてもよい。解釈済みセンサデータストリーム125は、送信されるデータレートをさらに低減するために、元のセンサデータ(例えば、当初のセンサデータ)の、一連の関心領域を含んでもよい。
例えば、高速移動または他の特定の特徴が、一画像のいくつかのセクションまたは領域内で検出された場合に、これらのいくつかのセクションまたは領域のみが送信されてもよい。
【0035】
例えば、第2のデータ速度は、第1のデータ速度の40%未満(もしくは30%未満、20%未満、15%未満、10%未満または5%未満)であり得る。
例えば、センシング機器100のニューラルネットワークによってセンサデータストリーム115を前処理することにより、センサデータストリーム115のデータレートと比較して、センシング機器から中央処理装置(例えば、中央装置)に送信されるデータレートを5倍、または10倍以上削減することが可能になり得る。
例えば、センシング機器100のニューラルネットワークによってセンサデータストリーム115を前処理することにより、センサデータストリーム115のデータレートと比較して、センシング機器から中央処理装置(例えば、中央装置)に送信されるデータレートを5倍、または10倍以上削減することが可能になり得る。
【0036】
例えば、センサデータストリーム115のデータレートは、少なくとも5 Gbit/s (もしくは少なくとも6 Gbit/s、少なくとも7 Gbit/s、少なくとも8 Gbit/sまたは少なくとも10 Gbit/s)、ならびに/もしくは、最大20 Gbit/s (もしくは最大15 Gbit/s、最大10 Gbit/sまたは最大9 Gbit/s)である。
例えば、センサのフレームレートは、毎秒少なくとも50フレーム(fps) (もしくは、少なくとも100 fps、少なくとも200 fps、少なくとも500 fps、または少なくとも1000 fps)、ならびに/もしくは、最大2000fps (もしくは、最大1500 fps、最大1000 fps、または最大500 fps)である。
例えば、センサの解像度は、少なくとも6メガピクセル(もしくは、少なくとも8メガピクセル、少なくとも10メガピクセル、少なくとも15メガピクセル、または少なくとも20メガピクセル)である。
例えば、高いセンサデータレートをもたらす高解像度またはフレームレートを有する高性能センサを、センシング機器100を設けることによって、マシン・ビジョン・アプリケーションまたは他の分散型センサシステムに使用することができる。
例えば、センサのフレームレートは、毎秒少なくとも50フレーム(fps) (もしくは、少なくとも100 fps、少なくとも200 fps、少なくとも500 fps、または少なくとも1000 fps)、ならびに/もしくは、最大2000fps (もしくは、最大1500 fps、最大1000 fps、または最大500 fps)である。
例えば、センサの解像度は、少なくとも6メガピクセル(もしくは、少なくとも8メガピクセル、少なくとも10メガピクセル、少なくとも15メガピクセル、または少なくとも20メガピクセル)である。
例えば、高いセンサデータレートをもたらす高解像度またはフレームレートを有する高性能センサを、センシング機器100を設けることによって、マシン・ビジョン・アプリケーションまたは他の分散型センサシステムに使用することができる。
【0037】
例えば、センサ110は、ビデオストリームを提供するように構成されてもよく、センシング機器のビデオコーダが、ビデオストリームの品質を低下させるように構成されてもよく、ここで、センシング機器は、符号化されたビデオストリームを、解釈済みセンサデータストリームに付加的に送信するように構成される。
例えば、センシング機器のニューラルネットワークに付加的に、従来のビデオコーダまたはデータコンプレッサが、センシング機器100に設けられてもよい。例えば、ビデオコーダは、センシング機器100のニューラルネットワークと同一のチップまたはプロセッサに設けられてもよい。
例えば、センサ110のビデオストリームを符号化することによって、センサ110の当初のビデオストリームのデータレートと比較して低減されたデータレートで、圧縮されたビデオストリームをセンシング機器100から送信することができる。
例えば、ユーザに表示することができるビデオストリームに変換できない解釈済みセンサデータストリーム125とは対照的に、圧縮されたビデオストリームは、例えば中央処理装置によってデコードされ、ユーザに表示され得る。
例えば、解釈済みセンサデータストリーム125は、マシン・ビジョンのために使用されてもよい一方で、圧縮されたビデオストリームは、センサ110によってキャプチャされたビデオすなわち画像をユーザに表示するために使用されてもよい。
マシン・ビジョン・アプリケーションとは対照的に、例えば、高性能センサの最大フレームレートまたは最大解像度でユーザに映像を提供する必要がない場合がある。
例えば、センシング機器のニューラルネットワークに付加的に、従来のビデオコーダまたはデータコンプレッサが、センシング機器100に設けられてもよい。例えば、ビデオコーダは、センシング機器100のニューラルネットワークと同一のチップまたはプロセッサに設けられてもよい。
例えば、センサ110のビデオストリームを符号化することによって、センサ110の当初のビデオストリームのデータレートと比較して低減されたデータレートで、圧縮されたビデオストリームをセンシング機器100から送信することができる。
例えば、ユーザに表示することができるビデオストリームに変換できない解釈済みセンサデータストリーム125とは対照的に、圧縮されたビデオストリームは、例えば中央処理装置によってデコードされ、ユーザに表示され得る。
例えば、解釈済みセンサデータストリーム125は、マシン・ビジョンのために使用されてもよい一方で、圧縮されたビデオストリームは、センサ110によってキャプチャされたビデオすなわち画像をユーザに表示するために使用されてもよい。
マシン・ビジョン・アプリケーションとは対照的に、例えば、高性能センサの最大フレームレートまたは最大解像度でユーザに映像を提供する必要がない場合がある。
【0038】
一態様によれば、データ圧縮ユニットが、人工ニューラルネットワークと送信機130との間の信号経路内に配置されてもよい。このデータ圧縮ユニット(例えば、ハフマン符号器)は、例えば、解釈済みセンサデータストリーム125のデータレートをさらに圧縮するように構成される。
例えば、データ処理回路120またはセンシング機器のニューラルネットワークによって処理されるデータは、標準または従来のデータ圧縮アルゴリズムを使用することによって、さらに圧縮されてもよい。データ圧縮ユニットは、例えば、データ処理回路120と共通のチップ内に設けられてもよい。
例えば、データ処理回路120またはセンシング機器のニューラルネットワークによって処理されるデータは、標準または従来のデータ圧縮アルゴリズムを使用することによって、さらに圧縮されてもよい。データ圧縮ユニットは、例えば、データ処理回路120と共通のチップ内に設けられてもよい。
【0039】
例えば、センシング機器100は、自動車用制御システム、例えば、車両の高度運転者支援システムに使用するように構成される。この高度運転者支援システムは、例えば、車両の自動運転を可能にする。
例えば、高度運転者支援システムは、アクティブまたはパッシブの安全機能を提供することができる。車両は、例えば、乗用車または商用車、例えば、トラック、自動二輪車、船舶または航空機であってもよい。例えば、車両は、無人航空機、例えば、ドローンであってもよい。
例えば、高度運転者支援システムは、アクティブまたはパッシブの安全機能を提供することができる。車両は、例えば、乗用車または商用車、例えば、トラック、自動二輪車、船舶または航空機であってもよい。例えば、車両は、無人航空機、例えば、ドローンであってもよい。
【0040】
図2は、少なくとも1つのセンシング機器100を備える自動車(例えば、運転者支援システム)用の制御システム200の一例を示す。
例えば、制御システム200は、複数のセンシング機器100、100a、100bを備えることができる。さらに、制御システム200は、データ接続部、例えばデータバス135を介して少なくとも1つのセンシング機器100に接続された中央処理装置210を備え、センシング機器100からの少なくとも1つの解釈済みセンサデータストリーム125を、例えば中央処理装置210の受信部220で受信する。
例えば、受信部220はデータバス135と接続されてもよく、また、制御システム200の全てのセンシング機器100,100a、100bは、少なくとも1つの解釈済みセンサデータストリーム125を、受信部220に送信してもよい。
例えば、制御システム200は、複数のセンシング機器100、100a、100bを備えることができる。さらに、制御システム200は、データ接続部、例えばデータバス135を介して少なくとも1つのセンシング機器100に接続された中央処理装置210を備え、センシング機器100からの少なくとも1つの解釈済みセンサデータストリーム125を、例えば中央処理装置210の受信部220で受信する。
例えば、受信部220はデータバス135と接続されてもよく、また、制御システム200の全てのセンシング機器100,100a、100bは、少なくとも1つの解釈済みセンサデータストリーム125を、受信部220に送信してもよい。
【0041】
例えば、中央処理装置210は、少なくとも1つの解釈済みセンサデータストリーム125に基づいて運転指示215を生成するように構成される。
例えば、中央処理装置210によって生成される運転指示215は、制御システム200の少なくとも2つのセンシング機器100、100aのデータ、または、全てのセンシング機器100、100a、100bのデータに基づいている。
例えば、中央処理装置210によって生成される運転指示215は、制御システム200の少なくとも2つのセンシング機器100、100aのデータ、または、全てのセンシング機器100、100a、100bのデータに基づいている。
【0042】
例えば、中央処理装置210は、データ処理回路230およびニューラルネットワーク、例えば制御システム200のサブネットワークを備えることができる。
中央処理装置210のニューラルネットワークは、例えばデータ処理回路230のような単一のプロセッサに設けられてもよく、または、例えばデータ処理回路230およびさらなるデータ処理回路230aのような少なくとも2つのプロセッサ間に分配されてもよい。
例えば、中央処理装置210は、少なくとも2つのプロセッサ230、230aを備え、中央処理装置210の各プロセッサは、例えば、中央処理装置210のニューラルネットワークまたは制御システム200のサブネットワークを備える。
中央処理装置210のニューラルネットワークは、例えばデータ処理回路230のような単一のプロセッサに設けられてもよく、または、例えばデータ処理回路230およびさらなるデータ処理回路230aのような少なくとも2つのプロセッサ間に分配されてもよい。
例えば、中央処理装置210は、少なくとも2つのプロセッサ230、230aを備え、中央処理装置210の各プロセッサは、例えば、中央処理装置210のニューラルネットワークまたは制御システム200のサブネットワークを備える。
【0043】
例えば、制御システム200は、ニューラルネットワークまたは少なくとも2つのサブネットワークを含む分散型ニューラルネットワークを含み得る。
センシング機器100の人工ニューラルネットワークは、システム200のニューラルネットワークの第1のサブネットワークとして提供され、ニューラルネットワークの第2のサブネットワークは、中央処理装置210内に提供される。
したがって、センサ100のセンサデータストリーム115は、センシング機器100のニューラルネットワーク(例えば、システムのニューラルネットワークの第1の層)によって前処理され、中央処理装置210に送信され、中央処理装置210のニューラルネットワーク(例えば、システムのニューラルネットワークの第2の層)によってさらに処理され得る。
例えば、センシング機器および中央処理装置210の全てのサブネットワークを含む、制御システム200の全ニューラルネットワークを使用して、運転指示215を生成してもよい。
センシング機器100の人工ニューラルネットワークは、システム200のニューラルネットワークの第1のサブネットワークとして提供され、ニューラルネットワークの第2のサブネットワークは、中央処理装置210内に提供される。
したがって、センサ100のセンサデータストリーム115は、センシング機器100のニューラルネットワーク(例えば、システムのニューラルネットワークの第1の層)によって前処理され、中央処理装置210に送信され、中央処理装置210のニューラルネットワーク(例えば、システムのニューラルネットワークの第2の層)によってさらに処理され得る。
例えば、センシング機器および中央処理装置210の全てのサブネットワークを含む、制御システム200の全ニューラルネットワークを使用して、運転指示215を生成してもよい。
【0044】
例えば、2つ以上のデータ処理回路230、230aが提供される場合、第1のデータ処理回路230は、第1の数のセンシング機器の解釈済みセンサデータストリーム125を受信してもよく、第2のデータ処理回路230aは、第2の数のセンシング機器の解釈済みセンサデータストリーム125を受信してもよい。
例えば、データ処理回路230、230aの出力データは、例えば制御システム200のニューラルネットワークの第3の層を使用することによって、データ処理回路230、230aの処理済みデータをマージするために、さらなるデータ処理回路(図2には図示せず)に送信されてもよい。
例えば、このようにして、ニューラルネットワークは、さらに分散されてもよく、これにより、さらに低減されたデータがシステム内で送信されることを可能にし得る。
例えば、データ処理回路230、230aの出力データは、例えば制御システム200のニューラルネットワークの第3の層を使用することによって、データ処理回路230、230aの処理済みデータをマージするために、さらなるデータ処理回路(図2には図示せず)に送信されてもよい。
例えば、このようにして、ニューラルネットワークは、さらに分散されてもよく、これにより、さらに低減されたデータがシステム内で送信されることを可能にし得る。
【0045】
ニューラルネットワークの少なくとも2つのサブネットワーク、例えば、センシング機器100の人工ニューラルネットワークと、中央処理装置210の人工ニューラルネットワークとを、別々にまたは共に訓練させることが可能であり得る。
例えば、制御システム200のニューラルネットワークの訓練のために、制御システム200のすべてのセンシング機器を中央処理装置210に接続して、制御システム200の全体のニューラルネットワークを同時に訓練できるようにしてもよい。
あるいは、例えば、センシング機器100のニューラルネットワークが別個に訓練される場合、センシング機器100は、例えば、別個のニューラルネットワーク、例えば、中央サブネットワークを備える、任意の制御システム(例えば、運転者支援システム)に、より柔軟に提供されてもよい。
例えば、制御システム200のニューラルネットワークの訓練のために、制御システム200のすべてのセンシング機器を中央処理装置210に接続して、制御システム200の全体のニューラルネットワークを同時に訓練できるようにしてもよい。
あるいは、例えば、センシング機器100のニューラルネットワークが別個に訓練される場合、センシング機器100は、例えば、別個のニューラルネットワーク、例えば、中央サブネットワークを備える、任意の制御システム(例えば、運転者支援システム)に、より柔軟に提供されてもよい。
【0046】
前述したように、制御システム200は、複数のセンシング機器100、100a、100bを備えることができる。制御システム200のニューラルネットワークは、複数のサブネットワークを含んでもよく、ここで、センシング機器100、100a、100bの各々は、ニューラルネットワークのサブネットワークを含んでもよい。
例えば、種々のセンシング機器において、ニューラルネットワークの同数の層を実現して、サブネットワークを提供することができる。あるいは、センシング機器100内のサブネットワークの層の個数を、例えば、センシング機器100内に設けられているセンサ110の種類に従って適応させてもよい。
例えば、種々のセンシング機器において、ニューラルネットワークの同数の層を実現して、サブネットワークを提供することができる。あるいは、センシング機器100内のサブネットワークの層の個数を、例えば、センシング機器100内に設けられているセンサ110の種類に従って適応させてもよい。
【0047】
システム200のセンサパッケージ、例えば、センシング機器100のうちの2つ以上は、それぞれ、システム200の人工ニューラルネットワークの全体の一部または全体を有してもよい。
例えば、中央ユニットにおけるニューラルネットワーク部、例えば、中央処理装置210におけるニューラルネットワークのサブネットワークと共に、全体のニューラルネットワークが形成されてもよい。
例えば、中央ユニットにおけるニューラルネットワーク部、例えば、中央処理装置210におけるニューラルネットワークのサブネットワークと共に、全体のニューラルネットワークが形成されてもよい。
【0048】
例えば、制御システム200(例えば、運転者支援システム)は、ディスプレイをさらに含んでもよく、ここで、制御システム200の少なくとも1つのセンシング機器100は、高品質のビデオストリームを提供するように構成された画像センサ110を含む。
センシング機器100は、高品質ビデオストリームに基づいて、品質の低下したビデオストリーム(例えば、解像度および/またはフレームレートを低下させた圧縮されたビデオストリーム)を出力するように構成され、ここで、システムは、品質の低下したビデオストリームをディスプレイ上に示すように構成される。
センシング機器100は、高品質ビデオストリームに基づいて、品質の低下したビデオストリーム(例えば、解像度および/またはフレームレートを低下させた圧縮されたビデオストリーム)を出力するように構成され、ここで、システムは、品質の低下したビデオストリームをディスプレイ上に示すように構成される。
【0049】
中央処理装置210に送信されるビデオストリームは、ユーザにビデオを表示するため、かつ/または、例えば、自動運転機能のための付加的な安全機能をさらに提供するために使用されてよい。
ビデオストリームは、低下したビデオ品質を有していてもよいが、例えば、運転指示を生成するための追加のセキュリティ層として使用されてもよい。
例えば、ニューラルネットワークの異常が検出された場合に、かつ/または、ニューラルネットワークによって生成された運転指示が、ビデオストリームに基づいて生成された運転指示と異なる場合に、ビデオストリームからの情報を使用して運転指示を生成してもよい。
ビデオストリームは、低下したビデオ品質を有していてもよいが、例えば、運転指示を生成するための追加のセキュリティ層として使用されてもよい。
例えば、ニューラルネットワークの異常が検出された場合に、かつ/または、ニューラルネットワークによって生成された運転指示が、ビデオストリームに基づいて生成された運転指示と異なる場合に、ビデオストリームからの情報を使用して運転指示を生成してもよい。
【0050】
例えば、多数のセンシング機器における低減された解像度ビデオストリームまたはビデオストリームは、例えばニューラルネットワークの正しい動作を制御するタスクを伴う、中央処理部210における非ニューラルネットワークベースの制御アルゴリズムへの入力であってもよい。
例えば、この制御アルゴリズムは、ニューラルネットワークから車両アクチュエータへの制御指令が妥当な限界内にあるかどうかを確認することができる。異常な指令が検出された場合、安全機能が作動するか、もしくは、運転者に知らせるか、かつ/または、例えば、手動で車両を制御するように要求してもよい。
例えば、この制御アルゴリズムは、ニューラルネットワークから車両アクチュエータへの制御指令が妥当な限界内にあるかどうかを確認することができる。異常な指令が検出された場合、安全機能が作動するか、もしくは、運転者に知らせるか、かつ/または、例えば、手動で車両を制御するように要求してもよい。
【0051】
例えば、センシング機器100と中央処理装置210との間のデータバス135は、センシング機器100のセンサ110のセンサデータストリーム115のデータレートよりも低い最大データレートで転送するように構成される。
例えば、データバス135を介して送信することができる、この最大データレートは、システム200の全てのセンシング機器100、100a、100bのセンサデータストリームのデータレートの量よりも低い。
例えば、データバス135を介して送信することができる、この最大データレートは、システム200の全てのセンシング機器100、100a、100bのセンサデータストリームのデータレートの量よりも低い。
【0052】
例えば、システム200は、少なくとも1つのニューラルネットワークベースの処理回路(例えば、ニューラルプロセッサ)、例えば、データ処理回路120およびプロセッサ230、および少なくとも1つの従来の処理回路を備える。
ニューラルプロセッサまたはニューラル処理ユニット(NPU)は、例えば、人工ニューラルネットワーク(ANN)またはランダムフォレスト(RF)などの予測モデル上で動作することにより、機械学習アルゴリズムの加速に特化したマイクロプロセッサであってもよい。
従来の処理回路は、例えば、標準的なマイクロプロセッサ(μC)または中央処理装置(CPU)であってもよい。従来の処理回路は、例えばビデオデコーダを備えてもよい。
例えば、システム200のいくつかの機能に対して、ニューラルネットワークが必要とされてもよく、その一方で、ビデオデコードのような運転者支援システムの他の機能は、従来のアルゴリズムに基づいてもよい。
ニューラルプロセッサまたはニューラル処理ユニット(NPU)は、例えば、人工ニューラルネットワーク(ANN)またはランダムフォレスト(RF)などの予測モデル上で動作することにより、機械学習アルゴリズムの加速に特化したマイクロプロセッサであってもよい。
従来の処理回路は、例えば、標準的なマイクロプロセッサ(μC)または中央処理装置(CPU)であってもよい。従来の処理回路は、例えばビデオデコーダを備えてもよい。
例えば、システム200のいくつかの機能に対して、ニューラルネットワークが必要とされてもよく、その一方で、ビデオデコードのような運転者支援システムの他の機能は、従来のアルゴリズムに基づいてもよい。
【0053】
本開示のさらなる態様は、上述または後述のように、少なくとも1つのセンシング機器100および/またはシステム200を備える車両(例えば、図4および5参照)に関する。
【0054】
より多くの詳細および態様が、上述または後述の実施形態に関連して言及される。
図2に示された実施形態は、提案された概念に関連して言及される1つ以上の態様、もしくは、上述されたかまたは後述される1つ以上の実施形態(例えば、図1および3-9)に対応する1つ以上の任意の追加の特徴を含んでもよい。
図2に示された実施形態は、提案された概念に関連して言及される1つ以上の態様、もしくは、上述されたかまたは後述される1つ以上の実施形態(例えば、図1および3-9)に対応する1つ以上の任意の追加の特徴を含んでもよい。
【0055】
図3は、複数のセンシング機器100、100a、100bを備えるシステム300の概略ブロック図を示す。
センシング機器(例えば半導体パッケージ)100、100a、100bの各々は、例えばデータバスを介して中央処理ユニット310と接続される。システム300は、中央処理ユニット310と複数のセンシング機器100、100a、100bとの間に分散される人工ニューラルネットワークを含んでもよい。
センシング機器(例えば半導体パッケージ)100、100a、100bの各々は、例えばデータバスを介して中央処理ユニット310と接続される。システム300は、中央処理ユニット310と複数のセンシング機器100、100a、100bとの間に分散される人工ニューラルネットワークを含んでもよい。
【0056】
例えば、メタデータ325、325a、325b(例えば、解釈済みセンサデータストリーム)は、センシング機器100、100a、100bから中央処理ユニット310に送信される。
メタデータ325は、高解像度ビデオストリーム、例えば、センシング機器100、100a、100bの画像センサ110によって生成されたものであってもよく、システム300のニューラルネットワークの前処理されたデータであってもよい。
メタデータは、例えば、アクチュエータ320、例えば、ブレーキのような車両のアクチュエータ、モータコントローラおよび/またはステアリングコントローラのための指示315を生成するために、中央処理ユニット310のニューラルネットワークによってさらに処理されてもよい。
システム300は、例えば、車両のシステムの一部であってもよい。
メタデータ325は、高解像度ビデオストリーム、例えば、センシング機器100、100a、100bの画像センサ110によって生成されたものであってもよく、システム300のニューラルネットワークの前処理されたデータであってもよい。
メタデータは、例えば、アクチュエータ320、例えば、ブレーキのような車両のアクチュエータ、モータコントローラおよび/またはステアリングコントローラのための指示315を生成するために、中央処理ユニット310のニューラルネットワークによってさらに処理されてもよい。
システム300は、例えば、車両のシステムの一部であってもよい。
【0057】
さらに、低減解像度ビデオ・データ330、330a、330b(例えば、圧縮ビデオ・ストリーム)が、センシング機器100、100a、100bから中央処理装置310に送信されてもよい。
これらの低減解像度ビデオ・データ330、330a、330bは、例えば、中央処理ユニット310のビデオコーダによって符号化されてもよく、システム300のユーザインターフェースまたはディスプレイ345に表示されてもよい。
ディスプレイ345は、例えば、システム300を備えた車両のダッシュボード内のディスプレイであってもよい。
これらの低減解像度ビデオ・データ330、330a、330bは、例えば、中央処理ユニット310のビデオコーダによって符号化されてもよく、システム300のユーザインターフェースまたはディスプレイ345に表示されてもよい。
ディスプレイ345は、例えば、システム300を備えた車両のダッシュボード内のディスプレイであってもよい。
【0058】
例えば、他の運転者支援システムは、例えば、歩行者検出のための信号処理を集中的に実行する。画像センサから中央ユニットに送信可能なデータレートが制限されているため、実行可能な解像度およびフレームレートが損なわれてしまうおそれがある。
このようなシステムの高いリアルタイム要求のために、映像（ビデオ）は、一般に非圧縮で伝送される。例えば、30fps、12ビット分解能の非圧縮HD信号は、約2.3Gbpsのデータレートを必要とする。30fps、仮定の車速50～60km/hで、例えば町では、車両は、2つのビデオフレーム間で約0.5m走行する。
どのような信号処理でも、応答する前に少なくとも3～4フレームを累積する必要があると仮定すると、この距離は2mに増加する。加えて、システムは、しばしば、運転者のための車外の映像表現を可能にする。
このようなシステムの高いリアルタイム要求のために、映像（ビデオ）は、一般に非圧縮で伝送される。例えば、30fps、12ビット分解能の非圧縮HD信号は、約2.3Gbpsのデータレートを必要とする。30fps、仮定の車速50～60km/hで、例えば町では、車両は、2つのビデオフレーム間で約0.5m走行する。
どのような信号処理でも、応答する前に少なくとも3～4フレームを累積する必要があると仮定すると、この距離は2mに増加する。加えて、システムは、しばしば、運転者のための車外の映像表現を可能にする。
【0059】
著しく高いフレームレート(例えば、最大1000fps)、および、より高い解像度の性能を有する画像センサがある。高い解像度は、例えば、信号処理が車両からより遠い距離にある物体を識別することを可能にするので、有益である。
【0060】
本開示による概念を提供することによって、例えば、人間のために要求される解像度が、例えば、マシン・ビジョンのための有用な解像度よりもはるかに低いことに留意することによって、これらの反対の要件(例えば、高データレートセンサおよび限定された伝送容量の必要性)が満たされてもよい。
必要な信号処理は、2つの部分に分割されてもよい。第1の部分は、高解像度センサデータを必要し、かつ、第2の部分は、低減されたまたは標準的な解像度データのみを必要としてもよい。高解像度センサデータを必要とする信号処理は、分散的に実行されてもよい。
例えば、高解像度センサデータによる信号処理は、センサ上、例えば画像センサチップ上、もしくは、画像センサを含むパッケージまたはモジュール内で直接実行されてもよい。
この第1の処理部分の中間結果は、大幅に低減されたデータレートで中央処理ユニットに転送されてもよく、この転送は、例えば、さらなる処理のために、他のセンサ（例えば画像センサ）からの情報との統合のために、例えば処理された画像を人間ユーザへ出力するために、かつ/または、例えば自動車のブレーキのようなアクチュエータのための制御信号を生成するために行われる。
必要な信号処理は、2つの部分に分割されてもよい。第1の部分は、高解像度センサデータを必要し、かつ、第2の部分は、低減されたまたは標準的な解像度データのみを必要としてもよい。高解像度センサデータを必要とする信号処理は、分散的に実行されてもよい。
例えば、高解像度センサデータによる信号処理は、センサ上、例えば画像センサチップ上、もしくは、画像センサを含むパッケージまたはモジュール内で直接実行されてもよい。
この第1の処理部分の中間結果は、大幅に低減されたデータレートで中央処理ユニットに転送されてもよく、この転送は、例えば、さらなる処理のために、他のセンサ（例えば画像センサ）からの情報との統合のために、例えば処理された画像を人間ユーザへ出力するために、かつ/または、例えば自動車のブレーキのようなアクチュエータのための制御信号を生成するために行われる。
【0061】
センサ側(例えば、センシング機器内)では、高フレームレートおよび/または高ダイナミックレンジおよび/または高解像度ビデオ信号は、例えば、ユーザに表示するために頭部ユニットに送信可能なように、つまり、(例えば、ユーザにビデオストリームを表示することを可能にするための)低コストの標準ビデオインターフェースを介して頭部ユニットに送られるように、データレート/フォーマットにサブサンプリングされ、かつ/または、例えば、必要とされる分類および信号処理タスク(例えば、雑音除去)に従ったニューラルネットワークの少なくとも一部を使用することによって、例えばフルレートで処理されるかまたは部分的に処理され、ならびに/もしくは、そのような(例えば、分散的である)処理の結果(例えば、メタデータ)が、次いで、低減された解像度ビデオに並列に頭部ユニットに送信される。
この中間結果(例えば、解釈済みセンサデータストリーム)は、ニューラルネットワークの中間層の状態、および/または、ニューラルネットワークの出力層の状態、および/または、1つの信号処理アルゴリズムの任意の中間結果または出力であってもよい。
この中間結果(例えば、解釈済みセンサデータストリーム)は、ニューラルネットワークの中間層の状態、および/または、ニューラルネットワークの出力層の状態、および/または、1つの信号処理アルゴリズムの任意の中間結果または出力であってもよい。
【0062】
例えば、提案した方式は、レーダーセンサのような高データレートの任意のセンサ信号に使用できる。
この場合、レーダーセンサの低減フレームレート信号のみが中央ユニットに送信され、その一方で、例えば、より低いレートで転送されることができるいくつかの中間出力信号(例えば、検出器)を生成するために、高レート信号が局所的に使用される。
例えば、この方式は、いくつかの中間センサ統合が局所的に行われるシステムにおいても有用である。例えば、画像センサおよびレーダーセンサは、局所的に処理かつ/または統合され、中間結果は、より低いデータレートで中央ユニットに転送される。
全てのタイム・クリティカル情報が、低減された時間遅延で別々に送信され得るメタデータに含まれ得るので、例えば、データレートをさらに低下させるために、センサから頭部ユニットへの送信用の映像信号を圧縮することが可能であり得る。
この場合、レーダーセンサの低減フレームレート信号のみが中央ユニットに送信され、その一方で、例えば、より低いレートで転送されることができるいくつかの中間出力信号(例えば、検出器)を生成するために、高レート信号が局所的に使用される。
例えば、この方式は、いくつかの中間センサ統合が局所的に行われるシステムにおいても有用である。例えば、画像センサおよびレーダーセンサは、局所的に処理かつ/または統合され、中間結果は、より低いデータレートで中央ユニットに転送される。
全てのタイム・クリティカル情報が、低減された時間遅延で別々に送信され得るメタデータに含まれ得るので、例えば、データレートをさらに低下させるために、センサから頭部ユニットへの送信用の映像信号を圧縮することが可能であり得る。
【0063】
より詳細な態様が、上述の実施形態または後述の実施形態に関連して言及される。
図3に示された実施形態は、提案された概念に関連して記載された1つ以上の態様、または、上述されたかまたは後述される1つ以上の実施形態(例えば、図1-2および4-9)に対応する1つ以上の任意の追加の特徴を含んでもよい。
図3に示された実施形態は、提案された概念に関連して記載された1つ以上の態様、または、上述されたかまたは後述される1つ以上の実施形態(例えば、図1-2および4-9)に対応する1つ以上の任意の追加の特徴を含んでもよい。
【0064】
図4は、制御システムすなわち運転者支援システムを備える車両400の一例を示す。
車両400は、第1のセンサパッケージ410と、第2のセンサパッケージ410aとを備える。これらのセンサパッケージ410、410aは、環境センサを含む。例えばメタデータを含む解釈済みセンサデータストリーム425、425aは、センサパッケージ410、410aから車両400のシステムの中央処理ユニット430に送信される。
車両400は、第1のセンサパッケージ410と、第2のセンサパッケージ410aとを備える。これらのセンサパッケージ410、410aは、環境センサを含む。例えばメタデータを含む解釈済みセンサデータストリーム425、425aは、センサパッケージ410、410aから車両400のシステムの中央処理ユニット430に送信される。
【0065】
例えば、両方のセンサパッケージ410、410aは、それぞれ、車両の制御システム(例えば、運転者支援システム)のニューラルネットワークのサブネットワークを備える。
例えば、他のシステムと比較して、中央処理ユニット430は、全体のネットワークの一部がセンサパッケージに外部委託されるので、縮小されたニューラルネットワーク(例えば、より少ない層)を有することができる。
例えば、他のシステムと比較して、中央処理ユニット430は、全体のネットワークの一部がセンサパッケージに外部委託されるので、縮小されたニューラルネットワーク(例えば、より少ない層)を有することができる。
【0066】
より詳細な態様が、上述の実施形態または後述の実施形態に関連して言及される。
図4に示された実施形態は、提案された概念に関連して記載された1つ以上の態様、または、上述されたかまたは後述される1つ以上の実施形態(例えば、図1-3および5-9)に対応する1つ以上の任意の追加の特徴を含んでもよい。
図4に示された実施形態は、提案された概念に関連して記載された1つ以上の態様、または、上述されたかまたは後述される1つ以上の実施形態(例えば、図1-3および5-9)に対応する1つ以上の任意の追加の特徴を含んでもよい。
【0067】
図5は、ビデオストリームの伝送を伴う自動車用の、例えば運転者支援システム用の制御システムを備える車両500の一例を示す。
車両400と組み合わせて示されるように、解釈済みセンサデータストリーム425は、中央処理ユニット430に送信される。
加えて、低減解像度ビデオストリーム435、435aは、センサパッケージ410,410aから中央処理ユニット430、または、追加処理ユニット430a(例えば、非ニューラルネットワークベースのプロセッサ)に送信される。
例えば、低減解像度ビデオストリーム435、435aは、ユーザへのビデオ表示および/またはニューラルネットワークの機能性の制御450のために使用されてもよい。例えば、低減解像度ビデオストリームに基づいて運転指示を生成することは、例えば、自動運転機能のための決定的アルゴリズムの使用を可能にし得る。
車両400と組み合わせて示されるように、解釈済みセンサデータストリーム425は、中央処理ユニット430に送信される。
加えて、低減解像度ビデオストリーム435、435aは、センサパッケージ410,410aから中央処理ユニット430、または、追加処理ユニット430a(例えば、非ニューラルネットワークベースのプロセッサ)に送信される。
例えば、低減解像度ビデオストリーム435、435aは、ユーザへのビデオ表示および/またはニューラルネットワークの機能性の制御450のために使用されてもよい。例えば、低減解像度ビデオストリームに基づいて運転指示を生成することは、例えば、自動運転機能のための決定的アルゴリズムの使用を可能にし得る。
【0068】
より詳細な態様が、上述の実施形態または後述の実施形態に関連して言及される。
図5に示された実施形態は、提案された概念に関連して記載された1つ以上の態様、または、上述されたかまたは後述される1つ以上の実施形態(例えば、図1-4および6-9)に対応する1つ以上の任意の追加の特徴を含んでもよい。
図5に示された実施形態は、提案された概念に関連して記載された1つ以上の態様、または、上述されたかまたは後述される1つ以上の実施形態(例えば、図1-4および6-9)に対応する1つ以上の任意の追加の特徴を含んでもよい。
【0069】
図6は、積層型画像センサの典型的な外観構成を示す斜視図であり、この積層型画像センサは、例えば、集積化されたセンサおよび処理回路を有するセンシング機器を提供することを可能にする画像センサ110を備えるセンシング機器100である。
具体的には、図6の副図Aは、積層型画像センサの第1の構成例を示す。
具体的には、図6の副図Aは、積層型画像センサの第1の構成例を示す。
【0070】
図6の副図Aにおいて、画像センサは、例えば、相補型金属酸化膜半導体(CMOS)画像センサであってもよい。これは、三層構造の画像センサである。すなわち、この画像センサは、上から順に積み重ねられた(半導体)基板610、620、630からなる。
【0071】
基板610は、その上に形成された画素アレイ部611を有する。この画素アレイ部611は、光電変換を行うように構成され、例えば、画素信号をそれぞれ出力するために、マトリクスパターンでアレイ化された複数の画素(図示せず)を有する。
【0072】
基板620は、その上に形成された周辺回路621を有する。この周辺回路621は、画素アレイ部611から出力された画素信号のAD変換のような各種信号処理を行う。
【0073】
基板630は、その上に形成されたメモリ631を有する。このメモリ631は、画素アレイ部611から出力された画素信号のAD変換から生じる画素データを一時的に記憶する記憶部として機能する。
【0074】
【0075】
図6の副図Bにおける画像センサは、図6の副図Aにおける対応するものと同様に、基板610を有する。しかしながら、図6の副図Bの画像センサは、基板620および630の代わりに基板640が設けられている点で、図6の副図Aの画像センサとは異なることに留意されたい。
図6の副図Bにおいて、画像センサは二層構造を有する。すなわち、画像センサは、基板610,640を上から順に積み重ねている。基板640は、その上に形成された周辺回路621およびメモリ631を有する。
図6の副図Bにおいて、画像センサは二層構造を有する。すなわち、画像センサは、基板610,640を上から順に積み重ねている。基板640は、その上に形成された周辺回路621およびメモリ631を有する。
【0076】
より詳細な態様が、上述の実施形態または後述の実施形態に関連して言及される。
図6に示された実施形態は、提案された概念に関連して記載された1つ以上の態様、または、上述されたかまたは後述される1つ以上の実施形態(例えば、図1-5および7-9)に対応する1つ以上の任意の追加の特徴を含んでもよい。
図6に示された実施形態は、提案された概念に関連して記載された1つ以上の態様、または、上述されたかまたは後述される1つ以上の実施形態(例えば、図1-5および7-9)に対応する1つ以上の任意の追加の特徴を含んでもよい。
【0077】
図7は、図6の周辺回路621の一構成例を示す概略ブロック図を示す。
周辺回路621は、複数のAD変換部(ADC)750と、入出力データ制御部751と、データ経路752と、信号処理部753と、出力インターフェース(I/F)754とを含む。
周辺回路621は、複数のAD変換部(ADC)750と、入出力データ制御部751と、データ経路752と、信号処理部753と、出力インターフェース(I/F)754とを含む。
【0078】
画素アレイ部611を構成する画素の列と同じ数のADC750が存在する。各列(各行)に配列された画素から出力された画素信号は、画素信号の並列型AD変換を含む並列AD変換を受ける。
入出力データ制御部751には、アナログ信号としての画素信号を並列AD変換にかけるADC750によって列毎に得られるデジタル信号の画素データが供給される。
入出力データ制御部751には、アナログ信号としての画素信号を並列AD変換にかけるADC750によって列毎に得られるデジタル信号の画素データが供給される。
【0079】
入出力データ制御部751は、メモリ631との間のADC750からの画素データの書き込みおよび読み出しを制御する。また、入出力データ制御部751は、データ経路752への画素データの出力を制御する。
入出力データ制御部751は、レジスタ761と、データ処理部762と、メモリI/F 763とを有する。
入出力データ制御部751は、レジスタ761と、データ処理部762と、メモリI/F 763とを有する。
【0080】
入出力データ制御部751が処理を制御する情報は、図示されていない外部機器からの指示の下にレジスタ761に設定(記録)される。
レジスタ761に設定された情報に応じて、入出力データ制御部751は各種処理を行う。
レジスタ761に設定された情報に応じて、入出力データ制御部751は各種処理を行う。
【0081】
データ処理部762は、ADC50からの画素データを直接データ経路752へ出力する。
あるいは、データ処理部762は、メモリI/F 763を介して処理された画素データをメモリ631に書き込む前に、ADC750から供給される画素データに対して必要な処理を実行してもよい。
あるいは、データ処理部762は、メモリI/F 763を介して処理された画素データをメモリ631に書き込む前に、ADC750から供給される画素データに対して必要な処理を実行してもよい。
【0082】
さらに、データ処理部762は、メモリ631に書き込まれた画素データをメモリI/F 763を介して読み出し、必要に応じてメモリ631から取り出された画素データを処理し、処理された画素データをデータ経路752に出力する。
データ処理部762が、ADC750からの画素データをデータ経路752に直接出力するか、あるいは、画素データをメモリ631に書き込むかは、適切な情報をレジスタ761に設定することによって選択され得る。
同様に、データ処理部762がADC750から供給される画素データを処理するか否かは、レジスタ761に適切な情報を設定することによって判定されてもよい。
データ処理部762が、ADC750からの画素データをデータ経路752に直接出力するか、あるいは、画素データをメモリ631に書き込むかは、適切な情報をレジスタ761に設定することによって選択され得る。
同様に、データ処理部762がADC750から供給される画素データを処理するか否かは、レジスタ761に適切な情報を設定することによって判定されてもよい。
【0083】
メモリI/F 763は、メモリ631との間の画素データの書き込みおよび読み出しを制御するインターフェースとして機能する。
データ経路752は、入出力データ制御部751から出力された画素データを信号処理部753に送る経路として機能する信号線から構成される。
データ経路752は、入出力データ制御部751から出力された画素データを信号処理部753に送る経路として機能する信号線から構成される。
【0084】
信号処理部753は、処理された画素データを出力インターフェース754に出力する前に、データ経路752から供給される画素データに必要に応じて、黒レベル調整、デモザイク、ホワイトバランス調整、ノイズ低減、または、現像などの信号処理を実行する。
出力インターフェース754は、信号処理部753から供給される画素データを、画像センサの外部に出力するインターフェースとして機能する。
出力インターフェース754は、信号処理部753から供給される画素データを、画像センサの外部に出力するインターフェースとして機能する。
【0085】
より詳細な態様が、上述の実施形態または後述の実施形態に関連して言及される。
図7に示された実施形態は、提案された概念に関連して記載された1つ以上の態様、または、上述されたかまたは後述される1つ以上の実施形態(例えば、図1-6および8-9)に対応する1つ以上の任意の追加の特徴を含んでもよい。
図7に示された実施形態は、提案された概念に関連して記載された1つ以上の態様、または、上述されたかまたは後述される1つ以上の実施形態(例えば、図1-6および8-9)に対応する1つ以上の任意の追加の特徴を含んでもよい。
【0086】
図8は、固体撮像装置、例えば、センシング機器100の例示的な一構成を示す概略斜視図を示す。
CMOS画像センサの場合を例に挙げて説明する。しかしながら、本開示は、CMOS画像センサへの適用に限定されるものではない。
CMOS画像センサの場合を例に挙げて説明する。しかしながら、本開示は、CMOS画像センサへの適用に限定されるものではない。
【0087】
図8に示すように、一実施形態に係る固体撮像装置810Aは、上側チップとなる第1のチップ820と、下側チップとなる第2チップ830とが層状(いわゆる層状構造)となるような構造を有する第1のチップ(半導体基板)820と、第2のチップ830とを備える。
【0088】
この積層構造では、上側の第1のチップ820は、画素アレイ部(画素部)821が、マトリクス状に2次元配列された光電変換素子を含む単位ピクセル840から構成された画素チップである。
第1のチップ820の周囲には、外部との電気的接続を確立するためのパッド8221およびパッド8222と、第2のチップ830との電気的接続を確立するためのビア8231およびビア8232が設けられている。
第1のチップ820の周囲には、外部との電気的接続を確立するためのパッド8221およびパッド8222と、第2のチップ830との電気的接続を確立するためのビア8231およびビア8232が設けられている。
【0089】
なお、本実施形態は、画素アレイ部821を挟んで左右両側にパッド8221とパッド8222とが設けられている構成としたが、それらが左右のうちの一方に設けられている構成を採用することができる。
また、本実施形態は、画素アレイ部821を挟んで上下両側にビア8231とビア8232とが設けられている構成としたが、それらが上下のうちの一方に設けられている構成を採用することができる。
また、下側の第2のチップ830にパッドを設け、第1のチップ820を開口して第2のチップ830のパッドにボンディングする構成や、第2のチップ830からシリコン貫通ビアで(シリコンビアを介して)基板を取り付ける構成を採用することもできる。
また、本実施形態は、画素アレイ部821を挟んで上下両側にビア8231とビア8232とが設けられている構成としたが、それらが上下のうちの一方に設けられている構成を採用することができる。
また、下側の第2のチップ830にパッドを設け、第1のチップ820を開口して第2のチップ830のパッドにボンディングする構成や、第2のチップ830からシリコン貫通ビアで(シリコンビアを介して)基板を取り付ける構成を採用することもできる。
【0090】
画素アレイ部821の各ピクセル840から得られる画素信号は、アナログ信号であり、このアナログ画素信号は、ビア8231および8232を通して、第1のチップ820から第2のチップ830に伝送されることに留意されたい。
【0091】
下側の第2のチップ830は、第1のチップ820上に形成された画素アレイ部821の各ピクセル840を駆動する（図示しない）駆動部の他に、信号処理部831、メモリ部832、データ処理部833、制御部834等を含む周辺回路が形成された回路チップである。
【0092】
信号処理部831は、画素アレイ部821の各ピクセル840から読み出されたアナログ画素信号に対して、デジタル化(AD変換)を含む所定の信号処理を行う。メモリ部832は、信号処理部831によって所定の信号処理が行われた画素データを記憶する。
データ処理部833は、メモリ部832に記憶された画素データを読み出し、所定の順序で処理を行い、このチップの外部に出力する。
データ処理部833は、メモリ部832に記憶された画素データを読み出し、所定の順序で処理を行い、このチップの外部に出力する。
【0093】
また、制御部834は、上述した駆動部のそれぞれの動作を制御し、例えば、水平同期信号XHS、垂直同期信号XVS、およびマスタークロックMCKのような基準信号に基づいて、チップの外部に設けられた信号処理部831、メモリ部832、データ処理部833等の周辺回路を制御する。
そのため、制御部834は、第1のチップ820側の回路(画素アレイ部821)と、第2のチップ830側の回路(信号処理部831、メモリ部832、データ処理部833)とを互いに同期させて制御する。
そのため、制御部834は、第1のチップ820側の回路(画素アレイ部821)と、第2のチップ830側の回路(信号処理部831、メモリ部832、データ処理部833)とを互いに同期させて制御する。
【0094】
上述したように、層状の第1のチップ820および第2のチップ830から構成される固体撮像装置810Aでは、第1のチップ820は、画素アレイ部821が形成され得るサイズ(面積)のみを必要とするため、第1のチップ820のサイズ(面積)、さらには、チップ全体のサイズを小さくすることができる。
また、ピクセル840を作成するのに適した処理を第1のチップ820に、回路を作成するのに適した処理を第2のチップ830にそれぞれ適用することができるので、固体撮像装置810Aを製造する際に、処理を最適化することができるという利点もある。
また、ピクセル840を作成するのに適した処理を第1のチップ820に、回路を作成するのに適した処理を第2のチップ830にそれぞれ適用することができるので、固体撮像装置810Aを製造する際に、処理を最適化することができるという利点もある。
【0095】
また、第1のチップ820側から第2のチップ830側にアナログ画素信号を伝送しつつ、アナログおよびデジタル処理を行う回路を同一基板(第2のチップ830)上に形成し、第1のチップ820側の回路と第2のチップ830側の回路とを同期させて制御する構成とすることで、高速処理を実現することができる。
なお、画素信号をデジタルデータとして異なるチップ間で送信する構成を採用する場合には、寄生容量、浮遊容量等の影響によりクロック遅れが生じ、高速処理を妨げてしまう。
なお、画素信号をデジタルデータとして異なるチップ間で送信する構成を採用する場合には、寄生容量、浮遊容量等の影響によりクロック遅れが生じ、高速処理を妨げてしまう。
【0096】
より詳細な態様が、上述の実施形態または後述の実施形態に関連して言及される。
図8に示された実施形態は、提案された概念に関連して記載された1つ以上の態様、または、上述されたかまたは後述される1つ以上の実施形態(例えば、図1-７および9)に対応する1つ以上の任意の追加の特徴を含んでもよい。
図8に示された実施形態は、提案された概念に関連して記載された1つ以上の態様、または、上述されたかまたは後述される1つ以上の実施形態(例えば、図1-７および9)に対応する1つ以上の任意の追加の特徴を含んでもよい。
【0097】
図9は、一実施形態による固体撮像装置810Cにおける層状チップの別の例示的なレイアウトを示す図である。
【0098】
上述の例示的なレイアウトは、2つのチップ、すなわち、第1のチップ820および第2のチップ830が層状である2つの層を有する層状構造を採用するが、この例示的なレイアウトは、3つのチップ、すなわち、第1のチップ820、第2のチップ830、および第3のチップ860が層状である3つの層を有する層状構造を採用する。
しかしながら、本実施形態は、3層を有する層状構造に限定されず、4層以上の層を有する層状構造も許容される。
しかしながら、本実施形態は、3層を有する層状構造に限定されず、4層以上の層を有する層状構造も許容される。
【0099】
図9に示されるように、この例示的なレイアウトは、画素アレイ部821が第1のチップ820上に配置され、ADコンバータを含む回路(図では、画素ADユニット)が第2のチップ830上に配置され、メモリ部832が第3のチップ860上に配置される構造を有し、例えば、第2のチップ830が中間に配置されるように積層される。
第1のチップ820、第2のチップ830、および第3のチップ860の層状順序は任意であるが、制御部834によって制御されるべき第1のチップ820および第3のチップ860が、第2のチップ830の直上および直下に位置するので、制御部834を含む回路が搭載される第2のチップ830を中間に配置することが好ましいことに留意されたい。
第1のチップ820、第2のチップ830、および第3のチップ860の層状順序は任意であるが、制御部834によって制御されるべき第1のチップ820および第3のチップ860が、第2のチップ830の直上および直下に位置するので、制御部834を含む回路が搭載される第2のチップ830を中間に配置することが好ましいことに留意されたい。
【0100】
この例示的なレイアウトのように、ADコンバータ等を含む回路および制御部834を含む周辺回路を設けた第2のチップ830以外のチップである第3のチップ860にメモリ部832を設けた構成を採用することにより、第2のチップ830にメモリ部832を設けた例示的なレイアウトに比べて、チップ面積を小さくすることができる。
その場合には、ADコンバータ等を含む回路が実装された第2のチップ830と、メモリ部832等が実装された第3のチップ860とが、ビア(ビア2)を用いて接続された構成が考えられる。
チップ間の電気的接続を可能にするビア(ビア1/ビア2)は、周知の配線間ボンディング技術によって実現することができる。
その場合には、ADコンバータ等を含む回路が実装された第2のチップ830と、メモリ部832等が実装された第3のチップ860とが、ビア(ビア2)を用いて接続された構成が考えられる。
チップ間の電気的接続を可能にするビア(ビア1/ビア2)は、周知の配線間ボンディング技術によって実現することができる。
【0101】
この固体撮像装置810Cによれば、画素並列AD変換方式を用いることにより画素信号の読み出し速度をより速くできるので、ADコンバータの停止期間をより長くとることができる。
従って、並列型AD変換方式を用いた本実施形態に係る固体撮像装置810Aの場合に比べてさらに低消費電力化を図ることができる。
従って、並列型AD変換方式を用いた本実施形態に係る固体撮像装置810Aの場合に比べてさらに低消費電力化を図ることができる。
【0102】
また、本実施形態に係る固体撮像装置810Cは、メモリ部832が信号処理部831の外部に設けられている構成を採用しており、ADコンバータおよびメモリ部832の双方が信号処理部831内に共に設けられている他の実施形態に係る固体撮像装置とは異なる。
これにより、本実施形態に係る固体撮像装置810Cは、DRAMやメモリ部832などのアナログ回路の絶縁・分離を良好に実現することが困難な場合に適応可能である。
これにより、本実施形態に係る固体撮像装置810Cは、DRAMやメモリ部832などのアナログ回路の絶縁・分離を良好に実現することが困難な場合に適応可能である。
【0103】
なお、上述した各実施形態では、その技術を、一例として層状構造を有する固体撮像装置に適用した場合について説明したが、本開示の技術は、層状構造を有する固体撮像装置への適用に限定されるものではない。
すなわち、メモリ部832からの画素データの読み出し時に、電流源の動作と、信号処理部831の少なくともADコンバータの動作とを停止させる間欠駆動により低速読み出しを行う技術が、画素アレイ部821とその周辺回路とが同一基板(チップ)上に配置されるように形成されたいわゆるフラット型固体撮像装置にも適用可能である。
すなわち、メモリ部832からの画素データの読み出し時に、電流源の動作と、信号処理部831の少なくともADコンバータの動作とを停止させる間欠駆動により低速読み出しを行う技術が、画素アレイ部821とその周辺回路とが同一基板(チップ)上に配置されるように形成されたいわゆるフラット型固体撮像装置にも適用可能である。
【0104】
しかしながら、本実施形態の固体撮像装置が画素並列AD変換方式を用いているように、画素アレイ部821の画素部と信号処理部831の画素ADユニットとがビア823を介して直接接続可能な接続構造を採用できるので、層状構造を有する固体撮像装置が好ましいといえる。
【0105】
本開示の技術が適用可能な固体撮像装置は、デジタルスチルカメラやビデオカメラ等の撮像装置、携帯電話等の撮像機能を有する携帯端末装置、画像読み取り部に固体撮像装置を用いた複写機等を含む電子機器全般において撮像部(画像取り込み部)として用いることができる。
なお、電子機器に搭載される上述したモジュール状態のモード、すなわちカメラモジュールを撮像装置として用いる場合がある。
なお、電子機器に搭載される上述したモジュール状態のモード、すなわちカメラモジュールを撮像装置として用いる場合がある。
【0106】
より詳細な態様が、上述の実施形態または後述の実施形態に関連して言及される。
図9に示された実施形態は、提案された概念に関連して記載された1つ以上の態様、または、上述されたかまたは後述される1つ以上の実施形態(例えば、図1-8)に対応する1つ以上の任意の追加の特徴を含んでもよい。
図9に示された実施形態は、提案された概念に関連して記載された1つ以上の態様、または、上述されたかまたは後述される1つ以上の実施形態(例えば、図1-8)に対応する1つ以上の任意の追加の特徴を含んでもよい。
【0107】
本開示の例は、分散型センサネットワークに関し、この分散型センサネットワークは、例えば、マシン・ビジョン・アプリケーション用の、例えば、車両におけるアプリケーション用の画像センサを備える。
分散型ニューラルネットワークは、ニューラルネットワークによって処理されるデータの質に関する利点、および/または、分散型ネットワークの別個のユニット間で伝送されるデータの量に関する利点をもたらすことができる。
分散型ニューラルネットワークは、ニューラルネットワークによって処理されるデータの質に関する利点、および/または、分散型ネットワークの別個のユニット間で伝送されるデータの量に関する利点をもたらすことができる。
【0108】
以下の例は、さらなる実施形態に関連する。
（１）第1のデータレートを有するセンサデータストリームを生成するように構成されたセンサと、
中央処理装置における人工ニューラルネットワークに基づくプロセスのための前処理データとして、前記センサデータストリームを解釈して、前記第1のデータレートよりも低い第2のデータレートを有する解釈済みセンサデータストリームを生成するように構成されたデータ処理回路と、
センシング機器から前記中央処理装置に、前記解釈済みセンサデータストリームを送信するように構成された送信機と
を具備する
センシング機器。
（２）（１）に記載のセンシング機器であって、
前記センサは、画像センサ、マルチスペクトルセンサ、偏光画像センサ、飛行時間型センサ、レーダーセンサ、およびライダーセンサのうちの1つを含む
センシング機器。
（３）（１）または（２）に記載のセンシング機器であって、
少なくとも1つの前記センサ、および、前記人工ニューラルネットワークの少なくとも1つの第1の層を含む回路が、共通の半導体チップ内に集積される
センシング機器。
（４）（１）～（３）のいずれか１つに記載のセンシング機器であって、
前記解釈済みセンサデータストリームは、マシン・ビジョン・アプリケーションで使用するように構成される
センシング機器。
（５）（１）～（４）のいずれか１つに記載のセンシング機器であって、
前記センサデータストリームは、画像ベースの情報であり、前記解釈済みセンサデータストリームは、前記画像ベースの情報から1つの物体における情報を含む
センシング機器。
（６）（１）～（５）のいずれか１つに記載のセンシング機器であって、
前記センサデータストリームは、レーダに基づく情報、ライダーに基づく情報、偏光画像センサ情報、マルチスペクトル画像センサ情報、および、飛行時間型センサに基づく情報のうちの少なくとも1つであり、
前記解釈済みセンサデータストリームは、レーダに基づく情報、ライダーに基づく情報、偏光画像センサ情報、マルチスペクトル画像センサ情報、および、飛行時間型センサに基づく情報のうちの少なくとも1つから、1つの物体に関する情報を含む
センシング機器。
（７）（１）～（６）のいずれか１つに記載のセンシング機器であって、
前記解釈済みセンサデータストリームは、元のセンサデータの少なくとも1つの関心領域に関連する情報を含む
センシング機器。
（８）（１）～（７）のいずれか１つに記載のセンシング機器であって、
前記第2のデータレートは、前記第1のデータレートの40%未満である
センシング機器。
（９）（１）～（８）のいずれか１つに記載のセンシング機器であって、
前記センサデータストリームのデータレートは、少なくとも7 Gbit/sであり、かつ/または、前記センサのフレームレートは、少なくとも50フレーム/秒であり、かつ/または、前記センサの解像度は、少なくとも6メガピクセルである
センシング機器。
（１０）（１）～（９）のいずれか１つに記載のセンシング機器であって、
前記センサはビデオストリームを提供するように構成され、前記センシング機器のビデオコーダは、前記ビデオストリームの品質を低下させるように構成され、
前記センシング機器は、符号化されたビデオストリームを、前記解釈済みセンサデータストリームに付加的に送信するように構成される
センシング機器。
（１１）（１）～（１０）のいずれか１つに記載のセンシング機器であって、
前記人工ニューラルネットワークと前記送信機との間の信号経路内に配置されたデータ圧縮ユニットをさらに備え、
前記データ圧縮ユニットは、前記解釈済みセンサデータストリームのデータレートをさらに圧縮するように構成される
センシング機器。
（１２）（１）～（１１）のいずれか１つに記載の少なくとも1つのセンシング機器と、
前記センシング機器から少なくとも1つの解釈済みセンサデータストリームを受信するためのデータバスを介して、前記センシング機器に接続された中央処理装置と
を具備し、
前記中央処理装置は、少なくとも1つの解釈済みセンサデータストリームに基づいて、運転指示を生成するように構成される
自動車用制御システム。
（１３）（１２）に記載の自動車用制御システムであって、
少なくとも2つのサブネットワークを含むニューラルネットワークをさらに含み、
前記センシング機器の人工ニューラルネットワークが、前記自動車用制御システムの前記ニューラルネットワークの第1のサブネットワークとして提供され、
前記ニューラルネットワークの第2のサブネットワークが前記中央処理装置に提供される
自動車用制御システム。
（１４）（１３）に記載の自動車用制御システムであって、
（１）～（１１）のいずれか１つに記載の、複数のセンシング機器をさらに備え、
前記ニューラルネットワークは、複数のサブネットワークを備え、
前記センシング機器の各々は、前記ニューラルネットワークのサブネットワークを備える
自動車用制御システム。
（１５）（１３）または（１４）に記載の自動車用制御システムであって、
前記中央処理装置は、少なくとも2つのプロセッサを備え、
前記中央処理装置の前記プロセッサの各々は、前記ニューラルネットワークのサブネットワークを備える
自動車用制御システム。
（１６）（１２）～（１５）のいずれか１つに記載の自動車用制御システムであって、
ディスプレイをさらに含み、
前記センシング機器は、高品質ビデオストリームを提供するように構成された画像センサを含み、
前記センシング機器は、前記高品質ビデオストリームに基づいて、低品質ビデオストリームを出力するように構成され、
前記自動車用制御システムは、前記低品質ビデオストリームを前記ディスプレイ上に示すように構成される
自動車用制御システム。
（１７）（１２）～（１６）のいずれか１つに記載の自動車用制御システムであって、
前記自動車用制御システムが、少なくとも1つのニューラルネットワークベースの処理回路と、少なくとも1つの論理処理回路とを備える
自動車用制御システム。
（１８）（１）～（１１）のいずれか1つに記載のセンシング機器、および/または、（１２）～（１７）のいずれか1つに記載の自動車用制御システムを具備する
車両。
（１）第1のデータレートを有するセンサデータストリームを生成するように構成されたセンサと、
中央処理装置における人工ニューラルネットワークに基づくプロセスのための前処理データとして、前記センサデータストリームを解釈して、前記第1のデータレートよりも低い第2のデータレートを有する解釈済みセンサデータストリームを生成するように構成されたデータ処理回路と、
センシング機器から前記中央処理装置に、前記解釈済みセンサデータストリームを送信するように構成された送信機と
を具備する
センシング機器。
（２）（１）に記載のセンシング機器であって、
前記センサは、画像センサ、マルチスペクトルセンサ、偏光画像センサ、飛行時間型センサ、レーダーセンサ、およびライダーセンサのうちの1つを含む
センシング機器。
（３）（１）または（２）に記載のセンシング機器であって、
少なくとも1つの前記センサ、および、前記人工ニューラルネットワークの少なくとも1つの第1の層を含む回路が、共通の半導体チップ内に集積される
センシング機器。
（４）（１）～（３）のいずれか１つに記載のセンシング機器であって、
前記解釈済みセンサデータストリームは、マシン・ビジョン・アプリケーションで使用するように構成される
センシング機器。
（５）（１）～（４）のいずれか１つに記載のセンシング機器であって、
前記センサデータストリームは、画像ベースの情報であり、前記解釈済みセンサデータストリームは、前記画像ベースの情報から1つの物体における情報を含む
センシング機器。
（６）（１）～（５）のいずれか１つに記載のセンシング機器であって、
前記センサデータストリームは、レーダに基づく情報、ライダーに基づく情報、偏光画像センサ情報、マルチスペクトル画像センサ情報、および、飛行時間型センサに基づく情報のうちの少なくとも1つであり、
前記解釈済みセンサデータストリームは、レーダに基づく情報、ライダーに基づく情報、偏光画像センサ情報、マルチスペクトル画像センサ情報、および、飛行時間型センサに基づく情報のうちの少なくとも1つから、1つの物体に関する情報を含む
センシング機器。
（７）（１）～（６）のいずれか１つに記載のセンシング機器であって、
前記解釈済みセンサデータストリームは、元のセンサデータの少なくとも1つの関心領域に関連する情報を含む
センシング機器。
（８）（１）～（７）のいずれか１つに記載のセンシング機器であって、
前記第2のデータレートは、前記第1のデータレートの40%未満である
センシング機器。
（９）（１）～（８）のいずれか１つに記載のセンシング機器であって、
前記センサデータストリームのデータレートは、少なくとも7 Gbit/sであり、かつ/または、前記センサのフレームレートは、少なくとも50フレーム/秒であり、かつ/または、前記センサの解像度は、少なくとも6メガピクセルである
センシング機器。
（１０）（１）～（９）のいずれか１つに記載のセンシング機器であって、
前記センサはビデオストリームを提供するように構成され、前記センシング機器のビデオコーダは、前記ビデオストリームの品質を低下させるように構成され、
前記センシング機器は、符号化されたビデオストリームを、前記解釈済みセンサデータストリームに付加的に送信するように構成される
センシング機器。
（１１）（１）～（１０）のいずれか１つに記載のセンシング機器であって、
前記人工ニューラルネットワークと前記送信機との間の信号経路内に配置されたデータ圧縮ユニットをさらに備え、
前記データ圧縮ユニットは、前記解釈済みセンサデータストリームのデータレートをさらに圧縮するように構成される
センシング機器。
（１２）（１）～（１１）のいずれか１つに記載の少なくとも1つのセンシング機器と、
前記センシング機器から少なくとも1つの解釈済みセンサデータストリームを受信するためのデータバスを介して、前記センシング機器に接続された中央処理装置と
を具備し、
前記中央処理装置は、少なくとも1つの解釈済みセンサデータストリームに基づいて、運転指示を生成するように構成される
自動車用制御システム。
（１３）（１２）に記載の自動車用制御システムであって、
少なくとも2つのサブネットワークを含むニューラルネットワークをさらに含み、
前記センシング機器の人工ニューラルネットワークが、前記自動車用制御システムの前記ニューラルネットワークの第1のサブネットワークとして提供され、
前記ニューラルネットワークの第2のサブネットワークが前記中央処理装置に提供される
自動車用制御システム。
（１４）（１３）に記載の自動車用制御システムであって、
（１）～（１１）のいずれか１つに記載の、複数のセンシング機器をさらに備え、
前記ニューラルネットワークは、複数のサブネットワークを備え、
前記センシング機器の各々は、前記ニューラルネットワークのサブネットワークを備える
自動車用制御システム。
（１５）（１３）または（１４）に記載の自動車用制御システムであって、
前記中央処理装置は、少なくとも2つのプロセッサを備え、
前記中央処理装置の前記プロセッサの各々は、前記ニューラルネットワークのサブネットワークを備える
自動車用制御システム。
（１６）（１２）～（１５）のいずれか１つに記載の自動車用制御システムであって、
ディスプレイをさらに含み、
前記センシング機器は、高品質ビデオストリームを提供するように構成された画像センサを含み、
前記センシング機器は、前記高品質ビデオストリームに基づいて、低品質ビデオストリームを出力するように構成され、
前記自動車用制御システムは、前記低品質ビデオストリームを前記ディスプレイ上に示すように構成される
自動車用制御システム。
（１７）（１２）～（１６）のいずれか１つに記載の自動車用制御システムであって、
前記自動車用制御システムが、少なくとも1つのニューラルネットワークベースの処理回路と、少なくとも1つの論理処理回路とを備える
自動車用制御システム。
（１８）（１）～（１１）のいずれか1つに記載のセンシング機器、および/または、（１２）～（１７）のいずれか1つに記載の自動車用制御システムを具備する
車両。
【0109】
他の例の類似の特徴を置き換えるために、または、他の例に特徴を追加的に導入するために、先に詳述した実施例および図のうちの1つ以上と共に記載した態様および特徴を、他の例のうちの1つ以上と組み合わせることもできる。
【0110】
例は、コンピュータプログラムがコンピュータまたはプロセッサ上で実行されるとき、上記の方法のうちの1つ以上を行うためのプログラムコードを有するコンピュータプログラムであってもよいし、または、それに関連していてもよい。
上述の様々な方法のステップ、動作またはプロセスは、プログラムされたコンピュータまたはプロセッサによって実行されてもよい。
また、例は、機械、プロセッサまたはコンピュータ可読であり、機械実行可能、プロセッサ実行可能またはコンピュータ実行可能な命令のプログラムである、デジタルデータ記憶媒体のようなプログラム記憶装置を含んでもよい。この命令は、上述の方法の作用の一部または全てを実行するかまたは実行させる。
プログラム記憶装置は、例えば、デジタルメモリ、磁気ディスクおよび磁気テープなどの磁気記憶媒体、ハードドライブ、または、光学的に読み取り可能なデジタルデータ記憶媒体を含むか、または、それらであってもよい。
また、さらなる例が、上述の方法の作用を実行するためにプログラムされた、上述の方法または(フィールド)プログラマブル・ロジック・アレイ((F)PLA)または(フィールド)プログラマブルゲートアレイ((F)PGA)の作用を実行するようにプログラムされた、コンピュータ、プロセッサまたは制御部を含んでもよい。
上述の様々な方法のステップ、動作またはプロセスは、プログラムされたコンピュータまたはプロセッサによって実行されてもよい。
また、例は、機械、プロセッサまたはコンピュータ可読であり、機械実行可能、プロセッサ実行可能またはコンピュータ実行可能な命令のプログラムである、デジタルデータ記憶媒体のようなプログラム記憶装置を含んでもよい。この命令は、上述の方法の作用の一部または全てを実行するかまたは実行させる。
プログラム記憶装置は、例えば、デジタルメモリ、磁気ディスクおよび磁気テープなどの磁気記憶媒体、ハードドライブ、または、光学的に読み取り可能なデジタルデータ記憶媒体を含むか、または、それらであってもよい。
また、さらなる例が、上述の方法の作用を実行するためにプログラムされた、上述の方法または(フィールド)プログラマブル・ロジック・アレイ((F)PLA)または(フィールド)プログラマブルゲートアレイ((F)PGA)の作用を実行するようにプログラムされた、コンピュータ、プロセッサまたは制御部を含んでもよい。
【0111】
明細書および図面は、開示の原理を単に例示しているに過ぎない。
さらに、本明細書に記載される全ての例は、主に、読者が本開示の原理、および、発明者が当該技術分野をさらに進展させるのに貢献した概念を理解するのを助けるための、単なる例示的な目的のためのものであるように、明示的に意図されたものである。
本明細書に記載される全ての記述は、本開示の原理、態様、および例、ならびに、それらの具体例を記述するものであり、それらの等価を包含することを意図している。
さらに、本明細書に記載される全ての例は、主に、読者が本開示の原理、および、発明者が当該技術分野をさらに進展させるのに貢献した概念を理解するのを助けるための、単なる例示的な目的のためのものであるように、明示的に意図されたものである。
本明細書に記載される全ての記述は、本開示の原理、態様、および例、ならびに、それらの具体例を記述するものであり、それらの等価を包含することを意図している。
【0112】
特定の機能を実行するための「…手段」と表記された機能ブロックは、特定の機能を果たすように構成された回路を指すことができる。したがって、「何かのための手段」は、それぞれのタスク用に構成されるかまたはそれぞれのタスクに適合する装置または回路などの「何か用に構成されるかまたは何かに適合する手段」として実施することができる。
【0113】
「手段」、「信号を提供するための手段」、「信号を生成するための手段」などとラベル付けされた任意の機能ブロックを含む、図に示された様々な構成要件の機能は、「信号プロバイダ」、「信号処理ユニット」、「プロセッサ」、「コントローラ」などのような専用ハードウェア、および、適切なソフトウェアに関連してソフトウェアを実行することができるハードウェアの形式で実装することができる。
プロセッサによって提供される場合、その機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、または、一部またはすべてが共有されてもよい複数の個々のプロセッサによって提供されてもよい。
しかしながら、「プロセッサ」または「コントローラ」という用語は、ソフトウェアを実行することができるハードウェアのみに限定されるものではなく、デジタルシグナルプロセッサ(DSP)ハードウェア、ネットワークプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ソフトウェアを記憶するための読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、および不揮発性記憶装置を含んでもよい。
他のハードウェア、通常のもの、および/または、カスタムなものも含まれ得る。
プロセッサによって提供される場合、その機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、または、一部またはすべてが共有されてもよい複数の個々のプロセッサによって提供されてもよい。
しかしながら、「プロセッサ」または「コントローラ」という用語は、ソフトウェアを実行することができるハードウェアのみに限定されるものではなく、デジタルシグナルプロセッサ(DSP)ハードウェア、ネットワークプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ソフトウェアを記憶するための読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、および不揮発性記憶装置を含んでもよい。
他のハードウェア、通常のもの、および/または、カスタムなものも含まれ得る。
【0114】
ブロック図は、例えば、本開示の原理を実施するハイレベルな回路図を図示することができる。
同様に、フローチャート、フロー図、状態遷移図、擬似コードなどは、様々なプロセス、動作、またはステップを表すことができ、これらの様々なプロセス、動作、またはステップは、例えば、コンピュータ可読媒体で実質的に表され、そのようなコンピュータまたはプロセッサが明示的に示されているか否かにかかわらず、コンピュータまたはプロセッサによって実行される。
明細書または請求の範囲に開示されている方法は、これらの方法のそれぞれの作用を実行するための手段を有する装置によって実施される。
同様に、フローチャート、フロー図、状態遷移図、擬似コードなどは、様々なプロセス、動作、またはステップを表すことができ、これらの様々なプロセス、動作、またはステップは、例えば、コンピュータ可読媒体で実質的に表され、そのようなコンピュータまたはプロセッサが明示的に示されているか否かにかかわらず、コンピュータまたはプロセッサによって実行される。
明細書または請求の範囲に開示されている方法は、これらの方法のそれぞれの作用を実行するための手段を有する装置によって実施される。
【0115】
明細書または請求の範囲に開示されている複数の作用、プロセス、動作、ステップまたは機能の開示は、例えば技術的な理由を明示的または黙示的に明記しない限り、特定の順序内にあると解釈してはならないことが理解されるべきである。
従って、複数の作用または機能の開示は、そのような作用または機能が技術的理由から交換可能でない限り、これらを特定の順序に限定しないであろう。
さらに、いくつかの例では、単一の作用、機能、プロセス、動作またはステップは、それぞれ複数のサブの作用、機能、プロセス、動作またはステップを含み得るか、または、それらに分けられ得る。
このようなサブの作用は、明示的に除外されない限り、含まれてもよく、また、この単一の作用の開示の一部であってもよい。
従って、複数の作用または機能の開示は、そのような作用または機能が技術的理由から交換可能でない限り、これらを特定の順序に限定しないであろう。
さらに、いくつかの例では、単一の作用、機能、プロセス、動作またはステップは、それぞれ複数のサブの作用、機能、プロセス、動作またはステップを含み得るか、または、それらに分けられ得る。
このようなサブの作用は、明示的に除外されない限り、含まれてもよく、また、この単一の作用の開示の一部であってもよい。
【0116】
さらに、以下のクレームは、ここでは、詳細な説明に組み込まれ、ここで、各クレームは、別個の例として、自立してもよい。
各クレームは、別個の例として自立してもよいが、－従属クレームは、1つ以上の他のクレームとの特定の組合せに対する複数のクレームにおいて言及してもよいが、－他の例も、従属クレームまたは独立クレームの発明の内容との組合せを含んでもよいことに留意されたい。
このような組み合わせは、特定の組み合わせが意図されていないと記載されていない限り、本明細書では明示的に提案される。さらに、たとえこのクレームが独立クレームに直接従属していなくても、当該クレームの特徴を他の独立クレームにも含めることが意図されている。
各クレームは、別個の例として自立してもよいが、－従属クレームは、1つ以上の他のクレームとの特定の組合せに対する複数のクレームにおいて言及してもよいが、－他の例も、従属クレームまたは独立クレームの発明の内容との組合せを含んでもよいことに留意されたい。
このような組み合わせは、特定の組み合わせが意図されていないと記載されていない限り、本明細書では明示的に提案される。さらに、たとえこのクレームが独立クレームに直接従属していなくても、当該クレームの特徴を他の独立クレームにも含めることが意図されている。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】