特表 2020-527763 アルゴリズムトリガ式センサデータ取得

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】特表2020-527763(P2020-527763A)

(43)【公表日】2020年9月10日

(54)【発明の名称】アルゴリズムトリガ式センサデータ取得

(51)【国際特許分類】

   G08G 1/16 20060101AFI20200814BHJP

【ＦＩ】

   G08G1/16 C

【審査請求】未請求

【予備審査請求】未請求

【全頁数】12

(21)【出願番号】特願2019-543358(P2019-543358)

(86)(22)【出願日】2018年5月24日

(85)【翻訳文提出日】2019年8月9日

(86)【国際出願番号】EP2018063594

(87)【国際公開番号】WO2018215576

(87)【国際公開日】20181129

(31)【優先権主張番号】17172728.2

(32)【優先日】2017年5月24日

(33)【優先権主張国】EP

(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JO,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT

(71)【出願人】

【識別番号】508097870

【氏名又は名称】コンチネンタル オートモーティヴ ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｃｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ ＧｍｂＨ

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(74)【代理人】

【識別番号】100208258

【弁理士】

【氏名又は名称】鈴木 友子

(72)【発明者】

【氏名】ゼル・マルティン

(72)【発明者】

【氏名】イン・テンフェイ

(72)【発明者】

【氏名】パラニアッパン・カナガラジャン

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181CC03

5H181CC04

5H181CC11

5H181CC12

5H181CC14

5H181FF10

5H181FF27

5H181LL01

5H181LL02

5H181LL04

(57)【要約】

【課題】拡張メモリ又はプロセッサ容量の使用の要件を排除し、プロセッサとセンサシステムとの相互作用を最適化するコンピュータシステム及び方法を提供する。
【解決手段】センサシステムとプロセッサを備えるコンピュータシステムが提供され、ここで、センサシステムのサンプリングレートは予め決められていない代わりに、センサシステムによって供給されるデータストリームを取得するアルゴリズムの取得率によって変化する。対応する方法が更に提供される。

【特許請求の範囲】

【請求項1】

環境から信号のストリームをサンプリングレートで取得し、それによりデータトークンであって、それぞれ信号のストリームの取得された信号に対応するトークンからなるデータストリームを供給するように構成されたセンサシステム（１０２）と、
データトークンからなるデータストリームを連続的に取得するためのアルゴリズムであって、データストリームのデータトークンを取得するための取得率を有するアルゴリズムを実行するように構成されたプロセッサ（１０１）と
を備える車両（１００）用コンピュータシステムであって、
プロセッサ（１０１）が、サンプリングレートをアルゴリズムの取得率に適合させるようにセンサシステム（１０２）に命令を与えるように構成されていて、
アルゴリズムが、
信号のストリームの信号を取得する準備ができていることをアルゴリズムが示す第１の状態と、
信号のストリームの信号を取得する準備ができていないことをアルゴリズムが示す第２の状態と、
センサシステム（１０２）の取得待ち時間を考慮するために、信号のストリームの信号を取得する準備ができている状態に近いことをアルゴリズムが示す第３の状態との３つの異なる状態を有し、
センサシステム（１０２）が、予測取得時間に関する情報をプロセッサ（１０１）に供給するように構成されていて、
アルゴリズムが、アルゴリズムが第１の状態になるまでの時間に関する情報をプロセッサ（１０１）に供給するように構成されていて、
プロセッサ（１０１）が、状態を読み取り、予測取得時間に関する情報とアルゴリズムが第１の状態になるまでの時間に関する情報を使用することによって、アルゴリズムが第１の状態に入ったらアルゴリズムがデータトークンを受信するように、アルゴリズムが第３の状態にあると判定すると、センサシステム（１０２）での信号の取得をトリガするように構成されている、
車両（１００）用のコンピュータシステム。

【請求項2】

センサシステム（１０２）が、画像記録装置と、音声記録装置と、温度記録装置と、環境の化学組成用の記録装置と、光検出及び測距のための装置（ＬＩＤＡＲ）と、無線検出及び測距（ＲＡＤＡＲ）装置と、超音波センサと、自動車用途に関連する他のセンサとのいずれかである、請求項２に記載のコンピュータシステム（１００）。

【請求項3】

センサシステム（１０２）が画像記録装置であり、画像記録装置のサンプリングレートが画像記録装置のフレームレートである、請求項１又は２に記載のコンピュータシステム（１００）。

【請求項4】

コンピュータシステム（１００）のプロセッサ（１０１）が、中央処理ユニット（ＣＰＵ）と、グラフィカル処理ユニット（ＧＰＵ）と、特定用途向け集積回路（ＡＳＩＣ）と、フィールドプログラママブルゲートアレイ（ＦＰＧＡ）と、これらの組合せとのいずれかである、請求項１から３のいずれか一項に記載のコンピュータシステム（１００）。

【請求項5】

データトークンからなるデータストリームを連続的に取得するためのアルゴリズムをプロセッサ（１０１）上で実行することを備える、センサシステム（１０２）のデータストリームを取得するための車両用コンピュータシステム（１００）に実施される方法であって、
アルゴリズムは、データトークンを取得するための取得率を有し、
プロセッサ（１０１）が、センサシステム（１０２）のサンプリングレートをアルゴリズムの取得率に適合させるようにセンサシステム（１０２）に命令を与え、
センサシステム（１０２）が、環境から信号のストリームをサンプリングレートで取得し、それによりデータトークンであって、それぞれ信号のストリームの取得された信号に対応するトークンからなるデータストリームを供給し、
アルゴリズムが、
信号のストリームの信号を取得する準備ができていることをアルゴリズムが示す第１の状態と、
信号のストリームの信号を取得する準備ができていないことをアルゴリズムが示す第２の状態と、
センサシステム（１０２）の取得待ち時間を考慮するために、信号のストリームの信号を取得する準備ができている状態に近いことをアルゴリズムが示す第３の状態と
の３つの異なる状態を有し、
センサシステム（１０２）が、予測取得時間に関する情報をプロセッサ（１０１）に供給し、
プロセッサ（１０１）が、状態を読み取り、予測取得時間に関する情報とアルゴリズムが第１の状態になるまでの時間に関する情報を使用することによって、アルゴリズムが第１の状態に入ったらアルゴリズムがデータトークンを受信するように、アルゴリズムが第３の状態にあると判定すると、センサシステム（１０２）での信号の取得をトリガするように構成されている、
方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、アルゴリズムの状態がセンサデータの取得をトリガする、センサシステムによって供給されるデータを取得する方法と、方法を実行するコンピュータシステムに関する。

【背景技術】

【0002】

デジタルカメラ画像記録は現在、静的フレームレートで遂行されている。各フレームはデータトークンに変換され、それにより個別のデータトークンからなるデータストリームがプロセッサに供給される。同時に、データストリームのデータトークンを取得するためのアルゴリズムは、基本的にはフレームレートとは無関係の取得率を有することになる。この取得率は例えば、アルゴリズムがコード化された方法と、アルゴリズムが実行されるプロセッサの速度に依存する。

【0003】

結果として、下記の２つの状況が発生する可能性がある。Ａ）アルゴリズムがカメラよりも速く、センサによって次のフレームが供給されるまでアルゴリズムを強制的に待機状態に保つ可能性がある。Ｂ）アルゴリズムがカメラより遅く、結果として「古い」（最大１／フレームレート古い）フレームが処理され、この処理ステップの後で、アルゴリズムは次のフレームを待たなければならない。フレームを失わないようにするため、まだ処理されていないフレームは、例えばシステムのメモリにバッファリングする必要がある。したがって、フレームの処理に利用可能なリソースの全てが使用されるわけではなく、それによって処理容量が浪費されたり、最新の情報が処理されなかったりする。

【0004】

この問題に対する従来の解決策は、通常、フレームをバッファリングするために利用されるコンピュータメモリの使用の最適化、又はアルゴリズムに割り当てられる処理時間の最適化を試みるものである。

【発明の概要】

【発明が解決しようとする課題】

【0005】

したがって、本発明の目的は、拡張メモリ又はプロセッサ容量の使用の要件を排除する、プロセッサとセンサシステムとの相互作用を最適化するコンピュータシステム及び方法を提供することである。

【課題を解決するための手段】

【0006】

この目的は、請求項１の特徴を備えるコンピュータシステムによって解決される。

【0007】

したがって、本発明の第１の態様において、
環境から信号のストリームをサンプリングレートで取得し、それにより、それぞれ信号のストリームの取得された信号に対応するデータトークンからなるデータストリームを供給するように構成されたセンサシステムと、
データトークンからなるデータストリームを連続的に取得するためのアルゴリズムを実行するように構成されたプロセッサとを備えるコンピュータシステムが提供され、
アルゴリズムは、データストリームのデータトークンを取得するための取得率を有し、プロセッサは、サンプリングレートをアルゴリズムの取得率に適合させるようにセンサシステムに命令を与えるように構成されている。

【0008】

センサシステムは、アルゴリズムの準備ができたときに更なる信号を取得するようにトリガされるだけであるため、センサシステムのサンプリングレートとプロセッサの取得率は同期され、上記の時間遅延は回避される。

【0009】

本発明によると、アルゴリズムは３つの異なる状態を有し、第１の状態は、アルゴリズムが信号のストリームの信号を取得する準備ができていることを示し、第２の状態は、アルゴリズムが信号のストリームの信号を取得する準備ができていないことを示す。

【0010】

更に、本発明によると、第３の状態は、アルゴリズムが、センサシステムの取得待ち時間を考慮するために、信号のストリームの信号を取得する準備ができている状態に近いことを示す。

【0011】

この実施形態は、アルゴリズムが新しい入力データトークンの処理が可能となった時点で新しい信号のサンプリングを完了してアルゴリズムに正確に供給できるため、センサシステムのサンプリングレートとアルゴリズムの取得率を更に同期可能という特別な利点を有する。

【0012】

本発明の一実施形態において、センサシステムは、予測取得時間に関する情報をプロセッサに供給するように構成されてもよい。

【0013】

更に、プロセッサは、状態を読み取り、アルゴリズムが第３の状態にあると判定すると、センサシステムでの信号の取得をトリガするように構成されている。このために、プロセッサは予測取得時間に関する情報と、アルゴリズムが第１の状態になるまでの時間に関する情報を使用する。これにより、アルゴリズムは、アルゴリズムが第１の状態に入ったときに正確にデータトークンを受信する。

【0014】

更なる実施形態において、プロセッサは、予測取得時間を使用してアルゴリズムがいつ第１の状態になるかを判定するように構成されてもよい。

【0015】

更なる実施形態において、センサシステムは、画像記録装置と、音声記録装置と、温度記録装置と、環境の化学組成用の記録装置と、光検出及び測距のための装置（ＬＩＤＡＲ）と、無線検出及び測距（ＲＡＤＡＲ）装置と、超音波センサと、自動車用途に関連する他のセンサとであってもよい。

【0016】

更なる実施形態において、センサシステムは画像記録装置であってもよく、画像記録装置のサンプリングレートは画像記録装置のフレームレートである。

【0017】

更なる実施形態において、コンピュータシステムのプロセッサは、中央処理ユニット（ＣＰＵ）、グラフィカル処理ユニット（ＧＰＵ）特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はこれらの組合せであってもよい。

【0018】

第２の態様において、本発明は、センサシステムのデータストリームを取得するためのコンピュータシステム実施方法であって、
データトークンからなるデータストリームを連続的に取得するためのアルゴリズムをプロセッサ上で実行することを備え、アルゴリズムは、データトークンを取得するための取得率を有し、
プロセッサが、センサシステムのサンプリングレートをアルゴリズムの取得率に適合させるようにセンサシステムに命令を与えること、
センサシステムが、環境から信号のストリームを上記サンプリングレートで取得し、それによりデータトークンであって、それぞれ信号のストリームの取得された信号に対応するトークンからなるデータストリームを供給すること
を備えるコンピュータシステムに関する。

【0019】

本発明の第２の態様によると、アルゴリズムは３つの異なる状態を有し、第１の状態は、アルゴリズムが信号のストリームの信号を取得する準備ができていることを示し、第２の状態は、アルゴリズムが信号のストリームの信号を取得する準備ができていないことを示す。

【0020】

更に、本発明の第２の態様によると、第３の状態は、アルゴリズムが、センサシステムの取得待ち時間を考慮するために信号のストリームの信号を取得する準備ができている状態に近いことを示す。

【0021】

更に、本発明の第２の態様によると、センサシステムは、予測取得時間の情報をプロセッサに供給する。

【0022】

更に、プロセッサは、状態を読み取り、アルゴリズムが第３の状態にあると判定すると、センサシステムでの信号の取得をトリガする。このために、プロセッサは予測取得時間に関する情報と、アルゴリズムが第１の状態になるまでの時間に関する情報を使用する。これにより、アルゴリズムは、アルゴリズムが第１の状態に入ったときに正確にデータトークンを受信する。

【図面の簡単な説明】

【0023】

【図1】図１は、プロセッサとセンサシステムを備えるコンピュータシステムを示す。

【図2】図２は、アルゴリズムトリガ式センサデータ取得のための方法を示す。

【発明を実施するための形態】

【0024】

図１は、プロセッサ１０１とセンサシステム１０２を備えるコンピュータシステム１００を示す。プロセッサ１０１とセンサシステム１０２は、同じケーシング内に備えることも、別々のケーシング内に備えるようにしてもよい。プロセッサ１０１とセンサシステム１０２は、データケーブル（たとえばローカルエリア・ネットワーク、あるいはデータバス、例えばＵＳＢバス）、又はワイヤレス接続（例えば、ＷｉｆｉネットワークあるいはＢｌｕｅｔｏｏｔｈ（登録商標））のような、プロセッサ１０１とセンサ間でのデータ転送に適する任意の接続によって動作的にリンクさせることができる。コンピュータシステム１００は、プロセッサ１０１又はセンサシステム１０２により出力されるデータを格納するメモリ装置を備えてもよく、又は／及びメモリ装置に動作的に接続されてもよい。コンピュータシステム１００は、プロセッサ１０１として、中央処理ユニット、グラフィカル処理ユニット、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はこれらの組合せを備えてもよい。

【0025】

図２に図示するように、プロセッサ１０１は、センサシステム１０２によって供給されるデータストリームを取得するアルゴリズムを実行する（Ｓ２０１）。センサシステム１０２は、好ましくは環境によって供給されるアナログ信号をデジタル信号に変換可能な装置である。センサシステム１０２は、特定のサンプリングレートでアナログ信号を取得し、各アナログ入力の各サンプルについて変換後の個別のデジタルデータパッケージ（データトークン）を供給する。この目的のため、センサシステム１０２は、アナログ信号をデジタル信号に変換する装置（例えば、デジタルカメラの場合は光電子センサ）を備える。

【0026】

各サンプリングステップは、ユーザによって調整可能であるか、予め決定されているか、又は外部要因に依存して自動的に決定される特定の時間長にわたり持続できる。例えば、デジタルカメラの場合、サンプリングステップの時間長は、センサの環境における光レベルに依存する可能性がある。サンプリングステップの時間長の長さは、最大サンプリングレートを決定し、最大サンプリングレートは、時間をサンプリングステップの長さで除したものである。

【0027】

したがって、コンピュータシステム１００又はセンサシステム１０２はまた、そのような外的要因のレベルを判定するように構成されてもよい。これは、アナログ信号をセンサシステム１０２自体のデジタル信号に変換するための装置によって、又は外的要因に関するデジタル値を判定可能な追加のセンサシステム１０２によって達成してもよい。

【0028】

アルゴリズムに戻ると、アルゴリズムは、センサシステム１０２によって受信されるデータトークンを備えるデータストリームを処理するためのコンピュータプログラムである。データストリームは、センサシステム１０２によって供給される生データを含む。この生データは、アルゴリズムが処理して、生データのフォーマットとは異なる（例えば、圧縮された）フォーマット、例えば、より少ないビット量を必要とするフォーマットとしてもよい。

【0029】

アルゴリズムはデータストリームを連続的かつ逐次的に（データトークン毎に）処理し、そのため、アルゴリズムはデータストリームの新しい入力データトークンを処理するための取得率を有する。この取得率はさまざまな要因に依存する。例えば、アルゴリズムのコードは、各データトークンがそれぞれある長さの時間を必要とする特定の処理ステップに提供されることを要求する場合がある。したがって、１つの入力データトークンが処理されている間、アルゴリズムはさらなる入力データトークンを処理できない。アルゴリズムのこのコード特有の制限はさらに、アルゴリズムが実行されるプロセッサ１０１によってアルゴリズムに割り当てられる処理時間に依存する場合がある。例えば、入力データストリームを取得するためのアルゴリズムではないさらなるプロセスが同じプロセッサ１０１上で実行される場合、プロセッサ１０１は、入力データストリームを取得するためのアルゴリズムに割り当てられる最大処理時間を短縮する場合がある。

【0030】

加えて、プロセッサ１０１は本質的に、入力データストリームを取得するためのアルゴリズムの実行が遂行される速度も制限する可能性がある、ある最大処理速度を有することになる。

【0031】

したがって、アルゴリズムは、新しい入力データトークンを取得する準備ができている状態と、新しい入力データトークンを取得する準備ができていない状態を持ち得る。この状態情報は、アルゴリズム自体によって、又はアルゴリズムの状態を判定するプロセッサ１０１上で実行されているさらなるプロセスによって提供されてもよい。

【0032】

プロセッサ１０１はこれらの状態を読み取り可能であって、アルゴリズムが準備できていると判定すると、センサシステム１０２に、環境から信号を取得し（Ｓ２０２）、それによってセンサシステム１０２による新しい信号の取得をトリガし、信号のデジタル変換後の新しいデータトークンを供給する（Ｓ２０３）ように命令を送信する。好ましくは、プロセッサ１０１は、アルゴリズムが第３の状態にあると判定すると、センサシステム１０２での信号の取得をトリガする。プロセッサ１０１によるこれらの状態の読み取りは、とりわけ再帰的に行われ、アルゴリズムの状態に応じて、センサシステム１０２による新しい信号の取得がトリガされたりされなかったりする。これにより、好ましくは、アルゴリズムは入力データトークンを連続的に処理している。

【0033】

このアプローチは、アルゴリズムの準備できていないときにはプロセッサ１０１上で実行されるアルゴリズムにデータトークンが送信されないという利点を有する。このようにして、センサシステム１０２のサンプリングレートはもはや所定の固定値ではなくなるが、プロセッサ１００によって送信される命令に応じて変化する可能性があり、したがってアルゴリズムの取得率に適合したものとなる。このようにして、処理時間は浪費されず、入力データストリームのための予備的な格納場所を提供するために追加のメモリは必要とされない。

【0034】

アルゴリズムの準備ができていることを示す第１の状態はまた、アルゴリズムが信号のストリームの信号を取得する準備ができていることに近い状態であることを示してもよい。これはまた、第３の状態を表すと考えてもよく、この第３の状態はまた、アルゴリズムの準備できるまでの期間についての情報を伴ってもよい。これは、センサシステム１０２の取得待ち時間を考慮可能であるという利点を有する。例えば、プロセッサ１０１には、さらなる信号の取得及びこの信号のデータトークンへの変換が期間ｔ_Ａ（信号取得期間）を要する可能性があるという情報が提供され得る。プロセッサ１０１上で実行されるプロセスは、アルゴリズムが第３の状態にあることを読み取り、プロセッサ１００には、アルゴリズムがｔ_Ｒの期間（アルゴリズムが準備できるまでの期間）内に準備ができるという情報が提供され得る。次いで、プロセッサ１０１で実行されるプロセスによって、期間ｔ_ｔ＝ｔ_Ｒ−ｔ_Ａ（「トリガが実行されるまでの期間」）の後、アルゴリズムが第１の状態になり、したがって期間ｔ_ｔの経過後にセンサシステム１０２での信号の取得がトリガされることを計算可能である。請求された方法及び請求されたシステム内での様々なイベントが確実に同期されるようにするため、コンピュータシステム１００はまた、コンピュータシステム１００において実行されているプロセスを同期させるためのクロック構造を備えてもよい。

【0035】

上述したように、取得待ち時間はまた、外的要因（例えば、光センサの場合には光のレベル）の判定に依存する場合があり、したがって、第３の状態の存在を判定するときに考慮してもよい。

【0036】

開示されるセンサシステム１０２は、環境から外部（例えばアナログ）信号を逐次的で更に連続的に取得し、この信号をデータトークンからなるデジタルデータストリームに変換することができる任意のセンサシステム１０２であってもよい。したがって、センサシステム１０２は、画像記録装置、音声記録装置、温度記録装置、又は環境の化学組成用の記録装置であってもよい。画像記録装置は、デジタルカメラ又はデジタルビデオカメラであってもよい。画像記録装置は、電荷結合素子（ＣＣＤ）センサ又は相補型金属酸化物半導体（ＣＭＯＳ）を備えてもよい。温度記録装置は、温度依存的に金属内の抵抗を測定してもよく（サーミスタ、例えば、正又は負温度係数サーミスタ）、これらの測定値をデジタルデータストリームに変換するための手段を備えてもよい。音声記録装置は、音波を測定し、それらをデジタル信号に変換するのに適した任意の形態のマイクロフォンであってもよい。環境の化学組成用の記録装置は、例えばｐＨ計あるいは電位差計、又は環境中の化学的因子を時間依存的に測定するのに適した他の任意の装置であってもよい。

【0037】

本明細書に開示されるコンピュータシステム１００は、複数の用途を有し得る。

【0038】

コンピュータシステム１００は、任意の形態の車両、例えば自動車（例えば乗用車又はトラック）、航空機、又は船に備えられてもよい。上述のように、任意の形態の車両に装備され得る高度運転支援システム（ＡＤＡＳ）に備えられてもよく、及び／又はそれに動作的に接続されてもよい。自動車のフロント、サイド、又はリアカメラとして使用される画像記録装置を備えるコンピュータシステム１００の使用が特に好ましい。

【図1】

【図2】

【国際調査報告】