特開 2024-180321 ＭＩＰＩカメラシリアルインターフェースを介したイベントストリームの送信

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024180321

(43)【公開日】2024-12-26

(54)【発明の名称】ＭＩＰＩカメラシリアルインターフェースを介したイベントストリームの送信

(51)【国際特許分類】

   H04J 3/00 20060101AFI20241219BHJP

   H04N 21/238 20110101ALI20241219BHJP

【ＦＩ】

H04J3/00 M

H04N21/238

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024093549

(22)【出願日】2024-06-10

(31)【優先権主張番号】23305955.9

(32)【優先日】2023-06-15

(33)【優先権主張国・地域又は機関】EP

(71)【出願人】

【識別番号】520207608

【氏名又は名称】プロフェシー

【氏名又は名称原語表記】ＰＲＯＰＨＥＳＥＥ

【住所又は居所原語表記】７４ ｒｕｅ ｄｕ Ｆａｕｂｏｕｒｇ Ｓａｉｎｔ Ａｎｔｏｉｎｅ， ７５０１２ ＰＡＲＩＳ， ＦＲＡＮＣＥ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】シュワームバハ，ヴィクトル

(72)【発明者】

【氏名】ショタール，リュドヴィク

(72)【発明者】

【氏名】ショーン，ギヨーム

(72)【発明者】

【氏名】ナグレスワラン，トゥラクサン

(72)【発明者】

【氏名】ドアノー，ピエール－アントワーヌ

【テーマコード（参考）】

5C164

5K028

【Ｆターム（参考）】

5C164SA25S

5C164SB26P

5K028AA06

5K028EE03

5K028MM04

5K028MM07

5K028MM10

(57)【要約】      （修正有）

【課題】イベントベースのカメラによって生成されたイベントを、標準インターフェースを介して端末デバイスに送信する方法及びインターフェースを提供する。
【解決手段】イベントベースのビジョンセンサ（１０）によって生成されたイベントストリームを連続するフレーム（ＦＳ～ＦＥ）内にグループ化された連続するパケット（Ｈ～ＣＳ）内でデータを送信すインターフェース（１４、１６）を介して送信する方法は、フレームに期間を割り当てるステップと、イベントストリームからそれぞれのタイムスタンプを有するイベントを読み取るステップと、現在のフレームのパケットを、現在のフレームの期間内のタイムスタンプを有するイベントのみを用いて埋めるステップと、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

イベントベースのビジョンセンサ（１０）によって生成されたイベントストリームを、連続するフレーム（ＦＳ～ＦＥ）内にグループ化された連続するパケット（Ｈ～ＣＳ）内でデータを送信するように構成されたインターフェース（１４、１６）を介して送信するための方法であって、
前記フレームに、期間を割り当てることと、
前記イベントストリームからそれぞれのタイムスタンプを有するイベントを読み取ることと、
現在のフレームのパケットを、前記現在のフレームの前記期間内のタイムスタンプを有するイベントのみを用いて埋めることと、を含む、方法。

【請求項2】

前記フレームの最後のパケット内の前記イベントの直後に、マスタフレーム終了マーカ（ＭＦＥ）を挿入する更なるステップを含む、請求項１に記載の方法。

【請求項3】

各パケットに、固定の容量のイベントを割り当てることと、
前記パケットを、前記パケットの容量まで連続的に埋めることと、
イベントの数が、前記フレームの最後のパケットを埋めるのに不十分であるとき、前記最後のパケットの残りのスペースをパディングイベントで埋めることと、を更に含む、請求項１に記載の方法。

【請求項4】

各フレーム内で固定数のパケットを送信することと、
前記イベントの数が、前記フレームの全ての前記パケットを埋めるのに不十分であるとき、残りのパケットをパディングイベントで埋めることと、を更に含む、請求項３に記載の方法。

【請求項5】

前記パケットに、期間を割り当てることと、
前記現在のフレームの現在のパケットを、前記現在のパケットの前記期間内のタイムスタンプを有するイベントのみを用いて埋めることと、を更に含む、請求項１に記載の方法。

【請求項6】

前記イベントストリームが、前記パケット期間よりも短い期間で発生する同期イベントを少なくとも含み、それによって、固定数のパケットが、各フレームに対して形成され、各パケットが、少なくとも１つの同期イベントを含む、請求項５に記載の方法。

【請求項7】

各パケットに、固定の容量のイベントを割り当てることと、
現在のパケットを埋める前記イベントの数が、前記パケットの前記容量よりも少ない場合に、前記パケットの残りの容量をパディングイベントで埋めることと、を更に含む、請求項６に記載の方法。

【請求項8】

パケットの前記パディングイベントが、前記パケットのチェックサムサフィックス（ＣＳ）の前に挿入される、請求項７に記載の方法。

【請求項9】

前記インターフェースが、ＭＩＰＩ ＣＳＩ－２インターフェースであり、各フレームが、フレーム開始プレフィックス（ＦＳ）、フレーム終了サフィックス（ＦＥ）を有し、各パケットが、ヘッダプレフィックス（Ｈ）及びチェックサムサフィックス（ＣＳ）を更に有する、請求項１に記載の方法。

【請求項10】

イベントベースのビジョンセンサ（１０）によって生成されたイベントストリームを送信するためのインターフェースであって、
連続するフレーム（ＦＳ～ＦＥ）内にグループ化された連続するパケット（Ｈ～ＣＳ）内でデータを送信し、
前記フレームに期間を割り当て、
前記イベントストリームからそれぞれのタイムスタンプを有するイベントを読み取り、
現在のフレームのパケットを、前記現在のフレームの前記期間内のタイムスタンプを有するイベントのみを用いて埋める、ように構成されている、インターフェース。

【請求項11】

前記パケットに期間を割り当て、
前記現在のフレームの現在のパケットを、前記現在のパケットの前記期間内のタイムスタンプを有するイベントのみを用いて埋める、ように更に構成されている、請求項１０に記載のインターフェース。

【請求項12】

前記イベントストリームが、前記パケット期間よりも短い期間で発生する同期イベントを少なくとも含み、それによって、固定数のパケットが各フレームに対して形成され、各パケットが、少なくとも１つの同期イベントを含む、請求項１１に記載のインターフェース。

【請求項13】

各パケットに、固定の容量のイベントを割り当て、
現在のパケットを埋めるイベントの数が、前記パケットの前記容量よりも少ない場合に、前記パケットの残りの容量をパディングイベントで埋める、ように更に構成されている、請求項１２に記載のインターフェース。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イベントベースのカメラによって生成されたイベントを、標準インターフェースを介して端末デバイスに送信することに関する。

【背景技術】

【0002】

標準的なカメラインターフェースは、原理上は、異なる製造業者のカメラと端末デバイスとの間の相互運用を可能にする。例えば、ＭＩＰＩカメラシリアルインターフェース（ＣＳＩ－２）は、カメラによって生成されたビデオをディスプレイなどの端末デバイスに伝達するように設計されている。このインターフェースは、差動ライン、エラー検出及び訂正機能、並びに低電力モードを用いて、データを送信する証明されたロバストな方法を提供する。

【0003】

そのようなインターフェースは、当初、フレームベースのカメラシステムのために設計され、センサアレイのラスタ走査パターンに従って固定量のピクセルデータを搬送するフレームの概念に大きく依存していた。イベントベースのカメラは、イベントストリームを生成し、イベントストリーム内で、イベントは、センサアレイの空間的な順ではなく、発生順に送信される。更に、トリガされたイベントのみが送信され、これは、送信が可変レートを有し、カメラの全てのピクセルを表さないことを意味し、これは原理上はフレームの概念と互換性がない。

【0004】

イベントベースのカメラによって生成されたイベントストリームを端末デバイスに送信するために、ＭＩＰＩ ＣＳＩ－２などの標準カメラインターフェースの特徴を使用することは興味深い。

【発明の概要】

【0005】

イベントベースのビジョンセンサによって生成されたイベントストリームを、連続するフレーム内にグループ化された連続するパケット内でデータを送信するように構成されたインターフェースを介して送信するための方法であって、フレームに期間を割り当てるステップと、イベントストリームからそれぞれのタイムスタンプを有するイベントを読み取るステップと、現在のフレームのパケットを、現在のフレームの期間内のタイムスタンプを有するイベントのみを用いて埋めるステップと、を含む、方法が、概して開示される。

【0006】

方法は、フレームの最後のパケット内のイベントの直後にマスタフレーム終了マーカを挿入する更なるステップを含むことができる。

【0007】

方法は、固定の容量のイベントを各パケットに割り当てるステップと、パケットをそれらの容量まで連続的に埋めるステップと、イベントの数がフレームの最後のパケットを埋めるのに不十分であるとき、最後のパケットの残りのスペースをパディングイベントで埋めるステップと、を更に含むことができる。

【0008】

方法は、各フレーム内で固定数のパケットを送信するステップと、イベントの数がフレームの全てのパケットを満たすのに不十分であるとき、残りのパケットをパディングイベントで満たすステップと、を更に含むことができる。

【0009】

方法は、パケットに期間を割り当てるステップと、現在のフレームの現在のパケットを、現在のパケットの期間内のタイムスタンプを有するイベントのみを用いて埋めるステップと、を更に含むことができる。

【0010】

イベントストリームは、パケット期間よりも短い期間で発生する同期イベントを少なくとも含むことができ、それによって、固定数のパケットが各フレームに対して形成され、各パケットは、少なくとも１つの同期イベントを含む。

【0011】

方法は、固定の容量のイベントを各パケットに割り当てるステップと、現在のパケットを埋めるイベントの数がパケットの容量より少ない場合、パケットの残りの容量をパディングイベントで埋めるステップと、を更に含むことができる。

【0012】

パケットのパディングイベントは、パケットのチェックサムサフィックスの前に挿入され得る。

【0013】

インターフェースは、ＭＩＰＩ ＣＳＩ－２インターフェースであり得、各フレームは、フレーム開始プレフィックスと、フレーム終了サフィックスとを有し、各パケットは、ヘッダプレフィックス及びチェックサムサフィックスを更に有する。

【図面の簡単な説明】

【0014】

実施形態は、添付の図面に関連して、例示目的のみのために提供される以下の説明において明らかにされる。

【図1】ＭＩＰＩインターフェースを使用する、イベントベースのカメラから端末デバイス又はアプリケーションへの送信チェーンのブロック図である。

【図2】イベントストリームのデータを送信するための第１の実施形態に従って埋められたＭＩＰＩ ＣＳＩ－２フレームを例解する。

【図3】イベントストリームのデータを送信するための第２の実施形態に従って埋められたＭＩＰＩ ＣＳＩ－２フレームを例解する。

【図4】イベントストリームのデータを送信するための第３の実施形態に従って埋められたＭＩＰＩ ＣＳＩ－２フレームを例解する。

【図5】イベントストリームのデータを送信するための第４の実施形態に従って埋められたＭＩＰＩ ＣＳＩ－２フレームを例解する。

【発明を実施するための形態】

【0015】

ＭＩＰＩ ＣＳＩ－２インターフェースは、フレーム及びラスタスキャンされた画素に従ってビデオデータを送信するように実際に設計されている。より具体的には、各フレームは、フレーム開始プレフィックスＦＳ（Frame Start）及びフレーム終了サフィックスＦＥ（Frame End）によって区切られる。各フレームは更に、実際にはピクセルのそれぞれの行に対応するいくつかのパケットに再分割される。したがって、連続的に送信されるフレームはフレームレートを規定し、各フレームに対して送信される連続するパケットは行走査レートに対応する。パケットの数及びサイズは、送信されるフレームベースのビデオのタイプに従って設定可能である。

【0016】

図１は、イベントベースのカメラ１０から端末デバイス又はアプリケーション１２へのＭＩＰＩインターフェースを介した送信チェーンのブロック図である。ＭＩＰＩインターフェースは、差動リンクを介して接続された、カメラ側の送信器１４及び端末デバイス側の受信器１６を含む。ＭＩＰＩ送信器は、ＭＩＰＩ規格に従ってイベントストリームをフレーム及びパケットに変換することを担当するフォーマッタ回路１８を介して、カメラ１０からイベントストリームを受信する。

【0017】

原則として、規格準拠受信器インターフェースは、単に、パケットからペイロードを抽出し、ペイロードを処理するように特に設計された端末デバイス又はアプリケーションに、連結されたペイロードを送信する。

【0018】

ＭＩＰＩ ＣＳＩ－２インターフェースを介してイベントストリームを送信するための普通の手法では、イベントデータは、同じ長さの連続するパケット内にペイロードとして単純に挿入され得、各フレームは、そのパケットの全てがこのように埋められたら送信される。そのような場合、送信されているストリーム内のイベントのタイムスタンプと、ＭＩＰＩフレーム及びパケットのタイミングとの間に直接的な関係はない。

【0019】

しかしながら、このアプローチは、イベントが周期的に発生しないので実行可能ではなく、それによって、規格の仕様を超えて著しく変化するイベントレートとともにフレームレートが変化する。

【0020】

より良いアプローチが、第１の実施形態として図２に例解されている。この図は、ＭＩＰＩ ＣＳＩ－２フレームの一般的な構造を示す。先に述べたように、各フレームは、フレーム開始プレフィックスＦＳ及びフレーム終了サフィックスＦＥによって区切られる。フレームはパケットに再分割され、各パケットは、ヘッダプレフィックスＨ（header）及びチェックサムサフィックスＣＳ（checksum）を有するペイロードを有する。

【0021】

フォーマッタ１８は、イベントストリームから固定のレートでフレームを生成するように構成され、それによって、各フレームに固定の送信期間が割り当てられる。フレームレートは、実際には、１０ｆｐｓから１Ｋｆｐｓの間で選択され得る。送信のために現在のフレームを形成する際に、フォーマッタ１８は、着信イベントのタイムスタンプを読み取り、現在のフレームに、フレームの期間内のタイムスタンプを有するイベントのみを挿入し、したがって、ストリーム内のイベントのタイムスタンプとＭＩＰＩフレームタイミングとの間の関係を確立する。

【0022】

より具体的には、図２に示されるように、フレームのパケットは、更なるイベントがタイムスタンプの制約に合致しなくなるまで、同じ指定された長さに埋められる。したがって、最後のパケットは、示されるように、概して不完全に埋められ、パケットの数は、フレームベースのカメラに対して従来期待される数を下回る場合がある。

【0023】

結果として得られるフレームはＭＩＰＩ規格に準拠し得るが、最後のパケットの長さが可変であり、フレーム内のパケットの数も可変であるため、ＭＩＰＩ ＣＳＩ－２インターフェースが最もよく使用される分野、すなわちフレームベースのカメラにおいて、その構造は異常である。したがって、フレームベースのカメラ用に設計された多くの受信器デバイスは、可変長のパケットを有するフレームを処理する追加の複雑さを省略しており、それによって、フレームの最後のパケットは、一般に残りのパケットよりも短く、受信器デバイスにおいて処理の失敗を引き起こす可能性がある。

【0024】

特に、そのような受信器では、パケットヘッダＨが「ワードカウント」パケットを含むＭＩＰＩ ＣＳＩ－２規格の仕様は、しばしば無視され、それによって、受信器インターフェースは、パケット終了、又は転送されるデータの量を端末アプリケーションに通知しない。

【0025】

図２に示されるように、フレーム内のイベントデータの終わりは、フレームの最後のパケットのペイロードの終わりで、この最後のパケットにチェックサムＣＳを挿入する直前に挿入されるマスタフレーム終了サフィックスＭＦＥ（Master Frame End）によってマークすることができる。したがって、ＭＦＥマーカも、チェックサム計算に含まれる。したがって、ＭＦＥマーカは、受信器がフレームに対して受信したペイロードデータサイズをアプリケーションに通知しない場合であっても、イベントデータの終わりを識別するために端末アプリケーションによって使用され得る。

【0026】

図３は、固定長のパケットを有するフレームを期待する、又はパケットヘッダ内のワードカウント情報を無視する受信器インターフェースと互換性のある実施形態を例解する。イベントデータを含む最後のパケットのペイロードは、ＭＦＥマーカとチェックサムＣＳとの間の期待されるパケット長までパディングイベントで埋められる。したがって、この最後のチェックサムＣＳは、パディングイベントにわたっても計算され、受信器によって期待される位置で他のチェックサムと揃えられる。

【0027】

パディングイベント及びＭＦＥマーカは、規格の観点からは任意であり得るペイロードの一部であるため、ＭＩＰＩ規格によっては指定されない。したがって、ＭＦＥマーカ及びペイロードデータは、イベントストリームフォーマッタ１８及び対応する端末アプリケーションの設計のために指定することができる。

【0028】

ＭＦＥマーカの後のデータは原則として端末アプリケーションによって無視されるので、パディングイベントは、空のイベント又はタイムスタンプのみを搬送するイベント、若しくは単に任意のダミーデータであってもよい。ダミーデータは、同じ状態、１又は０に設定された一連のビットであってもよく、そのようなデータは状態遷移を生成しないので、送信電力を下げるという利点を有する。

【0029】

受信器デバイスがフレーム毎に固定数のパケットも期待する場合、期待される数までの欠落パケットは、図３の最後のパケットに対して示されるように、パディングイベントだけで作成される。

【0030】

図２及び図３の実施形態は、固定のフレームレートでフレームを提供するが、各パケットを埋めるのに必要な時間は、イベントレートとともに変化する。いくつかの状況では、所与のパケットは、一連のイベントで埋めることを開始し、次いで、パケットが満杯になる前にイベントレートが瞬間的に０に低下するので、一時停止し得る。結果として、パケット送信は、イベントレートが再び上昇してパケットを埋め終わるまで遅延され、これは、イベントが発生した後すぐに受信されるべきである多くの場合において不満足である。これは、パケット送信時間における追加の待ち時間とジッタをもたらす。

【0031】

図４は、イベントデータを送信する際に大きな遅延を回避する好ましいイベントストリームフォーマットの実施形態を例解する。フォーマッタ１８は、各フレームに対して指定された数のパケットを生成するように構成され、それによって、各パケットには、フレーム送信期間をパケット数で割ったものに等しい固定の送信期間が割り当てられる。送信のための現在のパケットを形成する際に、フォーマッタ１８は、着信イベントのタイムスタンプを読み取り、現在のパケットに、パケットに割り当てられた期間内のタイムスタンプを有するイベントのみを挿入し、したがって、ストリーム内のイベントのタイムスタンプとＭＩＰＩパケットのタイミングとの間の関係を作成する。

【0032】

より具体的には、図４に示されるように、各パケットは、タイムスタンプの制約に合致するイベントがなくなるまで埋められ、その後、次のパケットが埋めるために選択される。結果として、パケットは、イベントレート変動に依存して変動する長さを有する。したがって、パケットのヘッダＨ内のワードカウントは、この状況を反映するように送信器インターフェースによって設定される。

【0033】

実際には、最大容量がパケットに対して設定される。ＭＩＰＩ ＣＳＩ－２規格は、最大６４ＫＢまでのサイズを許容する。しかしながら、待ち時間と送信効率との間のトレードオフは、満足な待ち時間及び９７％の送信効率を提供する、８ＫＢなどのより小さい値にある。

【0034】

いくつかの状況では、現在のパケットについてのタイムスタンプの制約に合致するイベントの数は、パケット容量を超えることがある。このような場合、３つの可能性が生じる。第１の代替案として、パケット容量を超えるイベントはドロップされ、送信されない。第２の代替案として、パケット容量を超えるイベントは次のパケット内に挿入され、その次のパケットが同じ期間に割り当てられ、それによって、複数の連続するパケットが、同じパケット期間に対応するタイムスタンプを有するイベントを含むことができる。第３の代替案として、パケット容量を超えるイベントは次のパケット内に挿入され、その次のパケットは現在の期間に後続の期間を加えたものに割り当てられる。したがって、この次のパケットは、２つの期間にわたるタイムスタンプを有するイベントに割り当てられる。

【0035】

タイムスタンプの制約条件は、例えば、以下のように表すことができる。各パケットには、Ｔ_ｆ／Ｎに等しい固定の期間Ｔ_ｐが割り当てられ、ここで、Ｔ_ｆはフレーム期間であり、Ｎはフレーム当たりのパケット数である。イベントは、そのタイムスタンプＴＳ_ｉがＴＳ_０からＴＳ_０＋Ｔ_ｐの間に含まれる場合にのみ、現在のパケット内に挿入され、ここで、ＴＳ_０は、現在のパケットに、又は適用可能な場合に、同じ期間に割り振られた前のパケット内に挿入された第１のイベントのタイムスタンプである。上述の第３の代替案を実施する場合、第１のパケットが埋められた後、次のパケットのタイムスタンプがＴＳ_０からＴＳ_０＋２Ｔ_ｐの間に含まれるときに、次のパケット内にイベントが挿入される。

【0036】

そのようなパケットへの期間の割り当ては、端末アプリケーションに対して透過的であり、対応する情報を送信する必要はなく、受信器インターフェースは、原則として、パケットからペイロードを抽出し、端末デバイス又はアプリケーションへの送信のためにそれらを連結する。メカニズムは、イベントのタイムスタンプに基づいてできるだけ早く送信することができる規格準拠のパケットを作成するためにのみ使用され、その結果、普通の手法よりもパケット送信時間間隔におけるジッタが少ないＭＩＰＩストリームが得られる。

【0037】

フレームを埋めている間にイベントレートが低いか又は著しく低下する別の状況では、各パケット内に挿入するのに十分なイベントがない場合があり、それによって、パケットの数がフレームに対して指定された数に達しない場合がある。この状況は、長期間にわたってイベントが生成されない場合であっても、イベントベースのカメラがストリーム内に同期イベントを周期的に挿入し、そのイベントがタイムスタンプのみを搬送するという事実によって実際には回避される。そのようなイベントの期間は、パケットに割り当てられた期間Ｔ_ｐよりも小さくてもよく、それによって、それぞれが少なくとも１つの同期イベントを含む全てのパケットが必ず使用される。

【0038】

図４の実施形態は、受信器インターフェースが完全に規格準拠であり、したがってペイロードを正しく抽出するためにパケットワードカウントを使用することを必要とする。前述したように、多くの受信器インターフェースは、固定長のパケットを期待し、ワードカウントを無視する。

【0039】

図５は、図４の実施形態の変形例を例解しており、変形例は、固定のパケット長と、フレーム当たりの固定のパケット数で、したがって固定のフレームサイズをもたらすことを期待する受信器インターフェースと互換性がある。固定の容量は、例えば８ＫＢなど、規格によって指定された限度内でパケットに割り当てられる。現在受信されているイベントが、現在のパケット期間外のタイムスタンプを有する場合、現在のイベントは次のパケットのために保持され、現在のパケットの残りはパケットの容量までパディングイベントで埋められる。パディングイベントは、チェックサムＣＳの前に挿入され、それによって、チェックサムは、期待される位置にあり、チェックサムの計算には、パディングイベントも含まれる。

【0040】

完全規格準拠の受信器インターフェースとの互換性を保つために、パケットヘッダ内のワードカウントは全て、パケットの固定のサイズに設定される、すなわち、ワードカウントは、各パケット内のペイロード及びパディングイベントを考慮する。

【0041】

示されるように、最後のパケットを除く全てのパケット内で、ペイロードとパディングイベントとの間にマーカは挿入されていない。これは、送信効率を増加させるが、パディングイベントが認識可能なフォーマットを有していない限り、端末アプリケーションは、パディングイベントが各パケット内のどこで開始するかを知らない。実際、受信器インターフェースにとって、パディングはペイロードと区別できないので、受信器インターフェースもパディングを抽出して転送するであろう。パディングイベントは、適切なイベントフォーマットを有するが、情報を搬送しないか、又は単にタイムスタンプを搬送することができる。そのようなイベントは、端末アプリケーションによって正しく解析されるが、更なる処理を必要としないので無視されるであろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【外国語明細書】