特開 2023-182527 イメージデータを処理する制御器、及びそれを含むイメージ処理システム、並びにその動作方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023182527

(43)【公開日】2023-12-26

(54)【発明の名称】イメージデータを処理する制御器、及びそれを含むイメージ処理システム、並びにその動作方法

(51)【国際特許分類】

   H04N 23/60 20230101AFI20231219BHJP

   H04N 23/54 20230101ALI20231219BHJP

   H04L 9/32 20060101ALI20231219BHJP

【ＦＩ】

H04N23/60 300

H04N23/60 500

H04N23/54

H04L9/32 200A

H04L9/32 200E

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023064022

(22)【出願日】2023-04-11

(31)【優先権主張番号】10-2022-0072241

(32)【優先日】2022-06-14

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2022-0109995

(32)【優先日】2022-08-31

(33)【優先権主張国・地域又は機関】KR

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＨＤＭＩ

(71)【出願人】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】具 時京

(72)【発明者】

【氏名】朴 正碩

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122DA03

5C122DA11

5C122DA14

5C122EA07

5C122EA52

5C122FC02

5C122GC75

5C122HA01

5C122HA28

5C122HA46

5C122HA86

5C122HB01

5C122HB02

5C122HB06

5C122HB09

(57)【要約】

【課題】イメージデータの完全性をチェックする制御器、それを含むイメージ処理システム、及びその動作方法を提供する。
【解決手段】本発明に係るイメージデータを処理する制御器の動作方法は、イメージセンサから連続したフレームを有するイメージデータ及び上記イメージデータの署名値を受信する段階と、車両の速度を用いて上記署名値を検証する段階と、を含み、上記署名値を検証する段階は、上記車両の速度に応じて決定されたチェック周期を決定する段階と、上記チェック周期に応じて上記フレームの中で決定されたフレームの署名値を検証する段階と、を含むことができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

イメージデータを処理する制御器の動作方法であって、
イメージセンサから連続したフレームを有するイメージデータ及び前記イメージデータの署名値を受信する段階と、
車両の速度を用いて前記署名値を検証する段階と、を含み、
前記署名値を検証する段階は、
前記車両の速度に応じて決定されたチェック周期を決定する段階と、
前記チェック周期に応じて前記フレームの中で決定されたフレームの署名値を検証する段階と、を含む、
方法。

【請求項2】

前記署名値は、前記イメージセンサにおいて前記フレームのそれぞれに対応して発生することを特徴とする、請求項１に記載の方法。

【請求項3】

各フレームで前記署名値を発生するための設定情報を暗号化する段階と、
前記暗号化された情報を前記イメージセンサに伝送する段階と、をさらに含む、請求項１に記載の方法。

【請求項4】

外部のセンサから速度情報を受信する段階と、
前記速度情報を用いて前記車両の速度を判別する段階と、をさらに含む、請求項１に記載の方法。

【請求項5】

前記チェック周期を決定する段階は、
前記車両の速度が基準値以上であるとき、前記チェック周期を第１チェック周期として決定する段階と、
前記車両の速度が前記基準値未満であるとき、前記チェック周期を第２チェック周期として決定する段階と、を含み、
前記第１チェック周期は、前記第２チェック周期より短いことを特徴とする、請求項１に記載の方法。

【請求項6】

前記第１チェック周期は、各フレームごとに署名値を検証することに対応することを特徴とする、請求項５に記載の方法。

【請求項7】

前記車両の速度に応じた周期設定タイミングを計算する段階をさらに含む、請求項１に記載の方法。

【請求項8】

前記チェック周期を決定する段階は、
前記車両の速度が変動する時点で前記チェック周期を決定する段階を含む、請求項１に記載の方法。

【請求項9】

イメージデータを処理する制御器であって、
外部のセンサから速度情報を受信し、車両の速度を判別する車両速度判別器と、
前記車両の速度に対応する完全性チェック周期を決定するチェック周期制御器と、
前記完全性チェック周期に応じてイメージセンサから受信されたフレームの完全性を検証する完全性チェック実行器と、を含む、
制御器。

【請求項10】

イメージデータを取得し、前記イメージデータに対応する署名値を発生し、第１通信インタフェースを介して前記イメージデータと前記署名値をセキュアイメージデータとして出力するイメージセンサと、
前記イメージセンサからセキュアイメージデータを受信し、車両の速度に対応するチェック周期に応じて前記署名値を検証する制御器と、を含む、
イメージ処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、イメージデータを処理する制御器、それを有するイメージ処理システム及びその動作方法に関する。

【背景技術】

【0002】

運転者又は乗員の操作なしに自動車が自ら運行可能な自律走行が未来の自動車産業の核心的技術として浮上している。自律走行を可能にする基本的技術としては、ライダーやＣＩＳ（ＣＭＯＳ Ｉｍａｇｅ Ｓｅｎｓｏｒ）などを利用して車線認識、前／横／後ろの車を認識して車間距離を把握、歩行者を認識、道路環境を認識するなどの技術解決が先行されなければならない。このために、自動車は、現在走行中の道路状況及び走行状況について自動車内のセンサを用いてセンシングした後、自動車内のメインコントローラに関連情報を伝送するようになる。ところが、この間に第三者がハッキングして誤った情報をメインコントローラに送った場合、メインコントローラは誤った情報の流入により誤った判断を下す恐れがある。これは、高速で走行中の車両に直接に、リアルタイムで連動する状況であるため、乗員の命にも関わる重要な事項である。例えば、カメラセンサを介して道路上の車線が真っすぐ一直線になっている状況下で、センサがこのイメージ情報を自動車のメインコントローラに送る場合において、第三者であるハッカーがセンサとメインコントローラとの間に介入してイメージを操作し、道路の車線が右折道路上の車線であるかのように操作してコントローラに送ると、メインコントローラは直進車線の状況であるにもかかわらず、誤った車線情報に基づいて右折し、大きな事故を誘発するようになる。このため、センサとコントローラとの間における第三者の介入の有無、すなわち、センサ情報の完全性（ｉｎｔｅｇｒｉｔｙ）を保障する技術が必要である。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明の目的は、イメージデータの完全性をチェックする制御器、それを含むイメージ処理システム、及びその動作方法を提供することにある。

【0004】

本発明の目的は、車両の速度に応じて電力消費を最適化するように完全性をチェックする制御器、それを含むイメージ処理システム、及びその動作方法を提供することにある。

【課題を解決するための手段】

【0005】

本発明の実施形態に係るイメージデータを処理する制御器の動作方法は、イメージセンサから連続したフレームを有するイメージデータ及び上記イメージデータの署名値を受信する段階と、車両の速度を用いて上記署名値を検証する段階と、を含み、上記署名値を検証する段階は、上記車両の速度に応じて決定されたチェック周期を決定する段階と、上記チェック周期に応じて上記フレームの中で決定されたフレームの署名値を検証する段階と、を含むことができる。

【0006】

本発明の実施形態に係るイメージデータを処理する制御器は、外部のセンサから速度情報を受信し、車両の速度を判別する車両速度判別器と、上記車両の速度に対応する完全性チェック周期を決定するチェック周期制御器と、上記完全性チェック周期に応じてイメージセンサから受信されたフレームの完全性を検証する完全性チェック実行器と、を含むことができる。

【0007】

本発明の実施形態に係るイメージ処理システムは、イメージデータを取得し、上記イメージデータに対応する署名値を発生し、第１通信インタフェースを介して上記イメージデータと上記署名値をセキュアイメージデータとして出力するイメージセンサと、上記イメージセンサからセキュアイメージデータを受信し、車両の速度に対応するチェック周期に応じて上記署名値を検証する制御器と、を含むことができる。

【発明の効果】

【0008】

本発明の実施形態に係る制御器、それを有するイメージ処理システム、及びその動作方法は、速度に応じてイメージデータの完全性をチェックする回数を可変することによって、最適化された電力消費を実現することができる。

【図面の簡単な説明】

【0009】

以下に添付される図面は、本実施形態に関する理解を助けるためのものであり、詳細な説明と共に実施形態を提供する。

【0010】

【図1】本発明の実施形態に係るイメージ処理システムを例示的に示す図である。

【図2a】本発明の実施形態に係るイメージセンサ１００においてフレームの署名（ｓｉｇｎａｔｕｒｅ）を実現した実施形態を示す図である。

【図2b】本発明の実施形態に係るイメージセンサ１００においてフレームの署名（ｓｉｇｎａｔｕｒｅ）を実現した実施形態を示す図である。

【図3】本発明の実施形態に係る制御器２００の完全性チェックを例示的に示す図である。

【図4a】完全性チェック方式による電力消費を例示的に示す図である。

【図4b】完全性チェック方式による電力消費を例示的に示す図である。

【図5a】本発明の実施形態に係る車両の速度に応じた完全性チェック間隔を例示的に示す図である。

【図5b】本発明の実施形態に係る車両の速度に応じた完全性チェック間隔を例示的に示す図である。

【図5c】本発明の実施形態に係る車両の速度に応じた完全性チェック間隔を例示的に示す図である。

【図6a】一般的な回転区間において、車両の速度に応じた完全性チェック周期を例示的に示す図である。

【図6b】一般的な回転区間において、車両の速度に応じた完全性チェック周期を例示的に示す図である。

【図7】本発明の実施形態に係る制御器２００の車両の速度に応じた完全性チェック時点及び周期を決定する方式を例示的に示す図である。

【図8】本発明の実施形態に係る車両制御システム２０の完全性チェック過程を例示的に示す図である。

【図9】本発明の実施形態に係る車両制御システム２０の動作を例示的に示す図である。

【図10】本発明の実施形態に係る制御器の動作方法を例示的に示すフローチャートである。

【図11】本発明の実施形態に係る車両制御システムの完全性チェック過程を示すラダーダイヤグラムである。

【図12】本発明の実施形態に係る自律走行車両３０００を例示的に示す図である。

【図13】本発明の実施形態に係る車両用制御器４０００を例示的に示す図である。

【発明を実施するための形態】

【0011】

以下では、図面を用いて本発明の技術分野において通常の知識を有する者が容易に実施できる程度に本発明の内容を明確かつ詳細に記載する。

【0012】

本発明の実施形態に係る制御器、それを含むイメージ処理システム、及びその動作方法は、イメージデータの完全性チェック時、速度に応じたチェック時点の間隔の調整によって電力消費を最適化させることができる。本発明の制御器は、イメージ整合チェック周期制御器、速度判別器、及び速度に応じたイメージ完全性チェック実行器を含むことができる。本発明の実施形態に係る制御器、それを含むイメージ処理システム、及びその動作方法は、車両の速度に応じたイメージ完全性チェックを異ならせることによって、最適化された電力消費を実現することができる。

【0013】

図１は、本発明の実施形態に係るイメージ処理システム１０を例示的に示す図である。図１を参照すると、イメージ処理システム１０は、イメージセンサ１００及び制御器２００（ＩＳＰ／ＡＰ／ＥＣＵ／ＨＯＳＴ）を含むことができる。ここで、イメージセンサ１００（ＣＩＳ）は、カメラレンズを用いて撮像動作を行うカメラ装置であってもよい。イメージ処理システム１０は様々な種類のシステムに適用することができる。例えば、イメージ処理システム１０は自律運転システムに適用することができる。

【0014】

イメージセンサ１００（ＣＩＳ）は、車両の周辺からイメージを取得するように実現されることができる。さらに、イメージセンサ１００は、取得されたイメージを、信頼性を保障するセキュアイメージ（ｓｅｃｕｒｅｄ ｉｍａｇｅ；Ｉｍａｇｅ＋Ｓｉｇｎａｔｕｒｅ（ＣＭＡＣ））に変換し、変換されたセキュアイメージを制御器２００に伝送するように実現されることができる。実施形態において、セキュアイメージは、オリジナルイメージデータ及びオリジナルイメージデータの信頼性を検証するためのタグ（ＣＭＡＣ）を含むことができる。他の実施形態において、セキュアイメージは暗号アルゴリズムに基づいて暗号化されたイメージを含むことができる。

【0015】

イメージセンサ１００は、イメージセンシングユニット１１０、信号処理ユニット１２０、セキュリティ回路１３０、及びインタフェース回路１４０を含むことができる。

【0016】

イメージセンシングユニット１１０は、複数のピクセルを用いてイメージを取得するように実現されることができる。イメージセンシングユニット１１０は、ＮＭＯＳ（Ｎ－ｔｙｐｅ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、あるいはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサのうちいずれか一つで実現されるピクセルアレイを含むことができる。

【0017】

信号処理ユニット１２０は、イメージセンシングユニット１１０から取得されたイメージ信号を少なくとも一つの処理方式に従って処理することによってイメージデータを出力するように実現されることができる。

【0018】

セキュリティ回路１３０は、取得されたイメージデータをセキュアイメージに変換するのに必要な一連のセキュリティ機能（例えば、認証動作、鍵交換動作、暗復号動作など）を行うように実現されることができる。ここで、セキュリティ回路１３０は、ソフトウェア的、ハードウェア的、又はファームウェア的に実現されることができる。

【0019】

また、セキュリティ回路１３０は、制御器２００と認証動作を行うように実現されることができる。ここで、認証動作は様々なアルゴリズムに基づいて行われることができる。実施形態において、デバイス認証動作は、ＲＳＡ（Ｒｉｖｅｓｔ Ｓｈａｍｉｒ Ａｄｌｅｍａｎ）、ＥＣＣ（Ｅｌｌｉｐｔｉｃ Ｃｕｒｖｅ Ｃｒｙｐｔｏｇｒａｐｈｙ）、Ｄｉｆｆｉｅ－Ｈｅｌｌｍａｎなどの非対称鍵アルゴリズムに基づいて認証手続きが行われることができる。また、イメージ認証動作は、ＡＥＳ（Ａｄｖａｎｃｅｄ Ｅｎｃｒｙｐｔｉｏｎ Ｓｔａｎｄａｒｄ）、ＤＥＳ（Ｄａｔａ Ｅｎｃｒｙｐｔｉｏｎ Ｓｔａｎｄａｒｄ）などの対称鍵アルゴリズムに基づいて認証手続きが行われることができる。対称鍵アルゴリズムに基づく認証システムのために、その対称鍵がＳｅｎｓｏｒとＩＳＰ／ＡＰ／ＥＣＵ／ＨＯＳＴの相互間交換の実施形態において、その方法により非対称鍵認証方式が行われることができ、認証動作はイメージセンサ１００の設定動作の後に開始されることができる。特に、認証動作を行うと同時に、イメージセンサ１００から取得されたイメージデータ及びタグ（ＣＭＡＣ）は制御器２００に伝送されることができる。このとき、認証動作と同時に伝送されるイメージは、信頼性を検証するためのタグを含まなくてもよい。

【0020】

さらに、セキュリティ回路１３０は、制御器２００から伝送するイメージの偽変造の有無を確認するように、イメージデータに対してセキュリティ処理動作を行うように実現されてもよい。ここで、セキュリティ処理動作は、取得されたイメージデータに対するタグ（ＣＭＡＣ）を発生することができる。

【0021】

実施形態において、セキュリティ回路１３０のうち、対称鍵セキュリティ回路は、イメージデータ及び非対称鍵セキュリティ回路から受けた情報（共有鍵情報）を用いてタグ（ＣＭＡＣ）を発生することができる。ここで、タグ（ＣＭＡＣ）は、例えば、イメージデータの全体又は一部に対するＭＡＣ（Ｍｅｓｓａｇｅ Ａｕｔｈｅｎｔｉｃａｔｉｏｎ Ｃｏｄｅ）であってもよい。

【0022】

また、セキュリティ回路１３０は、暗号モジュール、ＤＰＡ防御モジュールを含むことができる。暗号モジュールは、暗号アルゴリズムに基づいて暗号化動作を行うか、又は復号化動作を行うように実現されることができる。ＤＰＡ防御モジュールは、イメージセンサ１００に対するＤＰＡ攻撃を防御するように実現されることができる。ＤＰＡ防御モジュールは、セキュリティ回路１３０においてセキュリティ処理動作（認証動作、復号化動作、鍵発生動作、ＭＡＣ演算動作など）を行う際に、乱数を用いて個人鍵の直接的な露出を低減するように実現されることができる。

【0023】

インタフェース回路１４０は、取得されたイメージデータ及びそのタグ（ＣＭＡＣ）を付加したセキュアイメージを、事前に決定されたインタフェース規格に従って制御器２００に伝送することができる。実施形態において、インタフェース規格は、ＭＩＰＩ（Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ）、ＭＡＳＳ（ＭＩＰＩ Ａｕｔｏｍｏｔｉｖｅ ＳｅｒＤｅｓ Ｓｏｌｕｔｉｏｎ）、ＤｉｓｐｌａｙＰｏｒｔなどであってもよい。

【0024】

制御器２００（ＩＳＰ／ＡＰ／ＥＣＵ／ＨＯＳＴ）は、イメージセンサ１００と認証動作を行うように実現されることができる。制御器２００は、イメージセンサ１００の公開鍵で暗号化された暗号文をイメージセンサ１００に伝送することができる。ここで、暗号文は、Ｉ２Ｃ（Ｉｎｔｅｒ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＳＰＩ（Ｓｅｒｉａｌ Ｐｅｒｉｐｈｅｒａｌ Ｉｎｔｅｒｆａｃｅ）、ＵＡＲＴ（Ｕｎｉｖｅｒｓａｌ Ａｓｙｎｃｈｒｏｎｏｕｓ Ｒｅｃｅｉｖｅｒ／Ｔｒａｎｓｍｉｔｔｅｒ）、ＭＩＰＩなどのインタフェース規格を介して伝送されることができる。

【0025】

また、制御器２００は、イメージセンサ１００から伝送されるセキュアイメージデータ（ＩＭＧ、ＣＭＡＣ）を受信し、これに対するイメージデータの完全性を確認した後、イメージデータの処理動作を行うように実現されることができる。例えば、制御器２００は、イメージセンサ１００とは別個に実現される半導体チップで実現されることができる。実施形態において、このような半導体チップは、少なくとも一つのプロセッサ及びイメージ処理モジュールが集積されたＳｏＣ（Ｓｙｓｔｅｍ Ｏｎ Ｃｈｉｐ）であってもよい。例えば、制御器２００は、ＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）ＳＯＣであってもよい。実施形態において、制御器２００は、受信されたイメージデータと、イメージセンサ１００と非対称鍵暗号化方式で共有された対称鍵情報とを用いてＭＡＣ値を計算し、これをイメージセンサ１００から伝送されたＭＡＣ値（ＣＭＡＣ）と比較することにより、イメージセンサ１００から伝送されたイメージデータの完全性を検証することができる。

【0026】

制御器２００は、車両速度判別器２１０、チェック周期制御器２２０、及び完全性チェック実行器２３０を含むことができる。

【0027】

車両速度判別器２１０は、内部のセンサ又は外部のセンサから感知された車両の速度に対応する速度情報を用いてリアルタイム車両の走行方向及び走行速度を判別するように実現されることができる。例えば、車両速度判別器２１０は、外部の少なくとも一つの速度センサから車両の速度に対応する速度情報を受信し、リアルタイムで車両の走行速度を判別することができる。ここで、外部の速度センサから受信された速度情報は、少なくとも一つの他の制御器（例えば、ＩＳＰ／ＡＰ／ＥＣＵ／ＨＯＳＴ）を経由して受信されることができる。

【0028】

チェック周期制御器２２０は、速度情報に対応する完全性チェック周期を決定するように実現されることができる。実施形態において、速度情報が等加速であるとき、完全性チェック周期は、走行方向に応じて完全性チェックを増加又は減少させることができる。例えば、車両の走行速度が速いときの完全性チェック回数は、車両の走行速度が遅いときの完全性チェック回数よりも多くてもよい。他の実施形態において、速度情報が等速であるとき、完全性チェック周期は以前のチェック周期を維持するように実現されてもよい。

【0029】

完全性チェック実行器２３０は、チェック周期に応じて対応するイメージデータ、例えば、フレームの完全性をチェックするように実現されることができる。実施形態において、完全性チェック実行器２３０は、車両の速度が一定速度以上であるとき、フレームごとに完全性チェックを行うことができる。他の実施形態において、完全性チェック実行器２３０は、車両の速度が一定速度未満であるとき、事前に決定されたフレームごとに完全性チェックを行うことができる。なお、本発明の完全性チェックの実行は、車両の速度を勘案して様々なチェック周期に応じて行うことができる。

【0030】

一方、車両速度判別器２１０、チェック周期制御器２２０、及び完全性チェック実行器２３０のそれぞれは、ハードウェア的、ソフトウェア的、又はファームウェア的に実現されることができる。

【0031】

なお、制御器２００は、外部の制御器とＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＭＯＳＴ（Ｍｅｄｉａ Ｏｒｉｅｎｔｅｄ Ｓｙｓｔｅｍ Ｔｒａｎｓｐｏｒｔ）、ＬＩＮ（Ｌｏｃａｌ Ｉｎｔｅｒｃｏｎｎｅｃｔｅｄ Ｎｅｔｗｏｒｋ）、ＦｌｅｘＲａｙ、Ｅｔｈｅｒｎｅｔなど、様々な通信方式で通信を行うことができる。一方、図１に示すように、イメージ処理システム１０は、一つの制御器２００と一つのイメージセンサ１００が示されている。しかし、本発明のイメージ処理システム１０は、他にも様々な形態で実現されることができる。本発明のイメージ処理システムは、制御器の個数又はイメージセンサの個数を様々に組み合わせて実現されることができる。

【0032】

また、制御器２００は、各カメラセンサから伝達された大量のイメージを分析し、これに基づいて現在の交通状況及び障害物を解析し、以降の動作のための装置制御をリアルタイムで行うことができる。同時に、制御器２００は、正当なカメラ装置からイメージが伝達されたか否か、及びイメージの伝達過程で偽変造が発生していないかを確認するためのセキュリティ処理動作を行うことができる。

【0033】

制御器２００は、上述のセキュリティ機能を行うセキュリティモジュール（例えば、ＨＳＭ（Ｈａｒｄｗａｒｅ Ｓｅｃｕｒｉｔｙ Ｍｏｄｕｌｅ））を含むことができる。ここで、セキュリティモジュールは、ソフトウェア的、ハードウェア的、又はファームウェア的に実現されることができる。一般的に、セキュリティモジュール（ＨＳＭ）とは、暗号化鍵の寿命周期を保護するために特別に設計された暗号化プロセッサを意味する。ＨＳＭは、強化された偽造防止装置内で暗号化処理、鍵保護及び鍵管理を行う。一般的に、車両制御器ドメインにおいて使用されるＨＳＭは、鍵を安全に格納することができるセキュアメモリ（Ｓｅｃｕｒｅ Ｍｅｍｏｒｙ）を備える。例えば、セキュアメモリは、ホストシステムとは別個にセキュリティ性の高いＨＳＭ専用のＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を含む。ＨＳＭは、専用のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を介して一連の動作を行い、潜在的な攻撃者の攻撃から相対的に安全に機能を行うことができる。

【0034】

一般的なイメージ処理システムは、一定間隔で又は毎フレームごとにイメージ完全性チェックを行っている。したがって、一般的なイメージ処理システムは、イメージ完全性チェック時に固定された電力消費を示している。一般的にイメージ完全性チェックは固定間隔又は毎フレームごとに行っているため、低速での電力消費が高速を基準に消耗されている。また、固定間隔を長くする場合には、低速を基準に電力消費が必要なだけ消耗されるという利点があるが、高速でのイメージフレームの完全性が保障されない可能性もある。

【0035】

これに対し、本発明の実施形態に係るイメージ処理システム１０は、車両の速度に応じて完全性チェック周期を可変する制御器２００を備えることにより、車両の速度に関係なく完全性をチェックすると同時に、最適な電力消費を実現することができる。すなわち、車両の速度を勘案してイメージフレームの完全性をチェックするのに速度が速い場合には、完全性チェックを逃すフレームがなく、速度が遅い場合には最適な電力消費を実現することができる。

【0036】

一方、本発明の実施形態に係るイメージ処理システム１０は、リソース問題を考慮して完全性チェック、すなわち、署名チェック（ｓｉｇｎａｔｕｒｅ ｃｈｅｃｋ）を毎フレーム単位としなくてもよい。

【0037】

図２ａ及び図２ｂは、本発明の実施形態に係るイメージセンサ１００において、フレームの署名（ｓｉｇｎａｔｕｒｅ）を実現した実施形態を示す図である。

【0038】

図２ａを参照すると、ＩＳＰ／ＡＰ／ＥＣＵ／ＨＯＳＴに伝達されるイメージ関連情報は、センサ内の様々な情報を含む埋め込みライン（ｅｍｂｅｄｄｅｄ ｌｉｎｅｓ）とフッター（ｆｏｏｔｅｒ）を含むことができる。ＣＭＡＣｃｏｄｅはフッター内の特定領域に含まれている。フレームの署名は、当該情報に対して、例えば、ｅｍｂｅｄｄｅｄ ｌｉｎｅｓ＋ｉｍａｇｅ ｆｒａｍｅを対象に、あるいはｉｍａｇｅ ｆｒａｍｅ自体のみ、あるいはｅｍｂｅｄｄｅｄ ｌｉｎｅｓ＋ｉｍａｇｅ ｆｒａｍｅ＋ｆｏｏｔｅｒを対象に、様々な方法で署名の対象を選択して行うことができる。一方、フレーム内のイメージ署名方式は、図２ａに示すように、第１水平ラインのために署名を行うことに限定されない。本発明のフレーム署名方式は、署名を開始する水平ラインを選択することができる。また、本発明のフレームの署名方式は、複数の水平ラインに対する署名を含むことができる。さらに、本発明のフレームの署名方式は、署名を行う全体水平ラインの個数を制限することができる。

【0039】

図２ｂを参照すると、一つのフレームにおいて第２水平ラインから署名を開始し、７個の水平ラインごとに署名を行い、全体Ｎ個の水平ラインに対する署名を行うことが示されている。

【0040】

図２ａ及び図２ｂから類推できるように、本発明のフレーム署名方式は、開始する水平ライン、署名を行う水平ラインの間隔、署名を行う水平ラインの総個数を自由に選択することができる。このようなフレーム署名方式は、イメージセンサ１００のリセット後に制御器２００（図１を参照）で決定することができる。制御器２００は、決定された署名方式に対応する情報を暗号化し、暗号化されたコードをイメージセンサ１００に伝送することができる。イメージセンサ１００は、このような暗号化されたコードを復号化してフレーム署名方式を確認し、確認されたフレーム署名方式に従ってフレーム署名を行うことができる。

【0041】

例えば、第１実施形態に係るフレーム署名情報は、第１水平ラインで署名を開始し、１０個の水平ラインごとに署名を行い、全体署名を行う水平ラインの個数は１個を指示する情報を含むことができる。第２実施形態に係るフレーム署名情報は、第２３０水平ラインで署名を開始し、１０個の水平ラインごとに署名を行い、全体署名を行う水平ラインの個数は１個を指示する情報を含むことができる。第３実施形態に係るフレーム署名情報は、第１１１２水平ラインで署名を開始し、１０個の水平ラインごとに署名を行い、全体署名を行う水平ラインの個数は１個を指示する情報を含むことができる。

【0042】

一方、本発明の実施形態に係る制御器２００の完全性チェック動作は、毎フレームごとに行うか、又はまばらに行うことができる。

【0043】

図３は、本発明の実施形態に係る制御器２００の完全性チェックを例示的に示す図である。図３を参照すると、制御器２００は、第１フレームに対する署名チェックを行った後、第２～第４フレームに対する署名チェックは行わずに、第５フレームに対する署名チェックを行うことができる。すなわち、第１フレームから開始して４個のフレームごとに署名チェックが行われることができる。

【0044】

一方、本発明の署名チェック方式は等差数列の形態で行われているが、本発明はこれに限定されないものと理解すべきである。本発明の署名チェック方式は固定されたものではなく、変更可能なものと理解されるべきである。例えば、本発明の署名チェック時点及びチェックフレーム選択方式は、車両の速度に応じて電力消費を最適化するための方式に可変することができる。

【0045】

一般的な制御器は、車両の速度に関係なく、一定の間隔又は毎フレームごとにイメージ完全性をチェックしている。この場合、車両の速度を考慮しないため、低速では相対的に電力消費が大きいか、又は低速を基準に電力消費を考慮して完全性チェック間隔を広げる場合、高速ではイメージ完全性の間隔が広くなることにより変更された道路情報をチェックできない可能性があるため、そのフレームの間に第三者によるイメージ変更が介入される可能性が大きくなる。フレーム単位で第三者によるイメージ変更がチェックされない恐れがある。これに対し、本発明の実施形態に係る制御器２００は、車両の速度に応じてイメージ完全性チェック間隔を調節することにより、システムの全体的な電力消費を最適化すると同時に、高速に応じた道路変更情報を反映したイメージ完全性チェックを保障することができる。

【0046】

図４ａ及び図４ｂは、完全性チェック方式による電力消費を例示的に示す図である。図４ａを参照すると、車両の速度に関係なく、一定の間隔又は毎フレームごとのイメージ完全性チェック方式は、速度に関係なく常に最大の電力消費を行っている。これとは逆に、本提案を適用する場合には、図４ｂを参照すると、車両の速度が低速のときにイメージチェック間隔は長いものの電力消費も小さく、車両の速度が高速のときにはイメージチェック間隔が狭いため、電力消費が低速のときよりは大きいもののイメージ完全性の有効性を確保することができる。

【0047】

図５ａ、図５ｂ、及び図５ｃは、本発明の実施形態に係る車両の速度に応じた完全性チェック間隔を例示的に示す図である。図５ａに示す完全性チェック間隔は、図４ｂに示す１０Ｋｍ／ｈのときであり、図５ｂに示す完全性チェック間隔は、図４ｂに示す３０Ｋｍ／ｈのときであり、図５ｃに示す完全性チェック間隔は、図４ｂに示す６０Ｋｍ／ｈのときである。図５ａを参照すると、車両の速度が１０Ｋｍ／Ｈのときは、４－フレームごとに完全性チェックが行われることができる。図５ｂを参照すると、車両の速度が３０Ｋｍ／Ｈのときは、３－フレームごとに完全性チェックが行われることができる。図５ｃを参照すると、車両の速度が６０Ｋｍ／Ｈのときは、２－フレームごとに完全性チェックが行われることができる。

【0048】

本発明の実施形態に係る完全性チェック間隔は、車両の速度に応じて可変することができる。例えば、車両の速度が速いほど完全性チェック間隔は短くなり、車両の速度が遅いほど完全性チェック間隔は長くなることができる。図５ａ、図５ｂ、図５ｃに例示した速度と完全性チェック時点は、本提案を説明するための例示値に過ぎず、実際の実施形態では、事前に車両の速度と完全性チェック時点を正確に測定してその相関関係を分析した後、最終適用する速度別の完全性チェック時点を決定することになる。

【0049】

図６ａ及び図６ｂは、本発明の実施形態に係る回転区間において、車両の速度に応じた完全性チェック周期を例示的に示す図である。

【0050】

図６ａを参照すると、右折区間において６０Ｋｍ／ｈで走行するとき、毎フレームごとに完全性チェックが行われることができる。車両の速度が６０Ｋｍ／ｈと速い場合、曲がった道路において、制御器２００はフレーム３とフレーム４で道路が曲がったことを認識するために毎フレーム単位でイメージ処理をした場合にのみ、フレーム３とフレーム４で道路が曲がったという事実を認識することができる。したがって、イメージがハッキングされているか否かに対する処理も、同様に毎フレーム単位で行わなければならない。このとき、説明の便宜上、システムにおいて毎フレーム単位で署名チェックを行うが、電力消費を２００ｍＡとする。

【0051】

図６ｂを参照すると、右折区間において１０Ｋｍ／ｈで走行するとき、４－フレームごとに完全性チェックが行われることができる。上記の図６ａのように、同様に毎フレームごとに完全性チェックを行う必要があるが、車両の速度が遅い場合であるため、単位時間に比べてフレームがより多く処理されるようになり、例えば、車両の速度が１０Ｋｍ／ｈのとき、曲がった道路において制御器２００は、速い速度に比べて１／４の間隔でのみイメージ完全性チェックを行うことができる。これにより、電力消費は速い速度に比べて１／４に減少した５０ｍＡとなり得る。これは、完全性チェックも毎フレーム単位で処理されるため、この処理のためのパワーも、図６ａのように、同様に２００ｍＡを消耗するようになる。しかし、本提案に従って速度が遅い場合、１／４の間隔でのみイメージ完全性チェックを行うと、単なる算術計算によれば、このときに消耗されるパワーは２００ｍＡの１／４である５０ｍＡとなる。上記の例示で説明した１０Ｋｍ／ｈ、２００ｍＡ、１／４、５０ｍＡ等の数値は、説明のために例示したものであり、実際の実施形態では、精密な測定及び完全性チェック時点の可変によるパワーの消耗が確認される。

【0052】

図７は、本発明の実施形態に係る制御器２００の車両の速度に対する完全性チェック時点及び周期を決定する方式を例示的に示す図である。

【0053】

一般的に、車両の速度が変動する時点でイメージ完全性の周期値決定が必要がある。図７を参照すると、実線は車両の速度を示し、点線の矢印は決定時点を示す。実施形態において、車両の速度が速く変更されると、より速い値で完全性チェック周期が決定されることができる。これに対し、車両の速度が遅く変更されると、遅い値で完全性チェック周期が決定されることができる。また、車両の速度が変更されないと、最後の完全性チェック周期値が維持されることができる。

【0054】

図７に示すように、Ａ区間において単位時間当たり１回の割合、Ｂ区間においては単位時間当たり１８回の割合でイメージデータ完全性チェック制御時間が決定されることができる。例えば、Ａ区間の完全性チェック周期は（１０ｋｍ／ｈ－０ｋｍ／ｈ）／（１０ｓ－０ｓ）＝１０／１０＝１であり、Ｂ区間の完全性チェック周期は（１００ｋｍ／ｈ－１０ｋｍ／ｈ）／（２５ｓ－２０ｓ）＝９０／５＝１８である。このとき、車両の速度に応じた完全性チェック周期値も適切な値に設定できる。

【0055】

図８は、本発明の実施形態に係る車両制御システム２０の完全性チェック過程を例示的に示す図である。図８を参照すると、車両制御システム２０は、少なくとも一つのセンサ２１及び制御器２２（ＩＳＰ／ＡＰ／ＥＣＵ／ＨＯＳＴ）を含むことができる。

【0056】

センサ２１は、図８に示すように、各フレームにおいて、第２フレームから６個の水平ラインごとに、全体Ｍ個の水平ラインのそれぞれに対してセキュリティ鍵を用いてＡＥＳ－ＣＭＡＣを計算して署名を行うことができる。ここで、セキュリティ鍵は、制御器２２と共有した鍵情報であってもよい。実施形態において、鍵情報は１１２ビット以上であってもよい。

【0057】

実施形態において、センサ２１は、複数のフレームをＭＩＰＩインタフェースに従って制御器２２に伝送することができる。ここで、各フレームは、第２フレームから６個の水平ラインごとに全体Ｍ個の水平ラインに対する署名を含むことができる。

【0058】

制御器２２は、外部装置との有線／無線通信方式を介して車両の速度情報を受信することができる。制御器２２は、車両の速度に応じて完全性チェック周期を決定することができる。ここで、完全性チェック周期は、マッピングテーブル又は変換数式を用いて取得できる。実施形態において、制御器２２は、Ｉ２Ｃインタフェースを介してどのフレームにイメージ署名データを付加するかのセンサ設定情報をセンサ２１に伝送することができる。一方、このような設定情報の伝送は省略されてもよい。制御器２２は、センサ２１から伝送されたフレームのイメージ完全性署名情報を完全性チェック周期に応じて行うことができる。

【0059】

図９は、本発明の実施形態に係る車両制御システム２０の動作を例示的に示す図である。図９を参照すると、車両制御システム２０は、装置認証を行い（Ｓ１０）、イメージデータ認証を行う（Ｓ２０）ことができる。

【0060】

装置認証はリセット後に一回だけ行われることができる。装置認証は次のように行うことができる。センサ２１は、証明データ（ｃｅｒｔｉｆｉｃａｔｉｏｎ ｄａｔａ）及び公開鍵を制御器２２に伝送することができる。制御器２２は、センサ２１から証明データ及び公開鍵を受信し、暗号アルゴリズムを用いてセンサ２１を認証することができる。ここで、暗号アルゴリズムはＲＳＡ暗号アルゴリズムであってもよい。センサ２１と制御器２２との間にセキュリティリンクが確立されることができる（Ｓ１０）。

【0061】

その後に、イメージデータ認証が行われることができる。センサ２１は、ＡＥＳ－ＣＭＡＣ（Ａｄｖａｎｃｅｄ Ｅｎｃｒｙｐｔｉｏｎ Ｓｔａｎｄａｒｄ－Ｃｉｐｈｅｒ－ｂａｓｅｄ Ｍｅｓｓａｇｅ Ａｕｔｈｅｎｔｉｃａｔｉｏｎ Ｃｏｄｅ）アルゴリズムに基づいてフレームの認証コードを発生することができる。ＭＩＰＩインタフェースを介して認証コードを有するフレームを制御器２２に出力することができる。制御器２２は、各フレーム又は事前に定められたフレームごとに認証コードのチェックを行うことができる（Ｓ２０）。

【0062】

図１０は、本発明の実施形態に係る制御器の動作方法を例示的に示すフローチャートである。図１～図１０を参照すると、制御器２００の動作方法は次のように行われることができる。制御器２００は、イメージセンサ１００からイメージデータ及び署名値（ＣＭＡＣ）を有する複数のフレームを受信することができる（Ｓ１１０）。制御器２００は、車両の速度を用いて、複数のフレームの中で事前に決定された完全性チェック周期に応じて署名値（ＣＭＡＣ）を検証することができる（Ｓ１２０）。

【0063】

実施形態において、署名値（ＣＭＡＣ）は、イメージセンサ１００においてフレームのそれぞれに対応して発生することができる。実施形態において、制御器２００は、各フレームにおいて署名値（ＣＭＡＣ）を発生するための設定情報を暗号化し、暗号化された情報はイメージセンサ１００に伝送されることができる。実施形態において、制御器２００は、外部のセンサから速度情報を受信し、速度情報を用いて車両の速度（走行速度）を判別することができる。実施形態において、車両の速度が基準値以上であるとき、制御器２００は、チェック周期を第１チェック周期として決定することができる。他の実施形態において、車両の速度が基準値未満であるとき、制御器２００は、チェック周期を第２チェック周期として決定することができる。ここで、第１チェック周期は、第２チェック周期より短くてもよい。実施形態において、第１チェック周期は、各フレームごとに署名値を検証することに対応することができる。

【0064】

実施形態において、制御器２００は、車両の速度に応じた周期設定タイミングを計算することができる。その後に、制御器２００は、車両の速度が変動する時点でチェック周期を決定することができる。実施形態において、制御器２００は、車両の速度に関係なく、一定の走行距離ごとにフレームの署名値を検証することができる。実施形態において、制御器２００は、車両の速度が増加するにつれて署名値の検証に対応する電力消費も増加することができる。

【0065】

図１１は、本発明の実施形態に係る車両制御システムの完全性チェック過程を示すラダーダイヤグラムである。図１１を参照すると、車両制御システムの完全性チェック過程を次のように行うことができる。

【0066】

速度センサ（又は他のＥＣＵ）は、リアルタイムで車両の速度情報を発生することができる（Ｓ２０）。速度情報は、リアルタイムで車両用制御器（ＥＣＵ）に伝送されることができる（Ｓ２１）。

【0067】

車両用制御器（ＥＣＵ）は、イメージセンサ（ＡＩＳ）のリセット後にＤｅｖｉｃｅ ａｕｔｈｅｎｔｉｃａｔｉｏｎ関連データ及び公開鍵をイメージセンサ（ＡＩＳ）から受信することができる（Ｓ３０）。車両用制御器（ＥＣＵ）は、Ｄｅｖｉｃｅ ａｕｔｈｅｎｔｉｃａｔｉｏｎ関連データ及び公開鍵を用いてイメージセンサ（ＡＩＳ）に対する装置認証を行うことができる（Ｓ３１）。装置認証が成功すると、車両用制御器（ＥＣＵ）は、イメージセンサ（ＡＩＳ）の設定のための設定情報を有する暗号コードをイメージセンサ（ＡＩＳ）に伝送することができる（Ｓ３２）。ここで、このような暗号コードはＩ２Ｃ、ＭＩＰＩ、又はＳＰＩインタフェースを介して伝送されることができる。

【0068】

イメージセンサ（ＡＩＳ）は、個人鍵を用いて受信された暗号コードを復号化し、復号化された値から設定情報を確認することができる。設定情報に応じてイメージセンサ（ＡＩＳ）は設定されることができる。例えば、イメージセンサ（ＡＩＳ）は、設定情報に応じて署名方式を決定することができる。その後、イメージセンサ（ＡＩＳ）は連続したフレームを発生することができる（Ｓ４０）。イメージセンサ（ＡＩＳ）は、決定された署名方式に従って各フレームの認証コード（ＣＭＡＣ）を発生することができる（Ｓ４１）。イメージセンサ（ＡＩＳ）は、イメージデータ（フレーム）及び認証コード（ＣＭＡＣ）を車両用制御器（ＥＣＵ）に出力することができる（Ｓ４２）。このとき、イメージデータ及び認証コード（ＣＭＡＣ）はＭＩＰＩインタフェースを介して伝送されることができる。

【0069】

車両用制御器（ＥＣＵ）は、速度センサから受信された速度情報を用いて完全性チェック時点を決定することができる（Ｓ４３）。その後、車両用制御器（ＥＣＵ）は、完全性チェック周期を決定し、イメージデータ認証を行うことができる（Ｓ４４）。すなわち、車両用制御器（ＥＣＵ）は、決定された完全性チェック周期に応じて受信されたイメージデータの認証コード（ＣＭＡＣ）をチェックすることができる。その後、車両用制御器（ＥＣＵ）は、車両速度の変化（変動）をモニタリングし、Ｓ２１段階にフィードバックすることができる（Ｓ４５）。

【0070】

図１２は、本発明の実施形態に係る自律走行車両３０００を例示的に示す図である。図１２を参照すると、フロントビューカメラ３１００、リアビューカメラ３２００、サラウンドビューカメラ３３００、３４００は、図１～図１１に説明されたイメージセンサで実現されることができる。また、サイドセンシングカメラ、ドライバモニタリングカメラ、電子ミラーのうち少なくとも一つは、図１～図１１に説明された制御器によってデータが検証されることができる。

【0071】

図１３は、本発明の実施形態に係る車両用制御器４０００を例示的に示す図である。図１３を参照すると、車両用制御器４０００は、ＥＣＵ４１００、少なくとも一つのカメラ４２００、ライダー／レーダー４３００、少なくとも一つのセンサ４４００、格納装置４５００、及びディスプレイ装置４６００を含むことができる。

【0072】

ＥＣＵ４１００は、少なくとも一つのカメラ４２００及びライダー／レーダー４３００にＣＳＩ－２インタフェースを介して連結されることができる。ここで、カメラ４２００及びライダー／レーダー４３００は、図１～図１３で説明したように、ＥＣＵ４１００とセキュリティ通信を行うことができる。ＥＣＵ４１００は、少なくとも一つのセンサ４４００にＩ２Ｃインタフェースを介して連結されることができる。ＥＣＵ４１００は、ＵＦＳ（Ｕｎｉｖｅｒｓａｌ Ｆｌａｓｈ Ｓｔｏｒａｇｅ）インタフェースを介して格納装置４５００に連結されることができる。ＥＣＵ４１００は、ＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、ＤＳＩ（Ｄｉｓｐｌａｙ Ｓｅｒｉａｌ Ｉｎｔｅｒｆａｃｅ）、ｅＤＰ（Ｅｍｂｅｄｄｅｄ Ｄｉｓｐｌａｙ Ｐｏｒｔ）などのようなディスプレイインタフェースを介してディスプレイ装置４６００に連結されることができる。ＥＣＵ４１００は、ＭＩＰＩ（Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ）Ａ-ＰＨＹインタフェースを介して他のＥＣＵに連結されることができる。一方、本発明はＭＩＰＩ Ａ－ＰＨＹインタフェースに限定されないものと理解すべきである。ＥＣＵ４１００は、ＭＩＰＩ Ｃ－ＰＨＹ／Ｄ－ＰＨＹ／Ｍ－ＰＨＹインタフェースを介して他のＥＣＵに連結されることもできる。ＥＣＵ４１００は、車両内の他のドメインにイーサネット（Ｅｔｈｅｒｎｅｔ）インタフェースを介して連結されることができる。一方、本発明はイーサネットインタフェースに限定されないものと理解すべきである。ＥＣＵ４１００は、様々な車両通信用インタフェース（ＣＡＮ、ＣＡＮ－ＦＤ、ＬＩＮ、ＦｌｅｘＲａｙなど）を介して他のドメインに連結されることができる。

【0073】

なお、上述した本発明の内容は、発明を実施するための具体的な実施形態に過ぎない。本発明は、具体的かつ実際に利用可能な手段自体だけでなく、将来の技術として活用できる抽象的かつ概念的なアイデアである技術的思想も含む。

【符号の説明】

【0074】

１０：イメージ処理システム
１００：イメージセンサ
２００：制御器
２１０：車両速度判別器
２２０：チェック周期制御器
２３０：完全性チェック実行器

【図1】

【図2a】

【図2b】

【図3】

【図4a】

【図4b】

【図5a】

【図5b】

【図5c】

【図6a】

【図6b】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】