知財求人 - 知財ポータルサイト「IP Force」
▶ テキサス インスツルメンツ インコーポレイテッドの特許一覧 ▶ 日本テキサス・インスツルメンツ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-01-10
(54)【発明の名称】画像フレームフリーズ検出のための方法及び装置
(51)【国際特許分類】
G06T 1/20 20060101AFI20221227BHJP
【ＦＩ】
G06T1/20 Z
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022525593
(86)(22)【出願日】2020-10-30
(85)【翻訳文提出日】2022-06-29
(86)【国際出願番号】 US2020058084
(87)【国際公開番号】W WO2021087184
(87)【国際公開日】2021-05-06
(31)【優先権主張番号】16/669,138
(32)【優先日】2019-10-30
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】507107291
【氏名又は名称】テキサス インスツルメンツ インコーポレイテッド
(74)【代理人】
【識別番号】230129078
【弁護士】
【氏名又は名称】佐藤 仁
(71)【出願人】
【識別番号】390020248
【氏名又は名称】日本テキサス・インスツルメンツ合同会社
(72)【発明者】
【氏名】ニラジ ナンダン
(72)【発明者】
【氏名】ブライアン チャエ
(72)【発明者】
【氏名】ミヒル モディ
(72)【発明者】
【氏名】ラジャセカール レディ アル
【テーマコード（参考）】
5B057
【Ｆターム（参考）】
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CG07
5B057CH08
5B057CH16
5B057DA16
5B057DB02
5B057DB06
5B057DB09
(57)【要約】
画像フレームフリーズ検出のための方法、装置、システム、及び製品が説明される。或る例示のハードウェアアクセラレータ（２０４）は、第１の画像フレームに関連する第１の画像データに基づいて、処理された画像データ、変換された画像データ、又は一つ又は複数の画像データ統計値の少なくとも一つに対応する第２の画像データを生成するためのコア論理回路（２０８）と、コア論理回路に結合され、コア論理回路から取得した第２の画像データに基づいて第１のＣＲＣ値を判定するためのロード／ストアエンジン（ＬＳＥ）（２０６）と、第２のインターフェース（２２４）に結合される第１のインターフェース（２３０）とを含み、第２のインターフェースはメモリ（２１２）に結合され、第１のインターフェースは、メモリから取得した第１のＣＲＣ値をホストデバイス（２１４Ａ、２１４Ｂ）に送信するためのものである。
【特許請求の範囲】
【請求項1】
ハードウェアアクセラレータであって、第１の画像フレームに関連する第１の画像データに基づいて第２の画像データを生成するためのコア論理回路であって、前記第２の画像データが、処理された画像データ、変換された画像データ、又は、一つ又は複数の画像データ統計値、の少なくとも一つに対応する、前記コア論理回路と、
前記コア論理回路に結合され、前記第２の画像データに基づいて第１のＣＲＣ値を判定するためのロード／ストアエンジン（ＬＳＥ）と、
第２のインターフェースに結合される第１のインターフェースと、
を含み、
前記第２のインターフェースがメモリに結合され、前記第１のインターフェースが、前記メモリから取得した前記第１のＣＲＣ値をホストデバイスに送信するためのものである、
ハードウェアアクセラレータ。
【請求項2】
請求項１に記載のハードウェアアクセラレータであって、前記第１のインターフェースが、前記第１のＣＲＣ値が第２のＣＲＣ値に一致することに応答して、前記ホストデバイスに警告を生成させるためのものであり、第２の画像フレームに関連する前記第２のＣＲＣ値が、前記第１の画像フレームの前に捕捉される、ハードウェアアクセラレータ。
【請求項3】
請求項１に記載のハードウェアアクセラレータであって、前記第１の画像データが一つ又は複数の画素値を含み、前記コア論理回路が、前記一つ又は複数の画素値の合計を判定することによって、前記一つ又は複数の画像データ統計値の第１の画像データ統計値を生成するためのものであり、前記ＬＳＥが、前記一つ又は複数の画素値の前記合計に基づいて前記第１のＣＲＣ値を判定するためのものである、ハードウェアアクセラレータ。
【請求項4】
請求項１に記載のハードウェアアクセラレータであって、前記第１の画像データが一つ又は複数の画素値を含み、前記コア論理回路が、
前記一つ又は複数の画素の最小値を判定することによって、前記一つ又は複数の画像データ統計値の第１の画像データ統計値を生成し、及び、
前記一つ又は複数の画素の最大値を判定することによって、前記一つ又は複数の画像データ統計値の第２の画像データ統計値を生成するためのものであり、
前記ＬＳＥが、前記第１の画像データ統計値又は前記第２の画像データ統計値に基づいて前記第１のＣＲＣ値を判定するためのものである、
ハードウェアアクセラレータ。
【請求項5】
請求項１に記載のハードウェアアクセラレータであって、前記第１の画像データが画素値を含み、前記コア論理回路が、前記画素値に対して近隣認識画素変換を実行して、変換された画像データを生成し、前記変換された画像データに対応するビットストリングに基づいてバイナリ値を判定し、及び、前記画素値の中央画素値を前記バイナリ値に対応する１０進値で置換することによって、変換された画素データを生成するためのものであり、前記ＬＳＥが、前記変換された画素データに基づいて前記第１のＣＲＣ値を判定するためのものである、ハードウェアアクセラレータ。
【請求項6】
請求項５に記載のハードウェアアクセラレータであって、前記近隣認識画素変換がセンサス変換である、ハードウェアアクセラレータ。
【請求項7】
請求項１に記載のハードウェアアクセラレータであって、前記ＬＳＥが論理回路スレッドを含み、前記論理回路スレッドが、前記第１の画像データを取得するための画像データバッファと、
複数の入力チャネルと、
マルチプレクサと、
を含み、
前記画像データバッファが前記マルチプレクサの第１の入力に結合され、前記複数の入力チャネルの第１の入力チャネルが前記マルチプレクサの第２の入力に結合され、前記マルチプレクサが、前記画像データバッファを選択することに応答して、前記コア論理回路への前記第１の画像データの送信を促進するためのものである、
ハードウェアアクセラレータ。
【請求項8】
請求項１に記載のハードウェアアクセラレータであって、前記ＬＳＥが、前記コア論理回路に結合される第３のインターフェースと、
第１の出力チャネルを含む複数の出力チャネルと、
第１のＣＲＣ論理回路を含む複数のＣＲＣ論理回路と、
を含み、
前記複数のＣＲＣ論理回路のそれぞれ一つが、前記第３のインターフェースのそれぞれ一つと前記複数の出力チャネルのそれぞれ一つとに結合され、前記第１のＣＲＣ論理回路が、前記第１の出力チャネルから取得した前記第２の画像データに基づいて前記第１のＣＲＣ値を判定するためのものである、
ハードウェアアクセラレータ。
【請求項9】
システムであって、画像フレームを捕捉するためのカメラと、
前記カメラに結合される集積回路と、
を含み、
前記集積回路が、
前記画像フレームに関連する第２の画像データに基づいて、処理された画像データ、変換された画像データ、又は、一つ又は複数の画像データ統計値、の少なくとも一つに対応する第１の画像データを生成し、及び、前記第１の画像データに基づいてＣＲＣ値を判定するためのハードウェアアクセラレータ（ＨＷＡ）と、
前記ＣＲＣ値に基づいて画像フレームフリーズ状況を検出するために、前記ＣＲＣ値をホストデバイスに送信するためのホストデバイスインターフェースと、
を含む、
システム。
【請求項10】
請求項９に記載のシステムであって、前記画像フレームが第１の画像フレームであり、前記ＣＲＣ値が第１のＣＲＣ値であり、前記システムが、前記第１のＣＲＣ値が第２のＣＲＣ値に一致することに応答して警告を生成するための前記ホストデバイスをさらに含み、前記第２のＣＲＣ値が、前記第１の画像フレームの前に前記カメラによって捕捉される第２の画像フレームに関連する、システム。
【請求項11】
請求項９に記載のシステムであって、前記画像フレームを取得するための画像データインターフェースをさらに含み、前記集積回路が、前記画像データインターフェース及び前記ＨＷＡに結合されるデータ動きファブリックと、
前記データ動きファブリックに結合されるメモリインターフェースと、
前記メモリインターフェースに結合され、前記第２の画像データをストアするためのメモリと、
を含み、
前記ＨＷＡが、前記第１の画像データを生成する前に、前記メモリから前記第２の画像データを取得するためのものである、
システム。
【請求項12】
請求項９に記載のシステムであって、前記画像フレームを取得するための画像データインターフェースをさらに含み、前記集積回路が、前記画像データインターフェース及び前記ＨＷＡに結合されるデータ動きファブリックと、
前記データ動きファブリックに結合されるメモリインターフェースと、
前記メモリインターフェースに結合されるメモリと、
を含み、
前記ＨＷＡが、前記第１の画像データ又は前記ＣＲＣ値の少なくとも一つを判定した後、前記第１の画像データ又は前記ＣＲＣ値の前記少なくとも一つを前記メモリにストアするためのものである、
システム。
【請求項13】
請求項９に記載のシステムであって、前記第２の画像データが一つ又は複数の画素値を含み、前記ＨＷＡが、前記一つ又は複数の画素値の最小値又は最大値を判定することによって、前記一つ又は複数の画像データ統計値の第１の画像データ統計値を生成し、及び、
前記一つ又は複数の画素値の前記最小値又は前記最大値に基づいて、前記ＣＲＣ値を判定するためのものである、
システム。
【請求項14】
請求項９に記載のシステムであって、前記第２の画像データが画素値を含み、前記ＨＷＡが、前記画素値に対して変換動作を実行して、前記変換された画像データを生成し
前記変換された画像データに対応するビットストリングに基づいてバイナリ値を判定し、
前記画素値の中央画素値を、前記バイナリ値に対応する１０進値で置換することによって、変換された画素データを生成し、及び、
前記変換された画素データに基づいて、前記ＣＲＣ値を生成するためのものである、
システム。
【請求項15】
請求項９に記載のシステムであって、前記集積回路に結合されるディスプレイパネルをさらに含み、前記集積回路が、前記カメラから前記画像フレームを取得するための画像データインターフェースと、
前記画像データインターフェースに結合され、前記画像データインターフェースから前記画像フレームを取得するためのデータ動きファブリックと、
前記データ動きファブリックに結合され、前記データ動きファブリックから前記画像フレームを取得するためのメモリインターフェースと、
前記メモリインターフェースに結合され、前記メモリインターフェースから取得した前記画像フレームをストアするためのメモリと、
前記データ動きファブリックに結合され、前記画像フレームを前記データ動きファブリックから前記ディスプレイパネルに送信するためのディスプレイコントローラと、
を含む、
システム。
【請求項16】
方法であって、カメラによって捕捉される第１の画像フレームに関連する第２の画像データに基づいて、処理された画像データ、変換された画像データ、又は、一つ又は複数の画像データ統計値、の少なくとも一つに対応する第１の画像データを生成することと、
前記第１の画像データに基づいて第１のＣＲＣ値を判定することと、
前記第１のＣＲＣ値を、前記第１の画像フレームより前に前記カメラによって捕捉された第２の画像フレームに関連する第２のＣＲＣ値と比較することと、
前記比較に基づいて前記第１のＣＲＣ値が前記第２のＣＲＣ値に一致することに応答して、画像フレームフリーズ状況が検出されたことを示す警告を生成することと、
を含む、方法。
【請求項17】
請求項１６に記載の方法であって、ディスプレイパネル上に前記警告を表示することと、
前記画像フレームフリーズ状況が検出されないことに応答して、前記第１の画像フレームの後に前記カメラによって捕捉される第３の画像フレームを表示することと、
をさらに含む、方法。
【請求項18】
請求項１６に記載の方法であって、前記第２の画像データが一つ又は複数の画素値を含み、前記方法が、前記一つ又は複数の画素値の合計、前記一つ又は複数の画素値の最小値、又は前記一つ又は複数の画素値の最大値を判定することによって、前記一つ又は複数の画像データ統計値を生成することと、
前記一つ又は複数の画素値の前記合計、前記一つ又は複数の画素値の前記最小値、又は前記一つ又は複数の画素値の前記最大値に基づいて前記第１のＣＲＣ値を判定することと、
をさらに含む、方法。
【請求項19】
請求項１６に記載の方法であって、前記第２の画像データが画素値を含み、前記方法が、前記画素値に対して変換動作を実行して、前記変換された画像データを生成することと、
前記変換された画像データに対応するビットストリングに基づいてバイナリ値を判定することと、
前記画素値の中央画素値を、前記バイナリ値に対応する１０進値で置換することによって、変換された画素データを生成することと、
前記変換された画素データに基づいて前記第１のＣＲＣ値を判定することと、
をさらに含む、方法。
【請求項20】
請求項１６に記載の方法であって、前記第１のＣＲＣ値と前記第２のＣＲＣ値を前記比較することが第１の比較であり、前記方法が、前記第２の画像データに基づいて第３のＣＲＣ値を判定することと、
前記第２の画像データに関連する第１の変換された画素データに基づいて第４のＣＲＣ値を判定することと、
前記第３のＣＲＣ値と、前記第２の画像フレームに関連する第５のＣＲＣ値との第２の比較を行うことであって、前記第５のＣＲＣ値が、前記第２の画像フレームに関連する第３の画像データに基づくものである、前記第２の比較を行うことと、
前記第４のＣＲＣ値と、前記第２の画像フレームに関連する第６のＣＲＣ値との第３の比較を行うことであって、前記第６のＣＲＣ値が、前記第３の画像データに関連する第２の変換された画素データに基づくものである、前記第３の比較を行うことと、
前記第１の比較、前記第２の比較、又は前記第３の比較の少なくとも一つが、対応するＣＲＣ値間の差を示すことに応答して、前記警告を生成することと、
をさらに含む、方法。
【請求項21】
請求項１６に記載の方法であって、輸送媒体電子制御ユニットが、前記第１のＣＲＣ値を前記第２のＣＲＣ値と比較するためのものであり、前記警告を生成することに応答して、ディスプレイパネル上に前記第１の画像フレームを表示しないことと、
前記第１のＣＲＣ値が前記第２のＣＲＣ値に一致しないことに応答して、前記ディスプレイパネル上に前記第１の画像フレームを表示することと、
をさらに含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本記載は、一般に、画像処理に関し、特に、画像フレームフリーズ検出のための方法及び装置に関する。
【背景技術】
【0002】
電気及び／又は電子システムにおいて安全を保障するために、安全プロトコルが用いられる。例えば、国際標準化機構（ＩＳＯ）２６２６２は、自動車における電気及び／又は電子システムの機能安全性のための国際標準である。そのような安全プロトコルは、電子的障害に関連するリスク（例えば、危害の発生の頻度と、そうした危害の重大度との組み合わせ）を分析する。電子機器に対応する障害は、ランダム又は系統的なものであり得る。ランダムな障害は、たいてい、システム構成要素の機能性喪失に起因するハードウェア関連の恒久的又は過渡的障害に対応する。系統的障害は、たいてい、設計上の欠陥、誤った仕様、及び／又はソフトウェアにおける目的に適合しないエラーに対応する。そのような安全プロトコルは、輸送媒体（vehicle）安全性を高めるために信号を処理し得る信号処理サブシステム（例えば、ビジョンイメージングサブシステム）に関連する電気的リスクを分析し得る。
【図面の簡単な説明】
【0003】
【図1】輸送媒体イメージングシステムに関連するデータ処理パイプラインの例示の実装を示す。
【0004】
【図2】輸送媒体イメージングシステムに関連する画像フレームのフリーズを検出するためのロード／ストアエンジン及びコアを含むハードウェアアクセラレータを含むシステムオンチップ（ＳＯＣ）の例示の実装を示す。
【0005】
【0006】
【0007】
【0008】
【0009】
【0010】
【0011】
【0012】
【0013】
【0014】
【0015】
【0016】
【0017】
【0018】
【0019】
【0020】
「第１」、「第２」、「第３」等という記述子は、個別に参照され得る複数の要素又は構成要素を識別するために用いられる。それらの使用の文脈に基づいて特に特定又は理解されない限り、そのような記述子は、優先順位又は時間的な順の如何なる意味も負っておらず、説明される例を理解しやすいように複数の要素又は構成要素を個別に参照するための単なる標示である。いくつかの例において、「第１」という記述子は、詳細な説明において或る要素を参照するために用いられ得、一方で、これと同じ要素が、或る請求項において、「第２」又は「第３」などの異なる記述子を用いて参照され得る。そのような例では、そのような記述子は、単に複数の要素又は構成要素を参照しやすくするために用いられている。
【発明を実施するための形態】
【0021】
コンピューティングデバイス及び／又は電気デバイスの複雑さは、技術の進歩と共に著しく増している。そのようなデバイスには、特定の機能を実施するためのハードウェア、ソフトウェア、及び／又はファームウェアが含まれる。ハードウェア、ソフトウェア、及び／又はファームウェアにおいてエラーが生じた場合、そのようなデバイスは、特定の機能を行わない可能性、又は、特定の機能を低い性能で実行する可能性がある。そのような行うことができないこと及び／又は低い実行性能は、関連するシステムの結果に影響を及ぼし得る。例えば、輸送媒体（vehicle）（例えば、空中輸送媒体、陸上輸送媒体等）の自律的動作の実行を促進し得る自動操縦コンピューティングデバイスが、或るセンサから未加工画像データを取得し得、未加工画像データを処理するために、及び／又は、未加工画像データに基づいて画像をレンダリングするために、その未加工画像データをビジョンイメージングサブシステム（ＶＩＳＳ）（例えば、視覚的画像処理サブシステム）に送信し得る。自動操縦コンピューティングデバイスがレンダリングされた画像を受け取ると、自動操縦コンピューティングデバイスは、レンダリングされた画像の更なる分析に基づいてナビゲーション決定をし得る。適切なナビゲーション意思決定を保証するため、安全プロトコル（例えば、安全フック）が適所に在り得、電気及び／又は電子システムが（例えば、リスクを低減するために）機能し得ること及び意思決定プロセスのために適切なデータが利用可能であることを保証する。場合によっては、安全プロトコルは、ＶＩＳＳと共に用いられ得る。
【0022】
ＶＩＳＳが、そのようなサブシステムの効率に起因する信号処理プロトコルを行うようにプロセッサと共に利用され得る。例えば、ＶＩＳＳは、入力信号（例えば、画像ソースからのデータ）を処理し、処理された入力信号をプロセッサに送信し得る。場合によっては、プロセッサは、画像データソース（例えば、カメラ）レベルでフレームフリーズ（例えば、画像フレームフリーズ）状況を検出し得る。例えば、フレームフリーズは、カメラが壊れたり損傷したりして、前に生成した出力画像に実質的に類似する出力画像を誤って生成することが原因で生じ得る。
【0023】
場合によっては、プロセッサは、同じ画像データが繰り返しＶＩＳＳに送信されているという輸送又は送信故障に基づいて、フレームフリーズ状況を検出し得る。場合によっては、プロセッサは、ＶＩＳＳからの現在の画像フレームが、画像データソースによって捕捉される現在の状況を反映していないというＶＩＳＳ処理不良出力に基づいて、フレームフリーズ状況を検出し得る。そのような例では、ＶＩＳＳは、ＶＩＳＳに関連するハードウェア、ソフトウェア、及び／又はファームウェアにおけるエラーが原因で誤った出力を生成し得、同じ又は実質的に類似のレンダリングされた画像の生成につながっていた。
【0024】
場合によっては、フレームフリーズを検出するためにハードウェアアクセラレータが用いられ得る。しかし、そのようなハードウェアアクセラレータは、たいてい、所望の時間期間内でフレームフリーズを検出するためには、データ処理パイプラインにおける画像データソースから遠く離れすぎている（例えば、レイテンシ、処理距離等において遠く離れすぎている）。従って、ハードウェアアクセラレータは、輸送媒体又は他のデバイスによって作動可能な時間期間内にフレームフリーズを検出しない可能性がある。
【0025】
場合によっては、ハードウェアアクセラレータと通信するプロセッサは、現在の画像フレームを前の画像フレームと画素単位で比較することによって、ソフトウェアにおけるフレームフリーズを検出し得る。しかし、フレームフリーズ状況が生じたとしても、単一画素が、種々の要因（例えば、センサノイズ、外部環境的変動等）に起因して画像フレームから画像フレームに反転し得るので、プロセッサは偽陰性を生成する可能性がある。また、そのような比較は、演算損失、及びＶＩＳＳと画像データソースとの間のインターフェースの読み出し帯域幅の低減となる。演算損失及び読み出し帯域幅の低減は、ソフトウェアにおいて比較を行うために必要とされる演算リソースの強度が原因で生じ得、これは、新たな画像フレームを受け取ることを遅延させ得る。従って、そのような比較は、フレームフリーズ検出におけるレイテンシを増加させ得、関連するシステムの安全性を低減させ得る。
【0026】
本願で説明される例は、画像フレームフリーズを検出する。いくつかの例において、少なくとも一つのプロセッサが、二つの異なる画像フレーム（例えば、シーケンスや順序等で捕捉される二つの異なる画像フレーム）の未加工画像データを比較することによって、画像フレームフリーズを検出する。例えば、未加工画像データは、一つ又は複数のカメラ、一つ又は複数のセンサ等によって生成される及び／又はその他の方式でそれらから取得される画像データに対応し得る。いくつかの例において、少なくとも一つのプロセッサが、二つの異なる画像フレーム（例えば、シーケンス又は順序等で捕捉される二つの異なる画像フレーム）の処理された画像データを比較することによって画像フレームフリーズを検出する。例えば、少なくとも一つのプロセッサは、ＶＩＳＳによって処理された第１の画像フレームとＶＩＳＳによって処理された第２の画像フレームとを比較することによって画像フレームフリーズを検出し得る。
【0027】
いくつかの例において、少なくとも一つのプロセッサが、未加工画像データの二つの異なるセットに関連するシグネチャを比較することによって画像フレームフリーズを検出する。例えば、少なくとも一つのプロセッサは、（１）或るカメラからの第１の未加工画像データに基づいて生成された第１のシグネチャ（例えば、第１の巡回冗長検査（ＣＲＣ）シグネチャ）を、（２）当該カメラからの第２の未加工画像データに基づいて生成された第２のシグネチャ（例えば、第２のＣＲＣシグネチャ）と比較し得る。いくつかの例において、少なくとも一つのプロセッサは、処理された画像データ（例えば、ＶＩＳＳによって処理される未加工画像データに基づいた、処理された画像データ）の二つの異なるセットに関連するシグネチャを比較することによって画像フレームフリーズを検出する。例えば、少なくとも一つのプロセッサは、（１）ＶＩＳＳによって処理された第１の処理された画像データに基づいて生成される第１のシグネチャ（例えば、第１のＣＲＣシグネチャ）を、（２）ＶＩＳＳからの第２の処理された画像データに基づいて生成される第２のシグネチャ（例えば、第２のＣＲＣシグネチャ）と比較し得る。
【0028】
いくつかの例において、データ処理パイプラインの開始又はフロントエンド部における画像フレーム比較論理が、画像フレームフリーズを検出する。例えば、ハードウェアアクセラレータが、画像データソースから画像データインターフェースを介して画像データを取得し得る。例示のハードウェアアクセラレータは、ハードウェアアクセラレータの一つ又は複数の出力チャネル上で、ＣＲＣシグネチャ捕捉など、シグネチャ捕捉アルゴリズム又はスキーマを実行し得る。例示のハードウェアアクセラレータは、シグネチャ捕捉アルゴリズムを実行して、新たな画像フレームが処理されるまで保持され得る固有シグネチャを生成し得る。
【0029】
いくつかの例において、ハードウェアアクセラレータは、ハードウェアアクセラレータの出力チャネルによって送信されるデータに基づいて画像データ統計値を計算し及び／又はその他の方式で判定する。いくつかの例において、少なくとも一つのプロセッサは、画像データ統計値に関連するシグネチャを比較することによって画像フレームフリーズを検出し得る。例えば、少なくとも一つのプロセッサは、（１）ハードウェアアクセラレータの出力チャネルによって送信される第１のデータに関連する第１の画像データ統計値に基づいて生成される第１のシグネチャ（例えば、第１のＣＲＣシグネチャ）を、（２）出力チャネルによって送信される第２のデータに関連する第２の画像データ統計値に基づいて生成される第２のシグネチャ（例えば、第２のＣＲＣシグネチャ）と比較し得る。
【0030】
いくつかの例において、ハードウェアアクセラレータは、一つ又は複数の変換動作（例えば、近隣認識（neighborhood aware）画素変換、又はセンサス変換等）を実行することによって、画像データ（例えば、未加工画像データ、処理された画像データ等）を変換する。いくつかの例において、少なくとも一つのプロセッサは、変換された画像データに関連するシグネチャを比較することによって画像フレームフリーズを検出し得る。例えば、少なくとも一つのプロセッサは、（１）ハードウェアアクセラレータの出力チャネルによって送信される第１の変換された画像データに基づいて生成される第１のシグネチャ（例えば、第１のＣＲＣシグネチャ）を、（２）出力チャネルによって送信される第２の変換された画像データに基づいて生成される第２のシグネチャ（例えば、第２のＣＲＣシグネチャ）と比較し得る。
【0031】
有利にも、例示のハードウェアアクセラレータは、画像フレーム全体（例えば、２メガバイト（ＭＢ）、３ＭＢ等）ではなく、ＣＲＣシグネチャ（例えば、３２ビットＣＲＣシグネチャ）を比較することによって、代替の技法と比較して、一つ又は複数のプロセッサの処理帯域幅を増加させ得、フレームフリーズを検出するためのレイテンシを短縮させ得る。有利にも、例示のハードウェアアクセラレータは、代替の技法と比較して、偽陰性の発生を低減し得、又はいくつかの例においてこれをなくし得る。例えば、ハードウェアアクセラレータは、一つ又は複数の画像データ統計値、変換された画像データ等及び／又はそれらの組み合わせに基づいて生成されるＣＲＣシグネチャを比較することによって、偽陰性の発生を低減し及び／又は他の場合はなくし得る。
【0032】
図１は、例示の輸送媒体イメージングシステム１０２に関連するデータ処理パイプライン１００の例示の実装を示す。輸送媒体イメージングシステム１０２は、フロントビューカメラシステム、リアビューカメラシステム（例えば、バックアップカメラシステム）、及び／又はサイドビューカメラシステムを含め、輸送媒体（例えば、自動車、飛行機、船等）の一つ又は複数のカメラシステムに対応し得る。輸送媒体は、例えば、空中操縦をすること（例えば、高度及び／又は速度を上昇又は低減させること、飛行機を方向転換すること等）、陸上操縦をすること（例えば、路面上を前進すること、路面上で方向転回をすること等）等の輸送媒体操縦を行うために、一つ又は複数のカメラシステムを用い得る。いくつかの例において、輸送媒体イメージングシステム１０２は、自律輸送媒体に含まれ、及び／又はその他の方式で自律輸送媒体に関連する。例えば、自律輸送媒体は、輸送媒体イメージングシステム１０２を用いて、当該輸送媒体の前又は側部のオブジェクト又は輸送媒体に関連して、当該輸送媒体の方向及び／又は速度を調節し得る。いくつかの例において、或る自律輸送媒体は、別のオブジェクト又は輸送媒体に向かって後退するなど、或るオブジェクトに関連して輸送媒体操縦（例えば、自律輸送媒体操縦）を行うために、バックアップカメラシステムを用いる。
【0033】
図１の輸送媒体イメージングシステム１０２は、画像を捕捉し、捕捉された画像を、処理のためにデータ処理パイプライン１００に送信するための、データ処理パイプライン１００に結合される例示の画像データソース１０４を含む。画像データソース１０４は、画像（例えば、モノラル画像、一つ又は複数の画像フレーム、一つ又は複数のビデオフレーム等）又は輸送媒体の周囲のライブ映像を捕捉するための単一カメラ（例えば、単眼カメラ、ビデオカメラ等）であり得る。いくつかの例において、画像データソース１０４は、画像（例えば、ステレオ画像）又は輸送媒体の周囲のライブ映像を捕捉するための二つ又はそれ以上のカメラに対応する。代替として、画像データソース１０４は、サーマルイメージングカメラ、赤外線カメラ等などの任意の他の画像捕捉デバイスに対応し得る。
【0034】
図１の輸送媒体イメージングシステム１０２は、画像データソース１０４からの画像フレーム（例えば、未加工画像データ、画像データ等）を変換し、翻訳し、及び／又はその他の方式で処理して、第１の例示の出力画像データ１０６及び／又は第２の例示の出力画像データ１０８を生成するためのデータ処理パイプライン１００を含む。例えば、第１の出力画像データ１０６は、輸送媒体の動作に影響を及ぼすように例示の輸送媒体電子制御ユニット（ＥＣＵ）１１０に送信され得る。他の例において、第２の出力画像データ１０８は、輸送媒体に含まれる及び／又はその他の方式で輸送媒体に関連する一つ又は複数のディスプレイ又はモニタ上にレンダリングされた画像を表示するために、例示のディスプレイパネル（例えば、輸送媒体ディスプレイパネル）１１２に送信され得る。
【0035】
図１のデータ処理パイプライン１００は、画像データソース１０４に結合される例示の画像パイプ１１４を含む。図１において、画像パイプ１１４は、ソフトウェア又はファームウェアを実行することなく対応する動作を行うように構成されるハードウェア回路（例えば、ディスクリート及び／又は集積アナログ及び／又はデジタル回路要素、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブル論理デバイス（ＦＰＬＤ）、特定用途向け集積回路（ＡＳＩＣ）、コンパレータ、演算増幅器（オペアンプ）、論理回路等）に対応し得るが、その他の構造も同様に適切である。
【0036】
データ処理パイプライン１００は、画像データソース１０４からの例示の入力画像データ１１６を処理して、例示の処理された画像フレーム１１７を生成するための画像パイプ１１４を含む。例えば、入力画像データ１１６は、画像データソース１０４によって捕捉される、画素データなどの画像データに対応し得る。いくつかの例において、画像パイプ１１４は、画像データソース１０４から入力画像データ１１６を取得し、入力画像データ１１６から対象のデータ又は情報を抽出する。例えば、画像パイプ１１４は、入力画像データ１１６に基づいて画像データソース１０４によって捕捉された画像フレームの画素に関連する値を判定し得る。そのような例では、入力画像データ１１６は、各画素毎に定義の赤、緑、及び青色成分に対応する画素値を備える、ＲＧＢ画像又はＲＧＢ画像フレームなどの画像フレームに対応し得る。他の例において、入力画像データ１１６は、輝度、色調、及び／又は彩度などの画像特性に対応する値を含み得る。さらに他の例において、入力画像データ１１６は、対応する値を有する画像データパラメータのセットを含み得、画像データパラメータは、多くの行（例えば、画像フレーム高さ）、多くの列（例えば、画像フレーム幅）、多くの帯域、多くのビット毎ピクセル（ｂｐｐ）、ファイルタイプ等を含み得る。付加的に又は代替として、画像データソース１０４からの入力画像データ１１６は、ポータブルビットマップ（ＰＢＭ）、ポータブル画素マップ（ＰＰＭ）等などの任意の他の画像フォーマットであり得、及び／又は、バイナリ値、１６進値、ＡＳＣＩＩ文字等、及び／又は、それらの組み合わせなどの任意の他のデータ表現を用いて表され得る。
【0037】
いくつかの例において、画像パイプ１１４は、入力画像データ１１６に関連する一つ又は複数のパラメータ（例えば、診断パラメータ、画像データパラメータ、画像データ統計値、画像パイプ統計値等）を判定し得る。例えば、画像パイプ１１４は、新たな画像フレームが処理されるまで保持され得る固有シグネチャを生成するために、画像パイプ１１４の一つ又は複数の出力チャネル上で、巡回冗長検査（ＣＲＣ）シグネチャ捕捉など、シグネチャ捕捉アルゴリズム又はスキーマを実行し得る。そのような例では、画像パイプ１１４は、一つ又は複数のＣＲＣシグネチャを、更なる処理のため、例示の分析パイプ１１８又は例示のディスプレイコントローラ１２０の少なくとも一つに送信し得る。例えば、分析パイプ１１８は、一つ又は複数のＣＲＣシグネチャに基づいてフレームフリーズ状況を検出し及び／又はその他の方式で判定する。
【0038】
図１のデータ処理パイプライン１００は、画像パイプ１１４と輸送媒体ＥＣＵ１１０とに結合される分析パイプ１１８を含む。図１において、分析パイプ１１８は、ソフトウェア又はファームウェアを実行することなく対応する動作を行うように構成される、一つ又は複数のプログラマブルプロセッサ、一つ又は複数のプログラマブルコントローラ、及び／又は一つ又は複数のハードウェア回路に対応し得るが、その他の構造も同様に適切である。
【0039】
データ処理パイプライン１００は、処理された画像フレーム１１７を画像パイプ１１４から取得するための分析パイプ１１８を含み、及び、コンピュータビジョンタスク、ディープラーニングタスク（例えば、畳み込みニューラルネットワーク（ＣＮＮ）タスク）等など、処理された画像フレーム１１７に対して付加的な演算タスクを実行する。いくつかの例において、分析パイプ１１８は、画像パイプ１１４からの処理された画像フレーム１１７に基づいて第１の出力画像データ１０６を生成する。例えば、第１の出力画像データ１０６は、処理された画像フレーム１１７を含み得、及び／又はその他の方式でこれに対応し得る。他の例において、第１の出力画像データ１０６は、入力画像データ１１６に関連するフレームフリーズ状況を示す警告、通知等を含み得、及び／又はその他の方式でこれに対応し得る。さらに他の例において、第１の出力画像データ１０６は、入力画像データ１１６に関連する一つ又は複数のパラメータ（例えば、診断パラメータ、画像データ統計値、画像パイプ統計値等）を含み得、及び／又はその他の方式でこれに対応し得る。
【0040】
図１の輸送媒体ＥＣＵ１１０は分析パイプ１１８に結合される。いくつかの例において、輸送媒体ＥＣＵ１１０は、第１の出力画像データ１０６に基づいて輸送媒体コマンド（例えば、ステアリングホイールの位置の調節、輸送媒体の速度の調節等）を生成する。例えば、輸送媒体ＥＣＵ１１０は、フレームフリーズ状況が検出されたことを判定することに応答して、輸送媒体の一つ又は複数のシステムに適切なアクションを取るように命令し得る。図１において、輸送媒体ＥＣＵ１１０は、輸送媒体の一つ又は複数の構成要素（例えば、電気、機械等）、電気サブシステム、電気システム等を監視及び／又は制御する埋め込みコントローラ又はシステムに対応し得る。
【0041】
図１のデータ処理パイプライン１００は、画像パイプ１１４とディスプレイパネル１１２とに結合されるディスプレイコントローラ１２０を含む。図１において、ディスプレイコントローラ１２０は、ソフトウェア又はファームウェアを実行することなく対応する動作を行うように構成される、一つ又は複数のプログラマブルプロセッサ、一つ又は複数のプログラマブルコントローラ、及び／又は一つ又は複数のハードウェア回路に対応し得るが、その他の構造も同様に適切である。
【0042】
いくつかの例において、ディスプレイコントローラ１２０は、画像パイプ１１４からのデータに基づいて第２の出力画像データ１０８を生成する。例えば、第２の出力画像データ１０８は、ディスプレイパネル１１２上に表示されるべき、ディスプレイコントローラ１２０によってレンダリングされた画像に対応し得る。例えば、ディスプレイパネル１１２は、ディスプレイデバイス（例えば、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、液晶ディスプレイ（ＬＣＤ）、インプレーススイッチング（ＩＰＳ）ディスプレイ、タッチスクリーン等）に対応し得る。代替として、輸送媒体イメージングシステム１０２は、二つ以上のディスプレイパネル１１２を含み得る。他の例において、ディスプレイコントローラ１２０は、入力画像データ１１６に関連するフレームフリーズ状況を示す警告、通知等を含むために第２の出力画像データ１０８を判定し得る。そのような例では、ディスプレイコントローラ１２０は、フレームフリーズ状況が解決されるまで画像又はビデオをユーザに表示しないようにディスプレイパネル１１２に命令し得る。
【0043】
有利にも、画像パイプ１１４においてフレームフリーズ状況を検出することによって、データ処理パイプライン１００におけるその後の地点（例えば、分析パイプ１１８、ディスプレイコントローラ１２０等）と比較して、レイテンシが、第１の例示の検出時間１２２から第２の例示の検出時間１２４に短縮され得る。図１において、第１の検出時間１２２は、画像データソース１０４によって画像フレームを捕捉することから始まり、捕捉された画像フレームをディスプレイパネル１１２において表示することで終了する第１の時間期間に対応し得る。図１において、第２の検出時間１２４は、第１の時間期間より短い第２の時間期間に対応し得、ここで、第２の時間期間は、画像フレームを捕捉することで始まり、捕捉された画像フレームを処理することを画像パイプ１１４が終えるときに終了する。例えば、図１のデータ処理パイプライン１００は、代替の技法と比較して、一層少ない時間で及び低減された演算リソースを用いて、捕捉された画像フレームに関連するフレームフリーズ状況を検出し得る。
【0044】
図２は、輸送媒体イメージングシステムに関連する画像フレームのフリーズを検出するための例示のフレームフリーズ検出システム２００を示す。フレームフリーズ検出システム２００は、ハードウェアアクセラレータ（ＨＷＡ）２０４の例示の実装を含むシステムオンチップ（ＳＯＣ）２０２の例示の実装を含み、ハードウェアアクセラレータ（ＨＷＡ）２０４は、ロード／ストアエンジン（ＬＳＥ）２０６と一つ又は複数のコア２０８とを含む。ＬＳＥ２０６は、コア２０８のためのデータアンパッキング及びパッキングを行い及び／又はその他の方式で実行し、その他のインターフェースデータ処理機能を提供する。例えば、ＬＳＥ２０６は、ＬＳＥ論理回路、ＬＳＥハードウェア、又はハードウェア論理等に対応し得る。コア２０８は、ＬＳＥ２０６によって処理されるデータに対してアルゴリズム又はコア論理を実行する。例えば、コア２０８は、そうしたアルゴリズムを実行するために、一つ又は複数のコアを含み得、及び／又はその他の方式で、一つ又は複数のコア論理回路、コアハードウェア、又はハードウェア論理等に対応し得る。図２のＳＯＣ２０２は、コンパクトなフォーマットにコンピュータ又はその他の電子システムの構成要素を組み込む一つ又は複数の集積回路に対応し得る。例えば、ＳＯＣ２０２は、プログラマブルプロセッサ、ハードウェア論理、並びにハードウェア周辺機器及びインターフェースの組み合わせに対応し得る。
【0045】
図２の図示される例において、ＳＯＣ２０２は、図１の画像データソース１０４から図１の入力画像データ１１６を取得する。いくつかの例において、ＳＯＣ２０２は、例示のディスプレイパネル２１０に、入力画像データ１１６に基づいてディスプレイコントローラ２２８によってレンダリングされた画像を表示するように命令する。いくつかの例において、ＳＯＣ２０２は、例示のダブルデータレート（ＤＤＲ）メモリ２１２に出力画像データをストアする。例えば、ＤＤＲメモリ２１２は、ＤＤＲ、ＤＤＲ２、ＤＤＲ３、ＤＤＲ４、モバイルＤＤＲ（ｍＤＤＲ）等であり得る。いくつかの例において、ＳＯＣ２０２は、フレームフリーズ状況を検出したことを示す警告を、一つ又は複数の例示のホストデバイス２１４Ａ～Ｂに対して生成する。
【0046】
図２の図示される例において、ＳＯＣ２０２は、ＨＷＡ２０４と例示のデータ動きファブリック２１８とに結合される例示の画像データインターフェース（Ｉ／Ｆ）２１６を含む。いくつかの例において、画像データインターフェース２１６は、画像データソース１０４から入力画像データ１１６を取得する。画像データインターフェース２１６は、入力画像データ１１６を取得するために双方向インターフェースを実装するための一つ又は複数の論理回路に対応し得る。例えば、画像データインターフェース２１６は、インターインテグレイテッド回路（Ｉ２Ｃ）バス、汎用非同期受信送信機（ＵＡＲＴ）バス、シリアル周辺インターフェース（ＳＰＩ）バス等の動作を促進し、及び／又はその他の方式でこれらを実装する一つ又は複数の論理回路に対応し得る。
【0047】
図２の図示される例において、ＳＯＣ２０２は、画像データインターフェース２１６とデータ動きファブリック２１８とに結合されるＨＷＡ２０４を含む。ＨＷＡ２０４は、一つ又は複数のハードウェアアクセラレータに対応し得る。例えば、ＨＷＡ２０４は、一つ又は複数のハードウェア回路、ハードウェア論理、ハードウェア実装の状態機械等、及び／又はそれらの組み合わせを含み得、及び／又はその他の方式でそれらに対応し得る。
【0048】
いくつかの例において、ＨＷＡ２０４は、画像データインターフェース２１６から画像データ（例えば、画像データパラメータ、画素値等）を取得し、ＨＷＡ２０４の一つ又は複数の出力チャネル（例えば、出力データチャネル）のためのＣＲＣシグネチャ（例えば、固有ＣＲＣシグネチャ）を判定する。例えば、ＬＳＥ２０６は、画像データを取得し、その画像データをコア２０８に送信し得る。コア２０８は、画像データに基づいて画像データ統計値を計算し及び／又はその他の方式で判定し得る。例えば、コア２０８は、画素値のセットのための最小画素値、画素値のセットのための最大画素値、画素値の合計、二乗値の合計等などの一つ又は複数の画像データ統計値を判定し得る。そのような例では、コア２０８は、画素値のセット又は他の画像関連データに対して近隣認識画素変換（例えば、センサス変換等）を実行することに基づいて、一つ又は複数の画像データ統計値を判定し得る。例えば、コア２０８は、図１２において後述される画像データに基づいて、図１３に関連して後述される変換された画素データ（例えば、センサス変換された画素データ）を生成し得る。コア２０８は、一つ又は複数の出力チャネル上で、画像データ統計値をＬＳＥ２０６に送信し得る。ＬＳＥ２０６は、一つ又は複数の出力チャネル上でＣＲＣシグネチャを計算し得る。いくつかの例において、ＬＳＥ２０６は、ＬＳＥ２０６に含まれるメモリにＣＲＣシグネチャをストアする。いくつかの例において、ＬＳＥ２０６は、データ動きファブリック２１８を介するストレージのため、ＤＤＲメモリ２１２にＣＲＣシグネチャを送信する。
【0049】
いくつかの例において、コア２０８は、前に取得された及び／又はその他の方式で処理された画像フレームに対応する画像データに基づいて、一つ又は複数の画像データ統計値を判定する。例えば、コア２０８は、連続する画像フレームのためのフローベクトル又はオプティカルベクトルを判定し得る。そのような例では、コア２０８は、（１）第１の画像フレームにおける画素値の第１のロケーションに基づく第１の画像データ統計値、及び（２）第２の画像フレームにおける画素値の第２のロケーションに基づく第２の画像データ統計値を判定し得る。いくつかの例において、ＬＳＥ２０６は、第１の画像データ統計値及び第２の画像データ統計値に基づいてＣＲＣシグネチャを判定し得る。そのような例では、ＬＳＥ２０６、ホストデバイス２１４Ａ～Ｂ等の一方又は双方が、第１の画像フレームに対して画素が第２の画像フレームにおいてどのように移動したかを判定し得る。
【0050】
いくつかの例において、コア２０８は、深度情報に基づいて一つ又は複数の画像データ統計値を判定する。例えば、図１のカメラ１０４は、ステレオ又は立体カメラであり得る。そのような例では、コア２０８は、（１）第１の時間においてステレオカメラによって捕捉される第１の画像フレームに関連する第１の画像データに基づいて、一つ又は複数の第１の画像データ統計値を、及び（２）第１の時間においてステレオカメラによって捕捉される第２の画像フレームに関連する第２の画像データに基づいて、一つ又は複数の第２の画像データ統計値を判定し得る。いくつかの例において、ＬＳＥ２０６は、一つ又は複数の第１の画像データ統計値及び／又は一つ又は複数の第２の画像データ統計値に基づいてＣＲＣシグネチャを判定し得る。
【0051】
図２の図示される例において、ＳＯＣ２０２は、データ動きファブリック２１８に結合される例示のデジタル信号プロセッサ（ＤＳＰ）２２０を含む。いくつかの例において、ＤＳＰ２２０は、オブジェクト検出及び／又は分類などのコンピュータビジョン処理のためのタスクを実行し、及び／又は、その他の方式でそれらのためのサポートを提供する。
【0052】
図２の図示される例において、ＳＯＣ２０２は、ＳＯＣ２０２の種々のハードウェア構成要素（例えば、ＨＷＡ２０４、画像データインターフェース２１６、ＤＳＰ２２０等）間のデータ伝送のタイミングを調整するためのデータ動きファブリック２１８を含む。図２において、データ動きファブリック２１８は、相互接続である。例えば、データ動きファブリック２１８は、ダイレクトメモリアクセス（ＤＭＡ）コントローラを含み得、及び／又はその他の方式でこれに対応し得る。他の例において、ＤＭＡコントローラは、データ動きファブリック２１８の外部にあり得、及び／又はその他の方式でこれに結合され得る。いくつかの例において、データ動きファブリック２１８によって、ＳＯＣ２０２のハードウェア構成要素は、例示のＳＯＣランダムアクセスメモリ（ＲＡＭ）２２２や、例示のＤＤＲメモリインターフェース２２４を介してＤＤＲメモリ２１２等にアクセスし得る。
【0053】
図２の図示される例において、ＳＯＣ ＲＡＭ２２２はデータ動きファブリック２１８に結合される。ＳＯＣ ＲＡＭ２２２は、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、ＲＡＭＢＵＳ（登録商標）ダイナミックランダムアクセスメモリ（ＲＤＲＡＭ（登録商標））等など、揮発性メモリに対応し得る。図２において、ＤＤＲメモリインターフェース２２４は、データ動きファブリック２１８及びＤＤＲメモリ２１２に結合される。ＤＤＲメモリインターフェース２２４は、データ動きファブリック２１８とＤＤＲメモリ２１２との間の双方向インターフェースを促進するための一つ又は複数のハードウェア回路、論理回路等に対応し得る。
【0054】
図２の図示される例において、ＳＯＣ２０２は、データ動きファブリック２１８に結合される例示のビジョンプロセッサ２２６を含む。図２において、ビジョンプロセッサ２２６は、勾配演算、方位ビニング、ヒストグラム正規化等などのコンピュータビジョン処理のために調整されるベクトルプロセッサに対応し得る。
【0055】
図２の図示される例において、例示のディスプレイコントローラ２２８が、データ動きファブリック２１８及びディスプレイパネル２１０に結合される。ディスプレイコントローラ２２８は、図１のディスプレイコントローラ１２０に対応し得る。ディスプレイパネル２１０は、図１のディスプレイパネル１１２に対応し得る。例えば、ディスプレイコントローラ２２８は、レンダリングされた画像データをディスプレイパネル２１０に送信して、ディスプレイパネル２１０上に画像を表示し得る。
【0056】
図２の図示される例において、ＳＯＣ２０２は、第１の例示のホストデバイス２１４Ａと、例示のホストデバイスインターフェース２３０とを含む。図２において、ホストデバイスインターフェース２３０は、データ動きファブリック２１８と第１のホストデバイス２１４Ａとに結合される。図２において、第２の例示のホストデバイス２１４Ｂが、ＳＯＣ２０２の外部にある。図２において、第２のホストデバイス２１４Ｂは、ホストデバイスインターフェース２３０を介してＳＯＣ２０２に結合される。ホストデバイスインターフェース２３０は、データ動きファブリック２１８とホストデバイス２１４Ａ～Ｂの一つ又は複数との間のデータ伝送を促進するために双方向インターフェースを実装するための一つ又は複数の論理回路に対応し得る。図２において、ホストデバイス２１４Ａ～Ｂの一方又は両方が、一つ又は複数のプログラマブルプロセッサ、一つ又は複数のプログラマブルコントローラ等に対応し得る。
【0057】
ＳＯＣ２０２を実装する例示の方式を図２に図示したが、図２に図示される要素、プロセス、及び／又はデバイスの一つ又は複数が、組み合わされ、分割され、再配置され、省かれ、なくされ、及び／又は任意の他の方式で実装され得る。また、図２の例示のＨＷＡ２０４、例示のＬＳＥ２０６、例示のコア２０８、例示の画像データインターフェース２１６、例示のデータ動きファブリック２１８、例示のＤＳＰ２２０、例示のＳＯＣ ＲＡＭ２２２、例示のＤＤＲメモリインターフェース２２４、例示のビジョンプロセッサ２２６、例示のディスプレイコントローラ２２８、例示のホストデバイスインターフェース２３０、及び／又は、より一般的には、例示のＳＯＣ２０２は、ハードウェア、ソフトウェア、ファームウェアによって、及び／又は、ハードウェア、ソフトウェア、及び／又はファームウェアの任意の組み合わせによって実装され得る。このように、例えば、例示のＨＷＡ２０４、例示のＬＳＥ２０６、例示のコア２０８、例示の画像データインターフェース２１６、例示のデータ動きファブリック２１８、例示のＤＳＰ２２０、例示のＳＯＣ ＲＡＭ２２２、例示のＤＤＲメモリインターフェース２２４、例示のビジョンプロセッサ２２６、例示のディスプレイコントローラ２２８、例示のホストデバイスインターフェース２３０、及び／又は、より一般的には、例示のＳＯＣ２０２の任意のものが、一つ又は複数のアナログ又はデジタル回路、論理回路、プログラマブルプロセッサ、プログラマブルコントローラ、グラフィクス処理ユニット（ＧＰＵ）、ＤＳＰ、ＡＳＩＣ、ＰＬＤ、及び／又はＦＰＬＤによって実装され得る。純粋なソフトウェア及び／又はファームウェア実装を網羅するように本特許の装置又はシステムクレームの任意のものを解釈する際、例示のＨＷＡ２０４、例示のＬＳＥ２０６、例示のコア２０８、例示の画像データインターフェース２１６、例示のデータ動きファブリック２１８、例示のＤＳＰ２２０、例示のＳＯＣ ＲＡＭ２２２、例示のＤＤＲメモリインターフェース２２４、例示のビジョンプロセッサ２２６、例示のディスプレイコントローラ２２８、及び／又は例示のホストデバイスインターフェース２３０の少なくとも一つが、ソフトウェア及び／又はファームウェアを含め、不揮発性メモリ（例えば、読み出し専用メモリ（ＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ等）、揮発性メモリ（例えば、ＳＤＲＡＭ、ＤＲＡＭ、ＲＤＲＡＭ（登録商標）等、及び／又は任意の他のタイプのＲＡＭデバイス）等などの非一時的コンピュータ可読ストレージデバイス又はストレージディスクを含むことが、本明細書において明確に定義される。また、図２の例示のＳＯＣ２０２は、図２において図示したものに加えて又はそれらの代わりに、一つ又は複数の要素、プロセス、及び／又はデバイスを含み得、及び／又は、図示される要素、プロセス、及びデバイスの二つ以上の任意のもの又は全てを含み得る。本明細書で用いられるように、その変形を含む「通信」という表現は、直接通信、及び／又は、一つ又は複数の媒介構成要素を介する間接通信を包含し、直接物理的（例えば、有線）通信及び／又は継続的な通信を要求せず、むしろ付加的に、周期的間隔、スケジュールされた間隔、非周期的間隔、及び／又は一回限りの事象における選択的通信を含む。
【0058】
図３は、図２のＳＯＣ２０２に関連する例示のワークフロー３００ａ、３００ｂを示す。図３において、ワークフロー３００ａ、３００ｂは、第１の例示のワークフロー３００ａ及び第２の例示のワークフロー３００ｂを含む。図３において、第１のワークフロー３００ａは、動作１Ａ、２Ａ、３Ａ、及び４Ａに対応する。図３において、第２のワークフロー３００ｂは、動作１Ｂ及び２Ｂに対応する。
【0059】
第１のワークフロー３００ａにおいて、第１の動作１Ａの間、入力画像データ１１６はＤＤＲメモリ２１２にストアされる。例えば、画像データインターフェース２１６は、画像データソース１０４から入力画像データ１１６を取得する。そのような例では、画像データインターフェース２１６は、（１）入力画像データ１１６を送信するデータパケットの送信レイヤから未加工画像データを抽出することによって入力画像データ１１６を処理し得、及び（２）未加工画像データをデータ動きファブリック２１８に送信し得る。これに応答して、データ動きファブリック２１８は、ＤＤＲメモリインターフェース２２４を介してＤＤＲメモリ２１２に未加工画像データを送信する。
【0060】
第１のワークフロー３００ａにおいて、第２の動作２Ａの間、未加工画像データは、ＨＷＡ２０４によって、ＤＤＲメモリ２１２から、データ動きファブリック２１８及びＤＤＲメモリインターフェース２２４を介して取り出される。第１のワークフロー３００ａの第３の動作３Ａの間、コア２０８は、一つ又は複数の画像データ統計値を判定し得、及び／又は、未加工画像データに対するセンサス変換など、例示の変換動作（例えば、画像データ変換動作）を実行することによって、未加工画像データを、２次元（２Ｄ）画像データから別のドメインへ変換して、変換された画素データ（例えば、センサス変換データ）を生成し得る。
【0061】
第３の動作３Ａの間、ＬＳＥ２０６は、（１）未加工画像データ、（２）一つ又は複数の画像データ統計値、又は（３）変換された画素データ、のうちの少なくとも一つに基づいてＣＲＣシグネチャを判定し得る。例えば、ＬＳＥ２０６は、未加工画像データ、一つ又は複数の画像データ統計値のそれぞれ、及び／又は、変換された画素データについて、ＣＲＣシグネチャ値を判定し得る。第３の動作３Ａの間、ＨＷＡ２０４は、未加工画像データ、一つ又は複数の画像データ統計値、変換された画素データ、及び／又はＣＲＣシグネチャ値を、データ動きファブリック２１８に送信する。第３の動作３Ａの間、データ動きファブリック２１８は、未加工画像データ、一つ又は複数の画像データ統計値、変換された画素データ、及び／又はＣＲＣシグネチャ値を、ＤＤＲメモリインターフェース２２４を介してＤＤＲメモリ２１２に送信する。代替として、データ動きファブリック２１８は、未加工画像データ、一つ又は複数の画像データ統計値、変換された画素データ、及び／又はＣＲＣシグネチャ値を、ホストデバイスインターフェース２３０を介してホストデバイス２１４Ａ～Ｂの一方又は両方に送信し得る。例えば、ホストデバイス２１４Ａ～Ｂの一方又は両方が、ＣＲＣシグネチャ値及び／又は一つ又は複数の画像データ統計値に基づいてフレームフリーズ状況を検出し得る。そのような例では、ホストデバイス２１４Ａ～Ｂの一方又は両方は、二つの連続する又はシーケンシャルな画像フレームのためのＣＲＣシグネチャ値及び／又は一つ又は複数の画像データ統計値に基づいてフレームフリーズ状況を検出し得る。代替として、ホストデバイス２１４Ａ～Ｂの一方又は両方が、ホストデバイスインターフェース２３０、データ動きファブリック２１８、及びＤＤＲメモリインターフェース２２４を介して、ＤＤＲメモリ２１２からＣＲＣシグネチャ値及び／又は一つ又は複数の画像データ統計値を取得し得る。
【0062】
第１のワークフロー３００ａにおいて、第４の動作４Ａの間、ＤＤＲメモリ２１２からの未加工画像データは、ＤＤＲメモリインターフェース２２４、データ動きファブリック２１８、及びディスプレイコントローラ２２８を介してディスプレイパネル２１０に送信される。例えば、ディスプレイパネル２１０は、画像データソース１０４によって捕捉され、ディスプレイコントローラ２２８によってレンダリングされる、一つ又は複数の画像フレームを表示し得る。
【0063】
第２のワークフロー３００ｂにおいて、第１の動作１Ｂの間、入力画像データ１１６は、ＤＤＲメモリ２１２にストアされるより前にＨＷＡ２０４によって処理される。例えば、画像データインターフェース２１６は、入力画像データ１１６を取得し、入力画像データ１１６から未加工画像データを抽出し、その未加工画像データを処理して、処理された画像データを生成し得る。第１の動作１Ｂの間、ＨＷＡ２０４は、コア２０８に、一つ又は複数の画像データ統計値を判定するように、及び／又は、近隣認識画素変換などの例示の変換動作を実行して変換された画素データを生成することによって、処理された画像データを２Ｄ画像データから別のドメインに変換するように命令し得る。
【0064】
第１の動作１Ｂの間、ＨＷＡ２０４は、ＬＳＥ２０６に、（１）処理された画像データ、（２）一つ又は複数の画像データ統計値、又は（３）変換された画素データ、のうちの少なくとも一つに対してＣＲＣシグネチャを判定するように命令し得る。ＨＷＡ２０４は、処理された画像データ、一つ又は複数の画像データ統計値、変換された画素データ、及び／又はＣＲＣシグネチャ値を、データ動きファブリック２１８及びＤＤＲメモリインターフェース２２４を介してＤＤＲメモリ２１２に送信し得る。いくつかの例において、ＬＳＥ２０６は、ＬＳＥ２０６にＣＲＣシグネチャをストアし得、このＣＲＣシグネチャを、前に生成された及び／又はストアされたＣＲＣシグネチャ（例えば、ＬＳＥ２０６によって前に生成されたＣＲＣシグネチャ、ＬＳＥ２０６に前にストアされたＣＲＣシグネチャ等）と比較することによって、フレームフリーズ状況を検出し得る。有利にも、第２のワークフロー３００ｂは、ＤＤＲメモリ２１２に入力画像データ１１６をストアする前に、ＳＯＣ２０２のフロントエンドにおいて画像データ統計値及び／又はＣＲＣシグネチャ値を判定することによって、図３の第１のワークフロー３００ａと比較して、フレームフリーズ状況の検出時間を低減させる。
【0065】
図４は、図２～図３のＨＷＡ２０４の例示の実装を示す。ＨＷＡ２０４は例示のＨＷＡ ＶＩＳＳ４０２を含み、ＨＷＡ ＶＩＳＳ４０２はＬＳＥ２０６及びコア２０８を含む。ＨＷＡ ＶＩＳＳ４０２は、視覚的イメージング処理関連の演算及び／又はコンピューティングタスクを実行するように構成されるＨＷＡ２０４のサブシステム（例えば、一つ又は複数のハードウェア及び／又は論理回路）である。
【0066】
図４のＨＷＡ ＶＩＳＳ４０２は、図２～図３の画像データインターフェース２１６から入力画像データを取得するための、図２～図３のＬＳＥ２０６を含む。図４のＨＷＡ ＶＩＳＳ４０２は、ＬＳＥ２０６から入力画像データを取得するためのコア２０８を含む。コア２０８は、画像データ統計値などのパラメータを計算し及び／又はその他の方式で判定する。コア２０８は、ＬＳＥ２０６を呼び出して、画像データ統計値の各々のためのＣＲＣシグネチャ値を計算し及び／又はその他の方式で判定するために、画像データ統計値をＬＳＥ２０６に送信し得る。
【0067】
図４のＬＳＥ２０６は、ＬＳＥ２０６の一つ又は複数の出力チャネルのためのＣＲＣシグネチャ値を判定するための例示のＣＲＣ論理回路４０４を含む。例えば、ＣＲＣ論理回路４０４は、処理された画像データを送信する第１の出力チャネル上で第１のＣＲＣシグネチャ値を、画像データ統計値を送信する第２の出力チャネル上で第２のＣＲＣシグネチャ値を、変換された画素データを送信する第３の出力チャネル上で第３のＣＲＣシグネチャ値等及び／又はそれらの組み合わせを計算し得る。図４において、ＣＲＣ論理回路４０４は、３２ビットのデータサイズを有するＣＲＣシグネチャ値を判定する。代替として、ＣＲＣ論理回路４０４は、任意の他のデータサイズを有するＣＲＣシグネチャ値を判定し得る。いくつかの例において、ＣＲＣ論理回路４０４は、下記の３２ビットＣＲＣ多項式に基づいて３２ビットＣＲＣシグネチャ値を判定し得る。
【0068】
Ｘ３２＋Ｘ２６＋Ｘ２３＋Ｘ２２＋Ｘ１６＋Ｘ１２＋Ｘ１１＋Ｘ１０＋Ｘ８＋Ｘ７＋Ｘ５＋Ｘ４＋Ｘ２＋Ｘ＋１
代替として、任意の他のＣＲＣ多項式が用いられてもよい。
代替として、任意の他のＣＲＣ多項式が用いられてもよい。
【0069】
いくつかの例において、ＣＲＣ論理回路４０４は、画像フレーム全体が処理されるまで、ＣＲＣシグネチャ値を更新及びストアし得る。画像フレーム全体が処理されることに応答して、ＣＲＣ論理回路４０４は、ＳＲＡＭインターフェース４０８を介してＳＲＡＭ４１０にＣＲＣシグネチャ値をストアし得る。いくつかの例において、図２～図３のホストデバイス２１４Ａ～Ｂは、ＳＲＡＭインターフェース４０８、ＨＷＡ ＤＭＡ４１６、図２～図３のデータ動きファブリック２１８、及び図２～図３のホストデバイスインターフェース２３０を介して、ＳＲＡＭ４１０からＣＲＣシグネチャ値を取得する。
【0070】
図４のＣＲＣ論理回路４０４は、第１の画像フレームのためのＣＲＣシグネチャ値を判定し得、いくつかの例において、このＣＲＣシグネチャ値を、第２の画像フレームのための前に計算されたＣＲＣシグネチャ値、又は前の画像フレームと比較し得る。ＣＲＣシグネチャ値が、前に計算されたＣＲＣシグネチャ値と同じであるとき、フレームフリーズ検出状況が検出され得る。この同じであるということは、図１～図３の画像データソース１０４から画像を捕捉すること及び／又はそれを処理することに関連するソフトウェア、ハードウェア、及び／又はファームウェアにおけるエラーを示す。
【0071】
図４の図示される例において、ＨＷＡ２０４は、ＨＷＡ ＶＩＳＳ４０２に結合される例示のＨＷＡコンフィギュレータ４０６を含む。代替として、ＨＷＡ２０４は、ＨＷＡコンフィギュレータ４０６を含まなくてもよい。例えば、ＨＷＡ２０４は、ＨＷＡコンフィギュレータ４０６に結合されてもよい。
【0072】
いくつかの例において、ＨＷＡコンフィギュレータ４０６は、ＬＳＥ２０６の一つ又は複数の出力チャネル上でＣＲＣ値を計算し及び／又はその他の方式で演算するようにＬＳＥ２０６を構成する。例えば、ＨＷＡコンフィギュレータ４０６は、ＣＲＣ計算のための出力チャネルの一つ又は複数を選択することによってＬＳＥ２０６を構成し得る。いくつかの例において、こうした一つ又は複数の出力チャネルは、処理された画像データチャネルに対応する。例えば、一つ又は複数の出力チャネルは、ルマ（ｌｕｍａ）データに対応する第１の出力チャネル、クロミナンス又はクロマ（ｃｈｒｏｍａ）データに対応する第２の出力チャネル、ＲＢＧデータに対応する第３の出力チャネル等を含み得、ここで、出力チャネルの一つ又は複数は、８バイト、１２バイト等のデータサイズを有する。
【0073】
いくつかの例において、ＨＷＡコンフィギュレータ４０６は、一つ又は複数のタイプの画像データ統計値を計算し及び／又はその他の方式で演算するようにコア２０８を構成する。例えば、ＨＷＡコンフィギュレータ４０６は、画素のセットのための最大値（例えば、値が最も大きい最大値）に対応する第１の画像データ統計値を計算するようにコア２０８の第１のコアを構成する。他の例において、ＨＷＡコンフィギュレータ４０６は、画素値のセットのための最小値（例えば、値が最も小さい最小値）に対応する第２の画像データ統計値を判定するようにコア２０８の第２のコアを構成し得る。いくつかの例において、ハードウェアコンフィギュレータ４０６は、図２～図３のホストデバイス２１４Ａ～Ｂからのコマンド、構成、命令等に基づいてＬＳＥ２０６又はコア２０８の少なくとも一つを構成し得る。
【0074】
図４の図示される例において、ＨＷＡ２０４は、ＨＷＡ ＶＩＳＳ４０２に結合される例示のスタティックＲＡＭ（ＳＲＡＭ）インターフェース４０８と例示のＳＲＡＭ４１０とを含む。図４において、ＳＲＡＭ４１０は、一つ又は複数のＳＲＡＭデバイスに対応し得る。代替として、ＳＲＡＭ４１０は、任意の他のタイプのメモリであり得る。図４において、ＳＲＡＭインターフェース４０８は、ＳＲＡＭ４１０に対するデータの読出し及び／又は書き込みを促進するように双方向インターフェースを実装するための一つ又は複数の論理回路に対応し得る。例えば、ＳＲＡＭインターフェース４０８は、メモリコントローラの動作を促進する及び／又はその他の方式でメモリコントローラを実装する一つ又は複数の論理回路に対応し得る。
【0075】
図４の図示される例において、ＨＷＡ２０４は、ＨＷＡサブシステムＡ、ＨＷＡサブシステムＢ、及びＨＷＡサブシステムＣを含む例示のＨＷＡサブシステム４１２Ａ～Ｃを含む。いくつかの例において、ＨＷＡサブシステム４１２Ａ～Ｃは、ＨＷＡ ＶＩＳＳ４０２のコピー又はインスタンスである。いくつかの例において、ＨＷＡサブシステム４１２Ａ～Ｃの一つ又は複数は、ＨＷＡサブシステム４１２Ａ～Ｃの他ものとは異なる。例えば、ＨＷＡサブシステム４１２Ａ～Ｃの一つ又は複数は、ＨＷＡ ＶＩＳＳ４０２のＬＳＥ２０６及びコア２０８を含み得る。代替として、ＨＷＡサブシステム４１２Ａ～Ｃの一つ又は複数は、ＨＷＡ ＶＩＳＳ４０２とは異なり得る。例えば、ＨＷＡサブシステム４１２Ａ～Ｃの一つ又は複数は、スケーリング、歪み補正等など、画像処理関連の機能を行い及び／又はその他の方式で実行し得る。
【0076】
ＨＷＡサブシステム４１２Ａ～Ｃは、各々、ＳＲＡＭインターフェース４０８と例示のＨＷＡスレッドスケジューラ（ＨＴＳ）４１４とに結合される。ＨＴＳ４１４は、ＨＷＡサブシステム４１２Ａ～Ｃ間、及び、ＨＷＡサブシステム４１２Ａ～Ｃのための外部メモリから／へのデータフロースケジューリングを制御し得る。例えば、ＨＴＳ４１４は、ＨＷＡサブシステム４１２Ａ～Ｃの各々のための状態機械のセットを管理し得、専用の開始／終了信号を介して、ＨＷＡサブシステム４１２Ａ～Ｃにおけるデータ処理／伝送スケジューリングを調整する。例えば、ＨＴＳ４１４は、プログラム可能完了マスク（done-mask）生成方式、処理終了（ＥＯＰ）生成、及び／又は、デバッグ／停止状態のためのデバッグレディ状態信号生成に対処する開始／終了タスク同期信号を行い得及び／又はその他の方式で促進し得る。
【0077】
また、図４のＨＷＡ２０４に含まれるものとして、ＳＲＡＭインターフェース４０８と、ＨＴＳ４１４と、図２～図３のデータ動きファブリック２１８とに結合されるＨＷＡ ＤＭＡ４１６が示される。図４において、ＨＷＡ ＤＭＡ４１６は、図２～図３のデータ動きファブリック２１８、ＨＴＳ４１４、及び／又はＳＲＡＭインターフェース４０８間の双方向インターフェースを促進するための一つ又は複数のハードウェア回路、論理回路等に対応し得る。
【0078】
図５は、図４のＨＷＡ２０４の例示の実装に関連する例示のワークフロー５００を示す。図５のワークフロー５００は、図３の第１のワークフロー３００ａに対応し得る。図５において、ワークフロー５００は、第１の動作（１）、第２の動作（２）、第３の動作（３）、及び第４の動作（４）を含む動作１～４に対応する。
【0079】
図５のワークフロー５００は第１の動作で始まり、ここで、図２～図３の画像データインターフェース２１６からのデータは、図２～図３のデータ動きファブリック２１８を介して、図２～図３のＤＤＲメモリ２１２に送信される。第２の動作の間、データは、ＤＤＲメモリ２１２からデータ動きファブリック２１８を介して取り出される。例えば、図４のＨＷＡ ＤＭＡ４１６は、データ動きファブリック２１８から画像データを取得し得、取得した画像データをＳＲＡＭ４１０にストアし得る。
【0080】
図５の図示される例において、第３の動作の間、ＳＲＡＭ４１０にストアされた画像データは、図２～図４のＬＳＥ２０６によって取得される。ＬＳＥ２０６は、処理のために、画像データをコア２０８に送信する。例えば、コア２０８は、画像データに基づいて、処理された画像データ、変換された画素データ、及び／又は画像データ統計値を生成し得る。そのような例では、コア２０８は、処理された画像データ、変換された画素データ、及び／又は画像データ統計値を、ＬＳＥ２０６の出力チャネルに送信し得る。ＬＳＥ２０６は、処理された画像データ、変換された画素データ、及び／又は画像データ統計値に基づいてＣＲＣシグネチャ値を計算するように、ＣＲＣ論理回路４０４を呼び出し得る。ＣＲＣ論理回路４０４は、コア２０８からの更新された値が受け取られるとき、ＣＲＣシグネチャ値を更新（例えば、逐次更新）し得る。画像フレーム全体を処理することに応答して、コア２０８は、ＬＳＥ２０６に、画像フレーム全体が処理されたことを（例えば、終了信号を生成してＬＳＥ２０６に送信すること、終了ビットをＬＳＥ２０６に送信すること等によって）通知し得る。
【0081】
図５において、通知を取得した後、ＣＲＣ論理回路４０４は、ＣＲＣシグネチャの最終又は最後の値をＬＳＥ２０６にストアし及び／又はその他の方式で保持し得る。例えば、ＬＳＥ２０６は、ＣＲＣシグネチャの最終又は最後の値を、メモリマップドレジスタ、フリップフロップ等にストアし得る。いくつかの例において、通知を取得した後、ＣＲＣ論理回路４０４は、ＣＲＣシグネチャの最終又は最後の値をＳＲＡＭ４１０にストアするために、ＣＲＣシグネチャの最終又は最後の値をＳＲＡＭインターフェース４０８に送信し得る。例えば、ＣＲＣシグネチャの最終又は最後の値は、ＳＲＡＭ４１０から、少なくともＳＲＡＭインターフェース４０８とＨＷＡ ＤＭＡ４１６とを含むデータ経路を介して、図２～図３のホストデバイス２１４Ａ～Ｂの一方又は両方に送信され得る。
【0082】
図６は、図４のＨＷＡ２０４の例示の実装に関連する例示のワークフロー６００を示す。図６のワークフロー６００は、図３の第２のワークフロー３００ｂに対応し得る。図６において、ワークフロー６００は、ＬＳＥ２０６が図２～図３の画像データインターフェース２１６から入力画像データを取得したときに始まる。有利にも、図５に関連して上述したようなＤＤＲメモリ２１２ではなく、画像データインターフェース２１６から入力画像データを取得することによって、画像フレームフリーズの検出時間が短縮され得る。例えば、図５のワークフロー５００の第１及び第２の動作をなくすことができ、これがレイテンシを短縮させ、それゆえ、画像フレームフリーズ状況を検出するための時間を短縮させる。
【0083】
図６の図示される例において、ＬＳＥ２０６は、受け取られた画像データを、処理のためにコア２０８に送信し、図５に関連して上述したように、処理された画像データ、変換された画素データ、及び／又は画像データ統計値をコア２０８から受け取る。従って、ＣＲＣ論理回路４０４は、ＬＳＥ２０６における処理された画像データ、変換された画素データ、及び／又は画像データ統計値に基づいてＣＲＣシグネチャの最終又は最後の値をストアし得る。代替として、ＣＲＣシグネチャの最終又は最後の値は、ＳＲＡＭ４１０にストアされ得、及び、ＳＲＡＭ４１０から、少なくともＳＲＡＭインターフェース４０８とＨＷＡ ＤＭＡ４１６とを含むデータ経路を介して、図２～図３のホストデバイス２１４Ａ～Ｂの一方又は両方に送信され得る。
【0084】
図７は、図２～図６のＬＳＥ２０６の例示の実装を示す。図７において、ＬＳＥ２０６は、例示のスレッド７０２と、例示のコアインターフェース７０４と、例示の出力チャネルマルチプレクサ７０６と、例示の出力チャネル７０８と、例示のデータマルチプレクサ（ＭＵＸ）７１０と、例示のメモリインターフェース７１２と、例示のＨＷＡコンフィギュレータインターフェース７１４とを含む。また、図４～図６のＣＲＣ論理回路４０４が図７に示される。
【0085】
図７の図示される例において、スレッド７０２は、図２～図３の画像データインターフェース２１６及び／又はメモリインターフェース７１２から画像データを取得する。例えば、スレッド７０２は、図２のＤＤＲメモリ２１２から、メモリインターフェース７１２を介して画像データを取得し得る。図７において、スレッド７０２は、それ自体のＨＴＳ開始／終了を備える処理チェーンに対応する処理スレッド、ＨＷＡスレッド、論理回路スレッド等である。例えば、スレッド７０２は、ハードウェア及び／又はソフトウェア処理スレッドを表す論理的構成であり得、物理エンティティではない可能性がある。代替として、ＬＳＥ２０６は、二つ以上のスレッド７０２を含み得る。いくつかの例において、スレッド７０２は、開始信号で始まり、終了信号で終わる一連のハードウェア論理動作を実行する。
【0086】
図７の図示される例において、スレッド７０２は、例示の画像データバッファ７１６と、例示の入力チャネル７１８と、例示の入力チャネルマルチプレクサ７２０と、例示のデータマージャー７２２とを含む。画像データバッファ７１６は、図２～図３の画像データインターフェース２１６からの画像データをストアするデータバッファである。例えば、ＬＳＥ２０６は、図１～図３の画像データソース１０４から画像データバッファ７１６を介して実質的にリアルタイムの画像データを取得し得る。
【0087】
図７の図示される例において、入力チャネル７１８は、後に、処理のためにコアインターフェース７０４の一つを介して図２～図６のコア２０８に送信され得る、図４～図６のＳＲＡＭ４１０から取得した画像データ（例えば、画素データ、画素値等）の読出し及び／又はアンパッキングを促進する、二つ又はそれ以上のデータチャネルに対応する。代替として、スレッド７０２は、入力チャネル７１８の一つのみを有してもよく、又は、画像データを読み出すように構成される入力チャネル７１８の一つのみを有してもよい。
【0088】
図７の図示される例において、画像データバッファ７１６と、入力チャネル７１８の第１の入力チャネル（入力チャネル［０］）が、入力チャネルマルチプレクサ７２０に結合される。図７において、画像データバッファ７１６は、入力チャネルマルチプレクサ７２０の第１の入力に結合される。図７において、入力チャネル７１８の第１の入力チャネルは、入力チャネルマルチプレクサ７２０の第２の入力に結合される。いくつかの例において、入力チャネルマルチプレクサ７２０は、（１）ＳＲＡＭ４１０からのストアされた画像データ、或いは（２）画像データバッファ７１６によって取得され及び／又はストアされた実質的にリアルタイムの画像データを、コア２０８に送信するかどうかを判定する。いくつかの例において、入力チャネルマルチプレクサ７２０は、ＳＲＡＭ４１０からのストアされた画像データをコア２０８に送信するように判定し得、これは、図３の第１のワークフロー３００ａに対応し得る。いくつかの例において、入力チャネルマルチプレクサ７２０は、画像データバッファ７１６によって取得され及び／又はストアされた実質的にリアルタイムの画像データをコア２０８に送信するように判定し得、これは図３の第２のワークフロー３００ｂに対応し得る。
【0089】
図７の図示される例において、入力チャネルマルチプレクサ７２０と入力チャネル７１８の第２の入力チャネル（入力チャネル［Ｎ］）とが、データマージャー７２２に結合される。図７において、入力チャネルマルチプレクサ７２０の出力が、データマージャー７２２の第１の入力に結合される。図７において、入力チャネル７１８の第２の入力チャネルの出力が、データマージャー７２２の第２の入力に結合される。データマージャー７２２は、コア２０８によって読み出され及び／又はその他の方式で取得され得るフォーマットに画像データを配置する及び／又はその他の方式でフォーマットする、一つ又は複数の論理回路に対応し得る。例えば、データマージャー７２２は、データの交換及び／又は送信をコア２０８と同期させ得る先入れ先出し（ＦＩＦＯ）データバッファに対応し得る。他の例において、データマージャー７２２は、コア２０８による画像データの受領を促進するため、データビット、データヘッダー等を画像データに追加し又は削除し得る。
【0090】
図７の図示される例において、データマージャー７２２は、コアインターフェース７０４の第１のコアインターフェースと、出力チャネルマルチプレクサ７０６の第１の入力とに結合される。図７において、コアインターフェース７０４の第２のコアインターフェースが、出力チャネル７０８の第１の出力チャネル（出力チャネル［０］）と、ＣＲＣ論理回路４０４の第１のＣＲＣ論理回路とに結合される。図７において、コアインターフェース７０４の第３のコアインターフェースが、出力チャネルマルチプレクサ７０６の第２の入力に結合される。出力チャネルマルチプレクサ７０６の出力が、出力チャネル７０８の第２の出力チャネル（出力チャネル［Ｎ］）と、ＣＲＣ論理回路４０４の第２のＣＲＣ論理回路とに結合される。代替として、コアインターフェース７０４の第２及び第３のコアインターフェースは、出力チャネル７０８の第１及び第２の出力チャネルと無相関であり得る。例えば、コアインターフェース７０４の第２のコアインターフェースは、出力チャネル７０８の第１の出力チャネルと、出力チャネルマルチプレクサ７０６の第２の入力とに結合され得る。
【0091】
図７の図示される例において、コアインターフェース７０４は、コア２０８にデータを送信するため及び／又はコア２０８からデータを受け取るために双方向インターフェースを実装するための一つ又は複数の論理回路に対応し得る。例えば、コアインターフェース７０４は、インターインテグレーテット回路（Ｉ２Ｃ）バス、汎用非同期受信送信機（ＵＡＲＴ）バス、シリアル周辺インターフェース（ＳＰＩ）バス等の動作を促進し及び／又はその他の方式でそれらを実装する、一つ又は複数の論理回路に対応し得る。
【0092】
図７の図示される例において、データマルチプレクサ７１０は、入力チャネル７１８と、出力チャネル７０８と、メモリインターフェース７１２とに結合される。データマルチプレクサ７１０は、ＬＳＥ２０６の画像データ処理動作を同期させ及び／又はその他の方式で促進する。例えば、データマルチプレクサ７１０は、ＳＲＡＭ４１０から画像データを取得して、処理のためにスレッド７０２に提供するために、メモリインターフェース７１２を呼び出し得る。他の例において、データマルチプレクサ７１０は、処理されたデータ（例えば、ＣＲＣシグネチャ値、画像データ統計値等）をＳＲＡＭ４１０にストアするために、メモリインターフェース７１２を呼び出し得る。
【0093】
図７の図示される例において、ＨＷＡコンフィギュレータインターフェース７１４は、ＬＳＥ２０６と図４～図６のＨＷＡコンフィギュレータ４０６との間の通信を促進する。例えば、ＨＷＡコンフィギュレータインターフェース７１４は、スレッド７０２の動作を構成し及び／又はその他の方式で調節するために、ＨＷＡコンフィギュレータ４０６から構成情報を取得し得る。そのような例では、スレッド７０２は、構成情報に基づいて、入力チャネル７１８の一つ又は複数をイネーブル又はディセーブルし得る。他の例において、スレッド７０２は、画像データバッファ７１６或いは入力チャネル７１８の一つのいずれかからデータを選択するために、入力チャネルマルチプレクサ７２０を呼び出し得る。
【0094】
図８は、図７のＬＳＥ２０６の例示の実装に関連する例示のワークフロー８００を示す。図８のワークフロー８００は、図３の第１のワークフロー３００ａに対応し得る。図８において、ＬＳＥ２０６は、図４～図６のＳＲＡＭ４１０から、図４～図６のＳＲＡＭインターフェース４０８を介して画像データを取得する。例えば、図７のメモリインターフェース７１２は、画像データを取得し得、及び、これを図７のスレッド７０２に送信し得る。スレッド７０２は、画像データをアンパックし得、及び、アンパックされた画像データを、図２～図６のコア２０８によって処理され得るフォーマットにフォーマットし得る。コア２０８は、ＬＳＥ２０６から、コアインターフェース７０４の第１のコアインターフェースを介して画像データを取得し得る。コア２０８は、画像データに基づいて、処理された画像データ、変換された画素データ、及び／又は画像データ統計値を生成し得る。コアは、処理された画像データ、変換された画素データ、及び／又は画像データ統計値を、コアインターフェース７０４の第２のコアインターフェース、コアインターフェース７０４の第３のコアインターフェース等を介して、ＬＳＥ２０６に送信し得る。コアインターフェース７０４は、処理された画像データ、変換された画素データ、及び／又は画像データ統計値を出力チャネル７０８の一つ又は複数に送信し得る。
【0095】
図８の図示される例において、ＣＲＣ論理回路４０４の一つ又は複数が、対応する出力チャネル上でＣＲＣシグネチャ値を計算する。例えば、ＣＲＣ論理回路４０４は、出力チャネル７０８がコア２０８からデータを受け取るより前に、及び／又は実質的にこれと並行して、ＣＲＣシグネチャ値を計算し得る。そのような例では、ＣＲＣ論理回路４０４は、出力チャネル［０］に送信される処理された画像データに対する第１のＣＲＣシグネチャ値、出力チャネル［１］に送信される変換された画素データに対する第２のＣＲＣシグネチャ値、出力チャネル［２］に送信される第１の画像データ統計値に対する第３のＣＲＣシグネチャ値、出力チャネル［Ｎ］に送信されるＮ番目の画像データ統計値に対する第４のＣＲＣシグネチャ値等、及び／又はそれらの組み合わせを計算し得る。処理された画像データ、変換された画素データ、及び／又は画像データ統計値を取得することに応答して、一つ又は複数の出力チャネル７０８は、処理された画像データ、変換された画素データ、及び／又は画像データ統計値を、データマルチプレクサ７１０とメモリインターフェース７１２とを含むデータ経路を介してＳＲＡＭ４１０に送信し得る。いくつかの例において、入力チャネルマルチプレクサ７２０、出力チャネルマルチプレクサ７０６等、及び／又はそれらの組み合わせは、図２の画像データインターフェース２１６から画像データを取得することを回避するように構成、イネーブル等をされ得る。そのような例では、ＣＲＣ論理回路４０４は、画像データインターフェース２１６からの入力画像データ（例えば、未処理入力画像データ）に対して実行し得る。
【0096】
図９は、図７のＬＳＥ２０６の例示の実装に関連する例示のワークフロー９００を示す。図９のワークフロー９００は、図３の第２のワークフロー３００ｂに対応し得る。図９において、ＬＳＥ２０６は、画像データが図４～図６のＳＲＡＭ４１０にストアされるより前に、図２～図３の画像データインターフェース２１６から画像データを取得する。例えば、図７に関連して上述したような入力チャネル［０］ではなく、画像データバッファ７１６が、画像データを取得し得る。ＬＳＥ２０６は、図８に関連して上述したような、図２～図６のコア２０８によって判定される処理された画像データ、変換された画素データ、及び／又は画像データ統計値に基づいてＣＲＣシグネチャ値を計算し得る。有利にも、図８に関連して上述したようなＳＲＡＭ４１０からではなく、画像データインターフェース２１６から画像データを取得することによって、画像フレームフリーズ状況を検出するための時間が短縮され得る。というのも、ＬＳＥ２０６が、本願で説明される他のワークフローと比較して、画像データ処理パイプラインにおいて一層早く画像データを処理し得るからである。
【0097】
図１０は、ＬＳＥコントローラ１０００の例示の実装を示す。図１０のＬＳＥコントローラ１０００は、図２のＬＳＥ２０６の別の例示の実装に対応し得る。図１０の図示される例において、ＬＳＥコントローラ１０００は、例示のスレッドコントローラ１０１０と、例示のコアインターフェース１０２０と、例示のメモリインターフェース１０３０と、例示のＨＷＡコンフィギュレータインターフェース１０４０と、例示のデータマルチプレクサ１０５０と、例示のＣＲＣ論理コントローラ１０６０と、例示のデータベース１０７０とを含む。
【0098】
図１０の図示される例において、ＬＳＥコントローラ１０００は、データの交換及び／又は送信を、異なるデバイス、コントローラ、及び／又は制御論理と同期させるためのスレッドコントローラ１０１０を含む。いくつかの例において、スレッドコントローラ１０１０は、画像データ（例えば、画像データソース（例えば、図１の画像データソース１０４）によって捕捉され及び／又はその他の方式でそこから取得された画像データ（例えば、図１の入力画像データ１１６、図２の画像データインターフェース２１６からの画像データ、又は処理された画像データ等）を取得する。
【0099】
いくつかの例において、スレッドコントローラ１０１０は、図１１に関連して後述される例示のコアコントローラ１１００によって読み取られ及び／又はその他の方式で取得され得るフォーマットに画像データを配し及び／又はその他の方式でフォーマットする。例えば、スレッドコントローラ１０１０は、異なるコントローラ及び／又は制御論理による画像データの受領を促進するために、画像データにデータビット、データヘッダー等を追加又は削除し得る。いくつかの例において、スレッドコントローラ１０１０は、図７の画像データバッファ７１６、入力チャネル７１８の一つ又は複数、入力チャネルマルチプレクサ７２０、及び／又はデータマージャー７２２に対応し得及び／又はその他の方式でそれらを実装し得る。
【0100】
図１０の図示される例において、ＬＳＥコントローラ１０００は、図２のコア２０８、図１１等のコアコントローラ１１００等などの異なるコントローラ及び／又は制御論理にデータを送信し及び／又はそこからデータを受け取るためのコアインターフェース１０２０を含む。いくつかの例において、コアインターフェース１０２０は、送信より前に、ＬＳＥコントローラ１０００によって使用される第１のデータフォーマットから、第１のデータフォーマットとは異なる第２のデータフォーマットに、データを前処理し、フォーマットし、コンバートし、及び／又はその他の方式で翻訳する。いくつかの例において、コアインターフェース１０２０は、異なるコントローラ及び／又は制御論理から第２のデータフォーマットで受け取られたデータを、第１のデータフォーマットに翻訳する。いくつかの例において、コアインターフェース１０２０は、図７のコアインターフェース７０４の一つ又は複数に対応し及び／又はその他の方式でそれを実装し得る。
【0101】
図１０の図示される例において、ＬＳＥコントローラ１０００は、メモリ又は他のストレージデバイスからデータを読み出すため及び／又はそこにデータを書き込むためのメモリインターフェース１０３０を含む。いくつかの例において、メモリインターフェース１０３０は、呼び出されたとき、メモリとＬＳＥコントローラ１０００との間のデータの伝送を促進し得るメモリコントローラである。いくつかの例において、メモリインターフェース１０３０は、図７のメモリインターフェース７１２に対応し及び／又はその他の方式でそれを実装する。
【0102】
図１０の図示される例において、ＬＳＥコントローラ１０００は、ＬＳＥコントローラ１０００を構成するために構成情報を取得するためのＨＷＡコンフィギュレータインターフェース１０４０を含む。いくつかの例において、ＨＷＡコンフィギュレータインターフェース１０４０は、構成情報に基づいて、特定のソースから（例えば、メモリ、画像データソース等から）画像データを取得するようにスレッドコントローラ１０１０を構成し得る。いくつかの例において、ＨＷＡコンフィギュレータインターフェース１０４０は、図４のＨＷＡコンフィギュレータ４０６、図２のホストデバイス２１４Ａ～Ｂの一方又は両方等から構成情報を取得する。いくつかの例において、ＨＷＡコンフィギュレータインターフェース１０４０は、図７のＨＷＡコンフィギュレータインターフェース７１４に対応し及び／又はその他の方式でそれを実装する。
【0103】
図１０の図示される例において、ＬＳＥコントローラ１０００は、データ読出し及び／又は書込み動作を制御するためのデータマルチプレクサ１０５０を含む。いくつかの例において、データマルチプレクサ１０５０は、ＨＷＡコンフィギュレータインターフェース１０４０によって取得された構成情報に基づいて画像データを取得するために、ソースを選択する。いくつかの例において、データマルチプレクサ１０５０は、図７のデータマルチプレクサ７１０に対応し及び／又はその他の方式でこれを実装する。
【0104】
図１０の図示される例において、ＬＳＥコントローラ１０００は、ＣＲＣシグネチャ（例えば、上述した３２ビットＣＲＣ多項式に基づく３２ビットＣＲＣシグネチャ）を計算し及び／又はその他の方式で判定するためのＣＲＣ論理コントローラ１０６０を含む。例えば、ＣＲＣ論理コントローラ１０６０は、コア２０８によって生成される処理された画像データ、コア２０８によって生成される変換された画素データ、コア２０８によって判定される画像データ統計値パラメータ等に基づいて、ＣＲＣシグネチャを計算し得る。いくつかの例において、ＣＲＣ論理コントローラ１０６０は、画像フレームフリーズ状況を検出するためにＣＲＣシグネチャ値を比較する。例えば、ＣＲＣ論理コントローラ１０６０は、ＣＲＣシグネチャ値間の差を判定することに応答して、画像フレームフリーズ状況を検出し得る。いくつかの例において、ＣＲＣ論理コントローラ１０６０は、図４～図９のＣＲＣ論理回路４０４に対応し及び／又はその他の方式でそれを実装する。
【0105】
図１０の図示される例において、ＬＳＥコントローラ１０００は、データ（例えば、構成情報、画像データ統計値、ＣＲＣシグネチャ値等）を記録するためのデータベース１０７０を含む。データベース１０７０は、揮発性メモリ（例えば、ＳＤＲＡＭ、ＤＲＡＭ、ＲＤＲＡＭ（登録商標）等）及び／又は不揮発性メモリ（例えば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ等）によって実装され得る。付加的に又は代替として、データベース１０７０は、ＤＤＲ、ＤＤＲ２、ＤＤＲ３、ＤＤＲ４、ｍＤＤＲ等など、一つ又は複数のＤＤＲメモリによって実装され得る。付加的に又は代替として、データベース１０７０は、ハードディスクドライブ、コンパクトディスクドライブ、デジタルバーサタイルディスクドライブ、ソリッドステートディスクドライブ等などの一つ又は複数の大容量ストレージデバイスによって実装され得る。図示される例では、データベース１０７０は単一データベースとして図示されるが、データベース１０７０は、任意の数及び／又はタイプのデータベースによって実装され得る。また、データベース１０７０にストアされるデータは、例えば、バイナリデータ、カンマ区切りのデータ、タブ区切りのデータ、構造化照会言語（ＳＱＬ）構造等など、任意のデータフォーマットであり得る。
【0106】
ＬＳＥコントローラ１０００を実装する例示の方式を図１０に図示したが、図１０に図示される要素、プロセス、及び／又はデバイスの一つ又は複数は、任意の他の方式で組み合わされ、分割され、再配置され、省かれ、なくされ、及び／又は実装され得る。また、図１０の例示のスレッドコントローラ１０１０、例示のコアインターフェース１０２０、例示のメモリインターフェース１０３０、例示のＨＷＡコンフィギュレータインターフェース１０４０、例示のデータマルチプレクサ１０５０、例示のＣＲＣ論理コントローラ１０６０、及び例示のデータベース１０７０、及び／又は、より一般的には、例示のＬＳＥコントローラ１０００は、ハードウェア、ソフトウェア、ファームウェア、及び／又は、ハードウェア、ソフトウェア、及び／又はファームウェアの任意の組み合わせによって実装され得る。このように、例えば、例示のスレッドコントローラ１０１０、例示のコアインターフェース１０２０、例示のメモリインターフェース１０３０、例示のＨＷＡコンフィギュレータインターフェース１０４０、例示のデータマルチプレクサ１０５０、例示のＣＲＣ論理コントローラ１０６０、及び例示のデータベース１０７０、及び／又は、より一般的には例示のＬＳＥコントローラ１０００の任意のものが、一つ又は複数のアナログ又はデジタル回路、論理回路、プログラマブルプロセッサ、プログラマブルコントローラ、グラフィクス処理ユニット（ＧＰＵ）、ＤＳＰ、ＡＳＩＣ、ＰＬＤ、及び／又はＦＰＬＤによって実装され得る。純粋なソフトウェア及び／又はファームウェア実装を網羅するように、本願の装置又はシステムの特許請求の範囲の任意のものを把握する際、例示のスレッドコントローラ１０１０、例示のコアインターフェース１０２０、例示のメモリインターフェース１０３０、例示のＨＷＡコンフィギュレータインターフェース１０４０、例示のデータマルチプレクサ１０５０、例示のＣＲＣ論理コントローラ１０６０、及び／又は例示のデータベース１０７０の少なくとも一つが、ソフトウェア及び／又はファームウェアを含め、不揮発性メモリ（例えば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ等）、揮発性メモリ（例えば、ＳＤＲＡＭ、ＤＲＡＭ等、及び／又は任意の他のタイプのＲＡＭデバイス）等などの非一時的コンピュータ可読ストレージデバイス又はストレージディスクを含むことが、本明細書において明確に定義されている。また、図１０の例示のＬＳＥコントローラ１０００は、図１０に図示されるものに加えて又はその代わりに、一つ又は複数の要素、プロセス、及び／又はデバイスを含み得、及び／又は、図示される要素、プロセス、及びデバイスの二つ以上の任意のもの又は全てを含み得る。
【0107】
図１１は、コアコントローラ１１００の例示の実装を示す。コアコントローラ１１００は、図２のコア２０８の別の例示の実装に対応し得る。図１１の図示される例において、コアコントローラ１１００は、例示のＬＳＥインターフェース１１１０と、例示のコアコンフィギュレータ１１２０と、例示の画像データプロセッサ１１３０と、例示のパラメータ計算機１１４０とを含む。
【0108】
図１１の図示される例において、コアコントローラ１１００は、図２のＬＳＥ２０６、図１０のＬＳＥコントローラ１０００等など、異なるコントローラ及び／又は制御論理へデータを送信するため、及び／又は、そこからデータを受け取るためのＬＳＥインターフェース１１１０を含む。いくつかの例において、ＬＳＥインターフェース１１１０は、送信より前に、コアコントローラ１１００によって使用される第１のデータフォーマットから、第１のデータフォーマットとは異なる第２のデータフォーマットにデータを前処理し、フォーマットし、コンバートし、及び／又はその他の方式で翻訳する。いくつかの例において、ＬＳＥインターフェース１１１０は、第１のデータフォーマットにおけるデータを第２のデータフォーマットに翻訳し、その後、第２のデータフォーマットにおけるデータを異なるコントローラ及び／又は制御論理に送信する。代替として、ＬＳＥインターフェース１１１０は、データを、第１のデータフォーマットから、Ｉ２Ｃバス、ＵＡＲＴバス、ＳＰＩバス等を促進するためのフォーマットに対応する第３のデータフォーマットにコンバートし得る。
【0109】
図１１の図示される例において、コアコントローラ１１００は、コアコントローラ１１００を構成するための構成情報を取得するために、コアコンフィギュレータ１１２０を含む。いくつかの例において、コアコンフィギュレータ１１２０は、構成情報に基づいて対象の画像データ統計値又は他のパラメータを判定するようにパラメータ計算機１１４０を構成し得る。例えば、コアコンフィギュレータ１１２０は、画素の或るセットのための最大値に対応する第１の画像データ統計値を計算するようにパラメータ計算機１１４０を構成し得る。他の例において、コアコンフィギュレータ１１２０は、画素値の或るセットのための最小値に対応する第２の画像データ統計値を判定し得る。いくつかの例において、コアコンフィギュレータ１１２０は、図４のＨＷＡコンフィギュレータ４０６、図２のホストデバイス２１４Ａ～Ｂの一方又は両方等から構成情報を取得する。
【0110】
図１１の図示される例において、コアコントローラ１１００は、ＬＳＥインターフェース１１１０によって取得された画像データから、対象のデータ又は情報を抽出するための画像データプロセッサ１１３０を含む。例えば、画像データプロセッサ１１３０は、入力画像データ（例えば、図１の入力画像データ１１６）に基づいて、画像データソース（例えば、図１の画像データソース１０４）によって捕捉された画像フレームの画素に関連する値を判定し得る。そのような例では、画像データプロセッサ１１３０は、ＲＧＢ画素値、及び／又は、輝度、色調、又は彩度の少なくとも一つに関連する値を抽出し及び／又はその他の方式で識別し得る。他の例において、画像データプロセッサ１１３０は、取得された画像データに関連する多くの行（例えば、画像フレーム高さ）、多くの列（例えば、画像フレーム幅）、多くの帯域、多くのビット毎ピクセル（ｂｐｐ）、ファイルタイプ等を判定し得る。そのような例では、画像データプロセッサ１１３０は、完全な又は全体の画像フレームがいつ処理されたかを判定し得る。
【0111】
いくつかの例において、画像データプロセッサ１１３０は、取得された画像データに対して一つ又は複数の画像処理タスクを実行することによって、処理された画像データを生成する。例えば、画像データプロセッサ１１３０は、ワイドダイナミックレンジ特徴を識別すること、欠陥画素補正技法を実行すること、取得された画像データを圧伸解除すること（例えば、画像データを再び線形ドメインにコンバートすること）等、及び／又はそれらの組み合わせによって、処理された画像データを生成し得る。いくつかの例において、画像データプロセッサ１１３０は、取得された画像データに対して、レンズシェーディング補正、レンズ歪み補正、ノイズフィルタリング、トーンマッピング、ＲＧＢコンバージョン、カラープレーンコンバージョン、エッジ強調、ヒストグラム抽出等、及び／又はそれらの組み合わせを実行すること、及び／又はその他の方式で実装することによって、処理された画像データを生成する。いくつかの例において、画像データプロセッサ１１３０は、図１０のＣＲＣ論理コントローラ１０６０が、処理された画像データに対してＣＲＣシグネチャタスクを実行するより前に、処理された画像データを生成するために、上述のプロセス、変換フィルタ等の任意のものを実行し、及び／又はその他の方式で実装し得る。
【0112】
いくつかの例において、画像データプロセッサ１１３０は、近隣認識画素変換などの変換動作を実行することによって画素データを変換する。例えば、画像データプロセッサ１１３０は、画像データ（例えば、ＬＳＥインターフェース１１１０によって取得された画像データからの抽出されたデータ又は対象の情報）に対してセンサス変換動作を実行することによって、シグネチャ（例えば、ビットシグネチャ）を生成し得る。例えば、画像データプロセッサ１１３０は、センサス変換データを生成するために、画素データに対してセンサス変換アルゴリズムを適用し得、及び／又はその他の方式で実行し得る。そのような例では、画像データプロセッサ１１３０は、センサス変換データをビットストリング（例えば、８ビット、１６ビット、３２ビット等のサイズ又は長さを有するビットストリング）に配することによってビットシグネチャを生成し得る。画像データプロセッサ１１３０は、ビットストリングに基づくバイナリ値に対応する１０進値を判定することによって、変換された画素データを生成し得る。そのような例では、画像データプロセッサ１１３０は、変換された画素データ（例えば、センサス変換された画素データ）に基づいて一つ又は複数の画像データ統計値を判定し得、これは、有利にも、図１の画像データソース１０４などの画像データソースに関連し得るセンサノイズ、送信ノイズ等に対してロバストである。
【0113】
図１１の図示される例において、コアコントローラ１１００は、ＬＳＥインターフェース１１１０によって取得される画像データに関連する一つ又は複数のパラメータ（例えば、診断パラメータ、画像データパラメータ、画像データ統計値、画像パイプ統計値等）を判定するためのパラメータ計算機１１４０を含む。例えば、パラメータ計算機１１４０は、処理のため、対象の画像フレームに関連する画素値のセットに関連する最大値、最小値、合計等を判定し得る。いくつかの例において、パラメータ計算機１１４０は、画像データ抽出器１１３０によって生成される処理された画像データに関連する一つ又は複数のパラメータを判定し得る。例えば、パラメータ計算機１１４０は、画像データプロセッサ１１３０によって生成される任意の出力に基づいて一つ又は複数のパラメータを判定し得、ここで、出力は、処理された画像データに対応し得る。
【0114】
コアコントローラ１１００を実装する例示の方式を図１１に図示したが、図１１に図示される要素、プロセス、及び／又はデバイスの一つ又は複数は、任意の他の方式で組み合わされ、分割され、再配置され、省かれ、なくされ、及び／又は実装され得る。また、例示のＬＳＥインターフェース１１１０、例示のコアコンフィギュレータ１１２０、例示の画像データプロセッサ１１３０、例示のパラメータ計算機１１４０、及び／又は、より一般的には図１１の例示のコアコントローラ１１００は、ハードウェア、ソフトウェア、ファームウェア、及び／又は、ハードウェア、ソフトウェア、及び／又はファームウェア任意の組み合わせによって実装され得る。このように、例えば、例示のＬＳＥインターフェース１１１０、例示のコアコンフィギュレータ１１２０、例示の画像データプロセッサ１１３０、例示のパラメータ計算機１１４０、及び／又はより一般的には例示のコアコントローラ１１００の任意のものが、一つ又は複数のアナログ又はデジタル回路、論理回路、プログラマブルプロセッサ、プログラマブルコントローラ、グラフィクス処理ユニット（ＧＰＵ）、ＤＳＰ、ＡＳＩＣ、ＰＬＤ、及び／又はＦＰＬＤによって実装され得る。純粋なソフトウェア及び／又はファームウェア実装を網羅するように、本願の装置又はシステムの特許請求の範囲の任意のものを把握する際、例示のＬＳＥインターフェース１１１０、例示のコアコンフィギュレータ１１２０、例示の画像データプロセッサ１１３０、例示のパラメータ計算機１１４０の少なくとも一つが、ソフトウェア及び／又はファームウェアを含め、不揮発性メモリ（例えば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ等）、揮発性メモリ（例えば、ＳＤＲＡＭ、ＤＲＡＭ等、及び／又は任意の他のタイプのＲＡＭデバイス）等などの非一時的コンピュータ可読ストレージデバイス又はストレージディスクを含むことが、本明細書において明確に定義されている。また、図１１の例示のコアコントローラ１１００は、図１１に図示されるものに加えて又はその代わりに、一つ又は複数の要素、プロセス、及び／又はデバイスを含み得、及び／又は、図示される要素、プロセス、及びデバイスの二つ以上の任意のもの又は全てを含み得る。
【0115】
図１２は、例示の画像データ１２００の概略図を示す。図１２の画像データ１２００は、フレームフリーズ状況を検出するために、図２のＨＷＡ２０４、及び／又は、より一般的には、フレームフリーズ検出システム２００によって処理されるべき対象の画像フレームに対応し得る。例えば、画像データ１２００は画素データであり得る。図１２において、画像データ１２００は、それぞれが画素値のセットに対応する例示の画素ウィンドウ１２０２を含む。例えば、画素値は、ＲＧＢ画素値又は他のタイプの画素値に対応し得る。他の例において、画素値は、輝度、色調、及び／又は彩度などの画像特性を表し得る。
【0116】
図１２の図示される例において、画素ウィンドウ１２０２の各々が、画素ウィンドウ高さ（ＰＷＨ）×画素ウィンドウ幅（ＰＷＷ）のサイズを有するウィンドウに配される例示の画素値１２０４を有する。ＰＷＨは、画素値の第１の量に対応するウィンドウの高さである。ＰＷＷは、画素値の第２の量に対応するウィンドウの幅である。いくつかの例において、画素値の第１及び第２の量は同じであり、他の例において、画素値の第１及び第２の量は異なる。
【0117】
図１２の図示される例において、画像データ１２００は、処理のための対象の画像フレーム（例えば、画像フレーム全体、完全な画像フレーム等）に対応し得る。図１２の画像データ１２００は、画像フレーム高さ（ＩＦＨ）×画像フレーム幅（ＩＦＷ）のサイズを有するウィンドウに配される。ＩＦＨは、画素ウィンドウの第１の量に対応する画像フレームの高さである。ＩＦＷは、画素ウィンドウの第２の量に対応する画像フレームの幅である。いくつかの例において、画素ウィンドウの第１及び第２の量は同じであり、他の例において、画素ウィンドウの第１及び第２の量は異なる。
【0118】
図１２の図示される例において、図２のＨＷＡ２０４及び／又はより一般的にはフレームフリーズ検出システム２００は、対象の画素ウィンドウで開始することによって画像データ１２００を処理し得る。例えば、図２のＨＷＡ２０４、及び／又はより一般的には、フレームフリーズ検出システム２００は、画像フレーム水平出発点（ＩＦＳＨ、image frame start horizontal）及び画像フレーム垂直出発点（ＩＦＳＶ、image frame start vertical）によって指定される初期画素ウィンドウで開始することによって、画像データ１２００を処理し得る。図１２において、ＩＦＳＨ及びＩＦＳＶは、画素ウィンドウ１２０２の第１の画素ウィンドウに対応する。そのような例では、図２のＨＷＡ２０４、及び／又はより一般的にはフレームフリーズ検出システム２００は、画素ウィンドウ１２０２の第１の画素ウィンドウを処理し得、画像データ１２００の全体が処理されるまで、左から右へ及び上から下へ続行し得る。代替として、ＩＦＳＨ及びＩＦＳＶは、画素ウィンドウ１２０２のうちの異なる画素ウィンドウであり得、及び／又は、画素ウィンドウの異なる順が処理され得る。ＨＷＡ２０４、及び／又はより一般的にはフレームフリーズ検出システム２００は、図１２の画像データ１２００の全体を処理することに応答して、ＨＷＡ２０４、及び／又はより一般的にはフレームフリーズ検出システム２００は、処理された画像データ１２００に基づいて一つ又は複数の画像パラメータを計算し得、及び／又はその他の方式で判定し得る。
【0119】
図１３は、例示の変換ワークフロー１３００を示す。図１３の変換ワークフロー１３００は、図２のコア２０８、図１１のコアコントローラ１１００等によって行われ得、及び／又はその他の方式で実行され得る。いくつかの例において、図１３の変換ワークフロー１３００は、ＬＳＥ２０６、図２～図３の第１のホストデバイス２１４Ａ、図２～図３の第２のホストデバイス２１４Ｂ、図２～図３ビジョンプロセッサ２２６等によって行われ得、及び／又はその他の方式で実行され得る。図１３において、変換ワークフロー１３００は近隣認識画素変換の例示の実装である。例えば、変換ワークフロー１３００は、センサス変換又は任意の他のタイプの画素変換に対応し得る。代替として、任意の他の画像データ変換動作が実行され得る。
【0120】
図１３の図示される例において、コア２０８及び／又はコアコントローラ１１００は、例示の画像データ１３０２を取得し得、画像データ１３０２に対して、例示の近隣認識画素変換動作（例えば、センサス変換アルゴリズム、センサス変換、センサス変換動作等）１３０４を実行して、例示の変換された画像データ（例えば、センサス変換データ）１３０６を生成し得る。図１３において、画像データ１３０２は、８、１０、或いは１２ビット毎ピクセル（ｂｐｐ）等を有するグレースケール画像、及び／又は、図１の画像データソース１０４からの任意の他の処理された又は抽出された画像データに関連する未加工画像データ、ルマデータ、クロマデータ、画像データに対応する。例えば、図１３の画像データ１３０２は、図１２の画像データ１２００、図１２の画像データ１２００の一部、図１２の画素ウィンドウ１２０２の一つ又は複数等に対応し得る。図１３において、画像データ１３０２は、５×５グリッド又はスクエアに配される２５画素値を有する。代替として、画像データ１３０２及び／又は変換された画像データ１３０６は、異なる数の画素値及び／又は異なる配置の画素値を有し得る。
【0121】
図１３の図示される例において、コア２０８及び／又はコアコントローラ１１００は、対象の画素値（例えば、画像データ１３０２の２５画素値の一つ）が中央画素値より大きいかどうかを判定するために、近隣認識画素変換動作１３０４を実行し得る。図１３において、中央画素値は７８である。例えば、コア２０８及び／又はコアコントローラ１１００は、近隣認識画素変換動作１３０４を実行して、対象の画素値が７８より大きいか又は７８と等しいときに「１」の値、及び、対象の画素値が７８より大きくないときに「０」の値を出力し得る。そのような例では、コア２０８及び／又はコアコントローラ１１００は、画像データ１３０２に含まれる画素値に対して近隣認識画素変換動作１３０４を実行することによって、図１３に示される変換された画像データ１３０６を生成し得る。
【0122】
図１３の図示される例において、コア２０８及び／又はコアコントローラ１１００は、変換された画像データ１３０６に基づいて例示のビットシグネチャ１３０８を生成し得る。図１３において、変換された画像データ１３０６は、「Ｘ」又はドントケア値を中央データ値が有する５×５グリッド又はスクエアである。コア２０８及び／又はコアコントローラ１１００は、変換された画像データ１３０６を、２４ビットのサイズ又は長さを有するビットストリングに配することによって、ビットシグネチャ１３０８を生成し得、ここでは、「Ｘ」値は含まれない。代替として、ビットシグネチャ１３０８は異なるサイズであり得る。コア２０８及び／又はコアコントローラ１１００は、画像データ１３０２の中央画素値（例えば、７８の画素値）をビットシグネチャ１３０８に対応する値で置き換えることによって、例示の変換された画素データ（例えば、センサス変換された画素データ）１３１０を生成し得る。例えば、コア２０８及び／又はコアコントローラ１１００は、１１０００１１０００１１０００００１１０１１１１のビットシグネチャ１３０８のバイナリ値を、１２９８８５２７の１０進値にコンバートし得る。そのような例では、１２９８８５２７の１０進値は、変換された画素データ値（例えば、センサス変換値）に対応し得る。代替として、変換された画素データ１３１０は、異なる量の画素値及び／又は異なる配置の画素値を有し得る。
【0123】
いくつかの例において、コア２０８及び／又はコアコントローラ１１００は、変換ワークフロー１３００を行うこと及び／又はその他の方式で実行することによって、一つ又は複数の画像データ統計値を生成する。例えば、コア２０８及び／又はコアコントローラ１１００は、図１２の画素ウィンドウ１２０２のための変換された画素データ値を生成し得る。そのような例では、コア２０８及び／又はコアコントローラ１１００は、画素ウィンドウ１２０２の第１の画素ウィンドウに対応する第１の変換された画素データ値、画素ウィンドウ１２０２の第２の画素ウィンドウに対応する第２の変換された画素データ値等を判定し得る。いくつかの例において、コア２０８及び／又はコアコントローラ１１００は、変換された画素データ値の最大値、最小値、合計値等を判定することによって、画像データ統計値を判定する。いくつかの例において、コア２０８及び／又はコアコントローラ１１００は、変換された画素データ値に基づく画像データ統計値を、図２のＬＳＥ２０６、図１０のＬＳＥコントローラ１０００等に送信し得る。
【0124】
有利にも、図１３の変換ワークフロー１３００は、画素不変及び／又は画素値近隣認識動作であり得る。というのも、近隣認識画素変換動作１３０４が、センサノイズ（例えば、図１の画像データソース１０４に関連する電気及び／又は信号ノイズ）、送信ノイズ等に起因する受信画素データ（例えば、一つ又は複数の画素データビットにおける反転）における軽微な変動に対してロバストであり得るからである。
【0125】
図１０のＬＳＥコントローラ１０００及び／又は図１１のコアコントローラ１１００を実装するための例示のハードウェア論理、機械可読命令、ハードウェア実装の状態機械、及び／又はそれらの任意の組み合わせを表すフローチャートを図１４～図１５に示す。機械可読命令は、図１６に関連して後述される例示のプロセッサプラットフォーム１６００に示されるプロセッサ１６１２及び／又は図１７に関連して後述される例示のプロセッサプラットフォーム１７００に示されるプロセッサ１７１２などのコンピュータプロセッサによる実行のための実行可能なプログラム又は実行可能なプログラムの一部であり得る。こうしたプログラムは、ＣＤ－ＲＯＭ、フロッピーディスク、ハードドライブ、デジタルバーサタイルディスク（ＤＶＤ）、ブルーレイディスク、又は、図１６のプロセッサ１６１２及び／又は図１７のプロセッサ１７１２に関連するメモリなどの非一時的コンピュータ可読ストレージ媒体にストアされるソフトウェアにおいて具現化され得るが、プログラム全体及び／又はその一部が、代替として、図１６のプロセッサ１６１２及び／又は図１７のプロセッサ１７１２以外のデバイスによって実行され得、及び／又は、ファームウェア又は専用のハードウェアにおいて具現化され得る。また、例示のプログラムが、図１４～図１５に図示されるフローチャートを参照して説明されているが、例示のＬＳＥコントローラ１０００及び／又は例示のコアコントローラ１１００を実装する多くの他の方法が代替として用いられ得る。例えば、ブロックの実行の順が変更され得、及び／又は、説明されるブロックのいくつかが、変更され、なくされ、又は組み合わされ得る。付加的に又は代替として、ブロックの任意のもの又は全ては、ソフトウェア又はファームウェアを実行することなく対応する動作を行うように構成される一つ又は複数のハードウェア回路（例えば、ディスクリート及び／又は集積アナログ及び／又はデジタル回路要素、ＦＰＧＡ、ＡＳＩＣ、コンパレータ、演算増幅器（オペアンプ）、論理回路等）によって実装され得る。
【0126】
上記したように、図１４～図１５の例示のプロセスは、ハードディスクドライブ、フラッシュメモリ、読み出し専用メモリ、コンパクトディスク、デジタルバーサタイルディスク、キャッシュ、ランダムアクセスメモリ、及び／又は、任意の時間期間の間（例えば、延長された時間期間の間、恒久的に、短い瞬間の間、一時的なバッファリングの間、及び／又は、情報のキャッシングの間）情報をストアする任意の他のストレージデバイス又はストレージディスクなどの非一時的コンピュータ及び／又は機械可読媒体にストアされる実行可能な命令（例えば、コンピュータ及び／又は機械可読命令）を用いて実装され得る。本明細書で用いられるように、非一時的コンピュータ可読媒体という用語は、任意のタイプのコンピュータ可読ストレージデバイス及び／又はストレージディスクを含むこと及び伝搬信号を除外すること及び送信媒体を除外することが明確に定義される。
【0127】
「含む」及び「包含する」（及びその全ての変化形及び時制）は、非限定的な用語である。このように、或る請求項が、プリアンブルとして又は任意の種類の請求項の記載において、「含む」の任意の形（例えば、含む、包含する、有する等）を用いるときはいつでも、対応する請求項又は記載の範囲から逸脱することなく、付加的な要素、用語等が存在し得る。本明細書で用いられるように、「少なくとも」という表現が、例えば、或る請求項のプリアンブルにおいて、接続句として用いられるとき、それは、「含む」及び「包含する」という用語が非限定的であるのと同じように非限定的である。「及び／又は」という用語は、例えば、Ａ、Ｂ、及び／又はＣなどの形で用いられるとき、（１）Ａのみ、（２）Ｂのみ、（３）Ｃのみ、（４）ＡとＢ、（５）ＡとＣ、（６）ＢとＣ、及び（７）ＡとＢとＣなど、Ａ、Ｂ、Ｃの任意の組み合わせ又はサブセットを指す。構造、構成要素、アイテム、オブジェクト、及び／又は物事を説明する文脈において本明細書で用いられるように、「Ａ及びＢの少なくとも一つ」という表現は、（１）少なくとも一つのＡ、（２）少なくとも一つのＢ、及び（３）少なくとも一つのＡ及び少なくとも一つのＢ、のうちの任意のものを含む実装を指す。同様に、構造、構成要素、アイテム、オブジェクト、及び／又は物事を説明する文脈において本明細書で用いられるように、「Ａ又はＢの少なくとも一つ」という表現は、（１）少なくとも一つのＡ、（２）少なくとも一つのＢ、及び（３）少なくとも一つのＡ及び少なくとも一つのＢ、のうちの任意のものを含む実装を指す。プロセス、命令、行為、アクティビティ、及び／又は工程の性能又は実行を説明する文脈において本明細書で用いられるように、「Ａ及びＢの少なくとも一つ」という表現は、（１）少なくとも一つのＡ、（２）少なくとも一つのＢ、及び（３）少なくとも一つのＡ及び少なくとも一つのＢ、のうちの任意のものを含む実装を指す。同様に、プロセス、命令、行為、アクティビティ、及び／又は工程の性能又は実行を説明する文脈において本明細書で用いられるように、「Ａ又はＢの少なくとも一つ」という表現は、（１）少なくとも一つのＡ、（２）少なくとも一つのＢ、及び（３）少なくとも一つのＡ及び少なくとも一つのＢ、のうちの任意のものを含む実装を指す。
【0128】
図１４は、フレームフリーズ状況を検出するために実行され得る例示の機械可読命令１４００を表すフローチャートである。いくつかの例において、図１４の機械可読命令１４００は、図２のＬＳＥ２０６、及び／又は、より一般的にはＨＷＡ２０４、を実装するために実行され得る。いくつかの例において、図１４の機械可読命令１４００は、図１０のＬＳＥコントローラ１０００を実装するために実行され得る。
【0129】
図１４の機械可読命令１４００は、ブロック１４０２で始まる。ブロック１４０２において、ハードウェアアクセラレータ（ＨＷＡ）が、対象の画像フレームについて出力チャネル上で巡回冗長検査（ＣＲＣ）値を演算するように構成される。例えば、ＨＷＡコンフィギュレータインターフェース７１４（図７）は、対象の第１の画像フレーム（例えば、画像フレーム［ｎ］）のためのＣＲＣ値を演算するために、構成情報を取得し得、この構成情報に基づいて出力チャネル７０８を構成する。他の例において、ＨＷＡコンフィギュレータインターフェース１０４０（図１０）は、画像フレーム［ｎ］のためのＣＲＣ値を判定するために、スレッドコントローラ１０１０（図１０）又はＣＲＣ論理コントローラ１０６０（図１０）の少なくとも一つを構成し得る。
【0130】
ブロック１４０４において、画素出力データが取得される。例えば、コアインターフェース７０４（図７）の一つ又は複数が、コア２０８（図２）から画素出力データ（例えば、画素値、画像データ統計値等）を取得し得る。他の例において、コアインターフェース１０２０（図１０）は、コアコントローラ１１００（図１１）など、異なるコントローラ及び／又は制御論理から画素出力データを取得し得る。
【0131】
ブロック１４０６において、ＣＲＣ値が演算される。例えば、ＣＲＣ論理回路４０４（図４）は、出力チャネル７０８の一つ又は複数のためのそれぞれのＣＲＣ値を生成し得る。出力チャネル７０８は、処理された画像データ、センサス変換データ、及び／又は画像データ統計値に対応し得る。他の例において、ＣＲＣ論理コントローラ１０６０は、対象の一つ又は複数の出力チャネルのためのＣＲＣ値を計算し得、ここで、一つ又は複数の出力チャネルの各々は、異なるコントローラ及び／又は制御論理から取得されたデータに対応し得る。
【0132】
ブロック１４０８において、対象の画像フレームの終端に到達したかどうかの判定がなされる。例えば、ＣＲＣ論理回路４０４及び／又はＣＲＣ論理コントローラ１０６０は、図１２の画像データ１２００に対応する画像フレームの全体が処理されたことを判定し得る。そのような例では、ＣＲＣ論理回路４０４及び／又はＣＲＣ論理コントローラ１０６０は、対応する出力チャネルに関連するフレーム信号の終了、フレームデータビットの終了等を取得し得る。
【0133】
ブロック１４１０において、対象の画像フレームの終端に到達していない場合、制御は、付加的な画素出力データを取得するためにブロック１４０４に戻る。ブロック１４１０において、対象の画像フレームの終端に到達している場合、ブロック１４１０において、ＣＲＣ値が画像フレーム［ｎ］ＣＲＣ値としてストアされる。例えば、ＣＲＣ論理回路４０４は、処理されている画像フレームに対応するＣＲＣ値をＳＲＡＭ４１０（図４）にストアし得、また、ＣＲＣ値を、画像フレーム［ｎ］に対応するように関連付け得る（例えば、ＣＲＣ値の関連をストアし得る）。他の例において、ＣＲＣ論理コントローラ１０６０は、データベース１０７０（図１０）にＣＲＣ値をストアし得、また、ストアされたＣＲＣ値を画像フレーム［ｎ］に対応するように関連付け得る（例えば、ストアされたＣＲＣ値の関連をストアし得る）。
【0134】
ブロック１４１２において、ＣＲＣ値は、画像フレーム［ｎ］のＣＲＣ値を画像フレーム［ｎ－１］のＣＲＣ値と比較するために、ホストデバイスに送信される。例えば、ＬＳＥ２０６は、ＳＲＡＭインターフェース４０８（図４）、ＨＷＡ ＤＭＡ４１６（図４）、データ動きファブリック２１８（図２）、又はホストデバイスインターフェース２３０（図２）の少なくとも一つを含むデータフロー経路を介する第１のホストデバイス２１４Ａ（図２）への後続の送信のため、画像フレーム［ｎ］（例えば、第１の画像フレーム）のためのＣＲＣ値をＳＲＡＭ４１０にストアし得る。他の例において、ＣＲＣ論理コントローラ１０６０は、画像フレーム［ｎ］に関連する第１のＣＲＣ値及び画像フレーム［ｎ－１］（例えば、第１の画像フレームより前に取得され及び／又は処理された第２の画像フレーム）に関連する第２のＣＲＣ値をデータベース１０７０から取得し得る。代替として、ＣＲＣ論理コントローラ１０６０は、第１のＣＲＣ値及び第２のＣＲＣ値を、分析のため、異なるデバイスに送信し得る。
【0135】
ブロック１４１４において、ホストデバイスによる比較に基づく一致の表示が取得されたかどうかの判定がなされる。例えば、第１のホストデバイス２１４Ａは、画像フレーム［ｎ］に対応する一つ又は複数のＣＲＣ値が、画像フレーム［ｎ－１］に対応する一つ又は複数のＣＲＣ値に一致することを判定し得る。そのような例では、第１のホストデバイス２１４Ａは、処理された画像データ、センサス変換データ、及び／又は画像データ統計値に関連するＣＲＣ値に基づいて潜在的なフレームフリーズ状況が検出されたことを表示する警告、表示等を生成し得る。他の例において、ＣＲＣ論理コントローラ１０６０は、画像フレーム［ｎ］に関連する第１のＣＲＣ値の一つ又は複数が、画像フレーム［ｎ－１］に関連する２のＣＲＣ値の一つ又は複数に一致することを判定し得る。そのような例では、ＣＲＣ論理コントローラ１０６０は、潜在的なフレームフリーズ状況が検出されたことを表示する警告、表示等を生成し得る。
【0136】
ブロック１４１４において、ホストデバイスによる比較に基づく一致の表示が取得されていない場合、制御は、付加的な画素出力データを取得するために、ブロック１４０４に戻る。ブロック１４１４において、ホストデバイスによる比較に基づく一致の表示が取得されている場合、ブロック１４１６において、画像フレーム［ｎ］は、画像フレームフリーズ候補として識別される。例えば、第１のホストデバイス２１４Ａは、更なる処理のため、付加的な情報（例えば、診断パラメータ、画像データ統計値等）をＳＲＡＭ４１０から取得し得る。他の例において、ＣＲＣ論理コントローラ１０６０は、更なる処理のため、付加的な情報をデータベース１０７０から取得し得る。
【0137】
ブロック１４１８において、画像フレームフリーズ検出を示す警告が生成される。例えば、第１のホストデバイス２１４Ａは、ＣＲＣ値の一致又はＳＲＡＭ４１０からの付加的な情報の少なくとも一方に基づいて画像フレームフリーズ状況が検出されたことを判定し得る。そのような例では、第１のホストデバイス２１４Ａは、ディスプレイコントローラ２２８（図２）に、ディスプレイパネル２１０上に警告を表示するように、又は、その他の補正又は緩和アクションを取るように命令し得る（例えば、ディスプレイパネル２１０に、画像フレームフリーズ状況がもはや検出されなくなる及び／又は解決されるまで、図１の画像データソース１０４からのデータを使用しないように命令し得る）。ブロック１４１８において画像フレームフリーズ検出を示す警告を生成することに応答して、図１４の機械可読命令１４００が終わる。
【0138】
図１５は、異なる画素処理動作に基づいてフレームフリーズ状況を検出するために実行され得る例示の機械可読命令１５００を表すフローチャートである。いくつかの例において、図１５の機械可読命令１５００は、図２のＨＷＡ２０４を実装するために実行され得る。いくつかの例において、図１５の機械可読命令１５００は、図１０のＬＳＥコントローラ１０００及び／又は図１１のコアコントローラ１１００を実装するように実行され得る。
【0139】
図１５の機械可読命令１５００は、画素データが取得されるブロック１５０２で始まる。例えば、ＬＳＥ２０６は、画像データインターフェース２１６（図２）、ＳＲＡＭ４１０（図４）等からの画素データに対応する及び／又はその他の方式でこれを含む画像データを取得し得る。他の例において、スレッドコントローラ１０１０（図１０）は、画像データソース１０４（図１）、データベース１０７０（図１０）等から画素値を取得し得る。
【0140】
ブロック１５０４において、第１のＣＲＣ値が、画素データに基づいて判定される。例えば、ＣＲＣ論理回路４０４は、画像データインターフェース２１６、ＳＲＡＭ４１０等からの画素データに基づいて第１のＣＲＣ値を判定し得る。他の例において、ＣＲＣ論理コントローラ１０６０（図１０）は、画像データソース１０４、データベース１０７０等からの画素データに基づいて第１のＣＲＣ値を判定し得る。
【0141】
ブロック１５０６において、ブロック１５０２において取得された画素データが変換される。例えば、コア２０８（図２）は、画像データ１２００（図１２）に基づいて、変換された画素データ１３１０（図１３）を生成し得る。他の例において、画像データプロセッサ１１３０は、画像データ１２００に基づいて、変換された画素データ１３１０を生成し得る。
【0142】
ブロック１５０８において、第２のＣＲＣ値が、変換された画素データに基づいて判定される。例えば、ＣＲＣ論理回路４０４は、図１３の変換された画素データ１３１０に基づいて、第２のＣＲＣ値を判定し得る。他の例において、ＣＲＣ論理コントローラ１０６０は、変換された画素データ１３１０に基づいて第２のＣＲＣ値を判定し得る。
【0143】
ブロック１５０２において画素データを取得すること又はブロック１５０６において画素データを変換することの少なくとも一方に応答して、ブロック１５１０において、画像データ統計値が画素データに基づいて生成される。例えば、コア２０８及び／又はパラメータ計算機１１４０は、ブロック１５０２において取得された画素データに基づいて一つ又は複数の画像データ統計値を生成し得る。他の例において、コア２０８及び／又はパラメータ計算機１１４０は、ブロック１５０６において変換された画素データに基づいて一つ又は複数の画像データ統計値を生成し得る。さらに他の例において、コア２０８及び／又はパラメータ計算機１１４０は、ブロック１５０２において取得された画素データ又はブロック１５０６において変換された画素データの少なくとも一方に基づいて、一つ又は複数の画像データ統計値を生成し得る。
【0144】
ブロック１５１０において画素データに基づいて画像データ統計値を生成することに応答して、ブロック１５１２において、第３のＣＲＣ値が、画像データ統計値に基づいて判定される。例えば、ＣＲＣ論理回路４０４は、コア２０８からの一つ又は複数の画像データ統計値に基づいて第３のＣＲＣ値を判定し得る。他の例において、ＣＲＣ論理コントローラ１０６０は、コアコントローラ１１００のパラメータ計算機１１４０によって判定された一つ又は複数の画像データ統計値に基づいて、第３のＣＲＣ値を判定し得る。
【0145】
ブロック１５１４において、第１のＣＲＣ値、第２のＣＲＣ値、又は第３のＣＲＣ値の少なくとも一つに基づいて、フレームフリーズ状況が検出される。例えば、第１のホストデバイス２１４Ａ（図２）は、画像データソース１０４（図１）に関連するフレームフリーズ状況を、検出、判定、及び／又はその他の方式で識別し得る。そのような例では、第１のホストデバイス２１４Ａは、対象の第１の画像フレームのための第１のＣＲＣ値を、対象の第１の画像フレームの前に取得され及び／又はその他の方式で処理された対象の第２の画像フレームのためのＣＲＣ値と比較し得る。第１のホストデバイス２１４Ａは、ＣＲＣ値が一致せず、及び／又は、その他の様式で異なるとき、フレームフリーズ状況を検出し得る。他の例において、ＣＲＣ論理コントローラ１０６０は、対象の第１の画像フレームのための第１のＣＲＣ値を、対象の第１の画像フレームの前に取得され及び／又はその他の方式で処理された対象の第２の画像フレームのためのＣＲＣ値と比較し得る。第１のホストデバイス２１４Ａは、ＣＲＣ値が一致せず、及び／又は、その他の方式で異なるとき、フレームフリーズ状況を検出し得る。さらに他の例において、第１のホストデバイス２１４Ａ及び／又はＣＲＣ論理コントローラ１０６０は、（１）対象の第１の画像フレームのための第１のＣＲＣ値を、対象の第１の画像フレームの前に取得され及び／又はその他の方式で処理された対象の第２の画像フレームのための第１のＣＲＣ値と比較することによって、第１の比較を行い得、（２）対象の第１の画像フレームのための第２のＣＲＣ値を、対象の第２の画像フレームのための第２のＣＲＣ値と比較することによって第２の比較を行い得、及び／又は、（３）対象の第１の画像フレームのための第３のＣＲＣ値を、対象の第２の画像フレームのための第３のＣＲＣ値と比較することによって、第３の比較を行い得る。そのような例では、第１のホストデバイス２１４Ａ及び／又はＣＲＣ論理コントローラ１０６０は、ＣＲＣ値に差を生じさせる第１の比較、第２の比較、又は第３の比較の少なくとも一つに基づいてフレームフリーズ状況を検出し得る。ブロック１５１４において、第１、第２、又は第３のＣＲＣ値の少なくとも一つに基づいてフレームフリーズ状況を検出することに応答して、図１５の機械可読命令１５００が終わる。
【0146】
図１６は、図１０のＬＳＥコントローラ１００を実装するために図１４及び／又は図１５の命令を実行するように構成される、例示のプロセッサプラットフォーム１６００のブロック図である。プロセッサプラットフォーム１６００は、例えば、サーバー、パーソナルコンピュータ、ワークステーション、自己学習機械（例えば、ニューラルネットワーク）、モバイルデバイス（例えば、携帯電話、スマートフォン、ｉＰａｄ（登録商標）などのタブレット）、パーソナルデジタルアシスタント（ＰＤＡ）、ヘッドセット又はその他のウェアラブルデバイス、又は任意の他のタイプのコンピューティングデバイスであり得る。
【0147】
図示される例のプロセッサプラットフォーム１６００は、プロセッサ１６１２を含む。図示される例のプロセッサ１６１２はハードウェアである。例えば、プロセッサ１６１２は、任意の所望の集団又は製造業者からの、一つ又は複数の集積回路、論理回路、マイクロプロセッサ、ＧＰＵ、ＤＳＰ、又はコントローラによって実装され得る。ハードウェアプロセッサは、半導体ベース（例えば、シリコンベース）のデバイスであり得る。この例では、プロセッサ１６１２は、図１０の例示のスレッドコントローラ１０１０、例示のデータマルチプレクサ１０５０、及び例示のＣＲＣ論理コントローラ１０６０を実装する。
【0148】
図示される例のプロセッサ１６１２は、ローカルメモリ１６１３（例えば、キャッシュ）を含む。図示される例のプロセッサ１６１２は、バス１６１８を介して揮発性メモリ１６１４及び不揮発性メモリ１６１６を備えるメインメモリと通信する。揮発性メモリ１６１４は、ＳＤＲＡＭ、ＤＲＡＭ、ＲＤＲＡＭ（登録商標）、及び／又は任意の他のタイプのランダムアクセスメモリデバイスによって実装され得る。不揮発性メモリ１６１６は、フラッシュメモリ及び／又は任意の他の所望のタイプのメモリデバイスによって実装され得る。メインメモリ１６１４、１６１６へのアクセスは、メモリコントローラによって制御される。
【0149】
また、図示される例のプロセッサプラットフォーム１６００は、インターフェース回路１６２０を含む。インターフェース回路１６２０は、イーサネットインターフェース、ユニバーサルシリアルバス（ＵＳＢ）、ブルートゥース（登録商標）インターフェース、近距離無線通信（ＮＦＣ）インターフェース、及び／又はＰＣＩエクスプレスインターフェースなど、任意のタイプのインターフェース規格によって実装され得る。
【0150】
図示される例では、一つ又は複数の入力デバイス１６２２が、インターフェース回路１６２０に接続される。入力デバイス１６２２によって、ユーザは、データ及び／又はコマンドをプロセッサ１６１２に入力できる。入力デバイス１６２２は、例えば、オーディオセンサ、マイク、カメラ（静止画又は動画）、キーボード、ボタン、マウス、タッチスクリーン、トラックパッド、トラックボール、アイソポイントデバイス、及び／又は、音声認識システムによって実装され得る。
【0151】
また、一つ又は複数の出力デバイス１６２４が、図示される例のインターフェース回路１６２０に接続される。出力デバイス１６２４は、例えば、ディスプレイデバイス（例えば、ＬＥＤ、ＯＬＥＤ、ＬＣＤ、陰極線管（ＣＲＴ）ディスプレイ、ＩＰＳディスプレイ、タッチスクリーン等）、触感出力デバイス、プリンタ、及び／又は、スピーカによって実装され得る。このように図示される例のインターフェース回路１６２０は、グラフィクスドライバカード、グラフィクスドライバチップ、及び／又は、グラフィクスドライバプロセッサを含み得る。
【0152】
また、図示される例のインターフェース回路１６２０は、ネットワーク１６２６を介した外部機械（例えば、任意の種類のコンピューティングデバイス）とのデータ交換を促進するために、トランスミッタ、レシーバ、トランシーバ、モデム、レジデンシャルゲートウェイ、ワイヤレスアクセスポイント、及び／又はネットワークインターフェースなどの通信デバイスを含む。そうした通信は、例えば、イーサネット接続、デジタル加入者線（ＤＳＬ）接続、電話線接続、同軸ケーブルシステム、衛星システム、見通し内（line of site）ワイヤレスシステム、携帯電話システム等を介するものであり得る。この例では、インターフェース回路１６２０は、図１０の例示のコアインターフェース１０２０、例示のメモリインターフェース１０３０、及び例示のＨＷＡコンフィギュレータインターフェース１０４０を実装する。
【0153】
また、図示される例のプロセッサプラットフォーム１６００は、ソフトウェア及び／又はデータをストアするための一つ又は複数の大容量ストレージデバイス１６２８を含む。そのような大容量ストレージデバイス１６２８の例には、フロッピーディスクドライブ、ハードドライブディスク、コンパクトディスクドライブ、ブルーレイディスクドライブ、ＲＡＩＤ（redundant array of independent disks）システム、及びＤＶＤドライブが含まれる。この例では、一つ又は複数の大容量ストレージデバイス１６２８は、図１０の例示のデータベース１０７０を実装する。
【0154】
図１４～図１５の機械実行可能命令１６３２は、大容量ストレージデバイス１６２８、揮発性メモリ１６１４、不揮発性メモリ１６１６、及び／又は、ＣＤ又はＤＶＤなどの取り外し可能非一時的コンピュータ可読ストレージ媒体にストアされ得る。
【0155】
図１７は、図１１のコアコントローラ１１００を実装するために図１５の命令を実行するように構成される、例示のプロセッサプラットフォーム１７００のブロック図である。プロセッサプラットフォーム１７００は、例えば、サーバー、パーソナルコンピュータ、ワークステーション、自己学習機械（例えば、ニューラルネットワーク）、モバイルデバイス（例えば、携帯電話、スマートフォン、ｉＰａｄ（登録商標）などのタブレット）、パーソナルデジタルアシスタント（ＰＤＡ）、ヘッドセット又はその他のウェアラブルデバイス、又は任意の他のタイプのコンピューティングデバイスであり得る。
【0156】
図示される例のプロセッサプラットフォーム１７００はプロセッサ１７１２を含む。図示される例のプロセッサ１７１２はハードウェアである。例えば、プロセッサ１７１２は、任意の所望の集団又は製造業者からの一つ又は複数の集積回路、論理回路、マイクロプロセッサ、ＧＰＵ、ＤＳＰ、又はコントローラによって実装され得る。ハードウェアプロセッサは、半導体ベース（例えば、シリコンベース）のデバイスであり得る。この例では、プロセッサ１７１２は、図１１の例示のコアコンフィギュレータ１１２０、例示の画像データプロセッサ１１３０、及びパラメータ計算機１１４０を実装する。
【0157】
図示される例のプロセッサ１７１２は、ローカルメモリ１７１３（例えば、キャッシュ）を含む。図示される例のプロセッサ１７１２は、バス１７１８を介して揮発性メモリ１７１４及び不揮発性メモリ１７１６を含むメインメモリと通信する。揮発性メモリ１７１４は、ＳＤＲＡＭ、ＤＲＡＭ、ＲＤＲＡＭ（登録商標）、及び／又は任意の他のタイプのランダムアクセスメモリデバイスによって実装され得る。不揮発性メモリ１７１６は、フラッシュメモリ及び／又は任意の他の所望のタイプのメモリデバイスによって実装され得る。メインメモリ１７１４、１７１６へのアクセスは、メモリコントローラによって制御される。
【0158】
また、図示される例のプロセッサプラットフォーム１７００は、インターフェース回路１７２０を含む。インターフェース回路１７２０は、イーサネットインターフェース、ＵＳＢ、ブルートゥース（登録商標）インターフェース、ＮＦＣインターフェース、及び／又はＰＣＩエクスプレスインターフェースなど、任意のタイプのインターフェース規格によって実装され得る。
【0159】
図示される例では、一つ又は複数の入力デバイス１７２２が、インターフェース回路１７２０に接続される。入力デバイス１７２２によって、ユーザは、データ及び／又はコマンドをプロセッサ１７１２に入力できる。入力デバイス１７２２は、例えば、オーディオセンサ、マイク、カメラ（静止画又は動画）、キーボード、ボタン、マウス、タッチスクリーン、トラックパッド、トラックボール、アイソポイントデバイス、及び／又は、音声認識システムによって実装され得る。
【0160】
また、一つ又は複数の出力デバイス１７２４が、図示される例のインターフェース回路１７２０に接続される。出力デバイス１７２４は、例えば、ディスプレイデバイス（例えば、ＬＥＤ、ＯＬＥＤ、ＬＣＤ、ＣＲＴディスプレイ、ＩＰＳディスプレイ、タッチスクリーン等）、触感出力デバイス、プリンタ、及び／又は、スピーカによって実装され得る。このように、図示される例のインターフェース回路１７２０は、グラフィクスドライバカード、グラフィクスドライバチップ、及び／又はグラフィクスドライバプロセッサを含み得る。
【0161】
また、図示される例のインターフェース回路１７２０は、ネットワーク１７２６を介した外部機械（例えば、任意の種類のコンピューティングデバイス）とのデータの交換を促進するために、トランスミッタ、レシーバ、トランシーバ、モデム、レジデンシャルゲートウェイ、ワイヤレスアクセスポイント、及び／又はネットワークインターフェースなどの通信デバイスを含む。そうした通信は、例えば、イーサネット接続、ＤＳＬ接続、電話線接続、同軸ケーブルシステム、衛星システム、見通し内ワイヤレスシステム、携帯電話システム等を介するものであり得る。この例では、インターフェース回路１７２０は、図１１の例示のＬＳＥインターフェース１１１０を実装する。
【0162】
また、図示される例のプロセッサプラットフォーム１７００は、ソフトウェア及び／又はデータをストアするための一つ又は複数の大容量ストレージデバイス１７２８を含む。そのような大容量ストレージデバイス１７２８の例には、フロッピーディスクドライブ、ハードドライブディスク、コンパクトディスクドライブ、ブルーレイディスクドライブ、ＲＡＩＤシステム、及びＤＶＤドライブが含まれる。
【0163】
図１５の機械実行可能命令１７３２は、大容量ストレージデバイス１７２８、揮発性メモリ１７１４、不揮発性メモリ１７１６、及び／又は、ＣＤ又はＤＶＤなどの取り外し可能非一時的コンピュータ可読ストレージ媒体にストアされ得る。
【0164】
上記から、画像フレームフリーズ状況の検出を改善する例示のシステム、方法、装置、及び製品について説明されてきたことが理解されよう。有利にも、本願で説明される例は、ＣＲＣ値を判定し、連続又はシーケンシャルな画像フレームのためのＣＲＣ値に基づいて画像フレームフリーズ状況を検出し得る。説明されるシステム、方法、装置、及び製品は、画像フレームの全体を互いに比較するのではなく、異なる画像フレームに関連するビットストリング（例えば、１６ビットストリング、３２ビットストリング等）を比較することによって、コンピューティングデバイスを用いる効率を改善する。従って、説明される方法、装置、及び製品は、代替の技法よりもデータ比較が実質的に少ない（例えば、必要とされるコンピューティングリソースが少ない、必要とされるストレージ又はメモリリソースが少ない等）ので、コンピュータの機能性に一つ又は複数の改善をもたらす一方で、本願で説明される例は、実質的にリアルタイムの検出或いはメモリ間画像パイプ処理を促進し得る。
【0165】
画像フレームフリーズ検出のための例示の方法、装置、システム、及び製品が本願で説明されている。それらのさらなる例及び組み合わせには以下が含まれる。
【0166】
例１は、或るハードウェアアクセラレータを含み、このハードウェアアクセラレータは、第１の画像フレームに関連する第１の画像データに基づいて第２の画像データを生成するためのコア論理回路であって、第２の画像データが、処理された画像データ、変換された画像データ、又は一つ又は複数の画像データ統計値の少なくとも一つに対応する、コア論理回路と、コア論理回路に結合され、第２の画像データに基づいて第１のＣＲＣ値を判定するためのロード／ストアエンジン（ＬＳＥ）と、第２のインターフェースに結合される第１のインターフェースとを含む。第２のインターフェースはメモリに結合され、第１のインターフェースは、メモリから取得した第１のＣＲＣ値をホストデバイスに送信するためのものである。
【0167】
例２は、例１のハードウェアアクセラレータを含み、第１のインターフェースは、第１のＣＲＣ値が第２のＣＲＣ値に一致することに応答して、ホストデバイスに警告を生成させるためのものである。第２の画像フレームに関連する第２のＣＲＣ値は、第１の画像フレームの前に捕捉される。
【0168】
例３は、例１のハードウェアアクセラレータを含み、第１の画像データは一つ又は複数の画素値を含み、コア論理回路は、一つ又は複数の画素値の合計を判定することによって、一つ又は複数の画像データ統計値の第１の画像データ統計値を生成するためのものであり、ＬＳＥは、一つ又は複数の画素値の合計に基づいて第１のＣＲＣ値を判定するためのものである。
【0169】
例４は、例１のハードウェアアクセラレータを含み、第１の画像データは一つ又は複数の画素値を含む。コア論理回路は、一つ又は複数の画素の最小値を判定することによって、一つ又は複数の画像データ統計値の第１の画像データ統計値を生成し、及び、一つ又は複数の画素の最大値を判定することによって、一つ又は複数の画像データ統計値の第２の画像データ統計値を生成するためのものであり、ＬＳＥは、第１の画像データ統計値又は第２の画像データ統計値に基づいて第１のＣＲＣ値を判定するためのものである。
【0170】
例５は、例１のハードウェアアクセラレータを含み、第１の画像データは画素値を含む。コア論理回路は、画素値に対して近隣認識画素変換を実行して、変換された画像データを生成し、変換された画像データに対応するビットストリングに基づいてバイナリ値を判定し、及び、画素値の中央画素値をバイナリ値に対応する１０進値で置換することによって、変換された画素データを生成するためのものであり、ＬＳＥは、変換された画素データに基づいて第１のＣＲＣ値を判定するためのものである。
【0171】
例６は、例５のハードウェアアクセラレータを含み、近隣認識画素変換はセンサス変換である
【0172】
例７は、例１のハードウェアアクセラレータを含み、ＬＳＥは論理回路スレッドを含む。論理回路スレッドは、第１の画像データを取得するための画像データバッファと、複数の入力チャネルと、マルチプレクサとを含み、画像データバッファはマルチプレクサの第１の入力に結合され、複数の入力チャネルの第１の入力チャネルはマルチプレクサの第２の入力に結合される。マルチプレクサは、画像データバッファを選択することに応答して、コア論理回路への第１の画像データの送信を促進するためのものである。
【0173】
例８は、例１のハードウェアアクセラレータを含み、ＬＳＥは、コア論理回路に結合される第３のインターフェースと、第１の出力チャネルを含む複数の出力チャネルと、第１のＣＲＣ論理回路を含む複数のＣＲＣ論理回路とを含み、複数のＣＲＣ論理回路のそれぞれ一つは、第３のインターフェースのそれぞれ一つと複数の出力チャネルのそれぞれ一つとに結合される。第１のＣＲＣ論理回路は、第１の出力チャネルから取得した第２の画像データに基づいて第１のＣＲＣ値を判定するためのものである。
【0174】
例９は或るシステムを含み、このシステムは、画像フレームを捕捉するためのカメラと、カメラに結合される集積回路とを含む。集積回路は、画像フレームに関連する第２の画像データに基づいて第１の画像データを生成し、また、第１の画像データに基づいてＣＲＣ値を判定するためのハードウェアアクセラレータ（ＨＷＡ）と、ＣＲＣ値に基づいて画像フレームフリーズ状況を検出するために、ＣＲＣ値をホストデバイスに送信するためのホストデバイスインターフェースとを含む。第１の画像データは、処理された画像データ、変換された画像データ、又は、一つ又は複数の画像データ統計値、のうちの少なくとも一つに対応する。
【0175】
例１０は、例９のシステムを含み、画像フレームは第１の画像フレームであり、ＣＲＣ値は第１のＣＲＣ値である。このシステムは、第１のＣＲＣ値が第２のＣＲＣ値に一致することに応答して警告を生成するためのホストデバイスをさらに含み、第２のＣＲＣ値は、第１の画像フレームの前にカメラによって捕捉される第２の画像フレームに関連する。
【0176】
例１１は、例９のシステムを含み、このシステムは、画像フレームを取得するための画像データインターフェースをさらに含み、集積回路は、画像データインターフェース及びＨＷＡに結合されるデータ動きファブリックと、データ動きファブリックに結合されるメモリインターフェースと、メモリインターフェースに結合され、第２の画像データをストアするためのメモリとを含む。ＨＷＡは、第１の画像データを生成する前に、メモリから第２の画像データを取得するためのものである。
【0177】
例１２は、例９のシステムを含み、このシステムは、画像フレームを取得するための画像データインターフェースをさらに含み、集積回路は、画像データインターフェース及びＨＷＡに結合されるデータ動きファブリックと、データ動きファブリックに結合されるメモリインターフェースと、メモリインターフェースに結合されるメモリとを含む。ＨＷＡは、第１の画像データ又はＣＲＣ値の少なくとも一つを判定した後、第１の画像データ又はＣＲＣ値の少なくとも一つをメモリにストアするためのものである。
【0178】
例１３は、例９のシステムを含み、第２の画像データは一つ又は複数の画素値を含み、ＨＷＡは、一つ又は複数の画素値の最小値又は最大値を判定することによって、一つ又は複数の画像データ統計値の第１の画像データ統計値を生成し、また、一つ又は複数の画素値の最小値又は最大値に基づいてＣＲＣ値を判定するためのものである。
【0179】
例１４は、例９のシステムを含み、第２の画像データは画素値を含み、ＨＷＡは、画素値に対して変換動作を実行して、変換された画像データを生成し、変換された画像データに対応するビットストリングに基づいてバイナリ値を判定し、画素値の中央画素値をバイナリ値に対応する１０進値で置換することによって、変換された画素データを生成し、及び、変換された画素データに基づいてＣＲＣ値を生成するためのものである。
【0180】
例１５は、例９のシステムを含み、このシステムは、集積回路に結合されるディスプレイパネルをさらに含み、集積回路は、カメラから画像フレームを取得するための画像データインターフェースと、画像データインターフェースに結合され、画像データインターフェースから画像フレームを取得するためのデータ動きファブリックと、データ動きファブリックに結合され、データ動きファブリックから画像フレームを取得するためのメモリインターフェースと、メモリインターフェースに結合され、メモリインターフェースから取得した画像フレームをストアするためのメモリと、データ動きファブリックに結合され、画像フレームをデータ動きファブリックからディスプレイパネルに送信するためのディスプレイコントローラとを含む。
【0181】
例１６は或る方法を含み、この方法は、カメラによって捕捉される第１の画像フレームに関連する第２の画像データに基づいて第１の画像データを生成することと、第１の画像データに基づいて第１のＣＲＣ値を判定することと、第１のＣＲＣ値を、第１の画像フレームより前にカメラによって捕捉された第２の画像フレームに関連する第２のＣＲＣ値と比較することと、比較に基づいて第１のＣＲＣ値が第２のＣＲＣ値に一致することに応答して、画像フレームフリーズ状況が検出されたことを示す警告を生成することとを含む。第１の画像データは、処理された画像データ、変換された画像データ、又は、一つ又は複数の画像データ統計値、の少なくとも一つに対応する。
【0182】
例１７は、例１６の方法を含み、この方法は、ディスプレイパネル上に警告を表示することと、画像フレームフリーズ状況が検出されないことに応答して、第１の画像フレームの後にカメラによって捕捉される第３の画像フレームを表示することとをさらに含む。
【0183】
例１８は、例１６の方法を含み、第２の画像データは一つ又は複数の画素値を含み、この方法は、一つ又は複数の画素値の合計、一つ又は複数の画素値の最小値、又は、一つ又は複数の画素値の最大値を判定することによって、一つ又は複数の画像データ統計値を生成することと、一つ又は複数の画素値の合計、一つ又は複数の画素値の最小値、又は、一つ又は複数の画素値の最大値に基づいて第１のＣＲＣ値を判定することとをさらに含む。
【0184】
例１９は、例１６の方法を含み、第２の画像データは画素値を含み、この方法は、画素値に対して変換動作を実行して、変換された画像データを生成することと、変換された画像データに対応するビットストリングに基づいてバイナリ値を判定することと、画素値の中央画素値をバイナリ値に対応する１０進値で置換することによって、変換された画素データを生成することと、変換された画素データに基づいて第１のＣＲＣ値を判定することとをさらに含む。
【0185】
例２０は、例１６の方法を含み、第１のＣＲＣ値と第２のＣＲＣ値を比較することが第１の比較であり、この方法は、第２の画像データに基づいて第３のＣＲＣ値を判定することと、第２の画像データに関連する第１の変換された画素データに基づいて第４のＣＲＣ値を判定することと、第３のＣＲＣ値と、第２の画像フレームに関連する第５のＣＲＣ値との第２の比較を行うことであって、第５のＣＲＣ値が、第２の画像フレームに関連する第３の画像データに基づくものである、第２の比較を行うことと、第４のＣＲＣ値と、第２の画像フレームに関連する第６のＣＲＣ値との第３の比較を行うことであって、第６のＣＲＣ値が、第３の画像データに関連する第２の変換された画素データに基づくものである、第３の比較を行うことと、第１の比較、第２の比較、又は第３の比較の少なくとも一つが、対応するＣＲＣ値間の差を示すことに応答して、警告を生成することとをさらに含む。
【0186】
例２１は、例１６の方法を含み、輸送媒体電子制御ユニットが、第１のＣＲＣ値を第２のＣＲＣ値と比較するためのものであり、この方法は、警告を生成することに応答して、ディスプレイパネル上に第１の画像フレームを表示しないことと、第１のＣＲＣ値が第２のＣＲＣ値に一致しないことに応答して、ディスプレイパネル上に第１の画像フレームを表示することとをさらに含む。
【0187】
或る例示のシステム、方法、装置、及び製品を本願において説明してきたが、本願の適用の範囲はそれらに限定されない。むしろ、本願は、本願の特許請求の範囲内に適正に含まれる全てのシステム、方法、装置、及び製品に適用される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【国際調査報告】