IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 北京地平▲線▼信息技▲術▼有限公司の特許一覧

特開2024-161907人工知能加速器による画像処理方法、装置及びチップ
<>
  • 特開-人工知能加速器による画像処理方法、装置及びチップ 図1
  • 特開-人工知能加速器による画像処理方法、装置及びチップ 図2
  • 特開-人工知能加速器による画像処理方法、装置及びチップ 図3
  • 特開-人工知能加速器による画像処理方法、装置及びチップ 図4
  • 特開-人工知能加速器による画像処理方法、装置及びチップ 図5
  • 特開-人工知能加速器による画像処理方法、装置及びチップ 図6
  • 特開-人工知能加速器による画像処理方法、装置及びチップ 図7
  • 特開-人工知能加速器による画像処理方法、装置及びチップ 図8
  • 特開-人工知能加速器による画像処理方法、装置及びチップ 図9
  • 特開-人工知能加速器による画像処理方法、装置及びチップ 図10
  • 特開-人工知能加速器による画像処理方法、装置及びチップ 図11
  • 特開-人工知能加速器による画像処理方法、装置及びチップ 図12
  • 特開-人工知能加速器による画像処理方法、装置及びチップ 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024161907
(43)【公開日】2024-11-20
(54)【発明の名称】人工知能加速器による画像処理方法、装置及びチップ
(51)【国際特許分類】
   G06F 9/50 20060101AFI20241113BHJP
【FI】
G06F9/50 150C
【審査請求】有
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2024075233
(22)【出願日】2024-05-07
(31)【優先権主張番号】202310513213.3
(32)【優先日】2023-05-08
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】522378775
【氏名又は名称】北京地平▲線▼信息技▲術▼有限公司
(74)【代理人】
【識別番号】100105924
【弁理士】
【氏名又は名称】森下 賢樹
(72)【発明者】
【氏名】ビン ジャン
(57)【要約】      (修正有)
【課題】メモリ又は加速器ハードウェアの故障による画像処理エラーの確率を効果的に低減させ、車両の走行中の安全性を大幅向上させる人工知能加速器による画像処理方法、装置及びチップを提供する。
【解決手段】方法は、処理対象画像に対応するアルゴリズムモデル情報を確定するステップと、アルゴリズムモデル情報に基づいて、アルゴリズムモデル情報に対応するアルゴリズムモデル命令を実行する必要がある人工知能加速器を確定するステップと、人工知能加速器により、アルゴリズムモデル命令が記憶されている第1の予め設定の記憶空間からアルゴリズムモデル命令を読み取ってアルゴリズムモデル命令を実行して、処理対象画像に対する処理結果を得るステップと、を含む。
【選択図】図2
【特許請求の範囲】
【請求項1】
処理対象画像に対応するアルゴリズムモデル情報を確定するステップと、
前記アルゴリズムモデル情報に基づいて、前記アルゴリズムモデル情報に対応するアルゴリズムモデル命令を実行する必要がある人工知能加速器を確定するステップと、
前記人工知能加速器により、前記アルゴリズムモデル命令が記憶されている第1の予め設定の記憶空間から前記アルゴリズムモデル命令を読み取ってこのアルゴリズムモデル命令を実行して、前記処理対象画像に対する処理結果を得るステップと、を含む、ことを特徴とする人工知能加速器による画像処理方法。
【請求項2】
処理対象画像に対応するアルゴリズムモデル情報を確定するステップは、
前記処理対象画像に対応する現在フレーム情報を確定するステップと、
フレーム情報とアルゴリズムモデル情報とのマッピング規則に基づいて、複数のアルゴリズムモデル情報から前記現在フレーム情報に対応するアルゴリズムモデル情報を確定するステップであって、複数の前記アルゴリズムモデル情報は、それぞれ前記第1の予め設定の記憶空間における異なる記憶サブ空間の同じアルゴリズムモデル命令に対応するステップと、を含む、ことを特徴とする請求項1に記載の人工知能加速器による画像処理方法。
【請求項3】
処理対象画像に対応するアルゴリズムモデル情報を確定するステップの前に、
予め設定の情報に基づいて、第2の予め設定の記憶空間から画像処理に必要なアルゴリズムモデル命令を読み取るステップと、
前記アルゴリズムモデル命令を前記第1の予め設定の記憶空間の複数の異なる記憶サブ空間に書き込むステップと、をさらに含む、ことを特徴とする請求項1に記載の人工知能加速器による画像処理方法。
【請求項4】
前記アルゴリズムモデル情報に基づいて、前記アルゴリズムモデル情報に対応するアルゴリズムモデル命令を実行する必要がある人工知能加速器を確定するステップは、
前記アルゴリズムモデル情報に対応する加速器の交互スケジューリング規則を確定するステップと、
前記加速器の交互スケジューリング規則に基づいて、複数の人工知能加速器から現在アルゴリズムモデル情報に対応するアルゴリズムモデル命令を実行する必要がある人工知能加速器を確定するステップと、を含む、ことを特徴とする請求項1に記載の人工知能加速器による画像処理方法。
【請求項5】
前記加速器の交互スケジューリング規則に基づいて、複数の人工知能加速器から現在アルゴリズムモデル情報に対応するアルゴリズムモデル命令を実行する必要がある人工知能加速器を確定するステップは、
前記加速器の交互スケジューリング規則に基づいて加速器交互順序を確定するステップと、
前記加速器交互順序に基づいて、現在前記アルゴリズムモデル情報に対応するアルゴリズムモデル命令を実行する必要がある人工知能加速器を確定するステップと、を含む、ことを特徴とする請求項4に記載の人工知能加速器による画像処理方法。
【請求項6】
前記加速器の交互スケジューリング規則に基づいて、複数の人工知能加速器から現在前記アルゴリズムモデル情報に対応するアルゴリズムモデル命令を実行する必要がある人工知能加速器を確定するステップは、
前記アルゴリズムモデル情報に基づいてそれぞれ複数のアルゴリズムモデルに対応する識別情報を確定するステップと、
前記加速器の交互スケジューリング規則に基づいて加速器交互順序を確定するステップと、
それぞれ各前記アルゴリズムモデルに対応する前記識別情報及び予め設定のグルーピング規則に基づいて、前記アルゴリズムモデル情報に対応する複数のアルゴリズムモデルグループを確定するステップであって、各前記アルゴリズムモデルグループは、少なくとも1つのアルゴリズムモデルの識別情報を含むステップと、
いずれかの前記アルゴリズムモデルグループに対して、当該アルゴリズムモデルグループに対応する履歴加速器スケジューリング情報に基づいて、前記加速器交互順序に従って、現在当該アルゴリズムモデルグループに対応するアルゴリズムモデル命令を実行する必要がある人工知能加速器を確定するステップと、を含む、ことを特徴とする請求項4に記載の人工知能加速器による画像処理方法。
【請求項7】
前記人工知能加速器により、前記アルゴリズムモデル命令が記憶されている第1の予め設定の記憶空間から前記アルゴリズムモデル命令を読み取ってこのアルゴリズムモデル命令を実行して、前記処理対象画像に対する処理結果を得るステップは、
いずれかの前記アルゴリズムモデルグループに対応するアルゴリズムモデル命令を実行する必要がある人工知能加速器について、当該人工知能加速器により前記第1の予め設定の記憶空間から当該アルゴリズムモデルグループに対応する前記アルゴリズムモデル命令を読み取って前記アルゴリズムモデル命令を実行して、当該アルゴリズムモデルグループに対応する処理結果を得るステップと、
それぞれ各前記アルゴリズムモデルグループに対応する処理結果に基づいて、前記処理対象画像に対する処理結果を確定するステップと、を含む、ことを特徴とする請求項6に記載の人工知能加速器による画像処理方法。
【請求項8】
処理対象画像に対応するアルゴリズムモデル情報を確定するステップの前に、
予め設定の情報に基づいて、第2の予め設定の記憶空間から画像処理に必要なアルゴリズムモデル命令を読み取るステップと、
前記アルゴリズムモデル命令を前記第1の予め設定の記憶空間に書き込むステップと、をさらに含む、ことを特徴とする請求項1に記載の人工知能加速器による画像処理方法。
【請求項9】
前記第1の予め設定の記憶空間には、それぞれ複数部の前記アルゴリズムモデル命令及び各前記アルゴリズムモデル命令に対応するモデルパラメータが記憶され、
前記人工知能加速器による画像処理方法は、
予め設定の周期に従って、それぞれ前記第1の予め設定の記憶空間の複数部の前記アルゴリズムモデル命令及び各前記アルゴリズムモデル命令に対応するモデルパラメータにおける予め設定のコンテンツをチェックして、チェック結果を得るステップと、
前記チェック結果に応答して、予め設定の修復規則に基づいて前記予め設定のコンテンツに対して修復処理を行って、修復結果を得るステップと、をさらに含む、ことを特徴とする請求項1に記載の人工知能加速器による画像処理方法。
【請求項10】
予め設定の修復規則に基づいて前記予め設定のコンテンツに対して修復処理を行って、修復結果を得るステップは、
エラーコンテンツが存在するアルゴリズムモデル命令及びモデルパラメータを前記第1の予め設定の記憶空間から削除し、第2の予め設定の記憶空間から削除コンテンツに対応するアルゴリズムモデル命令及びモデルパラメータを再び読み取るステップと、
再び読み取られた前記アルゴリズムモデル命令及びモデルパラメータを、前記第1の予め設定の記憶空間における目標サブ空間に書き込むステップであって、前記目標サブ空間は、前記エラーコンテンツのサブ空間とは異なるサブ空間であるステップと、を含む、ことを特徴とする請求項9に記載の人工知能加速器による画像処理方法。
【請求項11】
前記人工知能加速器により、前記アルゴリズムモデル命令が記憶されている第1の予め設定の記憶空間から前記アルゴリズムモデル命令を読み取ってこのアルゴリズムモデル命令を実行して、前記処理対象画像に対する処理結果を得るステップは、
前記人工知能加速器により、前記アルゴリズムモデル命令が記憶されている第1の予め設定の記憶空間から前記アルゴリズムモデル命令を読み取って前記アルゴリズムモデル命令を実行して、前記人工知能加速器の出力結果を得るステップと、
予め設定のフィルタリング規則に基づいて、前記出力結果におけるエラー結果をフィルタリングして、前記処理対象画像に対する処理結果を得るステップと、を含む、ことを特徴とする請求項1に記載の人工知能加速器による画像処理方法。
【請求項12】
処理対象画像に対応するアルゴリズムモデル情報を確定するための第1の制御モジュールと、
前記アルゴリズムモデル情報に基づいて、前記アルゴリズムモデル情報に対応するアルゴリズムモデル命令を実行する必要がある人工知能加速器を確定するための第2の制御モジュールと、
前記アルゴリズムモデル命令が記憶されている第1の予め設定の記憶空間から前記アルゴリズムモデル命令を読み取って前記アルゴリズムモデル命令を実行して、前記処理対象画像に対する処理結果を得るための人工知能加速器と、を備える、ことを特徴とする人工知能加速器による画像処理装置。
【請求項13】
第1の予め設定の記憶空間と、人工知能加速器による画像処理装置と、を備え、
前記人工知能加速器による画像処理装置は、請求項1~11のいずれか1項に記載の人工知能加速器による画像処理方法を実行するためのものである、ことを特徴とする人工知能チップ。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、人工知能チップの分野に関し、特に人工知能加速器による画像処理方法、装置及びチップに関する。
【背景技術】
【0002】
自動運転、運転支援などのシーンでは、センサが収集した画像の検知識別などの画像処理を完了させて処理結果を得るように、通常人工知能加速器を利用してアルゴリズムモデルを加速する必要がある。関連技術の人工知能加速器の応用過程において、加速器ハードウェア又はメモリハードウェアの故障により、画像処理エラーの確率が高くなることを引き起こしやすく、車両走行の安全性をさらに低減させる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本開示の実施例は、上記ハードウェアの故障による画像処理エラーの確率が高くなることを引き起こすなどの技術的問題を解決するために、人工知能加速器による画像処理方法、装置及びチップを提供し、ハードウェアの故障による画像処理エラーの確率を効果的に低減させ、車両運転中の安全性を向上させる。
【課題を解決するための手段】
【0004】
本開示の第1の態様に係る人工知能加速器による画像処理方法は、処理対象画像に対応するアルゴリズムモデル情報を確定するステップと、前記アルゴリズムモデル情報に基づいて、前記アルゴリズムモデル情報に対応するアルゴリズムモデル命令を実行する必要がある人工知能加速器を確定するステップと、前記人工知能加速器により、前記アルゴリズムモデル命令が記憶されている第1の予め設定の記憶空間から前記アルゴリズムモデル命令を読み取って前記アルゴリズムモデル命令を実行して、前記処理対象画像に対する処理結果を得るステップと、を含む。
【0005】
本開示の第2の態様に係る人工知能加速器による画像処理装置は、処理対象画像に対応するアルゴリズムモデル情報を確定するための第1の制御モジュールと、前記アルゴリズムモデル情報に基づいて、前記アルゴリズムモデル情報に対応するアルゴリズムモデル命令を実行する必要がある人工知能加速器を確定するための第2の制御モジュールと、前記アルゴリズムモデル命令が記憶されている第1の予め設定の記憶空間から前記アルゴリズムモデル命令を読み取って前記アルゴリズムモデル命令を実行して、前記処理対象画像に対する処理結果を得るための人工知能加速器と、を備える。
【0006】
本開示の第3の態様に係る人工知能チップは、第1の予め設定の記憶空間と、人工知能加速器による画像処理装置と、を備え、前記人工知能加速器による画像処理装置は、上記第1の態様に記載の人工知能加速器による画像処理方法を実行するためのものである。
【発明の効果】
【0007】
本開示の上記実施例に係る人工知能加速器により画像を処理する方法、装置及びチップによれば、画像の処理が必要であるとき、処理対象画像に対応するアルゴリズムモデル情報を確定し、アルゴリズムモデル情報に基づいて当該アルゴリズムモデル情報に対応するアルゴリズムモデル命令を実行する必要がある人工知能加速器を確定し、確定された人工知能加速器により、アルゴリズムモデル命令が記憶されている第1の予め設定の記憶空間からアルゴリズムモデル命令を読み取って実行して、処理対象画像の処理結果を得ることができる。画像処理過程において、異なるフレームの処理対象画像に対応するアルゴリズムモデル情報を確定することができ、それにより異なるフレームの人工知能加速器の呼び出し過程において、異なる記憶空間のアルゴリズムモデル命令を採用するか、又は、異なる人工知能加速器を呼び出して画像の処理を実現することができ、いずれかのフレーム画像の記憶空間又は加速器ハードウェアが失効の場合、当該フレーム画像の後続フレームの画像処理は、他の記憶空間のアルゴリズムモデル命令を採用するか又は他の人工知能加速器を呼び出すことができるため、連続的にエラーが発生することを回避することができ、それによりメモリ又は加速器ハードウェアの故障による画像処理エラーの確率を効果的に低減させ、車両の走行中の安全性を大幅向上させることができる。
【図面の簡単な説明】
【0008】
図1】本開示に係る人工知能加速器による画像処理方法の1つの例示的な応用シーンである。
図2】本開示の例示的な実施例に係る人工知能加速器による画像処理方法のフローチャートである。
図3】本開示の別の例示的な実施例に係る人工知能加速器による画像処理方法のフローチャートである。
図4】本開示のさらなる例示的な実施例に係る人工知能加速器による画像処理方法のフローチャートである。
図5】本開示のまたさらなる例示的な実施例に係る人工知能加速器による画像処理方法のフローチャートである。
図6】本開示の例示的な実施例に係るマルチフレーム画像処理の加速器スケジューリング概略図である。
図7】本開示のさらなる例示的な実施例に係る人工知能加速器による画像処理方法のフローチャートである。
図8】本開示のまたさらなる例示的な実施例に係る人工知能加速器による画像処理方法のフローチャートである。
図9】本開示のさらなる例示的な実施例に係る人工知能加速器による画像処理方法のフローチャートである。
図10】本開示の例示的な実施例に係る人工知能加速器による画像処理装置の構造概略図である。
図11】本開示の別の例示的な実施例に係る人工知能加速器による画像処理装置の構造概略図である。
図12】本開示の例示的な実施例に係る人工知能チップの構造概略図である。
図13】本開示の実施例に係る電子機器の構造図である。
【発明を実施するための形態】
【0009】
以下、図面を参照しながら本開示に係る例示的な実施例について詳細に説明する。明らかに、説明される実施例は、本開示の一部の実施例に過ぎず、全ての実施例ではなく、本開示は、説明される例示的な実施例に限定されない。
【0010】
これらの実施例に記載される構成要素やステップの相対的な配置、数字の表現式及び数値は、別の具体的な説明がない限り、本開示の範囲を限定するのではない。
【0011】
(本開示の概要)
本開示を実現する過程において、発明者は、自動運転、運転支援などのシーンでは、センサが収集した画像の検知識別などの画像処理を完了させて処理結果を得るように、通常人工知能加速器を利用してアルゴリズムモデルを加速する必要があることを発見した。関連技術の人工知能加速器の応用過程において、加速器ハードウェア又はメモリハードウェアの故障により、画像処理エラーの確率が高くなることを引き起こしやすく、車両走行の安全性をさらに低減させる。
【0012】
(例示的な概要)
図1は、本開示に係る人工知能加速器による画像処理方法の1つの例示的な応用シーンである。画像の処理が必要であるとき、処理対象画像に対し、本開示の人工知能加速器による画像処理方法(この方法は、人工知能加速器による画像処理装置により実現される)を利用して、処理対象画像に対応する、アルゴリズムモデル命令の識別情報、アルゴリズムモデル命令の記憶空間アドレスなどの情報のうちの少なくとも1つを含むアルゴリズムモデル情報を確定し、このアルゴリズムモデル情報に基づいて当該アルゴリズムモデル情報に対応するアルゴリズムモデル命令を実行する必要がある人工知能加速器を確定し、確定された人工知能加速器により当該アルゴリズムモデル命令が記憶されている第1の予め設定の記憶空間から当該アルゴリズムモデル命令を読み取って当該アルゴリズムモデル命令を実行して、処理対象画像に対する処理結果を得ることができる。画像処理過程において、異なるフレームの処理対象画像に対応するアルゴリズムモデル情報を確定することができ、それにより異なるフレームの人工知能加速器の呼び出し過程において、異なる記憶空間のアルゴリズムモデル命令を採用するか、又は、異なる人工知能加速器を呼び出して画像の処理を実現することができる。例えば、メモリの複数の記憶空間に同じアルゴリズムモデル命令をそれぞれ記憶し、各記憶空間のアルゴリズムモデル命令に対応するアルゴリズムモデル情報を設定し、画像処理時、画像処理のために一定のフレーム間隔で各記憶空間のアルゴリズムモデル命令をラウンドロビン的に採用し、また、例えば、画像処理のために一定のフレーム間隔で複数の人工知能加速器をラウンドロビン的に呼び出し、具体的なフレーム間隔は、実際のニーズに応じて設定されることができ、例えば、フレーム間隔は、1フレーム、2フレーム、3フレームなどであってもよい。これに基づき、いずれかのフレーム画像の記憶空間又は加速器のハードウェアが失効の場合、当該フレーム画像の後続フレームの画像処理は、他の記憶空間のアルゴリズムモデル命令を採用するか又は他の人工知能加速器を呼び出すことができ、そのため画像処理エラーが連続的に発生することを回避することができ、それによりメモリ又は加速器ハードウェアの失効による画像処理エラーの確率を効果的に低減させ、車両の走行中の安全性を大幅向上させることができる。
【0013】
本開示の実施例に係る人工知能加速器による画像処理方法は、任意の人工知能加速器により画像を処理する必要がある分野又はシーン、例えば自動運転シーン、運転支援シーン、及び携帯電話、タブレットコンピュータなどの端末機器の応用シーンに応用することができ、具体的な分野及びシーンは、限定されない。
【0014】
(例示的な方法)
図2は、本開示の例示的な実施例に係る人工知能加速器による画像処理方法のフローチャートである。本実施例は、電子機器、具体的に例えば車載計算プラットフォームに適用することができ、図2に示すように、以下のステップ201~ステップ203を含む。
【0015】
ステップ201では、処理対象画像に対応するアルゴリズムモデル情報を確定する。
【0016】
ここで、アルゴリズムモデル情報は、アルゴリズムモデル命令の識別情報、アルゴリズムモデル命令の記憶空間アドレス、アルゴリズムモデルの名称などの情報のうちの少なくとも1つを含むことができる。アルゴリズムモデルの処理対象画像に対応するアルゴリズムモデル情報は、予め設定のマッピング規則に従って確定されることができる。マッピング規則は、実際のニーズに応じて設定されることができる。
【0017】
いくつかの選択可能な実施例では、アルゴリズムモデル情報は、少なくとも1種類のアルゴリズムモデルにそれぞれ対応する関連情報を含むことができる。例えば、自動運転シーンの場合、アルゴリズムモデル情報は、前方視検知モデル、周辺視検知モデル、DMS(Driver Monitor System、運転者監視システム)検知モデル、検知融合モデル、予測モデル、計画モデル、診断モデル、レーザレーダ検知モデルなどを含むことができる。処理対象画像に対する処理は、検知モデルに基づく直接処理及び後続の計画モデルなどに基づく検知結果に対する応用を含むことができ、それにより処理対象画像に基づいて完全な車両計画及び制御を実現することができ、具体的に実際のニーズに応じて設定されることができる。
【0018】
いくつかの選択可能な実施例では、処理対象画像は、現在フレームの1つ又は複数の視野角の画像を含むことができ、例えば、前方視画像、周辺視画像を含むことができ、異なる視野角の画像は、異なるアルゴリズムモデルに対応することができる。アルゴリズムモデル情報は、今回の画像処理に必要な1グループのアルゴリズムモデル命令の関連情報を含む。
【0019】
いくつかの選択可能な実施例では、マッピング規則は、処理対象画像のフレーム情報に基づいて設定されることができ、例えば、同じグループのアルゴリズムモデルに対し、そのアルゴリズムモデル命令を複数部にコピーしてそれぞれ第1の予め設定の記憶空間(例えばメモリ)における異なる記憶サブ空間に記憶することができ、各部のアルゴリズムモデル命令に対応するアルゴリズムモデル情報を設定し、異なる部のアルゴリズムモデル命令を一意的に識別するために用いられ、複数のアルゴリズムモデル情報を得、フレーム情報とアルゴリズムモデル情報とのマッピング規則を確立することができ、例えば、予め設定のフレーム間隔で各アルゴリズムモデル情報にラウンドロビン的に対応する。3つのアルゴリズムモデル情報を例とし、予め設定のフレーム間隔が1であると、n+1番目フレームは、アルゴリズムモデル情報1に対応し、n+2番目フレームは、アルゴリズムモデル情報2に対応し、n+3番目フレームは、アルゴリズムモデル情報3に対応し、n=0、1、・・・である。予め設定のフレーム間隔は、2、3、4などに設定することもでき、具体的には限定されない。
【0020】
いくつかの選択可能な実施例では、同じグループのアルゴリズムモデルに対し、1部のみをコピーして第1の予め設定の記憶空間に記憶することができる。
【0021】
ステップ202では、アルゴリズムモデル情報に基づいて、アルゴリズムモデル情報に対応するアルゴリズムモデル命令を実行する必要がある人工知能加速器を確定する。
【0022】
ここで、人工知能加速器(「加速器」との略称可能)の数は、1つ又は複数であることができる。アルゴリズムモデル情報に対応するアルゴリズムモデル命令を実行する必要がある人工知能加速器は、予め設定の規則に従って確定されることができる。具体的な規則は、実際のニーズに応じて設定されることができる。
【0023】
いくつかの選択可能な実施例では、予め設定のアルゴリズムモデル情報の数は、複数であり、予め設定のアルゴリズムモデル情報に対応するアルゴリズムモデル命令を実行するための人工知能加速器の数は、1つ又は複数であることができる。選択可能な人工知能加速器の数が1つであると、処理対象画像に基づいて現在のアルゴリズムモデル情報を確定し、このアルゴリズムモデル情報に基づいて、直接当該人工知能加速器がアルゴリズムモデル情報に対応するアルゴリズムモデル命令を実行するためのものであることを確定することができる。選択可能な人工知能加速器の数が複数であると、予め設定の規則に従って、複数の人工知能加速器から現在アルゴリズムモデル命令を実行するための加速器を確定することができる。例えば、フレーム間隔で複数の加速器をラウンドロビン的に呼び出して又は各フレームに対して複数の加速器を同時に呼び出してアルゴリズムモデル命令における異なる部分を実行するなどであり、具体的には実際のニーズに応じて設定されることができ、画像処理の連続的なエラーを効果的に低減させることができればよい。
【0024】
いくつかの選択可能な実施例では、予め設定のアルゴリズムモデル情報の数は、1つであり、選択可能な加速器の数は、1つであり、フレーム間隔で加速器における異なる計算ユニットをラウンドロビン的に呼び出してアルゴリズムモデル命令を実行することにより、計算ユニットのハードウェアの故障による連続的なエラーを低減させ、それにより画像処理の連続的なエラーを低減させ、加速器ハードウェアの故障による画像処理エラー確率を低減させ、車両走行の安全性をさらに向上させることができる。
【0025】
いくつかの選択可能な実施例では、予め設定のアルゴリズムモデル情報の数は、1つであり、予め設定の選択可能な加速器の数は、複数であり、各フレームに対応するアルゴリズムモデル情報が同じ、予め設定の規則に従って、複数の人工知能加速器から現在アルゴリズムモデル命令を実行するための加速器を確定することができ、例えば、フレーム間隔で複数の加速器をラウンドロビン的に呼び出して又は各フレームに対して複数の加速器を同時に呼び出してアルゴリズムモデル命令における異なる部分を実行するなどであり、具体的には実際のニーズに応じて設定されることができる。
【0026】
いくつかの選択可能な実施例では、各フレームが複数の加速器を同時に呼び出してアルゴリズムモデル命令における異なる部分を実行する場合、各加速器に対して、異なるフレームでアルゴリズムモデル命令における異なる部分をラウンドロビン的に実行することもでき、例えばアルゴリズムモデル命令をアルゴリズムモデルの数に応じて複数の部分に分割し、例えばアルゴリズム部分1、アルゴリズム部分2、アルゴリズム部分3を含み、3つの加速器を有し、n+1番目フレームでは、加速器1はアルゴリズム部分1を実行し、加速器2はアルゴリズム部分2を実行し、加速器3はアルゴリズム部分3を実行し、n+2番目フレームでは、加速器1はアルゴリズム部分2を実行し、加速器2はアルゴリズム部分3を実行し、加速器3はアルゴリズム部分1を実行し、n+3番目フレームでは、加速器1はアルゴリズム部分3を実行し、加速器2はアルゴリズム部分1を実行し、加速器3はアルゴリズム部分2を実行する。
【0027】
ステップ203では、人工知能加速器により、アルゴリズムモデル命令が記憶されている第1の予め設定の記憶空間からアルゴリズムモデル命令を読み取ってこのアルゴリズムモデル命令を実行して、処理対象画像に対する処理結果を得る。
【0028】
ここで、人工知能加速器を確定した後、アルゴリズムモデル命令の記憶空間アドレスを加速器に送信し、これにより、加速器は、アルゴリズムモデル命令が記憶されている第1の予め設定の記憶空間からアルゴリズムモデル命令を読み取って実行して、最終的に処理結果を得る。
【0029】
いくつかの選択可能な実施例では、複数の加速器が実行する場合、各加速器は、自分が実行すべきアルゴリズムモデル命令の一部を読み取って実行して自分の処理結果を得、複数の加速器の処理結果に基づいて処理対象画像の処理結果を得る。
【0030】
いくつかの選択可能な実施例では、人工知能加速器には、アルゴリズムモデルにおける各種の演算に用いられる計算ユニットが含まれており、アルゴリズムモデル命令により計算ユニットの計算を制御してアルゴリズムモデルの相応する演算を実現して、処理対象画像の処理結果を得る。
【0031】
いくつかの選択可能な実施例では、第1の予め設定の記憶空間又は他の記憶空間に、加速器の推理に必要な重み、オフセットのようなモデルパラメータを記憶することもでき、加速器は、相応するモデルパラメータを読み取り、アルゴリズムモデル命令を実行してアルゴリズムモデルの推理計算を完了させることができる。
【0032】
いくつかの選択可能な実施例では、第1の予め設定の記憶空間は、メモリ空間であることができる。
【0033】
本実施例に係る人工知能加速器により画像を処理する方法は、画像の処理が必要であるとき、処理対象画像に対応するアルゴリズムモデル情報を確定し、アルゴリズムモデル情報に基づいてこのアルゴリズムモデル情報に対応するアルゴリズムモデル命令を実行する必要がある人工知能加速器を確定し、確定された人工知能加速器により、アルゴリズムモデル命令が記憶されている第1の予め設定の記憶空間からアルゴリズムモデル命令を読み取って実行して処理対象画像の処理結果を得ることができる。画像処理過程において、異なるフレームの処理対象画像について対応するアルゴリズムモデル情報を確定することができ、それにより異なるフレームの人工知能加速器の呼び出し過程において、異なる記憶空間の同じアルゴリズムモデル命令を採用して又は異なる人工知能加速器を呼び出して画像の処理を実現し、いずれかのフレーム画像の記憶空間又は加速器ハードウェアに故障がある場合、当該フレーム画像の後続フレームの画像処理は、他の記憶空間のアルゴリズムモデル命令を採用して又は他の人工知能加速器を呼び出すことができるため、連続的にエラーが発生することを回避することができ、それによりメモリ又は加速器ハードウェアの故障による画像処理エラーの確率を効果的に低減させ、車両の走行中の安全性を大幅向上させることができる。
【0034】
図3は、本開示の別の例示的な実施例に係る人工知能加速器による画像処理方法のフローチャートである。
【0035】
いくつかの選択可能な実施例では、処理対象画像に対応するアルゴリズムモデル情報を確定するステップ201は、以下のステップ2011~ステップ2012を含む。
【0036】
ステップ2011では、処理対象画像に対応する現在フレーム情報を確定する。
【0037】
ここで、現在フレーム情報は、処理対象画像が属するフレーム順番を含むことができ、例えば、現在フレーム情報は、処理対象画像がN番目フレームであることを含む。
【0038】
いくつかの選択可能な実施例では、例えば自動運転シーンにおいて、通常、連続的に画像を処理する必要があり、画像処理の開始から、処理された画像のフレーム情報を記録し、リアルタイムにメンテナンスすることができ、処理対象画像を取得した場合、リアルタイムにメンテナンスされたフレーム情報に基づいて、処理対象画像に対応する現在フレーム情報を確定することができる。
【0039】
ステップ2012では、フレーム情報とアルゴリズムモデル情報とのマッピング規則に基づいて、複数のアルゴリズムモデル情報から現在フレーム情報に対応するアルゴリズムモデル情報を確定する。
【0040】
ここで、複数のアルゴリズムモデル情報は、第1の予め設定の記憶空間における異なる記憶サブ空間の同じアルゴリズムモデル命令にそれぞれ対応する。フレーム情報とアルゴリズムモデル情報とのマッピング規則は、実際のニーズに応じて設定されることができ、例えば、予め設定のフレーム間隔で各フレームとアルゴリズムモデル情報との対応関係を確立する。予め設定のフレーム間隔は、実際のニーズに応じて設定されることができ、本開示では限定しない。
【0041】
いくつかの選択可能な例では、予め設定のフレーム間隔が1フレームであり、アルゴリズムモデル情報の数がmであると、1番目フレームは、アルゴリズムモデル情報1に対応し、2番目フレームは、アルゴリズムモデル情報2に対応し、3番目フレームは、アルゴリズムモデル情報3に対応し、・・・、m番目フレームは、アルゴリズムモデル情報mに対応し、m+1番目フレームは、アルゴリズムモデル情報1に対応し、m+2番目フレームは、アルゴリズムモデル情報2に対応し、・・・、2m番目フレームは、アルゴリズムモデル情報mに対応し、以下同様である。
【0042】
いくつかの選択可能な例では、予め設定のフレーム間隔が2フレームであり、アルゴリズムモデル情報の数がmであると、1番目フレームは、アルゴリズムモデル情報1に対応し、2番目フレームは、アルゴリズムモデル情報1に対応し、3番目フレームは、アルゴリズムモデル情報2に対応し、4番目フレームは、アルゴリズムモデル情報2に対応し、・・・、2m-1番目フレームは、アルゴリズムモデル情報mに対応し、2m番目フレームは、アルゴリズムモデル情報mに対応し、2m+1番目フレームは、アルゴリズムモデル情報1に対応し、・・・に対応する。
【0043】
本実施例は、フレーム情報とアルゴリズムモデル情報とのマッピング規則により、異なるフレームの処理対象画像が異なる記憶サブ空間のアルゴリズムモデル命令を採用することを実現することができ、いずれかのフレーム画像の記憶空間ハードウェアの故障によるアルゴリズムモデル命令にエラーが発生したことがある場合、当該フレーム画像の後続フレームの画像処理は、他の記憶サブ空間のアルゴリズムモデル命令を採用することができるため、記憶空間ハードウェアの故障による連続性エラーを効果的に回避することができ、連続的なエラーを偶発的又は間欠的なエラーに変更することが可能であり、フォールトトレラント時間を大幅延長し、エラー検出を組み合わせて車両の走行中の安全性をさらに向上させることに役立つ。
【0044】
いくつかの選択可能な実施例では、処理対象画像に対応するアルゴリズムモデル情報を確定するステップ201の前に、以下のステップ310~ステップ320をさらに含む。
【0045】
ステップ310では、予め設定の情報に基づいて、第2の予め設定の記憶空間から画像処理に必要なアルゴリズムモデル命令を読み取る。
【0046】
ここで、予め設定の情報は、実際の機能ニーズに応じて設定されることができ、例えば、自動運転シーンにおいて、検知結果に基づいて計画及び制御の機能を実行し、予め設定の情報は、計画及び制御の画像処理に必要なアルゴリズムモデルの関連情報を含むことができ、例えば、前方視検知モデル、周辺視検知モデル、DMS(Driver Monitor System、運転者監視システム)検知モデル、検知融合モデル、予測モデル、計画モデル、診断モデルなどのアルゴリズムモデルの関連情報を含むことができる。関連情報は、各アルゴリズムモデルに対応するアルゴリズムモデル命令の第2の予め設定の記憶空間における記憶アドレス及び他の関連情報を含むことができ、具体的には実際のニーズに応じて設定されることができる。予め設定の情報は、実行の必要がある関連動作(例えば読み取り操作、書き込み操作、書き込み回数など)をさらに含むことができ、それにより予め設定の情報に基づいて第2の予め設定の記憶空間の相応アドレスから画像処理に必要なアルゴリズムモデルのアルゴリズムモデル命令を読み取ることができる。
【0047】
いくつかの選択可能な実施例では、第2の予め設定の記憶空間は、ハードディスク、フロッピーディスク、光ディスクなどの外部メモリにおける記憶空間であることができる。
【0048】
ステップ320では、アルゴリズムモデル命令を第1の予め設定の記憶空間の複数の異なる記憶サブ空間に書き込む。
【0049】
ここで、画像処理に必要なアルゴリズムモデル命令を読み取った後、予め設定の情報における書き込み操作、書き込み回数などの書き込み情報に基づいて、当該アルゴリズムモデル命令を第1の予め設定の記憶空間の複数の異なる記憶サブ空間に書き込むことができ、それにより第1の予め設定の記憶空間に複数部の同じアルゴリズムモデル命令を記憶することができ、フレーム情報とアルゴリズムモデル情報とのマッピング規則に基づいて、複数のアルゴリズムモデル情報から現在フレーム情報に対応するアルゴリズムモデル情報を確定し、当該アルゴリズムモデル情報の実行に対応するアルゴリズムモデル命令の加速器を確定した後、相応する加速器により第1の予め設定の記憶空間における当該アルゴリズムモデル情報に対応する記憶サブ空間からアルゴリズムモデル命令を読み取って実行することができる。
【0050】
本実施例は、第2の予め設定の記憶空間から画像処理に必要な1つのグループのアルゴリズムモデルのアルゴリズムモデル命令を読み取って第1の予め設定の記憶空間の複数の異なる記憶サブ空間に書き込むことにより、第1の予め設定の記憶空間に複数部の同じアルゴリズムモデル命令を記憶し、後続のアルゴリズムモデル命令のラウンドロビン的使用に有効なデータ支援を提供し、それによりいずれかの記憶サブ空間のハードウェアが故障した場合、後続に他の記憶サブ空間のアルゴリズムモデル命令を採用するため、一部の記憶サブ空間のハードウェアの故障による連続的なエラーを効果的に回避することができ、それにより連続的なエラーを間欠的なエラーに変更することができ、フォールトトレラント時間を効果的に延長し、さらにエラー検出のカバー率を向上させることに役立つ。
【0051】
図4は、本開示のさらなる例示的な実施例に係る人工知能加速器による画像処理方法のフローチャートである。
【0052】
いくつかの選択可能な実施例では、アルゴリズムモデル情報に基づいて、アルゴリズムモデル情報に対応するアルゴリズムモデル命令を実行する必要がある人工知能加速器を確定するステップ202は、以下のステップ2021~ステップ2022を含む。
【0053】
ステップ2021では、アルゴリズムモデル情報に対応する加速器の交互スケジューリング規則を確定する。
【0054】
ここで、加速器の交互スケジューリング規則は、複数の加速器を交互にスケジューリングする規則を表し、すなわち選択可能な加速器の数は、複数であり、複数の加速器は、加速器の交互スケジューリング規則に基づいてスケジューリングし、アルゴリズムモデル情報に対応するアルゴリズムモデル命令を実行するために用いられる。アルゴリズムモデル情報に対応する加速器の交互スケジューリング規則は、予め設定の対応関係に基づいて確定されることができる。例えば、異なるアルゴリズムモデルグループに対しては、異なる加速器の交互スケジューリング規則を設定することができる。それによりアルゴリズムモデル情報に基づいてそのアルゴリズムモデルグループに対応する加速器の交互スケジューリング規則を確定することができる。
【0055】
いくつかの選択可能な実施例では、加速器の交互スケジューリング規則は、予め設定のフレーム間隔で複数の加速器を交互にスケジューリングすることを含むことができ、予め設定のフレーム間隔は、実際のニーズに応じて設定されることができる。例えば、予め設定のフレーム間隔が1であると、1番目フレームは、スケジューリング加速器1に対応し、2番目フレームは、スケジューリング加速器2に対応し、n番目フレームは、スケジューリング加速器nに対応し、n+1番目フレームは、スケジューリング加速器1に対応し、n+2番目フレームは、スケジューリング加速器2に対応し、以下同様であり、nは、加速器の数である。
【0056】
いくつかの選択可能な実施例では、加速器の交互スケジューリング規則は、複数の加速器のスケジューリング順序を含むことができ、さらに毎回スケジューリングされる加速器の数を含むことができ、例えば、スケジューリング順序は、加速器1-加速器2-加速器3-加速器1-加速器2-加速器3-・・・である。
【0057】
ステップ2022では、加速器の交互スケジューリング規則に基づいて、複数の人工知能加速器から現在アルゴリズムモデル情報に対応するアルゴリズムモデル命令を実行する必要がある人工知能加速器を確定する。
【0058】
ここで、現在アルゴリズムモデル情報に対応するアルゴリズムモデル命令を実行する必要がある人工知能加速器の数は、1つ又は複数であることができ、具体的には実際のニーズに応じて設定されることができる。
【0059】
いくつかの選択可能な実施例では、予め設定のフレーム間隔で各フレームに1つの加速器をスケジューリングしてアルゴリズムモデル情報に対応するアルゴリズムモデル命令を実行することができ、例えば、t+1番目フレームに加速器1をスケジューリングし、t+2番目フレームに加速器2をスケジューリングし、・・・、t+n番目フレームに加速器nをスケジューリングし、t=0、1、2、・・・であり、nは、加速器の数である。
【0060】
いくつかの選択可能な実施例では、予め設定のフレーム間隔で各フレームに少なくとも2つの加速器をスケジューリングして当該アルゴリズムモデル命令を共同で実行することができる。例えば、当該アルゴリズムモデル命令をそれに含まれるアルゴリズムモデルに基づいて複数のアルゴリズムモデルグループにそれぞれ対応するアルゴリズムモデル命令に分割し、各加速器は、1つのアルゴリズムモデルグループに対応するアルゴリズムモデル命令を実行する。当該少なくとも2つの加速器は、選択可能な複数の加速器の一部又は全部を含むことができる。例えば、選択可能な加速器の数が6であり、各フレームに2つの加速器をスケジューリングして、分割された2つのアルゴリズムモデルグループのアルゴリズムモデル命令を共同で実行し、予め設定のフレーム間隔で加速器を交互にスケジューリングし、例えば、1番目フレームに加速器1及び加速器2をスケジューリングし、2番目フレームに加速器3及び加速器4をスケジューリングし、3番目フレームに加速器5及び加速器6をスケジューリングし、4番目フレームに加速器1及び加速器2をスケジューリングし、以下同様である。又は、1番目フレームに加速器1及び加速器2をスケジューリングし、2番目フレームに加速器2及び加速器3をスケジューリングし、3番目フレームに加速器3及び加速器4をスケジューリングし、以下同様である。他の交互スケジューリング規則を採用することもでき、各加速器が同じアルゴリズムモデル命令を連続的に実行する回数が予め設定の回数を超えないように保証すればよい。具体的な交互スケジューリング規則は、限定されない。
【0061】
本実施例は、各加速器が同じアルゴリズムモデル命令を連続的に複数回実行しないように、加速器の交互スケジューリング規則に基づいて複数の加速器の交互スケジューリングを実現することができ、それにより加速器ハードウェアの故障による連続的なエラーを効果的に低減させることができ、加速器ハードウェアの故障による連続的なエラーを間欠的なエラーに変更し、フォールトトレラント時間を大幅延長し、加速器ハードウェアのエラー検出に有効な時間支援を提供し、それにより車両の走行中の安全性をさらに向上させることに役立つ。
【0062】
いくつかの選択可能な実施例では、加速器の交互スケジューリング規則に基づいて、複数の人工知能加速器から現在アルゴリズムモデル情報に対応するアルゴリズムモデル命令を実行する必要がある人工知能加速器を確定するステップ2022は、
加速器の交互スケジューリング規則に基づいて加速器交互順序を確定するステップと、加速器交互順序に基づいて、現在アルゴリズムモデル情報に対応するアルゴリズムモデル命令を実行する必要がある人工知能加速器を確定するステップと、を含む。
【0063】
ここで、加速器交互順序は、実際のニーズに応じて設定されることができる。例えば、加速器数が3であり、加速器交互順序が加速器1-加速器2-加速器3であり、加速器1から加速器3が循環交互することを表す。
【0064】
いくつかの選択可能な実施例では、加速器交互順序に基づいて確定された現在アルゴリズムモデル情報に対応するアルゴリズムモデル命令を実行する必要がある人工知能加速器の数は、1つ又は複数であることができる。複数の場合に対し、複数の加速器により当該アルゴリズムモデル命令を協働で処理し、具体的には前述したコンテンツを参照し、ここで説明を省略する。
【0065】
本実施例は、加速器の交互順序を確定することにより、当該順序に基づいて現在アルゴリズムモデル情報に対応するアルゴリズムモデル命令を実行する必要がある人工知能加速器を効果的に確定することができ、加速器の交互スケジューリングに有効な保証を提供する。
【0066】
図5は、本開示のまたさらなる例示的な実施例に係る人工知能加速器による画像処理方法のフローチャートである。
【0067】
いくつかの選択可能な実施例では、加速器の交互スケジューリング規則に基づいて、複数の人工知能加速器から現在アルゴリズムモデル情報に対応するアルゴリズムモデル命令を実行する必要がある人工知能加速器を確定するステップ2022は、以下のステップ20221~ステップ20224を含む。
【0068】
ステップ20221では、アルゴリズムモデル情報に基づいてそれぞれ複数のアルゴリズムモデルに対応する識別情報を確定する。
【0069】
ここで、アルゴリズムモデルに対応する識別情報は、実際のニーズに応じて設定されることができ、アルゴリズムモデルを一意的に識別することができればよく、本開示では限定しない。例えば、アルゴリズムモデルの識別情報は、アルゴリズムモデルの名称やアルゴリズムモデルに設定されたIDであることができる。アルゴリズムモデル情報は、画像処理に必要な1つのグループのアルゴリズムモデルのアルゴリズムモデル命令全体の識別を含むことができ、また、各アルゴリズムモデルの識別情報、各アルゴリズムモデルに対応するアルゴリズムモデル命令の記憶空間アドレス及び他の関連情報を含むこともでき、具体的には実際のニーズに応じて設定されることができる。アルゴリズムモデル情報に基づいてそれに含まれる各アルゴリズムモデルにそれぞれ対応する識別情報を確定することができる。
【0070】
ステップ20222では、加速器の交互スケジューリング規則に基づいて加速器交互順序を確定する。
【0071】
ステップ20223では、それぞれ各アルゴリズムモデルに対応する識別情報及び予め設定のグルーピング規則に基づいて、アルゴリズムモデル情報に対応する複数のアルゴリズムモデルグループを確定する。
【0072】
ここで、各アルゴリズムモデルグループは、少なくとも1つのアルゴリズムモデルの識別情報を含む。予め設定のグルーピング規則は、実際のニーズに応じて設定されることができる。加速器の負荷分散を保証し、処理効率を向上するように、例えばランダムに設定してもよく、各アルゴリズムモデルに必要な計算力に基づいて負荷分散の原則に従って設定してもよい。また、他の任意の実施可能な形態によりアルゴリズムモデル情報に対応する複数のアルゴリズムモデルグループを確定することができ、具体的に限定されない。
【0073】
例示的に、アルゴリズムモデル情報に含まれるアルゴリズムモデルは、前方視検知モデル、周辺視検知モデル、DMS検知モデル、検知融合モデル、予測モデル、計画モデル、診断モデル及びレーザレーダ検知モデルを含み、3つのアルゴリズムモデルグループに分割し、アルゴリズムモデルグループ1は、前述した検知モデル、周辺視検知モデル及びレーザレーダ検知モデルを含み、アルゴリズムモデルグループ2は、検知融合モデル及びDMS検知モデルを含み、アルゴリズムモデルグループ3は、予測モデル、計画モデル及び診断モデルを含む。
【0074】
ステップ20224では、いずれかのアルゴリズムモデルグループに対して、当該アルゴリズムモデルグループに対応する履歴加速器スケジューリング情報に基づいて、加速器の交互順序に従って現在当該アルゴリズムモデルグループに対応するアルゴリズムモデル命令を実行する必要がある人工知能加速器を確定する。
【0075】
ここで、履歴加速器スケジューリング情報は、直前フレームの加速器スケジューリング状況を含み、現在フレームのスケジューリング加速器位置を確定するために用いることができる。
【0076】
いくつかの選択可能な実施例では、異なるアルゴリズムモデルグループに対して、スケジューリングの異なる初期加速器を設置することができ、例えば、1番目フレームにおいて、アルゴリズムモデルグループ1は、スケジューリング加速器1に対応し、アルゴリズムモデルグループ2は、スケジューリング加速器2に対応し、アルゴリズムモデルグループ3は、スケジューリング加速器3に対応し、以下同様である。後続のフレームの処理過程において、各アルゴリズムモデルグループは、同じ加速器交互順序に応じて各加速器を交互にスケジューリングし、それにより各フレームのいずれにおいても複数の加速器により複数のアルゴリズムモデルグループのアルゴリズムモデル命令を共同で完了させることを保証し、各アルゴリズムモデルグループは、予め設定のフレーム間隔で各加速器を交互にスケジューリングすることができる。例えば、上記第1フレームの履歴加速器スケジューリング情報に基づいて、2番目フレームにおいて、3つの加速器を例とすると、加速器1-2-3の交互順序に応じて、アルゴリズムモデルグループ1は、加速器2をスケジューリングすべきであり、アルゴリズムモデルグループ2は、加速器3をスケジューリングすべきであり、アルゴリズムモデルグループ3は、加速器1をスケジューリングすべきである。3番目フレームにおいて、アルゴリズムモデルグループ1は、加速器3をスケジューリングすべきであり、アルゴリズムモデルグループ2は、加速器1をスケジューリングすべきであり、アルゴリズムモデルグループ3は、加速器2をスケジューリングすべきであり、以下同様である。
【0077】
本実施例は、アルゴリズムモデル情報に対応する複数のアルゴリズムモデルグループを確定することにより、アルゴリズムモデル情報に対応するアルゴリズムモデル命令をそれぞれ複数のアルゴリズムモデルグループに対応するアルゴリズムモデル命令に分割し、加速器交互順序に応じて、複数の加速器をスケジューリングして各アルゴリズムモデルグループに対応するアルゴリズムモデル命令をそれぞれ実行し、加速器ハードウェアによる画像処理エラー確率を低減させる上で、加速器のリソース利用率を向上させ、それにより画像処理効率を効果的に向上させることができる。
【0078】
いくつかの選択可能な実施例では、上記複数のアルゴリズムモデル情報、各アルゴリズムモデル情報に対応する複数のアルゴリズムモデルグループを組み合わせ、複数の加速器をスケジューリングしてそれぞれ各アルゴリズムモデルグループに対応するアルゴリズムモデル命令を交互に実行し、メモリハードウェアの故障の連続的なエラー及び加速器ハードウェアの故障の連続的なエラーをいずれも間欠的なエラーに変更することを実現することができ、さらにフォールトトレラント時間を延長し、メモリハードウェア及び加速器ハードウェアのエラー検出に有効な時間支援を提供し、それにより画像処理エラー確率を低減させることができ、メモリハードウェア及び加速器ハードウェアのエラー検出を結合して車両の走行中の安全性をさらに向上させることに役立つ。
【0079】
例示的に、図6は、本開示の一例示的な実施例に係るマルチフレーム画像処理の加速器スケジューリング概略図である。本例では、アルゴリズムモデル情報の数は、3であり、例えば、アルゴリズムモデル情報1、アルゴリズムモデル情報2及びアルゴリズムモデル情報3とし、すなわち第1の予め設定の記憶空間の3つの異なる記憶サブ空間(アルゴリズムモデル情報1に対応する記憶サブ空間1、アルゴリズムモデル情報2に対応する記憶サブ空間2及びアルゴリズムモデル情報3に対応する記憶サブ空間3を含む)にそれぞれ同じアルゴリズムモデル命令を記憶し、アルゴリズムモデル情報に対応するアルゴリズムモデルグループの数は、Mであり、加速器の数は、Mである。N番目フレームにおいて、アルゴリズムモデル情報1に対応する記憶サブ空間1のアルゴリズムモデル命令を採用して、アルゴリズムモデル情報1に対応するM個のアルゴリズムモデルグループを確定することができ、アルゴリズムモデルグループ1からアルゴリズムモデルグループMを含み、加速器スケジューリング順序に応じてM個の加速器をスケジューリングし、アルゴリズムモデルグループ1は、スケジューリング加速器1に対応し、アルゴリズムモデルグループ2は、スケジューリング加速器2に対応し、以下同様である。N+1番目フレームにおいて、アルゴリズムモデル情報2に対応する記憶サブ空間2のアルゴリズムモデル命令を採用し、アルゴリズムモデルグループ1のN番目フレームにおける履歴加速器スケジューリング情報が対応するスケジューリング加速器1であるため、加速器スケジューリング順序によれば、N+1番目フレームにおいて、アルゴリズムモデルグループ1は、スケジューリング加速器2に対応し、同様に、アルゴリズムモデルグループ2は、スケジューリング加速器3に対応し、・・・、アルゴリズムモデルグループM-1は、スケジューリング加速器Mに対応し、アルゴリズムモデルグループMは、スケジューリング加速器1に対応する。同様に、N+2番目フレームにおいて、アルゴリズムモデル情報3に対応する記憶サブ空間3のアルゴリズムモデル命令を採用し、アルゴリズムモデルグループ1は、スケジューリング加速器3に対応し、アルゴリズムモデルグループ2は、スケジューリング加速器4に対応し、・・・、アルゴリズムモデルグループMは、スケジューリング加速器2に対応する。後続のフレームは、以下同様であり、説明を省略する。
【0080】
本開示の実施例に係る人工知能加速器により画像を処理する方法は、フレーム間隔で異なる記憶空間のアルゴリズムモデル命令を交互に採用し、各グループのアルゴリズムモデル命令に対してそれぞれ複数のアルゴリズムモデルグループに対応するアルゴリズムモデル命令に分割し、加速器交互順序に応じて複数の加速器を交互にスケジューリングしてそれぞれ複数のアルゴリズムモデルグループに対応するアルゴリズムモデル命令を共同で処理し、関連技術における加速器の冗長構成に対してチェックを行い、本開示は、メモリ帯域幅の使用を向上させない上で、加速器リソースの有効利用率を大幅向上させ、処理性能を大幅向上させ、コストを効果的に低減させることができる。
【0081】
いくつかの選択可能な実施例では、人工知能加速器によりアルゴリズムモデル命令を記憶する第1の予め設定の記憶空間からアルゴリズムモデル命令を読み取ってアルゴリズムモデル命令を実行して、処理対象画像に対する処理結果を得るステップ203は、以下のステップ2031~ステップ2032を含む。
【0082】
ステップ2031では、いずれかのアルゴリズムモデルグループに対応するアルゴリズムモデル命令を実行する必要がある人工知能加速器について、当該人工知能加速器により第1の予め設定の記憶空間から当該アルゴリズムモデルグループに対応するアルゴリズムモデル命令を読み取ってアルゴリズムモデル命令を実行して、当該アルゴリズムモデルグループに対応する処理結果を得る。
【0083】
ここで、異なるアルゴリズムモデルグループは、異なる機能を有することができ、加速器推理により各アルゴリズムモデルグループに対応する処理結果を得ることができる。いずれかのアルゴリズムモデルグループに対し、加速器は、当該アルゴリズムモデルグループに対応するアルゴリズムモデル命令の記憶空間アドレスに基づいて第1の予め設定の記憶空間における対応する記憶サブ空間から当該アルゴリズムモデルグループに対応するアルゴリズムモデル命令を読み取ることができる。
【0084】
いくつかの選択可能な実施例では、いずれかのアルゴリズムモデルグループに対し、それに含まれる各アルゴリズムモデルの間は、互いに独立してもよく、依存関係を有してもよく、具体的に限定されず、例えば自動運転シーンにおいては、前方視検知モデル及び周辺視検知モデルは、互いに独立し、検知融合モデルは、様々な検知を融合する必要があるため、検知モデルと依存関係を有することができる。アルゴリズムモデルグループに対応する処理結果は、それぞれ各アルゴリズムモデルに対応する処理結果を含むことができ、依存関係を有する最後のアルゴリズムモデルに対応する処理結果を含むこともでき、具体的には実際のニーズに応じて設定されることができる。
【0085】
いくつかの選択可能な実施例では、各加速器は、相応するアルゴリズムモデル命令を実行した後、処理結果を予め設定の記憶空間に戻すことができ、例えば、第1の予め設定の記憶空間に戻すことができる。
【0086】
ステップ2032では、それぞれ各アルゴリズムモデルグループに対応する処理結果に基づいて、処理対象画像に対する処理結果を確定する。
【0087】
ここで、異なるアルゴリズムモデルグループは、異なる処理機能を完了させるために用いられ、各アルゴリズムモデルグループの処理結果を統合して、処理対象画像の処理結果を得る。
【0088】
いくつかの選択可能な実施例では、複数の加速器が共同で動作する状況に対し、いずれかの加速器(例えば、加速器A)の推理が完了した後に処理結果を予め設定の記憶空間に戻すことができ、他の加速器(例えば、加速器B)が加速器Aの推理結果に基づいて後続の処理を行う必要があると、他の加速器Bは、予め設定の記憶空間から当該加速器Aの推理結果を読み取ってさらなる推理を行って、加速器Bの推理結果を得ることができる。また、加速器の間の通信を確立し、それにより加速器Aの推論結果を加速器Bに伝送することができ、具体的に限定されない。
【0089】
本実施例は、複数の加速器の処理を統合して、処理対象画像に対応する処理結果を効果的に得、画像処理効率を向上させる。
【0090】
いくつかの選択可能な実施例では、処理対象画像に対応するアルゴリズムモデル情報を確定するステップ201の前に、以下のステップ410~ステップ420をさらに含む。
【0091】
ステップ410では、予め設定の情報に基づいて、第2の予め設定の記憶空間から画像処理に必要なアルゴリズムモデル命令を読み取る。
【0092】
ここで、予め設定の情報は、前述したコンテンツを参照することができ、書き込み回数は、前述したコンテンツとは異なることができ、本実施例の書き込み回数は、1である。
【0093】
ステップ420では、アルゴリズムモデル命令を第1の予め設の記憶空間に書き込む。
【0094】
ここで、予め設定の情報の書き込み操作及び書き込み回数に基づいて、アルゴリズムモデル命令を第1の予め設定の記憶空間に書き込む。
【0095】
本実施例は、加速器がアルゴリズムモデル命令を迅速に読み取って実行して、データ読み取り速度を向上させるように、事前にアルゴリズムモデル情報を第2の予め設定の記憶空間から第1の予め設定の記憶空間へコピーすることができる。
【0096】
図7は、本開示のさらなる例示的な実施例に係る人工知能加速器による画像処理方法のフローチャートである。
【0097】
いくつかの選択可能な実施例では、第1の予め設定の記憶空間には、それぞれ複数部のアルゴリズムモデル命令及び各アルゴリズムモデル命令に対応するモデルパラメータが記憶される。本開示の方法は、以下のステップ430~ステップ440をさらに含む。
【0098】
ステップ430では、予め設定の周期に従って、それぞれ第1の予め設定の記憶空間の複数部のアルゴリズムモデル命令及び各アルゴリズムモデル命令に対応するモデルパラメータにおける予め設定のコンテンツをチェックして、チェック結果を得る。
【0099】
ここで、予め設定の周期は、実際のニーズに応じて設定されることができ、具体的に限定されない。予め設定のコンテンツは、実際のニーズに応じて設定されることができ、例えば、予め設定のコンテンツは、アルゴリズムモデル命令及びモデルパラメータの全てのコンテンツであってもよく、そのうちの予め設定の肝要なコンテンツであってもよく、例えば、各アルゴリズムモデルの出力層は、アルゴリズムモデル推論結果への影響が大きいため、出力層に対応する命令及び/又はパラメータを肝要なコンテンツとすることができる。チェック結果は、チェックに成功したこと及びチェックに失敗したことという2種類の結果を含むことができ、チェックに失敗した結果は、失敗を引き起こすエラーコンテンツ情報(例えば、エラーが発生したアドレス)を含むことができる。チェック方式は、複数部のアルゴリズムモデル命令及び対応するモデルパラメータを比較し、複数部が同じであるか否かを確定することであることができ、異なるコンテンツが存在すると、予め設定のコンテンツにエラーが発生したと確定することができる。
【0100】
ステップ440では、チェック結果に応答して、予め設定の修復規則に基づいて予め設定のコンテンツに対して修復処理を行って、修復結果を得る。
【0101】
ここで、予め設定の修復規則は、実際のニーズに応じて設定されることができる。チェック結果は、予め設定のコンテンツにエラーが存在すると、予め設定の修復規則に基づいて予め設定のコンテンツに対して修復処理を行って、修復結果を得る。例えば、複数部の予め設定のコンテンツにおける正確な部分から正確なコンテンツを取得し、エラーコンテンツに対して修復を行うことができる。また、第2の予め設定の記憶空間から正確なコンテンツ修復エラーのコンテンツを再び読み取ることができる。
【0102】
いくつかの選択可能な実施例では、記憶ハードウェアの故障によるエラーコンテンツの再発生を回避するために、修復を行う時に、修復後の正確なコンテンツをエラーコンテンツと異なる空間に書き込むことができる。
【0103】
本実施例は、一定の周期に従って第1の予め設定の記憶空間のアルゴリズムモデル命令及びモデルパラメータをチェックしてタイムリーに修復することにより、エラーコンテンツによる後続の画像処理エラーを効果的に回避することができ、それにより車両走行の安全性をさらに向上させることができる。
【0104】
いくつかの選択可能な実施例では、ステップ430は、
第1の予め設定の周期に従って、それぞれ第1の予め設定の記憶空間の複数部のアルゴリズムモデル命令及び各アルゴリズムモデル命令に対応するモデルパラメータをチェックして、第1のチェック結果を得るステップと、第1のチェック結果に応答して、第1の修復規則に基づいて予め設定のコンテンツに対して修復処理を行って、第1の修復結果を得るステップと、を含む。
【0105】
具体的には、第1の予め設定の周期に従って複数部のアルゴリズムモデル命令及びモデルパラメータの全てのコンテンツをチェックし、チェック結果に基づいて修復処理を行う。例えば、複数部のうちの1部又は少数部にエラーが存在すると、正確な部から正確なコンテンツを取得してエラーコンテンツを修復することができる。どの部にエラーが発生したかを確定できないと、第2の予め設定の記憶空間からアルゴリズムモデル命令及び対応するモデルパラメータを再び読み取り、第1の予め設定の記憶空間の複数部のアルゴリズムモデル命令及びモデルパラメータを修復することができる。
【0106】
いくつかの選択可能な実施例では、本開示の方法は、
第1の予め設定の周期よりも小さい第2の予め設定の周期に従って、それぞれ第1の予め設定の記憶空間の複数部のアルゴリズムモデル命令に対応する予め設定の肝要な命令と予め設定の肝要なパラメータのうちの少なくとも1つとをチェックして、第2のチェック結果を得るステップと、第2のチェック結果に基づいて、第2の修復規則に基づいてエラーコンテンツを修復処理して、第2の修復結果を得るステップと、をさらに含む。
【0107】
ここで、予め設定の肝要な命令及び予め設定の肝要なパラメータは、アルゴリズムモデルにおけるアルゴリズムモデル推論結果への影響度に基づいて設定されることができる。例えば、アルゴリズムモデルの出力層又は出力層のモデルパラメータにエラーが発生すると、出力結果の深刻なエラーを引き起こし、アルゴリズムモデルにおけるより前のモデル層又はモデルパラメータにエラーが発生すると、後続の推理過程において前のエラーの影響を絶えず低減させることができ、最終的な推理結果が正確であり、深刻なエラーが発生せず、これに基づき、第2の予め設定の周期を第1の予め設定の周期よりも小さく設定し、肝要なコンテンツのエラーをよりタイムリーに発見することができ、それにより記憶ハードウェアの故障による画像処理エラーの確率をさらに低減させ、車両走行の安全性をさらに向上させることができる。
【0108】
本開示の実施例は、第2の予め設定の周期により肝要なコンテンツを高頻度で迅速に検査し、第1の予め設定の周期により全てのコンテンツ又は非肝要なコンテンツを低頻度で低速に検査し、リソース占有及びエラーチェック問題を効果的に両立することができ、比較的低いリソースで占有する場合、寛容なコンテンツのエラーを迅速にタイムリーに発見し、他のコンテンツに対して推論結果への影響が小さく、より低い周頻度で検査し、リソースへの占有を減少させることができる。
【0109】
図8は、本開示のまたさらなる例示的な実施例に係る人工知能加速器による画像処理方法のフローチャートである。
【0110】
いくつかの選択可能な実施例では、チェック結果に応答して、予め設定の修復規則に基づいて予め設定のコンテンツに対して修復処理を行って、修復結果を得るステップ440は、以下のステップ4410~ステップ4420を含む。
【0111】
ステップ4410では、チェック結果に応答して、エラーコンテンツが存在するアルゴリズムモデル命令及びモデルパラメータを第1の予め設定の記憶空間から削除し、第2の予め設定の記憶空間から削除コンテンツに対応するアルゴリズムモデル命令及びモデルパラメータを再び読み取る。
【0112】
ここで、エラーコンテンツが存在する一部又は複数部のアルゴリズムモデル命令及びモデルパラメータを第1の予め設定の記憶空間から削除することができ、後でエラーのアルゴリズムモデル命令又はモデルパラメータを読み取ることを回避することができる。予め設定の情報に基づいて第2の予め設定の記憶空間から削除コンテンツに対応するアルゴリズムモデル命令及びモデルパラメータを再び読み取る。
【0113】
ステップ4420では、再び読み取られたアルゴリズムモデル命令及びモデルパラメータを、第1の予め設定の記憶空間における目標サブ空間に書き込む。
【0114】
ここで、目標サブ空間は、エラーコンテンツとは異なるサブ空間である。
【0115】
本実施例は、再び読み取られたアルゴリズムモデル命令及びモデルパラメータをエラーコンテンツの位置するサブ空間とは異なる目標サブ空間に書き込むことにより、エラーコンテンツが位置していたサブ空間のハードウェアの故障によるエラーの再発生を回避することができ、後続の画像処理に正確で効果的なアルゴリズムモデル命令を提供し、さらにフォールトトレラント時間を延長し、車両走行の安全性を向上させることができる。
【0116】
図9は、本開示のさらなる例示的な実施例に係る人工知能加速器による画像処理方法のフローチャートである。
【0117】
いくつかの選択可能な実施例では、人工知能加速器によりアルゴリズムモデル命令を記憶する第1の予め設定の記憶空間からアルゴリズムモデル命令を読み取ってアルゴリズムモデル命令を実行して、処理対象画像に対する処理結果を得るステップ203は、以下のステップ203a~ステップ203bを含む。
【0118】
ステップ203aでは、人工知能加速器により、アルゴリズムモデル命令が記憶されている第1の予め設定の記憶空間からアルゴリズムモデル命令を読み取ってアルゴリズムモデル命令を実行して、人工知能加速器の出力結果を得る。
【0119】
当該ステップの具体的な操作は、前述した実施例を参照することができ、ここで説明を省略する。
【0120】
ステップ203bでは、予め設定のフィルタリング規則に基づいて、出力結果におけるエラー結果をフィルタリングして、処理対象画像に対する処理結果を得る。
【0121】
ここで、予め設定のフィルタリング規則は、実際のニーズに応じて設定されることができる。例えば、予め設定のフィルタリング規則は、マルチフレームのチェック又はカルマンフィルタなどの規則であることができ、具体的に限定されない。
【0122】
本実施例は、加速器の出力結果を得た後、予め設定のフィルタリング規則に基づいて出力結果に偶発的に発生した推論エラーをさらにフィルタリングして、安全性をさらに向上させることができる。
【0123】
本開示の上記各実施例は、単独で実施することもでき、又は矛盾しない状況で任意の組み合わせ方式で組み合わせて実施することができ、具体的には実際のニーズに応じて設定されることができ、本開示は、限定されない。
【0124】
本開示の実施例に係るいずれかの人工知能加速器による画像処理方法は、データ処理能力を有する任意の適切な機器により実行されることができ、端末機器及びサーバなどを含むが、それらに限定されない。又は、本開示の実施例に係るいずれかの人工知能加速器による画像処理方法は、プロセッサにより実行されることができ、例えば、プロセッサは、メモリに記憶された相応する命令を呼び出すことにより本開示の実施例に記載のいずれかの人工知能加速器による画像処理方法を実行する。以下、説明を省略する。
【0125】
(例示的な装置)
図10は、本開示の一例示的な実施例に係る人工知能加速器による画像処理装置の構造概略図である。当該実施例の装置は、本開示の相応する人工知能加速器による画像処理方法の実施例を実現するためのものであり、図10に示す装置は、第1の制御モジュール51、第2の制御モジュール52及び人工知能加速器53を備える。
【0126】
第1の制御モジュール51は、処理対象画像に対応するアルゴリズムモデル情報を確定するためのものである。
【0127】
第2の制御モジュール52は、アルゴリズムモデル情報に基づいて、アルゴリズムモデル情報に対応するアルゴリズムモデル命令を実行する必要がある人工知能加速器を確定するためのものである。
【0128】
人工知能加速器53は、アルゴリズムモデル命令を記憶する第1の予め設定の記憶空間からアルゴリズムモデル命令を読み取ってアルゴリズムモデル命令を実行して、処理対象画像に対する処理結果を得るためのものである。
【0129】
図11は、本開示の別の例示的な実施例に係る人工知能加速器により画像を処理する装置の構造概略図である。
【0130】
いくつかの選択可能な実施例では、第1の制御モジュール51は、第1の確定ユニット511及び第2の確定ユニット512を備える。
【0131】
第1の確定ユニット511は、処理対象画像に対応する現在フレーム情報を確定するためのものである。
【0132】
第2の確定ユニット512は、フレーム情報とアルゴリズムモデル情報とのマッピング規則に基づいて、複数のアルゴリズムモデル情報から現在フレーム情報に対応するアルゴリズムモデル情報を確定するためのものである。
【0133】
ここで、複数のアルゴリズムモデル情報は、それぞれ第1の予め設定の記憶空間における異なる記憶サブ空間の同じアルゴリズムモデル命令に対応する。
【0134】
いくつかの選択可能な実施例では、本開示の装置は、読み取りモジュール61及び書き込みモジュール62をさらに備える。
【0135】
読み取りモジュール61は、予め設定の情報に基づいて、第2の予め設定の記憶空間から画像処理に必要なアルゴリズムモデル命令を読み取るためのものである。
【0136】
書き込みモジュール62は、アルゴリズムモデル命令を第1の予め設定の記憶空間の複数の異なる記憶サブ空間に書き込むためのものである。
【0137】
いくつかの選択可能な実施例では、第2の制御モジュール52は、第3の確定ユニット521及び第4の確定ユニット522を備える。
【0138】
第3の確定ユニット521は、アルゴリズムモデル情報に対応する加速器の交互スケジューリング規則を確定するためのものである。
【0139】
第4の確定ユニット522は、加速器の交互スケジューリング規則に基づいて、複数の人工知能加速器から現在アルゴリズムモデル情報に対応するアルゴリズムモデル命令を実行する必要がある人工知能加速器を確定するためのものである。
【0140】
いくつかの選択可能な実施例では、第4の確定ユニット522は、具体的には、
加速器の交互スケジューリング規則に基づいて加速器交互順序を確定し、加速器交互順序に応じて、現在アルゴリズムモデル情報に対応するアルゴリズムモデル命令を実行する必要がある人工知能加速器を確定するためのものである。
【0141】
いくつかの選択可能な実施例では、第4の確定ユニット522は、具体的には、
アルゴリズムモデル情報に基づいてそれぞれ複数のアルゴリズムモデルに対応する識別情報を確定し、加速器の交互スケジューリング規則に基づいて加速器交互順序を確定し、それぞれ各アルゴリズムモデルに対応する識別情報及び予め設定のグルーピング規則に基づいて、アルゴリズムモデル情報に対応する、少なくとも1つのアルゴリズムモデルの識別情報を含む複数のアルゴリズムモデルグループを確定し、いずれかのアルゴリズムモデルグループに対して、当該アルゴリズムモデルグループに対応する履歴加速器スケジューリング情報に基づいて、加速器交互順序に応じて現在当該アルゴリズムモデルグループに対応するアルゴリズムモデル命令を実行する必要がある人工知能加速器を確定するためのものである。
【0142】
いくつかの選択可能な実施例では、いずれかのアルゴリズムモデルグループに対応するアルゴリズムモデル命令を実行する必要がある人工知能加速器は、第1の予め設定の記憶空間から当該アルゴリズムモデルグループに対応するアルゴリズムモデル命令を読み取ってアルゴリズムモデル命令を実行して、当該アルゴリズムモデルグループに対応する処理結果を得るためのものである。
【0143】
本開示の装置は、それぞれ各アルゴリズムモデルグループに対応する処理結果に基づいて、処理対象画像に対する処理結果を確定するための第3の制御モジュール54をさらに備える。
【0144】
いくつかの選択可能な実施例では、図11を参照すると、本開示の装置は、読み取りモジュール61及び書き込みモジュール62をさらに備える。
【0145】
読み取りモジュール61は、予め設定の情報に基づいて、第2の予め設定の記憶空間から画像処理に必要なアルゴリズムモデル命令を読み取るためのものである。
【0146】
書き込みモジュール62は、アルゴリズムモデル命令を第1の予め設定の記憶空間に書き込むためのものである。
【0147】
いくつかの選択可能な実施例では、本開示の装置は、それぞれ複数部のアルゴリズムモデル命令及び各アルゴリズムモデル命令に対応するモデルパラメータを記憶するための第1の予め設定の記憶空間63をさらに備える。
【0148】
いくつかの選択可能な実施例では、第1の予め設定された記憶空間63は、メモリにおける記憶空間であることができる。
【0149】
いくつかの選択可能な実施例では、本開示の装置は、チェックモジュール64及び修復モジュール65をさらに備える。
【0150】
チェックモジュール64は、予め設定の周期に従って、それぞれ第1の予め設定の記憶空間の複数部のアルゴリズムモデル命令及び各アルゴリズムモデル命令に対応するモデルパラメータにおける予め設定のコンテンツをチェックして、チェック結果を得るためのものである。
【0151】
修復モジュール65は、チェック結果に応答して、予め設定の修復規則に基づいて予め設定のコンテンツに対して修復処理を行って、修復結果を得るためのものである。
【0152】
いくつかの選択可能な実施例では、修復モジュール65は、具体的には、
チェック結果に応答して、エラーコンテンツが存在するアルゴリズムモデル命令及びモデルパラメータを第1の予め設定の記憶空間から削除し、第2の予め設定の記憶空間から削除コンテンツに対応するアルゴリズムモデル命令及びモデルパラメータを再び読み取り、再び読み取られたアルゴリズムモデル命令及びモデルパラメータを、第1の予め設定の記憶空間における目標サブ空間に書き込むためのものである。ここで、目標サブ空間は、エラーコンテンツとは異なるサブ空間である。
【0153】
いくつかの選択可能な実施例では、人工知能加速器53は、具体的には、アルゴリズムモデル命令を記憶する第1の予め設定の記憶空間からアルゴリズムモデル命令を読み取ってアルゴリズムモデル命令を実行して、人工知能加速器の出力結果を得るためのものである。
【0154】
第3の制御モジュール54は、さらに、予め設定のフィルタリング規則に基づいて、出力結果におけるエラー結果をフィルタリングして、処理対象画像に対する処理結果を得るためのものである。
【0155】
いくつかの選択可能な実施例では、本開示の装置は、アルゴリズムモデル命令を記憶するための第2の予め設定の記憶空間66をさらに備える。第2の予め設定の記憶空間66は、ハードディスク、フロッピーディスク、光ディスクなどの外部メモリにおける記憶空間であることができる。
【0156】
本装置の例示的な実施例に対応する有益な技術的効果は、上記例示的な方法部分の相応する有益な技術的効果を参照することができ、ここで説明を省略する。
【0157】
図12は、本開示の例示的な実施例に係る人工知能チップの構造概略図である。この人工知能チップは、第1の予め設定の記憶空間と、人工知能加速器による画像処理装置と、を備え、そのうち、人工知能加速器による画像処理装置は、上記いずれかの実施例に係る人工知能加速器による画像処理方法を実行するためのものである。
【0158】
いくつかの選択可能な実施例では、本開示の人工知能チップは、他の関連するモジュール又はユニット、例えば、内部バス、他のIP(Intellectual Property、知的財産権)コア、CPU(Central Processing Unit、中央処理ユニット)クラスタ、安全地帯などのハードウェアモジュール、及び後処理モジュールなどのソフトウェアモジュールをさらに備えることができ、具体的には実際のニーズに応じて設定されることができる。
【0159】
本チップ実施例に対応する有益な効果は、上記例示的な方法の部分の相応する有益な技術的効果を参照することができ、ここで説明を省略する。
【0160】
(例示的な電子機器)
図13は、本開示の実施例に係る電子機器の構造図であり、電子機器は、1つ又は複数のプロセッサ11及びメモリ12を備える。
【0161】
プロセッサ11は、中央処理ユニット(CPU)又はデータ処理機能及び/又は命令実行機能を有する他の形式の処理ユニットであることができ、電子機器10の他のコンポーネントを制御して所望の機能を実行することができる。
【0162】
メモリ12は、1つ又は複数のコンピュータプログラム製品を含むことができ、このコンピュータプログラム製品は、例えば、揮発性メモリ及び/又は不揮発性メモリなどの様々の形態のコンピュータ読み取り可能な記憶媒体を含むことができる。揮発性メモリは、例えば、ランダムアクセスメモリ(RAM)及び/又はキャッシュメモリ(cache)などを含むことができる。不揮発性メモリは、例えば、リードオンリーメモリ(ROM)、ハードディスク、フラッシュメモリなどを含むことができる。1つ又は複数のコンピュータプログラム命令をコンピュータ読み取り可能な記憶媒体に記憶することができ、プロセッサ11は、1つ又は複数のコンピュータプログラム命令を実行することで、上記の本開示の各実施例の方法及び/又は他の所望の機能を実現することができる。
【0163】
1つの例では、電子機器10は、バスシステム及び/又は他の形態の接続機構(図示せず)を介して互いに接続される入力装置13及び出力装置14をさらに備えることができる。
【0164】
当該入力装置13は、例えばキーボード、マウスなどをさらに備えることができる。
【0165】
当該出力装置14は、各種情報を外部に出力することができる。出力装置14は、例えば、ディスプレイ、スピーカ、プリンタ、通信ネットワーク及びそれに接続されたリモート出力機器などを含むことができる。
【0166】
簡略化のため、図13では、当該電子機器10における本開示に関連するコンポーネントの一部のみを示し、バス、入力/出力インタフェースなどのコンポーネントは省略した。その他、電子機器10は、具体的な適用状況に応じて、その他の任意の適切なコンポーネントをさらに含むことができる。
【0167】
(例示的なコンピュータプログラム製品及びコンピュータ読み取り可能な記憶媒体)
本開示の実施例は、上記方法及び機器に加えて、コンピュータプログラム命令を含むコンピュータプログラム製品をさらに提供することができる。コンピュータプログラム命令がプロセッサにより実行されると、プロセッサに、上記の「例示的な方法」の部分に記載の本開示の各種類の実施例の方法におけるステップを実行させる。
【0168】
コンピュータプログラム製品は、1つ又は複数のプログラミング言語の任意の組み合わせで本開示の実施例の操作を実行するためのプログラムコードを作成することができ、このプログラミング言語は、Java(登録商標)、C++などのオブジェクト指向プログラミング言語、及び「C」言語または類似のプログラミング言語などの従来の手続き型プログラミング言語を含む。プログラムコードは、下記のように実行されることができ、すなわち、ユーザーコンピューティングデバイス上で全体的に実行されてもよいし、ユーザーデバイス上で部分的に実行されてもよいし、独立したソフトウェアパッケージとして実行されてもよいし、一部はユーザーコンピューティングデバイス上で実行され、別の一部はリモートコンピューティングデバイス上で実行されてもよいし、リモートコンピューティングデバイスあるいはサーバー上で全体的に実行されてもよい。
【0169】
また、本開示の実施例は、コンピュータプログラム命令を記憶したコンピュータ読み取り可能な記憶媒体をさらに提供することができる。コンピュータプログラム命令がプロセッサにより実行されると、プロセッサに、上記の「例示的な方法」の部分に記載の本開示の各種類の実施例の方法におけるステップを実行させる。
【0170】
コンピュータ読み取り可能な記憶媒体として、1つ又は複数の読み取り可能な媒体の任意の組み合わせを採用することができる。読み取り可能な媒体は、読み取り可能な信号媒体又は読み取り可能な記憶媒体であることができる。読み取り可能な記憶媒体は、例えば、電気、磁気、光学、電磁気、赤外線、又は半導体のシステム、装置、又はデバイス、又はこれらの任意の組み合わせを含むことができるが、これらに限定されない。読み取り可能な記憶媒体のより具体的な例(非網羅的なリスト)としては、1つ又は複数のワイヤを有する電気接続、ポータブルディスク、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROM又はフラッシュメモリ)、光ファイバ、コンパクトディスクリードオンリメモリ(CD-ROM)、光記憶デバイス、磁気記憶デバイス、又は上記の任意の適切な組み合わせが挙げられる。
【0171】
以上、具体的な実施例を参照しながら本開示の基本的原理を説明してきたが、本開示に言及される利点、長所、効果などは、例示的なものにすぎず、限定的なものではなく、これらの利点、長所、効果などは、本開示の各実施例が必ずしも有するものではない。また、上記開示の具体的な詳細は、例示的な作用及び理解しやすい作用に過ぎず、限定的なものではなく、上記詳細は、本開示を必ずしも上記具体的な詳細により実現されるように限定することではない。
【0172】
当業者であれば、本願の精神及び範囲から逸脱することなく、本開示に対して様々な変更や変形を行うことができる。このように、本願のこれらの修正や変形が本開示の特許請求の範囲及びその均等的な技術範囲内に属する場合、本開示もこれらの修正や変形を含むことを意味する。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13