IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 華為技術有限公司の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-16
(54)【発明の名称】画像処理装置および方法
(51)【国際特許分類】
   G06T 3/00 20240101AFI20241008BHJP
【FI】
G06T3/00 780
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024518910
(86)(22)【出願日】2021-09-26
(85)【翻訳文提出日】2024-05-02
(86)【国際出願番号】 CN2021120593
(87)【国際公開番号】W WO2023044844
(87)【国際公開日】2023-03-30
(81)【指定国・地域】
(71)【出願人】
【識別番号】503433420
【氏名又は名称】華為技術有限公司
【氏名又は名称原語表記】HUAWEI TECHNOLOGIES CO.,LTD.
【住所又は居所原語表記】Huawei Administration Building, Bantian, Longgang District, Shenzhen, Guangdong 518129, P.R. China
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133569
【弁理士】
【氏名又は名称】野村 進
(72)【発明者】
【氏名】▲張▼ ▲興▼新
(72)【発明者】
【氏名】王 小▲敏▼
【テーマコード(参考)】
5B057
【Fターム(参考)】
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CC03
5B057CD03
5B057CE09
5B057CE10
(57)【要約】
本出願は、画像処理装置および方法を提供する。装置は、第1の画像および第2の画像に基づいて第1のスティッチング画像を取得するように構成された第1の処理ユニットと、第1のスティッチング画像を送信するように構成された送信ユニットと、を含み、第1の画像の行画素数は、Mであり、列画素数は、Nであり、第2の画像の行画素数は、Pであり、列画素数は、Qであり、Q≧Mであり、第1のスティッチング画像の行画素数は、N+Pであり、列画素数は、Qである。第1のスティッチング画像は、第2の画像および第3の画像を含む。第3の画像は、第1の画像の第1の前処理によって取得された画像である。第1の前処理は、第1の画像を回転させることを含むか、または第1の前処理は、第1の画像を回転させてパディングすることを含む。したがって、取得された第1のスティッチング画像は、少ないパディング画素を含み、第1のスティッチング画像を伝送するプロセスにおいて、パディング画素は、少量の伝送帯域幅を占有する。これにより、第1のスティッチング画像の伝送効率を向上させる。
【特許請求の範囲】
【請求項1】
画像処理装置であって、前記装置は、
第1の画像および第2の画像に基づいて第1のスティッチング画像を取得するように構成された第1の処理ユニットと、
前記第1のスティッチング画像を送信するように構成された送信ユニットと、
を備え、
前記第1の画像の行画素数は、Mであり、列画素数は、Nであり、M>Nであり、MおよびNの両方は、正の整数であり、
前記第2の画像の行画素数は、Pであり、列画素数は、Qであり、Q≧Mであり、PおよびQの両方は、正の整数であり、
前記第1のスティッチング画像の行画素数は、N+Pであり、列画素数は、Qであり、前記第1のスティッチング画像は、前記第2の画像および第3の画像を含み、前記第3の画像は、前記第1の画像の第1の前処理を通じて取得された画像であり、前記第1の前処理は、前記第1の画像を回転させることを含むか、または前記第1の前処理は、前記第1の画像を回転させ、パディングすることを含む、
画像処理装置。
【請求項2】
前記第1の処理ユニットが前記第1の画像および前記第2の画像に基づいて前記第1のスティッチング画像を取得するように構成されることは、
前記第1の処理ユニットが、
前記第3の画像を取得するために、前記第1の画像を回転し、
前記第1のスティッチング画像を取得するために、前記第3の画像および前記第2の画像をスティッチングする
ように特に構成されること
を含む、請求項1に記載の装置。
【請求項3】
前記第1の処理ユニットは、
前記第3の画像を取得するために、前記第1の画像を(90°+180°×n)だけ回転させ、nは、整数である、
ようにさらに特に構成される、請求項2に記載の装置。
【請求項4】
前記第1の処理ユニットは、
第4の画像を取得するために、前記第1の画像を回転させ、
前記第3の画像を取得するために、前記第4の画像に対して画素パディングを実施し、
前記第1のスティッチング画像を取得するために、前記第3の画像および前記第2の画像をスティッチングする
ように特に構成される、請求項1に記載の装置。
【請求項5】
前記第1の処理ユニットが、前記第3の画像を取得するために、前記第4の画像に対して画素パディングを実施するように特に構成されることは、
前記第1の処理ユニットが、前記第3の画像を取得するために、前記第4の画像の第1のターゲット位置から画素パディングを実施するように特に構成され、前記第1のターゲット位置が、上部位置、下部位置、または中間位置のうちの少なくとも1つを含むこと
を含む、請求項4に記載の装置。
【請求項6】
前記第1の処理ユニットは、
第5の画像を取得するために、前記第1の画像に対して画素パディングを実施し、
前記第3の画像を取得するために、前記第5の画像を回転させ、
前記第1のスティッチング画像を取得するために、前記第3の画像および前記第2の画像をスティッチングする
ように特に構成される、請求項1に記載の装置。
【請求項7】
前記第1の処理ユニットが、前記第5の画像を取得するために、前記第1の画像に対して画素パディングを実施するように特に構成されることは、
前記第1の処理ユニットが、前記第5の画像を取得するために、前記第1の画像の第2のターゲット位置から画素パディングを実施するように特に構成され、前記第2のターゲット位置が、左位置、右位置、または中間位置のうちの少なくとも1つを含むこと
を含む、請求項6に記載の装置。
【請求項8】
前記第1の処理ユニットは、
前記第5の画像を取得するために、前記第1の画像を(90°+180°×n)だけ回転させ、nは、整数である、
ようにさらに特に構成される、請求項6または7に記載の装置。
【請求項9】
前記第1の処理ユニットは、
第4の画像を取得するために、前記第1の画像を回転させ、
第2のスティッチング画像を取得するために、前記第4の画像および前記第2の画像をスティッチングし、
前記第1のスティッチング画像を取得するために、前記第2のスティッチング画像に対して画素パディングを実施する
ように特に構成される、請求項1に記載の装置。
【請求項10】
前記第1の処理ユニットが、前記第1のスティッチング画像を取得するために、前記第2のスティッチング画像に対して画素パディングを実施するように特に構成されることは、
前記第1の処理ユニットが、前記第1のスティッチング画像を取得するために、前記第2のスティッチング画像内の前記第4の画像の第1のターゲット位置から画素パディングを実施するように特に構成され、前記第1のターゲット位置が、上部位置、下部位置、または中間位置を含むこと
を含む、請求項9に記載の装置。
【請求項11】
前記第1の処理ユニットは、
前記第4の画像を取得するために、前記第1の画像を(90°+180°×n)だけ回転させ、nは、整数である、
ようにさらに特に構成される、請求項4、5、9、または10に記載の装置。
【請求項12】
前記送信ユニットは、
前記第1のスティッチング画像を第2の処理ユニットまたは伝送ユニットに送信する
ように特に構成される、請求項1~11のいずれか一項に記載の装置。
【請求項13】
前記第1の処理ユニットは、システムオンチップSoCを備える、請求項1~12のいずれか一項に記載の装置。
【請求項14】
前記第2の処理ユニットは、フィールドプログラマブルゲートアレイFPGAユニットおよび/またはシリアライザSerを備える、請求項12に記載の装置。
【請求項15】
画像処理装置であって、前記装置は、
第1のスティッチング画像を取得するように構成された取得ユニットと、
第1の画像および第2の画像を取得するために、前記第1のスティッチング画像に対して第1の処理を実施するように構成された第2の処理ユニットと、
を備え、
前記第1のスティッチング画像の行画素数は、N+Pであり、列画素数は、Qであり、前記第1のスティッチング画像は、前記第2の画像および第3の画像を含み、N、P、およびQは、全て正の整数であり、
前記第1の画像の行画素数は、Mであり、列画素数は、Nであり、M>Nであり、Mは、正の整数であり、
前記第2の画像の行画素数は、Pであり、列画素数は、Qであり、Q≧Mであり、
前記第1の処理は、前記第2の画像および前記第3の画像を取得するために、前記第1のスティッチング画像をセグメント化することを含み、
前記第1の処理は、前記第3の画像を回転させることをさらに含むか、または前記第1の処理は、前記第3の画像を回転させ、パディング解除することをさらに含む、
画像処理装置。
【請求項16】
前記第2の処理ユニットは、
前記第2の画像および前記第3の画像を取得するために、前記第1のスティッチング画像をセグメント化し、
前記第1の画像を取得するために、前記第3の画像を回転させる
ように特に構成される、請求項15に記載の装置。
【請求項17】
前記第2の処理ユニットは、
前記第1の画像を取得するために、前記第3の画像を(-90°-180°×n)だけ回転させ、nは、整数である、
ようにさらに特に構成される、請求項16に記載の装置。
【請求項18】
前記第2の処理ユニットは、
前記第2の画像および前記第3の画像を取得するために、前記第1のスティッチング画像をセグメント化し、
第5の画像を取得するために、前記第3の画像を回転させ、
前記第1の画像を取得するために、前記第5の画像をパディング解除する
ように特に構成される、請求項15に記載の装置。
【請求項19】
前記第2の処理ユニットが、前記第1の画像を取得するために、前記第5の画像をパディング解除するように特に構成されることは、
前記第2の処理ユニットが、前記第1の画像を取得するために、前記第5の画像の第2のターゲット位置からパディング解除を実施するように特に構成され、前記第2のターゲット位置が、左位置、右位置、または中間位置のうちの少なくとも1つを含むこと
を含む、請求項18に記載の装置。
【請求項20】
前記第2の処理ユニットは、
前記第5の画像を取得するために、前記第3の画像を(-90°-180°×n)だけ回転させ、nは、整数である、
ようにさらに特に構成される、請求項18または19に記載の装置。
【請求項21】
前記第2の処理ユニットは、
前記第2の画像および前記第3の画像を取得するために、前記第1のスティッチング画像をセグメント化し、
第4の画像を取得するために、前記第3の画像をパディング解除し、
前記第1の画像を取得するために、前記第4の画像を回転する
ようにさらに特に構成される、請求項15に記載の装置。
【請求項22】
前記第2の処理ユニットが、前記第4の画像を取得するために、前記第3の画像をパディング解除するようにさらに特に構成されることは、
前記第2の処理ユニットが、前記第4の画像を取得するために、前記第3の画像の第1のターゲット位置からパディング解除を実施するように特に構成され、前記第1のターゲット位置が、上部位置、下部位置、または中間位置のうちの少なくとも1つを含むこと
を含む、請求項21に記載の装置。
【請求項23】
前記第2の処理ユニットは、
前記第1の画像を取得するために、前記第4の画像を(-90°-180°×n)だけ回転させ、nは、整数である、
ようにさらに特に構成される、請求項21または22に記載の装置。
【請求項24】
前記装置は、第1の送信ユニット、第2の送信ユニット、第1のポート、および第2のポートをさらに備え、
前記第1の送信ユニットは、前記第1のポートを介して前記第2の画像を送信するように構成され、
前記第2の送信ユニットは、前記第2のポートを介して前記第1の画像を送信するように構成される、
請求項15~23のいずれか一項に記載の装置。
【請求項25】
前記第2の処理ユニットは、フィールドプログラマブルゲートアレイFPGAユニットおよび/またはシリアライザSerを備える、請求項15~24のいずれか一項に記載の装置。
【請求項26】
画像処理装置であって、前記装置は、
第1のスティッチング画像を取得するように構成された取得ユニットと、
第1の画像および第2の画像を取得するために、前記第1のスティッチング画像に対して第2の処理を実施するように構成された第2の処理ユニットと、
を備え、
前記第1のスティッチング画像の行画素数は、N+Pであり、列画素数は、Qであり、前記第1のスティッチング画像は、前記第2の画像および第3の画像を含み、N、P、およびQは、全て正の整数であり、
前記第1の画像の行画素数は、Mであり、列画素数は、Nであり、M>Nであり、Mは、正の整数であり、
前記第2の画像の行画素数は、Pであり、列画素数は、Qであり、Q≧Mであり、
前記第2の処理は、第2のスティッチング画像を取得するために、前記第1のスティッチング画像をパディング解除することを含み、
前記第2の処理は、前記第1の画像および前記第2の画像を取得するために、前記第2のスティッチング画像を回転およびセグメント化することをさらに含む、
画像処理装置。
【請求項27】
前記第2の処理ユニットは、
前記第2のスティッチング画像を取得するために、前記第1のスティッチング画像をパディング解除し、
前記第2の画像および第4の画像を取得するために、前記第2のスティッチング画像をセグメント化し、
前記第1の画像を取得するために、前記第4の画像を回転させる
ように特に構成される、請求項26に記載の装置。
【請求項28】
前記第2の処理ユニットが、前記第2のスティッチング画像を取得するために、前記第1のスティッチング画像をパディング解除するように特に構成されることは、
前記第2の処理ユニットが、
前記第2のスティッチング画像を取得するために、前記第1のスティッチング画像内の前記第3の画像の第1のターゲット位置からパディング解除を実施し、前記第1のターゲット位置が、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む、
ように特に構成されること
を含む、請求項27に記載の装置。
【請求項29】
前記第2の処理ユニットは、
前記第1の画像を取得するために、前記第4の画像を(-90°-180°×n)だけ回転させ、nは、整数である、
ようにさらに特に構成される、請求項27または28に記載の装置。
【請求項30】
前記装置は、第1の送信ユニット、第2の送信ユニット、第1のポート、および第2のポートをさらに備え、
前記第1の送信ユニットは、前記第1のポートを介して前記第2の画像を送信するように構成され、
前記第2の送信ユニットは、前記第2のポートを介して前記第1の画像を送信するように構成される、
請求項26~29のいずれか一項に記載の装置。
【請求項31】
前記第2の処理ユニットは、フィールドプログラマブルゲートアレイFPGAユニットおよび/またはシリアライザSerを備える、請求項26~30のいずれか一項に記載の装置。
【請求項32】
画像処理装置であって、前記装置は、
第3の画像を取得するように構成された取得ユニットと、
第1の画像を取得するために、前記第3の画像に対して第2の前処理を実施し、前記第2の前処理が、前記第3の画像を回転させることを含むか、または前記第2の前処理が、前記第3の画像を回転させ、パディング除去することを含むように構成される、第3の処理ユニットと、
を備える、画像処理装置。
【請求項33】
前記第3の処理ユニットは、
前記第1の画像を取得するために、前記第3の画像を回転させる
ように特に構成される、請求項32に記載の装置。
【請求項34】
前記第3の処理ユニットは、
前記第1の画像を取得するために、前記第3の画像を(-90°-180°×n)だけ回転させ、nは、整数である、
ようにさらに特に構成される、請求項33に記載の装置。
【請求項35】
前記第3の処理ユニットは、
第5の画像を取得するために、前記第3の画像を回転させ、
前記第1の画像を取得するために、前記第5の画像をパディング解除する
ように特に構成される、請求項32に記載の装置。
【請求項36】
前記第3の処理ユニットが、前記第1の画像を取得するために、前記第5の画像をパディング解除するように特に構成されることは、
前記第3の処理ユニットが、前記第1の画像を取得するために、前記第5の画像の第2のターゲット位置からパディング解除を実施し、前記第2のターゲット位置が、左位置、右位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されること
を含む、請求項35に記載の装置。
【請求項37】
前記第3の処理ユニットは、
前記第5の画像を取得するために、前記第3の画像を(-90°-180°×n)だけ回転させ、nは、整数である、
ようにさらに特に構成される、請求項35または36に記載の装置。
【請求項38】
前記第3の処理ユニットは、
前記第4の画像を取得するために、第3の画像をパディング解除し、
前記第1の画像を取得するために、前記第4の画像を回転させる
ように特に構成される、請求項32に記載の装置。
【請求項39】
前記第3の処理ユニットが、前記第4の画像を取得するために、前記第3の画像をパディング解除するように特に構成されることは、
前記第3の処理ユニットが、前記第4の画像を取得するために、前記第3の画像の第1のターゲット位置からパディング解除を実施し、前記第1のターゲット位置が、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されること
を含む、請求項38に記載の装置。
【請求項40】
前記第3の処理ユニットは、
前記第1の画像を取得するために、前記第4の画像を(-90°-180°×n)だけ回転させ、nは、整数である、
ようにさらに特に構成される、請求項38または39に記載の装置。
【請求項41】
前記装置は、
前記第1の画像を送信するように構成された送信ユニット
をさらに備える、請求項32~40のいずれか一項に記載の装置。
【請求項42】
前記第3の処理ユニットが、フィールドプログラマブルゲートアレイFPGAユニットおよび/またはデシリアライザDesを備える、請求項32~41のいずれか一項に記載の装置。
【請求項43】
画像処理装置であって、前記装置は、
第5の画像を取得するように構成された取得ユニットと、
第1の画像を取得するために、前記第5の画像をパディング解除するように構成された第3の処理ユニットと
を備える、画像処理装置。
【請求項44】
前記第3の処理ユニットが、前記第1の画像を取得するために、前記第5の画像をパディング解除するように構成されることは、
前記第3の処理ユニットが、前記第1の画像を取得するために、前記第5の画像の第2のターゲット位置からパディング解除を実施し、前記第2のターゲット位置が、左位置、右位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されること
を含む、請求項43に記載の装置。
【請求項45】
前記装置は、前記第1の画像を送信するように構成された送信ユニット
をさらに備える、請求項43または44に記載の装置。
【請求項46】
前記第3の処理ユニットが、フィールドプログラマブルゲートアレイFPGAユニットおよび/またはデシリアライザDesを備える、請求項43~45のいずれか一項に記載の装置。
【請求項47】
画像処理装置であって、前記装置は、
第4の画像を取得するように構成された取得ユニットと、
第1の画像を取得するために、前記第4の画像を回転させるように構成された第3の処理ユニットと
を備える、画像処理装置。
【請求項48】
前記第3の処理ユニットは、
前記第1の画像を取得するために、前記第4の画像を(-90°-180°×n)だけ回転させ、nは、整数である、
ようにさらに特に構成される、請求項47に記載の装置。
【請求項49】
前記装置は、前記第1の画像を送信するように構成された送信ユニット
をさらに備える、請求項47または48に記載の装置。
【請求項50】
前記第3の処理ユニットが、フィールドプログラマブルゲートアレイFPGAユニットおよび/またはデシリアライザDesを備える、請求項47~49のいずれか一項に記載の装置。
【請求項51】
画像処理方法であって、前記方法は、
第1の画像および第2の画像に基づいて第1のスティッチング画像を取得するステップと、
前記第1のスティッチング画像を送信するステップと、
を含み、
前記第1の画像の行画素数は、Mであり、列画素数は、Nであり、M>Nであり、MおよびNの両方は、正の整数であり、
前記第2の画像の画素数は、Pであり、列画素数は、Qであり、Q≧Mであり、PおよびQの両方は、正の整数であり、
前記第1のスティッチング画像の画素数は、N+Pであり、列画素数は、Qであり、前記第1のスティッチング画像は、前記第2の画像および第3の画像を含み、前記第3の画像は、前記第1の画像の第1の前処理を通じて取得された画像であり、前記第1の前処理は、前記第1の画像を回転させるステップを含むか、または前記第1の前処理は、前記第1の画像を回転させ、パディングするステップを含む、
画像処理方法。
【請求項52】
第1の画像および第2の画像に基づいて第1のスティッチング画像を取得する前記ステップは、
前記第3の画像を取得するために、前記第1の画像を回転させるステップと、
前記第1のスティッチング画像を取得するために、前記第3の画像および前記第2の画像をスティッチングするステップと
を含む、請求項51に記載の方法。
【請求項53】
前記第3の画像を取得するために、前記第1の画像を回転させる前記ステップは、
前記第3の画像を取得するために、前記第1の画像を(90°+180°×n)だけ回転させるステップであって、nは、整数である、ステップ
を含む、請求項52に記載の方法。
【請求項54】
第1の画像および第2の画像に基づいて第1のスティッチング画像を取得する前記ステップは、
第4の画像を取得するために、前記第1の画像を回転させるステップと、
前記第3の画像を取得するために、前記第4の画像に対して画素パディングを実施するステップと、
前記第1のスティッチング画像を取得するために、前記第3の画像および前記第2の画像をスティッチングするステップと
を含む、請求項51に記載の方法。
【請求項55】
前記第3の画像を取得するために、前記第4の画像に対して画素パディングを実施する前記ステップは、
前記第3の画像を取得するために、前記第4の画像の第1のターゲット位置から画素パディングを実施するステップであって、前記第1のターゲット位置が、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む、ステップ
を含む、請求項54に記載の方法。
【請求項56】
第1の画像および第2の画像に基づいて第1のスティッチング画像を取得する前記ステップは、
第5の画像を取得するために、前記第1の画像に対して画素パディングを実施するステップと、
前記第3の画像を取得するために、前記第5の画像を回転させるステップと、
前記第1のスティッチング画像を取得するために、前記第3の画像および前記第2の画像をスティッチングするステップと
を含む、請求項51に記載の方法。
【請求項57】
第5の画像を取得するために、前記第1の画像に対して画素パディングを実施する前記ステップは、
前記第5の画像を取得するために、前記第1の画像の第2のターゲット位置から画素パディングを実施するステップであって、前記第2のターゲット位置が、左位置、右位置、または中間位置のうちの少なくとも1つを含む、ステップ
を含む、請求項56に記載の方法。
【請求項58】
前記第3の画像を取得するために、前記第5の画像を回転させる前記ステップは、
前記第3の画像を取得するために、前記第5の画像を(90°+180°×n)だけ回転させるステップであって、nは、整数である、ステップ
を含む、請求項56または57に記載の方法。
【請求項59】
第1の画像および第2の画像に基づいて第1のスティッチング画像を取得する前記ステップは、
第4の画像を取得するために、前記第1の画像を回転させるステップと、
第2のスティッチング画像を取得するために、前記第4の画像および前記第2の画像をスティッチングするステップと、
前記第1のスティッチング画像を取得するために、前記第2のスティッチング画像に対して画素パディングを実施するステップと
を含む、請求項51に記載の方法。
【請求項60】
前記第1のスティッチング画像を取得するために、前記第2のスティッチング画像に対して画素パディングを実施する前記ステップは、
前記第1のスティッチング画像を取得するために、前記第2のスティッチング画像内の前記第4の画像の第1のターゲット位置から画素パディングを実施するステップであって、前記第1のターゲット位置が、上部位置、下部位置、または中間位置を含む、ステップ
を含む、請求項59に記載の方法。
【請求項61】
第4の画像を取得するために、前記第1の画像を回転させる前記ステップは、
前記第4の画像を取得するために、前記第1の画像を(90°+180°×n)だけ回転させるステップであって、nは、整数である、ステップ
を含む、請求項54、55、59、または60に記載の方法。
【請求項62】
画像処理方法であって、前記方法は、
第1のスティッチング画像を取得するステップと、
第1の画像および第2の画像を取得するために、前記第1のスティッチング画像に対して第1の処理を実施するステップと、
を含み、
前記第1のスティッチング画像の行画素数は、N+Pであり、列画素数は、Qであり、前記第1のスティッチング画像は、前記第2の画像および第3の画像を含み、N、P、およびQは、全て正の整数であり、
前記第1の画像の行画素数は、Mであり、列画素数は、Nであり、M>Nであり、Mは、正の整数であり、
前記第2の画像の行画素数は、Pであり、列画素数は、Qであり、Q≧Mであり、
前記第1の処理は、前記第2の画像および前記第3の画像を取得するために、前記第1のスティッチング画像をセグメント化するステップを含み
前記第1の処理は、前記第3の画像を回転させるステップをさらに含むか、または前記第1の処理は、前記第3の画像を回転させ、パディング解除するステップをさらに含む、
画像処理方法。
【請求項63】
第1の画像および第2の画像を取得するために、前記第1のスティッチング画像に対して第1の処理を実施する前記ステップは、
前記第2の画像および前記第3の画像を取得するために、前記第1のスティッチング画像をセグメント化するステップと、
前記第1の画像を取得するために、前記第3の画像を回転させるステップと
を含む、請求項62に記載の方法。
【請求項64】
前記第1の画像を取得するために、前記第3の画像を回転させる前記ステップは、
前記第1の画像を取得するために、前記第3の画像を(-90°-180°×n)だけ回転させるステップであって、nは、整数である、ステップ
を含む、請求項63に記載の方法。
【請求項65】
第1の画像および第2の画像を取得するために、前記第1のスティッチング画像に対して第1の処理を実施する前記ステップは、
前記第2の画像および前記第3の画像を取得するために、前記第1のスティッチング画像をセグメント化するステップと、
第5の画像を取得するために、前記第3の画像を回転させるステップと、
前記第1の画像を取得するために、前記第5の画像をパディング解除するステップと
を含む、請求項62に記載の方法。
【請求項66】
前記第1の画像を取得するために、前記第5の画像をパディング解除する前記ステップは、
前記第1の画像を取得するために、前記第5の画像の第2のターゲット位置からパディング解除を実施するステップであって、前記第2のターゲット位置が、左位置、右位置、または中間位置のうちの少なくとも1つを含む、ステップ
を含む、請求項65に記載の方法。
【請求項67】
第5の画像を取得するために、前記第3の画像を回転させる前記ステップは、
前記第5の画像を取得するために、前記第3の画像を(-90°-180°×n)だけ回転させるステップであって、nは、整数である、ステップ
を含む、請求項65または66に記載の方法。
【請求項68】
第1の画像および第2の画像を取得するために、前記第1のスティッチング画像に対して第1の処理を実施する前記ステップは、
前記第2の画像および前記第3の画像を取得するために、前記第1のスティッチング画像をセグメント化するステップと、
第4の画像を取得するために、前記第3の画像をパディング解除するステップと、
前記第1の画像を取得するために、前記第4の画像を回転させるステップと
を含む、請求項62に記載の方法。
【請求項69】
第4の画像を取得するために、前記第3の画像をパディング解除する前記ステップは、
前記第4の画像を取得するために、前記第3の画像の第1のターゲット位置からパディング解除を実施するステップであって、前記第1のターゲット位置が、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む、ステップ
を含む、請求項68に記載の方法。
【請求項70】
前記第1の画像を取得するために、前記第4の画像を回転させる前記ステップは、
前記第1の画像を取得するために、前記第4の画像を(-90°-180°×n)だけ回転させるステップであって、nは、整数である、ステップ
を含む、請求項68または69に記載の方法。
【請求項71】
前記方法は、
第1のポートを通じて前記第2の画像を送信するステップと、
第2のポートを通じて前記第1の画像を送信するステップと
をさらに含む、請求項62~70のいずれか一項に記載の方法。
【請求項72】
画像処理方法であって、前記方法は、
第1のスティッチング画像を取得するステップと、
第1の画像および第2の画像を取得するために、前記第1のスティッチング画像に対して第2の処理を実施するステップと、
を含み、
前記第1のスティッチング画像の行画素数は、N+Pであり、列画素数は、Qであり、前記第1のスティッチング画像は、前記第2の画像および第3の画像を含み、N、P、およびQは、全て正の整数であり、
前記第1の画像の行画素数は、Mであり、列画素数は、Nであり、M>Nであり、Mは、正の整数であり、
前記第2の画像の行画素数は、Pであり、列画素数は、Qであり、Q≧Mであり、
前記第2の処理は、第2のスティッチング画像を取得するために、前記第1のスティッチング画像をパディング解除するステップを含み、
前記第2の処理は、前記第1の画像および前記第2の画像を取得するために、前記第2のスティッチング画像を回転およびセグメント化するステップをさらに含む、
画像処理方法。
【請求項73】
第1の画像および第2の画像を取得するために、前記第1のスティッチング画像に対して第2の処理を実施する前記ステップは、
前記第2のスティッチング画像を取得するために、前記第1のスティッチング画像をパディング解除するステップと、
前記第2の画像および第4の画像を取得するために、前記第2のスティッチング画像をセグメント化するステップと、
前記第1の画像を取得するために、前記第4の画像を回転させるステップと
を含む、請求項72に記載の方法。
【請求項74】
前記第2のスティッチング画像を取得するために、前記第1のスティッチング画像をパディング解除する前記ステップは、
前記第2のスティッチング画像を取得するために、前記第1のスティッチング画像内の前記第3の画像の第1のターゲット位置からパディング解除を実施するステップであって、前記第1のターゲット位置が、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む、ステップ
を含む、請求項73に記載の方法。
【請求項75】
前記第1の画像を取得するために、前記第4の画像を回転させる前記ステップは、
前記第1の画像を取得するために、前記第4の画像を(-90°-180°×n)だけ回転させるステップであって、nは、整数である、ステップ
を含む、請求項73または74に記載の方法。
【請求項76】
前記方法は、
第1のポートを通じて前記第2の画像を送信するステップと、
第2のポートを通じて前記第1の画像を送信するステップと
をさらに含む、請求項72~75のいずれか一項に記載の方法。
【請求項77】
画像処理方法であって、前記方法は、
第3の画像を取得するステップと、
第1の画像を取得するために、前記第3の画像に対して第2の前処理を実施するステップであって、前記第2の前処理は、前記第3の画像を回転させるステップを含むか、または前記第2の前処理は、前記第3の画像を回転させてパディング除去するステップを含む、ステップと
を含む、画像処理方法。
【請求項78】
第1の画像を取得するために、前記第3の画像に対して第2の前処理を実施する前記ステップは、
前記第1の画像を取得するために、前記第3の画像を回転させるステップ
を含む、請求項77に記載の方法。
【請求項79】
前記第1の画像を取得するために、前記第3の画像を回転させる前記ステップは、
前記第1の画像を取得するために、前記第3の画像を(-90°-180°×n)だけ回転させるステップであって、nは、整数である、ステップ
を含む、請求項78に記載の方法。
【請求項80】
第1の画像を取得するために、前記第3の画像に対して第2の前処理を実施する前記ステップは、
第5の画像を取得するために、前記第3の画像を回転させるステップと、
前記第1の画像を取得するために、前記第5の画像をパディング解除するステップと
を含む、請求項77に記載の方法。
【請求項81】
前記第1の画像を取得するために、前記第5の画像をパディング解除する前記ステップは、
前記第1の画像を取得するために、前記第5の画像の第2のターゲット位置からパディング解除を実施するステップであって、前記第2のターゲット位置が、左位置、右位置、または中間位置のうちの少なくとも1つを含む、ステップ
を含む、請求項80に記載の方法。
【請求項82】
第5の画像を取得するために、前記第3の画像を回転させる前記ステップは、
前記第5の画像を取得するために、前記第3の画像を(-90°-180°×n)だけ回転させるステップであって、nは、整数である、ステップ
を含む、請求項80または81に記載の方法。
【請求項83】
第1の画像を取得するために、前記第3の画像に対して第2の前処理を実施する前記ステップは、
第4の画像を取得するために、前記第3の画像をパディング解除するステップと、
前記第1の画像を取得するために、前記第4の画像を回転させるステップと
を含む、請求項77に記載の方法。
【請求項84】
第4の画像を取得するために、前記第3の画像をパディング解除する前記ステップは、
前記第4の画像を取得するために、前記第3の画像の第1のターゲット位置からパディング解除を実施するステップであって、前記第1のターゲット位置が、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む、ステップ
を含む、請求項83に記載の方法。
【請求項85】
前記第1の画像を取得するために、前記第4の画像を回転させる前記ステップは、
前記第1の画像を取得するために、前記第4の画像を(-90°-180°×n)だけ回転させるステップであって、nは、整数である、ステップ
を含む、請求項83または84に記載の方法。
【請求項86】
前記方法は、
前記第1の画像を送信するステップ
をさらに含む、請求項77~85のいずれか一項に記載の方法。
【請求項87】
画像処理方法であって、前記方法は、
第5の画像を取得するステップと、
前記第1の画像を取得するために、第5の画像をパディング解除するステップと
を含む、画像処理方法。
【請求項88】
第1の画像を取得するために、前記第5の画像をパディング解除する前記ステップは、
前記第1の画像を取得するために、前記第5の画像の第2のターゲット位置からパディング解除を実施するステップであって、前記第2のターゲット位置が、左位置、右位置、または中間位置のうちの少なくとも1つを含む、ステップ
を含む、請求項87に記載の方法。
【請求項89】
前記方法は、
前記第1の画像を送信するステップ
をさらに含む、請求項87または88に記載の方法。
【請求項90】
画像処理方法であって、前記方法は、
第4の画像を取得するステップと、
第1の画像を取得するために、前記第4の画像を回転させるステップと
を含む、画像処理方法。
【請求項91】
前記第1の画像を取得するために、第4の画像を回転させる前記ステップは、
前記第1の画像を取得するために、前記第4の画像を(-90°-180°×n)だけ回転させるステップであって、nは、整数である、ステップ
を含む、請求項90に記載の方法。
【請求項92】
前記方法は、
前記第1の画像を送信するステップ
をさらに含む、請求項90または91に記載の方法。
【請求項93】
装置であって、前記装置は、請求項1~14のいずれか一項に記載の画像処理装置と、請求項15~31のいずれか一項に記載の画像処理装置と、を含む、装置。
【請求項94】
前記装置は、コックピットドメインコントローラCDCまたはモバイルデータセンタMDCである、請求項93に記載の装置。
【請求項95】
装置であって、前記装置は、請求項32~50のいずれか一項に記載の画像処理装置を含む、装置。
【請求項96】
前記装置は、第1の画像を表示するように構成されたディスプレイ
をさらに備える、請求項95に記載の装置。
【請求項97】
少なくとも1つのメモリと少なくとも1つのプロセッサとを備える画像処理装置であって、前記少なくとも1つのメモリは、プログラムを記憶するように構成され、前記少なくとも1つのプロセッサは、前記プログラムを動作させて、請求項51~92のいずれか一項に記載の方法を実装するように構成される、画像処理装置。
【請求項98】
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体は、コンピュータプログラムまたは命令を記憶し、前記コンピュータプログラムまたは前記命令が実行されると、コンピュータは、請求項51~92のいずれか一項に記載の方法を実施することを可能にされる、コンピュータ可読記憶媒体。
【請求項99】
少なくとも1つのプロセッサとインターフェース回路とを備えるチップであって、前記インターフェース回路は、前記少なくとも1つのプロセッサにプログラム命令またはデータを提供するように構成され、前記少なくとも1つのプロセッサは、前記プログラム命令を実行して、請求項51~92のいずれか一項に記載の方法を実装するように構成される、チップ。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、画像処理の分野に関し、より具体的には、画像処理装置および方法に関する。
【背景技術】
【0002】
ディスプレイは、インテリジェント化において、人間-コンピュータ対話の主なインターフェースとして重要な役割を果たしている。マルチスクリーンディスプレイは、大画面ディスプレイの後のコックピットディスプレイの新しいトレンドになっており、1コアマルチスクリーンディスプレイは、車両工場およびコックピットシステムインテグレータの焦点になっている。マルチスクリーンディスプレイでは、従来の中央表示画面の機能が分離され、その結果、ナビゲーション情報、マルチメディア情報などが1つの画面に表示され、座席、エアコン、および高度運転支援システム(advanced driving assistance system、ADAS)などの車両情報が他の1つの画面または他の2つの画面に表示される。これにより、システムアプリケーションのメニューレベルを低減し、ユーザ操作を簡略化している。
【0003】
例えば、コックピットドメインコントローラ(cockpit domain controller、CDC)は、シリアライザ/デシリアライザ(serializer/deserializer、SerDes)技術を使用することによって、ケーブルを介して表示のためにディスプレイデバイスに画像を伝送している。CDCは、システムオンチップ(system on a chip、SoC)およびシリアライザを含み、ディスプレイデバイスは、デシリアライザおよびディスプレイを含む。CDCからディスプレイに画像を伝送する具体的なプロセスは、以下の通りである:SoCは、モバイルインダストリプロセッサインターフェース(mobile industry processor interface、MIPI)、オープンLVDSディスプレイインターフェース(open lvds display interface、oLDI)、ディスプレイポート(Display port、DP)、SoCの回路プリント基板(printed circuit board、プリント基板)上のケーブルなどを介して、シリアライザ(serializer、Ser)に画像を伝送する。Serは、異なるポートを介して異なるディスプレイデバイスのデシリアライザ(deserializer、Des)に画像を伝送し、次いで、Desは、MIPI、oLDI、またはDPのようなボードインターフェースを介してディスプレイに画像を伝送し、ディスプレイは画像を表示する。
【0004】
SoCとSerのピンとインターフェースの制限により、インターフェース層で複数の画像は区別されることができない。したがって、SoCは、特定の処理を介して、表示された画像を通常の大きい画像に水平にスティッチングし、スティッチング画像をSerに伝送する必要がある。Ser(1対2セグメント化をサポートする、すなわち、1つの画像を2つの画像にセグメント化することをサポートする)は、2つの画像を取得するために、大きい画像に対してセグメント化を実施し、表示のためにシリアライザの2つのポートを介して対応する表示デバイスに画像を別々に送信する。しかしながら、ディスプレイデバイスのディスプレイのサイズは通常異なっている。スティッチングを容易にするために、SoCは、2つの画像の列画素数が一致するように、他方の画像の列指定を一致させるために、2つのスティッチング対象画像のうちの少なくとも1つに対して画素パディングを実施する必要がある。SerおよびDesは、パディング画素をプルーニングすることができないため、パディング画素は、有効な画素としてディスプレイに伝送され、ディスプレイは、パディング画素をプルーニングし、次いで、画像を表示している。この解決策では、過剰なパディング画素が伝送帯域幅を占有する。これは、低い画像伝送効率を引き起こす。
【発明の概要】
【0005】
本出願は、パディング画素数を低減し、画像伝送効率を改善するための画像処理装置および方法を提供する。
【課題を解決するための手段】
【0006】
第1の態様によれば、画像処理装置が提供され、装置は、第1の画像および第2の画像に基づいて第1のスティッチング画像を取得するように構成された第1の処理ユニットと、第1のスティッチング画像を送信するように構成された送信ユニットと、を含み、第1の画像の行画素数は、Mであり、列画素数は、Nであり、M>Nであり、MおよびNの両方は、正の整数であり、第2の画像の行画素数は、Pであり、列画素数は、Qであり、Q≧Mであり、PおよびQの両方は、正の整数であり、第1のスティッチング画像の行画素数は、N+Pであり、列画素数は、Qであり、第1のスティッチング画像は、第2の画像および第3の画像を含み、第3の画像は、第1の画像の第1の前処理を通じて取得された画像であり、第1の前処理は、第1の画像を回転させることを含むか、または第1の前処理は第1の画像を回転させ、パディングすることを含む。
【0007】
例えば、第1の処理ユニットはSoCを含む。
【0008】
例えば、画像処理装置は、ドメインコントローラまたは画像処理機能を有する別の装置、例えば、CDCまたはモバイルデータセンタ(mobile data center、MDC)である。
【0009】
本出願の実施形態では、行画素数は各行の画素数であることを理解されたい。列画素数は、各列内の画素数である。
【0010】
前述の画像処理装置では、第1の処理ユニットは、第3の画像を取得するために、行画素数がMであり、列画素数がNである第1の画像を最初に回転させるか、または行画素数がMであり、列画素数がNである第1の画像を回転させ、パディングする。次いで、第1の処理ユニットは、第3の画像と、行画素数がPであり、列画素数がQである第2の画像とに基づいて、行画素数がN+Pであり、列画素数がQである第1のスティッチング画像を取得する。したがって、第1のスティッチング画像内のパディング画素数は、N×(Q-M)である。しかしながら、既存の解決策によれば、第1の画像および第2の画像はスティッチングされ、取得されたスティッチング画像に含まれるパディング画素数はM×(Q-N)である。Q≧M>Nであるため、第1の処理ユニットによって取得された第1のスティッチング画像に含まれるパディング画素数は、既存の解決策において取得されたスティッチング画像に含まれるパディング画素数よりも少ない。したがって、送信ユニットが第1の処理ユニットによって取得された第1のスティッチング画像を伝送する際に、パディング画素が少量の伝送帯域幅を占有するため、第1のスティッチング画像の伝送効率が改善される。
【0011】
第1の態様に関連して、第1の態様の一部の実装形態では、第1の処理ユニットが第1の画像および第2の画像に基づいて第1のスティッチング画像を取得するように構成されることは、第1の処理ユニットが、第3の画像を取得するために、第1の画像を回転させ、第1のスティッチング画像を取得するために、第3の画像および第2の画像をスティッチングするように特に構成されることを含む。
【0012】
例えば、第1の画像を回転させることは、第3の画像を取得するために、第1の画像を(90°+180°×n)だけ回転させることであってよく、nは整数である。
【0013】
例えば、第3の画像および第2の画像をスティッチングすることは、第3の画像および第2の画像を水平にスティッチングすることであり得る。水平スティッチングは、2つの画像に対して行画素スティッチングを実施することとして理解され得る。
【0014】
例えば、Q=Mである場合、第1の処理ユニットは、行画素数がNであり、列画素数がMである第3の画像を取得するために、行画素数がMであり、列画素数がNである第1の画像を(90°+180°×n)だけ回転させる。加えて、行画素数がN+Pであり、列画素数がQである第1のスティッチング画像を取得するために、行画素数がNであり、列画素数がMである第3の画像と、行画素数がPであり、列画素数がQである第3の画像とが水平にスティッチングされる。取得された第1のスティッチング画像内の第3の画像および第2の画像の列画素数は一致し、第2の画像は、第1のスティッチング画像を取得するプロセスにおいて処理されない。したがって、一態様では、既存の解決策と比較して、第1の処理ユニットによって第2の画像を処理する複雑さがさらに増加されることはない。別の態様では、第1のスティッチング画像の各行は、第2の画像の画素の完全な行を含む。第1のスティッチング画像を受信するデバイスは、第2の画像の画素をバッファリングする必要がなく、第1のスティッチング画像に対して単純なセグメント化を実施することのみによって第2の画像の画素の行を抽出することができ、その結果、第2の画像は、リアルタイムで迅速に転送され得る。
【0015】
第1の態様に関連して、第1の態様の一部の他の実装形態では、第1の処理ユニットは、第4の画像を取得するために、第1の画像を回転させ、第3の画像を取得するために、第4の画像に対して画素パディングを実施し、第1のスティッチング画像を取得するために、第3の画像および第2の画像をスティッチングするように特に構成される。
【0016】
例えば、第1の画像を回転させることは、第4の画像を取得するために、第1の画像を(90°+180°×n)だけ回転させることであってよく、nは整数である。
【0017】
例えば、第4の画像に対して画素パディングを実施することは、第4の画像に対して列画素パディングを実施し、それにより、第4の画像の列画素数を増加させることであり得る。
【0018】
例えば、第3の画像および第2の画像をスティッチングすることは、第3の画像および第2の画像を水平にスティッチングすることであり得る。
【0019】
例えば、最初に、第1の処理ユニットは、行画素数がNであり、列画素数がMである第4の画像を取得するために、行画素数がMであり、列画素数がNである第1の画像を(90°+180°×n)だけ回転させる。第2に、第1の処理ユニットは、第4の画像に対して列画素パディングを実施し、その結果、第4の画像の各列内の画素数がMからQに増加し、各行内の画素数が不変のままであり、依然としてNであり、第3の画像を取得する。この場合、パディング画素数はN×(Q-M)であり、第3の画像の行画素数はNであり、列画素数はQである。最後に、第1の処理ユニットは、行画素数がN+Pであり、列画素数がQである第1のスティッチング画像を取得するために、行画素数がNであり、列画素数がQである第3の画像と、行画素数がPであり、列画素数がQである第2の画像とを水平にスティッチングする。取得された第1のスティッチング画像内の第3の画像および第2の画像の列画素数は一致しており、第2の画像は、第1のスティッチング画像を取得するプロセスにおいて処理されない。したがって、一態様では、既存の解決策と比較して、第1の処理ユニットによって第2の画像を処理する複雑さがさらに増加されることはない。別の態様では、第1のスティッチング画像の各行は、第2の画像の画素の完全な行を含む。第1のスティッチング画像を受信するデバイスは、第2の画像の画素をバッファリングする必要がなく、第1のスティッチング画像に対して単純なセグメント化を実施することのみによって第2の画像の画素の行を抽出することができ、その結果、第2の画像は、リアルタイムで迅速に転送され得る。
【0020】
第1の態様に関連して、第1の態様の一部の他の実装形態では、第1の処理ユニットが、第3の画像を取得するために、第4の画像に対して画素パディングを実施するように特に構成されることは、第1の処理ユニットが、第3の画像を取得するために、第4の画像の第1のターゲット位置から画素パディングを実施し、第1のターゲット位置が、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されることを含む。
【0021】
第1の態様に関連して、第1の態様のさらに一部の他の実装形態では、第1の処理ユニットは、第5の画像を取得するために、第1の画像に対して画素パディングを実施し、第3の画像を取得するために、第5の画像を回転させ、第1のスティッチング画像を取得するために、第3の画像および第2の画像をスティッチングするように特に構成される。
【0022】
例えば、第1の画像に対して画素パディングを実施することは、第1の画像に対して行画素パディングを実施し、それにより、第1の画像の行画素数を増加させることであり得る。
【0023】
例えば、第5の画像を回転させることは、第5の画像を取得するために、第1の画像を(90°+180°×n)だけ回転させることであってもよく、nは整数である。
【0024】
例えば、第3の画像および第2の画像をスティッチングすることは、第3の画像および第2の画像を水平にスティッチングすることであり得る。
【0025】
例えば、最初に、第1の処理ユニットは、行画素数がMであり、列画素数がNである第1の画像に対して行画素パディングを実施し、その結果、第1の画像の各行における画素数はMからQに増加し、各列における画素数は不変のままであり、依然としてNであり、第5の画像を取得する。この場合、パディング画素数は(Q-M)×Nであり、第5の画像の行画素数はQであり、列画素数はNである。第2に、第1の処理ユニットは、行画素数がNであり、列画素数がQである第3の画像を取得するために、行画素数がQであり、列画素数がNである第5の画像を(90°+180°×n)だけ回転させる。最後に、第1の処理ユニットは、行画素数がN+Pであり、列画素数がQである第1のスティッチング画像を取得するために、行画素数がNであり、列画素数がQである第3の画像と行画素数がPであり、列画素数がQである第2の画像とを水平にスティッチングする。取得された第1のスティッチング画像内の第3の画像および第2の画像の列画素数は一致し、第2の画像は、第1のスティッチング画像を取得するプロセスにおいて処理されない。したがって、一態様では、既存の解決策と比較して、第1の処理ユニットによって第2の画像を処理する複雑さがさらに増加されることはない。別の態様では、第1のスティッチング画像の各行は、第2の画像の画素の完全な行を含む。このようにして、第1のスティッチング画像を受信するデバイスは、第2の画像の画素をバッファリングする必要がなく、第1のスティッチング画像に対して単純なセグメント化を実施することのみによって第2の画像の画素の行を抽出することができ、その結果、第2の画像は、リアルタイムで迅速に転送され得る。
【0026】
第1の態様に関連して、第1の態様のさらに一部の他の実装形態では、第1の処理ユニットが、第5の画像を取得するために、第1の画像に対して画素パディングを実施するように特に構成されることは、第1の処理ユニットが、第5の画像を取得するために、第1の画像の第2のターゲット位置から画素パディングを実施し、第2のターゲット位置が、左位置、右位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されることを含む。
【0027】
第1の態様に関連して、第1の態様のさらに一部の他の実装形態では、第1の処理ユニットは、第4の画像を取得するために、第1の画像を回転させ、第2のスティッチング画像を取得するために、第4の画像および第2の画像をスティッチングし、第1のスティッチング画像を取得するために、第2のスティッチング画像に対して画素パディングを実施するように特に構成される。
【0028】
例えば、第1の画像を回転させることは、第4の画像を取得するために、第1の画像を(90°+180°×n)だけ回転させることであってよく、nは整数である。
【0029】
例えば、第4の画像および第2の画像をスティッチングすることは、第4の画像および第2の画像を水平にスティッチングすることであり得る。
【0030】
例えば、第2のスティッチング画像に対して画素パディングを実施することは、第2のスティッチング画像内の第4の画像に対して列画素パディングを実施し、それにより、第2のスティッチング画像が規則的な画像になるように、第4の画像の列画素数を増加させることであり得る。
【0031】
本出願の実施形態では、規則的な画像は、画像の各行内の画素数が同じであり、画像の各列内の画素数も同じであるものとして理解され得る。行画素数は、列画素数と同じであってもよいし、異なっていてもよい。
【0032】
本出願の実施形態では、不規則な画像は、画像の少なくとも1つの行における画素数が別の行における画素数と異なり、かつ/または画像の少なくとも1つの列における画素数が別の列における画素数と異なるものとして理解され得る。
【0033】
例えば、最初に、第1の処理ユニットは、行画素数がNであり、列画素数がMである第4の画像を取得するために、行画素数がMであり、列画素数がNである第1の画像を(90°+180°×n)だけ回転させる。第2に、第1の処理ユニットは、第2のスティッチング画像を取得するために、行画素数がNであり、列画素数がMである第4の画像と、行画素数がPであり、列画素数がQである第2の画像とを水平にスティッチングする。この場合、第2のスティッチング画像は不規則な画像であり、第2のスティッチング画像の少なくとも1つの列内の画素数(M)は、別の列内の画素数(Q)とは異なる。最後に、第1の処理ユニットは、第2のスティッチング画像内の列画素数がQ未満である列(すなわち、第4の画像に対応する列)に対して列画素パディングを実施し、その結果、通常の第1のスティッチング画像を取得するために、第4の画像の各列内の画素数がMからQに増加する。この場合、パディング画素数はN×(Q-M)であり、第1のスティッチング画像の行画素数は、N+Pであり、列画素数は、Qである。取得された第1のスティッチング画像内の第3の画像および第2の画像の列画素数は一致しており、第2の画像は、第1のスティッチング画像を取得するプロセスにおいて処理されない。したがって、一態様では、既存の解決策と比較して、第1の処理ユニットによって第2の画像を処理する複雑さがさらに増加されることはない。別の態様では、第1のスティッチング画像の各行は、第2の画像の画素の完全な行を含む。第1のスティッチング画像を受信するデバイスは、第2の画像の画素をバッファリングする必要がなく、第1のスティッチング画像に対して単純なセグメント化を実施することのみによって第2の画像の画素の行を抽出することができ、その結果、第2の画像は、リアルタイムで迅速に転送され得る。
【0034】
第1の態様に関連して、第1の態様のさらに一部の他の実装形態では、第1の処理ユニットが、第1のスティッチング画像を取得するために、第2のスティッチング画像に対して画素パディングを実施するように特に構成されることは、第1の処理ユニットが、第1のスティッチング画像を取得するために、第2のスティッチング画像内の第4の画像の第1のターゲット位置から画素パディングを実施し、第1のターゲット位置が、上部位置、下部位置、または中間位置を含む、ように特に構成されることを含む。
【0035】
第1の態様に関連して、第1の態様の一部の実装形態では、送信ユニットは、第1のスティッチング画像を第2の処理ユニットまたは伝送ユニットに送信するように特に構成される。
【0036】
例えば、画像処理装置は、第1のインターフェースをさらに含んでもよく、送信ユニットは、第1のインターフェースを介して第1のスティッチング画像を第2の処理ユニットまたは伝送ユニットに送信する。例えば、第1のインターフェースは、MIPI、oLDI、またはDPを含むが、これらに限定されない。例えば、第2の処理ユニットは、FPGAユニットおよび/またはSerを含む。
【0037】
第2の態様によれば、画像処理装置が提供され、装置は、第1のスティッチング画像を取得するように構成された取得ユニットと、第1の画像および第2の画像を取得するために、第1のスティッチング画像に対して第1の処理を実施するように構成された第2の処理ユニットと、を含み、第1のスティッチング画像の行画素数は、N+Pであり、列画素数は、Qであり、第1のスティッチング画像は、第2の画像および第3の画像を含み、N、P、およびQは、全て正の整数であり、第1の画像の行画素数は、Mであり、列画素数は、Nであり、M>Nであり、Mは、正の整数であり、第2の画像の行画素数は、Pであり、列画素数は、Qであり、Q≧Mであり、第1の処理は、第2の画像および第3の画像を取得するために、第1のスティッチング画像をセグメント化することを含み、第1の処理は、第3の画像を回転させることをさらに含むか、または第1の処理は、第3の画像を回転させ、パディング解除することをさらに含む。
【0038】
例えば、第2の処理ユニットは、フィールドプログラマブルゲートアレイ(FPGA、field programmable gate array)ユニットおよび/またはSerを含む。
【0039】
画像処理装置では、最初に、取得ユニットは、行画素数がN+Pであり、列画素数がQである第1のスティッチング画像を取得し、第1のスティッチング画像は、行画素数がPであり、列画素数がQである第2の画像と、第3の画像とを含む。第2に、第2の処理ユニットは、第2の画像および第3の画像を取得するために、第1のスティッチング画像をセグメント化し、第1の画像を取得するために、第3の画像を回転させるか、または第1の画像を取得するために、第3の画像を回転させてパディング解除する。画像処理装置は、第1のスティッチング画像を処理するプロセスにおいて第2の画像を処理する必要はない。一態様では、既存の解決策と比較して、画像処理装置によって第2の画像を処理する複雑さがさらに増加されることはない。別の態様では、第1のスティッチング画像の各行は、第2の画像の画素の完全な行を含む。画像処理装置は、第2の画像の画素をバッファリングする必要がなく、第1のスティッチング画像に対して単純なセグメント化を実施することのみによって第2の画像の画素の行を抽出することができ、その結果、第2の画像はリアルタイムで迅速に転送されることができる。また、既存の画像処理装置には第2の処理ユニットが設けられていないため、既存の画像処理装置は、パディング解除機能を有していない。したがって、既存の画像処理装置によって伝送される画像は、パディング画素を含む。しかしながら、本出願のこの実施形態では、第2の処理ユニットが第1の画像を取得するために、第3の画像をパディング解除することができるように、第2の処理ユニットは前述の画像処理装置に配置される。このようにして、取得された第1の画像も第2の画像もパディング画素を含まない。第1の画像および第2の画像を伝送する後続のプロセスでは、一態様では、パディング画素は伝送帯域幅を占有しない。これにより、第1の画像および第2の画像の伝送効率を向上させる。別の態様では、第1の画像も第2の画像もパディング画素を含まず、第1の画像および第2の画像に対応する画素クロック(1秒当たりに伝送される画像画素数を指す)は小さく、その結果、第1の画像および第2の画像を受信するデバイス上のインターフェースの要件が低減され得る。
【0040】
第2の態様に関連して、第2の態様の一部の実装形態では、第2の処理ユニットは、第2の画像および第3の画像を取得するために、第1のスティッチング画像をセグメント化し、第1の画像を取得するために、第3の画像を回転させるように特に構成される。
【0041】
例えば、第1のスティッチング画像をセグメント化することは、第1のスティッチング画像を水平にセグメント化することであり得る。水平方向にセグメント化することは、複数の画像を取得するために、画像に対して行画素セグメント化を実施することとして理解され得る。
【0042】
例えば、第3の画像を回転させることは、第1の画像を取得するために、第3の画像を(-90°-180°×n)だけ回転させることであってもよく、nは整数である。
【0043】
例えば、第2の処理ユニットは、行画素数がPであり、列画素数がQである第2の画像と、行画素数がNであり、列画素数がQである第3の画像とを取得するために、行画素数がN+Pであり、列画素数がQである第1のスティッチング画像を水平にセグメント化する。加えて、第2の処理ユニットは、行画素数がQであり、列画素数がNである第1の画像を取得するために、行画素数がNであり、列画素数がQである第3の画像を(-90°-180°×n)だけ回転させる。
【0044】
第2の態様に関連して、第2の態様の一部の他の実装形態では、第2の処理ユニットは、第2の画像および第3の画像を取得するために、第1のスティッチング画像をセグメント化し、第5の画像を取得するために、第3の画像を回転させ、第1の画像を取得するために、第5の画像をパディング解除するように特に構成される。
【0045】
例えば、第1のスティッチング画像をセグメント化することは、第1のスティッチング画像を水平にセグメント化することであり得る。
【0046】
例えば、第3の画像を回転させることは、第5の画像を取得するために、第3の画像を(-90°-180°×n)だけ回転させることであってもよく、nは整数である。
【0047】
例えば、第5の画像をパディング解除することは、第5の画像に対して行パディング解除を実施し、それにより、第5の画像の行画素数を低減することであり得る。
【0048】
例えば、最初に、第2の処理ユニットは、行画素数がPであり、列画素数がQである第2の画像と、行画素数がNであり、列画素数がQである第3の画像とを取得するために、行画素数がN+Pであり、列画素数がQである第1のスティッチング画像を水平にセグメント化する。第2に、第2の処理ユニットは、行画素数がQであり、列画素数がNである第5の画像を取得するために、行画素数がNであり、列画素数がQである第3の画像を(-90°-180°×n)だけ回転させる。最後に、第2の処理ユニットは、行画素数がQであり、列画素数がNである第5の画像に対して行パディング解除を実施し、その結果、第5の画像の各行内の画素数はQからMに低減され、各列内の画素数は不変のままであり、依然としてNであり、第1の画像を取得する。この場合、パディング解除された画素数は(Q-M)×Nであり、第1の画像の行画素数はMであり、列画素数はNである。
【0049】
第2の態様に関連して、第2の態様の一部の他の実装形態では、第2の処理ユニットが、第1の画像を取得するために、第5の画像をパディング解除するように特に構成されることは、第2の処理ユニットが、第1の画像を取得するために、第5の画像の第2のターゲット位置からパディング解除を実施し、第2のターゲット位置が、左位置、右位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されることを含む。
【0050】
第2の態様に関連して、第2の態様のさらに一部の他の実装形態では、第2の処理ユニットは、第2の画像および第3の画像を取得するために、第1のスティッチング画像をセグメント化し、第4の画像を取得するために、第3の画像をパディング解除し、第1の画像を取得するために、第4の画像を回転させるようにさらに特に構成される。
【0051】
例えば、第1のスティッチング画像をセグメント化することは、第1のスティッチング画像を水平にセグメント化することであり得る。
【0052】
例えば、第3の画像をパディング解除することは、第3の画像に対して列パディング解除を実施し、それにより、第3の画像の列画素数を低減することであり得る。
【0053】
例えば、第4の画像を回転させることは、第1の画像を取得するために、第4の画像を(-90°-180°×n)だけ回転させることであってよく、nは整数である。
【0054】
例えば、最初に、行画素数がPであり、列画素数がQである第2の画像と、行画素数がNであり、列画素数がQである第3の画像とを取得するために、第2の処理ユニットは、行画素数がN+Pであり、列画素数がQである第1のスティッチング画像を水平にセグメント化する。第2に、第2の処理ユニットは、行画素数がNであり、列画素数がQである第3の画像に対して列パディング解除を実施し、その結果、第3の画像の各列内の画素数がQからMに低減され、各行内の画素数が不変のままであり、依然としてNであり、第4の画像を取得する。この場合、パディング解除された画素数はN×(Q-M)であり、第4の画像の行画素数は、Nであり、列画素数はMである。最後に、第2の処理ユニットは、行画素数がMであり、列画素数がNである第1の画像を取得するために、行画素数がNであり、列画素数がMである第4の画像を(-90°-180°×n)だけ回転させる。
【0055】
第2の態様に関連して、第2の態様のさらに一部の他の実装形態では、第2の処理ユニットが、第4の画像を取得するために、第3の画像をパディング解除するようにさらに特に構成されることは、第2の処理ユニットが、第4の画像を取得するために、第3の画像の第1のターゲット位置からパディング解除を実施し、第1のターゲット位置が、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されることを含む。
【0056】
第2の態様に関連して、第2の態様の一部の実装形態では、装置は、第1の送信ユニットと、第2の送信ユニットと、第1のポートと、第2のポートとをさらに含み、第1の送信ユニットは、第1のポートを介して第2の画像を送信するように構成され、第2の送信ユニットは、第2のポートを介して第1の画像を送信するように構成される。
【0057】
第3の態様によれば、画像処理装置が提供され、装置は、第1のスティッチング画像を取得するように構成された取得ユニットと、第1の画像および第2の画像を取得するために、第1のスティッチング画像に対して第2の処理を実施するように構成された第2の処理ユニットと、を含み、第1のスティッチング画像の行画素数は、N+Pであり、列画素数は、Qであり、第1のスティッチング画像は、第2の画像および第3の画像を含み、N、P、およびQは、全て正の整数であり、第1の画像の行画素数は、Mであり、列画素数は、Nであり、M>Nであり、Mは、正の整数であり、第2の画像の行画素数は、Pであり、列画素数は、Qであり、Q≧Mであり、第2の処理は、第2のスティッチング画像を取得するために第1のスティッチング画像をパディング解除することを含み、第2の処理は、第1の画像および第2の画像を取得するために第2のスティッチング画像を回転およびセグメント化することをさらに含む。
【0058】
例えば、第2の処理ユニットは、FPGAユニットおよび/またはSerを含む。
【0059】
画像処理装置では、最初に、取得ユニットは、行画素数がN+Pであり、列画素数がQである第1のスティッチング画像を取得し、第1のスティッチング画像は、行画素数がPであり、列画素数がQである第2の画像と、第3の画像とを含む。第2に、第2の処理ユニットは、第2のスティッチング画像を取得するために、第1のスティッチング画像をパディング解除し、第1の画像および第2の画像を取得するために、第2のスティッチング画像を回転およびセグメント化する。画像処理装置は、第1のスティッチング画像を処理するプロセスにおいて第2の画像を処理する必要はない。一態様では、既存の解決策と比較して、画像処理装置によって第2の画像を処理する複雑さがさらに増加されることはない。別の態様では、第1のスティッチング画像の各行は、第2の画像の画素の完全な行を含む。画像処理装置は、第2の画像の画素をバッファリングする必要がなく、第1のスティッチング画像に対して単純なセグメント化を実施することのみによって第2の画像の画素の行を抽出することができ、その結果、第2の画像はリアルタイムで迅速に転送されることができる。また、既存の画像処理装置には第2の処理ユニットが設けられていないため、既存の画像処理装置は、パディング解除機能を有していない。したがって、既存の画像処理装置によって伝送される画像は、パディング画素を含む。しかしながら、本出願のこの実施形態では、第2の処理ユニットは、前述の画像処理装置内に配置され、その結果、第2の処理ユニットは、第2のスティッチング画像を取得するために、第1のスティッチング画像をパディング解除することができる。このようにして、最終的に取得された第1の画像も第2の画像もパディング画素を含まない。第1の画像および第2の画像を伝送する後続のプロセスでは、一態様では、パディング画素は伝送帯域幅を占有しない。これにより、第1の画像および第2の画像の伝送効率を向上させる。別の態様では、第1の画像も第2の画像もパディング画素を含まず、第1の画像および第2の画像に対応する画素クロックは小さく、その結果、第1の画像および第2の画像を受信するデバイス上のインターフェースの要件が低減され得る。
【0060】
第3の態様に関連して、第3の態様の一部の実装形態では、第2の処理ユニットは、第2のスティッチング画像を取得するために、第1のスティッチング画像をパディング解除し、第2の画像および第4の画像を取得するために、第2のスティッチング画像をセグメント化し、第1の画像を取得するために、第4の画像を回転させるように特に構成される。
【0061】
例えば、第1のスティッチング画像をパディング解除することは、第1のスティッチング画像内の第3の画像に対して列パディング解除を実施し、それにより、第3の画像の列画素数を低減し、その結果、第1のスティッチング画像が不規則な画像(すなわち、第2のスティッチング画像)に変換されることであり得る。水平方向にセグメント化することは、複数の画像を取得するために、画像に対して行画素セグメント化を実施することとして理解され得る。
【0062】
例えば、第2のスティッチング画像をセグメント化することは、第2のスティッチング画像を水平にセグメント化することであり得る。水平方向にセグメント化することは、複数の画像を取得するために、画像に対して行画素セグメント化を実施することとして理解され得る。
【0063】
例えば、第4の画像を回転させることは、第1の画像を取得するために、第4の画像を(-90°-180°×n)だけ回転させることであってよく、nは整数である。
【0064】
例えば、最初に、第2の処理ユニットは、行画素数がN+Pであり、列画素数がQである第1のスティッチング画像内の第3の画像に対して列パディング解除を実施し、その結果、第3の画像の各列内の画素数はQからMに低減され、各行内の画素数は不変のままであり、依然としてNであり、第2のスティッチング画像を取得する。この場合、第2のスティッチング画像は不規則な画像であり、第2のスティッチング画像の少なくとも1つの列内の画素数(M)は別の行内の画素数(Q)とは異なり、第2のスティッチング画像は、行画素数がPであり、列画素数がQである第2の画像と、行画素数がNであり、列画素数がMである第4の画像とを含む。第2に、第2の処理ユニットは、行画素数がPであり、列画素数がQである第2の画像と、行画素数がNであり、列画素数がMである第4の画像とを取得するために、第2のスティッチング画像を水平にセグメント化する。最後に、第2の処理ユニットは、行画素数がMであり、列画素数がNである第1の画像を取得するために、第4の画像を(-90°-180°×n)だけ回転させる。
【0065】
第3の態様に関連して、第3の態様の一部の実装形態では、第2の処理ユニットが、第2のスティッチング画像を取得するために、第1のスティッチング画像をパディング解除するように特に構成されることは、第2の処理ユニットが、第2のスティッチング画像を取得するために、第1のスティッチング画像内の第3の画像の第1のターゲット位置からパディング解除を実施し、第1のターゲット位置が、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されることを含む。
【0066】
第3の態様に関連して、第3の態様の一部の実装形態では、装置は、第1の送信ユニットと、第2の送信ユニットと、第1のポートと、第2のポートとをさらに含み、第1の送信ユニットは、第1のポートを介して第2の画像を送信するように構成され、第2の送信ユニットは、第2のポートを介して第1の画像を送信するように構成される。
【0067】
第4の態様によれば、画像処理装置が提供され、装置は、第3の画像を取得するように構成された取得ユニットと、第1の画像を取得するために、第3の画像に対して第2の前処理を実施するように構成された第3の処理ユニットとを含み、第2の前処理は、第3の画像を回転させることを含むか、または第2の前処理は、第3の画像を回転させ、パディング解除することを含む。
【0068】
例えば、第3の処理ユニットは、FPGAユニットおよび/またはDesを含む。
【0069】
前述の画像処理装置では、取得ユニットは第3の画像を取得し、第3の処理ユニットは、第1の画像を取得するために、第3の画像を回転させるか、または第1の画像を取得するために、第3の画像を回転させてパディング解除する。既存の画像処理装置には第3の処理ユニットが配置されていないため、既存の画像処理装置はパディング解除機能を有さない。したがって、既存の画像処理装置によって伝送される画像は、パディング画素を含む。しかしながら、本出願のこの実施形態では、第3の処理ユニットが第1の画像を取得するために、第3の画像をパディング解除することができるように、第3の処理ユニットは前述の画像処理装置に配置される。このようにして、取得された第1の画像はパディング画素を含まない。第1の画像を伝送する後続のプロセスにおいて、一態様では、パディング画素は伝送帯域幅を占有しない。これにより、第1の画像の伝送効率を向上させる。別の態様では、第1の画像はパディング画素を含まず、第1の画像に対応する画素クロックは小さく、その結果、第1の画像を受信するデバイス上のインターフェースの要件が低減され得る。
【0070】
第4の態様に関連して、第4の態様の一部の実装形態では、第3の処理ユニットは、第1の画像を取得するために、第3の画像を回転させるように特に構成される。
【0071】
例えば、第3の画像を回転させることは、第1の画像を取得するために、第3の画像を(-90°-180°×n)だけ回転させることであってもよく、nは整数である。
【0072】
例えば、第3の処理ユニットは、行画素数がMであり、列画素数がNである第1の画像を取得するために、行画素数がNであり、列画素数がMである第3の画像を(-90°-180°×n)だけ回転させる。
【0073】
第4の態様に関連して、第4の態様の一部の他の実装形態では、第3の処理ユニットは、第5の画像を取得するために、第3の画像を回転させ、第1の画像を取得するために、第5の画像をパディング解除するように特に構成される。
【0074】
例えば、第3の画像を回転させることは、第5の画像を取得するために、第3の画像を(-90°-180°×n)だけ回転させることであってもよく、nは整数である。
【0075】
例えば、第5の画像をパディング解除することは、第5の画像に対して行パディング解除を実施し、それにより、第5の画像の行画素数を低減することであり得る。
【0076】
例えば、第3の処理ユニットは、行画素数がQであり、列画素数がNである第5の画像を取得するために、行画素数がNであり、列画素数がQである第3の画像を(-90°-180°×n)だけ回転させる。加えて、第3の処理ユニットは、行画素数がQであり、列画素数がNである第5の画像に対して行パディング解除を実施し、その結果、第5の画像の各行内の画素数がQからMに低減され、各列内の画素数が不変のままであり、依然としてNであり、第1の画像を取得する。この場合、パディング解除された画素数は(Q-M)×Nであり、第1の画像の行画素数は、Mであり、列画素数はNである。第4の態様に関連して、第4の態様の一部の他の実装形態では、第3の処理ユニットが、第1の画像を取得するために、第5の画像をパディング解除するように特に構成されることは、第3の処理ユニットが、第1の画像を取得するために、第5の画像の第2のターゲット位置からパディング解除を実施し、第2のターゲット位置が、左位置、右位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されることを含む。
【0077】
第4の態様に関連して、第4の態様のさらに一部の他の実装形態では、第3の処理ユニットは、第4の画像を取得するために、第3の画像をパディング解除し、第1の画像を取得するために、第4の画像を回転させるように特に構成される。
【0078】
例えば、第3の画像をパディング解除することは、第3の画像に対して列パディング解除を実施し、それにより、第3の画像の列画素数を低減することであり得る。
【0079】
例えば、第4の画像を回転させることは、第1の画像を取得するために、第4の画像を(-90°-180°×n)だけ回転させることであってよく、nは整数である。
【0080】
例えば、第3の処理ユニットは、行画素数がNであり、列画素数がQである第3の画像に対して列パディング除去を実施し、その結果、第3の画像の各列内の画素数がQからMに低減され、各行内の画素数が不変のままであり、依然としてNであり、第4の画像を取得する。この場合、パディング解除された画素数はN×(Q-M)であり、第4の画像の行画素数は、Nであり、列画素数はMである。加えて、第3の処理ユニットは、行画素数がMであり、列画素数がNである第1の画像を取得するために、行画素数がNであり、列画素数がMである第4の画像を(-90°-180°×n)だけ回転させる。
【0081】
第4の態様に関連して、第4の態様のさらに一部の他の実装形態では、第3の処理ユニットが、第4の画像を取得するために、第3の画像をパディング解除するように特に構成されることは、第3の処理ユニットが、第4の画像を取得するために、第3の画像の第1のターゲット位置からパディング解除を実施し、第1のターゲット位置が、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されることを含む。
【0082】
第4の態様に関連して、第4の態様の一部の実装形態では、装置は、第1の画像を送信するように構成された送信ユニットをさらに含む。
【0083】
例えば、画像処理装置は、第2のインターフェースをさらに含み、送信ユニットは、第2のインターフェースを介して第1の画像を送信してもよい。例えば、第2のインターフェースは、MIPI、oLDI、またはDPを含むが、これらに限定されない。
【0084】
第5の態様によれば、画像処理装置が提供され、装置は、第5の画像を取得するように構成された取得ユニットと、第1の画像を取得するために、第5の画像をパディング解除するように構成された第3の処理ユニットとを含む。
【0085】
例えば、第3の処理ユニットは、FPGAユニットおよび/またはDesを含む。
【0086】
上記の画像処理装置において、取得ユニットは、第5の画像を取得し、第3の処理ユニットは、第1の画像を取得するために、第5の画像をパディング解除する。既存の画像処理装置には第3の処理ユニットが配置されていないため、既存の画像処理装置はパディング解除機能を有さない。したがって、既存の画像処理装置によって伝送される画像は、パディング画素を含む。しかしながら、本出願のこの実施形態では、第3の処理ユニットが第1の画像を取得するために第5の画像をパディング解除することができるように、第3の処理ユニットは画像処理装置内に配置される。このようにして、取得された第1の画像はパディング画素を含まない。第1の画像を伝送する後続のプロセスにおいて、一態様では、パディング画素は伝送帯域幅を占有しない。これにより、第1の画像の伝送効率を向上させる。別の態様では、第1の画像はパディング画素を含まず、第1の画像に対応する画素クロックは小さく、その結果、第1の画像を受信するデバイス上のインターフェースの要件が低減され得る。
【0087】
第5の態様に関連して、第5の態様の一部の実装形態では、第3の処理ユニットが第1の画像を取得するために、第5の画像をパディング解除するように構成されることは、第3の処理ユニットが、第1の画像を取得するために、第5の画像の第2のターゲット位置からパディング解除を実施し、第2のターゲット位置が、左位置、右位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されることを含む。
【0088】
第5の態様に関連して、第5の態様の一部の実装形態では、装置は、第1の画像を送信するように構成された送信ユニットをさらに含む。
【0089】
第6の態様によれば、画像処理装置が提供され、装置は、第4の画像を取得するように構成された取得ユニットと、第1の画像を取得するために、第4の画像を回転させるように構成された第3の処理ユニットとを含む。
【0090】
例えば、第3の処理ユニットは、FPGAユニットおよび/またはDesを含む。
【0091】
例えば、第4の画像を回転させることは、第1の画像を取得するために、第4の画像を(-90°-180°×n)だけ回転させることであってよく、nは整数である。
【0092】
例えば、第3の処理ユニットは、行画素数がMであり、列画素数がNである第1の画像を取得するために、行画素数がNであり、列画素数がMである第4の画像を(-90°-180°×n)だけ回転させる。
【0093】
第6の態様に関連して、第6の態様の一部の実装形態では、装置は、第1の画像を送信するように構成された送信ユニットをさらに含む。
【0094】
例えば、画像処理装置は、第2のインターフェースをさらに含み、送信ユニットは、第2のインターフェースを介して第1の画像を送信してもよい。例えば、第2のインターフェースは、MIPI、oLDI、またはDPを含むが、これらに限定されない。
【0095】
第7の態様によれば、装置が提供され、装置は、第1の画像および第2の画像に基づいて第1のスティッチング画像を取得するように構成された第1の処理ユニットと、第1のスティッチング画像を送信するように構成された送信ユニットと、第1のスティッチング画像を取得するように構成された取得ユニットと、第1の画像および第2の画像を取得するために、第1のスティッチング画像に対して第1の処理を実施するように構成された第2の処理ユニットと、を含み、第1の画像の行画素数は、Mであり、列画素数は、Nであり、M>Nであり、MおよびNの両方は、正の整数であり、第2の画像の行画素数は、Pであり、列画素数は、Qであり、Q≧Mであり、PおよびQの両方は、正の整数であり、第1のスティッチング画像の行画素数は、N+Pであり、列画素数は、Qであり、第1のスティッチング画像は、第2の画像および第3の画像を含み、第3の画像は、第1の画像の第1の前処理を通じて取得された画像であり、第1の前処理は、第1の画像を回転させることを含むか、または第1の前処理は第1の画像を回転させ、パディングすることを含み、第1の処理は、第2の画像および第3の画像を取得するために、第1のスティッチング画像をセグメント化することを含み、第1の処理は、第3の画像を回転させることをさらに含み、または第1の処理は、第3の画像を回転させ、パディング解除することをさらに含む。
【0096】
例えば、第1の処理ユニットは、システムオンチップSoCを含む。
【0097】
例えば、第2の処理ユニットは、FPGAユニットおよび/またはSerを含む。
【0098】
例えば、装置は、ドメインコントローラ、例えばコックピットドメインコントローラCDCまたはMDCである。
【0099】
前述の画像処理装置では、第1の処理ユニットは、第3の画像を取得するために、行画素数がMであり、列画素数がNである第1の画像を最初に回転させるか、または行画素数がMであり、列画素数がNである第1の画像を回転させ、パディングする。次いで、第1の処理ユニットは、第3の画像と、行画素数がPであり、列画素数がQである第2の画像とに基づいて、行画素数がN+Pであり、列画素数がQである第1のスティッチング画像を取得する。したがって、第1のスティッチング画像内のパディング画素数は、N×(Q-M)である。しかしながら、既存の解決策によれば、第1の画像および第2の画像はスティッチングされ、取得されたスティッチング画像に含まれるパディング画素数はM×(Q-N)である。Q≧M>Nであるため、第1の処理ユニットによって取得された第1のスティッチング画像に含まれるパディング画素数は、既存の解決策において取得されたスティッチング画像に含まれるパディング画素数よりも少ない。したがって、送信ユニットが第1の処理ユニットによって取得された第1のスティッチング画像を伝送する際に、パディング画素が少量の伝送帯域幅を占有するため、第1のスティッチング画像の伝送効率が改善される。加えて、第2の処理ユニットは、第2の画像および第3の画像を取得するために、第1のスティッチング画像をセグメント化し、第1の画像を取得するために、第3の画像を回転させるか、または第1の画像を取得するために、第3の画像を回転させてパディング解除する。画像処理装置は、第1のスティッチング画像を処理するプロセスにおいて第2の画像を処理する必要はない。一態様では、既存の解決策と比較して、画像処理装置によって第2の画像を処理する複雑さがさらに増加されることはない。別の態様では、第1のスティッチング画像の各行は、第2の画像の画素の完全な行を含む。画像処理装置は、第2の画像の画素をバッファリングする必要がなく、第1のスティッチング画像に対して単純なセグメント化を実施することのみによって第2の画像の画素の行を抽出することができ、その結果、第2の画像はリアルタイムで迅速に転送されることができる。また、既存の画像処理装置には第2の処理ユニットが設けられていないため、既存の画像処理装置は、パディング解除機能を有していない。したがって、既存の画像処理装置によって伝送される画像は、パディング画素を含む。しかしながら、本出願のこの実施形態では、第2の処理ユニットが第1の画像を取得するために、第3の画像をパディング解除することができるように、第2の処理ユニットは前述の画像処理装置に配置される。このようにして、取得された第1の画像も第2の画像もパディング画素を含まない。第1の画像および第2の画像を伝送する後続のプロセスでは、一態様では、パディング画素は伝送帯域幅を占有しない。これにより、第1の画像および第2の画像の伝送効率を向上させる。別の態様では、第1の画像も第2の画像もパディング画素を含まず、第1の画像および第2の画像に対応する画素クロック(1秒当たりに伝送される画像画素数を指す)は小さく、その結果、第1の画像および第2の画像を受信するデバイス上のインターフェースの要件が低減され得る。
【0100】
第7の態様に関連して、第7の態様の一部の実装形態では、第1の処理ユニットが、第1の画像および第2の画像に基づいて第1のスティッチング画像を取得するように構成されることは、第1の処理ユニットが、第3の画像を取得するために、第1の画像を回転させ、第1のスティッチング画像を取得するために、第3の画像および第2の画像をスティッチングするように特に構成されることを含む。
【0101】
第7の態様に関連して、第7の態様の一部の実装形態では、第1の処理ユニットは、第3の画像を取得するために、第1の画像を(90°+180°×n)だけ回転させるようにさらに特に構成され、nは整数である。
【0102】
第7の態様に関連して、第7の態様の一部の他の実装形態では、第1の処理ユニットは、第4の画像を取得するために、第1の画像を回転させ、第3の画像を取得するために、第4の画像に対して画素パディングを実施し、第1のスティッチング画像を取得するために、第3の画像および第2の画像をスティッチングするように特に構成される。
【0103】
第7の態様に関連して、第7の態様の一部の他の実装形態では、第1の処理ユニットが、第3の画像を取得するために、第4の画像に対して画素パディングを実施するように特に構成されることは、第1の処理ユニットが、第3の画像を取得するために、第4の画像の第1のターゲット位置から画素パディングを実施し、第1のターゲット位置が、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されることを含む。
【0104】
第7の態様に関連して、第7の態様のさらに一部の他の実装形態では、第1の処理ユニットは、第5の画像を取得するために、第1の画像に対して画素パディングを実施し、第3の画像を取得するために、第5の画像を回転させ、第1のスティッチング画像を取得するために、第3の画像および第2の画像をスティッチングするように特に構成される。
【0105】
第7の態様に関連して、第7の態様のさらに一部の他の実装形態では、第1の処理ユニットが、第5の画像を取得するために、第1の画像に対して画素パディングを実施するように特に構成されることは、第1の処理ユニットが、第5の画像を取得するために、第1の画像の第2のターゲット位置から画素パディングを実施し、第2のターゲット位置が、左位置、右位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されることを含む。
【0106】
第7の態様に関連して、第7の態様のさらに一部の他の実装形態では、第1の処理ユニットは、第5の画像を取得するために、第1の画像を(90°+180°×n)だけ回転させ、nは整数である、ようにさらに特に構成される。
【0107】
第7の態様に関連して、第7の態様のさらに一部の他の実装形態では、第1の処理ユニットは、第4の画像を取得するために、第1の画像を回転させ、第2のスティッチング画像を取得するために、第4の画像および第2の画像をスティッチングし、第1のスティッチング画像を取得するために、第2のスティッチング画像に対して画素パディングを実施するように特に構成される。
【0108】
第7の態様に関連して、第7の態様のさらに一部の他の実装形態では、第1の処理ユニットが、第1のスティッチング画像を取得するために、第2のスティッチング画像に対して画素パディングを実施するように特に構成されることは、第1の処理ユニットが、第1のスティッチング画像を取得するために、第2のスティッチング画像内の第4の画像の第1のターゲット位置から画素パディングを実施し、第1のターゲット位置が、上部位置、下部位置、または中間位置を含む、ように特に構成されることを含む。
【0109】
第7の態様に関連して、第7の態様の一部の実装形態では、第1の処理ユニットは、第4の画像を取得するために、第1の画像を(90°+180°×n)だけ回転させるようにさらに特に構成され、nは整数である。
【0110】
第7の態様に関連して、第7の態様の一部の実装形態では、送信ユニットは、第1のスティッチング画像を第2の処理ユニットまたは伝送ユニットに送信するように特に構成される。
【0111】
例えば、画像処理装置は、第1のインターフェースをさらに含んでもよく、送信ユニットは、第1のインターフェースを介して第1のスティッチング画像を第2の処理ユニットまたは伝送ユニットに送信する。例えば、第1のインターフェースは、MIPI、oLDI、またはDPを含むが、これらに限定されない。
【0112】
第7の態様に関連して、第7の態様の一部の実装形態では、第2の処理ユニットは、第2の画像および第3の画像を取得するために、第1のスティッチング画像をセグメント化し、第1の画像を取得するために、第3の画像を回転させるように特に構成される。
【0113】
第7の態様に関連して、第7の態様の一部の実装形態では、第2の処理ユニットは、第1の画像を取得するために、第3の画像を(-90°-180°×n)だけ回転させ、nは整数である、ようにさらに特に構成される。
【0114】
第7の態様に関連して、第7の態様の一部の他の実装形態では、第2の処理ユニットは、第2の画像および第3の画像を取得するために、第1のスティッチング画像をセグメント化し、第5の画像を取得するために、第3の画像を回転させ、第1の画像を取得するために、第5の画像をパディング解除するように特に構成される。
【0115】
第7の態様に関連して、第7の態様の一部の他の実装形態では、第2の処理ユニットが、第1の画像を取得するために、第5の画像をパディング解除するように特に構成されることは、第2の処理ユニットが、第1の画像を取得するために、第5の画像の第2のターゲット位置からパディング解除を実施し、第2のターゲット位置が、左位置、右位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されることを含む。
【0116】
第7の態様に関連して、第7の態様の一部の他の実装形態では、第2の処理ユニットは、第5の画像を取得するために、第3の画像を(-90°-180°×n)だけ回転させ、nは整数である、ようにさらに特に構成される。
【0117】
第7の態様に関連して、第7の態様のさらに一部の他の実装形態では、第2の処理ユニットは、第2の画像および第3の画像を取得するために、第1のスティッチング画像をセグメント化し、第4の画像を取得するために、第3の画像をパディング解除し、第1の画像を取得するために、第4の画像を回転させるようにさらに特に構成される。
【0118】
第7の態様に関連して、第7の態様のさらに一部の他の実装形態では、第2の処理ユニットが、第4の画像を取得するために、第3の画像をパディング解除するようにさらに特に構成されることは、第2の処理ユニットが、第4の画像を取得するために、第3の画像の第1のターゲット位置からパディング解除を実施し、第1のターゲット位置が、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されることを含む。
【0119】
第7の態様に関連して、第7の態様のさらに一部の他の実装形態では、第2の処理ユニットは、第1の画像を取得するために、第4の画像を(-90°-180°×n)だけ回転させ、nは整数である、ようにさらに特に構成される。
【0120】
第7の態様に関連して、第7の態様の一部の実装形態では、装置は、第1の送信ユニットと、第2の送信ユニットと、第1のポートと、第2のポートとをさらに含み、第1の送信ユニットは、第1のポートを介して第2の画像を送信するように構成され、第2の送信ユニットは、第2のポートを介して第1の画像を送信するように構成される。
【0121】
第8の態様によれば、装置が提供され、装置は、第1の画像および第2の画像に基づいて第1のスティッチング画像を取得するように構成された第1の処理ユニットと、第1のスティッチング画像を送信するように構成された送信ユニットと、第1のスティッチング画像を取得するように構成された取得ユニットと、第1の画像および第2の画像を取得するために、第1のスティッチング画像に対して第2の処理を実施するように構成された第2の処理ユニットと、を含み、第1の画像の行画素数は、Mであり、列画素数は、Nであり、M>Nであり、MおよびNの両方は、正の整数であり、第2の画像の行画素数は、Pであり、列画素数は、Qであり、Q≧Mであり、PおよびQの両方は、正の整数であり、第1のスティッチング画像の行画素数は、N+Pであり、列画素数は、Qであり、第1のスティッチング画像は、第2の画像および第3の画像を含み、第3の画像は、第1の画像の第1の前処理を通じて取得された画像であり、第1の前処理は、第1の画像を回転させることを含み、または第1の前処理は、第1の画像を回転させ、パディングすることを含み、第2の処理は、第2のスティッチング画像を取得するために、第1のスティッチング画像をパディング解除することを含み、第2の処理は、第1の画像および第2の画像を取得するために、第2のスティッチング画像を回転させ、セグメント化することをさらに含む。
【0122】
例えば、第1の処理ユニットはSoCを含む。
【0123】
例えば、第2の処理ユニットは、FPGAユニットおよび/またはSerを含む。
【0124】
例えば、装置は、ドメインコントローラ、例えば、CDCまたはMDCである。
【0125】
前述の画像処理装置では、第1の処理ユニットは、第3の画像を取得するために、行画素数がMであり、列画素数がNである第1の画像を最初に回転させるか、または行画素数がMであり、列画素数がNである第1の画像を回転させ、パディングする。次いで、第1の処理ユニットは、第3の画像と、行画素数がPであり、列画素数がQである第2の画像とに基づいて、行画素数がN+Pであり、列画素数がQである第1のスティッチング画像を取得する。したがって、第1のスティッチング画像内のパディング画素数は、N×(Q-M)である。しかしながら、既存の解決策によれば、第1の画像および第2の画像はスティッチングされ、取得されたスティッチング画像に含まれるパディング画素数はM×(Q-N)である。Q≧M>Nであるため、第1の処理ユニットによって取得された第1のスティッチング画像に含まれるパディング画素数は、既存の解決策において取得されたスティッチング画像に含まれるパディング画素数よりも少ない。したがって、送信ユニットが第1の処理ユニットによって取得された第1のスティッチング画像を伝送する際に、パディング画素が少量の伝送帯域幅を占有するため、第1のスティッチング画像の伝送効率が改善される。加えて、第2の処理ユニットは、第2のスティッチング画像を取得するために、第1のスティッチング画像をパディング解除し、第1の画像および第2の画像を取得するために、第2のスティッチング画像を回転およびセグメント化する。画像処理装置は、第1のスティッチング画像を処理するプロセスにおいて第2の画像を処理する必要はない。このようにして、一態様では、既存の解決策と比較して、画像処理装置によって第2の画像を処理する複雑さがさらに増加されることはない。別の態様では、第1のスティッチング画像の各行は、第2の画像の画素の完全な行を含む。画像処理装置は、第2の画像の画素をバッファリングする必要がなく、第1のスティッチング画像に対して単純なセグメント化を実施することのみによって第2の画像の画素の行を抽出することができ、その結果、第2の画像はリアルタイムで迅速に転送されることができる。また、既存の画像処理装置には第2の処理ユニットが設けられていないため、既存の画像処理装置は、パディング解除機能を有していない。したがって、既存の画像処理装置によって伝送される画像は、パディング画素を含む。しかしながら、本出願のこの実施形態では、第2の処理ユニットは、前述の画像処理装置内に配置され、その結果、第2の処理ユニットは、第2のスティッチング画像を取得するために、第1のスティッチング画像をパディング解除することができる。このようにして、最終的に取得された第1の画像も第2の画像もパディング画素を含まない。第1の画像および第2の画像を伝送する後続のプロセスでは、一態様では、パディング画素は伝送帯域幅を占有しない。これにより、第1の画像および第2の画像の伝送効率を向上させる。別の態様では、第1の画像も第2の画像もパディング画素を含まず、第1の画像および第2の画像に対応する画素クロックは小さく、その結果、第1の画像および第2の画像を受信するデバイス上のインターフェースの要件が低減され得る。
【0126】
第8の態様に関連して、第8の態様の一部の実装形態では、第1の処理ユニットが、第1の画像および第2の画像に基づいて第1のスティッチング画像を取得するように構成されることは、第1の処理ユニットが、第3の画像を取得するために、第1の画像を回転させ、第1のスティッチング画像を取得するために、第3の画像および第2の画像をスティッチングするように特に構成されることを含む。
【0127】
第8の態様に関連して、第8の態様の一部の実装形態では、第1の処理ユニットは、第3の画像を取得するために、第1の画像を(90°+180°×n)だけ回転させるようにさらに特に構成され、nは整数である。
【0128】
第8の態様に関連して、第8の態様の一部の他の実装形態では、第1の処理ユニットは、第4の画像を取得するために、第1の画像を回転させ、第3の画像を取得するために、第4の画像に対して画素パディングを実施し、第1のスティッチング画像を取得するために、第3の画像および第2の画像をスティッチングするように特に構成される。
【0129】
第8の態様に関連して、第8の態様の一部の他の実装形態では、第1の処理ユニットが、第3の画像を取得するために、第4の画像に対して画素パディングを実施するように特に構成されることは、第1の処理ユニットが、第3の画像を取得するために、第4の画像の第1のターゲット位置から画素パディングを実施し、第1のターゲット位置が、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されることを含む。
【0130】
第8の態様に関連して、第8の態様のさらに一部の他の実装形態では、第1の処理ユニットは、第5の画像を取得するために、第1の画像に対して画素パディングを実施し、第3の画像を取得するために、第5の画像を回転させ、第1のスティッチング画像を取得するために、第3の画像および第2の画像をスティッチングするように特に構成される。
【0131】
第8の態様に関連して、第8の態様のさらに一部の他の実装形態では、第1の処理ユニットが、第5の画像を取得するために、第1の画像に対して画素パディングを実施するように特に構成されることは、第1の処理ユニットが、第5の画像を取得するために、第1の画像の第2のターゲット位置から画素パディングを実施し、第2のターゲット位置が、左位置、右位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されることを含む。
【0132】
第8の態様に関連して、第8の態様のさらに一部の他の実装形態では、第1の処理ユニットは、第5の画像を取得するために、第1の画像を(90°+180°×n)だけ回転させ、nは整数である、ようにさらに特に構成される。
【0133】
第8の態様に関連して、第8の態様のさらに一部の他の実装形態では、第1の処理ユニットは、第4の画像を取得するために、第1の画像を回転させ、第2のスティッチング画像を取得するために、第4の画像および第2の画像をスティッチングし、第1のスティッチング画像を取得するために、第2のスティッチング画像に対して画素パディングを実施するように特に構成される。
【0134】
第8の態様に関連して、第8の態様のさらに一部の他の実装形態では、第1の処理ユニットが、第1のスティッチング画像を取得するために、第2のスティッチング画像に対して画素パディングを実施するように特に構成されることは、第1の処理ユニットが、第1のスティッチング画像を取得するために、第2のスティッチング画像内の第4の画像の第1のターゲット位置から画素パディングを実施し、第1のターゲット位置が、上部位置、下部位置、または中間位置を含む、ように特に構成されることを含む。
【0135】
第8の態様に関連して、第8の態様の一部の実装形態では、第1の処理ユニットは、第4の画像を取得するために、第1の画像を(90°+180°×n)だけ回転させ、nは整数である、ようにさらに特に構成される。
【0136】
第8の態様に関連して、第8の態様の一部の実装形態では、送信ユニットは、第1のスティッチング画像を第2の処理ユニットまたは伝送ユニットに送信するように特に構成される。
【0137】
例えば、画像処理装置は、第1のインターフェースをさらに含んでもよく、送信ユニットは、第1のインターフェースを介して第1のスティッチング画像を第2の処理ユニットまたは伝送ユニットに送信する。例えば、第1のインターフェースは、MIPI、oLDI、またはDPを含むが、これらに限定されない。
【0138】
第8の態様に関連して、第8の態様の一部の実装形態では、第2の処理ユニットは、第2のスティッチング画像を取得するために、第1のスティッチング画像をパディング解除し、第2の画像および第4の画像を取得するために、第2のスティッチング画像をセグメント化し、第1の画像を取得するために、第4の画像を回転させるように特に構成される。
【0139】
第8の態様に関連して、第8の態様の一部の実装形態では、第2の処理ユニットが、第2のスティッチング画像を取得するために、第1のスティッチング画像をパディング解除するように特に構成されることは、第2の処理ユニットが、第2のスティッチング画像を取得するために、第1のスティッチング画像内の第3の画像の第1のターゲット位置からパディング解除を実施し、第1のターゲット位置が、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されることを含む。
【0140】
第8の態様に関連して、第8の態様の一部の実装形態では、第2の処理ユニットは、第1の画像を取得するために、第4の画像を(-90°-180°×n)だけ回転させ、nは整数である、ようにさらに特に構成される。
【0141】
第8の態様に関連して、第8の態様の一部の実装形態では、装置は、第1の送信ユニットと、第2の送信ユニットと、第1のポートと、第2のポートとをさらに含み、第1の送信ユニットは、第1のポートを介して第2の画像を送信するように構成され、第2の送信ユニットは、第2のポートを介して第1の画像を送信するように構成される。
【0142】
第9の態様によれば、画像処理方法が提供され、方法は、第1の画像および第2の画像に基づいて第1のスティッチング画像を取得することと、第1のスティッチング画像を送信することと、を含み、第1の画像の行画素数は、Mであり、列画素数は、Nであり、M>Nであり、MおよびNの両方は、正の整数であり、第2の画像の画素数は、Pであり、列画素数は、Qであり、Q≧Mであり、PおよびQの両方は、正の整数であり、第1のスティッチング画像の画素数は、N+Pであり、列画素数は、Qであり、第1のスティッチング画像は、第2の画像および第3の画像を含み、第3の画像は、第1の画像の第1の前処理によって取得された画像であり、第1の前処理は、第1の画像を回転させることを含むか、または第1の前処理は、第1の画像を回転させ、パディングすることを含む。
【0143】
例えば、方法は、SoCに適用されてもよい。
【0144】
前述の技術的解決策では、最初に、第3の画像を取得するために、行画素数がMであり、列画素数がNである第1の画像が回転されるか、または行画素数がMであり、列画素数がNである第1の画像が回転され、パディングされる。次いで、行画素数がN+Pであり、列画素数がQである第1のスティッチング画像が、第3の画像と、行画素数がPであり、列画素数がQである第2の画像とに基づいて取得される。したがって、第1のスティッチング画像内のパディング画素数は、N×(Q-M)である。しかしながら、既存の解決策によれば、第1の画像および第2の画像はスティッチングされ、取得されたスティッチング画像に含まれるパディング画素数はM×(Q-N)である。Q≧M>Nであるため、取得された第1のスティッチング画像に含まれるパディング画素数は、既存の解決策において取得されたスティッチング画像に含まれるパディング画素数よりも少ない。したがって、第1のスティッチング画像を伝送するプロセスにおいて、パディング画素が少量の伝送帯域幅を占有するため、第1のスティッチング画像の伝送効率が改善される。
【0145】
第9の態様に関連して、第9の態様の一部の実装形態では、第1の画像および第2の画像に基づいて第1のスティッチング画像を取得することは、第3の画像を取得するために、第1の画像を回転させることと、第1のスティッチング画像を取得するために、第3の画像および第2の画像をスティッチングすることと、を含む。
【0146】
第9の態様に関連して、第9の態様の一部の実装形態では、第3の画像を取得するために、第1の画像を回転させることは、第3の画像を取得するために、第1の画像を(90°+180°×n)だけ回転させることを含み、nは整数である。
【0147】
第9の態様に関連して、第9の態様の一部の他の実装形態では、第1の画像および第2の画像に基づいて第1のスティッチング画像を取得することは、第4の画像を取得するために、第1の画像を回転させることと、第3の画像を取得するために、第4の画像に対して画素パディングを実施することと、第1のスティッチング画像を取得するために、第3の画像および第2の画像をスティッチングすることと、を含む。
【0148】
第9の態様に関連して、第9の態様の一部の他の実装形態では、第3の画像を取得するために、第4の画像に対して画素パディングを実施することは、第3の画像を取得するために、第4の画像の第1のターゲット位置から画素パディングを実施することを含み、第1のターゲット位置は、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む。
【0149】
第9の態様に関連して、第9の態様のさらに一部の他の実装形態では、第1の画像および第2の画像に基づいて第1のスティッチング画像を取得することは、第5の画像を取得するために、第1の画像に対して画素パディングを実施することと、第3の画像を取得するために、第5の画像を回転させることと、第1のスティッチング画像を取得するために、第3の画像および第2の画像をスティッチングすることと、を含む。
【0150】
第9の態様に関連して、第9の態様のさらに一部の他の実装形態では、第5の画像を取得するために、第1の画像に対して画素パディングを実施することは、第5の画像を取得するために、第1の画像の第2のターゲット位置から画素パディングを実施することを含み、第2のターゲット位置は、左位置、右位置、または中間位置のうちの少なくとも1つを含む。
【0151】
第9の態様に関連して、第9の態様のさらに一部の他の実装形態では、第3の画像を取得するために、第5の画像を回転させることは、第3の画像を取得するために、第5の画像を(90°+180°×n)だけ回転させることを含み、nは整数である。
【0152】
第9の態様に関連して、第9の態様のさらに一部の他の実装形態では、第1の画像および第2の画像に基づいて第1のスティッチング画像を取得することは、第4の画像を取得するために、第1の画像を回転させることと、第2のスティッチング画像を取得するために、第4の画像および第2の画像をスティッチングすることと、第1のスティッチング画像を取得するために、第2のスティッチング画像に対して画素パディングを実施することと、を含む。
【0153】
第9の態様に関連して、第9の態様のさらに一部の他の実装形態では、第1のスティッチング画像を取得するために、第2のスティッチング画像に対して画素パディングを実施することは、第1のスティッチング画像を取得するために、第2のスティッチング画像内の第4の画像の第1のターゲット位置から画素パディングを実施することを含み、第1のターゲット位置は、上部位置、下部位置、または中間位置を含む。
【0154】
第9の態様に関連して、第9の態様の一部の実装形態では、第4の画像を取得するために、第1の画像を回転させることは、第4の画像を取得するために、第1の画像を(90°+180°×n)だけ回転させることを含み、nは整数である。
【0155】
第10の態様によれば、画像処理方法が提供され、方法は、第1のスティッチング画像を取得することと、第1の画像および第2の画像を取得するために、第1のスティッチング画像に対して第1の処理を実施することと、を含み、第1のスティッチング画像の行画素数は、N+Pであり、列画素数は、Qであり、第1のスティッチング画像は、第2の画像および第3の画像を含み、N、P、およびQは、全て正の整数であり、第1の画像の行画素数は、Mであり、列画素数は、Nであり、M>Nであり、Mは、正の整数であり、第2の画像の行画素数は、Pであり、列画素数は、Qであり、Q≧Mであり、第1の処理は、第2の画像および第3の画像を取得するために、第1のスティッチング画像をセグメント化することを含み、第1の処理は、第3の画像を回転させることをさらに含むか、または第1の処理は、第3の画像を回転させ、パディング解除することをさらに含む。
【0156】
例えば、方法は、FPGAユニットおよび/またはSerに適用されてもよい。
【0157】
前述の技術的解決策では、行画素数がN+Pであり、列画素数がQである第1のスティッチング画像が取得され、第1のスティッチング画像は、行画素数がPであり、列画素数がQである第2の画像と、第3の画像とを含む。第2に、第1のスティッチング画像がセグメント化されて第2の画像および第3の画像を取得し、第3の画像が回転されて第1の画像を取得するか、または第3の画像が回転されてパディング解除されて第1の画像を取得する。第2の画像は、第1のスティッチング画像を処理するプロセスにおいて処理される必要はない。このようにして、一態様では、既存の解決策と比較して、第2の画像を処理する複雑さがさらに増加されることはない。別の態様では、第1のスティッチング画像の各行は、第2の画像の画素の完全な行を含む。第2の画像の画素は、バッファリングされる必要がなく、第2の画像の画素の行は、第1のスティッチング画像に対して単純なセグメント化を実施することのみによって抽出され得、その結果、第2の画像は、リアルタイムで迅速に転送され得る。加えて、第1の画像も第2の画像もパディング画素を含まない。したがって、第1の画像および第2の画像を伝送する後続のプロセスでは、一態様では、パディング画素は伝送帯域幅を占有しない。これにより、第1の画像および第2の画像の伝送効率を向上させる。別の態様では、第1の画像も第2の画像もパディング画素を含まず、第1の画像および第2の画像に対応する画素クロック(1秒当たりに伝送される画像画素数を指す)は小さく、その結果、第1の画像および第2の画像を受信するデバイス上のインターフェースの要件が低減され得る。
【0158】
第10の態様に関連して、第10の態様の一部の実装形態では、第1の画像および第2の画像を取得するために、第1のスティッチング画像に対して第1の処理を実施することは、第2の画像および第3の画像を取得するために、第1のスティッチング画像をセグメント化することと、第1の画像を取得するために、第3の画像を回転させることと、を含む。
【0159】
第10の態様に関連して、第10の態様の一部の実装形態では、第1の画像を取得するために、第3の画像を回転させることは、第1の画像を取得するために、第3の画像を(-90°-180°×n)だけ回転させることを含み、nは整数である。
【0160】
第10の態様に関連して、第10の態様の一部の他の実装形態では、第1の画像および第2の画像を取得するために、第1のスティッチング画像に対して第1の処理を実施することは、第2の画像および第3の画像を取得するために、第1のスティッチング画像をセグメント化することと、第5の画像を取得するために、第3の画像を回転させることと、第1の画像を取得するために、第5の画像をパディング解除することと、を含む。
【0161】
第10の態様に関連して、第10の態様の一部の他の実装形態では、第1の画像を取得するために、第5の画像をパディング解除することは、第1の画像を取得するために、第5の画像の第2のターゲット位置からパディング解除を実施することを含み、第2のターゲット位置は、左位置、右位置、または中間位置のうちの少なくとも1つを含む。
【0162】
第10の態様に関連して、第10の態様の一部の他の実装形態では、第5の画像を取得するために、第3の画像を回転させることは、第5の画像を取得するために、第3の画像を(-90°-180°×n)だけ回転させることを含み、nは整数である。
【0163】
第10の態様に関連して、第10の態様のさらに一部の他の実装形態では、第1の画像および第2の画像を取得するために、第1のスティッチング画像に対して第1の処理を実施することは、第2の画像および第3の画像を取得するために、第1のスティッチング画像をセグメント化することと、第4の画像を取得するために、第3の画像をパディング解除することと、第1の画像を取得するために、第4の画像を回転させることと、を含む。
【0164】
第10の態様に関連して、第10の態様のさらに一部の他の実装形態では、第4の画像を取得するために、第3の画像をパディング解除することは、第4の画像を取得するために、第3の画像の第1のターゲット位置からパディング解除を実施することを含み、第1のターゲット位置は、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む。
【0165】
第10の態様に関連して、第10の態様のさらに一部の他の実装形態では、第1の画像を取得するために、第4の画像を回転させることは、第1の画像を取得するために、第4の画像を(-90°-180°×n)だけ回転させることを含み、nは整数である。
【0166】
第10の態様に関連して、第10の態様の一部の実装形態では、方法は、第1のポートを通して第2の画像を送信することと、第2のポートを通して第1の画像を送信することと、をさらに含む。
【0167】
第11の態様によれば、画像処理方法が提供され、方法は、第1のスティッチング画像を取得することと、第1の画像および第2の画像を取得するために、第1のスティッチング画像に対して第2の処理を実施することと、を含み、第1のスティッチング画像の行画素数は、N+Pであり、列画素数は、Qであり、第1のスティッチング画像は、第2の画像および第3の画像を含み、N、P、およびQは、全て正の整数であり、第1の画像の行画素数は、Mであり、列画素数は、Nであり、M>Nであり、Mは、正の整数であり、第2の画像の行画素数は、Pであり、列画素数は、Qであり、Q≧Mであり、第2の処理は、第2のスティッチング画像を取得するために、第1のスティッチング画像をパディング解除することを含み、第2の処理は、第1の画像および第2の画像を取得するために、第2のスティッチング画像を回転およびセグメント化することをさらに含む。
【0168】
例えば、方法は、FPGAユニットおよび/またはSerに適用されてもよい。
【0169】
前述の技術的解決策では、行画素数がN+Pであり、列画素数がQである第1のスティッチング画像が取得され、第1のスティッチング画像は、行画素数がPであり、列画素数がQである第2の画像と、第3の画像とを含む。第2に、第1のスティッチング画像は、第2のスティッチング画像を取得するためにパディング解除され、第2のスティッチング画像は、第1の画像および第2の画像を取得するために回転およびセグメント化される。第2の画像は、第1のスティッチング画像を処理するプロセスにおいて処理される必要はない。このようにして、一態様では、既存の解決策と比較して、第2の画像を処理する複雑さがさらに増加されることはない。別の態様では、第1のスティッチング画像の各行は、第2の画像の画素の完全な行を含む。第2の画像の画素は、バッファリングされる必要がなく、第2の画像の画素の行は、第1のスティッチング画像に対して単純なセグメント化を実施することのみによって抽出され得、その結果、第2の画像は、リアルタイムで迅速に転送され得る。加えて、第1の画像も第2の画像もパディング画素を含まない。したがって、第1の画像および第2の画像を伝送する後続のプロセスでは、一態様では、パディング画素は伝送帯域幅を占有しない。これにより、第1の画像および第2の画像の伝送効率を向上させる。別の態様では、第1の画像も第2の画像もパディング画素を含まず、第1の画像および第2の画像に対応する画素クロックは小さく、その結果、第1の画像および第2の画像を受信するデバイス上のインターフェースの要件が低減され得る。
【0170】
第11の態様に関連して、第11の態様の一部の実装形態では、第1の画像および第2の画像を取得するために、第1のスティッチング画像に対して第2の処理を実施することは、第2のスティッチング画像を取得するために、第1のスティッチング画像をパディング解除することと、第2の画像および第4の画像を取得するために、第2のスティッチング画像をセグメント化することと、第1の画像を取得するために、第4の画像を回転させることと、を含む。
【0171】
第11の態様に関連して、第11の態様の一部の実装形態では、第2のスティッチング画像を取得するために、第1のスティッチング画像をパディング解除することは、第2のスティッチング画像を取得するために、第1のスティッチング画像内の第3の画像の第1のターゲット位置からパディング解除を実施することを含み、第1のターゲット位置は、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む。
【0172】
第11の態様に関連して、第11の態様の一部の実装形態では、第1の画像を取得するために、第4の画像を回転させることは、第1の画像を取得するために、第4の画像を(-90°-180°×n)だけ回転させることを含み、nは整数である。
【0173】
第11の態様に関連して、第11の態様の一部の実装形態では、方法は、第1のポートを通して第2の画像を送信することと、第2のポートを通して第1の画像を送信することと、をさらに含む。
【0174】
第12の態様によれば、画像処理方法が提供され、方法は、第3の画像を取得することと、第1の画像を取得するために、第3の画像に対して第2の前処理を実施することと、を含み、第2の前処理は、第3の画像を回転させることを含むか、または第2の前処理は、第3の画像を回転させ、パディング解除することを含む。
【0175】
例えば、方法は、FPGAユニットおよび/またはDesに適用され得る。
【0176】
第12の態様に関連して、第12の態様の一部の実装形態では、第1の画像を取得するために、第3の画像に対して第2の前処理を実施することは、第1の画像を取得するために、第3の画像を回転させることを含む。
【0177】
第12の態様に関連して、第12の態様の一部の実装形態では、第1の画像を取得するために、第3の画像を回転させることは、第1の画像を取得するために、第3の画像を(-90°-180°×n)だけ回転させることを含み、nは整数である。
【0178】
第12の態様に関連して、第12の態様の一部の他の実装形態では、第1の画像を取得するために、第3の画像に対して第2の前処理を実施することは、第5の画像を取得するために、第3の画像を回転させることと、第1の画像を取得するために、第5の画像をパディング解除することと、を含む。
【0179】
第12の態様に関連して、第12の態様の一部の他の実装形態では、第1の画像を取得するために、第5の画像をパディング解除することは、第1の画像を取得するために、第5の画像の第2のターゲット位置からパディング解除を実施することを含み、第2のターゲット位置は、左位置、右位置、または中間位置のうちの少なくとも1つを含む。
【0180】
第12の態様に関連して、第12の態様の一部の他の実装形態では、第5の画像を取得するために、第3の画像を回転させることは、第5の画像を取得するために、第3の画像を(-90°-180°×n)だけ回転させることを含み、nは整数である。
【0181】
第12の態様に関連して、第12の態様のさらに一部の他の実装形態では、第1の画像を取得するために、第3の画像に対して第2の前処理を実施することは、第4の画像を取得するために、第3の画像をパディング解除することと、第1の画像を取得するために、第4の画像を回転させることと、を含む。
【0182】
第12の態様に関連して、第12の態様のさらに一部の他の実装形態では、第4の画像を取得するために、第3の画像をパディング解除することは、第4の画像を取得するために、第3の画像の第1のターゲット位置からパディング解除を実施することを含み、第1のターゲット位置は、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む。
【0183】
第12の態様に関連して、第12の態様のさらに一部の他の実装形態では、第1の画像を取得するために、第4の画像を回転させることは、第1の画像を取得するために、第4の画像を(-90°-180°×n)だけ回転させることを含み、nは整数である。
【0184】
第12の態様に関連して、第12の態様の一部の実装形態では、方法は、第1の画像を送信することをさらに含む。
【0185】
第13の態様によれば、画像処理方法が提供され、方法は、第5の画像を取得することと、第1の画像を取得するために、第5の画像をパディング解除することと、を含む。
【0186】
例えば、方法は、FPGAユニットおよび/またはDesに適用され得る。
【0187】
前述の技術的解決策では、第5の画像が取得され、第1の画像を取得するために、第5の画像がパディング解除される。第1の画像はパディング画素を含まないため、第1の画像を伝送する後続のプロセスでは、一態様では、伝送帯域幅を占有するパディング画素はない。これにより、第1の画像の伝送効率を向上させる。別の態様では、第1の画像はパディング画素を含まず、第1の画像に対応する画素クロックは小さく、その結果、第1の画像を受信するデバイス上のインターフェースの要件が低減され得る。
【0188】
第13の態様に関連して、第13の態様の一部の実装形態では、第1の画像を取得するために、第5の画像をパディング解除することは、第1の画像を取得するために、第5の画像の第2のターゲット位置からパディング解除を実施することを含み、第2のターゲット位置は、左位置、右位置、または中間位置のうちの少なくとも1つを含む。
【0189】
第13の態様に関連して、第13の態様の一部の実装形態では、方法は、第1の画像を送信することをさらに含む。
【0190】
第14の態様によれば、画像処理方法が提供され、方法は、第4の画像を取得することと、第1の画像を取得するために、第4の画像を回転させることと、を含む。
【0191】
第14の態様に関連して、第14の態様の一部の実装形態では、第1の画像を取得するために、第4の画像を回転させることは、第1の画像を取得するために、第4の画像を(-90°-180°×n)だけ回転させることを含み、nは整数である。
【0192】
第14の態様に関連して、第14の態様の一部の実装形態では、方法は、第1の画像を送信することをさらに含む。
【0193】
第15の態様によれば、画像処理方法が提供され、方法は、第1の画像および第2の画像に基づいて第1のスティッチング画像を取得することと、第1のスティッチング画像を送信することと、第1のスティッチング画像を取得することと、第1の画像および第2の画像を取得するために、第1のスティッチング画像に対して第1の処理を実施することと、を含み、第1の画像の行画素数は、Mであり、列画素数は、Nであり、M>Nであり、MおよびNの両方は、正の整数であり、第2の画像の行画素数は、Pであり、列画素数は、Qであり、Q≧Mであり、PおよびQの両方は、正の整数であり、第1のスティッチング画像の行画素数は、N+Pであり、列画素数は、Qであり、第1のスティッチング画像は、第2の画像および第3の画像を含み、第3の画像は、第1の画像の第1の前処理を通じて取得された画像であり、第1の前処理は、第1の画像を回転させることを含むか、または第1の前処理は第1の画像を回転させ、パディングすることを含み、第1の処理は、第2の画像および第3の画像を取得するために、第1のスティッチング画像をセグメント化することを含み、第1の処理は、第3の画像を回転させることをさらに含み、または第1の処理は、第3の画像を回転させ、パディング解除することをさらに含む。
【0194】
例えば、方法は、ドメインコントローラ、例えば、CDCまたはMDCに適用され得る。
【0195】
前述の技術的解決策では、最初に、第3の画像を取得するために、行画素数がMであり、列画素数がNである第1の画像が回転されるか、または行画素数がMであり、列画素数がNである第1の画像が回転され、パディングされる。次いで、行画素数がN+Pであり、列画素数がQである第1のスティッチング画像が、第3の画像と、行画素数がPであり、列画素数がQである第2の画像とに基づいて取得される。したがって、第1のスティッチング画像内のパディング画素数は、N×(Q-M)である。しかしながら、既存の解決策によれば、第1の画像および第2の画像はスティッチングされ、取得されたスティッチング画像に含まれるパディング画素数はM×(Q-N)である。Q≧M>Nであるため、取得された第1のスティッチング画像に含まれるパディング画素数は、既存の解決策において取得されたスティッチング画像に含まれるパディング画素数よりも少ない。したがって、第1のスティッチング画像を伝送するプロセスにおいて、パディング画素が少量の伝送帯域幅を占有するため、第1のスティッチング画像の伝送効率が改善される。加えて、第1のスティッチング画像は、第2の画像および第3の画像を取得するためにセグメント化され、第3の画像は、第1の画像を取得するために回転されるか、または第3の画像は、第1の画像を取得するために回転され、パディング解除される。第2の画像は、第1のスティッチング画像を処理するプロセスにおいて処理される必要はない。このようにして、一態様では、既存の解決策と比較して、第2の画像を処理する複雑さがさらに増加されることはない。別の態様では、第1のスティッチング画像の各行は、第2の画像の画素の完全な行を含む。第2の画像の画素は、バッファリングされる必要がなく、第2の画像の画素の行は、第1のスティッチング画像に対して単純なセグメント化を実施することのみによって抽出され得、その結果、第2の画像は、リアルタイムで迅速に転送され得る。加えて、第1の画像も第2の画像もパディング画素を含まない。したがって、第1の画像および第2の画像を伝送する後続のプロセスでは、一態様では、パディング画素は伝送帯域幅を占有しない。これにより、第1の画像および第2の画像の伝送効率を向上させる。別の態様では、第1の画像も第2の画像もパディング画素を含まず、第1の画像および第2の画像に対応する画素クロック(1秒当たりに伝送される画像画素数を指す)は小さく、その結果、第1の画像および第2の画像を受信するデバイス上のインターフェースの要件が低減され得る。
【0196】
第15の態様に関連して、第15の態様の一部の実装形態では、第1の画像および第2の画像に基づいて第1のスティッチング画像を取得することは、第3の画像を取得するために、第1の画像を回転させることと、第1のスティッチング画像を取得するために、第3の画像および第2の画像をスティッチングすることと、を含む。
【0197】
第15の態様に関連して、第15の態様の一部の実装形態では、第3の画像を取得するために、第1の画像を回転させることは、第3の画像を取得するために、第1の画像を(90°+180°×n)だけ回転させることを含み、nは整数である。
【0198】
第15の態様に関連して、第15の態様の一部の他の実装形態では、第1の画像および第2の画像に基づいて第1のスティッチング画像を取得することは、第4の画像を取得するために、第1の画像を回転させることと、第3の画像を取得するために、第4の画像に対して画素パディングを実施することと、第1のスティッチング画像を取得するために、第3の画像および第2の画像をスティッチングすることと、を含む。
【0199】
第15の態様に関連して、第15の態様の一部の他の実装形態では、第3の画像を取得するために、第4の画像に対して画素パディングを実施することは、第3の画像を取得するために、第4の画像の第1のターゲット位置から画素パディングを実施することを含み、第1のターゲット位置は、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む。
【0200】
第15の態様に関連して、第15の態様のさらに一部の他の実装形態では、第1の画像および第2の画像に基づいて第1のスティッチング画像を取得することは、第5の画像を取得するために、第1の画像に対して画素パディングを実施することと、第3の画像を取得するために、第5の画像を回転させることと、第1のスティッチング画像を取得するために、第3の画像および第2の画像をスティッチングすることと、を含む。
【0201】
第15の態様に関連して、第15の態様のさらに一部の他の実装形態では、第5の画像を取得するために、第1の画像に対して画素パディングを実施することは、第5の画像を取得するために、第1の画像の第2のターゲット位置から画素パディングを実施することを含み、第2のターゲット位置は、左位置、右位置、または中間位置のうちの少なくとも1つを含む。
【0202】
第15の態様に関連して、第15の態様のさらに一部の他の実装形態では、第3の画像を取得するために、第5の画像を回転させることは、第3の画像を取得するために、第5の画像を(90°+180°×n)だけ回転させることを含み、nは整数である。
【0203】
第15の態様に関連して、第15の態様のさらに一部の他の実装形態では、第1の画像および第2の画像に基づいて第1のスティッチング画像を取得することは、第4の画像を取得するために、第1の画像を回転させることと、第2のスティッチング画像を取得するために、第4の画像および第2の画像をスティッチングすることと、第1のスティッチング画像を取得するために、第2のスティッチング画像に対して画素パディングを実施することと、を含む。
【0204】
第15の態様に関連して、第15の態様のさらに一部の他の実装形態では、第1のスティッチング画像を取得するために、第2のスティッチング画像に対して画素パディングを実施することは、第1のスティッチング画像を取得するために、第2のスティッチング画像内の第4の画像の第1のターゲット位置から画素パディングを実施することを含み、第1のターゲット位置は、上部位置、下部位置、または中間位置を含む。
【0205】
第15の態様に関連して、第15の態様の一部の実装形態では、第4の画像を取得するために、第1の画像を回転させることは、第4の画像を取得するために、第1の画像を(90°+180°×n)だけ回転させることを含み、nは整数である。
【0206】
第15の態様に関連して、第15の態様の一部の実装形態では、第1の画像および第2の画像を取得するために、第1のスティッチング画像に対して第1の処理を実施することは、第2の画像および第3の画像を取得するために、第1のスティッチング画像をセグメント化することと、第1の画像を取得するために、第3の画像を回転させることと、を含む。
【0207】
第15の態様に関連して、第15の態様の一部の実装形態では、第1の画像を取得するために、第3の画像を回転させることは、第1の画像を取得するために、第3の画像を(-90°-180°×n)だけ回転させることを含み、nは整数である。
【0208】
第15の態様に関連して、第15の態様の一部の他の実装形態では、第1の画像および第2の画像を取得するために、第1のスティッチング画像に対して第1の処理を実施することは、第2の画像および第3の画像を取得するために、第1のスティッチング画像をセグメント化することと、第5の画像を取得するために、第3の画像を回転させることと、第1の画像を取得するために、第5の画像をパディング解除することと、を含む。
【0209】
第15の態様に関連して、第15の態様の一部の他の実装形態では、第1の画像を取得するために、第5の画像をパディング解除することは、第1の画像を取得するために、第5の画像の第2のターゲット位置からパディング解除を実施することを含み、第2のターゲット位置は、左位置、右位置、または中間位置のうちの少なくとも1つを含む。
【0210】
第15の態様に関連して、第15の態様の一部の他の実装形態では、第5の画像を取得するために、第3の画像を回転させることは、第5の画像を取得するために、第3の画像を(-90°-180°×n)だけ回転させることを含み、nは整数である。
【0211】
第15の態様に関連して、第15の態様のさらに一部の他の実装形態では、第1の画像および第2の画像を取得するために、第1のスティッチング画像に対して第1の処理を実施することは、第2の画像および第3の画像を取得するために、第1のスティッチング画像をセグメント化することと、第4の画像を取得するために、第3の画像をパディング解除することと、第1の画像を取得するために、第4の画像を回転させることと、を含む。
【0212】
第15の態様に関連して、第15の態様のさらに一部の他の実装形態では、第4の画像を取得するために、第3の画像をパディング解除することは、第4の画像を取得するために、第3の画像の第1のターゲット位置からパディング解除を実施することを含み、第1のターゲット位置は、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む。
【0213】
第15の態様に関連して、第15の態様のさらに一部の他の実装形態では、第1の画像を取得するために、第4の画像を回転させることは、第1の画像を取得するために、第4の画像を(-90°-180°×n)だけ回転させることを含み、nは整数である。
【0214】
第15の態様に関連して、第15の態様の一部の実装形態では、方法は、第1のポートを通して第2の画像を送信することと、第2のポートを通して第1の画像を送信することと、をさらに含む。
【0215】
第16の態様によれば、画像処理方法が提供され、方法は、第1の画像および第2の画像に基づいて第1のスティッチング画像を取得することと、第1のスティッチング画像を送信することと、第1のスティッチング画像を取得することと、第1の画像および第2の画像を取得するために、第1のスティッチング画像に対して第2の処理を実施することと、を含み、第1の画像の行画素数は、Mであり、列画素数は、Nであり、M>Nであり、MおよびNの両方は、正の整数であり、第2の画像の画素数は、Pであり、列画素数は、Qであり、Q≧Mであり、PおよびQの両方は、正の整数であり、第1のスティッチング画像の画素数は、N+Pであり、列画素数は、Qであり、第1のスティッチング画像は、第2の画像および第3の画像を含み、第3の画像は、第1の画像の第1の前処理を通じて取得された画像であり、第1の前処理は、第1の画像を回転させることを含み、または第1の前処理は、第1の画像を回転させ、パディングすることを含み、第2の処理は、第2のスティッチング画像を取得するために、第1のスティッチング画像をパディング解除することを含み、第2の処理は、第1の画像および第2の画像を取得するために、第2のスティッチング画像を回転させ、セグメント化することをさらに含む。
【0216】
例えば、方法は、ドメインコントローラ、例えば、CDCまたはMDCに適用され得る。
【0217】
前述の技術的解決策では、最初に、第3の画像を取得するために、行画素数がMであり、列画素数がNである第1の画像が回転されるか、または行画素数がMであり、列画素数がNである第1の画像が回転され、パディングされる。次いで、行画素数がN+Pであり、列画素数がQである第1のスティッチング画像が、第3の画像と、行画素数がPであり、列画素数がQである第2の画像とに基づいて取得される。したがって、第1のスティッチング画像内のパディング画素数は、N×(Q-M)である。しかしながら、既存の解決策によれば、第1の画像および第2の画像はスティッチングされ、取得されたスティッチング画像に含まれるパディング画素数はM×(Q-N)である。Q≧M>Nであるため、取得された第1のスティッチング画像に含まれるパディング画素数は、既存の解決策において取得されたスティッチング画像に含まれるパディング画素数よりも少ない。したがって、第1のスティッチング画像を伝送するプロセスにおいて、パディング画素が少量の伝送帯域幅を占有するため、第1のスティッチング画像の伝送効率が改善される。加えて、第1のスティッチング画像は、第2のスティッチング画像を取得するためにパディング解除され、第2のスティッチング画像は、第1の画像および第2の画像を取得するために回転およびセグメント化される。第2の画像は、第1のスティッチング画像を処理するプロセスにおいて処理される必要はない。このようにして、一態様では、既存の解決策と比較して、第2の画像を処理する複雑さがさらに増加されることはない。別の態様では、第1のスティッチング画像の各行は、第2の画像の画素の完全な行を含む。第2の画像の画素は、バッファリングされる必要がなく、第2の画像の画素の行は、第1のスティッチング画像に対して単純なセグメント化を実施することのみによって抽出され得、その結果、第2の画像は、リアルタイムで迅速に転送され得る。加えて、第1の画像も第2の画像もパディング画素を含まない。したがって、第1の画像および第2の画像を伝送する後続のプロセスでは、一態様では、パディング画素は伝送帯域幅を占有しない。これにより、第1の画像および第2の画像の伝送効率を向上させる。別の態様では、第1の画像も第2の画像もパディング画素を含まず、第1の画像および第2の画像に対応する画素クロック(1秒当たりに伝送される画像画素数を指す)は小さく、その結果、第1の画像および第2の画像を受信するデバイス上のインターフェースの要件が低減され得る。
【0218】
第16の態様に関連して、第16の態様の一部の実装形態では、第1の画像および第2の画像に基づいて第1のスティッチング画像を取得することは、第3の画像を取得するために、第1の画像を回転させることと、第1のスティッチング画像を取得するために、第3の画像および第2の画像をスティッチングすることと、を含む。
【0219】
第16の態様に関連して、第16の態様の一部の実装形態では、第3の画像を取得するために、第1の画像を回転させることは、第3の画像を取得するために、第1の画像を(90°+180°×n)だけ回転させることを含み、nは整数である。
【0220】
第16の態様に関連して、第16の態様の一部の他の実装形態では、第1の画像および第2の画像に基づいて第1のスティッチング画像を取得することは、第4の画像を取得するために、第1の画像を回転させることと、第3の画像を取得するために、第4の画像に対して画素パディングを実施することと、第1のスティッチング画像を取得するために、第3の画像および第2の画像をスティッチングすることと、を含む。
【0221】
第16の態様に関連して、第16の態様の一部の他の実装形態では、第3の画像を取得するために、第4の画像に対して画素パディングを実施することは、第3の画像を取得するために、第4の画像の第1のターゲット位置から画素パディングを実施することを含み、第1のターゲット位置は、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む。
【0222】
第16の態様に関連して、第16の態様のさらに一部の他の実装形態では、第1の画像および第2の画像に基づいて第1のスティッチング画像を取得することは、第5の画像を取得するために、第1の画像に対して画素パディングを実施することと、第3の画像を取得するために、第5の画像を回転させることと、第1のスティッチング画像を取得するために、第3の画像および第2の画像をスティッチングすることと、を含む。
【0223】
第16の態様に関連して、第16の態様のさらに一部の他の実装形態では、第5の画像を取得するために、第1の画像に対して画素パディングを実施することは、第5の画像を取得するために、第1の画像の第2のターゲット位置から画素パディングを実施することを含み、第2のターゲット位置は、左位置、右位置、または中間位置のうちの少なくとも1つを含む。
【0224】
第16の態様に関連して、第16の態様のさらに一部の他の実装形態では、第3の画像を取得するために、第5の画像を回転させることは、第3の画像を取得するために、第5の画像を(90°+180°×n)だけ回転させることを含み、nは整数である。
【0225】
第16の態様に関連して、第16の態様のさらに一部の他の実装形態では、第1の画像および第2の画像に基づいて第1のスティッチング画像を取得することは、第4の画像を取得するために、第1の画像を回転させることと、第2のスティッチング画像を取得するために、第4の画像および第2の画像をスティッチングすることと、第1のスティッチング画像を取得するために、第2のスティッチング画像に対して画素パディングを実施することと、を含む。
【0226】
第16の態様に関連して、第16の態様のさらに一部の他の実装形態では、第1のスティッチング画像を取得するために、第2のスティッチング画像に対して画素パディングを実施することは、第1のスティッチング画像を取得するために、第2のスティッチング画像内の第4の画像の第1のターゲット位置から画素パディングを実施することを含み、第1のターゲット位置は、上部位置、下部位置、または中間位置を含む。
【0227】
第16の態様に関連して、第16の態様の一部の実装形態では、第4の画像を取得するために、第1の画像を回転させることは、第4の画像を取得するために、第1の画像を(90°+180°×n)だけ回転させることを含み、nは整数である。
【0228】
第16の態様に関連して、第16の態様の一部の実装形態では、第1の画像および第2の画像を取得するために、第1のスティッチング画像に対して第2の処理を実施することは、第2のスティッチング画像を取得するために、第1のスティッチング画像をパディング解除することと、第2の画像および第4の画像を取得するために、第2のスティッチング画像をセグメント化することと、第1の画像を取得するために、第4の画像を回転させることと、を含む。
【0229】
第16の態様に関連して、第16の態様の一部の実装形態では、第2のスティッチング画像を取得するために、第1のスティッチング画像をパディング解除することは、第2のスティッチング画像を取得するために、第1のスティッチング画像内の第3の画像の第1のターゲット位置からパディング解除を実施することを含み、第1のターゲット位置は、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む。
【0230】
第16の態様に関連して、第16の態様の一部の実装形態では、第1の画像を取得するために、第4の画像を回転させることは、第1の画像を取得するために、第4の画像を(-90°-180°×n)だけ回転させることを含み、nは整数である。
【0231】
第16の態様に関連して、第16の態様の一部の実装形態では、方法は、第1のポートを通して第2の画像を送信することと、第2のポートを通して第1の画像を送信することと、をさらに含む。
【0232】
第17の態様によれば、装置が提供され、装置は、第4の態様から第6の態様および第4の態様の一部の実装形態から第6の態様の一部の実装形態のいずれか1つによる画像処理装置を含む。
【0233】
第17の態様に関連して、第17の態様の一部の実装形態では、装置は、第1の画像を表示するように構成されたディスプレイをさらに含む。
【0234】
第18の態様によれば、少なくとも1つのメモリと少なくとも1つのプロセッサとを含む画像処理装置が提供され、少なくとも1つのメモリは、プログラムを記憶するように構成され、少なくとも1つのプロセッサは、プログラムを動作させて、第9の態様から第16の態様、および第9の態様の一部の実施態様から第16の態様の一部の実施態様のいずれか1つによる方法を実装するように構成される。
【0235】
第19の態様によれば、コンピュータ可読記憶媒体が提供され、コンピュータ可読記憶媒体はプログラムまたは命令を記憶し、プログラムまたは命令が実行されると、コンピュータは、第9の態様から第16の態様、および第9の態様の一部の実装形態から第16の態様の一部の実装形態のいずれか1つによる方法を実施することを可能にされる。
【0236】
第20の態様によれば、少なくとも1つのプロセッサとインターフェース回路とを含むチップが提供され、インターフェース回路は、少なくとも1つのプロセッサにプログラム命令またはデータを提供するように構成され、少なくとも1つのプロセッサは、プログラム命令を実行して、第9の態様から第16の態様および第9の態様の一部の実装形態から第16の態様の一部の実装形態のいずれか1つによる方法を実装するように構成される。
【0237】
第21の態様によれば、チップが提供され、チップは、第1の態様から第8の態様、および第1の態様の一部の実装形態から第8の態様の一部の実装形態のいずれか1つによる装置の機能を実装するように構成される。
【0238】
第22の態様によれば、端末デバイスが提供され、端末デバイスは、第1の態様から第8の態様、および第1の態様の一部の実装形態から第8の態様の一部の実装形態のいずれか1つによる装置を含む。
【0239】
さらに、端末デバイスは、インテリジェント輸送デバイス(乗り物または無人航空機)、スマートホームデバイス、インテリジェント製造デバイス、インテリジェントウェアラブルデバイス、ロボットなどであってもよい。インテリジェント輸送デバイスは、例えば、無人搬送車(automated guided vehicle、AGV)または無人輸送車であってもよい。
【0240】
第23の態様によれば、コンピュータプログラム製品が提供され、コンピュータプログラム製品はコンピュータプログラムコードを含み、コンピュータプログラムコードがコンピュータ上で動作されると、第9の態様から第16の態様、および第9の態様の一部の実装形態から第16の態様の一部の実装形態のいずれか1つによる方法が実施される。
【図面の簡単な説明】
【0241】
図1】本出願の実施形態による適用シナリオの一例の概略図である。
図2】デバイスが画像を伝送する例の概略図である。
図3】伝送画像の一例の概略図である。
図4】本出願の実施形態による画像処理方法の一例の概略フローチャートである。
図5】本出願の実施形態による、第1の画像および第2の画像に基づいて第1のスティッチング画像を取得する例の概略図である。
図6】本出願の実施形態による、第3の画像を取得するために、第4の画像に対して画素パディングを実施する3つの例の概略図である。
図7】本出願の実施形態による、第1の画像および第2の画像に基づいて第1のスティッチング画像を取得する別の例の概略図である。
図8】本出願の実施形態による、第5の画像を取得するために、第1の画像に対して画素パディングを実施する3つの例の概略図である。
図9】本出願の実施形態による、第1の画像および第2の画像に基づいて第1のスティッチング画像を取得するさらに別の例の概略図である。
図10】本出願の実施形態による画像処理方法の別の例の概略フロー図である。
図11】本出願の実施形態による、第1のスティッチング画像に基づいて第1の画像および第2の画像を取得する例の概略図である。
図12】本出願の実施形態による、第1のスティッチング画像に基づいて第1の画像および第2の画像を取得する別の例の概略図である。
図13】本出願の実施形態による、第1の画像を取得するために第5の画像をパディング解除する3つの例の概略図である。
図14】本出願の実施形態による、第4の画像を取得するために第3の画像をパディング解除する3つの例の概略図である。
図15】本出願の実施形態による画像処理方法のさらに別の例の概略フローチャートである。
図16】本出願の実施形態による画像処理方法のさらに別の例の概略フローチャートである。
図17】本出願の実施形態による画像処理方法のさらに別の例の概略フローチャートである。
図18】本出願の実施形態による画像処理方法のさらなる例の概略フローチャートである。
図19】本出願の実施形態による画像処理装置の一例の構成の概略図である。
図20】本出願の実施形態による画像処理装置の他の例の構成の概略図である。
図21】本出願の実施形態による画像処理装置のさらに他の例の構成の概略図である。
図22】本出願の実施形態による画像処理装置のさらに他の例の構成の概略図である。
図23】本出願の実施形態による画像処理装置のさらに他の例の構成の概略図である。
【発明を実施するための形態】
【0242】
以下では、添付の図面を参照して本出願の技術的解決策を説明する。
【0243】
例えば、図1は、本出願の実施形態による適用シナリオの一例の概略図である。
【0244】
図1に示すように、第1のデバイス10は、SoC 11と、シリアライザ(serializer、Ser)12とを含む。SoC 11は、例えば、モバイルインダストリプロセッサインターフェース(mobile industry processor interface、MIPI)、オープン低電圧差動シグナリング(low voltage differential signaling、LVDS)ディスプレイインターフェース(open lvds display interface、oLDI)、またはディスプレイポート(Display port、DP)を介してSer 12に情報を伝送することができる。第2のデバイス20は、Des 21およびディスプレイ22を含む。Des 21は、例えば、MIPI、oLDI、またはDPを介してディスプレイ22に情報を伝送することができる。第3のデバイス30は、Des 31およびディスプレイ32を含む。Des 31は、例えば、MIPI、oLDI、またはDPを介してディスプレイ32に情報を伝送することができる。第1のデバイス10のSer12は、ポート121aおよびケーブル121bを介して第2のデバイス20のDes 21に情報を伝送することができる。第1のデバイス10のSer12は、ポート122aおよびケーブル122bを介して第3のデバイス30のDes 31に情報をさらに伝送することができる。
【0245】
例えば、第1のデバイス10は、限定はしないが、ドメインコントローラ、例えば、CDCまたはMDCを含み得る。例えば、第2のデバイス20または第3のデバイス30は、車載インフォテインメント(in-vehicle infotainment、IVI)デバイス、ヘッドアップディスプレイ(head-up display、HUD)デバイス、車載デバイスなどを含んでもよいが、これらに限定されない。
【0246】
一例では、第1のデバイス10は、第2のデバイス20および第3のデバイス30による表示のために、内部で生成もしくは記憶された、または別のデバイスから取得された2つの画像を第2のデバイス20および第3のデバイス30に別々に伝送する。SoC 11は、2つのディスプレイ(ディスプレイ22およびディスプレイ32)の表示画像データを、処理を通じて通常の大きい画像にスティッチングし、スティッチング画像をMIPI、oLDI、またはDPを通して送信する必要がある。Ser 12(1対2をサポートする、すなわち、1つの画像を2つの画像にセグメント化することをサポートする)は、2つの画像を取得するために、大きい画像に対してセグメント化を実施し、表示のためにシリアライザの2つのポートを介して第2のデバイス20および第3のデバイス30に画像を別々に送信する。
【0247】
例えば、第1のデバイス10のSoC 11は、画像1(例えば、画素数は3840×720である)と画像2(例えば、画素数は480×240である)とを通常の大きい画像にスティッチング(水平スティッチングまたは垂直スティッチング)する必要がある。第1のデバイス10のSer 12は、2つの画像を取得するために、大きい画像に対してセグメント化を実施し、表示のためにシリアライザの2つのポートを介して第2のデバイス20および第3のデバイス30に画像を別々に送信する。
【0248】
本出願の実施形態では、画素数が行画素数×列画素数によって表される例が説明のために使用される。
【0249】
例えば、画素数が3840×720であることは、行画素数が3840であり、列画素数が720であることを意味する。
【0250】
画素数は、代替的に、列画素数×行画素数によって表され得ることを理解されたい。これは、本出願において限定されない。
【0251】
一部の実施形態では、画像の画素数は、代替的に、画像の解像度によって表されてもよい。
【0252】
例えば、画像の解像度は、水平解像度×垂直解像度で表されてもよいし、垂直解像度×水平解像度で表されてもよい。垂直解像度は、垂直における画像の水平走査線線の量として理解されてもよく、水平解像度は、各水平走査上の画素数である。換言すれば、垂直解像度は、列画素数に相当し得、水平解像度は、行画素数に相当し得る。
【0253】
例えば、画像の解像度が3840×720であることは、画像の垂直に720本の水平走査線線があり、各水平走査線に3840個の画素があることを意味する。
【0254】
本出願の実施形態では、規則的な画像は、画像の各行内の画素数が同じであり、画像の各列内の画素数も同じであるものとして理解され得る。行画素数は、列画素数と同じであってもよいし、異なっていてもよい。
【0255】
本出願の実施形態では、不規則な画像は、画像の少なくとも1つの行における画素数が別の行における画素数と異なり、かつ/または画像の少なくとも1つの列における画素数が別の列における画素数と異なるものとして理解され得る。
【0256】
本出願の実施形態では、水平スティッチングは、2つの画像に対して行画素スティッチングを実施することとして理解され得る。水平スティッチングの後、行画素数は、2つの画像の行画素数の和である。垂直スティッチングは、2つの画像に対して列画素スティッチングを実施することとして理解され得る。垂直にスティッチングした後、列画素数は、2つの画像の列画素数の和である。
【0257】
図2および図3を参照して、以下では、表示のために第1のデバイス10が画像1を第2のデバイス20に、画像2を第3のデバイス30に別々に伝送するプロセスを詳細に説明する。
【0258】
図2は、第1のデバイス10が第2のデバイス20および第3のデバイス30に画像を伝送する例の概略図である。
【0259】
例えば、図2に示すように、SoCのピンおよびインターフェースの制限により、SoCおよびSerのインターフェース層において複数の画像は区別されることができない。SoC 11は、画像1および画像2を水平にスティッチングして規則的な大きな画像にする必要がある。しかしながら、画像1および画像2の表示フォーマットは一致しないため、例えば、画像2の列画素数は、画像1の列画素数より少なく、例えば、パディング画素は、画像1の表示フォーマットに一致するように、パディング(Padding)のために画像2の下部に追加されてよく、その結果、画像1および画像2のスティッチングを通じて取得された大きい画像の列画素数(720)は、画像1のものに一致する。例えば、図3は、画像1および画像2のスティッチングおよび画素パディングを介して取得された大きな画像の概略図である。
【0260】
また、図2に示すように、SoC 11は、MIPI、oLDIまたはDPを介してSer 12にスティッチングされた大画像を送信してもよい。大きい画像を受信した後、Ser 12は、大きい画像をセグメント化する必要がある。例えば、図2に示される大きい画像を受信した後、Ser 12は、画像1および画像3を取得するために、大きい画像を水平に分割する必要があり、画像3は、画像1およびパディング画素を含む。Ser 12は、画像1をポート121aおよびケーブル121bを介してDes 21に送信し、画像3をポート122aおよびケーブル122bを介してDes 31に送信してもよい。
【0261】
本出願の実施形態では、水平に分割すること(または水平にセグメント化すること)は、複数の画像を取得するために画像に対して行画素分割(またはセグメント化)を実施することとして理解されてよく、または、水平スティッチングの逆処理として理解されてよい。垂直に分割すること(または垂直にセグメント化すること)は、複数の画像を取得するために画像に対して列画素分割(またはセグメント化)を実施することとして理解され得、または垂直にスティッチングすることの逆の処理として理解され得る。
【0262】
Des 31は、パディング画素をプルーニング(パディング解除)する能力を有していないため、Des 31は、MIPIまたはoLDIを介してディスプレイ32に画像3を直接送信する。画像3を受信した後、ディスプレイ32は、画像2を取得するために、画像3のパディング画素をプルーニングし、画像2はディスプレイ32上に表示される。
【0263】
第1のデバイス10が画像3を第3のデバイス30に伝送するプロセスでは、画像3がパディング画素を含むため、パディング画素が伝送帯域幅を占有することが知見され得る。これは、低い伝送効率を引き起こす。加えて、Des 31によって伝送される画像3はパディング画素を含むため、画素クロック(Pixel clock、PLCK)は大きい。これは、ディスプレイ32上のMIPI、oLDI、またはDPに対してより高いインターフェース要件を課し、一部のスクリーン側デバイスは画素クロックに適応することができない。PLCKは、毎秒伝送される画像画素数であり、対応するクロックが、PLCKに基づいて伝送機および受信機上で設定される必要がある。画素クロックは、画像フォーマットおよびフレームレートに関連される。例えば、画像1に関して、フレームレートが60フレーム毎秒である場合、毎秒伝送される必要がある画素数は、3840×720×60=165888000であり、すなわち、PLCK=165.888 MHzである。画像3について、毎秒伝送される必要がある画素数は、480×720×60=20736000であり、すなわち、PLCK=20.736 MHzである。画像2について、1秒当たりに伝送される必要がある画素数は、480×240×60=6912000であり、PLCK=6.912 MHzである。画像3のPLCKは、画像2のPLCKに比べて200%改善されている。より高いPLCKは、伝送機および受信機のハードウェア能力に対するより高い要件を示す。
【0264】
したがって、本出願の実施形態は、画像処理方法を提供する。この方法を使用することによって取得される画像は、少ないパディング画素を含む。したがって、画像を伝送するプロセスにおいて、パディング画素は、少量の伝送帯域幅を占有する。これにより、画像伝送効率を向上させる。
【0265】
以下では、特定の添付図面を参照して、本出願の実施形態において提供される画像処理方法を詳細に説明する。
【0266】
図4は、本出願の実施形態による画像処理方法200の一例の概略フローチャートである。
【0267】
例えば、図4に示すように、方法200は、以下のステップを含む。
【0268】
S210:第1の画像および第2の画像に基づいて第1のスティッチング画像を取得する。第1の画像の行画素数は、Mであり、列画素数は、Nであり、M>Nである。第2の画像の行画素数は、Pであり、列画素数は、Qであり、Q≧Mである。第1のスティッチング画像の行画素数は、N+Pであり、列画素数は、Qである。第1のスティッチング画像は、第2の画像および第3の画像を含む。第3の画像は、第1の画像の第1の前処理によって取得された画像である。第1の前処理は、第1の画像を回転させることを含むか、または第1の前処理は、第1の画像を回転させてパディングすることを含む。
【0269】
本出願の実施形態による画素数は正の整数であることを理解されたい。具体的には、M、N、P、Qは、正の整数である。
【0270】
本出願の実施形態では、行画素数は各行の画素数であることを理解されたい。
【0271】
例えば、第1の画像の行画素数は、Mであり、すなわち、第1の画像の各行にM個の画素がある。別の例では、第2の画像の行画素数は、Pであり、すなわち、第1の画像の各行にP個の画素がある。別の例では、第1のスティッチング画像の行画素数はN+Pであり、すなわち、第1のスティッチング画像の各行にN+P個の画素がある。
【0272】
本出願の実施形態では、列画素数は、各列内の画素数であることを理解されたい。例えば、第1の画像の列画素数は、Nであり、すなわち、第1の画像の各列にN個の画素がある。
【0273】
例えば、第1の画像の列画素数は、Nであり、すなわち、第1の画像の各列にN個の画素がある。別の例では、第2の画像の列画素数は、Qであり、すなわち、第1の画像の各列にQ個の画素がある。別の例では、第1のスティッチング画像の列画素数はQであり、すなわち、第1のスティッチング画像の各列にQ個の画素がある。
【0274】
説明を容易にするために、画像の画素数が行画素数×列画素数によって表される例が、以下の説明のために使用される。画像の画素数は、代替的に、列画素数×行画素数によって表され得ることを理解されたい。これは、本出願において限定されない。
【0275】
本出願の全ての実施形態において、PとQとの間の値の関係は限定されない。例えば、Pは、Qよりも大きい、Qに等しい、またはQよりも小さいことがある。以下の添付の図面では、PがQよりも大きい例が説明のために使用される。
【0276】
本出願の実施形態では、S210を実装する方式は限定されない。以下では、例として方式1から方式4を使用することによってS210を詳細に説明する。方式1、方式3、および方式4は、第1の画像の画素数および第2の画像の画素数がQ>Mを満たす場合に適用可能である。方式2は、第1の画像の画素数および第2の画像の画素数がQ=Mを満たす場合に適用可能である。
【0277】
方式1
方式1は、S11~S13を含み得る。以下、S11~S13について具体的に説明する。
【0278】
S11:第4の画像を取得するために、第1の画像を回転させる。
【0279】
一部の実施形態では、第4の画像を取得するために、第1の画像は(90°+180°×n)だけ回転されることができる。この場合、第4の画像の画素数はN×Mである。
【0280】
本出願の実施形態において、nは整数である。例えば、nが0である場合、第4の画像を取得するために、第1の画像は90°回転されることができる。別の例では、nが1である場合、第4の画像を取得するために、第1の画像は270°回転されることができる。別の例では、nが-1である場合、第4の画像を取得するために、第1の画像は-90°回転されることができる。
【0281】
画像回転角の正および負の方向は、本出願の実施形態では限定されない。例えば、画像回転角の正方向は時計回りの方向であってもよく、画像回転角の負方向は反時計回りの方向である。別の例では、画像回転角の正方向は、反時計回りの方向であってもよく、画像回転角の負方向は、時計回りの方向である。画像回転角の正方向が時計回り方向であり、画像回転角の負方向が反時計回り方向である例が、説明のために使用される。
【0282】
例えば、図5は、本出願の実施形態による方式1で第1の画像501および第2の画像502に基づいて第1のスティッチング画像504を取得する例の概略図である。図5に示すように、第1の画像501の画素数は480×240であり、すなわち、M=480、N=240である。第2の画像502の画素数は3840×720であり、すなわち、P=3840、Q=720である。S11は、第4の画像5031を取得するために、第1の画像を90°回転させる(例えば、第1の画像を時計回りに90°回転させる)ことを、具体的には含み得る。この場合、第4の画像5031の画素数は240×480である。
【0283】
さらに、第4の画像および第2の画像が不規則な画像にスティッチングされる場合、第4の画像および第2の画像が規則的な画像にスティッチングされ得るように、S12が第4の画像に対してさらに実施される必要がある。
【0284】
S12:第3の画像を取得するために、第4の画像に対して画素パディングを実施する。
【0285】
一部の実施形態では、第4の画像の画素数はN×Mであり、第2の画像の画素数はP×Qであるため、第4の画像に対して列画素パディングが実施されてもよく、その結果、第4の画像および第2の画像が水平にスティッチングされて規則的な画像にすることができ、第4の画像の各列内の画素数はMからQに増加し、各行内の画素数は不変のままであり、依然としてNである。したがって、画素パディングを通じて取得される第3の画像の列画素数は、第2の画像の列画素数と同じである。この場合、第4の画像においてパディングされる画素数はN×(Q-M)であり、第3の画像の画素数はN×Qである。
【0286】
説明を容易にするために、本出願の実施形態では、以下の説明のための例として水平方向のスティッチングが使用される。
【0287】
一部の実施形態では、第3の画像を取得するために、第4の画像の第1のターゲット位置から画素パディングが実施されることができる。例えば、第1のターゲット位置は、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む。
【0288】
一部の実施形態では、第1のターゲット位置は予め設定されてもよい。
【0289】
例えば、本出願の実施形態では、画像の下部位置は、画像の最後の行の位置として理解され得る。例えば、第4の画像の下部位置は、第4の画像の最後の行の位置として理解され得る。
【0290】
図6は、本出願の実施形態による、第3の画像を取得するために、第4の画像に対して画素パディングを実施する3つの例の概略図である。
【0291】
例えば、図6(a)に示すように、第3の画像503を取得するために、第4の画像5031の下部位置(最後の行の位置)以降に画素パディングが実施される。この場合、第3の画像503の画素数は240×720であり、第3の画像503は第4の画像5031および画素パディング領域5032を含み、画素パディング領域5032の画素数は240×240である。
【0292】
例えば、本出願の実施形態では、画像の上部位置は、画像の第1の行の位置として理解され得る。例えば、第4の画像の上部位置は、第4の画像の第1の行の位置として理解され得る。
【0293】
別の例では、図6(b)に示すように、第3の画像503を取得するために、第4の画像5031の先頭位置(第1の行の位置)の前に画素パディングが実施される。この場合、第3の画像503の画素数は240×720であり、第3の画像503は第4の画像5031および画素パディング領域5032を含み、画素パディング領域5032の画素数は240×240である。
【0294】
例えば、本出願の実施形態では、画像の中間位置は、画像の第1の行(第1の行を除く)から最後の行(最後の行を除く)までのうちの任意の少なくとも1つの位置として理解され得る。例えば、第4の画像の中間位置は、第4の画像の第1の行(第1の行を除く)から最後の行(最後の行を除く)までのうちの任意の少なくとも1つの位置として理解され得る。
【0295】
一部の実施形態では、少なくとも1つの中間位置が含まれてもよい。中間位置の数は、本出願において限定されない。
【0296】
任意選択で、複数の中間位置が含まれる実施形態では、S12は、最初に、複数の第1のサブ画像を取得するために、第4の画像に対して列画素セグメント化(前述の垂直分割として理解され得る)が実施されること、を具体的には含む。第2に、複数の第1のサブ画像は、複数の第1のサブ画像の間に第1のギャップ領域が形成されるように、間隔を置いて配置される。最後に、第3の画像を取得するために、第1のギャップ領域に対して画素パディングが実施される。
【0297】
例えば、第1のサブ画像の量は、第1のサブ画像の量が1より大きい限り、本出願の実施形態において限定されない。例えば、図6(c)に示されるように、3つの第1のサブ画像がある例が説明のために使用される。
【0298】
例えば、第4の画像の列画素セグメント化を通じて取得された複数の第1のサブ画像の各々のサイズは、本出願の実施形態において限定されない。
【0299】
例えば、図6(c)に示されるように、第3の画像503を取得するために、第4の画像5031の2つの中間位置(第1の行から最後の行のうちの任意の少なくとも1つの位置)から画素パディングが実施される。具体的には、最初に、3つの第1のサブ画像、すなわち、第1のサブ画像50311、第1のサブ画像50312、および第1のサブ画像50313を取得するために、第4の画像5031に対して列画素セグメント化が実施される。第2に、第1のサブ画像50311、第1のサブ画像50312、および第1のサブ画像50313は、第1のギャップ領域50321および第1のギャップ領域50322が第1のサブ画像50311、第1のサブ画像50312、および第1のサブ画像50313の間に形成されるように、間隔を置いて配置される。最後に、第3の画像503を取得するために、第1のギャップ領域50321および第1のギャップ領域50322に対して画素パディングが実施される。この場合、第3の画像503の画素数は240×720であり、第3の画像503は、第1のサブ画像50311と、第1のサブ画像50312と、第1のサブ画像50313と、画素で満たされた第1のギャップ領域50321と、画素で満たされた第1のギャップ領域50322とを含む。
【0300】
例えば、複数の第1のサブ画像間の間隔のサイズは、本出願の実施形態において限定されない。例えば、第1のサブ画像の間隔は、等間隔であってもよい。
【0301】
例えば、図5に示されるように、S12に従って、第3の画像503を取得するために、第4の画像5031の下部位置の後に画素パディングが実施される。第3の画像503の画素数は240×720である。
【0302】
図5において、S12は、第3の画像503を取得するために、第4の画像5031の下部位置の後に画素パディングが実施される例を使用することによって説明されることを理解されたい。
【0303】
S13:第1のスティッチング画像を取得するために、第3の画像および第1の画像をスティッチングする。
【0304】
一部の実施形態では、第1のスティッチング画像を取得するために、第3の画像および第1の画像は、水平にスティッチングされる。
【0305】
例えば、図5に示されるように、第3の画像503および第1の画像502は、第1のスティッチング画像504を取得するために、水平にスティッチングされる。この場合、第1のスティッチング画像の画素数は(240+3840)×720である。
【0306】
上記で説明した方式1から、方式1では、第1の前処理は、第1の画像を回転させることとパディングすることとを含むことが知見され得る。
【0307】
方式2
方式2は、S21およびS22を含み得る。以下、S21およびS22について具体的に説明する。
【0308】
S21:第3の画像を取得するために、第1の画像を回転させる。
【0309】
一部の実施形態では、第3の画像を取得するために、第1の画像は(90°+180°×n)だけ回転されることができる。この場合、第3の画像の画素数はN×Mである。
【0310】
nの値は、前述のnの値と一致する。
【0311】
例えば、図7は、本出願の実施形態による、方式2で第1の画像511および第2の画像512に基づいて第1のスティッチング画像514を取得する例の概略図である。図7に示すように、第1の画像511の画素数は720×240であり、すなわち、M=720であり、N=240である。第2の画像512の画素数は3840×720であり、すなわち、P=3840、Q=720である。S21は、第3の画像513を取得するために、第1の画像を90°回転させること(例えば、第1の画像を時計回りに90°回転させること)を、具体的には含み得る。この場合、第3の画像513の画素数は240×720である。
【0312】
S22:第1のスティッチング画像を取得するために、第3の画像および第2の画像をスティッチングする。
【0313】
一部の実施形態では、第1のスティッチング画像を取得するために、第3の画像および第2の画像は、水平にスティッチングされる。
【0314】
例えば、図7に示されるように、第3の画像513および第2の画像512は、第1のスティッチング画像514を取得するために、水平にスティッチングされる。この場合、第1のスティッチング画像の画素数は(240+3840)×720である。
【0315】
上記で説明した方式2から、方式2では、第1の前処理は、第1の画像を回転させることを含むことが知見され得る。
【0316】
方式3
方式3は、S31~S33を含み得る。以下、S31~S33について具体的に説明する。
【0317】
S31:第5の画像を取得するために、第1の画像に対して画素パディングを実施する。
【0318】
一部の実施形態では、第1の画像の画素数はM×Nであり、第2の画像の画素数はP×Qであるため、第1の画像に対して行画素パディングが実施されてもよく、その結果、第1の画像および第2の画像が水平にスティッチングされて規則的な画像にすることができ、第1の画像の各行内の画素数はMからQに増加し、各列内の画素数は不変のままであり、依然としてNである。したがって、画素パディングを介して取得された第5の画像の行画素数は、第2の画像の行画素数と同じである。この場合、第1の画像においてパディングされる画素数は(Q-M)×Nであり、第5の画像の画素数はQ×Nである。
【0319】
一部の実施形態では、第5の画像を取得するために、第1の画像の第2のターゲット位置から画素パディングが実施され得る。例えば、第2のターゲット位置は、左位置、右位置、または中間位置のうちの少なくとも1つを含む。
【0320】
一部の実施形態では、第2のターゲット位置は予め設定されてもよい。
【0321】
例えば、本出願の実施形態では、画像の左位置は、画像の第1の列の位置である。例えば、第1の画像の左位置は、第1の画像の第1の列の位置として理解され得る。
【0322】
図8は、本出願の実施形態による、第5の画像を取得するために、第1の画像に対して画素パディングを実施する3つの例の概略図である。
【0323】
例えば、図8(a)に示すように、第5の画像5241を取得するために、第1の画像521の左の位置(第1の列の位置)から画素パディングが実施される。この場合、第5の画像5241の画素数は720×240であり、第5の画像524は第1の画像521および画素パディング領域5231を含み、画素パディング領域5231の画素数は240×240である。
【0324】
例えば、本出願の実施形態では、画像の右位置は、画像の最後の列の位置である。例えば、第1の画像の右位置は、第1の画像の最後の列の位置として理解され得る。
【0325】
例えば、図8(b)に示すように、第5の画像5242を取得するために、第1の画像521の右の位置(最後の列の位置)から画素パディングが実施される。この場合、第5の画像5242の画素数は720×240であり、第5の画像5242は第1の画像521および画素パディング領域5232を含み、画素パディング領域5232の画素数は240×240である。
【0326】
例えば、本出願の実施形態では、画像の中間位置は、画像の第1の列(第1の列を除く)から最後の列(最後の列を除く)までのうちの任意の少なくとも1つの位置である。例えば、第1の画像の中間位置は、第1の画像の第1の列(第1の列を除く)から最後の列(最後の列を除く)までのうちの任意の少なくとも1つの位置として理解され得る。
【0327】
一部の実施形態では、少なくとも1つの中間位置が含まれてもよい。中間位置の数は、本出願において限定されない。
【0328】
任意選択で、複数の中間位置が含まれる実施形態では、S31は、最初に、複数の第2のサブ画像を取得するために、第1の画像に対して行画素セグメント化(代替的に、前述の水平分割として理解され得る)が実施されること、を具体的には含む。第2に、複数の第2のサブ画像は、複数の第2のサブ画像の間に第2のギャップ領域が形成されるように間隔を置いて配置される。最後に、第5の画像を取得するために、第2のギャップ領域に対して画素パディングが実施される。
【0329】
例えば、第2のサブ画像の量は、第2のサブ画像の量が1より大きい限り、本出願の実施形態において限定されない。例えば、図8(c)に示されるように、3つの第2のサブ画像がある例が説明のために使用される。
【0330】
例えば、第1の画像の行画素セグメント化を通じて取得される複数の第2のサブ画像の各々のサイズは、本出願の実施形態において限定されない。
【0331】
例えば、図8(c)に示すように、第5の画像5243を取得するために、第1の画像521の中間の2つの位置(第1の列から最後の列までの任意の少なくとも1つの位置)から画素パディングが実施される。具体的には、最初に、3つの第2のサブ画像、すなわち、第2のサブ画像5211、第2のサブ画像5212、および第2のサブ画像5213を取得するために、第1の画像521に対して行画素セグメント化が実施される。第2に、第2のサブ画像5211、第2のサブ画像5212、および第2のサブ画像5213は、第2のギャップ領域5233および第2のギャップ領域5234が第2のサブ画像5211、第2のサブ画像5212、および第2のサブ画像5213の間に形成されるように、間隔を置いて配置される。最後に、第5の画像5243を取得するために、第2のギャップ領域5233および第2のギャップ領域5234に対して画素パディングが実施される。この場合、第5の画像5243の画素数は720×240であり、第5の画像5243は、第2のサブ画像5211と、第2のサブ画像5212と、第2のサブ画像5213と、画素で満たされた第2のギャップ領域5233と、画素で満たされた第2のギャップ領域5234とを含む。
【0332】
例えば、複数の第2のサブ画像間の間隔のサイズは、本出願の実施形態において限定されない。例えば、第2のサブ画像の間隔は、等間隔であってもよい。
【0333】
S32:第3の画像を取得するために、第5の画像を回転させる。
【0334】
一部の実施形態では、第3の画像を取得するために、第5の画像は(90°+180°×n)だけ回転されることができる。この場合、第3の画像の画素数はN×Qである。
【0335】
S33:第1のスティッチング画像を取得するために、第3の画像および第2の画像をスティッチングする。
【0336】
一部の実施形態では、第1のスティッチング画像を取得するために、第3の画像および第2の画像は、水平にスティッチングされる。
【0337】
上記で説明した方式3から、方式3では、第1の前処理は、第1の画像を回転させることとパディングすることとを含むことが知見され得る。
【0338】
方式4
方式4は、S41~S43を含み得る。以下、S41~S43について具体的に説明する。
【0339】
S41:第4の画像を取得するために、第1の画像を回転させる。
【0340】
一部の実施形態では、第4の画像を取得するために、第1の画像は(90°+180°×n)だけ回転されることができる。
【0341】
S41の関連説明については、S11の関連説明を参照されたい。詳細は本明細書では再び説明されない。
【0342】
S42:第2のスティッチング画像を取得するために、第4の画像および第2の画像をスティッチングする。
【0343】
一部の実施形態では、第2のスティッチング画像を取得するために、第4の画像と第2の画像とが水平方向にスティッチングされ得る。この場合、第2のスティッチング画像は不規則な画像であり、第2のスティッチング画像の少なくとも1つの列内の画素数(M)は、別の列内の画素数(Q)とは異なる。
【0344】
S43:第1のスティッチング画像を取得するために、第2のスティッチング画像に対して画素パディングを実施する。
【0345】
一部の実施形態では、第2のスティッチング画像に対して画素パディングを実施することは、第2のスティッチング画像内の第4の画像に対して列画素パディングを実施すること、すなわち、第4の画像の各列内の画素数がMからQに増加するように、通常の第2のスティッチング画像を取得するために、第2のスティッチング画像内の列画素数がQ未満である列(すなわち、第4の画像に対応する列)に対して列画素パディングを実施することであり得る。
【0346】
一部の実施形態では、第1のスティッチング画像を取得するために、第2のスティッチング画像内の第4の画像の第1のターゲット位置から画素パディングが実施されることができる。第1のターゲット位置は、上端位置、下部位置、または中間位置を含む。
【0347】
上部位置、下部位置、または中間位置の説明については、S12の関連説明を参照されたい。詳細は本明細書では再び説明されない。
【0348】
上記で説明した方式4から、方式4では、第1の前処理は、第1の画像を回転させ、パディングすることを含むことが知見され得る。
【0349】
例えば、S210は、第1の処理ユニットによって実施され得る。例えば、第1の処理ユニットは、前述のSoCを含み得る。
【0350】
一部の実施形態では、第1の画像および/または第2の画像は、第1の処理ユニットによって生成または記憶された画像であり得る。一部の他の実施形態では、第1の画像および/または第2の画像は、代替的に、別の装置によって送信され、第1の処理ユニットによって受信される画像であってもよい。例えば、他の装置は、カメラ、イベントデータレコーダなどであってもよい。代替的に、第1の画像および/または第2の画像は、別の装置によって送信され、第1の処理ユニットによって受信された画像に対して第1の処理ユニットによって実施された処理を通じて取得された画像であり得る。例えば、処理は、プルーニング、スティッチング、圧縮などを含み得る。これは、本出願において限定されない。
【0351】
一部の実施形態では、第1の画像および/または第2の画像は、複数の画像をスティッチングすることによって形成された画像であり得る。これは、本出願において限定されない。
【0352】
図4に示すように、方法200は、S220をさらに含む。
【0353】
S220:第1のスティッチング画像を送信する。
【0354】
例えば、S220は、送信ユニットによって実施されてよい。
【0355】
一部の実施形態では、方法200は、第1の画像処理装置によって実施される。具体的には、第1の画像処理装置は、第1の処理ユニットと、送信ユニットとを含む。第1の画像処理装置の第1の処理ユニットはS210を実施し、第1の画像処理装置の送信ユニットはS220を実施する。
【0356】
例えば、本出願の実施形態では、第1の画像処理装置は、ドメインコントローラ、または画像処理機能を有する別の装置、例えば、画像処理機能を有するMDC、CDC、もしくはゲートウェイを含むが、これらに限定されない。
【0357】
一部の実施形態では、第1の画像処理装置は第1のインターフェースをさらに含み、第2の画像処理装置の送信ユニットは、第1のインターフェースを介して第1のスティッチング画像を別の装置に送信する。
【0358】
例えば、第1のインターフェースは、MIPI、oLDI、またはDPを含むが、これらに限定されない。
【0359】
前述の方法200に基づいて取得された第1のスティッチング画像(例えば、図5に示される第1のスティッチング画像504および図7に示される第1のスティッチング画像514)から、本出願の実施形態において提供される画像処理方法によれば、取得された第1のスティッチング画像は、240×240個のパディング画素(例えば、図5に示される第1のスティッチング画像504)または0×0個のパディング画素(例えば、図7に示される第1のスティッチング画像514)を含み、これらは、既存の解決策において提供される画像処理方法に基づいて取得された(図3に示されるような)スティッチング画像に含まれるパディング画素(480×480)よりも少ないことが知見され得る。このようにして、第1のスティッチング画像を伝送するプロセスにおいて、パディング画素は、少量の伝送帯域幅を占有する。これにより、第1のスティッチング画像の伝送効率を向上させる。加えて、既存の解決策と比較して、第2の画像を処理する複雑さは、方法200においてさらに増加されることはない。
【0360】
一部の実施形態では、S210は、別の方式でさらに実装されてもよい。別の方式で取得された第1のスティッチング画像が、既存の解決策で取得されたスティッチング画像よりも少ないパディング画素を有する任意の処理が、本出願の実施形態による別の方式に適用可能である。
【0361】
例えば、1つの可能な実施態様において、別の方式は、第1の画像の各行内の行画素が先頭から末尾まで接続され、すなわち、iの値が1~Nであり、iが正の整数であることを含み得る。第1の画像の(i+1)番目の行における画素は、第1の画像のi番目の行における最後の画素に水平にスティッチングされ、第7の画像を取得するために、第2の画像の行画素数を粒度として使用することによって、新しい行画素数が再カットされる。第7の画像が、行画素数が第2の画像の行画素数よりも少ない行を有する場合、行画素パディングは、第7の画像の各行内の画素数が第2の画像の行画素数であるように、行画素数が第2の画像の行画素数よりも少ない第7の画像内の行に対して実施され得る。加えて、第2の画像および第1の画像は、第1のスティッチング画像を取得するために、垂直にスティッチングされる。
【0362】
例えば、第1の画像の画素数が480×240である場合、第2の画像の画素数は1080×720である。iの値は1~240であり、第1の画像の(i+1)番目の行内の画素が第1の画像のi番目の行内の最後の画素に水平にスティッチングされた後、第7の画像を取得するために、第1の画像の各行内の行画素が先頭から末尾まで接続され、1080を粒度として使用することによって新しい行画素数が再カットされる。この場合、第7の画像の最後の行における行画素数は720であり、これは1080未満である。したがって、第7の画像の最後の行における行画素数が1080となるように、第7の画像の最後の行に対して画素パディングが実施されてもよい。このようにして、第7の画像の各行における画素数は1080である。この場合、第7の画像の列画素数は107である。次いで、第2の画像および第7の画像が垂直にスティッチングされて、第1のスティッチング画像を取得する。この場合、第1のスティッチング画像の画素数は1080×827であり、第1のスティッチング画像に含まれるパディング画素数は(1080-720)=360である。
【0363】
この場合、第1のスティッチング画像内の第2の画像が第1の画像の上にある場合、第1のスティッチング画像を受信するデバイスが第1の画像を伝送する時間期間内に第2の画像を依然として安定して出力するように、第1のスティッチング画像を受信するデバイスは、第2の画像の画素をバッファリングすることができる。第1のスティッチング画像内の第2の画像が第1の画像の下にある場合、第1のスティッチング画像を受信するデバイスは、第1の画像の画素をバッファリングすることができ、その結果、第1のスティッチング画像を受信するデバイスは、第2の画像を伝送する時間期間内に第1の画像を依然として安定して出力する。
【0364】
例えば、別の可能な実装形態では、別の方式は、第1の画像の各列内の列画素が先頭から末尾まで接続される、すなわち、jの値が1~Mあり、jが正の整数であることを含み得る。第1の画像の(j+1)番目の列内の画素が、第1の画像のj番目の列内の最後の画素に垂直にスティッチングされ、第2の画像の列画素数を粒度として使用することによって、新しい列画素数が再カットされて、第8の画像を取得する。第8の画像が、列画素数が第2の画像の列画素数よりも少ない列を有する場合、第8の画像の各列内の画素数が第2の画像の列画素数であるように、第8の画像内の、列画素数が第2の画像の列画素数よりも少ない列に対して画素パディングが実施され得る。加えて、第2の画像および第8の画像が水平にスティッチングされて、第1のスティッチング画像を取得する。
【0365】
例えば、第1の画像の画素数が480×240である場合、第2の画像の画素数は1080×720である。jの値は1~480であり、第1の画像の(j+1)番目の列内の画素が第1の画像のj番目の列内の最後の画素に垂直にスティッチングされた後、第1の画像の各列内の列画素が先頭から末尾まで接続され、720を粒度として使用することによって新しい列画素数が再カットされて、第8の画像を取得する。この場合、第8の画像は、列画素数が720未満である列を有さず、第8の画像の列画素数は720であり、第8の画像の行画素数は160である。次いで、第2の画像および第8の画像が水平にスティッチングされて、第1のスティッチング画像を取得する。この場合、第1のスティッチング画像の画素数は1240×720であり、第1のスティッチング画像はパディング画素を含まない。
【0366】
例えば、さらに別の可能な実装形態では、別の方式は、第1の画像および第2の画像が分割され、次いで再結合され、スティッチングされて、第1のスティッチング画像を取得することを含み得る。この場合、取得された第1のスティッチング画像は、パディング画素を含んでもよく、または含まなくてもよい。
【0367】
異なる分割方式、再結合方法、およびスティッチング方法は、異なる処理の複雑さに対応することを理解されたい。処理の複雑さに関係する要因が考慮されないとき、第1の画像および第2の画像は、第1のスティッチング画像を取得するために、分割、ならびに再結合およびスティッチングの異なる方式で、分割され、次いで再結合およびスティッチングされ得る。
【0368】
例えば、前述の第1の画像は、複数のサブ画像を取得するためにカットされ、その結果、複数のサブ画像がスティッチングされた後、複数のサブ画像は、第1のスティッチング画像を取得するために、第2の画像の列画素数または行画素数、次いで、第1の画像のセグメント化および第2の画像のスティッチングを介して取得された画像に適合され得る。
【0369】
例えば、第2の画像の列画素数が第1の画像の列画素数のL倍である場合(すなわち、Q=L×N)、最初に、L個のサブ画像を取得するために、第1の画像に対して行画素セグメント化が実施されてもよい。第2に、第6の画像を取得するために、L個のサブ画像が垂直にスティッチングされる。この場合、第6の画像の行画素数は、第1の画像の行画素数の1/Lであり、第6の画像の列画素数は、第2の画像の列画素数である。最後に、第6の画像および第2の画像が水平方向にスティッチングされて、第1のスティッチング画像を取得する。この場合、第1のスティッチング画像の行画素数は、第2の画像の行画素数と第6の画像の行画素数との和であり、第1のスティッチング画像の列画素数は、第2の画像または第6の画像の列画素数である。第2の画像の列画素数は第6の画像の列画素数と同じであるため、この場合、取得された第1のスティッチング画像はパディング画素を有さない。既存の解決策において提供される画像処理方法に基づいて取得された(図3に示されるような)スティッチング画像に含まれるパディング画素(480×480)と比較して、第1のスティッチング画像に含まれるパディング画素は、はるかに少ない。このようにして、第1のスティッチング画像を伝送するプロセスにおいて、パディング画素は伝送帯域幅を占有しない。これにより、第1のスティッチング画像の伝送効率を向上させる。
【0370】
例えば、図9は、本出願の実施形態による、第1の画像551および第2の画像552に基づいて第1のスティッチング画像553を取得する例の概略図である。図9に示すように、第1の画像551の画素数は480×240であり、すなわち、M=480であり、N=240である。第2の画像552の画素数は3840×720であり、すなわち、P=3840、Q=720である。第1の画像551および第2の画像552に基づいて第1のスティッチング画像553を取得するプロセスは、S51~S53を含む。S51において、第2の画像552の列画素数720は、第1の画像551の列画素数240の3倍(すなわち、L=3)であるため、第1の画像551に対して行画素セグメント化が実施されて、3つのサブ画像、例えば、第3のサブ画像5511、第3のサブ画像5512、および第3のサブ画像5513を取得することができる。この場合、第3のサブ画像5511、第3のサブ画像5512、および第3のサブ画像5513の画素数は、全て160×240である。S52において、第3のサブ画像5511、第2の画像552、および第3のサブ画像5512が垂直にスティッチングされて、第6の画像554を取得する。この場合、第6の画像554の画素数は160×720である。最後に、第6の画像554および第2の画像552が水平方向にスティッチングされて、第1のスティッチング画像553を取得する。この場合、第1のスティッチング画像の画素数は、(3840+160)×720である。
【0371】
前述の実施形態は、第1のスティッチング画像が、第2の画像と、第1の画像の第1の前処理を通じて取得された画像とに基づいて取得される例を使用することによって説明される。一部の実施形態では、第1の画像と、第2の画像の第1の前処理を通じて取得された画像とがさらに垂直にスティッチングされて、第1のスティッチング画像を取得することができることを理解されたい。この場合、第1の画像の画素数が依然としてM×Nであり、第2の画像の画素数が依然としてP×Qである場合、第1のスティッチング画像の画素数はQ×(P+N)である。具体的なプロセスの説明については、前述の方法200における関連する説明を参照されたい。詳細は本明細書では再び説明されない。
【0372】
この場合、第1のスティッチング画像内の第2の画像が第1の画像の上にある場合、第1のスティッチング画像を受信するデバイスが第1の画像を伝送する時間期間内に第2の画像を依然として安定して出力するように、第1のスティッチング画像を受信するデバイスは、第2の画像の画素をバッファリングすることができる。第1のスティッチング画像内の第2の画像が第1の画像の下にある場合、第1のスティッチング画像を受信するデバイスは、第1の画像の画素をバッファリングすることができ、その結果、第1のスティッチング画像を受信するデバイスは、第2の画像を伝送する時間期間内に第1の画像を依然として安定して出力する。
【0373】
以下では、本出願の実施形態において提供される別の画像処理方法200’について説明する。方法は、第2の画像の列画素数Qが第1の画像の行画素数Mよりも少ない実施形態に適用可能である。方法200では、第4のスティッチング画像または第5のスティッチング画像が、第1の画像および第2の画像に基づいて取得され得る。第1の画像の行画素数は、Mであり、列画素数は、Nであり、M>Nであり、N<Qである。第2の画像の行画素数は、Pであり、列画素数は、Qであり、Q<Mである。第4のスティッチング画像または第5のスティッチング画像の行画素数はP+K×Nであり、列画素数は、Qである。第4のスティッチング画像または第5のスティッチング画像は、第2の画像と、第1の画像の第3の前処理を通じて取得された画像と、を含む。第3の前処理は、回転およびセグメント化を含み、または第3の前処理は、回転、セグメント化、およびパディングを含む。
【0374】
以下では、例としてS211’~S215’’を使用することによって方法200’を説明する。S211’~S215’’は、方法200’の1つの可能な実装形態にすぎず、方法200’の別の実装形態があり得ることを理解されたい。例えば、次のS214’’’の前に、第1の画像は、第9の画像を取得するために、最初に水平にセグメント化され、次いで回転され、次いで水平にスティッチングされ得る。方法200’の具体的な実装形態は、本出願の実施形態に限定されない。
【0375】
方法200’は、S211’~S215’を含む。以下、S211’~S215’について具体的に説明する。
【0376】
S211’:第4の画像を取得するために、第1の画像を回転させる。第1の画像の行画素数は、Mであり、列画素数は、Nであり、M>NかつN<Qである。
【0377】
一部の実施形態では、第4の画像を取得するために、第1の画像は(90°+180°×n)だけ回転される。この場合、第4の画像の画素数はN×Mである。nは整数である。
【0378】
S212’:K個のサブ画像を取得するために、第4の画像を垂直にセグメント化する。K>1であり、Kは、(K-1)×Q<M≦K×Qを満たす。K個のサブ画像の行画素数は全てNであり、K個のサブ画像の列画素数は全てM/Kである。
【0379】
S213’:第9の画像を取得するために、K個のサブ画像を水平にスティッチングする。第9の画像の行画素数はK×Nであり、列画素数はM/Kである。
【0380】
S214’:第3のスティッチング画像を取得するために、第9の画像と第2の画像とを水平方向にスティッチングする。第2の画像の行画素数は、Pであり、第2の画像の列画素数は、Qであり、Q<Mである。
【0381】
この場合、M<K×Qであれば、第3のスティッチング画像は不規則な画像であり、第3のスティッチング画像のP個の列内の画素数はQであり、K×N個の列内の画素数はM/Kである。換言すれば、第3のスティッチング画像のM/K個の列内の画素数は、他のP個の列内の画素数とは異なる。この場合、ステップS215’がさらに実施される必要がある。M=K×Qの場合、第3のスティッチング画像は規則的な画像であり、S215’における動作は実施される必要がない。第3のスティッチング画像の行画素数はP+K×Nであり、列画素数はQ(またはM/K)である。
【0382】
S215’:第4のスティッチング画像を取得するために、第3のスティッチング画像に対して行画素パディングを実施する。第4のスティッチング画像の行画素数はP+K×Nであり、列画素数はQである(この場合、Q>M/K)。
【0383】
S215によれば、第3のスティッチング画像内の、行画素数がP+K×N未満である行に対して行画素パディングが実施され、その結果、第3のスティッチング画像内の、行画素数がP+K×N未満である行内の行画素数がPからP+K×Nに増加し、それにより、規則的な第4のスティッチング画像を取得する。この場合、パディング画素数は、N×(K×Q-M)である。
【0384】
一部の実施形態では、S212’~S215’は、代替的に、S216’~S219’と置き換えられてもよい。
【0385】
S216’:第10の画像を取得するために、第4の画像に対して列画素パディングを実施する。この場合、第10の画像の行画素数は、Nであり、列画素数はK×Qである。K>1であり、Kは、(K-1)×Q<M≦K×Qを満たす。
【0386】
M=K×Qの場合、S216’は実施される必要はなく、S217’~S219’が直接実施される。M<K×Qの場合、216’が実施される必要がある。
【0387】
この場合、パディング画素数は、N×(K×Q-M)である。
【0388】
S217’:K個のサブ画像を取得するために、第10の画像を垂直にセグメント化する。K個のサブ画像の行画素数は全てNであり、K個のサブ画像の列画素数は全てQである。
【0389】
S218’:第11の画像を取得するために、K個のサブ画像を水平にスティッチングする。第11の画像の行画素数はK×Nであり、列画素数は、Qである。
【0390】
S219’:第5のスティッチング画像を取得するために、第2の画像と第11の画像とを水平方向にスティッチングする。第5のスティッチング画像の行画素数はP+K×Nであり、列画素数は、Qである。
【0391】
一部の実施形態では、方法200’は、前述の第1の処理ユニットによって実行され得る。
【0392】
一部の実施形態では、方法200’は、第4のスティッチング画像または第5のスティッチング画像を送信することをさらに含む。
【0393】
例えば、第4のスティッチング画像または第5のスティッチング画像は、送信ユニットによって送信され得る。
【0394】
一部の実施形態では、方法200’は、第1の画像処理装置によって実施される。具体的には、第1の画像処理装置は、第1の処理ユニットと、送信ユニットとを含む。第1の画像処理装置内の第1の処理ユニットは、方法200’を実施し、第1の画像処理装置内の送信ユニットは、第4のスティッチング画像または第5のスティッチング画像を送信する。
【0395】
例えば、本出願の実施形態では、第1の画像処理装置は、ドメインコントローラ、例えば、MDC、CDCなどを含むが、これらに限定されない。
【0396】
一部の実施形態では、第1の画像処理装置は第1のインターフェースをさらに含み、第2の画像処理装置の送信ユニットは、第1のインターフェースを介して第4のスティッチング画像または第5のスティッチング画像を別の装置に送信する。
【0397】
例えば、第1のインターフェースは、MIPI、oLDI、またはDPを含むが、これらに限定されない。
【0398】
方法200’に従って取得された第4のスティッチング画像または第5のスティッチング画像に含まれるパディング画素数は、N×(K×Q-M)である。しかしながら、既存の解決策によれば、第1の画像および第2の画像はスティッチングされ、取得されたスティッチング画像に含まれるパディング画素数はM×(Q-N)である。N<QおよびM≦K×Qであるため、取得された第4のスティッチング画像または取得された第5のスティッチング画像に含まれるパディング画素数は、既存の解決策において取得されたスティッチング画像に含まれるパディング画素数よりも少ない。したがって、第4のスティッチング画像または第5のスティッチング画像を伝送するプロセスにおいて、パディング画素が少量の伝送帯域幅を占有するため、第4のスティッチング画像または第5のスティッチング画像の伝送効率が改善される。加えて、方法200’では、第2の画像は、第4のスティッチング画像または第5のスティッチング画像を取得するプロセスにおいて処理されない。このようにして、一態様では、既存の解決策と比較して、第2の画像を処理する複雑さがさらに増加されることはない。別の態様では、第4のスティッチング画像または第5のスティッチング画像の各行は、第2の画像の画素の完全な行を含む。第4のスティッチング画像または第5のスティッチング画像を受信するデバイスは、第2の画像の画素をバッファリングする必要がなく、第4のスティッチング画像または第5のスティッチング画像に対して単純なセグメント化を実施することのみによって第2の画像の画素の行を抽出することができ、その結果、第2の画像は、リアルタイムで迅速に転送され得る。
【0399】
本出願の実施形態は、別の画像処理方法300をさらに提供する。画像処理方法300では、第1の画像および第2の画像を取得するために、スティッチング画像に対して第1の処理が実施され得る。
【0400】
例えば、図10は、本出願の実施形態による画像処理方法300の一例の概略フローチャートである。
【0401】
図10に示されるように、方法300は以下のステップを含む。
【0402】
S310:第1のスティッチング画像を取得する。第1のスティッチング画像の画素数は(N+P)×Qである。第1のスティッチング画像は、第2の画像および第3の画像を含む。第2の画像の画素数はP×Qであり、Q≧Mである。
【0403】
一部の実施形態では、S310は、取得ユニットによって実施され得る。
【0404】
任意選択で、一部の実施形態では、S310は、前述の方法200における第1の画像処理装置の送信ユニットから第1のスティッチング画像を取得することであり得る。
【0405】
S320:第1の画像および第2の画像を取得するために、第1のスティッチング画像に対して第1の処理を実施する。第1の画像の画素数はM×Nであり、M>Nである。第1の処理は、第2の画像および第3の画像を取得するために、第1のスティッチング画像をセグメント化することを含む。第1の処理は、第3の画像を回転させることをさらに含むか、または第1の処理は、第3の画像を回転させ、パディング解除することをさらに含む。
【0406】
本出願の実施形態では、S320を実装する方式は限定されない。以下では、例として方式1’~方式3’を使用することによってS320を詳細に説明する。方式1’は、第1の画像の画素数および第2の画像の画素数がQ=Mを満たす場合に適用可能である。方式2’および方式3’は、第1の画像の画素数と第2の画像の画素数とがQ>Mを満たす場合に適用可能である。
【0407】
方式1’
方式1’は、S11’およびS12’を含み得る。以下、S11’およびS12’について具体的に説明する。
【0408】
S11’:第2の画像および第3の画像を取得するために、第1のスティッチング画像をセグメント化する。
【0409】
一部の実施形態では、第1のスティッチング画像が水平方向のスティッチングを通じて取得される場合、S11’において、第2の画像および第3の画像を取得するために、第1のスティッチング画像が水平方向にセグメント化される。
【0410】
第1のスティッチング画像は水平方向にセグメント化され、その結果、画像データは、その後、第1のポートおよび第2のポート上でより円滑に出力され得る。換言すれば、同じ期間に、対応する画像データが両方のポートに出力される。
【0411】
一部の実施形態では、第1のスティッチング画像が垂直スティッチングを通じて取得される場合、S11’において、第1のスティッチング画像は、第2の画像および第3の画像を取得するために垂直にセグメント化される。
【0412】
第1のスティッチング画像の画素数は(N+P)×Qであり、第2の画像の画素数はP×Qであるため、S11’から、第3の画像の画素数はN×Qであることが知見され得る。
【0413】
図11は、本出願の実施形態による、方式1’で第1の画像および第2の画像を取得する例の概略図である。例えば、図11に示されるように、第1のスティッチング画像514は、第2の画像512および第3の画像513を含み、第2の画像512の画素数は、3840×720であり、第1のスティッチング画像の画素数は、(3840+240)×720である。S11によれば、第2の画像512および第3の画像513が取得されることができる。第3の画像513の画素数は、240×720である。
【0414】
S12’:第1の画像を取得するために、第3の画像を回転させる。
【0415】
一部の実施形態では、第1の画像を取得するために、第3の画像は(-90°-180°×n)だけ回転されることができる。
【0416】
nの値は、前述のnの値と一致する。
【0417】
第1の画像の画素数はM×Nであるため、S12’から、第3の画像の画素数はN×Mであることが知見され得る。しかしながら、S11’から、第3の画像の画素数は依然としてN×Qであることが知見され得る。したがって、この場合、M=Qである。したがって、方式1は、第1の画像の画素数および第2の画像の画素数がM=Qを満たす解決策に適用可能である。
【0418】
例えば、図11に示すように、S12’に従って、第1の画像511を取得するために、第3の画像513は回転される(反時計回りに90°回転される)。このようにして、第1のスティッチング画像514に基づいて第1の画像511および第2の画像512を取得する解決策が実装される。第1の画像の行画素数は、第2の画像の列画素数に等しいことが知見され得る。
【0419】
方式2’
方式2’は、S21’~S23’を含み得る。以下、S21’~S23’について具体的に説明する。
【0420】
S21’:第2の画像および第3の画像を取得するために、第1のスティッチング画像をセグメント化する。
【0421】
S21’の関連する説明については、S11’の前述の関連する説明を参照されたい。詳細は本明細書では再び説明されない。
【0422】
図12は、本出願の実施形態による方式2’で第1の画像および第2の画像を取得する例の概略図である。例えば、図12に示されるように、第1のスティッチング画像525は、第2の画像522および第3の画像524を含み、第2の画像522の画素数は、3840×720であり、第3の画像524の画素数は、240×720であり、第1のスティッチング画像の画素数は、(3840+240)×720である。S21’によれば、第2の画像522および第3の画像524が取得され得る。
【0423】
S22’:第5の画像を取得するために、第3の画像を回転させる。
【0424】
一部の実施形態では、第5の画像を取得するために、第3の画像は(-90°-180°×n)だけ回転されることができる。
【0425】
nの値は、前述のnの値と一致する。
【0426】
S11’から、第3の画像の画素数はN×Qであることが知見され得る。したがって、第5の画像の画素数はQ×Nである。
【0427】
例えば、図12に示すように、S22’に従って、第5の画像523を取得するために、第3の画像524は回転される(例えば、反時計回りに90°回転される)。第5の画像523の画素数は、720×240である。
【0428】
S23’:第1の画像を取得するために、第5の画像をパディング解除する。
【0429】
一部の実施形態では、第5の画像をパディング解除することは、第5の画像に対して行パディング解除を実施することであってもよく、その結果、第5の画像の各行内の画素数はQからMに低減され、各列内の画素数は不変のままであり、依然としてNである。この場合、パディング解除された画素数は(Q-M)×Nである。
【0430】
一部の実施形態では、第1の画像を取得するために、第5の画像の第2のターゲット位置からパディング解除が実施されることができる。例えば、第2のターゲット位置は、左位置、右位置、または中間位置のうちの少なくとも1つを含む。
【0431】
説明されていない第2のターゲット位置の一部については、S31における関連する説明を参照されたい。詳細は本明細書では再び説明されない。
【0432】
図13は、本出願の実施形態による、第1の画像を取得するために第5の画像をパディング解除する3つの例の概略図である。
【0433】
例えば、図13(a)に示すように、第1の画像521を取得するために、第5の画像5241の左位置(第1の列の位置)からパディング解除が実施される。この場合、第5の画像5241の画素数は720×240であり、第5の画像524は第1の画像521および画素パディング領域5231を含む。
【0434】
例えば、図13(b)に示すように、第1の画像521を取得するために、第5の画像5242の右の位置(最後の列の位置)からパディング解除が実施される。この場合、第5の画像5242の画素数は720×240であり、第5の画像5242は第1の画像521および画素パディング領域5232を含む。
【0435】
一部の実施形態では、少なくとも1つの中間位置が含まれてもよい。中間位置の数は、本出願において限定されない。
【0436】
任意選択で、複数の中間位置がある実施形態では、S23’は、最初に、第5の画像の少なくとも1つの中間位置からパディング解除が実施されて、複数の第2のサブ画像を取得すること、を具体的には含む。次いで、複数の第2のサブ画像が第1の画像を形成するように、複数の第2のサブ画像が水平にスティッチングされる。
【0437】
例えば、第2のサブ画像の量は、第2のサブ画像の量が1より大きい限り、本出願の実施形態において限定されない。例えば、図13(c)に示されるように、3つの第2のサブ画像がある例が説明のために使用される。
【0438】
例えば、図13(c)に示されるように、最初に、第5の画像5243の2つの中間位置(第2のギャップ領域5233および第2のギャップ領域5234にそれぞれ対応する位置)からパディング解除が実施されて、3つの第2のサブ画像、すなわち、第2のサブ画像5211、第2のサブ画像5212、および第2のサブ画像5213を取得する。第2に、第2のサブ画像5211、第2のサブ画像5212、および第2のサブ画像5213が第1の画像521を形成するように、第2のサブ画像5211、第2のサブ画像5212、および第2のサブ画像5213が水平にスティッチングされる。この場合、第5の画像5243の画素数は720×240であり、第5の画像5243は、第2のサブ画像5211と、第2のサブ画像5212と、第2のサブ画像5213と、画素で満たされた第2のギャップ領域5233と、画素で満たされた第2のギャップ領域5234とを含む。
【0439】
例えば、複数の第2のサブ画像間の間隔のサイズは、本出願の実施形態において限定されない。例えば、第2のサブ画像の間隔は、等間隔であってもよい。
【0440】
例えば、図12に示されるように、S23’に従って、第1の画像521を取得するために、第5の画像523の右位置からパディング解除が実施される。第1の画像523の画素数は、480×240である。
【0441】
図12において、S23’は、第1の画像521を取得するために、第5の画像523の右の位置からパディング解除が実施される例を使用することによって説明されることを理解されたい。
【0442】
方式3’
方式3’は、S31’~S33’を含み得る。以下、S31’~S33’について具体的に説明する。
【0443】
S31’:第2の画像および第3の画像を取得するために、第1のスティッチング画像をセグメント化する。
【0444】
S31’の関連する説明については、S11’の前述の関連する説明を参照されたい。詳細は本明細書では再び説明されない。
【0445】
S32’:第4の画像を取得するために、第3の画像をパディング解除する。
【0446】
一部の実施形態では、第3の画像をパディング解除することは、第3の画像に対して列パディング解除を実施することであってもよく、その結果、第3の画像の各列内の画素数はQからMに低減され、各行内の画素数は不変のままであり、依然としてNである。この場合、パディング解除された画素数はN×(Q-M)であり、第4の画像の画素数はN×Mである。
【0447】
一部の実施形態では、第3の画像の第1のターゲット位置からパディング解除が実施されて、第4の画像を取得することができる。例えば、第1のターゲット位置は、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む。
【0448】
説明されていない第1のターゲット位置の一部については、S12における関連する説明を参照されたい。詳細は本明細書では再び説明されない。
【0449】
図14は、本出願の実施形態による、第4の画像を取得するために第3の画像をパディング解除する3つの例の概略図である。
【0450】
例えば、図14(a)に示すように、第4の画像5031を取得するために、第3の画像503の下部位置(最後の行の位置)の前でパディング解除が実施される。この場合、第3の画像503の画素数は240×720であり、第3の画像503は第4の画像5031および画素パディング領域5032を含み、第4の画像5031の画素数は240×480である。
【0451】
例えば、図14(b)に示すように、第4の画像5031を取得するために、第3の画像503の先頭位置(1行目の位置)の後にパディング解除が実施される。この場合、第3の画像503の画素数は240×720であり、第3の画像503は第4の画像5031および画素パディング領域5032を含み、第4の画像5031の画素数は240×480である。
【0452】
一部の実施形態では、少なくとも1つの中間位置が含まれてもよい。中間位置の数は、本出願において限定されない。
【0453】
任意選択で、複数の中間位置がある実施形態では、S32’は、最初に、第5の画像の少なくとも1つの中間位置からパディング解除が実施されて、複数の第1のサブ画像を取得すること、を具体的には含む。次いで、複数の第1のサブ画像が第4の画像を形成するように、複数の第1のサブ画像が垂直にスティッチングされる。
【0454】
例えば、第1のサブ画像の量は、第1のサブ画像の量が1より大きい限り、本出願の実施形態において限定されない。例えば、図14(c)に示されるように、3つの第1のサブ画像が存在する例が説明のために使用される。
【0455】
例えば、図14(c)に示すように、最初に、第5の画像503の2つの中間位置(第1のギャップ領域50321および第1のギャップ領域50322にそれぞれ対応する位置)からパディング解除が実施されて、3つの第1のサブ画像、すなわち、第1のサブ画像50311、第1のサブ画像50312、および第1のサブ画像50313を取得する。第2に、第1のサブ画像50311、第1のサブ画像50312、および第1のサブ画像50313が第4の画像5031を形成するように、第1のサブ画像50311、第1のサブ画像50312、および第1のサブ画像50313が垂直にスティッチングされる。この場合、第4の画像5031の画素数は240×480であり、第5の画像503は、第1のサブ画像50311と、第1のサブ画像50312と、第1のサブ画像50313と、画素で満たされた第1のギャップ領域50321と、画素で満たされた第1のギャップ領域50322とを含む。
【0456】
例えば、複数の第1のサブ画像間の間隔のサイズは、本出願の実施形態において限定されない。例えば、第1のサブ画像の間隔は、等間隔であってもよい。
【0457】
S33’:第1の画像を取得するために、第4の画像を回転させる。
【0458】
一部の実施形態では、第1の画像を取得するために、第4の画像は(-90°-180°×n)だけ回転される。
【0459】
nの値は、前述のnの値と一致する。
【0460】
S32’から、第4の画像の画素数はN×Mであることが知見され得る。したがって、第1の画像の画素数はM×Nである。
【0461】
前述の実施形態は、第1の画像および第2の画像が、水平セグメント化および第3の画像の回転または第3の画像の回転およびパディング解除に基づいて取得される例を使用することによって説明されている。一部の実施形態では、第1の画像および第2の画像は、垂直セグメント化に基づいてさらに取得され得ることを理解されたい。この場合、第1のスティッチング画像の画素数がQ×(P+N)である場合、第1の画像の画素数は依然としてM×Nであり、第2の画像の画素数は依然としてP×Qである。具体的なプロセスの説明については、前述の方法300における関連する説明を参照されたい。詳細は本明細書では再び説明されない。
【0462】
一部の実施形態では、S320は、代替的に、別の方式で実装されてもよい。
【0463】
例えば、可能な実装形態では、別の方式は、第1のスティッチング画像がパディング画素を含む場合、最初に、第1のスティッチング画像がパディング解除され、第2に、第2の画像および第7の画像を取得するために、パディング解除を介して取得された第1のスティッチング画像が垂直にセグメント化され、最後に、第1の画像を取得するために、第1の画像の行画素数を粒度として使用することによって、第7の画像に対して新しい行画素数が再カットされることを含み得る。第1のスティッチング画像がパディング画素を含まない場合、第2の画像および第7の画像を取得するために、第1のスティッチング画像がセグメント化され、第1の画像を取得するために、第1の画像の行画素数を粒度として使用することによって、第7の画像に対して新しい行画素数が再カットされる。
【0464】
例えば、第1のスティッチング画像の画素数が1080×827である場合、第1のスティッチング画像は、第2の画像、第7の画像、およびパディング画素を含む。第2の画像の画素数は1080×720であり、パディング画素は第1のスティッチング画像内の第7の画像の最後の行にあり、パディング画素数は360である。最初に、第7の画像の最後の行におけるパディング画素数が1080から720に低減されるように、第1のスティッチング画像のパディング画素に対してパディング解除が実施される。第2に、第2の画像および第7の画像を取得するために、パディング解除を通じて取得された第1のスティッチング画像が垂直にセグメント化される。最後に、第1の画像の行画素数(480)を粒度として使用することによって、第7の画像に対して新しい行画素数が再カットされて、第1の画像を取得する。この場合、取得された第1の画像の画素数は480×240である。
【0465】
一部の実施形態では、第1のスティッチング画像内の第2の画像が第1の画像の上にある場合、第2の画像の画素がバッファリングされ得、その結果、第2の画像は、第1の画像を伝送する時間期間内に依然として安定して出力される。第1のスティッチング画像内の第2の画像が第1の画像の下にある場合、第1の画像の画素がバッファリングされ得、その結果、第1の画像は、第2の画像を伝送する時間期間内に依然として安定して出力される。
【0466】
例えば、別の可能な実装形態では、別の方式は、第1のスティッチング画像がパディング画素を含む場合、最初に、第1のスティッチング画像がパディング解除され、第2に、第2の画像および第8の画像を取得するために、パディング解除を介して取得された第1のスティッチング画像がセグメント化され、最後に、第1の画像を取得するために、第1の画像の列画素数を粒度として使用することによって、第8の画像に対して新しい列画素数が再カットされることを含み得る。第1のスティッチング画像がパディング画素を含まない場合、第2の画像および第8の画像を取得するために、第1のスティッチング画像がセグメント化され、第1の画像を取得するために、第1の画像の行画素数を粒度として使用することによって、第8の画像に対して新しい列画素数が再カットされる。
【0467】
例えば、第1のスティッチング画像の画素数が1240×720である場合、第1のスティッチング画像は、第2の画像および第8の画像を含む。第2の画像の画素数は1080×720であり、第8の画像の列画素数は160×720である。最初に、第1のスティッチング画像が水平方向にセグメント化されて、第2の画像および第8の画像を取得する。最後に、第1の画像を取得するために、第1の画像の列画素数(240)を粒度として使用することによって、第8の画像に対して新しい行画素数が再カットされる。この場合、取得された第1の画像の画素数は480×240である。
【0468】
例えば、さらに別の可能な実装形態では、別の方式は、第1の画像および第2の画像を別々に取得するために、第1のスティッチング画像が分割され、次いで再結合され、スティッチングされることを含み得る。この場合、第1のスティッチング画像は、パディング画素を含んでもよく、または含まなくてもよい。
【0469】
異なる分割方式、再結合方法、およびスティッチング方法は、異なる処理の複雑さに対応することを理解されたい。処理の複雑さに関連する要因が考慮されないとき、第1の画像および第2の画像を取得するために、第1のスティッチング画像は、分割され、次いで、異なる分割方式、ならびに再結合およびスティッチング方法で再結合およびスティッチングされ得る。
【0470】
例えば、第2の画像および第6の画像を取得するために、前述の第1のスティッチング画像が水平方向にセグメント化され、複数のサブ画像を取得するために、第6の画像が垂直にセグメント化され、第1の画像を取得するために、複数のサブ画像が水平方向にスティッチングされる。
【0471】
別の方式で取得された第1の画像も第2の画像もパディング画素を含まず、第1の画像および第2の画像に対応する画素クロック(1秒当たりに伝送される画像画素数を指す)は小さく、その結果、第1の画像および第2の画像を受信するデバイス上のインターフェースの要件が低減されることができる。
【0472】
一部の実施形態において、方法300におけるS320は、第2の処理ユニットによって実施されてよい。例えば、第2の処理ユニットは、FPGAユニットおよび/またはSerを含み得るが、これらに限定されない。
【0473】
一部の実施形態では、方法300は、S330およびS340をさらに含む。
【0474】
S330:第1のポートを介して第2の画像を送信する。
【0475】
S340:第2のポートを介して第1の画像を送信する。
【0476】
第1の画像および第2の画像は、第1のポートおよび第2のポートを介して異なる装置に送信されることができ、その結果、異なる装置は受信した画像を使用する。
【0477】
一部の実施形態において、方法300におけるS330は、第1の送信ユニットによって実施されてよい。方法300におけるS340は、第2の送信ユニットによって実施されてよい。
【0478】
任意選択で、第2の処理ユニットがFPGAユニットおよびSerを含む実施形態では、Serは、方法300においてセグメント化ステップを実施することができる。FPGAユニットは、方法300におけるセグメント化ステップ以外のステップを実施してもよい。例えば、FPGAユニットは、方法300において、パディング解除および/またはローテーションのステップを実施してもよい。
【0479】
一部の実施形態では、方法200および方法300は、別々に実施され得る。一部の他の実施形態では、方法200および方法300は、組み合わせて実施されてもよい。これは、本出願の実施形態において限定されない。
【0480】
一部の実施形態では、前述の第1の画像処理装置は、取得ユニット、第2の処理ユニット、第1の送信ユニット、および/または第2の送信ユニットをさらに含み得る。第1の画像処理装置内の取得ユニットはS310を実施し、第1の画像処理装置内の第2の処理ユニットはS320を実施し、第1の画像処理装置内の第1の送信ユニットはS330を実施し、第1の画像処理装置内の第2の送信ユニットはS340を実施する。
【0481】
一部の実施形態では、S320は、代替的にS320’’と置き換えられてもよい。以下では、説明のために、S320’’を実装する方式が方式1’’、方式2’’、または方式3’’である例を使用する。
【0482】
方式1’’はS11’を含む。S11’の関連する説明については、前述の説明を参照されたい。詳細は本明細書では再び説明されない。さらに、一部の実施形態では、方法300がS330およびS340をさらに含むとき、S340は代替的にS340’で置き換えられてもよい。
【0483】
S340’:第2のポートを介して第3の画像を送信する。
【0484】
第3の画像および第2の画像は、第1のポートおよび第2のポートを介して異なる装置に送信されることができ、その結果、異なる装置は、受信した画像を処理または使用する。
【0485】
方式2’’は、S21’およびS22’を含む。S21’およびS22’の関連する説明については、前述の説明を参照されたい。詳細は本明細書では再び説明されない。さらに、一部の実施形態では、方法300がS330およびS340をさらに含むとき、S340は代替的にS340’’で置き換えられてもよい。
【0486】
S340’’:第2のポートを介して第5の画像を送信する。
【0487】
第5の画像および第2の画像は、第1のポートおよび第2のポートを介して異なる装置に送信されることができ、その結果、異なる装置は、受信した画像を処理または使用する。
【0488】
方式3’’は、S31’およびS32’を含む。S31’およびS32’の関連する説明については、前述の説明を参照されたい。詳細は本明細書では再び説明されない。さらに、一部の実施形態では、方法300がS330およびS340をさらに含むとき、S340は代替的にS340’’’で置き換えられてもよい。
【0489】
S340’’:第2のポートを介して第4の画像を送信する。
【0490】
第4の画像および第2の画像は、第1のポートおよび第2のポートを介して異なる装置に送信されることができ、その結果、異なる装置は、受信した画像を処理または使用する。
【0491】
本出願の実施形態は、別の画像処理方法400をさらに提供する。画像処理方法400では、第1の画像および第2の画像を取得するために、第1のスティッチング画像に対して第2の処理が実施され得る。
【0492】
例えば、図15は、本出願の実施形態による画像処理方法400の一例の概略フローチャートである。
【0493】
図15に示すように、方法400は、以下のステップを含む。
【0494】
S410:第1のスティッチング画像を取得する。第1のスティッチング画像の画素数は(N+P)×Qである。第1のスティッチング画像は、第2の画像および第3の画像を含む。第2の画像の画素数はP×Qであり、Q≧Mである。
【0495】
一部の実施形態では、S410は、取得ユニットによって実施され得る。
【0496】
任意選択で、一部の実施形態では、S410は、前述の第1の画像処理装置の取得ユニットから第1のスティッチング画像を取得することであり得る。
【0497】
S420:第1の画像および第2の画像を取得するために、第1のスティッチング画像に対して第2の処理を実施する。第1の画像の画素数はM×Nであり、M>Nである。第2の処理は、第2のスティッチング画像を取得するために、第1のスティッチング画像をパディング解除することを含む。第2の処理は、第1の画像および第2の画像を取得するために、第2のスティッチング画像を回転およびセグメント化することをさらに含む。
【0498】
一部の実施形態では、S420は、具体的にはS421~S423を含む。以下、S421~S423について具体的に説明する。
【0499】
S421:第2のスティッチング画像を取得するために、第1のスティッチング画像をパディング解除する。
【0500】
一部の実施形態では、第1のスティッチング画像をパディング解除することは、第1のスティッチング画像内の第3の画像に対して列パディング解除を実施することであってもよく、その結果、第3の画像の各列内の画素数はQからMに低減され、各行内の画素数は不変のままであり、依然としてNである。このようにして、第1のスティッチング画像は不規則な画像(すなわち、第2のスティッチング画像)に変換される。この場合、パディング解除された画素数は(Q-M)×Nである。
【0501】
一部の実施形態では、第2のスティッチング画像を取得するために、第1のスティッチング画像内の第3の画像の第1のターゲット位置からパディング解除が実施され得る。例えば、第1のターゲット位置は、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む。
【0502】
第1のターゲット位置の関連説明については、S12における関連説明を参照されたい。詳細は本明細書では再び説明されない。
【0503】
第1のスティッチング画像内の第3の画像の第1のターゲット位置からのパディング解除を実施することの関連する説明については、図14内の関連する説明を参照されたい。詳細は本明細書では再び説明されない。
【0504】
S422:第2の画像および第4の画像を取得するために、第2のスティッチング画像をセグメント化する。この場合、第4の画像の画素数はN×Mである。
【0505】
一部の実施形態では、第2のスティッチング画像は、第2の画像および第4の画像を取得するために、水平にセグメント化される。
【0506】
S423:第1の画像を取得するために、第4の画像を回転させる。
【0507】
一部の実施形態では、第1の画像を取得するために、第4の画像は(-90°-180°×n)だけ回転される。
【0508】
nの値は、前述のnの値と一致する。
【0509】
例えば、図12に示すように、423に従って、第1の画像541を取得するために、第4の画像543は回転される(例えば、反時計回りに90°回転される)。第1の画像541の画素数は、480×240である。
【0510】
一部の実施形態において、方法400におけるS420は、第2の処理ユニットによって実施されてよい。例えば、第2の処理ユニットは、FPGAユニットおよび/またはSerを含み得るが、これらに限定されない。
【0511】
一部の実施形態では、方法400は、S430およびS440をさらに含む。
【0512】
S430:第1のポートを介して第2の画像を送信する。
【0513】
S440:第2のポートを介して第1の画像を送信する。
【0514】
第1の画像および第2の画像は、第1のポートおよび第2のポートを介して異なる装置に送信されることができ、その結果、異なる装置は受信した画像を使用する。
【0515】
一部の実施形態において、方法400におけるS430は、第1の送信ユニットによって実施されてよい。方法400におけるS440は、第2の送信ユニットによって実施されてよい。
【0516】
任意選択で、第2の処理ユニットがFPGAユニットおよびSerを含む実施形態では、Serは、方法400においてセグメント化ステップを実施することができる。FPGAユニットは、方法400におけるセグメント化ステップ以外のステップを実施してもよい。例えば、FPGAユニットは、方法400において、パディング解除および/またはローテーションのステップを実施してもよい。
【0517】
一部の実施形態では、方法200および方法400は、別々に実施され得る。一部の他の実施形態では、方法200および方法400は、組み合わせて実施されてもよい。これは、本出願の実施形態において限定されない。
【0518】
一部の実施形態では、前述の第1の画像処理装置は、取得ユニット、第2の処理ユニット、第1の送信ユニット、および/または第2の送信ユニットをさらに含み得る。第1の画像処理装置内の取得ユニットはS410を実施し、第1の画像処理装置内の第2の処理ユニットはS420を実施し、第1の画像処理装置内の第1の送信ユニットはS430を実施し、第1の画像処理装置内の第2の送信ユニットはS440を実施する。
【0519】
前述の方法300または400によれば、第2の画像は、第1のスティッチング画像を処理するプロセスにおいて処理される必要はない。このようにして、第2の画像を処理する複雑さがさらに増加されることはない。加えて、第1のスティッチング画像の各行は、第2の画像の画素の完全な行を含む。第2の画像の画素は、バッファリングされる必要がなく、第2の画像の画素の行は、第1のスティッチング画像に対して単純なセグメント化を実施することのみによって抽出され得、その結果、第2の画像は、リアルタイムで迅速に転送され得る。加えて、取得された第1の画像および取得された第2の画像は、パディング画素を含まない。このようにして、第1の画像および第2の画像を伝送する後続のプロセスにおいて、一態様では、パディング画素は伝送帯域幅を占有しない。これにより、第1の画像および第2の画像の伝送効率を向上させる。別の態様では、第1の画像も第2の画像もパディング画素を含まず、第1の画像および第2の画像に対応する画素クロック(1秒当たりに伝送される画像画素数を指す)は小さく、その結果、第1の画像および第2の画像を受信するデバイス上のインターフェースの要件が低減され得る。
【0520】
一部の実施形態では、第1の画像および/または第2の画像が複数の画像をスティッチングすることによって形成された画像である場合、方法300または方法400は、第1の画像および/または第2の画像を複数の画像にセグメント化するステップをさらに含む。方法は、異なるポートを通して異なるセグメント化された画像を送信するステップをさらに含み得る。
【0521】
本出願の実施形態は、別の画像処理方法200’’をさらに提供する。方法は、第2の画像の列画素数Qが第1の画像の行画素数Mよりも少ない実施形態に適用可能である。方法200’’において、第1の画像および第2の画像は、第4のスティッチング画像に基づいて取得され得る。第1の画像の行画素数は、Mであり、列画素数は、Nであり、M>Nであり、N<Qである。第2の画像の行画素数は、Pであり、列画素数は、Qであり、Q<Mである。第4のスティッチング画像の行画素数はP+K×Nであり、列画素数は、Qである。第4のスティッチング画像は、第2の画像と、第1の画像の第3の前処理を通じて取得された画像と、を含む。第3の前処理は、回転およびセグメント化を含み、または第3の前処理は、回転、セグメント化、およびパディングを含む。
【0522】
方法200’’は、S210’’~S220’’を含む。以下、S210’’~S220’’について具体的に説明する。
【0523】
S210’’:第4のスティッチング画像を取得する。第4のスティッチング画像の画素数は、(P+K×N)×Qである。第4のスティッチング画像は、第12の画像および第2の画像を含む。第12の画像の行画素数はK×Nであり、列画素数は、Qである。第2の画像の行画素数は、Pであり、列画素数は、Qであり、Q<M、M>N、およびN<Qである。
【0524】
一部の実施形態では、S210’’は、取得ユニットによって実施され得る。
【0525】
任意選択で、一部の実施形態では、S210’’は、前述の方法200における第1の画像処理装置の送信ユニットから第4のスティッチング画像を取得することであり得る。
【0526】
S220’’:第4のスティッチング画像に基づいて第1の画像および第2の画像を取得する。第1の画像の行画素数は、Mであり、列画素数は、Nであり、M>NかつN<Qである。第2の画像の行画素数は、Pであり、列画素数は、Qであり、Q<Mである。第4のスティッチング画像の行画素数はP+K×Nであり、列画素数はQである。
【0527】
以下では、例としてS221’’~S225’’を使用することによってS220’’を説明する。S221’’~S225’’は、S220’’の1つの可能な実装形態にすぎず、S220’’の別の実装形態があり得ることを理解されたい。例えば、次のS223’’の後に、第9の画像が最初に回転され、次いで垂直にセグメント化され、次いで水平にスティッチングされて、第1の画像を取得することができる。S220’’の具体的な実装形態は、本出願の実施形態において限定されない。
【0528】
S221’’:第12の画像および第2の画像を取得するために、第4のスティッチング画像をセグメント化する。
【0529】
一部の実施形態では、第12の画像および第2の画像を取得するために、第4のスティッチング画像が水平方向にセグメント化される。
【0530】
第4のスティッチング画像は、水平方向にセグメント化され、その結果、画像データは、その後、第1のポートおよび第2のポート上でより円滑に出力され得る。換言すれば、同じ期間に、対応する画像データが両方のポートに出力される。
【0531】
第12の画像がパディング画素を含む場合、S222’’がさらに実施される必要がある。この場合、M<K×Qである。第12の画像がパディング画素を含まない場合、S222’’が実施される必要はなく、S223’’~S225’’が直接実施される。この場合、M=K×Qとなり、12枚目の画像は、次の9枚目の画像となる。
【0532】
一部の実施形態では、S221’’の後、S222’’~S225’’は実施されなくてもよい。
【0533】
S222’’:第9の画像を取得するために、第12の画像をパディング解除する。第9の画像の行画素数はK×Nであり、列画素数はM/Kである。K>1であり、Kは、(K-1)×Q<M≦K×Qを満たす。
【0534】
一部の実施形態では、第12の画像をパディング解除することは、第12の画像に対して列パディング解除を実施することであってもよく、その結果、第12の画像の各列内の画素数はQからM/Kに低減され、各行内の画素数は不変のままであり、依然としてK×Nである。この場合、パディング解除された画素数は、N×(K×Q-M)である。
【0535】
一部の実施形態では、第12の画像の第1のターゲット位置からパディング解除が実施されて、第9の画像を取得することができる。
【0536】
説明されていない第1のターゲット位置の一部については、S12における関連する説明を参照されたい。詳細は本明細書では再び説明されない。
【0537】
一部の実施形態では、S222’’の後、S223’’~S225’’は実施されなくてもよい。
【0538】
一部の実施形態では、M<K×Qの場合、S221’’およびS222’’は、代替的に、S226’’およびS227’’で置き換えられてもよい。
【0539】
S226’’:第3のスティッチング画像を取得するために、第4のスティッチング画像をパディング解除する。
【0540】
一部の実施形態では、第4のスティッチング画像内の第12の画像に対して列パディング解除が実施され、その結果、第12の画像の各列内の画素数はQからM/Kに低減され、各行内の画素数は不変のままであり、依然としてK×Nである。この場合、パディング解除された画素数は、N×(K×Q-M)である。
【0541】
この場合、第3のスティッチング画像は不規則な画像であり、第3のスティッチング画像のP個の列内の画素数はQであり、K×N個の列内の画素数はM/Kである。換言すれば、第3のスティッチング画像のM/K個の列内の画素数は、他のP個の列内の画素数とは異なる。
【0542】
一部の実施形態では、第4のスティッチング画像内の第12の画像の第1のターゲット位置からパディング解除が実施されて、第3のスティッチング画像を取得してもよい。例えば、第1のターゲット位置は、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む。
【0543】
第1のターゲット位置の関連説明については、S12における関連説明を参照されたい。詳細は本明細書では再び説明されない。
【0544】
S227’’:第2の画像および第9の画像を取得するために、第3のスティッチング画像を水平にセグメント化する。第9の画像の行画素数はK×Nであり、列画素数はM/Kである。K>1であり、Kは、(K-1)×Q<M≦K×Qを満たす。
【0545】
一部の実施形態では、S227’’の後、S223’’~S225’’は実施されなくてもよい。
【0546】
S223’’:K個のサブ画像を取得するために、第9の画像を水平にセグメント化する。K個のサブ画像の行画素数は全てNであり、K個のサブ画像の列画素数は全てM/Kである。
【0547】
一部の実施形態では、S223’’の後、S224’’およびS225’’は実施されなくてもよい。
【0548】
S224’’:第4の画像を取得するために、K個のサブ画像を垂直にスティッチングする。第4の画像の画素数はN×Mである。
【0549】
一部の実施形態では、S224’’の後、S225’’は実施されなくてもよい。
【0550】
S225’’:第1の画像を取得するために、第4の画像を回転させる。
【0551】
一部の実施形態では、第1の画像を取得するために、第4の画像は(-90°-180°×n)だけ回転される。この場合、第1の画像の行画素数はM×Nである。
【0552】
方法200’’は、前述のS330およびS340をさらに含み得る。S330およびS340の説明については、前述の説明を参照されたい。詳細は本明細書では再び説明されない。
【0553】
一部の実施形態では、S221’’~S227’’は、第2の処理ユニットによって実施され得る。例えば、第2の処理ユニットは、FPGAユニットおよび/またはSerを含み得るが、これらに限定されない。
【0554】
一部の実施形態では、方法200’’および方法200’は、別々に実施され得る。一部の他の実施形態では、方法200’’および方法200’は、組み合わせて実施されてもよい。この場合、方法200’は、S211’およびS215’を含む。これは、本出願の実施形態において限定されない。
【0555】
一部の実施形態では、前述の第1の画像処理装置は、取得ユニット、第2の処理ユニット、第1の送信ユニット、および/または第2の送信ユニットをさらに含み得る。第1の画像処理装置の取得ユニットはS210’’を実施し、第1の画像処理装置の第2の処理ユニットはS221’’~S225’’を実施し、第1の画像処理装置の第1の送信ユニットはS330を実施し、第1の画像処理装置の第2の送信ユニットはS340を実施する。
【0556】
本出願の実施形態は、別の画像処理方法200’’’をさらに提供する。方法は、第2の画像の列画素数Qが第1の画像の行画素数Mよりも少ない実施形態に適用可能である。方法200’’’は、S210’’’~S220’’’を含む。以下、S210’’~S220’’’について具体的に説明する。
【0557】
S210’’:第5のスティッチング画像を取得する。第5のスティッチング画像の画素数は、(P+K×N)×Qである。第5のスティッチング画像は、第11の画像と第2の画像とを含む。第11の画像の行画素数は、K×Nであり、列画素数は、Qである。第2の画像の行画素数は、Pであり、列画素数は、Qであり、Q<M、M>N、N<Q、K>1であり、Kは(K-1)×Q<M≦K×Qを満たす。
【0558】
一部の実施形態において、S210’’’は、取得ユニットによって実施されてよい。
【0559】
任意選択で、一部の実施形態では、S210’’’は、前述の方法200における第1の画像処理装置の送信ユニットから第5のスティッチング画像を取得することであり得る。
【0560】
S220’’:第5のスティッチング画像に基づいて第1の画像および第2の画像を取得する。第1の画像の行画素数は、Mであり、列画素数は、Nであり、M>Nであり、N<Qである。第2の画像の行画素数は、Pであり、列画素数は、Qであり、Q<Mである。第5のスティッチング画像の行画素数はP+K×Nであり、列画素数は、Qである。
【0561】
以下では、説明のための例として方式1’’’から方式3’’’を使用する。方式1’’’から方式3’’’は、S220’’’の3つの可能な実装形態にすぎず、S220’’’の別の実装形態があり得ることを理解されたい。例えば、次のS223’’’の後に、第10の画像が最初に回転され、次いでパディング解除されて、第1の画像を取得することができる。S220’’’の具体的な実装形態は、本出願の実施形態において限定されない。
【0562】
方式1’’’
方式1’’’は、S221’’’~S225’’’を含み得る。以下、S221’’~S225’’’について具体的に説明する。
【0563】
S221’’:第11の画像および第2の画像を取得するために、第5のスティッチング画像をセグメント化する。
【0564】
一部の実施形態では、第11の画像および第2の画像を取得するために、第5のスティッチング画像が水平方向にセグメント化される。
【0565】
第5のスティッチング画像は水平方向にセグメント化され、その結果、画像データは、その後、第1のポートおよび第2のポート上でより円滑に出力され得る。換言すれば、同じ期間に、対応する画像データが両方のポートに出力される。
【0566】
一部の実施形態では、S221’’’の後、S224’’’およびS225’’’は実施されなくてもよい。
【0567】
S222’’’:K個のサブ画像を取得するために、第11の画像を水平にセグメント化する。K個のサブ画像の行画素数は全てNであり、K個のサブ画像の列画素数は全てQである。
【0568】
一部の実施形態では、S222’’’の後、S223’’’~S225’’’は実施されなくてもよい。
【0569】
S223’’’:第10の画像を取得するために、K個のサブ画像を垂直にスティッチングする。この場合、第10の画像の行画素数は、Nであり、列画素数はK×Qである。
【0570】
第10の画像がパディング画素を含まない場合、S224’’’が実施される必要はなく、S225’’’が直接実施される。この場合、M=K×Qであり、10枚目の画像は次の4枚目の画像となる。第10の画像がパディング画素を含む場合、S224’’’が実施される必要がある。この場合、M<K×Qである。
【0571】
一部の実施形態では、S223’’’の後、ステップS224’’’およびステップS225’’’は実施されなくてもよい。
【0572】
S224’’:第4の画像を取得するために、第10の画像をパディング解除する。
【0573】
一部の実施形態では、第10の画像をパディング解除することは、第10の画像に対して列パディング解除を実施することであってもよく、その結果、第10の画像の各列内の画素数はK×QからMに低減され、各行内の画素数は不変のままであり、依然としてNである。この場合、パディング解除された画素数はN×(K×Q-M)であり、第4の画像の画素数はN×Mである。
【0574】
一部の実施形態では、第10の画像の第1のターゲット位置からパディング解除が実施されて、第4の画像を取得することができる。
【0575】
説明されていない第1のターゲット位置の一部については、S12における関連する説明を参照されたい。詳細は本明細書では再び説明されない。
【0576】
一部の実施形態では、S224’’’の後、S225’’’は実施されなくてもよい。
【0577】
S225’’:第1の画像を取得するために、第4の画像を回転させる。
【0578】
一部の実施形態では、第1の画像を取得するために、第4の画像は(-90°-180°×n)だけ回転される。この場合、第1の画像の行画素数はM×Nである。
【0579】
方式2’’
方式2’’’は、S226’’’~S230’’’を含み得る。以下、S226’’~S230’’’について具体的に説明する。
【0580】
S226’’:第3のスティッチング画像を取得するために、第5のスティッチング画像をパディング解除する。この場合、パディング解除された画素数は、N×(K×Q-M)である。
【0581】
一部の実施形態では、第5のスティッチング画像をパディング解除することは、第5のスティッチング画像に対して行パディング解除を実施することであってもよく、その結果、第5のスティッチング画像の少なくともK×Q-M行における画素数は、P+K×Nから最大P+(K-1)×Nに低減される。
【0582】
一部の実施形態では、第5のスティッチング画像の第1のターゲット位置からパディング解除が実施されて、第3のスティッチング画像を取得することができる。
【0583】
説明されていない第1のターゲット位置の一部については、S12における関連する説明を参照されたい。詳細は本明細書では再び説明されない。
【0584】
この場合、M<K×Qであれば、第5のスティッチング画像はパディング画素を含む。第3のスティッチング画像は不規則な画像であり、第3のスティッチング画像内の少なくともK×Q-M個の行内の画素数はP+(K-1)×Nである。換言すれば、第3のスティッチング画像の少なくともK×Q-M行における画素数は、他の行における画素数とは異なる。M=K×Qである場合、第5のスティッチング画像はパディング画素を含まず、S226’’’における動作が実施される必要はない。この場合、第5のスティッチング画像は、S227’’’における第3のスティッチング画像である。
【0585】
S227’’:第13の画像および第2の画像を取得するために、第3のスティッチング画像を水平にセグメント化する。この場合、第13の画像の行画素数はK×Nであり、列画素数は、Qである。
【0586】
第3のスティッチング画像は水平にセグメント化され、その結果、画像データは、その後、第1のポートおよび第2のポート上でより円滑に出力され得る。換言すれば、同じ期間に、対応する画像データが両方のポートに出力される。
【0587】
一部の実施形態では、S227’’’の後、S228’’’~S230’’’は実施されなくてもよい。
【0588】
S228’’’:K個のサブ画像を取得するために、第13の画像を水平にセグメント化する。K個のサブ画像の行画素数はNである。
【0589】
一部の実施形態では、S228’’’の後、ステップS229’’’およびステップS230’’’は実施されなくてもよい。
【0590】
S229’’’:第4の画像を取得するために、K個のサブ画像を垂直にスティッチングする。この場合、第4の画像の画素数はN×Mである。
【0591】
一部の実施形態では、S229’’’の後、S229’’’およびS230’’’は実施されなくてもよい。
【0592】
S230’’:第1の画像を取得するために、第4の画像を回転させる。
【0593】
一部の実施形態では、第1の画像を取得するために、第4の画像は(-90°-180°×n)だけ回転される。この場合、第1の画像の行画素数はM×Nである。
【0594】
方式3’’’
方式3’’’は、S221’’’およびS231’’’~S234’’’を含み得る。S221’’’の関連する説明については、前述の説明を参照されたい。詳細は本明細書では再び説明されない。以下、S231’’~S234’’’について具体的に説明する。
【0595】
一部の実施形態では、S221’’’の後、S231’’’~S234’’’は実施されなくてもよい。
【0596】
S231’’:第13の画像を取得するために、第11の画像をパディング解除する。この場合、パディング解除された画素数は、N×(K×Q-M)である。
【0597】
一部の実施形態では、第11の画像をパディング解除することは、第11の画像の少なくともK×Q-M行における画素数がP+K×Nから最大P+(K-1)×Nに低減されるように、第11の画像に対して行パディング解除を実施することであり得る。
【0598】
一部の実施形態では、第13の画像を取得するために、第11の画像の第1のターゲット位置からパディング解除が実施され得る。
【0599】
説明されていない第1のターゲット位置の一部については、S12における関連する説明を参照されたい。詳細は本明細書では再び説明されない。
【0600】
この場合、M<K×Qであれば、第11の画像はパディング画素を含む。第13の画像内の少なくともK×Q-M個の行内の画素数は、P+(K-1)×Nである。換言すれば、第13の画像の少なくともK×Q-M行における画素数は、他の行における画素数と異なる。M=K×Qの場合、第11の画像はパディング画素を含まず、S231’’’の動作が実施される必要はない。この場合、11番目の画像は、S232’’’における13番目の画像である。
【0601】
一部の実施形態では、S231’’’の後、S232’’’~S234’’’は実施されなくてもよい。
【0602】
S232’’’:K個のサブ画像を取得するために、第13の画像を水平にセグメント化する。K個のサブ画像の行画素数はNである。
【0603】
一部の実施形態では、S232’’’の後、S233’’’およびS234’’’は実施されなくてもよい。
【0604】
S233’’’:第4の画像を取得するために、K個のサブ画像を垂直にスティッチングする。この場合、第4の画像の画素数はN×Mである。
【0605】
一部の実施形態では、S233’’’の後、S234’’’は実施されなくてもよい。
【0606】
S234’’:第1の画像を取得するために、第4の画像を回転させる。
【0607】
一部の実施形態では、第1の画像を取得するために、第4の画像は(-90°-180°×n)だけ回転される。この場合、第1の画像の行画素数はM×Nである。
【0608】
方法200’’’は、前述のS330およびS340をさらに含んでもよい。S330およびS340の説明については、前述の説明を参照されたい。詳細は本明細書では再び説明されない。
【0609】
一部の実施形態では、S220’’’は、第2の処理ユニットによって実施され得る。例えば、第2の処理ユニットは、FPGAユニットおよび/またはSerを含み得るが、これらに限定されない。
【0610】
一部の実施形態では、方法200’’’および方法200’は、別個に行われてもよい。一部の他の実施形態では、方法200’’’および方法200’は、組み合わせて実施されてもよい。これは、本出願の実施形態において限定されない。
【0611】
一部の実施形態では、前述の第1の画像処理装置は、取得ユニット、第2の処理ユニット、第1の送信ユニット、および/または第2の送信ユニットをさらに含み得る。第1の画像処理装置の取得ユニットはS210’’’を実施し、第1の画像処理装置の第2の処理ユニットはS220’’’を実施し、第1の画像処理装置の第1の送信ユニットはS330を実施し、第1の画像処理装置の第2の送信ユニットはS340を実施する。
【0612】
一部の実施形態では、第1の画像および/または第2の画像が複数の画像をスティッチングすることによって形成された画像である場合、方法200’’または200’’’は、第1の画像および/または第2の画像を複数の画像にセグメント化するステップをさらに含む。方法は、異なるポートを通して異なるセグメント化された画像を送信するステップをさらに含み得る。
【0613】
前述の方法200’’または200’’’によれば、第2の画像は、第4のスティッチング画像または第5のスティッチング画像を処理するプロセスにおいて処理される必要はない。このようにして、第2の画像を処理する複雑さがさらに増加されることはない。加えて、第4のスティッチング画像または第5のスティッチング画像の各行は、第2の画像の画素の完全な行を含む。第2の画像の画素は、バッファリングされる必要がなく、第2の画像の画素の行は、第4のスティッチング画像または第5のスティッチング画像に対して単純なセグメント化を実施することのみによって抽出されることができ、その結果、第2の画像は、リアルタイムで迅速に転送されることができる。加えて、取得された第1の画像および取得された第2の画像は、パディング画素を含まない。このようにして、第1の画像および第2の画像を伝送する後続のプロセスにおいて、一態様では、パディング画素は伝送帯域幅を占有しない。これにより、第1の画像および第2の画像の伝送効率を向上させる。別の態様では、第1の画像も第2の画像もパディング画素を含まず、第1の画像および第2の画像に対応する画素クロック(1秒当たりに伝送される画像画素数を指す)は小さく、その結果、第1の画像および第2の画像を受信するデバイス上のインターフェースの要件が低減され得る。
【0614】
本出願の実施形態は、別の画像処理方法500をさらに提供する。画像処理方法500では、第3の画像に対して第2の前処理が実施されて、第1の画像を取得することができる。
【0615】
例えば、図16は、本出願の実施形態による画像処理方法500の一例の概略フローチャートである。
【0616】
図16に示されるように、方法500は以下のステップを含む。
【0617】
S510:第3の画像を取得する。
【0618】
一部の実施形態では、S510は、取得ユニットによって実施され得る。
【0619】
任意選択で、一部の実施形態では、S510は、第2の画像処理装置の取得ユニットによって第3の画像を取得することであり得る。
【0620】
S520:第1の画像を取得するために、第3の画像に対して第2の前処理を実施する。第2の前処理は、第3の画像を回転させることを含むか、または第2の前処理は、第3の画像を回転させ、パディング解除することを含む。
【0621】
本出願の実施形態では、S520を実装する方式は限定されない。以下では、例として方式Aから方式Cを使用することによってS520を詳細に説明する。
【0622】
方式Aでは、第1の画像を取得するために、第3の画像は回転される。
【0623】
一部の実施形態では、第1の画像を取得するために、第3の画像は(-90°-180°×n)だけ回転される。
【0624】
方式Aの関連する説明については、S12’の前述の関連する説明を参照されたい。詳細は本明細書では再び説明されない。
【0625】
方式Bは、S521およびS522を含んでもよい。以下、S521およびS522について具体的に説明する。
【0626】
S521:第5の画像を取得するために、第3の画像を回転させる。
【0627】
S521の関連する説明については、S22’の前述の関連する説明を参照されたい。詳細は本明細書では再び説明されない。
【0628】
S522:第1の画像を取得するために、第5の画像をパディング解除する。
【0629】
S522の関連する説明については、S23’の前述の関連する説明を参照されたい。詳細は本明細書では再び説明されない。
【0630】
方式Cは、S521’およびS522’を含み得る。以下、S521’およびS522’について具体的に説明する。
【0631】
S521’:第4の画像を取得するために、第3の画像をパディング解除する。
【0632】
S521’の関連する説明については、S32’の前述の関連する説明を参照されたい。詳細は本明細書では再び説明されない。
【0633】
S522’:第1の画像を取得するために、第4の画像を回転させる。
【0634】
S522’の関連説明については、S33’の前述の関連説明を参照されたい。詳細は本明細書では再び説明されない。
【0635】
一部の実施形態において、方法500におけるS520は、第3の処理ユニットによって実施されてよい。例えば、第3の処理ユニットは、FPGAユニットおよび/またはDesを含み得るが、これらに限定されない。
【0636】
一部の実施形態では、方法500はS530をさらに含む。
【0637】
S530:第1の画像を送信する。
【0638】
一部の実施形態において、方法500におけるS530は、送信ユニットによって実施されてよい。
【0639】
一部の実施形態では、方法500は、第2の画像処理装置によって実施される。具体的には、第2の画像処理装置は、取得ユニットと、第3の処理ユニットと、送信ユニットと、を含む。第2の画像処理装置の取得ユニットはS510を実施し、第2の画像処理装置の第3の処理ユニットはS520を実施し、第2の画像処理装置の送信ユニットはS530を実施する。
【0640】
一部の実施形態では、第2の画像処理装置は、ディスプレイをさらに含む。第2の画像処理装置の送信ユニットは、第2の画像処理装置がディスプレイに第1の画像を表示するように、第1の画像をディスプレイに送信する。
【0641】
例えば、本出願の実施形態では、例えば、第2の画像処理装置は、車載インフォテインメント(in-vehicle infotainment、IVI)デバイス、ヘッドアップディスプレイ(head-up display、HUD)デバイスなどを含むが、これらに限定されない。
【0642】
一部の実施形態では、第2の画像処理装置は、第2のインターフェースをさらに含む。第2の画像処理装置の送信ユニットは、第2のインターフェースを介して第1の画像をディスプレイに送信する。
【0643】
例えば、本出願の実施形態では、第2のインターフェースは、MIPI、oLDI、またはDPを含むが、これらに限定されない。
【0644】
本出願の実施形態は、別の画像処理方法600をさらに提供する。画像処理方法600では、第1の画像を取得するために、第5の画像はパディング解除されることができる。
【0645】
例えば、図17は、本出願の実施形態による画像処理方法600の一例の概略フローチャートである。
【0646】
図17に示すように、方法600は、以下のステップを含む。
【0647】
S610:第5の画像を取得する。
【0648】
一部の実施形態では、S610は、取得ユニットによって実施され得る。
【0649】
任意選択で、一部の実施形態では、S610は、第2の画像処理装置の取得ユニットによって第5の画像を取得することであり得る。
【0650】
S620:第1の画像を取得するために、第5の画像をパディング解除する。
【0651】
S620の関連する説明については、S23’の前述の関連する説明を参照されたい。詳細は本明細書では再び説明されない。
【0652】
一部の実施形態において、方法600におけるS620は、第3の処理ユニットによって実施されてよい。例えば、第3の処理ユニットは、FPGAユニットおよび/またはDesを含み得るが、これらに限定されない。
【0653】
一部の実施形態では、方法600はS630をさらに含む。
【0654】
S630:第1の画像を送信する。
【0655】
一部の実施形態において、方法600におけるS630は、送信ユニットによって実施されてよい。
【0656】
一部の実施形態では、前述の第2の画像処理装置は、取得ユニット、第3の処理ユニット、および送信ユニットをさらに含み得る。第2の画像処理装置の取得ユニットはS610を実施し、第2の画像処理装置の第3の処理ユニットはS620を実施し、第2の画像処理装置の送信ユニットはS630を実施する。
【0657】
一部の実施形態では、第2の画像処理装置は、ディスプレイをさらに含む。第2の画像処理装置の送信ユニットは、第2の画像処理装置がディスプレイに第1の画像を表示するように、第1の画像をディスプレイに送信する。
【0658】
一部の実施形態では、第2の画像処理装置は、第2のインターフェースをさらに含む。第2の画像処理装置の送信ユニットは、第2のインターフェースを介して第1の画像をディスプレイに送信する。
【0659】
本出願の実施形態は、画像処理方法700をさらに提供する。画像処理方法700では、第1の画像を取得するために、第4の画像は回転されることができる。
【0660】
例えば、図18は、本出願の実施形態による画像処理方法700の一例の概略フローチャートである。
【0661】
図18に示すように、方法700は、以下のステップを含む。
【0662】
S710:第4の画像を取得する。
【0663】
一部の実施形態では、S710は、取得ユニットによって実施され得る。
【0664】
任意選択で、一部の実施形態では、S710は、第2の画像処理装置の取得ユニットによって第4の画像を取得することであり得る。
【0665】
S720:第1の画像を取得するために、第4の画像を回転させる。
【0666】
S720の関連する説明については、S33’の前述の関連する説明を参照されたい。詳細は本明細書では再び説明されない。
【0667】
一部の実施形態において、方法700におけるS720は、第3の処理ユニットによって実施されてよい。例えば、第3の処理ユニットは、FPGAユニットおよび/またはDesを含み得るが、これらに限定されない。
【0668】
一部の実施形態では、方法700はS730をさらに含む。
【0669】
S730:第1の画像を送信する。
【0670】
一部の実施形態において、方法700におけるS730は、送信ユニットによって実施されてよい。
【0671】
一部の実施形態では、前述の第2の画像処理装置は、取得ユニット、第3の処理ユニット、および送信ユニットをさらに含み得る。第2の画像処理装置の取得ユニットはS710を実施し、第2の画像処理装置の第3の処理ユニットはS720を実施し、第2の画像処理装置の送信ユニットはS730を実施する。
【0672】
一部の実施形態では、第2の画像処理装置は、ディスプレイをさらに含む。第2の画像処理装置の送信ユニットは、第2の画像処理装置がディスプレイに第1の画像を表示するように、第1の画像をディスプレイに送信する。
【0673】
一部の実施形態では、第2の画像処理装置は、第2のインターフェースをさらに含む。第2の画像処理装置の送信ユニットは、第2のインターフェースを介して第1の画像をディスプレイに送信する。
【0674】
前述の方法500、600、または700に従って取得された第1の画像は、パディング画素を含まない。このようにして、第1の画像を伝送する後続のプロセスにおいて、一態様では、パディング画素は伝送帯域幅を占有しない。これにより、第1の画像の伝送効率を向上させる。別の態様では、第1の画像はパディング画素を含まず、第1の画像に対応する画素クロックは小さく、その結果、第1の画像を受信するデバイス上のインターフェースの要件が低減され得る。
【0675】
本出願の実施形態は、さらに別の画像処理方法をさらに提供する。方法では、第12の画像、第11の画像、または第13の画像に基づいて第1の画像が取得されることができる。
【0676】
可能な実装形態では、方法は、S810およびS222’’~S225’’を含む。
【0677】
S810:第12の画像を取得する。第12の画像の行画素数はK×NPであり、列画素数はMQである。第4の画像の画素数はN×であり、Q<M、M>N、およびN<Qである。
【0678】
S222’’~S225’’の説明については、前述の関連説明を参照されたい。詳細は本明細書では再び説明されない。
【0679】
別の可能な実装形態では、方法は、S810、S222’’、S226’’、およびS227’’を含み得る。
【0680】
S222’’、S226’’、およびS227’’の説明については、前述の関連する説明を参照されたい。詳細は本明細書では再び説明されない。
【0681】
さらに別の可能な実装形態では、方法は、S820およびS222’’~S225’’’を含み得る。
【0682】
S820:第11の画像を取得する。第11の画像の行画素数はK×Nであり、列画素数は、Qである。
【0683】
S222’’’~S225’’’の説明については、前述の関連説明を参照されたい。詳細は本明細書では再び説明されない。
【0684】
さらに別の可能な実装形態では、方法は、S820およびS231’’~S234’’’を含み得る。
【0685】
S231’’’~S234’’’の説明については、前述の関連説明を参照されたい。詳細は本明細書では再び説明されない。
【0686】
さらに別の可能な実装形態では、方法は、S830およびS228’’~S230’’’を含み得る。
【0687】
S830:第13の画像を取得する。第13の画像の行画素数はK×Nであり、列画素数は、Qである。
【0688】
S228’’’~S230’’’の説明については、前述の関連説明を参照されたい。詳細は本明細書では再び説明されない。
【0689】
一部の実施形態では、方法におけるS222’’~S225’’、S222’’、S226’’、およびS227’’、S222’’~S225’’、S231’’~S234’’、またはS228’’~S230’’は、第3の処理ユニットによって実施され得る。例えば、第3の処理ユニットは、FPGAユニットおよび/またはDesを含み得るが、これらに限定されない。
【0690】
一部の実施形態では、方法はS840をさらに含む。
【0691】
S840:第1の画像を送信する。
【0692】
一部の実施形態において、方法700におけるS840は、送信ユニットによって実施されてよい。
【0693】
一部の実施形態では、前述の第2の画像処理装置は、取得ユニット、第3の処理ユニット、および送信ユニットをさらに含み得る。第2の画像処理装置内の取得ユニットは、S810、S820、またはS830を実施し、第2の画像処理装置内の第3の処理ユニットは、S222’’~S225’’、S222’’、S226’’、およびS227’’、S222’’~S225’’、S231’’~S234’’、またはS228’’~S230’’を実施し、第2の画像処理装置内の送信ユニットは、S840を実施する。
【0694】
一部の実施形態では、第2の画像処理装置は、ディスプレイをさらに含む。第2の画像処理装置の送信ユニットは、第2の画像処理装置がディスプレイに第1の画像を表示するように、第1の画像をディスプレイに送信する。
【0695】
一部の実施形態では、第2の画像処理装置は、第2のインターフェースをさらに含む。第2の画像処理装置の送信ユニットは、第2のインターフェースを介して第1の画像をディスプレイに送信する。
【0696】
方法に従って取得された第1の画像は、パディング画素を含まない。このようにして、第1の画像を伝送する後続のプロセスにおいて、一態様では、パディング画素は伝送帯域幅を占有しない。これにより、第1の画像の伝送効率を向上させる。別の態様では、第1の画像はパディング画素を含まず、第1の画像に対応する画素クロックは小さく、その結果、第1の画像を受信するデバイス上のインターフェースの要件が低減され得る。
【0697】
本出願の実施形態では、画像スティッチングおよび/またはセグメント化は、表示された状態の画像を使用することによって説明される。特定の実装形態プロセスでは、画像スティッチングおよび/またはセグメント化は、画像内の各画素の記憶アドレスを変更することによって実装され得る。
【0698】
上記は、図5および図18を参照して、本出願において提供される画像処理方法を詳細に説明している。以下、図19図23を参照して、本出願の画像処理装置の実施形態を詳細に説明する。前述の実施形態による機能を実装するために、図19図23における画像処理装置は、機能を実施するための対応するハードウェア構造および/またはソフトウェアモジュールを含むことが理解され得る。当業者は、本出願において開示される実施形態において説明された例におけるユニットおよび方法ステップと、組み合わせて、本出願がハードウェアまたはハードウェアとコンピュータソフトウェアとの組み合わせを使用することによって実装され得ることを容易に認識するはずである。機能がハードウェアを使用して実施されるか、コンピュータソフトウェアによって駆動されるハードウェアを使用して実施されるかは、技術的解決策の特定の適用シナリオおよび設計制約に依存する。
【0699】
図19は、本出願の実施形態による画像処理装置の一例の構成の概略図である。
【0700】
例えば、図19に示されるように、画像処理装置800は、第1の画像および第2の画像に基づいて第1のスティッチング画像を取得するように構成された第1の処理ユニット801と、第1のスティッチング画像を送信するように構成された送信ユニット802と、を含み、第1の画像の行画素数は、Mであり、列画素数は、Nであり、M>Nであり、MおよびNの両方は、正の整数であり、第2の画像の行画素数は、Pであり、列画素数は、Qであり、Q≧Mであり、PおよびQの両方は、正の整数であり、第1のスティッチング画像の行画素数は、N+Pであり、列画素数は、Qであり、第1のスティッチング画像は、第2の画像および第3の画像を含み、第3の画像は、第1の画像の第1の前処理を通じて取得された画像であり、第1の前処理は、第1の画像を回転させることを含むか、または第1の前処理は、第1の画像を回転させ、パディングすることを含む。
【0701】
例えば、第1の処理ユニット801は、システムオンチップSoCを含む。
【0702】
一部の実施形態では、第1の処理ユニット801が第1の画像および第2の画像に基づいて第1のスティッチング画像を取得するように構成されることは、第1の処理ユニット801は、第3の画像を取得するために、第1の画像を回転させ、第1のスティッチング画像を取得するために、第3の画像および第2の画像をスティッチングするように特に構成されることを含む。
【0703】
任意選択で、第1の処理ユニット801は、第3の画像を取得するために、第1の画像を(90°+180°×n)だけ回転させ、nは整数である、ようにさらに特に構成される。
【0704】
一部の他の実施形態では、第1の処理ユニット801は、第4の画像を取得するために、第1の画像を回転させ、第3の画像を取得するために、第4の画像に対して画素パディングを実施し、第1のスティッチング画像を取得するために、第3の画像および第2の画像をスティッチングするように特に構成される。
【0705】
任意選択で、第1の処理ユニット801が第3の画像を取得するために、第4の画像に対して画素パディングを実施するように特に構成されることは、第1の処理ユニット801は、第3の画像を取得するために、第4の画像の第1のターゲット位置から画素パディングを実施し、第1のターゲット位置は、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されることを含む。
【0706】
一部の他の実施形態では、第1の処理ユニット801は、第5の画像を取得するために、第1の画像に対して画素パディングを実施し、第3の画像を取得するために、第5の画像を回転させ、第1のスティッチング画像を取得するために、第3の画像および第2の画像をスティッチングするように特に構成される。
【0707】
任意選択で、第1の処理ユニット801が第5の画像を取得するために、第1の画像に対して画素パディングを実施するように特に構成されることは、第1の処理ユニット801は、第5の画像を取得するために、第1の画像の第2のターゲット位置から画素パディングを実施し、第2のターゲット位置は、左位置、右位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されることを含む。
【0708】
任意選択で、第1の処理ユニット801は、第5の画像を取得するために、第1の画像を(90°+180°×n)だけ回転させ、nは整数である、ようにさらに特に構成される。
【0709】
一部の他の実施形態では、第1の処理ユニット801は、第4の画像を取得するために、第1の画像を回転させ、第2のスティッチング画像を取得するために、第4の画像および第2の画像をスティッチングし、第1のスティッチング画像を取得するために、第2のスティッチング画像に対して画素パディングを実施するように特に構成される。
【0710】
任意選択で、第1の処理ユニット801が第3の画像を取得するために、第4の画像に対して画素パディングを実施するように特に構成されることは、第1の処理ユニット801は、第3の画像を取得するために、第4の画像の第1のターゲット位置から画素パディングを実施し、第1のターゲット位置は、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されることを含む。
【0711】
任意選択で、第1の処理ユニット801は、第4の画像を取得するために、第1の画像を(90°+180°×n)だけ回転させ、nは整数である、ようにさらに特に構成される。
【0712】
任意選択で、送信ユニット802は、第1のスティッチング画像を第2の処理ユニットまたは伝送ユニットに送信するように特に構成される。
【0713】
例えば、第2の処理ユニットは、FPGAユニットおよび/またはSerを含む。
【0714】
図20は、本出願の実施形態による画像処理装置の他の例の構成の概略図である。
【0715】
例えば、図20に示すように、画像処理装置900は、取得ユニット901と、第2の処理ユニット902とを含む。
【0716】
例えば、第2の処理ユニット902は、FPGAユニットおよび/またはSerを含む。
【0717】
可能な実装形態では、取得ユニット901は、第1のスティッチング画像を取得するように構成される。第2の処理ユニット902は、第1の画像および第2の画像を取得するために、第1のスティッチング画像に対して第1の処理を実施するように構成される。第1のスティッチング画像の行画素数は、N+Pであり、列画素数は、Qであり、第1のスティッチング画像は、第2の画像および第3の画像を含み、N、P、およびQは、全て正の整数である。第1の画像の行画素数は、Mであり、列画素数は、Nであり、M>Nであり、Mは、正の整数である。第2の画像の行画素数は、Pであり、列画素数は、Qであり、Q≧Mである。第1の処理は、第2の画像および第3の画像を取得するために、第1のスティッチング画像をセグメント化することを含む。第1の処理は、第3の画像を回転させることをさらに含むか、または第1の処理は、第3の画像を回転させ、パディング解除することをさらに含む。
【0718】
一部の実施形態では、第2の処理ユニット902は、第2の画像および第3の画像を取得するために、第1のスティッチング画像をセグメント化し、第1の画像を取得するために、第3の画像を回転させるように特に構成される。
【0719】
任意選択で、第2の処理ユニット902は、第1の画像を取得するために、第3の画像を(-90°-180°×n)だけ回転させ、nは整数である、ようにさらに特に構成される。
【0720】
一部の他の実施形態では、第2の処理ユニット902は、第2の画像および第3の画像を取得するために、第1のスティッチング画像をセグメント化し、第5の画像を取得するために、第3の画像を回転させ、第1の画像を取得するために、第5の画像をパディング解除するように特に構成される。
【0721】
任意選択で、第2の処理ユニット902が第1の画像を取得するために、第5の画像をパディング解除するように特に構成されることは、第2の処理ユニット902は、第1の画像を取得するために、第5の画像の第2のターゲット位置からパディング解除を実施し、第2のターゲット位置は、左位置、右位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されることを含む。
【0722】
任意選択で、第2の処理ユニット902は、第5の画像を取得するために、第3の画像を(-90°-180°×n)だけ回転させ、nは整数である、ようにさらに特に構成される。
【0723】
一部の他の実施形態では、第2の処理ユニット902は、第2の画像および第3の画像を取得するために、第1のスティッチング画像をセグメント化し、第4の画像を取得するために、第3の画像をパディング解除し、第1の画像を取得するために、第4の画像を回転させるようにさらに特に構成される。
【0724】
任意選択で、第2の処理ユニット902が第4の画像を取得するために、第3の画像をパディング解除するようにさらに特に構成されることは、第2の処理ユニット902は、第4の画像を取得するために、第3の画像の第1のターゲット位置からパディング解除を実施し、第1のターゲット位置は、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されることを含む。
【0725】
任意選択で、第2の処理ユニット902は、第1の画像を取得するために、第4の画像を(-90°-180°×n)だけ回転させ、nは整数である、ようにさらに特に構成される。
【0726】
任意選択で、装置900は、第1の送信ユニット、第2の送信ユニット、第1のポート、および第2のポートをさらに含み、第1の送信ユニットは、第1のポートを介して第2の画像を送信するように構成され、第2の送信ユニットは、第2のポートを介して第1の画像を送信するように構成される。
【0727】
別の可能な実装形態では、取得ユニット901は、第1のスティッチング画像を取得するように構成される。第2の処理ユニット902は、第1の画像および第2の画像を取得するために、第1のスティッチング画像に対して第2の処理を実施するように構成される。第1のスティッチング画像の行画素数は、N+Pであり、列画素数は、Qであり、第1のスティッチング画像は、第2の画像および第3の画像を含み、N、P、およびQは、全て正の整数である。第1の画像の行画素数は、Mであり、列画素数は、Nであり、M>Nであり、Mは、正の整数である。第2の画像の行画素数は、Pであり、列画素数は、Qであり、Q≧Mである。第2の処理は、第2のスティッチング画像を取得するために、第1のスティッチング画像をパディング解除することを含む。第2の処理は、第1の画像および第2の画像を取得するために、第2のスティッチング画像を回転させ、セグメント化することをさらに含む。
【0728】
一部の実施形態では、第2の処理ユニット902は、第2のスティッチング画像を取得するために、第1のスティッチング画像をパディング解除し、第2の画像および第4の画像を取得するために、第2のスティッチング画像をセグメント化し、第1の画像を取得するために、第4の画像を回転させるように特に構成される。
【0729】
任意選択で、第2の処理ユニット902が、第2のスティッチング画像を取得するために、第1のスティッチング画像をパディング解除するように特に構成されることは、第2の処理ユニット902は、第2のスティッチング画像を取得するために、第1のスティッチング画像内の第3の画像の第1のターゲット位置からパディング解除を実施し、第1のターゲット位置は、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されることを含む。
【0730】
任意選択で、第2の処理ユニット902は、第1の画像を取得するために、第4の画像を(-90°-180°×n)だけ回転させ、nは整数である、ようにさらに特に構成される。
【0731】
任意選択で、装置900は、第1の送信ユニット、第2の送信ユニット、第1のポート、および第2のポートをさらに含み、第1の送信ユニットは、第1のポートを介して第2の画像を送信するように構成され、第2の送信ユニットは、第2のポートを介して第1の画像を送信するように構成される。
【0732】
図21は、本出願の実施形態による画像処理装置の他の例の構成の概略図である。
【0733】
例えば、図21に示されるように、画像処理装置1000は、取得ユニット1001および第3の処理ユニット1002を含む。
【0734】
例えば、第3の処理ユニット1002は、FPGAユニットおよび/またはDesを含む。
【0735】
可能な実装形態では、取得ユニット1001は、第3の画像を取得するように構成される。第3の処理ユニット1002は、第3の画像に対して第2の前処理を実施して、第1の画像を取得するように構成される。第2の前処理は、第3の画像を回転させることを含むか、または第2の前処理は、第3の画像を回転させ、パディング解除することを含む。
【0736】
一部の実施形態では、第3の処理ユニット1002は、第1の画像を取得するために、第3の画像を回転させるように特に構成される。
【0737】
任意選択で、第3の処理ユニット1002は、第1の画像を取得するために、第3の画像を(-90°-180°×n)だけ回転させ、nは整数である、ようにさらに特に構成される。
【0738】
一部の他の実施形態では、第3の処理ユニット1002は、第5の画像を取得するために、第3の画像を回転させ、第1の画像を取得するために、第5の画像をパディング解除するように特に構成される。
【0739】
任意選択で、第3の処理ユニット1002が第1の画像を取得するために、第5の画像をパディング解除するように特に構成されることは、第3の処理ユニット1002は、第1の画像を取得するために、第5の画像の第2のターゲット位置からパディング解除を実施し、第2のターゲット位置は、左位置、右位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されることを含む。
【0740】
任意選択で、第3の処理ユニット1002は、第5の画像を取得するために、(-90°-180°×n)だけ第3の画像を回転させ、nは整数である、ようにさらに特に構成される。
【0741】
一部の他の実施形態では、第3の処理ユニット1002は、第4の画像を取得するために、第3の画像をパディング解除し、第1の画像を取得するために、第4の画像を回転させるように特に構成される。
【0742】
任意選択で、第3の処理ユニット1002が第4の画像を取得するために、第3の画像をパディング解除するように特に構成されることは、第3の処理ユニット1002は、第4の画像を取得するために、第3の画像の第1のターゲット位置からパディング解除を実施し、第1のターゲット位置は、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されることを含む。
【0743】
任意選択で、第3の処理ユニット1002は、第1の画像を取得するために、第4の画像を(-90°-180°×n)だけ回転させ、nは整数である、ようにさらに特に構成される。
【0744】
任意選択で、装置1000は、第1の画像を送信するように構成された送信ユニットをさらに含む。
【0745】
別の可能な実装形態では、取得ユニット1001は、第5の画像を取得するように構成される。第3の処理ユニット1002は、第1の画像を取得するために、第5の画像をパディング解除するように構成される。
【0746】
任意選択で、第3の処理ユニット1002が第1の画像を取得するために、第5の画像をパディング解除するように構成されることは、第3の処理ユニット1002は、第1の画像を取得するために、第5の画像の第2のターゲット位置からパディング解除を実施し、第2のターゲット位置は、左位置、右位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されることを含む。
【0747】
任意選択で、装置1000は、第1の画像を送信するように構成された送信ユニットをさらに含む。
【0748】
さらに別の可能な実装形態では、取得ユニット1001は、第4の画像を取得するように構成される。第3の処理ユニット1002は、第1の画像を取得するために、第4の画像を回転させるように構成される。
【0749】
任意選択で、第3の処理ユニット1002は、第1の画像を取得するために、第4の画像を(-90°-180°×n)だけ回転させ、nは整数である、ようにさらに特に構成される。
【0750】
任意選択で、装置1000は、第1の画像を送信するように構成された送信ユニットをさらに含む。
【0751】
図22は、本出願の実施形態による画像処理装置のさらに他の例の構成の概略図である。
【0752】
例えば、図22に示されるように、画像処理装置1100は、第1の処理ユニット1101と、送信ユニット1102と、取得ユニット1103と、第2の処理ユニット1104とを含む。
【0753】
例えば、装置1100は、ドメインコントローラ、例えば、CDCまたはMDCである。
【0754】
例えば、第1の処理ユニット1101は、システムオンチップSoCを含む。
【0755】
例えば、第2の処理ユニット1104は、FPGAユニットおよび/またはSerを含む。
【0756】
可能な実装形態では、第1の処理ユニット1101は、第1の画像および第2の画像に基づいて第1のスティッチング画像を取得するように構成される。送信ユニット1102は、第1のスティッチング画像を送信するように構成される。取得ユニット1103は、第1のスティッチング画像を取得するように構成される。第2の処理ユニット1104は、第1の画像および第2の画像を取得するために、第1のスティッチング画像に対して第1の処理を実施するように構成される。第1の画像の行画素数は、Mであり、列画素数は、Nであり、M>Nであり、MおよびNの両方は、正の整数である。第2の画像の行画素数は、Pであり、列画素数は、Qであり、Q≧Mであり、PおよびQの両方は、正の整数である。第1のスティッチング画像の行画素数は、N+Pであり、列画素数は、Qである。第1のスティッチング画像は、第2の画像および第3の画像を含み、第3の画像は、第1の画像の第1の前処理を通じて取得された画像であり、第1の前処理は、第1の画像を回転させることを含むか、または第1の前処理は、第1の画像を回転させ、パディングすることを含む。第1の処理は、第2の画像および第3の画像を取得するために、第1のスティッチング画像をセグメント化することを含む。第1の処理は、第3の画像を回転させることをさらに含むか、または第1の処理は、第3の画像を回転させ、パディング解除することをさらに含む。
【0757】
一部の実施形態では、第1の処理ユニット1101が第1の画像および第2の画像に基づいて第1のスティッチング画像を取得するように構成されることは、第1の処理ユニット1101は、第3の画像を取得するために、第1の画像を回転させ、第1のスティッチング画像を取得するために、第3の画像および第2の画像をスティッチングするように特に構成されることを含む。
【0758】
任意選択で、第1の処理ユニット1101は、第3の画像を取得するために、第1の画像を(90°+180°×n)だけ回転させ、nは整数である、ようにさらに特に構成される。
【0759】
一部の他の実施形態では、第1の処理ユニット1101は、第4の画像を取得するために、第1の画像を回転させ、第3の画像を取得するために、第4の画像に対して画素パディングを実施し、第1のスティッチング画像を取得するために、第3の画像および第2の画像をスティッチングするように特に構成される。
【0760】
任意選択で、第1の処理ユニット1101が第3の画像を取得するために、第4の画像に対して画素パディングを実施するように特に構成されることは、第1の処理ユニット1101は、第3の画像を取得するために、第4の画像の第1のターゲット位置から画素パディングを実施し、第1のターゲット位置は、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されることを含む。
【0761】
一部の他の実施形態では、第1の処理ユニット1101は、第5の画像を取得するために、第1の画像に対して画素パディングを実施し、第3の画像を取得するために、第5の画像を回転させ、第1のスティッチング画像を取得するために、第3の画像および第2の画像をスティッチングするように特に構成される。
【0762】
任意選択で、第1の処理ユニット1101が第5の画像を取得するために、第1の画像に対して画素パディングを実施するように特に構成されることは、第1の処理ユニット1101は、第5の画像を取得するために、第1の画像の第2のターゲット位置から画素パディングを実施し、第2のターゲット位置は、左位置、右位置、または中間位置のうちの少なくとも1つを含むように特に構成されることを含む。
【0763】
任意選択で、第1の処理ユニット1101は、第5の画像を取得するために、第1の画像を(90°+180°×n)だけ回転させ、nは整数である、ようにさらに特に構成される。
【0764】
一部の他の実施形態では、第1の処理ユニット1101は、第4の画像を取得するために、第1の画像を回転させ、第2のスティッチング画像を取得するために、第4の画像および第2の画像をスティッチングし、第1のスティッチング画像を取得するために、第2のスティッチング画像に対して画素パディングを実施するように特に構成される。
【0765】
任意選択で、第1の処理ユニット1101が第3の画像を取得するために、第4の画像に対して画素パディングを実施するように特に構成されることは、第1の処理ユニット1101は、第3の画像を取得するために、第4の画像の第1のターゲット位置から画素パディングを実施し、第1のターゲット位置は、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されることを含む。
【0766】
任意選択で、第1の処理ユニット1101は、第4の画像を取得するために、第1の画像を(90°+180°×n)だけ回転させ、nは整数である、ようにさらに特に構成される。
【0767】
任意選択で、送信ユニット1102は、第1のスティッチング画像を第2の処理ユニット1104または伝送ユニットに送信するように特に構成される。
【0768】
一部の実施形態では、第1の処理ユニット1101は、第2の画像および第3の画像を取得するために、第1のスティッチング画像をセグメント化し、第1の画像を取得するために、第3の画像を回転させるように特に構成される。
【0769】
任意選択で、第2の処理ユニット1104は、第1の画像を取得するために、第3の画像を(-90°-180°×n)だけ回転させ、nは整数である、ようにさらに特に構成される。
【0770】
一部の他の実施形態では、第2の処理ユニット1104は、第2の画像および第3の画像を取得するために、第1のスティッチング画像をセグメント化し、第5の画像を取得するために、第3の画像を回転させ、第1の画像を取得するために、第5の画像をパディング解除するように特に構成される。
【0771】
任意選択で、第2の処理ユニット1104が第1の画像を取得するために、第5の画像をパディング解除するように特に構成されることは、第2の処理ユニット1104は、第1の画像を取得するために、第5の画像の第2のターゲット位置からパディング解除を実施し、第2のターゲット位置は、左位置、右位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されることを含む。
【0772】
任意選択で、第2の処理ユニット1104は、第5の画像を取得するために、第3の画像を(-90°-180°×n)だけ回転させ、nは整数である、ようにさらに特に構成される。
【0773】
一部の他の実施形態では、第2の処理ユニット1104は、第2の画像および第3の画像を取得するために、第1のスティッチング画像をセグメント化し、第4の画像を取得するために、第3の画像をパディング解除し、第1の画像を取得するために、第4の画像を回転させるようにさらに特に構成される。
【0774】
任意選択で、第2の処理ユニット1104が第4の画像を取得するために、第3の画像をパディング解除するようにさらに特に構成されることは、第2の処理ユニット1104は、第4の画像を取得するために、第3の画像の第1のターゲット位置からパディング解除を実施し、第1のターゲット位置は、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されることを含む。
【0775】
任意選択で、第2の処理ユニット1104は、第1の画像を取得するために、第4の画像を(-90°-180°×n)だけ回転させ、nは整数である、ようにさらに特に構成される。
【0776】
任意選択で、装置1100は、第1の送信ユニット、第2の送信ユニット、第1のポート、および第2のポートをさらに含み、第1の送信ユニットは、第1のポートを介して第2の画像を送信するように構成され、第2の送信ユニットは、第2のポートを介して第1の画像を送信するように構成される。
【0777】
別の可能な実装形態では、第1の処理ユニット1101は、第1の画像および第2の画像に基づいて第1のスティッチング画像を取得するように構成される。送信ユニット1102は、第1のスティッチング画像を送信するように構成される。取得ユニット1103は、第1のスティッチング画像を取得するように構成される。第2の処理ユニット1104は、第1の画像および第2の画像を取得するために、第1のスティッチング画像に対して第2の処理を実施するように構成される。第1の画像の行画素数は、Mであり、列画素数は、Nであり、M>Nであり、MおよびNは両方とも正の整数である。第2の画像の行画素数は、Pであり、列画素数は、Qであり、Q≧Mであり、PおよびQの両方は、正の整数である。第1のスティッチング画像の行画素数は、N+Pであり、列画素数は、Qである。第1のスティッチング画像は、第2の画像および第3の画像を含み、第3の画像は、第1の画像の第1の前処理を通じて取得された画像である。第1の前処理は、第1の画像を回転させることを含むか、または第1の前処理は、第1の画像を回転させてパディングすることを含む。第2の処理は、第2のスティッチング画像を取得するために、第1のスティッチング画像をパディング解除することを含む。第2の処理は、第1の画像および第2の画像を取得するために、第2のスティッチング画像を回転させ、セグメント化することをさらに含む。
【0778】
一部の実施形態では、第1の処理ユニット1101が第1の画像および第2の画像に基づいて第1のスティッチング画像を取得するように構成されることは、第1の処理ユニット1101は、第3の画像を取得するために、第1の画像を回転させ、第1のスティッチング画像を取得するために、第3の画像および第2の画像をスティッチングするように特に構成されることを含む。
【0779】
任意選択で、第1の処理ユニット1101は、第3の画像を取得するために、第1の画像を(90°+180°×n)だけ回転させ、nは整数である、ようにさらに特に構成される。
【0780】
一部の他の実施形態では、第1の処理ユニット1101は、第4の画像を取得するために、第1の画像を回転させ、第3の画像を取得するために、第4の画像に対して画素パディングを実施し、第1のスティッチング画像を取得するために、第3の画像および第2の画像をスティッチングするように特に構成される。
【0781】
任意選択で、第1の処理ユニット1101が第3の画像を取得するために、第4の画像に対して画素パディングを実施するように特に構成されることは、第1の処理ユニット1101は、第3の画像を取得するために、第4の画像の第1のターゲット位置から画素パディングを実施し、第1のターゲット位置は、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されることを含む。
【0782】
一部の他の実施形態では、第1の処理ユニット1101は、第5の画像を取得するために、第1の画像に対して画素パディングを実施し、第3の画像を取得するために、第5の画像を回転させ、第1のスティッチング画像を取得するために、第3の画像および第2の画像をスティッチングするように特に構成される。
【0783】
任意選択で、第1の処理ユニット1101が第5の画像を取得するために、第1の画像に対して画素パディングを実施するように特に構成されることは、第1の処理ユニット1101は、第5の画像を取得するために、第1の画像の第2のターゲット位置から画素パディングを実施し、第2のターゲット位置は、左位置、右位置、または中間位置のうちの少なくとも1つを含むように特に構成されることを含む。
【0784】
任意選択で、第1の処理ユニット1101は、第5の画像を取得するために、第1の画像を(90°+180°×n)だけ回転させ、nは整数である、ようにさらに特に構成される。
【0785】
一部の他の実施形態では、第1の処理ユニット1101は、第4の画像を取得するために、第1の画像を回転させ、第2のスティッチング画像を取得するために、第4の画像および第2の画像をスティッチングし、第1のスティッチング画像を取得するために、第2のスティッチング画像に対して画素パディングを実施するように特に構成される。
【0786】
任意選択で、第1の処理ユニット1101が第3の画像を取得するために、第4の画像に対して画素パディングを実施するように特に構成されることは、第1の処理ユニット1101は、第3の画像を取得するために、第4の画像の第1のターゲット位置から画素パディングを実施し、第1のターゲット位置は、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されることを含む。
【0787】
任意選択で、第1の処理ユニット1101は、第4の画像を取得するために、第1の画像を(90°+180°×n)だけ回転させ、nは整数である、ようにさらに特に構成される。
【0788】
任意選択で、送信ユニットは、第1のスティッチング画像を第2の処理ユニット1104または伝送ユニットに送信するように特に構成される。
【0789】
一部の実施形態では、第2の処理ユニット1104は、第2のスティッチング画像を取得するために、第1のスティッチング画像をパディング解除し、第2の画像および第4の画像を取得するために、第2のスティッチング画像をセグメント化し、第1の画像を取得するために、第4の画像を回転させるように特に構成される。
【0790】
任意選択で、第2の処理ユニット1104が第1の画像を取得するために、第5の画像をパディング解除するように特に構成されることは、第2の処理ユニット1104は、第1の画像を取得するために、第5の画像の第2のターゲット位置からパディング解除を実施し、第2のターゲット位置は、左位置、右位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されることを含む。
【0791】
任意選択で、第2の処理ユニット1104は、第1の画像を取得するために、第4の画像を(-90°-180°×n)だけ回転させ、nは整数である、ようにさらに特に構成される。
【0792】
任意選択で、装置1100は、第1の送信ユニット、第2の送信ユニット、第1のポート、および第2のポートをさらに含み、第1の送信ユニットは、第1のポートを介して第2の画像を送信するように構成され、第2の送信ユニットは、第2のポートを介して第1の画像を送信するように構成される。
【0793】
一部の他の実施形態では、第2の処理ユニット1104は、第2のスティッチング画像を取得するために、第1のスティッチング画像をパディング解除し、第2の画像および第4の画像を取得するために、第2のスティッチング画像をセグメント化し、第1の画像を取得するために、第4の画像を回転させるように特に構成される。
【0794】
任意選択で、第2の処理ユニット1104が第1の画像を取得するために、第5の画像をパディング解除するように特に構成されることは、第2の処理ユニット1104は、第1の画像を取得するために、第5の画像の第2のターゲット位置からパディング解除を実施し、第2のターゲット位置は、左位置、右位置、または中間位置のうちの少なくとも1つを含む、ように特に構成されることを含む。
【0795】
任意選択で、第2の処理ユニット1104は、第1の画像を取得するために、第4の画像を(-90°-180°×n)だけ回転させ、nは整数である、ようにさらに特に構成される。
【0796】
任意選択で、装置1100は、第1の送信ユニット、第2の送信ユニット、第1のポート、および第2のポートをさらに含み、第1の送信ユニットは、第1のポートを介して第2の画像を送信するように構成され、第2の送信ユニットは、第2のポートを介して第1の画像を送信するように構成される。
【0797】
一部の実施形態では、装置800、装置900、装置1000、または装置1100に含まれるユニット(または構成要素)は、1つのユニット(または構成要素)内に配設され得る。一部の他の実施形態では、装置800、装置900、装置1000、または装置1100に含まれるユニット(または構成要素)内の少なくとも2つのユニット(または構成要素)は、同じユニット内に配置される。これは、本出願の実施形態において限定されない。
【0798】
図23は、本出願の実施形態による画像処理装置の他の例の構成の概略図である。
【0799】
図23に示すように、画像処理装置1200は、少なくとも1つのプロセッサ1201と、インターフェース回路1202とを含む。
【0800】
任意選択で、画像処理装置1200は、メモリ1203をさらに含んでよく、メモリ1203は、プログラムを記憶するように構成される。
【0801】
例えば、メモリ1203は、読み取り専用メモリ(read only memory、ROM)、静的記憶デバイス、動的記憶デバイス、またはランダムアクセスメモリ(random access memory、RAM)であり得る。メモリ1203は、プログラムを記憶してよい。メモリ1203に記憶されたプログラムがプロセッサ1201によって実行されると、プロセッサ1201およびインターフェース回路1202は、本出願の実施形態において提供される画像処理方法200、方法200’、方法300、方法400、方法200’’、方法500、方法600、または方法700のステップを実施するように構成され得る。換言すれば、プロセッサ1201は、本出願の実施形態で提供される画像処理方法200、方法200’、方法300、方法400、方法200’’、方法500、方法600、または方法700のステップを実施するために、インターフェース回路1202を介してメモリ1203から記憶された命令を取得し得る。
【0802】
例えば、プロセッサ1201は、汎用中央処理装置(central processing unit、CPU)、マイクロプロセッサ、特定用途向け集積回路(application specific integrated circuit、ASIC)、グラフィック処理ユニット(graphic processing unit、GPU)、または1つ以上の集積回路を使用することによって関連プログラムを実施して、本出願の実施形態で提供される画像処理装置1200における可能な実装形態のうちのいずれか1つにおけるユニットによって実行される必要がある機能を実装するか、または本出願の実施形態で提供される画像処理方法200、方法200’、方法300、方法400、方法200’’、方法500、方法600、もしくは方法700のステップを実行するように構成され得る。
【0803】
例えば、プロセッサ1201は、代替的に、集積回路チップであってもよく、信号処理能力を有する。実装形態プロセスでは、本出願の実施形態で提供される画像処理方法200、方法200’、方法300、方法400、方法200’’、方法500、方法600、または方法700のステップは、ハードウェアの形態の統合論理回路またはプロセッサ内のソフトウェアの形態の命令によって完了され得る。
【0804】
例えば、プロセッサ1201は、代替的に、汎用プロセッサ、デジタルシグナルプロセッサ(digital signal processing、DSP)、特定用途向け集積回路(ASIC)、FPGAもしくは別のプログラマブルロジックデバイス、ディスクリートゲートもしくはトランジスタロジックデバイス、またはディスクリートハードウェア構成要素であってもよい。本出願の実施形態において提供される画像処理方法200、方法200’、方法300、方法400、方法200’’、方法500、方法600、または方法700のステップは、実装または実施され得る。汎用プロセッサはマイクロプロセッサであってもよく、またはプロセッサは任意の従来のプロセッサなどであってもよい。本出願の実施形態において提供される画像処理方法200、方法200’、方法300、方法400、方法200’’、方法500、方法600、または方法700のステップは、ハードウェアデコードプロセッサを使用することによって直接実行および完了され得るか、または復号プロセッサ内のハードウェアモジュールとソフトウェアモジュールとの組み合わせを使用することによって実行および完了され得る。ソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読み取り専用メモリ、プログラマブル読み取り専用メモリ、電気的消去可能プログラマブルメモリ、またはレジスタなど、当技術分野における成熟した記憶媒体内に配置されることができる。記憶媒体は、メモリ内に配置される。プロセッサは、メモリ内の情報を読み取り、プロセッサのハードウェアと組み合わせて、本出願の実施形態による画像処理装置1200の可能な実装形態のいずれか1つに含まれるユニットによって実行される必要がある機能を完了するか、または本出願の実施形態において提供される画像処理方法200、方法200’、方法300、方法400、方法200’’、方法500、方法600、もしくは方法700のステップを実施する。
【0805】
例えば、インターフェース回路1202は、トランシーバ装置、例えば、限定はしないが、トランシーバを使用して、装置と別のデバイスまたは通信ネットワークとの間の通信を実装することができる。インターフェース回路1202は、例えば、通信インターフェースであってもよい。
【0806】
前述の添付図面に対応する手順の説明は、それぞれの焦点を有する。手順において詳細に説明されていない部分については、別の手順の関連する説明を参照されたい。
【0807】
本出願の実施形態は、コンピュータ可読記憶媒体をさらに提供する。コンピュータ可読記憶媒体は、プログラム命令を有する。プログラム命令が直接的または間接的に実行されると、前述の画像処理方法が実装される。
【0808】
本出願の実施形態は、端末デバイスをさらに提供する。端末デバイスは、前述の第1の画像処理装置および/または前述の第2の画像処理装置を含む。
【0809】
さらに、端末は、インテリジェント輸送デバイス(乗り物または無人航空機)、スマートホームデバイス、インテリジェント製造デバイス、インテリジェントウェアラブルデバイス、ロボットなどであってもよい。インテリジェント輸送デバイスは、例えば、AGVまたは無人輸送車両であってもよい。
【0810】
本出願の実施形態は、説明書を含むコンピュータプログラム製品をさらに提供する。コンピュータプログラム製品がコンピューティングデバイス上で動作するとき、コンピューティングデバイスは、前述の画像処理方法を実施することを可能にされるか、またはコンピューティングデバイスは、前述の画像処理装置の機能を実装することを可能にされる。
【0811】
本出願の実施形態は、少なくとも1つのプロセッサとインターフェース回路とを含むチップをさらに提供する。インターフェース回路は、少なくとも1つのプロセッサにプログラム命令またはデータを提供するように構成される。少なくとも1つのプロセッサは、前述の画像処理方法を実装するために、プログラム命令を実行するように構成される。
【符号の説明】
【0812】
10 第1のデバイス
11 SoC
12 Ser
20 第2の装置
21 Des
22 ディスプレイ
30 第3の装置
31 Des
32 ディスプレイ
121a ポート
121b ケーブル
122a ポート
122b ケーブル
200 画像処理方法
200’ 画像処理方法
200’’ 画像処理方法
200’’’ 画像処理方法
300 画像処理方法
400 画像処理方法
500 画像処理方法
501 第1の画像
502 第2の画像
503 第3の画像
5031 第4の画像
50311 第1のサブ画像
50312 第1のサブ画像
50313 第1のサブ画像
5032 画素パディング領域
50321 第1のギャップ領域
50322 第1のギャップ領域
511 第1の画像
512 第2の画像
513 第3の画像
514 第1のスティッチング画像
521 第1の画像
5211 第2のサブ画像
5212 第2のサブ画像
5213 第2のサブ画像
522 第2の画像
5231 画素パディング領域
5232 画素パディング領域
5233 第2のギャップ領域
5234 第2のギャップ領域
524 第3の画像
5241 第5の画像
5242 第5の画像
5243 第5の画像
525 第1のスティッチング画像
551 第1の画像
5511 第3のサブ画像
5512 第3のサブ画像
5513 第3のサブ画像
552 第2の画像
553 第1のスティッチング画像
554 第6の画像
600 画像処理方法
700 画像処理方法
800 画像処理装置
801 第1の処理ユニット
802 送信ユニット
900 画像処理装置
901 取得ユニット
902 第2の処理ユニット
1000 画像処理装置
1001 取得ユニット
1002 第3の処理ユニット
1100 画像処理装置
1101 第1の処理ユニット
1102 送信ユニット
1103 取得ユニット
1104 第2の処理ユニット
1200 装置
1201 プロセッサ
1202 インターフェース回路
1203 メモリ
図1
図2
図3
図4
図5
図6(a)】
図6(b)】
図6(c)】
図7
図8(a)】
図8(b)】
図8(c)】
図9
図10
図11
図12
図13(a)】
図13(b)】
図13(c)】
図14(a)】
図14(b)】
図14(c)】
図15
図16
図17
図18
図19
図20
図21
図22
図23
【手続補正書】
【提出日】2024-05-02
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
画像処理装置であって、前記装置は、
第1の画像および第2の画像に基づいて第1のスティッチング画像を取得するように構成された第1の処理ユニットと、
前記第1のスティッチング画像を送信するように構成された送信ユニットと、
を備え、
前記第1の画像の行画素数は、Mであり、列画素数は、Nであり、M>Nであり、MおよびNの両方は、正の整数であり、
前記第2の画像の行画素数は、Pであり、列画素数は、Qであり、Q≧Mであり、PおよびQの両方は、正の整数であり、
前記第1のスティッチング画像の行画素数は、N+Pであり、列画素数は、Qであり、前記第1のスティッチング画像は、前記第2の画像および第3の画像を含み、前記第3の画像は、前記第1の画像の第1の前処理を通じて取得された画像であり、前記第1の前処理は、前記第1の画像を回転させることを含むか、または前記第1の前処理は、前記第1の画像を回転させ、パディングすることを含む、
画像処理装置。
【請求項2】
前記第1の処理ユニットは、
第4の画像を取得するために、前記第1の画像を回転させ、
前記第3の画像を取得するために、前記第4の画像に対して画素パディングを実施し、
前記第1のスティッチング画像を取得するために、前記第3の画像および前記第2の画像をスティッチングする
ように特に構成される、請求項1に記載の装置。
【請求項3】
前記第1の処理ユニットが、前記第3の画像を取得するために、前記第4の画像に対して画素パディングを実施するように特に構成されることは、
前記第1の処理ユニットが、前記第3の画像を取得するために、前記第4の画像の第1のターゲット位置から画素パディングを実施するように特に構成され、前記第1のターゲット位置が、上部位置、下部位置、または中間位置のうちの少なくとも1つを含むこと
を含む、請求項1に記載の装置。
【請求項4】
前記第1の処理ユニットは、
前記第4の画像を取得するために、前記第1の画像を(90°+180°×n)だけ回転させ、nは、整数である、
ようにさらに特に構成される、請求項2または3に記載の装置。
【請求項5】
前記送信ユニットは、
前記第1のスティッチング画像を第2の処理ユニットまたは伝送ユニットに送信する
ように特に構成される、請求項1~4のいずれか一項に記載の装置。
【請求項6】
前記第1の処理ユニットは、システムオンチップSoCを備える、請求項1~5のいずれか一項に記載の装置。
【請求項7】
前記第2の処理ユニットは、フィールドプログラマブルゲートアレイFPGAユニットおよび/またはシリアライザSerを備える、請求項6に記載の装置。
【請求項8】
画像処理装置であって、前記装置は、
第1のスティッチング画像を取得するように構成された取得ユニットと、
第1の画像および第2の画像を取得するために、前記第1のスティッチング画像に対して第1の処理を実施するように構成された第2の処理ユニットと、
を備え、
前記第1のスティッチング画像の行画素数は、N+Pであり、列画素数は、Qであり、前記第1のスティッチング画像は、前記第2の画像および第3の画像を含み、N、P、およびQは、全て正の整数であり、
前記第1の画像の行画素数は、Mであり、列画素数は、Nであり、M>Nであり、Mは、正の整数であり、
前記第2の画像の行画素数は、Pであり、列画素数は、Qであり、Q≧Mであり、
前記第1の処理は、前記第2の画像および前記第3の画像を取得するために、前記第1のスティッチング画像をセグメント化することを含み、
前記第1の処理は、前記第3の画像を回転させることをさらに含むか、または前記第1の処理は、前記第3の画像を回転させ、パディング解除することをさらに含む、
画像処理装置。
【請求項9】
前記第2の処理ユニットは、
前記第2の画像および前記第3の画像を取得するために、前記第1のスティッチング画像をセグメント化し、
第4の画像を取得するために、前記第3の画像をパディング解除し、
前記第1の画像を取得するために、前記第4の画像を回転する
ようにさらに特に構成される、請求項8に記載の装置。
【請求項10】
前記第2の処理ユニットが、前記第4の画像を取得するために、前記第3の画像をパディング解除するようにさらに特に構成されることは、
前記第2の処理ユニットが、前記第4の画像を取得するために、前記第3の画像の第1のターゲット位置からパディング解除を実施するように特に構成され、前記第1のターゲット位置が、上部位置、下部位置、または中間位置のうちの少なくとも1つを含むこと
を含む、請求項9に記載の装置。
【請求項11】
前記第2の処理ユニットは、
前記第1の画像を取得するために、前記第4の画像を(-90°-180°×n)だけ回転させ、nは、整数である、
ようにさらに特に構成される、請求項9または10に記載の装置。
【請求項12】
前記装置は、第1の送信ユニット、第2の送信ユニット、第1のポート、および第2のポートをさらに備え、
前記第1の送信ユニットは、前記第1のポートを介して前記第2の画像を送信するように構成され、
前記第2の送信ユニットは、前記第2のポートを介して前記第1の画像を送信するように構成される、
請求項811のいずれか一項に記載の装置。
【請求項13】
前記第2の処理ユニットは、フィールドプログラマブルゲートアレイFPGAユニットおよび/またはシリアライザSerを備える、請求項812のいずれか一項に記載の装置。
【請求項14】
画像処理方法であって、前記方法は、
第1の画像および第2の画像に基づいて第1のスティッチング画像を取得するステップと、
前記第1のスティッチング画像を送信するステップと、
を含み、
前記第1の画像の行画素数は、Mであり、列画素数は、Nであり、M>Nであり、MおよびNの両方は、正の整数であり、
前記第2の画像の画素数は、Pであり、列画素数は、Qであり、Q≧Mであり、PおよびQの両方は、正の整数であり、
前記第1のスティッチング画像の画素数は、N+Pであり、列画素数は、Qであり、前記第1のスティッチング画像は、前記第2の画像および第3の画像を含み、前記第3の画像は、前記第1の画像の第1の前処理を通じて取得された画像であり、前記第1の前処理は、前記第1の画像を回転させるステップを含むか、または前記第1の前処理は、前記第1の画像を回転させ、パディングするステップを含む、
画像処理方法。
【請求項15】
第1の画像および第2の画像に基づいて第1のスティッチング画像を取得する前記ステップは、
第4の画像を取得するために、前記第1の画像を回転させるステップと、
前記第3の画像を取得するために、前記第4の画像に対して画素パディングを実施するステップと、
前記第1のスティッチング画像を取得するために、前記第3の画像および前記第2の画像をスティッチングするステップと
を含む、請求項14に記載の方法。
【請求項16】
前記第3の画像を取得するために、前記第4の画像に対して画素パディングを実施する前記ステップは、
前記第3の画像を取得するために、前記第4の画像の第1のターゲット位置から画素パディングを実施するステップであって、前記第1のターゲット位置が、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む、ステップ
を含む、請求項15に記載の方法。
【請求項17】
第4の画像を取得するために、前記第1の画像を回転させる前記ステップは、
前記第4の画像を取得するために、前記第1の画像を(90°+180°×n)だけ回転させるステップであって、nは、整数である、ステップ
を含む、請求項15または16に記載の方法。
【請求項18】
画像処理方法であって、前記方法は、
第1のスティッチング画像を取得するステップと、
第1の画像および第2の画像を取得するために、前記第1のスティッチング画像に対して第1の処理を実施するステップと、
を含み、
前記第1のスティッチング画像の行画素数は、N+Pであり、列画素数は、Qであり、前記第1のスティッチング画像は、前記第2の画像および第3の画像を含み、N、P、およびQは、全て正の整数であり、
前記第1の画像の行画素数は、Mであり、列画素数は、Nであり、M>Nであり、Mは、正の整数であり、
前記第2の画像の行画素数は、Pであり、列画素数は、Qであり、Q≧Mであり、
前記第1の処理は、前記第2の画像および前記第3の画像を取得するために、前記第1のスティッチング画像をセグメント化するステップを含み
前記第1の処理は、前記第3の画像を回転させるステップをさらに含むか、または前記第1の処理は、前記第3の画像を回転させ、パディング解除するステップをさらに含む、
画像処理方法。
【請求項19】
第1の画像および第2の画像を取得するために、前記第1のスティッチング画像に対して第1の処理を実施する前記ステップは、
前記第2の画像および前記第3の画像を取得するために、前記第1のスティッチング画像をセグメント化するステップと、
第4の画像を取得するために、前記第3の画像をパディング解除するステップと、
前記第1の画像を取得するために、前記第4の画像を回転させるステップと
を含む、請求項18に記載の方法。
【請求項20】
第4の画像を取得するために、前記第3の画像をパディング解除する前記ステップは、
前記第4の画像を取得するために、前記第3の画像の第1のターゲット位置からパディング解除を実施するステップであって、前記第1のターゲット位置が、上部位置、下部位置、または中間位置のうちの少なくとも1つを含む、ステップ
を含む、請求項19に記載の方法。
【請求項21】
前記第1の画像を取得するために、前記第4の画像を回転させる前記ステップは、
前記第1の画像を取得するために、前記第4の画像を(-90°-180°×n)だけ回転させるステップであって、nは、整数である、ステップ
を含む、請求項19または20に記載の方法。
【請求項22】
前記方法は、
第1のポートを通じて前記第2の画像を送信するステップと、
第2のポートを通じて前記第1の画像を送信するステップと
をさらに含む、請求項1821のいずれか一項に記載の方法。
【請求項23】
装置であって、前記装置は、請求項1~7のいずれか一項に記載の画像処理装置と、請求項813のいずれか一項に記載の画像処理装置と、を含む、装置。
【請求項24】
前記装置は、コックピットドメインコントローラCDCまたはモバイルデータセンタMDCである、請求項23に記載の装置。
【請求項25】
コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体は、コンピュータプログラムまたは命令を記憶し、前記コンピュータプログラムまたは前記命令が実行されると、コンピュータは、請求項1422のいずれか一項に記載の方法を実施することを可能にされる、コンピュータ可読記憶媒体。
【国際調査報告】