特開 2024-169342 マルチチャンネル画像を同期する方法、装置及び電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024169342

(43)【公開日】2024-12-05

(54)【発明の名称】マルチチャンネル画像を同期する方法、装置及び電子機器

(51)【国際特許分類】

   H04N 23/45 20230101AFI20241128BHJP

   H04N 21/44 20110101ALI20241128BHJP

   H04N 21/438 20110101ALI20241128BHJP

   H04N 23/60 20230101ALI20241128BHJP

【ＦＩ】

H04N23/45

H04N21/44

H04N21/438

H04N23/60 500

【審査請求】有

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2024078462

(22)【出願日】2024-05-14

(31)【優先権主張番号】202310587859.6

(32)【優先日】2023-05-23

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】522373769

【氏名又は名称】地平▲線▼征程（杭州）科技有限公司

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】ピン ワン

【テーマコード（参考）】

5C122

5C164

【Ｆターム（参考）】

5C122DA14

5C122EA59

5C122FA17

5C122FA18

5C122GC52

5C122HA01

5C122HA13

5C122HA35

5C122HB01

5C164TA14S

5C164UB04P

5C164UB21P

5C164UB42S

(57)【要約】

【課題】本開示は、マルチチャンネル画像を同期する方法、装置、コンピュータ読み取り可能な記憶媒体及び電子機器に関する。
【技術手段】この方法は、少なくとも２つの画像伝送チャンネルから、目標画像伝送チャンネルの予め設定された時刻に対応する目標画像データを確定するステップと、目標画像データのフレーム識別子のマウント状態を確定するステップと、マウント状態に基づいて、目標画像データの完全性情報を確定するステップと、完全性情報に基づいて、目標画像データのフレーム識別子を生成するステップと、フレーム識別子に基づいて、少なくとも２つの画像伝送チャンネルのうちのそれぞれの画像伝送チャンネルに対応する出力対象の画像を生成し、出力対象の画像を出力するステップと、を含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

少なくとも２つの画像伝送チャンネルから、目標画像伝送チャンネルの予め設定された時刻に対応する目標画像データを確定するステップと、
前記目標画像データのフレーム識別子のマウント状態を確定するステップと、
前記マウント状態に基づいて、前記目標画像データの完全性情報を確定するステップと、
前記完全性情報に基づいて、前記目標画像データのフレーム識別子を生成するステップと、
前記フレーム識別子に基づいて、前記少なくとも２つの画像伝送チャンネルのうちのそれぞれの画像伝送チャンネルに対応する出力対象の画像を生成し、前記出力対象の画像を出力するステップと、を含む、
ことを特徴とするマルチチャンネル画像を同期する方法。

【請求項2】

前記完全性情報に基づいて、前記目標画像データのフレーム識別子を生成するステップは、
前記完全性情報に基づいて、前記目標画像データが属する画像データシーケンスにおける画像データの配列順序を確定するステップと、
前記配列順序に基づいて、前記目標画像データのフレーム識別子を確定するステップと、を含む、
ことを特徴とする請求項１に記載のマルチチャンネル画像を同期する方法。

【請求項3】

前記完全性情報に基づいて、前記目標画像データが属する画像データシーケンスにおける画像データの配列順序を確定するステップは、
前記完全性情報に基づいて、前記目標画像データの修復可能な状態を確定するステップと、
前記修復可能な状態に基づいて、前記目標画像データが属する画像データシーケンスにおける画像データの配列順序を確定するステップと、を含む、
ことを特徴とする請求項２に記載のマルチチャンネル画像を同期する方法。

【請求項4】

前記修復可能な状態に基づいて、前記目標画像データが属する画像データシーケンスにおける画像データの配列順序を確定するステップは、
前記修復状態が修復可能な状態を表すと、前記目標画像データを修復するステップと、
修復後の前記目標画像データが属する画像データシーケンスにおける画像データの配列順序を調整するステップと、を含む、
ことを特徴とする請求項３に記載のマルチチャンネル画像を同期する方法。

【請求項5】

前記修復状態が前記目標画像データの修復不可を表すと、前記目標画像データを廃棄し、前記少なくとも２つの画像伝送チャンネルで伝送される前記予め設定された時刻に対応する画像データを廃棄するステップをさらに含む、
ことを特徴とする請求項３又は４に記載のマルチチャンネル画像を同期する方法。

【請求項6】

前記フレーム識別子に基づいて、前記少なくとも２つの画像伝送チャンネルのうちのそれぞれの画像伝送チャンネルに対応する出力対象の画像を生成し、前記出力対象の画像を出力するステップは、
予め設定された画像処理モデルを利用して前記目標画像データを処理して、目標処理後の画像を得るステップと、
前記目標処理後の画像に基づいて、目標出力対象の画像を確定するステップと、
前記少なくとも２つの画像伝送チャンネルにおける前記目標画像伝送チャンネル以外の他のチャンネルから、前記画像処理モデルにより処理された前記目標出力対象の画像のフレーム識別子に対応する出力対象の画像をそれぞれ取得するステップと、
前記目標出力対象の画像及び取得した各出力対象の画像を出力するステップと、を含む、
ことを特徴とする請求項１に記載のマルチチャンネル画像を同期する方法。

【請求項7】

前記目標処理後の画像に基づいて、目標出力対象の画像を確定するステップは、
前記目標処理後の画像のフレーム識別子と前記目標画像伝送チャンネルにおける履歴処理後の画像のフレーム識別子との順序に乱序が発生したことに応じて、前記目標処理後の画像と前記履歴処理後の画像とを再度整列するステップと、
整列された前記目標処理後の画像及び前記履歴処理後の画像から、現在の出力ラウンドに対応するフレーム識別子に対応する処理後の画像を前記目標出力対象の画像として確定するステップと、を含む、
ことを特徴とする請求項６に記載のマルチチャンネル画像を同期する方法。

【請求項8】

予め設定された画像処理モデルを利用して、前記目標画像データを処理し、目標処理後の画像を得るステップは、
前記画像処理モデルを利用して前記目標画像データを処理して、初期処理後の画像を得るステップと、
前記初期処理後の画像の品質が合格であるか否かを確定するステップと、
不合格であると、前記初期処理後の画像が修復可能であるか否かを確定するステップと、
修復可能であると、前記初期処理後の画像を修復して前記目標処理後の画像を得るステップと、を含む、
ことを特徴とする請求項６又は７に記載のマルチチャンネル画像を同期する方法。

【請求項9】

前記マルチチャンネル画像を同期する方法は、前記初期処理後の画像が修復可能であるか否かを確定するステップの後に、
前記初期処理後の画像が修復不可であると、前記初期処理後の画像を廃棄し、前記少なくとも２つの画像伝送チャンネルにおける前記初期処理後の画像のフレーム識別子に対応する画像データを廃棄するステップをさらに含む、
ことを特徴とする請求項８に記載のマルチチャンネル画像を同期する方法。

【請求項10】

少なくとも２つの画像伝送チャンネルから、目標画像伝送チャンネルの予め設定された時刻に対応する目標画像データを確定するための第１の確定モジュールと、
前記目標画像データのフレーム識別子のマウント状態を確定するための第２の確定モジュールと、
前記マウント状態に基づいて、前記目標画像データの完全性情報を確定するための第３の確定モジュールと、
前記完全性情報に基づいて、前記目標画像データのフレーム識別子を生成するための生成モジュールと、
前記フレーム識別子に基づいて、前記少なくとも２つの画像伝送チャンネルのうちのそれぞれの画像伝送チャンネルに対応する出力対象の画像を生成し、前記出力対象の画像を出力するための出力モジュールと、を備える、
ことを特徴とするマルチチャンネル画像を同期する装置。

【請求項11】

請求項１に記載のチャンネル画像を同期する方法を実現するために、プロセッサによって実行されるコンピュータプログラムを記憶する、
ことを特徴とするコンピュータ読み取り可能な記憶媒体。

【請求項12】

プロセッサと、
前記プロセッサが実行可能な命令を記憶するためのメモリと、を備え、
前記プロセッサは、前記実行可能な命令を前記メモリから読み取って実行することにより、請求項１に記載のチャンネル画像を同期する方法を実現するために用いられる、
ことを特徴とする電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、コンピュータ技術の分野に関し、特にマルチチャンネル画像を同期する方法、装置、コンピュータ読み取り可能な記憶媒体及び電子機器である。

【背景技術】

【0002】

画像処理技術の発展に伴い、現在多くの分野では複数のカメラを用いて同一のシーンを撮影する必要があり、異なるカメラによって撮影された画像データは、異なるチャンネルを介して伝達及び処理されることが多いが、異なるチャンネルは、画像データの伝送及び処理に異なる遅延が発生する。例えば、インテリジェント運転の分野において、マルチカメラによって撮影された複数の画像は、車両の走行現場のある時刻における状況を真実に反映sすることができるように、同期処理を行う必要があり、同期処理が不適切であると深刻な事故を引き起こす可能性がある。そのため、異なるカメラによって撮影された画像データが各チャンネルで伝送される時、異なるチャンネルから出力された画像フレームが撮影時間上同期することをどのように保証するかは、解決すべき問題になる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

上記技術的問題を解決するために、本開示の実施例は、マルチチャンネル画像を同期する方法、装置、コンピュータ読み取り可能な記憶媒体及び電子機器を提供して、異なるチャンネル内の画像データの伝送、処理過程における遅延による撮影時間上同期しにくいという問題を解決することができる。

【課題を解決するための手段】

【0004】

本開示に係るマルチチャンネル画像を同期する方法は、少なくとも２つの画像伝送チャンネルから、目標画像伝送チャンネルの予め設定された時刻に対応する目標画像データを確定するステップと、目標画像データのフレーム識別子のマウント状態を確定するステップと、マウント状態に基づいて、目標画像データの完全性情報を確定するステップと、完全性情報に基づいて、目標画像データのフレーム識別子を生成するステップと、フレーム識別子に基づいて、少なくとも２つの画像伝送チャンネルのうちのそれぞれの画像伝送チャンネルに対応する出力対象の画像を生成し、出力対象の画像を出力するステップと、を含む。

【0005】

本開示に係るマルチチャンネル画像を同期する装置は、少なくとも２つの画像伝送チャンネルから、目標画像伝送チャンネルの予め設定された時刻に対応する目標画像データを確定するための第１の確定モジュールと、目標画像データのフレーム識別子のマウント状態を確定するための第２の確定モジュールと、マウント状態に基づいて、目標画像データの完全性情報を確定するための第３の確定モジュールと、完全性情報に基づいて、目標画像データのフレーム識別子を生成するための生成モジュールと、フレーム識別子に基づいて、少なくとも２つの画像伝送チャンネルのうちのそれぞれの画像伝送チャンネルに対応する出力対象の画像を生成し、出力対象の画像を出力するための出力モジュールと、を備える。

【0006】

本開示に係るコンピュータ読み取り可能な記憶媒体は、上記のマルチチャンネル画像を同期する方法を実現するために、プロセッサによって実行されるコンピュータプログラムを記憶する。

【0007】

本開示に係る電子機器は、プロセッサと、プロセッサが実行可能な命令を記憶するためのメモリと、を備え、前記プロセッサは、実行可能な命令をメモリから読み取って実行することにより、上記のマルチチャンネル画像を同期する方法を実現するために用いられる。

【0008】

本開示に係るコンピュータプログラム製品は、当該コンピュータプログラム製品における命令がプロセッサにより実行されると、本開示に係るマルチチャンネル画像を同期する方法を実現する。

【発明の効果】

【0009】

本開示に係るマルチチャンネル画像を同期する方法、装置、コンピュータ読み取り可能な記憶媒体及び電子機器によれば、少なくとも２つの画像伝送チャンネルで伝送される画像データに対してフレーム番号の検出及びデータ完全性の検出を行うことにより、画像データのフレーム識別子を生成し、各画像伝送チャンネルにおける画像データを処理することにより出力対象の画像を生成し、各画像伝送チャンネルから当該フレーム識別子に対応する画像をそれぞれ出力することで、複数の画像伝送チャンネルで伝送される画像データに対して自動的に検出及び修復を行うことを実現し、マルチチャンネル画像収集の効率及び品質を向上させることができる。しかも、画像データを複数のチャンネル内で伝送する過程において画像データのフレーム識別子を検出及び調整することにより、複数のカメラによって撮影された画像を各画像伝送チャンネルで伝送する全過程においてフレーム識別子の一致を保持することができ、ユーザが各画像伝送チャンネルから出力された画像から同一の時刻に撮影された画像を抽出することに役立ち、それにより画像データが複数の画像伝送チャンネルで伝送される時に同期性を持つように確保する。

【0010】

以下、図面及び実施例により、本開示の技術的解決手段をさらに詳細に説明する。

【図面の簡単な説明】

【0011】

本開示の上記及び他の目的、特徴及び利点は、図面を参照しながら本開示の実施例をより詳細に説明することにより、より明らかになる。図面は、本開示の実施例をさらに理解するために用いられ、明細書の一部として構成され、本開示の実施例とともに本開示を解釈するために用いられ、本開示を限定するものではない。図面において、同じ参照符号は、通常、同じ構成要素やステップをに表す。

【図1】本開示が適用するシステム図である。

【図2】本開示の例示的な実施例に係るマルチチャンネル画像を同期する方法のフローチャートである。

【図3】本開示の別の例示的な実施例に係るマルチチャンネル画像を同期する方法のフローチャートである。

【図4】本開示の別の例示的な実施例に係るマルチチャンネル画像を同期する方法のフローチャートである。

【図5】本開示の別の例示的な実施例に係るマルチチャンネル画像を同期する方法のフローチャートである。

【図6】本開示の別の例示的な実施例に係るマルチチャンネル画像を同期する方法のフローチャートである。

【図7】本開示の別の例示的な実施例に係るマルチチャンネル画像を同期する方法のフローチャートである。

【図8】本開示の例示的な実施例に係るマルチチャンネル画像を同期する装置の構造概略図である。

【図9】本開示の別の例示的な実施例に係るマルチチャンネル画像を同期する装置の構造概略図である。

【図10】本開示の例示的な実施例に係る電子機器の構造図である。

【発明を実施するための形態】

【0012】

以下、図面を参照しながら本開示に係る例示的な実施例について詳細に説明する。明らかに、説明される実施例は、本開示の一部の実施例に過ぎず、全ての実施例ではなく、本開示は、説明される例示的な実施例に限定されない。

【0013】

これらの実施例に記載される構成要素やステップの相対的な配置、数字の表現式及び数値は、別の具体的な説明がない限り、本開示の範囲を限定するのではない。

【0014】

［出願の概要］
マルチカメラによって撮影された画像が撮影時間上同期することを実現するために、現在、よく使用される手段は、カメラの撮影動作を同期制御し、カメラによって撮影されたデータを同期出力することであるが、データの伝達過程において、伝送チャンネルが異なり、画像処理モジュールの処理方式が異なり、プログラム実行の環境が異なるなどの要因により、各チャンネルのデータを各モジュールにおいて同時に処理することができず、さらに各チャンネルで出力された画像が時間上同期しないことを引き起こす。

【0015】

また、現在の技術において、データが異なる画像処理モジュール間を伝達される時に、異常問題分析を自動的に行うことを実現することができず、異常問題分析には、技術者のパラメータが必要であり、データ処理効率が低く、例えば自動運転などのシーンの需要を満たすことができない。

【0016】

本開示の実施例は、上記問題を解決することを目的とし、マルチチャンネル画像を同期する方法を提供し、当該方法は、画像データがマルチチャンネルで伝達される過程において、フレーム識別子の検出及びデータ完全性の検出を行うことができ、最終的に複数のチャンネルから同じフレーム識別子を有する画像を出力することにより、マルチチャンネル画像データのデータ伝達後のデータ同期出力を実現する。

【0017】

［例示的なシステム］
図１は、本発明の実施例のマルチチャンネル画像を同期する方法又はマルチチャンネル画像を同期する装置を適用することができる例示的なシステムアーキテクチャ１００を示す。

【0018】

図１に示すように、システムアーキテクチャ１００は、電子機器１０１及び少なくとも２つのカメラ１０２を含むことができる。

【0019】

少なくとも２つのカメラ１０２は、例えば、有線、無線通信リンク又は光ファイバケーブルなどの各種の接続方式によって電子機器に接続されることができる。

【0020】

少なくとも２つのカメラ１０２は、目標シーンを撮影するために用いられ、目標シーンは、各種のシーンであることができる。例えば、少なくとも２つのカメラ１０２が車両に設けられた場合、目標シーンは、車両が所在する道路、駐車場などのシーンであり、少なくとも２つのカメラ１０２は、車両周囲の環境を撮影することができる。

【0021】

電子機器には、少なくとも２つの画像伝送チャンネルが設けられることができ、各画像伝送チャンネルは、１つのカメラに対応し、各画像伝送チャンネルには、画像処理モジュールが設けられおり、カメラによって撮影された画像データは、対応する画像伝送チャンネルで伝送され、画像処理モジュールにより処理された後、対応する画像伝送チャンネルから出力される。

【0022】

電子機器１０１としては、例えば、画像処理専用チップ、画像処理専用回路基板のような専用機器、車載端末、携帯電話、ノートパソコン、ＰＡＤ（タブレットコンピュータ）のような移動汎用端末、デジタルテレビ、デスクトップパソコンのような固定汎用端末などの種々の電子機器であることができるが、それらに限定されない。

【0023】

本開示の実施例に係るマルチチャンネル画像を同期する方法は、電子機器１０１により実行され、それに応じて、マルチチャンネル画像を同期する装置は、電子機器１０１に設けられることができる。

【0024】

なお、図１の電子機器及びカメラの数は、概略的なものに過ぎず、実際の要求に応じて任意の数の電子機器及びカメラを有することができる。

【0025】

［例示的な方法］
図２は、本発明の例示的な実施例に係るマルチチャンネル画像を同期する方法のフローチャートである。本実施例は、電子機器（図１に示す電子機器１０１）に適用することができ、図２に示すように、当該方法は、以下のステップ２０１～ステップ２０５を含む。

【0026】

ステップ２０１では、少なくとも２つの画像伝送チャンネルから、目標画像伝送チャンネルの予め設定された時刻に対応する目標画像データを確定する。

【0027】

ここで、目標画像伝送チャンネルは、少なくとも２つの画像伝送チャンネルのうちのいずれかであることができる。予め設定された時刻は、指定された固定時刻であってもよく、目標画像伝送チャンネルに対応するカメラの撮影時刻であってもよい。目標画像データは、目標画像伝送チャンネルに対応するカメラによって撮影されたデータであることができる。通常、目標画像データは、画像処理操作を行われないデータであることができ、例えば、カメラのセンサが収集した生（ＲＡＷ）データであることができる。

【0028】

ステップ２０２では、目標画像データのフレーム識別子のマウント状態を確定する。

【0029】

ここで、フレーム識別子は、異なる時刻に撮影された画像データを区別するためのマークであることができ、フレーム識別子は、通常、画像データの撮影時刻に関連する。例えば、フレーム識別子は、画像フレーム番号、画像の撮影時刻を表すタイムスタンプなどの少なくとも１つを含むことができるが、それらに限定されない。通常、１フレームの画像データを撮影した後、画像データのフレーム識別子を生成し、この過程は、フレームマウントと呼ばれ、マウント状態は、マウント成功とマウント失敗との２種類を含むことができる。画像データは、いくつかのソフトウェア又はハードウェアなどの故障により画像データの欠落や不完全が起こると、フレーム識別子のマウント失敗を引き起こす。

【0030】

ステップ２０３では、マウント状態に基づいて、目標画像データの完全性情報を確定する。

【0031】

ここで、完全性情報は、目標画像データの完全程度を表す。例として、完全性情報は、画像データの各行に対してデータ検査（例えば、ＣＲＣ（巡回冗長検査、Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ）検査）を行った後、得られた検査に失敗した行数、又は検査に失敗した行数が総行数で占める割合であることができる。マウント状態が失敗すると、完全性情報を取得してから、目標画像データのフレーム識別子が修復可能であるか否かを判断する必要がある。

【0032】

ステップ２０４では、完全性情報に基づいて、目標画像データのフレーム識別子を生成する。

【0033】

具体的には、完全性情報が目標画像データの完全（例えば、検査に成功した行数が総行数で占める割合が予め設定された割合よりも大きい）を表すと、目標画像データのフレーム識別子を生成することができる。例として、フレーム識別子の生成方法は、記録された目標画像データの撮影時刻を取得し、撮影時間のタイムスタンプに基づいて、フレーム識別子を生成することができる。

【0034】

ステップ２０５では、フレーム識別子に基づいて、少なくとも２つの画像伝送チャンネルのうちのそれぞれの画像伝送チャンネルに対応する出力対象の画像を生成し、出力対象の画像を出力する。

【0035】

具体的には、各画像伝送チャンネルの目標画像データの伝送過程において、予め設定された画像処理モジュール（例えば、ＩＳＰ（画像信号処理、Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ）モデル）を利用して目標画像データに対して処理を行い、処理後に出力対象の画像を得ることができる。同じフレーム識別子に対応する複数の出力対象の画像の撮影時間は同じ又は近似するため、電子機器は、各画像伝送チャンネルで生成された同じフレーム識別子を有する出力対象の画像を同時に出力することができる。

【0036】

選択可能に、上記フレーム識別子について、各画像伝送チャンネルから当該フレーム識別子に対応する処理後の画像を取得すると、又は、取得した当該フレーム識別子に対応する処理後の画像の数が予め設定された数以上であると、これらの処理後の画像を出力対象の画像として確定するとともに、これらの出力対象の画像を出力することができる。取得した当該フレーム識別子に対応する処理後の画像の数が予め設定された数よりも小さいと、当該フレーム識別子に対応する処理後の画像を廃棄し、上記ステップ２０１を再実行する。

【0037】

本開示の上記実施例に係る方法は、少なくとも２つの画像伝送チャンネルで伝送される画像データに対してフレーム番号の検出及びデータ完全性の検出を行うことにより、画像データのフレーム識別子を生成し、各画像伝送チャンネルにおける画像データを処理することにより出力対象の画像を生成し、各画像伝送チャンネルにより当該フレーム識別子に対応する画像をそれぞれ出力することで、複数の画像伝送チャンネルで伝送される画像データに対して自動的に検出及び修復を行うことを実現し、マルチチャンネル画像収集の効率及び品質を向上させることができる。しかも、画像データを複数のチャンネル内で伝送する過程において画像データのフレーム識別子を検出及び調整することにより、複数のカメラによって撮影された画像を各画像伝送チャンネルで伝送する全過程においてフレーム識別子の一致を保持することができ、ユーザが各画像伝送チャンネルから出力された画像から同一の時刻に撮影された画像を抽出することに役立ち、それにより画像データが複数の画像伝送チャンネルで伝送される時に同期性を持つように確保する。

【0038】

いくつかの選択可能な実施形態では、図３に示すように、ステップ２０４は、以下のステップ２０４１～ステップ２０４２を含む。

【0039】

ステップ２０４１では、完全性情報に基づいて、目標画像データが属する画像データシーケンスにおける画像データの配列順序を確定する。

【0040】

具体的には、各画像伝送チャンネルで伝送される複数の画像データを１つの画像データシーケンスとして確定することができる。データ異常が発生しない場合、画像データシーケンスにおける画像データのフレーム識別子は、配列順序を有する。データ異常が発生すると、すなわち上記完全性情報が目標画像データの不完全を表すと、フレーム識別子順序に従って目標画像データのフレーム識別子を生成する必要がある。

【0041】

例として、完全性情報が目標画像データの完全を表す場合、現在の画像データシーケンスにおける画像データのフレーム識別子順序を直接画像データの配列順序として確定することができる。完全性情報が目標画像データの不完全を表す場合、目標画像データを修復することができ、修復完了後、修復過程に一定の時間がかかり、その間フレーム識別子順序の乱序を発生させる可能性があるため、現在の画像データシーケンスにおける各画像データのタイムスタンプに基づいて、画像データシーケンスを再度整列する必要がある。

【0042】

ステップ２０４２では、配列順序に基づいて、目標画像データのフレーム識別子を確定する。

【0043】

例として、フレーム識別子は、フレーム番号及びタイムスタンプを含み、現フレーム（すなわち、目標画像データ）の前フレームのフレーム番号が１でありかつタイムスタンプがｔ１であり、現フレームのタイムスタンプがｔ２であると、現フレームのフレーム番号を２に設定する。前フレームのフレーム番号が３でありかつタイムスタンプがｔ３であり、現フレームのタイムスタンプがｔ５であり、ある故障により、フレーム番号が４でありかつタイムスタンプがｔ４であるフレームが取得されないと、現フレームのフレーム番号を５に設定する。

【0044】

本実施例は、画像データシーケンスにおける画像データの配列順序に基づいて目標画像データのフレーム識別子を生成することにより、目標画像データのフレーム識別子を正確に生成することができ、目標画像データのフレーム識別子は、目標画像データの撮影時間を正確に表すことができ、複数の画像伝送チャンネルで伝送される画像データに対して同期の伝送及び出力を行う正確性を向上させることに役立つ。

【0045】

いくつかの選択可能な実施形態では、図４に示すように、ステップ２０４１は、以下のステップ２０４１１～ステップ２０４１２を含む。

【0046】

ステップ２０４１１では、完全性情報に基づいて、目標画像データの修復可能な状態を確定する。

【0047】

具体的には、完全性情報が目標画像データのデータ量の完全程度を表すことができるため、完全性情報が、完全程度が設定された閾値に達したことを表す場合、目標画像データの修復可能な状態を修復可能として確定し、完全性情報が、完全程度が設定された閾値に達しないことを表す場合、目標画像データの修復可能な状態を修復不可として確定することができる。

【0048】

ステップ２０４１２では、修復可能な状態に基づいて、目標画像データが属する画像データシーケンスにおける画像データの配列順序を確定する。

【0049】

具体的には、修復可能な状態が、修復可能であるが修復する必要がないことを表すと（例えば、目標画像データの完全性が９５％よりも大きいと）、画像データシーケンスにおける画像データのフレーム識別子の配列順序を画像データの配列順序として確定し、修復可能な状態が、修復可能であり且つ修復する必要があることを表すと（例えば、目標画像データの完全性が９５％以下且つ７０％よりも大きいと）、目標画像データを修復し、修復終了後、各画像データのタイムスタンプに基づいて、修復後の目標画像データを含む画像データシーケンスの配列順序を確定する。

【0050】

本実施例は、画像の完全性に基づいて目標画像データの画像データシーケンスにおける位置を目的的に確定することを実現し、それにより目標画像データのフレーム識別子を生成する正確性を向上させることに役立つ。

【0051】

いくつかの選択可能な実施形態では、ステップ２０４１２は、以下のように実行することができる。

【0052】

まず、修復状態が修復可能な状態を表すと、目標画像データを修復する。

【0053】

ここで、目標画像データを修復する方法には、様々なことがある。例えば、畳み込みニューラルネットワークにより目標画像データを修復すること、又は、ＣＲＣ検査により目標画像データから異常が発生した数値を確定し、異常が発生した数値の周辺の数値を利用して補間することにより、修復後の目標画像データを得ることがある。

【0054】

次に、修復後の目標画像データが属する画像データシーケンスにおける画像データの配列順序を調整する。

【0055】

通常、目標画像データの修復に一定の時間がかかり、この時間帯内に新たな画像データを受信することにより、目標画像データが属する画像データシーケンスにおける画像データ順序の乱序を発生させる可能性があるため、目標画像データを修復した後に、例えばタイムスタンプを用いて、画像データシーケンスにおける画像データを再度整列することができる。

【0056】

本実施例は、目標画像データに異常が発生し且つ修復可能である場合、目標画像データを修復し且つ画像データの配列順序を調整することにより、画像データに対して自動的に検出及び修復することを実現し、同一の画像伝送チャンネルで伝送される画像の連続性を向上させることに役立つ。

【0057】

いくつかの選択可能な実施形態では、この方法は、さらに以下のステップを含む。

【0058】

上記修復状態が目標画像データの修復不可を表すと、目標画像データを廃棄し、少なくとも２つの画像伝送チャンネルで伝送される予め設定された時刻に対応する画像データを廃棄する。

【0059】

具体的には、少なくとも２つの画像伝送チャンネルのうちの他のチャンネルから、目標画像データの撮影時間のタイムスタンプと一致する（又は、タイムスタンプの差が予め設定された時間差よりも小さい）画像データを廃棄することができる。

【0060】

通常、目標画像伝送チャンネルにおける目標画像データが修復不可であると、他のチャンネルに対応するスレッドに廃棄通知を送信し、他のチャンネルに対応するスレッドが廃棄通知を受信した後、予め設定された時刻に対応する画像データを廃棄することができる。

【0061】

本実施例は、ある時刻にある画像伝送チャンネル内の画像データが故障し且つ修復不可である場合、対応する他の画像伝送チャンネルの画像データを一括して廃棄することを実現し、最終的に各画像伝送チャンネルから出力された画像の撮影時間の不一致の問題を回避することができる。

【0062】

いくつかの選択可能な実施形態では、図５に示すように、ステップ２０５は、以下のステップ２０５１～ステップ２０５４を含む。

【0063】

ステップ２０５１では、予め設定された画像処理モデルを利用して目標画像データを処理して、目標処理後の画像を得る。

【0064】

ここで、画像処理モデルは、目標画像データに対して種々の方式の処理を行うモデルであることができる。例として、画像処理モデルは、ＩＳＰモデルであることができ、ＩＳＰモデルは、例えば、ホワイトバランスモジュール、色差モジュール、色補正モジュールなどの複数の画像処理モジュールを含む。

【0065】

ステップ２０５２では、目標処理後の画像に基づいて、目標出力対象の画像を確定する。

【0066】

具体的には、目標処理後の画像を直接目標出力対象の画像として確定することができる、又は、目標処理後の画像のフレーム識別子を判断し、フレーム識別子が画像伝送チャンネル内の処理後の画像の配列順序に合致しない場合、処理後の画像を再度整列し、順序に基づいて現在の時刻における出力対象の画像を確定することができる。

【0067】

ステップ２０５３では、少なくとも２つの画像伝送チャンネルのうちの目標画像伝送チャンネル以外の他のチャンネルから、画像処理モデルにより処理された目標出力対象の画像のフレーム識別子に対応する出力対象の画像をそれぞれ取得する。

【0068】

具体的には、同じフレーム識別子に対応する各画像の撮影時間は、同じ又は近似する（例えば、画像間の撮影時間のタイムスタンプ差が、予め設定された時間差よりも小さい）ため、同じフレーム識別子に対応する各画像を現在の時刻における出力対象の画像として確定する。

【0069】

ステップ２０５４では、目標出力対象の画像及び取得した各出力対象の画像を出力する。

【0070】

本ステップにおいて、現在出力される画像である複数のカメラにより同一の時刻に撮影された画像は、目標シーンにおける同じ撮影時刻の異なる撮影方位の状況を反映することができる。

【0071】

本実施例は、画像処理モデルを用いて目標画像データと他の画像伝送チャンネルの画像データを処理した後、同一のフレーム識別子に対応する画像を出力することにより、同一の時刻に出力される各チャンネルの画像を撮影時間が一致するように保持することを実現し、各チャンネルの画像データの伝送経路の相違や画像処理モデルの各チャンネルの画像データを処理する遅延による出力画像の撮影時間上の非同期の問題を解決する。

【0072】

いくつかの選択可能な実施形態では、図６に示すように、ステップ２０５２は、以下のステップ２０５２１～ステップ２０５２２を含む。

【0073】

ステップ２０５２１では、目標処理後の画像のフレーム識別子と目標画像伝送チャンネルにおける履歴処理後の画像のフレーム識別子との順序に乱序が発生したことに応じて、目標処理後の画像と履歴処理後の画像とを再度整列する。

【0074】

具体的には、画像データのチャンネルにおける伝送経路の相違いや画像処理モデルの処理時間の相違により、１つの画像伝送チャンネルで生成される処理後の画像は、フレーム識別子の順序に従って生成されるものではない。例えば、画像処理モデルのあるモジュールは、処理によって得られたデータをメモリに一時記憶し、他のモジュールは、メモリからデータを抽出して処理し続けることを待つ必要があり、それにより、チャンネル内の処理後の画像のフレーム識別子が不連続になり、この時に処理後の画像を再度整列する必要がある。

【0075】

ステップ２０５２２では、整列された目標処理後の画像及び履歴処理後の画像から、現在の出力ラウンドに対応するフレーム識別子に対応する処理後の画像を目標出力対象の画像として確定する。

【0076】

具体的には、各画像伝送チャンネルは、出力ラウンドに従って画像を順次出力し、ラウンドの順序とフレーム識別子の順序とが一致するため、各画像伝送チャンネルが出力する画像のフレーム識別子を一致させ且つ連続させるためには、各画像伝送チャンネルは、フレーム識別子の順序に従って画像を順次出力する必要がある。例として、前回ラウンドで出力した画像のフレーム識別子が３であると、今回ラウンドでフレーム識別子が４である画像を出力すべきであるが、実際上、画像処理モデルにより処理された後、フレーム識別子が６である画像が取得されてから、フレーム識別子が５である画像が取得され、すなわち、フレーム識別子の順序に乱序が発生されており、この時にフレーム識別子が５である画像が、フレーム識別子が６である画像の前に配列されるように再度整列する必要があり、その後、フレーム識別子が４である画像が得られると、再度整列し、現在のラウンドに対応するフレーム識別子が４であると、フレーム識別子が４である画像を目標出力対象の画像とする。

【0077】

本実施例は、目標画像伝送チャンネルにおいて、各時刻に生成された処理後の画像に対して再度整列することにより、チャンネルにおいて処理後の画像の撮影時間に従う配列を保持することを実現し、単一のチャンネルから出力された画像の順序が乱序となることを回避し、マルチチャンネルから出力された画像のフレーム識別子の一致性を効率的に実現することに役立つ。

【0078】

いくつかの選択可能な実施形態では、図７に示すように、ステップ２０５１は、以下のステップ２０５１１～ステップ２０５１４を含む。

【0079】

ステップ２０５１１では、画像処理モデルを利用して目標画像データを処理して、初期処理後の画像を得る。

【0080】

ステップ２０５１２では、初期処理後の画像の品質が合格であるか否かを確定する。

【0081】

ここで、品質が合格であるか否かを確定する方法は、複数の方法を含むことができる。例えば、処理後の画像に対してデッドポイント検出を行ってデッドポイントの数を確定し、デッドポイントの数が第１の予め設定された数の閾値以上であると、品質が不合格であると確定する。さらに例えば、画像に対してＣＲＣ検査を行い、検査結果が異常である行数が第１の予め設定された行数の閾値以上であると、品質が不合格であると確定する。

【0082】

ステップ２０５１３では、不合格であると、初期処理後の画像が修復可能であるか否かを確定する。

【0083】

例として、デッドポイントの数が第２の予め設定された数の閾値以上であると、画像が修復不可であると確定する。さらに例えば、異常の行数が第２の予め設定された行数閾値以上であると、画像が修復不可であると確定する。

【0084】

選択可能的に、合格であれる、上記初期処理後の画像を直接目標処理後の画像として確定することができる。

【0085】

ステップ２０５１４では、修復可能であると、初期処理後の画像を修復して目標処理後の画像を得る。

【0086】

ここで、初期処理後の画像を修復する方法は、複数の方法を含むことができ、例えば、ＩＳＰ画像処理モデルのデッドポイント補正モジュールにより初期処理後の画像を修復すること、又は、畳み込みニューラルネットワークを利用して初期処理後の画像を修復することなどが挙げられる。

【0087】

本実施例は、画像処理モデルの処理によって得られた画像に対して品質判断を行い、品質が不合格である画像に対して修復を行うことにより、マルチチャンネルで画像を伝送する過程において、生成された処理後の画像に対して自動的に検出及び修復を行うことを実現し、同一の画像伝送チャンネルで生成された処理後の画像の連続性を向上させる。

【0088】

いくつかの選択可能な実施形態では、当該方法は、上記ステップ５０１３の後に以下のステップをさらに含む。

【0089】

初期処理後の画像が修復不可であると、初期処理後の画像を廃棄し、少なくとも２つの画像伝送チャンネルにおける初期処理後の画像のフレーム識別子に対応する画像データを廃棄する。

【0090】

具体的には、目標画像伝送チャンネルにおける初期処理後の画像が修復不可であると、通常、他のチャンネルに対応するスレッドに廃棄通知を送信し、他のチャンネルに対応するスレッドが廃棄通知を受信した後、初期処理後の画像のフレーム識別子に対応する画像データを廃棄することができる。

【0091】

なお、ここでの初期処理後の画像のフレーム識別子に対応する画像データは、カメラから受信された画像データ及び画像処理モデルの処理によって得られた処理後の画像に限らず、画像伝送、処理のいずれかの段階で、初期処理後の画像が修復不可であることを表す信号をトリガすると、上記フレーム識別子に対応するいずれかの種類の画像データを廃棄することができる。

【0092】

本実施例は、ある時刻にある画像伝送チャンネル内で生成された処理後の画像が故障し且つ修復不可である場合、対応する他の画像伝送チャンネルの画像データを一括して廃棄することを実現し、最終的に各画像伝送チャンネルから出力された画像の撮影時間の不一致の問題を回避することができる。

【0093】

［例示的な装置］
図８は、本開示の例示的な実施例に係るマルチチャンネル画像を同期する装置の構造概略図である。本実施例は、電子機器に適用することができ、図８に示すように、マルチチャンネル画像を同期する装置は、少なくとも２つの画像伝送チャンネルから、目標画像伝送チャンネルの予め設定された時刻に対応する目標画像データを確定するための第１の確定モジュール８０１と、目標画像データのフレーム識別子のマウント状態を確定するための第２の確定モジュール８０２と、マウント状態に基づいて、目標画像データの完全性情報を確定するための第３の確定モジュール８０３と、完全性情報に基づいて、目標画像データのフレーム識別子を生成するための生成モジュール８０４と、フレーム識別子に基づいて、少なくとも２つの画像伝送チャンネルのうちのそれぞれの画像伝送チャンネルに対応する出力対象の画像を生成し、出力対象の画像を出力するための出力モジュール８０５と、を備える。

【0094】

本実施例では、第１の確定モジュール８０１は、少なくとも２つの画像伝送チャンネルから、目標画像伝送チャンネルの予め設定された時刻に対応する目標画像データを確定する。

【0095】

ここで、目標画像伝送チャンネルは、少なくとも２つの画像伝送チャンネルのいずれかであることができる。予め設定された時刻は、指定された固定時刻であってもよく、目標画像伝送チャンネルに対応するカメラの撮影時刻であってもよい。目標画像データは、目標画像伝送チャンネルに対応するカメラによって撮影されたデータであることができる。通常、目標画像データは、画像処理操作を行われないデータであることができ、例えば、カメラのセンサが収集した生（ＲＡＷ）データであることができる。

【0096】

本実施例では、第２の確定モジュール８０２は、目標画像データのフレーム識別子のマウント状態を確定する。

【0097】

ここで、フレーム識別子は、異なる時刻に撮影された画像データを区別するためのマークであることができ、フレーム識別子は、通常、画像データの撮影時刻に関連する。例えば、フレーム識別子は、画像フレーム番号、画像の撮影時刻を表すタイムスタンプなどの少なくとも１つを含むことができるが、それらに限定されない。通常、１フレームの画像データを撮影した後、画像データのフレーム識別子を生成し、この過程は、フレームマウントと呼ばれ、マウント状態は、マウント成功とマウント失敗との２種類を含むことができる。画像データは、いくつかのソフトウェア又はハードウェアなどの故障により画像データの欠落や不完全が起こると、フレーム識別子のマウント失敗を引き起こす。

【0098】

本実施例では、第３の確定モジュール８０３は、マウント状態に基づいて、目標画像データの完全性情報を確定する。

【0099】

ここで、完全性情報は、目標画像データの完全程度を表す。例として、完全性情報は、画像データの各行に対してデータ検査（例えばＣＲＣ（巡回冗長検査、Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ）検査）を行った後、得られた検査に失敗した行数、又は検査に失敗した行数が総行数で占める割合であることができる。マウント状態が失敗すると、完全性情報を取得してから、目標画像データのフレーム識別子が修復可能であるか否かを判断する必要がある。

【0100】

本実施例では、生成モジュール８０４は、完全性情報に基づいて、目標画像データのフレーム識別子を生成する。

【0101】

具体的には、完全性情報が目標画像データの完全（例えば、検査に成功した行数が総行数で占める割合が予め設定された割合よりも大きい）を表すと、目標画像データのフレーム識別子を生成することができる。例として、フレーム識別子の生成方法は、記録された目標画像データの撮影時刻を取得し、撮影時間のタイムスタンプに基づいて、フレーム識別子を生成することができる。

【0102】

本実施例では、出力モジュール８０５は、フレーム識別子に基づいて、少なくとも２つの画像伝送チャンネルのうちのそれぞれの画像伝送チャンネルに対応する出力対象の画像を生成し、出力対象の画像を出力する。

【0103】

具体的には、各画像伝送チャンネルの目標画像データの伝送過程において、予め設定された画像処理モジュール（例えば、ＩＳＰ（画像信号処理、Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ）モデル）を利用して目標画像データに対して処理を行い、処理後に出力対象の画像を得ることができる。同じフレーム識別子に対応する複数の出力対象の画像の撮影時間は同じ又は近似するため、電子機器は、各画像伝送チャンネルで生成された同じフレーム識別子を有する出力対象の画像を同時に出力することができる。

【0104】

図９を参照すると、図９は、本開示の別の例示的な実施例に係るマルチチャンネル画像を同期する装置の構造概略図である。

【0105】

いくつかの選択可能な実施形態では、生成モジュール８０４は、完全性情報に基づいて、目標画像データが属する画像データシーケンスにおける画像データの配列順序を確定するための第１の確定ユニット８０４１と、配列順序に基づいて、目標画像データのフレーム識別子を確定するための第２の確定ユニット８０４２と、を備える。

【0106】

いくつかの選択可能な実施形態では、第１の確定ユニット８０４１は、完全性情報に基づいて、目標画像データの修復可能な状態を確定するための第１の確定サブユニット８０４１１と、修復可能な状態に基づいて、目標画像データが属する画像データシーケンスにおける画像データの配列順序を確定するための第２の確定サブユニット８０４１２と、を備える。

【0107】

いくつかの選択可能な実施形態では、第２の確定サブユニット８０４１２は、さらに、修復状態が修復可能な状態を表すと、目標画像データを修復し、修復後の目標画像データが属する画像データシーケンスにおける画像データの配列順序を調整するために用いられる。

【0108】

いくつかの選択可能な実施形態では、第２の確定サブユニット８０４１２は、さらに、修復状態が目標画像データの修復不可を表すと、目標画像データを廃棄し、少なくとも２つの画像伝送チャンネルで伝送される予め設定された時刻に対応する画像データを廃棄するために用いられる。

【0109】

いくつかの選択可能な実施形態では、出力モジュール８０５は、予め設定された画像処理モデルを利用して目標画像データを処理して、目標処理後の画像を得るための処理ユニット８０５１と、目標処理後の画像に基づいて、目標出力対象の画像を確定するための第３の確定ユニット８０５２と、少なくとも２つの画像伝送チャンネルのうちの目標画像伝送チャンネル以外の他のチャンネルから、画像処理モデルにより処理された目標出力対象の画像のフレーム識別子に対応する出力対象の画像をそれぞれ取得するための取得ユニット８０５３と、目標出力対象の画像及び取得した各出力対象の画像を出力するための出力ユニット８０５４と、を備える。

【0110】

いくつかの選択可能な実施形態では、第３の確定ユニット８０５２は、目標処理後の画像のフレーム識別子と目標画像伝送チャンネルにおける履歴処理後の画像のフレーム識別子とに乱序が発生したことに応じて、目標処理後の画像と履歴処理後の画像とを再度整列するための整列サブユニット８０５２１と、整列さられた目標処理後の画像及び履歴処理後の画像から、現在の出力ラウンドに対応するフレーム識別子に対応する処理後の画像を目標出力対象の画像として確定するための第３の確定サブユニット８０５２２と、を備える。

【0111】

いくつかの選択可能な実施形態では、処理ユニット８０５１は、画像処理モデルを利用して目標画像データを処理して、初期処理後の画像を得るための処理サブユニット８０５１１と、初期処理後の画像の品質が合格であるか否かを確定するための第４の確定サブユニット８０５１２と、不合格であると、初期処理後の画像が修復可能であるか否かを確定するための第５の確定サブユニット８０５１３と、修復可能である、初期処理後の画像を修復して目標処理後の画像を得るための修復サブユニット８０５１４と、を備える。

【0112】

いくつかの選択可能な実施形態では、処理ユニット８０５１は、初期処理後の画像が修復不可であると、初期処理後の画像を廃棄し、少なくとも２つの画像伝送チャンネルにおける初期処理後の画像のフレーム識別子に対応する画像データを廃棄するための廃棄サブユニット８０５１５をさらに備える。

【0113】

本開示の上記実施例に係るマルチチャンネル画像を同期する装置は、少なくとも２つの画像伝送チャンネルで伝送される画像データに対してフレーム番号の検出及びデータ完全性の検出を行うことにより、画像データのフレーム識別子を生成し、各画像伝送チャンネルにおける画像データを処理することにより出力対象の画像を生成し、各画像伝送チャンネルにより当該フレーム識別子に対応する画像をそれぞれ出力することで、複数の画像伝送チャンネルで伝送される画像データに対して自動的に検出及び修復を行うことを実現し、マルチチャンネル画像収集の効率及び品質を向上させることができる。しかも、画像データを複数のチャンネル内で伝送する過程において画像データのフレーム識別子を検出及び調整することにより、複数のカメラによって撮影された画像を各画像伝送チャンネルで伝送する全過程においてフレーム識別子の一致が保持されることができ、ユーザが各画像伝送チャンネルから出力された画像から同一の時刻に撮影された画像を抽出することに役立ち、それにより画像データが複数の画像伝送チャンネルで伝送される時に同期性を持つように確保することができる。

【0114】

［例示的な電子機器］
以下、図１０を参照しながら本開示の実施例に係る電子機器を説明する。当該電子機器は、図１に示す電子機器１０１であることができる。

【0115】

図１０は、本開示の実施例に係る電子機器のブロック図を示す。

【0116】

図１０に示すように、電子機器は、１つ又は複数のプロセッサ１００１及びメモリ１００２を備える。

【0117】

プロセッサ１００１は、中央処理ユニット（ＣＰＵ）、又はデータ処理機能及び／又は命令実行機能を有する他の形式の処理ユニットであることができ、電子機器における他のコンポーネントを制御して所望の機能を実行することができる。

【0118】

メモリ１００２は、１つ又は複数のコンピュータプログラム製品を含むことができ、このコンピュータプログラム製品は、例えば、揮発性メモリ及び／又は不揮発性メモリなどの様々の形態のコンピュータ読み取り可能な記憶媒体を含むことができる。揮発性メモリは、例えば、ランダムアクセスメモリ（ＲＡＭ）及び／又はキャッシュメモリ（ｃａｃｈｅ）などを含むことができる。不揮発性メモリは、例えば、リードオンリーメモリ（ＲＯＭ）、ハードディスク、フラッシュメモリなどを含むことができる。１つ又は複数のコンピュータプログラム命令をコンピュータ読み取り可能な記憶媒体に記憶することができ、プロセッサ１００１は、プログラム命令を実行することで、上記の本開示の各実施例のマルチチャンネル画像を同期する方法及び／又は他の所望の機能を実現することができる。コンピュータ読み取り可能な記憶媒体には、画像データなどの各種類のコンテンツが記憶されることもできる。

【0119】

１つの例では、電子機器は、バスシステム及び／又は他の形式の接続機構（図示せず）を介して互いに接続される入力装置１００３及び出力装置１００４をさらに備えることができる。

【0120】

例えば、当該入力装置１００３は、画像データ、各種のコマンドなどを入力するためのカメラ、マウス、キーボードなどの機器であることができる。当該入力装置１００３は、電子機器に接続された他の機器から入力された画像データ、各種のコマンドなどを受信するための通信ネットワークコネクタであることもできる。

【0121】

当該出力装置１００４は、各画像伝送チャンネルから出力された画像を含む各種の情報を外部に出力することができる。当該出力装置１００４は、例えば、ディスプレイ、スピーカ、プリンタ、通信ネットワーク及びそれに接続されたリモート出力装置などを含むことができる。

【0122】

簡略化のために、図１０では、当該電子機器における本開示に関連するコンポーネントの一部のみを示し、バス、入力／出力インタフェースなどのコンポーネントは省略した。その他、電子機器は、具体的な適用状況に応じて、その他の任意の適切なコンポーネントをさらに含むことができる。

【0123】

［例示的なコンピュータプログラム製品及びコンピュータ読み取り可能な記憶媒体］
本開示の実施例は、上記方法及び機器に加えて、コンピュータプログラム命令を含むコンピュータプログラム製品を提供することができる。このコンピュータプログラム命令がプロセッサにより実行されると、プロセッサに、上記の「例示的な方法」の部分に記載の本開示の各実施例に係るマルチチャンネル画像を同期する方法におけるステップを実行させる。

【0124】

コンピュータプログラム製品は、１つ又は複数のプログラミング言語の任意の組み合わせで本開示の実施例の操作を実行するためのプログラムコードを作成することができ、このプログラミング言語は、Ｊａｖａ（登録商標）、Ｃ＋＋などのオブジェクト指向プログラミング言語、及び「Ｃ」言語または類似のプログラミング言語などの従来の手続き型プログラミング言語を含む。プログラムコードは、下記のように実行されることができ、すなわち、ユーザーコンピューティングデバイス上で全体的に実行されてもよいし、ユーザーデバイス上で部分的に実行されてもよいし、独立したソフトウェアパッケージとして実行されてもよいし、一部はユーザーコンピューティングデバイス上で実行され、別の一部はリモートコンピューティングデバイス上で実行されてもよいし、リモートコンピューティングデバイスあるいはサーバー上で全体的に実行されてもよい。

【0125】

また、本開示の実施例は、コンピュータプログラム命令が記憶されているコンピュータ可読記憶媒体をさらに提供することができる。このコンピュータプログラム命令がプロセッサにより実行されると、プロセッサに、上記の「例示的な方法」の部分に記載の本開示の各実施例に係るマルチチャンネル画像を同期する方法におけるステップを実行させる。

【0126】

コンピュータ読み取り可能な記憶媒体として、１つ又は複数の読み取り可能な媒体の任意の組み合わせを採用することができる。読み取り可能な媒体は、読み取り可能な信号媒体又は読み取り可能な記憶媒体であることができる。読み取り可能な記憶媒体は、例えば、電気、磁気、光学、電磁気、赤外線、若しくは半導体のシステム、装置、若しくはデバイス、又はこれらの任意の組み合わせを含むことができるが、これらに限定されない。読み取り可能な記憶媒体のより具体的な例（非網羅的なリスト）としては、１つ又は複数のワイヤを有する電気接続、ポータブルディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、又は上記の任意の適切な組み合わせが挙げられる。

【0127】

以上、具体的な実施例を参照しながら本開示の基本的原理を説明してきたが、本開示に言及される利点、長所、効果などは、例示的なものにすぎず、限定的なものではなく、これらの利点、長所、効果などは、本開示の各実施例が必ずしも有するものではない。また、上記開示の具体的な詳細は、例示的な作用及び理解しやすい作用に過ぎず、限定的なものではなく、上記詳細は、本開示を必ずしも上記具体的な詳細により実現されるように限定することではない。

【0128】

当業者であれば、本願の精神及び範囲から逸脱することなく、本開示に対して様々な変更や変形を行うことができる。このように、本願のこれらの修正や変形が本開示の特許請求の範囲及びその均等的な技術範囲内に属する場合、本開示もこれらの修正や変形を含むことを意味する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】