特表 2025-501343 マルチカメラのフレーム同期制御方法および自走式装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-01-17

(54)【発明の名称】マルチカメラのフレーム同期制御方法および自走式装置

(51)【国際特許分類】

   H04N 23/66 20230101AFI20250109BHJP

   H04N 5/073 20060101ALI20250109BHJP

【ＦＩ】

H04N23/66

H04N5/073 A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024540627

(86)(22)【出願日】2022-07-13

(85)【翻訳文提出日】2024-08-26

(86)【国際出願番号】 CN2022105539

(87)【国際公開番号】W WO2023130706

(87)【国際公開日】2023-07-13

(31)【優先権主張番号】202210005387.4

(32)【優先日】2022-01-04

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】523065214

【氏名又は名称】北京石頭創新科技有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｒｏｂｏｒｏｃｋ Ｉｎｎｏｖａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】Ｒｏｏｍ １２０１， Ｆｌｏｏｒ １２， Ｂｕｉｌｄｉｎｇ ３， Ｙａｒｄ １７， Ａｎｊｕ Ｒｏａｄ， Ｃｈａｎｇｐｉｎｇ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０２２０６， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100145403

【弁理士】

【氏名又は名称】山尾 憲人

(74)【代理人】

【識別番号】100132241

【弁理士】

【氏名又は名称】岡部 博史

(74)【代理人】

【識別番号】100224616

【弁理士】

【氏名又は名称】吉村 志聡

(72)【発明者】

【氏名】李 傑

(72)【発明者】

【氏名】張 占枝

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122DA03

5C122EA67

5C122FA17

5C122FA18

5C122GC76

5C122HA13

5C122HA35

5C122HA88

5C122HB01

5C122HB02

(57)【要約】

本出願は、マルチカメラのフレーム同期制御方法を提供し、自走式装置の第１カメラと第２カメラとの画像に対してフレーム同期制御を行うために使用され、前記方法は、前記第１カメラが第１画像フレームを撮像するときに、同期命令を送信することと、前記同期命令を受信したことに応答して、前記第１カメラが第１画像フレームを撮像する時刻のタイムオフセットに基づいてフレーム同期信号の送信時刻を決定することと、前記送信時刻で前記第２カメラに前記フレーム同期信号を送信し、前記第２カメラが第２画像フレームを撮像するように制御することと、を含む。該マルチカメラのフレーム同期制御方法は、複数のカメラが同一クロックサイクル内でずらして撮像することを保証し、時間分割多重化の目的を達成する。

【特許請求の範囲】

【請求項1】

自走式装置の第１カメラと第２カメラとの画像に対してフレーム同期制御を行うマルチカメラのフレーム同期制御方法であって、
前記第１カメラが第１画像フレームを撮像するときに、同期命令を送信することと、
前記同期命令を受信したことに応答して、前記第１カメラが第１画像フレーム撮像した時刻のタイムオフセットに基づいてフレーム同期信号の送信時刻を決定することと、
前記送信時刻で前記第２カメラに前記フレーム同期信号を送信して、前記第２カメラが第２画像フレームを撮像するように制御することと、を含む、
ことを特徴とする、マルチカメラのフレーム同期制御方法。

【請求項2】

前記第１カメラが第１画像フレームを撮像した時刻のタイムオフセットに基づいてフレーム同期信号の送信時刻を決定することは、
予め設定された前記第１カメラと前記第２カメラとの間の動作クロック差に基づいて、前記フレーム同期信号の送信時刻を決定することを含む、
ことを特徴とする、請求項１に記載のマルチカメラのフレーム同期制御方法。

【請求項3】

前記第１カメラと前記第２カメラとが初期クロックのアライメントを行うように制御することをさらに含む、
ことを特徴とする、請求項１に記載のマルチカメラのフレーム同期制御方法。

【請求項4】

前記第１カメラと前記第２カメラとが初期クロックのアライメントを行うように制御することは、
前記第１カメラと前記第２カメラとが同時にオンになるように制御して、または、前記第１カメラと前記第２カメラとが予め設定された最小時間間隔内にオンになるように制御して、前記第１カメラと前記第２カメラが初期クロックのアライメントを満たすことを保証することを含む、
ことを特徴とする、請求項３に記載のマルチカメラのフレーム同期制御方法。

【請求項5】

前記第１カメラと前記第２カメラとが同じ周波数のクロックを使用するように制御し、または、前記第１カメラと前記第２カメラとが倍数関係のクロック周波数を使用するように制御することをさらに含む、
ことを特徴とする、請求項１に記載のマルチカメラのフレーム同期制御方法。

【請求項6】

前記第１カメラによる前記第１画像フレームの撮像および前記第２カメラによる第２画像フレームの撮像は、同一の撮像信号サイクル内に行われ、前記タイムオフセットによって、前記第２画像フレームの撮像時刻が前記第１画像フレームの撮像時刻と異なるように制御する、
ことを特徴とする、請求項１～５のいずれか１項に記載のマルチカメラのフレーム同期制御方法。

【請求項7】

前記第１カメラが第１画像フレームを撮像するときに、前記第２カメラが撮像せず、または前記第２カメラが撮像した画像を破棄するように制御すること、および、
前記第２カメラが第２画像を撮像するとき、前記第１カメラが画像を撮像せず、または前記第１カメラが撮像した画像を破棄するように制御することをさらに含む、
ことを特徴とする、請求項１～５のいずれか１項に記載のマルチカメラのフレーム同期制御方法。

【請求項8】

第１カメラ、第２カメラ、およびコントローラを備える自走式装置であって、
前記第１カメラは、第１画像フレームを撮像するときに、同期命令を送信し、
前記コントローラは、受信した前記同期命令に応答して、前記第１カメラが第１画像フレームを撮像した時刻のタイムオフセットに基づいてフレーム同期信号の送信時刻を決定し、前記送信時刻で前記第２カメラにフレーム同期信号を送信して、前記第２カメラが第２画像フレームを撮像するように制御する、
ことを特徴とする、自走式装置。

【請求項9】

前記コントローラは、予め設定された前記第１カメラと前記第２カメラとの間の動作クロック差に基づいて、前記フレーム同期信号の送信時刻を決定するために使用される、
ことを特徴とする、請求項８に記載の自走式装置。

【請求項10】

前記コントローラはさらに、前記第１カメラと前記第２カメラとが初期クロックのアライメントを行うように制御するために使用される、
ことを特徴とする、請求項８に記載の自走式装置。

【請求項11】

前記コントローラはさらに、前記第１カメラと前記第２カメラとが同時にオンになるように制御して、または、前記第１カメラと前記第２カメラとが予め設定された最小時間間隔内にオンになるように制御して、前記第１カメラと前記第２カメラとが初期クロックのアライメントを満たすことを保証するために使用される、
ことを特徴とする、請求項１０に記載の自走式装置。

【請求項12】

前記コントローラは、前記第１カメラと前記第２カメラとが同じ周波数のクロックを使用するように制御し、または、前記第１カメラと前記第２カメラとが倍数関係のクロック周波数を使用するように制御するために使用される、
ことを特徴とする、請求項８に記載の自走式装置。

【請求項13】

前記コントローラはさらに、前記第１カメラによる前記第１画像フレームの撮像および前記第２カメラによる第２画像フレームの撮像が、同一撮像信号サイクル内に行うように制御し、前記タイムオフセットによって、前記第２画像フレームの撮像時刻が前記第１画像フレームの撮像時刻と異なるように制御する、
ことを特徴とする、請求項８～１２のいずれか１項に記載の自走式装置。

【請求項14】

前記コントローラはさらに、前記第１カメラが第１画像フレームを撮像するときに、前記第２カメラが撮像せず、または前記第２カメラが撮像した画像を破棄するように制御し、および、前記第２カメラが第２画像を撮像するとき、前記第１カメラが画像を撮像せず、または前記第１カメラが撮像した画像を破棄するように制御するために使用される、
ことを特徴とする、請求項８～１２のいずれか１項に記載の自走式装置。

【請求項15】

コンピュータプログラムが記憶されており、前記コンピュータプログラムが実行されると請求項１～７のいずれか１項に記載の方法を実行するように設定される、
ことを特徴とする、記憶媒体。

【請求項16】

メモリとプロセッサを備える電子機器であって、前記メモリにコンピュータプログラムが記憶されており、前記プロセッサは前記コンピュータプログラムを実行すると請求項１～７のいずれか１項に記載の方法を実行するように構成される、
ことを特徴とする、電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本出願は、２０２２年１月４日に出願された中国特許出願番号２０２２１０００５３８７．４に基づいて優先権を主張し、そのすべての内容が参照によって本明細書に組み込まれる。

【0002】

本出願は、スマートデバイスの技術分野に関し、特にマルチカメラのフレーム同期制御方法、自走式装置、記憶媒体および電子機器に関する。

【背景技術】

【0003】

人工知能の発達に伴い、様々なシーンにおけるスマートデバイスが普及している。例えば、スマートホームデバイス、自動運転配送トラックなどは、掃除や運搬などの作業を行うために自走するスマートデバイスである。自走式スマートデバイスにはカメラが搭載されており、周囲の多方向・多角度画像を得るために、２つのカメラ（双眼カメラ）やそれ以上のカメラ（多眼カメラ）が搭載されていることが多い。２つ以上のカメラの画像フレームのクロック同期をどのように制御するかは、解決すべき技術的課題となっている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

これに鑑み、本出願は、マルチカメラのフレーム同期制御方法、自走式装置、記憶媒体および電子機器を提供し、主な目的は、マルチカメラで撮像された画像フレームをどのように同期して制御するかという技術的問題を解決することである。

【課題を解決するための手段】

【0005】

本出願の一側面によれば、自走式装置の第１カメラと第２カメラとの画像に対してフレーム同期制御を行うために使用されるマルチカメラのフレーム同期制御方法を提供し、前記方法は、前記第１カメラが第１画像フレームを撮像するときに、同期命令を送信することと、前記同期命令を受信したことに応答して、前記第１カメラが第１画像フレームを撮像した時刻のタイムオフセットに基づいてフレーム同期信号の送信時刻を決定することと、前記送信時刻で前記第２カメラに前記フレーム同期信号を送信し、前記第２カメラが第２画像フレームを撮像するように制御することと、を含む。

【0006】

本出願の一側面によれば、自走式装置を提供し、前記自走式装置は第１カメラ、第２カメラ、およびコントローラを備え、ここで、前記第１カメラは、第１画像フレームを撮像するときに、同期命令を送信し、前記コントローラは、受信した前記同期命令に応答して、前記第１カメラが第１画像フレームを撮像した時刻のタイムオフセットに基づいてフレーム同期信号の送信時刻を決定し、前記送信時刻で前記第２カメラにフレーム同期信号を送信し、前記第２カメラが第２画像フレームを撮像するように制御する。

【0007】

本出願の一側面によれば、記憶媒体を提供し、前記記憶媒体にコンピュータプログラムが記憶されており、ここで、前記コンピュータプログラムが実行されると上記のマルチカメラのフレーム同期制御方法を実行するように設定される。

【0008】

本出願の一側面によれば、メモリとプロセッサとを備える電子機器を提供し、前記メモリにコンピュータプログラムが記憶されており、前記プロセッサは前記コンピュータプログラムを実行すると上記のマルチカメラのフレーム同期制御方法を実行するように構成される。

【0009】

上記の技術解決策によれば、本出願によって提供されるマルチカメラのフレーム同期制御方法、自走式装置、記憶媒体および電子機器では、第１カメラの撮像時間に基づき、タイムオフセットからフレーム同期信号の送信時刻を決定し、該送信時刻でフレーム同期信号を送信して第２カメラが画像を撮像する時間を制御することにより、同一信号サイクル内に各カメラがずらして撮像を行い、異なるカメラの撮像画像の時間分割多重化の目的を達成する。

【0010】

上記説明は本出願の技術的解決策の概要に過ぎず、本出願の技術手段をより明確に理解するために、明細書の内容に従って実施し、本出願の上記および他の目的、特徴および利点をより明白かつ容易に理解するために、以下、本出願の具体的な実施形態を特に引用する。

【0011】

ここで説明される添付図面は、本出願のさらなる理解のために使用され、本出願の一部を構成し、本出願の例示的な実施例およびその説明は本出願を説明するために使用され、本出願の不当な限定を構成するものではない。

【図面の簡単な説明】

【0012】

【図1】本出願の実施例によって提供されるマルチカメラのフレーム同期制御方法の実施シーンを示す模式図

【図2】本出願の実施例によって提供されるマルチカメラのフレーム同期制御方法の一例を示すフローチャート

【図3】本出願の実施例によって提供される同一の撮像信号サイクル内でのずらした撮像を示す模式図

【図4】本出願の実施例によって提供されるマルチカメラのフレーム同期制御方法の一例を示すフローチャート

【図5】本出願の実施例によって提供される自走式装置の構造を示す模式図

【発明を実施するための形態】

【0013】

当業者が本出願の解決策をより良く理解するために、以下、本出願の実施例の添付図面と併せて、本出願の実施例の技術的解決策を明確かつ完全に説明するが、明らかに、説明される実施例は本出願の一部の実施例に過ぎず、全ての実施例ではない。本出願の実施例に基づいて、当業者が創造的な労働をすることなく得られた他の実施例は、すべて本出願の保護範囲に含まれる。なお、互いに矛盾しない限り、本出願の実施例および実施例の特徴は互いに組み合わせることができることに留意されたい。

【0014】

図１は、本出願の実施例によって提供されるマルチカメラのフレーム同期制御方法の実施シーンの模式図であり、該シナリオには自走式装置１０が示され、該自走式装置１０に少なくとも２つのカメラが設けられている。図１に第１カメラ１００と第２カメラ２００が例示され、第１カメラ１００と第２カメラ２００とが協働して撮像し、多方向、多角度の画像の取得を確保し、自走式装置１０の周囲環境をより完全かつ明確に取得し、自走式装置１０の走行過程において障害物回避のための基礎を提供する。該自走式装置１０は、清掃ロボット、自動運転配送車、コンパニオンロボットなどのスマートデバイスであってもよく、本出願の実施例では特に限定されなく、また、本出願の実施例で言及される自走式装置は既存および将来登場するすべての自走式スマートデバイスであってもよいことを理解されたい。

【0015】

図２は、本出願の実施例によって提供されるマルチカメラのフレーム同期制御方法の一例を示すフローチャートであり、該方法は、自走式装置の第１カメラと第２カメラとの画像に対してフレーム同期制御を行うために使用され、以下のステップＳ２０１～Ｓ２０３を含む。

【0016】

Ｓ２０１では、第１カメラが第１画像フレームを撮像するときに、同期命令を送信する。

【0017】

なお、双眼カメラ（または多眼カメラ）を使用する自走式装置では、同一の撮像信号サイクル内の２つの（または複数の）カメラで撮像された画像を取得し、画像の合成、キャリブレーションおよび分析のための基礎を提供する必要があるため、２つまたは複数のカメラのクロックを同期させる必要があり、ここでのクロック同期とは、各カメラがずらして撮像した少なくとも２つの画像（第１カメラによって撮像された第１画像フレーム、第２カメラによって撮像された第２画像フレーム）を、撮像クロックの同一の撮像信号サイクル内に制御することを意味する。

【0018】

なお、本出願の実施例によって提供されるマルチカメラのフレーム同期制御方法は、少なくとも２つのカメラの画像フレームを同期制御することができ、説明の便宜上、以下、２つのカメラ（第１カメラと第２カメラと）を例にして説明し、２つ以上のカメラのシーンについても、同様に本出願の実施例によって提供される解決策を採用して処理することができることを理解されたい。

【0019】

一実施態様では、２つのカメラのクロックを同期させるために、本出願の実施例では、１つのカメラ（例えばマスターカメラ）が撮像を行う場合に、他方のカメラ（例えばスレーブカメラ）が撮像せず、または撮像された画像を破棄し、逆に、スレーブカメラが撮像する場合、マスターカメラが撮像せず、または撮像された画像を破棄する。同時に、第１カメラが撮像するとき、その撮像時間を記録し、この時刻で同期命令を送信することにより、後に第２カメラのクロック同期を制御する。

【0020】

Ｓ２０２では、同期命令を受信したことに応答して、前記第１カメラが第１画像フレームを撮像した時刻のタイムオフセットに基づいてフレーム同期信号の送信時刻を決定する。

【0021】

第１カメラがｔ０時刻で第１画像フレームの撮像を開始すると仮定する場合、ｔ０時刻で同期命令を送信し、該同期命令は、第１カメラの撮像開始時間を記録するために使用される。その後、第１カメラが第１画像フレームを撮像する時刻のタイムオフセットに基づいてフレーム同期信号の送信時刻を決定する。

【0022】

Ｓ２０３では、上記送信時刻で第２カメラにフレーム同期信号を送信し、第２カメラが第２画像フレームを撮像するように制御する。

【0023】

第１カメラがｔ０時刻で第１画像フレームを撮像し、２つのカメラが画像フレームを撮像するタイムオフセットがΔｔであると仮定する場合、第２カメラが「ｔ０＋Δｔ」時刻で第２画像フレームを撮像するように制御する。

【0024】

このように、異なるカメラのクロック同期を実現するために、第１カメラによる第１画像フレームの撮像および第２カメラによる第２画像フレームの撮像は、同一の撮像信号サイクル内に行われ、ここで、タイムオフセットにより、第２画像フレームの撮像時刻が第１画像フレームの撮像時刻と異なるように制御する。

【0025】

図３は、２つのカメラが同一撮像信号サイクル内にずらして撮像する場合の模式図である。図３の例では、第１カメラと第２カメラとは同一周波数の撮像クロックＣＬＫを使用し、ＣＬＫの各撮像信号サイクル内に、第１カメラと第２カメラとが少なくとも１回ずらして撮像するように制御し、すなわち、少なくとも１つの第１画像フレームと第２画像フレームとを撮像する。図３に、各撮像信号サイクル内に、各カメラが２回撮像することを示しており、具体的に、第１カメラがｔ１とｔ２時刻で撮像し、第２カメラが「ｔ１＋Δｔ」および「ｔ２＋Δｔ」時刻で撮像する。図から分かるように、４つの時刻はすべて同一の撮像信号サイクル内にある。

【0026】

別の実施態様では、２つのカメラのクロック同期を行うために、１つのカメラ（例えばマスターカメラ）が撮像するときに、他方のカメラ（例えばスレーブカメラ）が撮像せずまたは撮像された画像を破棄し、逆に、スレーブカメラが撮像するときに、マスターカメラが撮像せずまたは撮像された画像を破棄する。同時に、第１カメラが撮像するときに、その撮像時間を記録し、この時刻で同期命令を送信することにより、後に第２カメラのクロック同期を行うように制御する。

【0027】

このように、本出願の実施例によって提供されるマルチカメラのフレーム同期制御方法によれば、第１カメラの撮像時間に基づいて、タイムオフセットから第２カメラの画像撮像時間を制御することにより、同一信号サイクル内に各カメラがずらして撮像を行い、異なるカメラが撮像した画像の時間分割多重化の目的を達成することができる。

【0028】

図４は、本出願の実施例によって提供されるマルチカメラのフレーム同期制御方法の一例を示すフローチャートであり、該方法は、自走式装置の第１カメラと第２カメラとの画像に対してフレーム同期制御を行うために使用され、以下のステップＳ４０１～Ｓ４０５を含む。

【0029】

図２に示す例と比較すると、本例ではコントローラが導入され、第１カメラと第２カメラとのクロック同期を制御し、具体的に、２つのカメラの初期クロックのアライメントが揃っている前提下で、２つのカメラは同一または倍数の周波数のクロックを使用する場合、２つのカメラの画像フレームを同期させる解決策を説明する。

【0030】

Ｓ４０１では、第１カメラと第２カメラとが初期クロックのアライメントを行うように制御する。

【0031】

例えば、第１カメラと第２カメラとが同時にオンになり、または、第１カメラと第２カメラとが予め設定された最小時間間隔内にオンになるように制御することにより、第１カメラと第２カメラとの初期クロックのアライメントを達成することができる。

【0032】

Ｓ４０２では、第１カメラと第２カメラとが同一周波数のクロックを使用するように制御し、または、第１カメラと第２カメラとが倍数関係のクロック周波数を使用するように制御する。

【0033】

一実施態様では、第１カメラと第２カメラとが同一周波数のクロックを使用し、例えば、第１カメラと第２カメラとが同一クロック信号を使用するように制御することにより、第１カメラと第２カメラとが同一周波数のクロックを有する。各クロックパルスが到着するとき、画像を撮像し、例えば、第１カメラと第２カメラとのフレームレートが３０フレーム／秒（ｆｐｓ）であると仮定すると、カメラの起動時から、１秒ごとに３０フレーム画像を撮像するように制御する。

【0034】

別の実施態様では、第１カメラと第２カメラとが倍数関係のクロック周波数を使用するように制御し、例えば、第１カメラのフレームレートが１５フレーム／秒、第２カメラのフレームレートが３０フレーム／秒（ｆｐｓ）であり、すなわち第２カメラフレームレートは、第１カメラフレームレートの２倍数関係にある。

【0035】

Ｓ４０３では、第１カメラが第１画像フレームを撮像するときに、同期命令を送信する。

【0036】

本出願の実施例で採用する方法としては、１つのカメラ（例えばマスターカメラ）が撮像するときに、他方のカメラ（例えばスレーブカメラ）が撮像せずまたは撮像された画像を破棄し、逆に、スレーブカメラが撮像するときに、マスターカメラが撮像せずまたは撮像された画像を破棄する。同時に、第１カメラが撮像するときに、撮像開始時間を記録し、この時刻に同期命令を送信することにより、後に第２カメラのクロック同期を行うように制御する。

【0037】

Ｓ４０４では、コントローラが同期命令を受信し、第１カメラが撮像する時刻のタイムオフセットに基づいてフレーム同期信号の送信時刻を決定する。

【0038】

第１カメラはｔ０時刻に第１画像フレームの撮像を開始すると仮定すると、ｔ０時刻で同期命令を送信し、該同期命令は、第１カメラが実際に撮像を開始する時間を記録するために使用される。その後、２つのカメラのタイムオフセットΔｔに基づいてフレーム同期信号の送信時刻を決定する。具体的に、第１カメラと第２カメラとが同一周波数のクロックを使用すると、ｔ０および「ｔ０＋Δｔ」という２つの時刻が同一クロック信号サイクル内にあることを保証し、第１カメラと第２カメラとが倍数関係の周波数クロックを使用すると、第１カメラクロックがＣＬＫ１、第２カメラクロックがＣＬＫ２であり、両者が倍数関係を有すると仮定すると、まずｔ０をＣＬＫ２下の時刻に変換し、その後、ＣＬＫ２のクロック信号サイクルに基づいて、フレーム同期信号の送信時刻を決定する。

【0039】

Ｓ４０５では、上記送信時刻で第２カメラにフレーム同期信号を送信して、第２カメラが第２画像フレームを撮像するように制御する。

【0040】

上記マルチカメラのフレーム同期制御方法に対応して、本出願の実施例は自走式装置をさらに提供する。図５は、本出願の実施例によって提供される自走式装置の構造模式図を示す。

【0041】

該自走式装置は少なくとも第１カメラ５０１、第２カメラ５０２、およびコントローラ５０３を備え、ここで、前記第１カメラ５０１は、第１画像フレームを撮像するときに、同期命令を送信し、前記コントローラ５０３は、前記第１カメラ５０１からの前記同期命令を受信したことに応答して、第１カメラが第１画像フレームを撮像する時刻のタイムオフセットに基づいてフレーム同期信号の送信時刻を決定し、上記送信時刻で前記第２カメラ５０２にフレーム同期信号を送信し、前記第２カメラが第２画像フレームを撮像するように制御する。

【0042】

一実施態様では、前記コントローラ５０３はさらに、予め設定された前記第１カメラと前記第２カメラとの間の動作クロック差に基づいて、前記フレーム同期信号の送信時刻を決定するために使用される。

【0043】

一実施態様では、前記コントローラ５０３はさらに、前記第１カメラ５０１と前記第２カメラ５０２との初期クロックのアライメントを行うように制御するために使用される。

【0044】

一実施態様では、前記コントローラ５０３はさらに、前記第１カメラ５０１と前記第２カメラ５０２とが同時にオンになり、または、前記第１カメラ５０１と前記第２カメラ５０２とが予め設定された最小時間間隔内にオンになるように制御することにより、前記第１カメラ５０１と前記第２カメラ５０２とが初期クロックのアライメントを満たすように制御するために使用される。

【0045】

一実施態様では、前記コントローラ５０３はさらに、前記第１カメラ５０１と前記第２カメラ５０２とが同一周波数のクロックを使用し、または、前記第１カメラ５０１と前記第２カメラ５０２とが倍数関係のクロック周波数を使用するように制御するために使用される。

【0046】

一実施態様では、前記コントローラ５０３はさらに、前記第１カメラによる前記第１画像フレームの撮像および前記第２カメラによる第２画像フレームの撮像は、同一撮像信号サイクル内に行われ、ここで、前記タイムオフセットによって、前記第２画像フレームの撮像時刻が前記第１画像フレームの撮像時刻と異なるように制御するために使用される。

【0047】

一実施態様では、前記コントローラ５０３はさらに、前記第１カメラが第１画像フレームを撮像するときに、前記第２カメラが撮像せず、または前記第２カメラの撮像画像を破棄するように制御し、および、前記第２カメラが第２画像を撮像するとき、前記第１カメラが画像を撮像せず、または前記第１カメラの撮像画像を破棄するように制御するために使用される。

【0048】

本出願の実施例は、記憶媒体をさらに提供し、該記憶媒体にコンピュータプログラムが記憶されており、ここで、該コンピュータプログラムが実行されると上記いずれか１つの方法実施例のステップを実行するように設定される。

【0049】

選択可能に、本実施例では、上記記憶媒体は、以下ステップを実行するコンピュータプログラムを記憶するように構成される。すなわち、
（１）第１カメラが第１画像フレームを撮像するときに、同期命令を送信する、
（２）同期命令を受信したことに応答して、前記第１カメラの第１画像フレーム撮像時刻のタイムオフセットに基づいてフレーム同期信号の送信時刻を決定する、
（３）前記送信時刻で第２カメラに前記フレーム同期信号を送信し、前記第２カメラが第２画像フレームを撮像するように制御する。

【0050】

選択可能に、本実施例では、上記記憶媒体は、ＵＳＢディスク、リードオンリーメモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、略してＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、略してＲＡＭ）、リムーバブルハードディスク、磁気ディスクまたは光ディスクなどのコンピュータプログラムを記憶できる様々な媒体を含むが、これらに限定されない。

【0051】

本出願の実施例は、メモリとプロセッサを備える電子機器をさらに提供し、該メモリにコンピュータプログラムが記憶されており、該プロセッサはコンピュータプログラムを実行すると上記いずれか１つの方法実施例のステップを実行するように構成される。

【0052】

選択可能に、上記電子機器は、送信装置および入出力装置をさらに備えてもよく、ここで、該送信装置は上記プロセッサに接続され、該入出力装置は上記プロセッサに接続される。

【0053】

選択可能に、本実施例では、上記プロセッサはコンピュータプログラムによって以下のステップを実行する。すなわち、
（１）第１カメラが第１画像フレームを撮像するときに、同期命令を送信する、
（２）同期命令を受信したことに応答して、前記第１カメラの第１画像フレーム撮像時刻のタイムオフセットに基づいてフレーム同期信号の送信時刻を決定する、
（３）前記送信時刻で第２カメラにフレーム同期信号を送信し、前記第２カメラが第２画像フレームを撮像するように制御する。

【0054】

選択可能に、本実施例の具体例は、上記実施例および選択可能な実施形態に説明される例を参照すればよく、本実施例では繰り返さない。

【0055】

上記本出願の実施例の番号は説明のために使用され、実施例のメリットを示すものではない。

【0056】

本出願の上記実施例では、各実施例の説明は焦点を絞って行われ、ある実施例において詳述されていない部分は、他の実施例の関連説明を参照すればよい。

【0057】

本出願によって提供されるいくつかの実施例では、開示される技術的内容は、他の手段によって実現され得ることを理解されたい。ここで、上述した装置実施例は単なる例示であり、例えば前記ユニットの分割は、単なる論理的な機能分割に過ぎず、実際の実装は他の方法で分割されてもよく、例えば複数のユニットまたはアセンブリは組み合わされてもよく、または他のシステムに統合されてもよく、または一部の特徴が無視されてもよく、または実行されなくてもよい。あるいは、図示または議論されている相互結合または直接結合または通信接続はいくつかのインターフェース、ユニットまたはモジュールの間接結合または通信接続であってもよく、電気的または他の方法であってもよい。

【0058】

前記分離部材として説明されるユニットは物理的に分離されてもなくてもよく、ユニットとして図示された部材は物理ユニットであってもなくてもよく、すなわち１つの場所に配置されてもよく、または複数のネットワークユニットに分散されてもよい。本実施例の目的を達成するために、実際のニーズに応じて一部または全部のユニットを選択してもよい。

【0059】

さらに、本出願の各実施例の各機能ユニットは１つの処理ユニットに統合されてもよく、各ユニットが単独して物理的に存在してもよく、２つまたは２つ以上のユニットが１つのユニットに統合されてもよい。上記統合されたユニットはハードウェアの形態で実装されてもよく、ソフトウエア機能ユニットの形態で実装されてもよい。

【0060】

前記統合されたユニットがソフトウエア機能ユニットの形態で実装されて独立した製品として販売または使用するとき、１つのコンピュータ可読記憶媒体に格納されてもよい。このような理解に基づいて、本出願の技術的解決策は本質的にまたは従来技術に対する貢献部分または該技術的解決策の全部または一部はソフトウエア製品の形態で具現化されてもよく、該コンピュータソフトウエア製品は１つの記憶媒体に記憶され、多数の命令を含んで１台のコンピュータ装置（パーソナルコンピュータ、サーバーまたはネットワーク装置など）に本出願の各実施例に記載の方法の全部または一部のステップを実行させるために使用される。上記記憶媒体は、ＵＳＢディスク、リードオンリーメモリ（ＲＯＭ、Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、リムーバブルハードディスク、磁気ディスクまたは光ディスクなどのプログラムコードを記憶できる様々な媒体を含むが、これらに限定されない。

【0061】

以上、本出願の好ましい実施形態を説明したが、当業者であれば、本出願の原理から逸脱しない前提下で、様々な改良および修飾を加えることができ、これらの改良および修飾はすべて本出願の保護範囲に含まれるものとすることに留意されたい。

【図1】

【図2】

【図3】

【図4】

【図5】

【手続補正書】

【提出日】2024-08-26

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

自走式装置の第１カメラと第２カメラとの画像に対してフレーム同期制御を行うマルチカメラのフレーム同期制御方法であって、
前記第１カメラが第１画像フレームを撮像するときに、同期命令を送信することと、
前記同期命令を受信したことに応答して、前記第１カメラが第１画像フレーム撮像した時刻のタイムオフセットに基づいてフレーム同期信号の送信時刻を決定することと、
前記送信時刻で前記第２カメラに前記フレーム同期信号を送信して、前記第２カメラが第２画像フレームを撮像するように制御することと、を含む、
ことを特徴とする、マルチカメラのフレーム同期制御方法。

【請求項2】

前記第１カメラが第１画像フレームを撮像した時刻のタイムオフセットに基づいてフレーム同期信号の送信時刻を決定することは、
予め設定された前記第１カメラと前記第２カメラとの間の動作クロック差に基づいて、前記フレーム同期信号の送信時刻を決定することを含む、
ことを特徴とする、請求項１に記載のマルチカメラのフレーム同期制御方法。

【請求項3】

前記第１カメラと前記第２カメラとが初期クロックのアライメントを行うように制御することをさらに含む、
ことを特徴とする、請求項１に記載のマルチカメラのフレーム同期制御方法。

【請求項4】

前記第１カメラと前記第２カメラとが初期クロックのアライメントを行うように制御することは、
前記第１カメラと前記第２カメラとが同時にオンになるように制御して、または、前記第１カメラと前記第２カメラとが予め設定された最小時間間隔内にオンになるように制御して、前記第１カメラと前記第２カメラが初期クロックのアライメントを満たすことを保証することを含む、
ことを特徴とする、請求項３に記載のマルチカメラのフレーム同期制御方法。

【請求項5】

前記第１カメラと前記第２カメラとが同じ周波数のクロックを使用するように制御し、または、前記第１カメラと前記第２カメラとが倍数関係のクロック周波数を使用するように制御することをさらに含む、
ことを特徴とする、請求項１に記載のマルチカメラのフレーム同期制御方法。

【請求項6】

前記第１カメラによる前記第１画像フレームの撮像および前記第２カメラによる第２画像フレームの撮像は、同一の撮像信号サイクル内に行われ、前記タイムオフセットによって、前記第２画像フレームの撮像時刻が前記第１画像フレームの撮像時刻と異なるように制御する、
ことを特徴とする、請求項１～５のいずれか１項に記載のマルチカメラのフレーム同期制御方法。

【請求項7】

前記第１カメラが第１画像フレームを撮像するときに、前記第２カメラが撮像せず、または前記第２カメラが撮像した画像を破棄するように制御すること、および、
前記第２カメラが第２画像を撮像するとき、前記第１カメラが画像を撮像せず、または前記第１カメラが撮像した画像を破棄するように制御することをさらに含む、
ことを特徴とする、請求項１～５のいずれか１項に記載のマルチカメラのフレーム同期制御方法。

【請求項8】

第１カメラ、第２カメラ、およびコントローラを備える自走式装置であって、
前記第１カメラは、第１画像フレームを撮像するときに、同期命令を送信し、
前記コントローラは、受信した前記同期命令に応答して、前記第１カメラが第１画像フレームを撮像した時刻のタイムオフセットに基づいてフレーム同期信号の送信時刻を決定し、前記送信時刻で前記第２カメラにフレーム同期信号を送信して、前記第２カメラが第２画像フレームを撮像するように制御する、
ことを特徴とする、自走式装置。

【請求項9】

前記コントローラは、予め設定された前記第１カメラと前記第２カメラとの間の動作クロック差に基づいて、前記フレーム同期信号の送信時刻を決定するために使用される、
ことを特徴とする、請求項８に記載の自走式装置。

【請求項10】

前記コントローラはさらに、前記第１カメラと前記第２カメラとが初期クロックのアライメントを行うように制御するために使用される、
ことを特徴とする、請求項８に記載の自走式装置。

【請求項11】

前記コントローラはさらに、前記第１カメラと前記第２カメラとが同時にオンになるように制御して、または、前記第１カメラと前記第２カメラとが予め設定された最小時間間隔内にオンになるように制御して、前記第１カメラと前記第２カメラとが初期クロックのアライメントを満たすことを保証するために使用される、
ことを特徴とする、請求項１０に記載の自走式装置。

【請求項12】

前記コントローラは、前記第１カメラと前記第２カメラとが同じ周波数のクロックを使用するように制御し、または、前記第１カメラと前記第２カメラとが倍数関係のクロック周波数を使用するように制御するために使用される、
ことを特徴とする、請求項８に記載の自走式装置。

【請求項13】

前記コントローラはさらに、前記第１カメラによる前記第１画像フレームの撮像および前記第２カメラによる第２画像フレームの撮像が、同一撮像信号サイクル内に行うように制御し、前記タイムオフセットによって、前記第２画像フレームの撮像時刻が前記第１画像フレームの撮像時刻と異なるように制御する、
ことを特徴とする、請求項８～１２のいずれか１項に記載の自走式装置。

【請求項14】

前記コントローラはさらに、前記第１カメラが第１画像フレームを撮像するときに、前記第２カメラが撮像せず、または前記第２カメラが撮像した画像を破棄するように制御し、および、前記第２カメラが第２画像を撮像するとき、前記第１カメラが画像を撮像せず、または前記第１カメラが撮像した画像を破棄するように制御するために使用される、
ことを特徴とする、請求項８～１２のいずれか１項に記載の自走式装置。

【請求項15】

コンピュータプログラムが記憶されており、前記コンピュータプログラムが実行されると請求項１～５のいずれか１項に記載の方法を実行するように設定される、
ことを特徴とする、記憶媒体。

【請求項16】

メモリとプロセッサを備える電子機器であって、前記メモリにコンピュータプログラムが記憶されており、前記プロセッサは前記コンピュータプログラムを実行すると請求項１～５のいずれか１項に記載の方法を実行するように構成される、
ことを特徴とする、電子機器。

【国際調査報告】