特許 7419601 多重カメラセンサシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-12

(45)【発行日】2024-01-22

(54)【発明の名称】多重カメラセンサシステム

(51)【国際特許分類】

   H04N 23/695 20230101AFI20240115BHJP

   H04N 23/90 20230101ALI20240115BHJP

【ＦＩ】

H04N23/698

H04N23/90

【請求項の数】 4

(21)【出願番号】P 2023507970

(86)(22)【出願日】2021-08-05

(65)【公表番号】

(43)【公表日】2023-07-21

(86)【国際出願番号】 EP2021071911

(87)【国際公開番号】W WO2022029246

(87)【国際公開日】2022-02-10

【審査請求日】2023-03-30

(31)【優先権主張番号】20200879

(32)【優先日】2020-08-05

(33)【優先権主張国・地域又は機関】NO

【早期審査対象出願】

(73)【特許権者】

【識別番号】523039455

【氏名又は名称】マイブリッジ アーエス

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】トムレン， アンデシュ

(72)【発明者】

【氏名】エスペランド， ホーコン

【審査官】淀川 滉也

(56)【参考文献】

【文献】特開２０１９－１５９９５０（ＪＰ，Ａ）

【文献】特表２０１３－５０４２３９（ＪＰ，Ａ）

【文献】特開２０１５－１３５６６１（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２００９－０１１９３１２（ＫＲ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６９５

Ｈ０４Ｎ ２３／９０

(57)【特許請求の範囲】

【請求項1】

仮想カメラ視点にローカライズされる仮想カメラ視野を伴う仮想カメラによって標的画像を提供するマルチカメラセンサシステムであって、
１つまたはそれを上回る表面に取り付けられるように調節される１つまたはそれを上回る取付デバイス上に連続して位置付けられる、それぞれが個別のセンサ視野を伴ういくつかのカメラセンサであって、カメラセンサの位置によって跨架される前記１つまたはそれを上回る表面に取り付けられるとき、２次元または３次元空間を定義する、いくつかのカメラセンサと、
伝送媒体であって、前記伝送媒体は、前記カメラセンサによって捕捉された画像データおよび制御データを前記カメラセンサと処理デバイスとの間で伝送するように調節される前記１つまたはそれを上回る取付デバイスにおいて固有に提供されるかまたはそれに接続される、伝送媒体と
を備え、
前記処理デバイスは、少なくとも、
前記２次元または３次元空間内の第１のセットのカメラセンサの間に位置する現在の仮想カメラ視点を決定することと、
少なくとも組み合わせて、前記現在の仮想カメラ視点と関連付けられる現在の仮想カメラ視野を網羅しているセンサ視野を有する前記第１のセットのカメラセンサによって捕捉される画像データを選択することと、
前記選択された画像データをスティッチすることによって、前記現在の仮想カメラ視野内の前記標的画像を作成することと
を行うように調節されることを特徴とし、
前記１つまたはそれを上回る取付デバイスは、テープストリップである、マルチカメラセンサシステム。

【請求項2】

前記仮想カメラ視点は、移動可能であり、前記処理デバイスはさらに、
前記現在の仮想カメラ視点と異なる前記２次元または３次元空間内の前記いくつかのカメラセンサの間に位置する更新された仮想カメラ視点を決定することと、
前記第１のセットのカメラセンサが、少なくとも組み合わせて、前記更新された仮想カメラ視点と関連付けられる更新された仮想カメラ視野を網羅しているセンサ視野を有していない場合、前記いくつかのカメラセンサのうちの第２のセットのカメラセンサによって捕捉される画像データを再選択することと、
前記選択された画像データを再スティッチすることによって、前記更新された仮想カメラ視野内の前記標的画像を再作成することと
を行うように調節される、請求項１に記載のマルチカメラセンサシステム。

【請求項3】

仮想カメラ視点にローカライズされる仮想カメラ視野を伴う仮想カメラによって標的画像を提供するための方法であって、
１つまたはそれを上回る表面に取り付けられる１つまたはそれを上回る取付デバイス上に連続して位置付けられる、それぞれが個別のセンサ視野を伴ういくつかのカメラセンサの位置によって定義される２次元または３次元空間内の前記いくつかのカメラセンサの間に位置する現在の仮想カメラ視点を決定するステップと、
少なくとも組み合わせて、前記現在の仮想カメラ視点と関連付けられる現在の仮想カメラ視野を網羅しているセンサ視野を有する前記いくつかのカメラセンサのうちの第１のセットのカメラセンサによって捕捉される画像データを選択するステップと、
前記選択された画像データをスティッチすることによって、前記現在の仮想カメラ視野内の前記標的画像を作成するステップと、
前記１つまたはそれを上回る取付デバイスにおいて固有に提供されるかまたはそれに接続される伝送媒体上で、前記カメラセンサによって捕捉された画像データおよび制御データを前記カメラセンサと処理デバイスとの間で伝送するステップと
を特徴とし、
前記１つまたはそれを上回る取付デバイスは、テープストリップである、方法。

【請求項4】

加えて、
前記現在の仮想カメラ視点と異なる前記２次元または３次元空間内の前記いくつかのカメラセンサの間に位置する更新された仮想カメラ視点を決定するステップと、
前記第１のセットのカメラセンサが、少なくとも組み合わせて、前記更新された仮想カメラ視点と関連付けられる更新された仮想カメラ視野を網羅するセンサ視野を有していない場合、前記いくつかのカメラセンサのうちの第２のセットのカメラセンサによって捕捉される画像データを再選択するステップと、
前記選択された画像データを再スティッチすることによって、前記更新された仮想カメラ視野内の前記標的画像を再作成するステップと
を含む、請求項３に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、任意の用途および多数の異なる分野のための多重カメラセンサシステムおよび方法を開示する。本発明は、とりわけ、産業および生産支援、医療用途、ＡＶ制作、ビデオ会議、ブロードキャスト、監視、およびセキュリティのような分野において使用されることができる。

【背景技術】

【0002】

カメラ技術が利用される個別の分野においてそれぞれ、既存のカメラ技術に関連するいくつかの課題が、存在する。

【0003】

セキュリティおよび監視カメラ解決策は、概して、１つまたはいくつかの単一の固定して搭載される、または遠隔で制御される、移動ＣＣＴＶ／ＰＴＺ（パン、チルト、ズーム）カメラに基づく。

【0004】

カメラは、着目面積の最も効率的な網羅のための方略的位置に搭載される。

【0005】

これは、多くの場合、視覚的に注意されない、または死角における無駄な面積が存在することを意味し得る。カメラの困難な、または誤った設置の量は、着目面積に到達するためにズームインの広範な使用を要求し得、監視に限定された画像品質および不十分な情報を与えるであろう。

【0006】

ビデオ会議では、会議室／ミーティングルーム（およびコンピュータ上）は、通常、着信する信号／画像を伴うモニタ（画面フレーム上）に近接して搭載される単一のカメラを装備する。

【0007】

一般的な会議解決策は、広角または超広角レンズ、またはゼロ視点から扇形状においてともに搭載される２～３つのレンズを伴うカメラを伴い、これは、時として１８０度ものミーティングルーム、テーブル、黒板、または他の提示面積の所望の網羅範囲を提供することを可能にするためのものである。

【0008】

超広角および広角レンズは、レンズが広角になるほど、着目物体がより小さくなるであろう不利点を有する。既存の解決策は、そのため、多くの場合、近さまたは広さの間の選定に悩まされ、最終的に参加者までの距離が長くなるため、より大きいミーティングにおいて満足に使用できない。

【0009】

いくつかのハイエンドの会議解決策は、モニタに近接して設置される物理的かつ機械的に移動する単レンズＰＴＺカメラをもたらすことができる。これらの解決策は、ソフトウェア制御されたズームおよびフォーカスを有することができ、時として、話している人物を中心に置くことができる。これらの解決策は、ソフトウェア制御される機械的移動カメラに悩まされる。１つのカメラおよび複数の参加者を伴う自動生成は、過剰なパン、ズーム、およびチルト、（全ての軸において過剰に大きく、かつ遠くに移動する）音声認識の問題、および画像制御、カメラ安定性、および画像品質の悪化をもたらすであろう。

【0010】

異なる生産またはプロセスの間の検査または監視のいずれかのために作製される、大量の産業用カメラ解決策は、複数の単一カメラ解決策を用いて行われる。これは、より大きい設備のためのカメラの複数の搭載、最終出力への複数のケーブル配線および接続を意味する。

【0011】

インターネットにストリーミングする家庭ユーザ、ブロガーおよびセミプロ、企業間取引、およびその他は、単一のウェブカメラまたはセミプロのカメラのいずれかを使用している。これは、出力ストリーミング分解能よりも大きい高分解能画像内で顔追跡およびフレーミングを仮想的に行う、単一ＰＴＺカメラ解決策またはカスタムストリーミングカメラであり得る。

【0012】

映画およびテレビ制作の歴史を通して、移動カメラは、ストーリーテリングの重要な部分であった。動画の作製は、昔も今も多くの異なる技術的解決策を用いて行われている。これは、自転車、自動車、台車、軌道上の手押し車、クレーン、ステディカム、および自由移動する、または軌道解決策上のロボットカメラ上のカメラであり得る。

【0013】

全ての異なる技法は、その利点および不利点を有する。

【0014】

カメラが人間によって物理的に動かされる、またはロボットによって移動されるかどうかにかかわらず、問題が、存在する。

【0015】

これらの問題は、重力、機器の重量、物理的トルク、カメラの長い加速および減速、確動停止、確動開始、速度に対する限界、異なるタイプの抵抗および共振、不均一な床および速度が、床の上または屋根または床に搭載されたロボット台車軌道上のいずれかで真っ直ぐ移動する、カメラ移動の間に振動を与えるであろうこと等の全ての基本的な物理的問題である。

【0016】

全ての公知のカメラシステムおよびカメラ移動設定は、重量を伴う物理的物体であることおよび体積であることの限界に悩まされ、したがって、世界の物理法則の一部である。

【0017】

スタジオ制作において使用されるカメラおよびカメラロボットは、概して、機械的に複雑であり、サイズおよび面積が非常に大きく、カメラ移動のための空間を要求する。

【0018】

市販されているカメラロボットシステムの大部分には、安全上の問題が、存在する。これは、ロボットカメラが使用される制作の間のスタジオ内の人々の存在を禁止させている。

【0019】

したがって、種々の分野および用途における上記に議論されるカメラ関連問題を解決するシステムの必要性が、存在する。

【発明の概要】

【課題を解決するための手段】

【0020】

上記を考慮して、本開示の目的は、カメラに関連する欠点のうちの少なくともいくつかを克服する、または少なくとも軽減することである。

【0021】

特に、本発明は、１つまたはそれを上回る表面に取り付けられるように調節される１つまたはそれを上回る取付デバイス上に連続して位置付けられる、それぞれが個別のセンサ視野を伴ういくつかのカメラセンサであって、カメラセンサの位置によって跨架される１つまたはそれを上回る表面に取り付けられるとき、ｎ次元空間を定義する、いくつかのカメラセンサと、処理デバイスであって、少なくとも、ｎ次元空間内の現在の仮想カメラ視点を決定し、少なくとも組み合わせて、現在の仮想カメラ視点と関連付けられる現在の仮想カメラ視野を網羅しているセンサ視野を有する第１のセットのカメラセンサによって捕捉される画像データを選択し、選択された画像データをスティッチすることによって、現在の仮想カメラ視野内の標的画像を作成するように調節される、処理デバイスと、カメラセンサによって捕捉された画像データおよび制御データをカメラセンサと処理デバイスとの間で伝送するように調節される、１つまたはそれを上回る取付デバイスにおいて固有に提供される、またはそれに接続される、伝送媒体とを含む、仮想カメラ視点にローカライズされる仮想カメラ視野を伴う仮想カメラによって標的画像を提供する、マルチカメラセンサシステムを開示する。本発明はまた、対応する方法を開示する。
本発明は、例えば、以下を提供する。
（項目１）
仮想カメラ視点にローカライズされる仮想カメラ視野を伴う仮想カメラによって標的画像を提供するマルチカメラセンサシステムであって、
１つまたはそれを上回る表面に取り付けられるように調節される１つまたはそれを上回る取付デバイス上に連続して位置付けられる、それぞれが個別のセンサ視野を伴ういくつかのカメラセンサであって、カメラセンサの位置によって跨架される上記１つまたはそれを上回る表面に取り付けられるとき、ｎ次元空間を定義する、いくつかのカメラセンサと、
処理デバイスであって、少なくとも、
上記ｎ次元空間内の現在の仮想カメラ視点を決定することと、
少なくとも組み合わせて、上記現在の仮想カメラ視点と関連付けられる現在の仮想カメラ視野を網羅しているセンサ視野を有する第１のセットのカメラセンサによって捕捉される画像データを選択することと、
上記選択された画像データをスティッチすることによって、上記現在の仮想カメラ視野内の上記標的画像を作成することと
を行うように調節される、処理デバイスと、
伝送媒体であって、上記伝送媒体は、上記カメラセンサによって捕捉された画像データおよび制御データを上記カメラセンサと上記処理デバイスとの間で伝送するように調節される上記１つまたはそれを上回る取付デバイスにおいて固有に提供されるかまたはそれに接続される、伝送媒体と
を特徴とする、マルチカメラセンサシステム。
（項目２）
上記仮想カメラ視点は、移動可能であり、上記処理デバイスはさらに、
上記現在の仮想カメラ視点と異なる上記ｎ次元空間内の更新された仮想カメラ視点を決定することと、
上記第１のセットのカメラセンサが、少なくとも組み合わせて、上記更新された仮想カメラ視点と関連付けられる更新された仮想カメラ視野を網羅しているセンサ視野を有していない場合、第２のセットのカメラセンサによって捕捉される画像データを再選択することと、
上記選択された画像データを再スティッチすることによって、上記更新された仮想カメラ視野内の上記標的画像を再作成することと
を行うように調節される、項目１に記載のマルチカメラセンサシステム。
（項目３）
仮想カメラ視点にローカライズされる仮想カメラ視野を伴う仮想カメラによって標的画像を提供するための方法であって、
１つまたはそれを上回る表面に取り付けられる１つまたはそれを上回る取付デバイス上に連続して位置付けられる、それぞれが個別のセンサ視野を伴ういくつかのカメラセンサの位置によって定義されるｎ次元空間内の現在の仮想カメラ視点を決定するステップと、
少なくとも組み合わせて、上記現在の仮想カメラ視点と関連付けられる現在の仮想カメラ視野を網羅しているセンサ視野を有する第１のセットのカメラセンサによって捕捉される画像データを選択するステップと、
上記選択された画像データをスティッチすることによって、上記現在の仮想カメラ視野内の上記標的画像を作成するステップと、
上記１つまたはそれを上回る取付デバイスにおいて固有に提供されるかまたはそれに接続される伝送媒体上で、上記カメラセンサによって捕捉された画像データおよび制御データを上記カメラセンサと上記処理デバイスとの間で伝送するステップと
を特徴とする、方法。
（項目４）
加えて、
上記現在の仮想カメラ視点と異なる上記ｎ次元空間内の更新された仮想カメラ視点を決定するステップと、
上記第１のセットのカメラセンサが、少なくとも組み合わせて、上記更新された仮想カメラ視点と関連付けられる更新された仮想カメラ視野を網羅するセンサ視野を有していない場合、第２のセットのカメラセンサによって捕捉される画像データを再選択するステップと、
上記選択された画像データを再スティッチすることによって、上記更新された仮想カメラ視野内の上記標的画像を再作成するステップと
を含む、項目３に記載の方法。

【図面の簡単な説明】

【0022】

【図1】図１は、本発明の側面による画像センサが、固定された原点およびその角度視野を通して重複する画像を作成する方法を図示する。

【図2】図２ａおよびｂは、入力によって区別される２つの異なるスティッチモジュールを概念的に表示する。

【図3a】図３ａは、任意の形態および長さに成形され得る、可撓性多層ＰＣＢ上に搭載される画像センサを図示する。

【図3b】図３ｂ－ｄは、可撓性多層センサテープ上に搭載される画像センサが、任意の形態、形状、および長さを与えられ得る方法を示す。

【図3c】図３ｂ－ｄは、可撓性多層センサテープ上に搭載される画像センサが、任意の形態、形状、および長さを与えられ得る方法を示す。

【図3d】図３ｂ－ｄは、可撓性多層センサテープ上に搭載される画像センサが、任意の形態、形状、および長さを与えられ得る方法を示す。

【図3e】図３ｅは、画像センサが、可撓性多層ＰＣＢ上に搭載され得る方法の接近図である。

【図4】図４は、それらの間の関係を定義する可能性として考えられる数学的方程式に含まれる、パラメータの図示である。

【図5】図５ａおよび５ｂは、それらの間の関係を定義する可能性として考えられる数学的方程式に含まれる、他のパラメータの図示である。

【図6】図６は、高レベルにおける、本発明の側面による、ソフトウェアアーキテクチャを図示する。

【図7】図７は、本発明の側面による一元化処理サーバが、固定された数の直列チャネルを用いて実行されているときのスケーラビリティを簡略化する、スイッチ論理システムを図示する。

【発明を実施するための形態】

【0023】

詳細な説明
本発明の異なる側面は、いずれのカメラも物理的に移動させることなく、同一の源からのいくつかの異なるカメラ入力または移動ショット／画像を得る可能性を導入することによって、既存のカメラ技術の問題に関連するある問題を解決する。これは、既存のカメラ技術、サイズ、重量、および設計の物理的な存在を最小限にし、また、かなりの程度まで、重力、振動、加速、減速、および速度のような物理法則を回避するであろう。

【0024】

これは、ある取付解決策に沿って連続して搭載される複数のカメラセンサを使用するソフトウェア仮想移動カメラを用いて行われてもよい。本取付解決策は、例えば、テープまたはストリップを含んでもよい。以下では、本解決策が、ある具体的な実装として言及される場合であっても、これが、例示のみを目的とし、取付解決策が、多くの異なる方法で実装され得ることを理解されたい。

【0025】

本発明のいくつかの側面によると、カメラセンサは、ソフトウェアによって仮想カメラにともにスティッチされる画像重複を提供する距離を伴ってテープに沿って設置される、またはストリップに沿って単一のカメラとして使用される。これは、概して、図１に図示される。

【0026】

仮想カメラは、常時、１つを上回る画像センサからのデータから成る。仮想カメラは、２つの画像センサの間の恣意的な位置上であっても、ストリップの軸に沿った任意の場所に設置されることができる。そのような位置に関して、視野（ＦＯＶ）および視点（ＰＯＶ）は、アクティブ画像センサからの補間および加重されたピクセルデータに従って算出および更新されなければならない。リアルタイム３Ｄ再構築アルゴリズムは、いくつかの隣接する画像センサからのデータを使用し、視点変化の補正を確実にするであろう。

【0027】

図１に示されるように、アクティブ画像は、個別の視野ＡおよびＢを伴うカメラの間に位置する仮想カメラによって発生される。これは、ＡおよびＢの視点内に数学的に定義される、視点変化をもたらす。補間、加重されたピクセル、および３Ｄ再構築を使用することによって、正しい視点が、アクティブ画像に関して発生される。

【0028】

図２ａおよびｂは、入力によって区別されるスティッチモジュールの２つの実施例を図示する。図２ａのスティッチモジュールは、入力として未加工画像センサデータをとり、ＡＢ画像を生成している。図２ｂのスティッチモジュールは、入力としてＡＢ画像をとり、ＡＢＣＤ画像を生成している。

【0029】

カメラストリップは、全ての３つの軸（ｘｙｚ）において、ストリップ上に大量の（例えば、１００個またはそれを上回る）カメラセンサを伴う長い距離／メートルにわたって設置／搭載および使用されることができる。

【0030】

本発明のいくつかの側面によると、カメラセンサは、接着剤を用いてそのまま使用および搭載されることができるが、他の側面では、任意のハードウェアケーシング／筐体に適用および内蔵され、ほぼ任意の形状および形態を与えられている。直線状、凸状、凹状、または組み合わせであるそのような異なる形状および形態の実施例が、図３ａ－３ｄに図示される。

【0031】

画像センサは、任意の形態および長さに成形され得る、可撓性多層ＰＣＢ上に搭載されてもよい。テープ上（および空間内）の各画像センサ設置およびそれらの個々の視点は、ＰＣＢ上のセンサ毎の精密な位置付けを提供するソフトウェアにおいて計算および較正され、正確な出力画像を取得するために入力としてソフトウェアモジュールに与えられるであろう。

【0032】

これは、線形および非線形の両方の表面（凸状／凹状および多形状用途）に適用される。

【0033】

画像センサテープは、任意の形態、形状、および長さを与えられることができる。非線形表面の凸状／凹状用途では、テープ上（および空間内）の画像センサ設置およびそれらの個々の視点は、計算および較正され、正確な出力画像を取得するために入力としてソフトウェアモジュールに与えられるであろう。

【0034】

図３ｅの接近図に示されるように、画像センサＰＣＢテープは、そのままで、またはケーシング／筐体内に搭載するための専用センサ電力層、マルチチャネルカメラ制御および切替層、信号輸送層、絶縁層、絶縁、冷却、および接着剤層を有してもよい。

【0035】

これは、異なる用途を伴ういくつかの垂直ビジネス分野において適用され、異なる条件、天候、圧力、水、高度等の下で機能する能力を提供する。

【0036】

ここで図４を参照すると、画像センサ視野（θ）と、画像センサの間の距離（ｄ１）と、理論的なスティッチ面積までの最小距離（ｄ２）との間の関係の実施例は、以下の通りであり得る。
ｄ_１＝２×ｄ_２／ｔａｎ（θ_２）
ｄ_２＝ｄ_１／２×ｔａｎ（θ_２）

【0037】

ここで図５ａを参照すると、画像センサが非線形表面上に搭載されるときに物理的に変位される様子に関する数式は、以下の通りであり得る。
Ｐ_Ｄ＝２Ｒπ×Ψ／３６０

【0038】

ここで図５ｂを参照すると、画像センサが凸状および凹状表面上に搭載されるときに物理的に変位される様子に関する数式は、以下の通りであり得る。
ｄ_２＝Ｒ×ｓｉｎ（Ψ／２）×ｔａｎ（９０－θ_１／２±Ψ）
式中、正のΨは、凸状弧のために使用され、負のΨは、凹状弧のために使用される。

【0039】

本発明の側面によると、高分解能マルチカメラ解決策が、提供され、多数の４０メガピクセル（携帯電話）カメラおよびより高いもの（レンズを伴うセンサ）が、上記に言及される可撓性多層ＰＣＢテープのうちの１つの上の画像クラスタブラケットにおいて搭載される。カメラは、次いで、定義された距離を伴って連続してその上に搭載され、着目する焦点までの距離に関する要求される画像を提供する。

【0040】

カメラセンサは、上記に議論および例証されるように、直線状または凹状、凸状である、カメラ画像重複を提供する個々の距離を伴うテープに沿って搭載される。

【0041】

重複する画像は、ソフトウェアによって制御され、リアルタイム仮想カメラ移動にともにスティッチされる。カメラテープはまた、ストリップに沿ったいくつかの同時の単一の画像を提供することができる。これは、いずれの物理的カメラも移動させることなく、移動カメラ画像を得ることを意味する。全ての移動は、ソフトウェアにおいて行われ、いかなる可動部分も、存在する必要はない。

【0042】

カメラストリップは、全ての３つの空間軸（ｘｙｚ）において、ストリップ上に搭載される大量のカメラセンサを伴う長い距離／何メートルにもわたって設置／搭載および使用されることができる。いくつかのストリップは、物理的または仮想的のいずれかで、ともに接続され、必ずしもカメラストリップ上に直接ローカライズされないが、また、カメラストリップ軸によって定義される空間面積内の場所上にローカライズされる視点からの１つまたはそれを上回る写真を作成してもよい。例えば、１つの第１の直線状カメラストリップが、（ｘ_０－ｘ_Ｍ）のｘ軸を定義し、第１の直線状カメラストリップに垂直に提供される第２の直線状カメラストリップが、（ｙ_０－ｙ_Ｎ）のｙ軸を定義する場合、結果として生じる仮想カメラ視点は、（ｘ_ｍ，ｙ_ｎ）の任意の点上にあり得、ｍおよびｎは、それぞれ、（０，Ｍ）と（０，Ｎ）との間の浮動数であり、ｘ_Ｍおよびｙ_Ｎは、個別の最大長または２つの垂直に提供されたカメラストリップを表す。

【0043】

前述で言及されるように、カメラセンサおよびレンズは、可撓性多層ＰＣＢセンサクラスタブラケットにおいて搭載される。本クラスタブラケットは、使用時の用途に応じて、異なるレンズおよびセンサ構成を容易に変更および使用するためのモジュール性および柔軟性を具備するべきである。

【0044】

図３ｅに図示されるように、可撓性多層ＰＣＢテープは、本発明の異なる側面に従って、カメラセンサを伴うカメラセンサクラスタ搭載ブラケットに接続するために、いくつかの層から設計および作製される。

【0045】

さらに、ＰＣＢテープは、好ましくは、専用カメラ電力層、マルチチャネルカメラ制御および切替層、信号輸送層、絶縁層、遮断層、および接着剤層を有するべきである。

【0046】

本発明のある側面では、多層可撓性ＰＣＢテープは、モジュール長において生産されるように設計され、その中で所望の長さに切断されることができる。

【0047】

本発明の異なる側面によると、テープ上のカメラセンサおよびレンズは、４０メガピクセルおよびより高いものからの高分解能大量生産携帯電話カメラモジュールであってもよい。これらの画像センサは、ＨＤ（ブロードキャスト）またはインターネット上で公開されるビデオ分解能よりも大きい分解能である、４～８Ｋとしての分解能を提供する。これは、４～８Ｋフレーム内でソフトウェア仮想移動およびズームを行うことを可能にする。

【0048】

上記に言及されるように、カメラストリップ上のカメラセンサおよびピクセル値および制御データの通信および伝送は、遠隔で、またはローカルで（もしく両方で）ローカライズされるソフトウェアによって制御される。

【0049】

本発明のある側面によると、ソフトウェアは、いくつかのチャネル上での分配のために、全てのカメラセンサ上でカメラ－テープ切替プロトコルを取り扱っている。この実施例は、図６および７に図示される。以下では、本実施例は、これらの図の異なるモジュールを参照して議論される。

【0050】

一元化処理サーバは、ハードウェア、オペレーティングシステム、およびソフトウェアから成り、画像センサストリップからの着信する入力信号の処理を促進する。概念的に、ハードウェアは、入力信号を読み取る、変換する、または転換する入力／出力（Ｉ／Ｏ）モジュールと、画像取扱のために好適な処理ユニットを伴う従来の、または特定用途向けサーバＰＣを通した算出能力とを特徴とする。一元化処理サーバは、単一の設定として、複数のサーバを伴って、ローカルで、または遠隔で存在することができ、画像センサストリップに内蔵される知的または処理ユニットの潜在的必要性を除外しない。

【0051】

下記のソフトウェアモジュールは、必要なソフトウェアモジュールに関するアーキテクチャ概念を概説する。他のモジュールも、モジュールの間で必要に応じて存在してもよく、モジュール順序は、変更されてもよく、いくつかのモジュールは、組み合わせられる、または除去されてもよい。

【0052】

画像捕捉装置が、画像センサ回路網および画像リーダモジュールとインターフェースをとるハードウェアから成り、全てのアクティブ画像センサからのデータを可読にする。

【0053】

画像リーダは、後続プロセスのための必要なデータに基づいて、画像捕捉装置によって準備された画像センサデータを能動的に選択する。

【0054】

ビデオフォーマットコンバータが、スティッチアルゴリズムの時間複雑性を最適化するために、スティッチモジュールの前に使用されることができる。

【0055】

スティッチアルゴリズムを使用して、スティッチモジュールは、２つの入力画像行列を、増加された行範囲を伴う行列として表される１つの画像にスティッチする。入力は、画像センサからの未加工データから、または２つのすでにスティッチされた画像をスティッチする、２次スティッチをもたらすスティッチモジュールからの単一の反復出力からのいずれかで生じることができる。

【0056】

マルチスレッドが、並行した処理を促進するために開始され、ｎ個のプレビュースレッドを利用可能にする。プレビュースレッドは、ソフトウェアの内部で使用され、処理された画像をキャッシュし、較正ソフトウェアに転送される未加工プレビュービデオを出力し、システム全体の性能および出力を改良することができる。

【0057】

画像ワーパは、回転およびスキューイングを通して画像行列に操作的動作を実施し、スティッチ面積および出力フィットを最適化する。

【0058】

色補正モジュールは、直近の出力画像または画像対に基づいて、画像の色付けを補正し、画像出力における色の一貫性を確実にする。

【0059】

色補正の後のスティッチは、前述のスティッチモジュールと同一の様式で動作し、出力パイプラインに先立って補正された画像をスティッチする。

【0060】

ビデオフォーマットコンバータは、アルゴリズム最適化フォーマットから所望の出力フォーマットに戻るように変換する。

【0061】

出力ルータは、１つまたはいくつかの画像を接続またはプログラムされた経路に出力する可能性を有する。

【0062】

ソフトウェアアーキテクチャが、入力および出力が本特許文書に定義される方法に従って、入力に基づく出力を最適化するために、変更を被ることに留意されたい。

【0063】

直列の画像センサは、画像データを一元化処理サーバに並行して伝送し、そこで、画像捕捉装置、画像リーダ、およびビデオフォーマットコンバータは、スティッチモジュールへの時間同期されたグループ化された画像データを確実にする。後続ソフトウェアモジュールは、データを比較および補正し、正確な出力画像を生成する。

【0064】

スイッチ論理システムが、一元化処理サーバが固定された数の直列チャネルを用いて実行されているときのスケーラビリティを簡略化する。スイッチ論理は、画像センサ回路網の異なる区画を有効にするために利用されることができる。

【0065】

本発明の一側面によると、スティッチソフトウェアは、人間の眼をシミュレートしていると見なされることができる。人間の視覚は、垂直に分割され、その脳内で環境の首尾一貫した「もっともらしい」仮想表現に組み立てられる、２つの眼／網膜（２つの視点）からの像から成る（両眼立体視）。

【0066】

人間の眼の間の距離は、深さ、長さ、および距離情報を提供している。

【0067】

スティッチソフトウェアは、本発明のある側面では、画像処理において２つのレベルのスティッチを取り扱ってもよい。以下の議論では、Ａ、Ｂ、Ｃ、Ｄ、およびＥは、図１の対応する表記によるカメラまたはカメラ入力である。Ｆは、Ｅに隣接する想像上のカメラである。

【0068】

画像センサからの未加工データが入力として提供されるときの１次スティッチの実施例が、図２ａに図示される、すなわち、Ａ＋Ｂ＝（ｈ_１×ｗ_１＋ｈ_２×ｗ_２）＝ｈ_１×２ｗ_１である。

【0069】

図２ａに図示されるようなスティッチモジュール１は、１次スティッチに基づき、２つの画像センサは、ソフトウェアモジュールに時間同期された画像データを連続的にフィードし、人間の眼と類似する方法で仮想画像出力を作成する。画像センサに関する静的パラメータが、既知であるため、本モジュールはまた、視点／原点、焦点、および視差オフセットに関するレンズ補正を実施し、図２ｂに図示されるものと同一の初期条件を伴う２次スティッチを提供するべきである。第２のスティッチモジュールは、入力としてＡＢ画像をとり、ＡＢＣＤ画像を生成している、すなわち、ＡＢ＋ＣＤ＝（ｈ_１×２ｗ_１＋ｈ_１×２ｗ_１）＝ｈ_１×４ｗ_１である。

【0070】

その結果、図２ｂのモジュール２は、仮想ＡＢとＣＤとの間のスティッチを取り扱っている。モジュール２は、ＡＢ、ＣＤ、およびさらなる近隣のＥＦを連続的にスティッチするように適合され、画像センサテープに沿った視点の移動を仮想的に可能にする。

【0071】

ＡＢ－ＣＤのスティッチは、必要とされるとき、例えば、ＡＢとＣＤとの間の境界を横断する仮想移動の間にのみ実施され、４倍幅広い画像をもたらし、色およびスキューイングが、直近の出力された視認可能画像に基づいて実施され、画像出力における一貫性を確実にする。

【0072】

これの発展は、上記に議論されるような２つの略垂直に提供されるカメラストリップによって定義される、２次元ｘ，ｙ空間内の視点の移動を仮想的に可能にすることであろう。

【0073】

各画像センサの既知の原点および基準物体に基づいて、本システムは、深さおよび距離を算出する能力を有するであろう。仮想出力画像は、好ましくは、単一の画像センサに由来することは稀であるが、１次スティッチ出力、２次スティッチ出力、またはより高次の出力のいずれかから成る。ソフトウェアは、好ましくは、基準モデルに基づいて、各画像センサを較正し、最近接する近隣の画像センサからのパラメータを受け継ぐことによって、画像センサの間の均等性を最適化するべきである。

【0074】

上記のスティッチの議論に補足して、下記は、考慮されるべき本発明によるいくつかの側面である。
－ ＡＢおよびＡＢＣＤ等の出力画像は、２値行列形態（ピクセルおよび色行列等）における全てのソフトウェアプロセスに関して利用可能であり、アクティブ画像は、唯一のデータ選択であり、これはまた、最終出力視認可能画像を作成するための対応するデータ（行列）を含む。
－ 単数のスティッチが、隣接するレンズ（ＡＢ、ＣＤ、ＥＦ）を常時スティッチする、連続的プロセスとして設定されるべきである。
－ ＡＢ－ＣＤのスティッチは、必要とされるとき、例えば、ＡＢとＣＤとの間の境界を横断する仮想移動の間にのみ実施されるべきであり、４倍幅広い画像をもたらし、色およびスキューイングが、直近の出力された視認可能画像に基づいて実施され、画像出力における一貫性を確実にする。

【0075】

上記の補足的側面は、異なる軸における移動の間に生じる前景および背景における物体の間の焦点および視差移動に関するレンズ補正問題を確実にする。これは、現在の出力視点における背景および前景物体が、移動の間に画像内で正しい速度で移動している必要性があるため、重要である。

【0076】

本発明の異なる側面によると、ソフトウェアは、「全体」画像を把握する一方、出力は、例えば、スマートフォン上の画像上のズームインおよびｘ／ｙの移動と同一の方法で生成され、すなわち、ソフトウェアは、出力上の所望の縦横比に従って、列範囲および行範囲を選択する。

【0077】

画像センサの間の距離は、深さおよび距離情報を提供し、ソフトウェアは、全ての画像センサを較正し、処理するべきものとそうではないものとを決定する。ソフトウェア出力は、通常、仮想表現を仮想的に移動させるとき、単一のセンサに由来することは稀であるが、２つまたはそれを上回る画像から作製された画像である。

【0078】

本発明による側面は、ある程度の量の画像センサを含むため、物体までの距離および画像走査のような高精度の光学的測定が、提供されることができる。本情報は、事前算出され、完成した出力において、またはグラフィカルエンジン、３Ｄモデル、仮想制作物、または他の使用のための他の用途への出力への基準のために使用されることができる。
レンズ視野（視野角）、重複する面積のサイズ、および焦点は、単数の１－１クリーンスティッチまたは二次スティッチモジュールにおける利用可能な完成された１－１スティッチ画像の処理、事前スティッチされた１－１のスティッチの必要性を決定する。

【0079】

本願に議論されるようなカメラセンサストリップは、そのままで、既存の表面上に直接搭載されて、セット装飾片上で、ミーティングルームの壁上等で使用されることができる。本柔軟性のため、本発明は、いくつかの産業において使用されることができ、用途および使用に応じて、いくつかの筐体／ケーシングに入ることができる。本筐体は、産業、用途、および環境に適合するように、ほぼ任意の形状または形態を与えられることができる。本発明の用途および分野は、以下にさらに議論される。

【0080】

（セキュリティおよび監視）
本分野では、本発明は、画像品質を損なうことなく、より良好な視野および高分解能カメラ網羅を着目面積に仮想的に移動させる可能性を提供するであろう。

【0081】

本発明は、カメラコントローラ、ジョイスティック、またはプリセット位置付けを用いてカメラを遠隔で物理的に移動させることなく、既存のＰＴＺ解決策よりも大きく幅広い面積を網羅することが可能であろう。

【0082】

本発明は、ソフトウェア制御のみであり、ＰＴＺカメラを制御するために必要とされるいずれの可動部分、ロボットコントローラ、またはモータにも依拠しない。これは、機械的およびカメラコントローラ誤動作のリスクがより少ないことを意味する。

【0083】

（ビデオ会議およびＡＶ用途）
本分野においてこれを使用するとき、本発明は、自動化ミーティング制作に関する参加者の専用の準備されたフレーミングおよび合焦されたプリセットのために利用可能な多数のカメラを伴うソフトウェア制御された高分解能マルチカメラ解決策を提供するであろう。本発明は、既存のモニタ上で使用され、モニタにわたって、およびその下に方略的に設置され、ソフトウェアによってスティッチされた視線方向の補正を与えることができる。

【0084】

これらの専用のフレーミングされたショットは、画像全体の概観のためのカメラ、リスニング画像の選定、および専用ドキュメントカメラと組み合わせられる。

【0085】

本発明は、部屋内のいくつかの面積および軸および方向に設置され、既存のシステムと異なる部屋およびミーティングの存在感を提供することができる。

【0086】

本発明は、講義の間の教育設定において、講義室に方略的に設置されたカメラの複数のストリップに起因して、スマートボード／ホワイトボード／黒板で作業する人々にはるかに幅広く、深いプレゼンテーションをもたらすことが可能であろう。

【0087】

双方向性の仮想化を通して、ミーティング参加者は、網羅される面積全体から自身の視点をナビゲートおよび制御する能力を有し、臨場感を改良するであろう。本発明は、任意の場所に設置され、ミーティングルーム、参加者、教育設定、またはホワイトボードの所望の視認面積を取得することができる。拡張／仮想／複合現実のためのビルトインサポートとともに、本発明は、現実のミーティングと比較して、ビデオ会議の機会を強化している。

【0088】

（産業用途、生産、および設備）
本分野では、カスタマイズされ、ほぼ任意の形態、カメラの数、および長さを与えられ、いくつかのケーシング／筐体内で構成および統合される本発明の能力は、本発明を屋内外の任意の産業目的のために極めて多用途にする。

【0089】

（ライブストリーミングまたは他のビデオ公開のための家庭用、企業用、およびセミプロのカメラ制作）
本発明は、家庭用およびセミプロ市場に、異なる角度からの静止画および全ての軸における移動カメラ画像を作製し得る設定を提供するプロフェッショナル制作ツールを提供するであろう。

【0090】

（屋内外のプロフェッショナルスタジオ、ニュース、スポーツ、およびアリーナ制作）
本発明は、設定においていずれのカメラも物理的に移動させることなく、いくつかの角度からの静止画および移動カメラショットを作製する可能性を導入する。これは、屋内外のスタジオ、イベント、またはアリーナにおいてであり得る。

【0091】

本発明は、セット設計自体に完全に統合されることができる。本発明は、スタジオ設計に関連する、または溶け込む所与の形状およびカメラ軌道設計筐体において搭載されることができる。

【0092】

本発明の利点のうちの１つは、カメラ配列が小さく、重量が重くなく、自身のカメラ設定においていくつかのカメラアングルまたは動画を所望するジャーナリスト、プレスルーム、およびその他によって道路上で容易に使用され得ることである。

【0093】

さらに、カメラ配列は、ステージまたはスポーツアリーナおよびイベントと並んで方略的に設置され、パフォーマンスの間に移動するタレントおよびアスリートの移動カメラショットを仮想的に提供することが可能であり得る。

【0094】

本発明は、任意の公知の状況、産業、または面積における既存のカメラ設定と根本的に異なる。

【0095】

ストリップ／テープに沿って搭載される複数の高解像度レンズを使用する概念は、新しい。

【0096】

本発明は、テープ上の異なる場所、長さ、および角度からの個々の単一のフレーミングされたショットの可能性を提供する。

【0097】

本発明は、任意の所望の軸におけるテープに沿った仮想移動の可能性を与え、これは、いずれの物理的カメラも実際には移動させない。

【0098】

所望される軌道または移動は、そのままで、または任意の形状または形態に設計される筐体の内側で行われることができる。

【0099】

本発明は、したがって、異なる角度、視点、および／またはカメラ移動の必要性が存在する任意の産業または異なる使用に極めて適用可能であり、これは、１つのみの信号、１つのカメラ源から提供される。

【0100】

本発明は、その物理的設計、重量、およびサイズに起因して、殆どの用途および設備においてより少ない空間を要求する。

【0101】

本発明は、いずれのカメラも物理的に移動させることなく、同一の源からのいくつかの異なるカメラ入力（多くのカメラ）または移動ショット／画像を提供する。

【0102】

本発明は、地球の重力、加速、減速、振動、速度、高速のカメラ移動、確動開始または停止のような移動に関する公知の物理法則に依存せず、いかようにもカメラ移動に影響を及ぼさない。

【0103】

本明細書に使用されるような専門用語「～を備える（ｃｏｍｐｒｉｓｅ／ｃｏｍｐｒｉｓｅｓ）」が、記載される特徴、数、ステップ、または構成要素の存在を規定するために選定されるが、１つまたはそれを上回る他の機能、数、ステップ、構成要素、またはその群の存在または追加を排除しないことが強調されなければならない。また、要素に先行する単語「ａ」または「ａｎ」が、その複数の存在を除外しないことに留意されたい。

【0104】

（略語）
ＣＣＴＶ－閉回路テレビ
ＦＯＶ－視野
ＰＣＢ－印刷回路基板
ＰＯＶ－視点
ＰＴＺ－パン、チルト、ズーム
（専門用語）

【0105】

視点（ＰＯＶ）－３Ｄ空間内の特異点である一方、視認または捕捉方向に基づいて、無限の量の一意の視野を取得することができる。

【0106】

視野（ＦＯＶ）－写真撮影では、視野は、カメラを通して可視の環境またはシーンである。視野は、画像センサの原点（視点）によって構成され、画角（レンズによって定義される視野角）によって構成される。

【0107】

立体視カメラおよび３６０パノラマカメラでは、複数のカメラの形態および配列は、全ての実視点の投影である、共通の仮想視点を有することに基づく。そのようなカメラシステムは、視認方向に基づくいくつかの視野を発生させるが、投影される仮想視点が固定されるため、単一の視点のみを発生させる可能性を有する。人間の知覚と同様に、室内で単一の場所に立つことは、人間が見る場所に基づく複数の視野を提供するが、単一の視点のみを提供する。視点を改変するために、人間は、部屋の中で歩く、または動き回ることを要求される。

【図1】

【図2】

【図3a】

【図3b】

【図3c】

【図3d】

【図3e】

【図4】

【図5】

【図6】

【図7】