(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-18
(45)【発行日】2024-09-27
(54)【発明の名称】撮影システムおよび画像融合方法
(51)【国際特許分類】
H04N 23/698 20230101AFI20240919BHJP
H04N 23/45 20230101ALI20240919BHJP
H04N 23/60 20230101ALI20240919BHJP
G06T 3/00 20240101ALI20240919BHJP
G06T 7/30 20170101ALI20240919BHJP
【ＦＩ】
H04N23/698
H04N23/45
H04N23/60 500
G06T3/00 780
G06T7/30
【請求項の数】
5
【外国語出願】
(21)【出願番号】P 2023022643
(22)【出願日】2023-02-16
(65)【公開番号】P2024028090
(43)【公開日】2024-03-01
【審査請求日】2023-02-16
(31)【優先権主張番号】111131061
(32)【優先日】2022-08-18
(33)【優先権主張国・地域又は機関】TW
(73)【特許権者】
【識別番号】504429600
【氏名又は名称】緯創資通股▲ふん▼有限公司
【氏名又は名称原語表記】ＷＩＳＴＲＯＮ ＣＯＲＰＯＲＡＴＩＯＮ
(74)【代理人】
【識別番号】100204490
【弁理士】
【氏名又は名称】三上 葉子
(72)【発明者】
【氏名】陳 志明
(72)【発明者】
【氏名】蔡 尚安
【審査官】村山 絢子
(56)【参考文献】
【文献】米国特許出願公開第２０２２／０２３７８１３（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／００
Ｈ０４Ｎ ２３／４０－２３／７６
Ｈ０４Ｎ ２３／９０－２３／９５９
Ｈ０４Ｎ ５／２２２－５／２５７
Ｈ０４Ｎ ７／１８
Ｇ０６Ｔ ３／００－５／９４
Ｇ０６Ｔ ７／００－７／９０
(57)【特許請求の範囲】
【請求項1】
情景を撮影して、複数のサブ画像を生成する複数のカメラと、前記カメラに信号接続され、前記サブ画像を取得するコントローラと、
を含み、
前記コントローラが、前記サブ画像を分析して、前記情景に含まれる複数のオブジェクトを取得するとともに、
前記コントローラが、各前記オブジェクトのパレート集合を確立し、各前記オブジェクトの前記パレート集合に基づいて前記オブジェクトを接合し、前記サブ画像の融合後の画像を生成し、
各前記オブジェクトが、サブオブジェクトを含み、前記サブオブジェクトが、各前記オブジェクトが前記サブ画像のうちの１つに出現する画像範囲であり、
前記コントローラが、前記カメラの各光学パラメータに基づいて最適化された光学パラメータを計算し、
前記コントローラが、前記情景の各前記オブジェクトから異なるサブ画像中の各前記オブジェクトに含まれる全ての前記サブオブジェクトに対応する画像フィードバックパラメータを収集するとともに、前記画像フィードバックパラメータおよび前記サブオブジェクトに対応する前記最適化された光学パラメータに基づいて、多目的シミュレーテッドアニーリングアルゴリズムを使用して各前記オブジェクトの前記パレート集合を確立する撮影システム。
【請求項2】
前記コントローラが、パノプティックセグメンテーションアルゴリズムを使用して前記サブ画像を分析し、各前記サブ画像に含まれる前記オブジェクトおよびそれらの境界を取得するとともに、前記情景に含まれる前記オブジェクトのオブジェクトタイプに基づいて前記オブジェクトに番号を付け、前記情景に含まれる前記オブジェクトを取得する請求項１に記載の撮影システム。
【請求項3】
前記コントローラが、前記パレート集合に入る各前記オブジェクトの前記サブオブジェクトを融合し、前記オブジェクトの複数の融合画像を形成するとともに、前記オブジェクトの前記融合画像を接合して、前記サブ画像の融合後の前記画像を生成する請求項２に記載の撮影システム。
【請求項4】
前記コントローラが、非剛性アライメントアルゴリズムを使用して、前記パレート集合に入る前記サブオブジェクトに基づいてアライメント基準を確立した後、各前記オブジェクトのオブジェクトタイプに基づいて融合方法を選択するとともに、前記アライメント基準および前記融合方法に基づいて前記パレート集合に入る各前記オブジェクトの前記サブオブジェクトを融合する請求項３に記載の撮影システム。
【請求項5】
複数のカメラの各光学パラメータに基づいて最適化された光学パラメータを計算するステップと、前記カメラを使用して情景を撮影し、複数のサブ画像を取得するステップと、
前記サブ画像を分析して、前記情景に含まれる複数のオブジェクトを取得するステップと、
各前記オブジェクトのパレート集合を確立するステップと、
各前記オブジェクトの前記パレート集合に基づいて前記オブジェクトを接合し、前記サブ画像の融合後の画像を生成するステップと、
を含み、
各前記オブジェクトが、サブオブジェクトを含み、前記サブオブジェクトが、各前記オブジェクトが前記サブ画像のうちの１つに出現する画像範囲であり、各前記オブジェクトのパレート集合を確立するステップが、
前記情景の各前記オブジェクトから異なるサブ画像中の各前記オブジェクトに含まれる全ての前記サブオブジェクトに対応する画像フィードバックパラメータを収集することと、
前記画像フィードバックパラメータおよび前記サブオブジェクトに対応する前記最適化された光学パラメータに基づいて、多目的シミュレーテッドアニーリングアルゴリズムを使用して各前記オブジェクトの前記パレート集合を確立することと、を含む画像融合方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影システムに関するものであり、特に、撮影システムおよび画像融合方法に関するものである。
【背景技術】
【0002】
一般的に、撮影システムは、通常、複数のカメラを有する。情景を撮影するために、異なるカメラが異なる部分の情景を別々に撮像することができる。そのため、撮像した画像を１つに接合または融合さえすれば、より完成した情景画像を取得することができる。
【0003】
しかしながら、情景には異なるオブジェクトが存在する可能性がある。異なるカメラが同じオブジェクトを撮影した時、撮像された画像は、角度や画質が異なる問題が生じる可能性があるため、画像の接合や融合が困難になり、画質を下げる結果となる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、接合または融合した画像の画質をより高めることのできる撮影システムおよび画像融合方法に関するものである。
【課題を解決するための手段】
【0005】
本発明の１つの実施形態は、複数のカメラおよびコントローラを含む撮影システムを提供する。カメラは、情景を撮影して、複数のサブ画像を生成するよう構成される。コントローラは、カメラに信号接続され、サブ画像を取得する。コントローラは、サブ画像を分析して、情景に含まれる複数のオブジェクトを取得する。コントローラが各オブジェクトのパレート集合（Pareto set）を確立した後、コントローラは、各オブジェクトのパレート集合に基づいてオブジェクトを接合し、サブ画像の融合後の画像を生成する。
【0006】
本発明の１つの実施形態は、以下のステップを含む画像融合方法を提供する。複数のカメラの各光学パラメータに基づいて最適化された光学パラメータを計算する。カメラを使用して情景を撮影し、複数のサブ画像を取得する。サブ画像を分析して、情景に含まれる複数のオブジェクトを取得する。各オブジェクトのパレート集合を確立する。各オブジェクトのパレート集合に基づいてオブジェクトを接合し、サブ画像の融合後の画像を生成する。
【発明の効果】
【0007】
以上のように、本発明の１つの実施形態に基づく撮影システムおよび画像融合方法は、コントローラが各オブジェクトのパレート集合を確立した後にオブジェクトを接合し、サブ画像の融合後の画像を生成する。したがって、接合および融合のプロセスにおいて、画質の悪い部分が排除されるため、サブ画像の融合後の画像は、より優れた画質を有する。
【図面の簡単な説明】
【0008】
添付図面は、本発明の原理がさらに理解されるために含まれており、本明細書に組み込まれ、且つその一部を構成するものである。図面は、本発明の実施形態を例示しており、説明とともに、本発明の原理を説明する役割を果たしている。
【0009】
【図1】本発明の１つの実施形態に係る情景を撮影する撮影システムの概略図である。
【図2】本発明の１つの実施形態に係る画像融合方法のフローチャートである。
【図4】サブ画像を分析することによってサブ画像に含まれるオブジェクトを取得する時の概略図である。
【発明を実施するための形態】
【0010】
図１は、本発明の１つの実施形態に係る情景を撮影する撮影システムの概略図である。まず、図１を参照すると、本発明の１つの実施形態は、撮影システム１０および画像融合方法を提供する。１つの実施形態において、撮影システム１０は、複数のカメラ１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅ、１００Ｆ、およびコントローラ２００を含む。カメラの数は、単なる例であるため、本発明はこれに限定されない。
【0011】
１つの実施形態において、カメラ１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅ、および１００Ｆは、相補型金属酸化膜半導体（complementary metal-oxide semiconductor, CMOS）のフォトセンサまたは電荷結合素子（charge coupled device, CCD）のフォトセンサであってもよいが、本発明はこれに限定されない。カメラ１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅ、および１００Ｆを使用して、情景Ｓを撮影し、複数のサブ画像（例えば、図４に示したサブ画像ＳＩ）を生成する。つまり、各カメラ１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅ、１００Ｆが情景Ｓを撮像して、サブ画像を生成する。
【0012】
１つの実施形態において、コントローラ２００は、例えば、中央処理装置（central processing unit, CPU）、マイクロプロセッサ（microprocessor）、デジタル信号プロセッサ（digital signal processor, DSP）、プログラマブルコントローラ（programmable controller）、プログラマブル論理デバイス（programmable logic device, PLD）、または他の類似するデバイス、あるいはこれらのデバイスの組み合わせを含むが、本発明はこれに限定されない。また、１つの実施形態において、コントローラ２００の様々な機能は、複数のプログラムコードとして実施されてもよい。これらのプログラムコードは、メモリユニットに保存され、プログラムコードは、コントローラ２００によって実行される。あるいは、１つの実施形態において、コントローラ２００の機能は、１つまたは複数の回路として実施されてもよい。本発明は、コントローラ２００の機能がソフトウェアによって実施されるか、ハードウェアによって実施されるかを限定しない。
【0013】
また、１つの実施形態において、１つの実施形態において、コントローラ２００は、スマートフォン、モバイルデバイス、コンピュータ、ノート型パソコン、サーバー、ＡＩサーバー、またはクラウドサーバー内に配置されてもよい。別の実施形態において、コントローラ２００は、カメラ１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅ、１００Ｆ内に直接配置されてもよい。しかしながら、本発明は、コントローラ２００が配置される位置を限定しない。
【0014】
１つの実施形態において、コントローラ２００は、カメラ１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅ、および１００Ｆに信号接続され、サブ画像を取得する。コントローラ２００は、サブ画像を分析して、情景Ｓに含まれる複数のオブジェクトＢＧ、Ｏ１、Ｏ２を取得する。そのうち、オブジェクトＢＧ、Ｏ１、Ｏ２は、オブジェクトの種類に応じて、花、人、車（例えば、レクリエーション用車両、スポーツカー、オープンカー、ＳＵＶ等）、背景（例えば、道、空、建物等）に分割することができる。例えば、図１のオブジェクトＯ１またはＯ２は、花、人、または車であってもよく、オブジェクトＢＧは、背景であってもよい。カメラ１００Ａ、１００Ｂ、および１００Ｃは、例えば、オブジェクトＢＧおよびＯ１を撮影することができ、カメラ１００Ｄ、１００Ｅ、および１００Ｆは、例えば、オブジェクトＢＧおよびＯ２を撮影することができる。そのため、カメラ１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅ、および１００Ｆによって撮像されたサブ画像を融合または接合した後、情景Ｓの完全な画像を生成することができる。
【0015】
しかしながら、オブジェクトＢＧ、Ｏ１、およびＯ２に対して各カメラ１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅ、および１００Ｆが撮像した画像は、画質が異なる可能性がある。例えば、図１において、実線矢印は、比較的高画質であることを示し、破線矢印は、比較的低画質であることを示す。つまり、オブジェクトＯ１に対してカメラ１００Ａおよび１００Ｂが撮像したサブ画像は、比較的高画質であるが、オブジェクトＯ１に対してカメラ１００Ｃが撮像したサブ画像は、比較的低画質である。同様に、オブジェクトＯ２に対してカメラ１００Ｄおよび１００Ｅが撮像したサブ画像は、比較的高画質であるが、オブジェクトＯ２に対してカメラ１００Ｆが撮像したサブ画像は、比較的低画質である。カメラ１００Ａ、１００Ｂ、および１００Ｃが撮像したサブ画像中の全てのオブジェクトＯ１が融合された場合、またはカメラ１００Ｄ、１００Ｅ、および１００Ｆが撮像したサブ画像中の全てのオブジェクトＯ２が融合された場合には、画質の高い情景Ｓの完全な画像を取得することができない。そのため、１つの実施形態において、コントローラ２００が各オブジェクトＢＧ、Ｏ１、Ｏ２のパレート集合を確立した後、例えば、パレート最適解の集合をパレート集合と呼ぶが、コントローラ２００は、オブジェクトＢＧ、Ｏ１、Ｏ２のパレート集合に基づいてオブジェクトＢＧ、Ｏ１、Ｏ２を接合し、サブ画像の融合後の画像を生成する。与えられた関数の解を考慮すると、複数の解が存在する可能性があり、これらの解のいくつかは、他よりも優れている可能性がある。そのため、パレート最適解を満たす解の集合をパレート集合と呼ぶ。
【0016】
図２は、本発明の１つの実施形態に係る画像融合方法のフローチャートである。図１および図２を参照すると、本発明の１つの実施形態は、以下のステップを含む画像融合方法を提供する。ステップＳ１００において、複数のカメラ１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅ、および１００Ｆの各光学パラメータに基づいて最適な光学パラメータを計算する。ステップＳ２００において、カメラ１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅ、および１００Ｆを使用して情景Ｓを撮影し、複数のサブ画像を取得する。ステップＳ３００において、サブ画像を分析して、情景に含まれる複数のオブジェクトＢＧ、Ｏ１、Ｏ２を取得する。ステップＳ４００において、各オブジェクトＢＧ、Ｏ１、Ｏ２のパレート集合を確立する。ステップＳ５００において、オブジェクトＢＧ、Ｏ１、Ｏ２のパレート集合に基づいてオブジェクトＢＧ、Ｏ１、Ｏ２を接合し、サブ画像の融合後の画像を生成する。
【0017】
１つの実施形態において、各カメラ１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅ、および１００Ｆの光学パラメータは、口径、焦点距離、感度、ホワイドバランス、または解析度を含む。１つの実施形態において、光学パラメータは、さらに、フルウェルキャパシティ（full well capacity, FWC）、飽和容量（saturation capacity）、絶対感度閾値（absolute sensitivity threshold, AST）、テンポラルダークノイズ（temporal dark noise）、ダイナミックレンジ（dynamic range）、量子効率（quantum efficiency, QE）、最大信号対雑音比（maximum signal-to-noise ratio, SNRmax）、Ｋファクター（K-factor）等を含む。
【0018】
以下、本発明の１つの実施形態に基づく撮影システム１０および画像融合方法によってサブ画像の融合後の画像を生成するプロセスについて詳しく説明する。
【0019】
図３は、図２におけるサブ画像を分析して情景に含まれるオブジェクトを取得するステップのフローチャートである。図４は、サブ画像を分析することによってサブ画像に含まれるオブジェクトを取得する時の概略図である。図２、図３、および図４を参照すると、１つの実施形態において、上述したステップＳ３００は、以下のステップを含む。ステップＳ３２０において、パノプティックセグメンテーションアルゴリズム（panoptic segmentation algorithm）を使用して、サブ画像ＳＩを分析する。パノプティックセグメンテーションアルゴリズムは、インスタンス（instance）およびセマンティック（semantic）セグメンテーションの両方からの予測を一般的な統一された出力に結合し、各サブ画像ＳＩに含まれるオブジェクトＢＢ１、ＢＳ１、Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｈ１、Ｈ２、Ｈ３、Ｈ４、Ｈ５、Ｈ６、Ｈ７、およびＨ８およびそれらの境界を取得するイメージセグメンテーションである。ステップＳ３４０において、情景Ｓに含まれるオブジェクトＢＢ１、ＢＳ１、Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｈ１、Ｈ２、Ｈ３、Ｈ４、Ｈ５、Ｈ６、Ｈ７、およびＨ８のオブジェクトタイプに基づいてオブジェクトＢＢ１、ＢＳ１、Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｈ１、Ｈ２、Ｈ３、Ｈ４、Ｈ５、Ｈ６、Ｈ７、およびＨ８に番号を付ける。
【0020】
例えば、図４は、情景Ｓを撮影することによってカメラ１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅ、および１００Ｆのうちの１つによって得られたサブ画像ＳＩを示したものである。コントローラ２００は、パノプティックセグメンテーションアルゴリズムを使用してサブ画像ＳＩを分析した後、オブジェクトＢＢ１、ＢＳ１、Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｈ１、Ｈ２、Ｈ３、Ｈ４、Ｈ５、Ｈ６、Ｈ７、およびＨ８を取得することができる。オブジェクトＣ１、Ｃ２、Ｃ３、およびＣ４は、車である。そのため、コントローラ２００は、例えば、参照番号ｃａｒ＃１、ｃａｒ＃２、ｃａｒ＃３、およびｃａｒ＃４をそれぞれオブジェクトＣ１、Ｃ２、Ｃ３、およびＣ４に割り当てることができる。オブジェクトＨ１、Ｈ２、Ｈ３、Ｈ４、Ｈ５、Ｈ６、Ｈ７、およびＨ８は、人である。そのため、コントローラ２００は、例えば、参照番号ｐｅｒｓｏｎ＃１、ｐｅｒｓｏｎ＃２、ｐｅｒｓｏｎ＃３、ｐｅｒｓｏｎ＃４、ｐｅｒｓｏｎ＃５、ｐｅｒｓｏｎ＃６、ｐｅｒｓｏｎ＃７、およびｐｅｒｓｏｎ＃８をそれぞれオブジェクトＨ１、Ｈ２、Ｈ３、Ｈ４、Ｈ５、Ｈ６、Ｈ７、およびＨ８に割り当てることができる。さらに、オブジェクトＢＢ１およびＢＳ１は、背景であるが、オブジェクトＢＢ１は、建物の背景であり、オブジェクトＢＳ１は、空の背景である。そのため、コントローラ２００は、例えば、参照番号ｂｕｉｌｄｉｎｇ＃１およびｓｋｙ＃１をオブジェクトＢＢ１およびＢＳ１に割り当てることができる。
【0021】
図５は、図２における各オブジェクトのパレート集合を確立するステップのフローチャートである。図２および図５を参照すると、１つの実施形態において、各オブジェクトＢＢ１、ＢＳ１、Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｈ１、Ｈ２、Ｈ３、Ｈ４、Ｈ５、Ｈ６、Ｈ７、およびＨ８は、少なくとも１つのサブオブジェクトを含み、各サブオブジェクトは、各オブジェクトＢＢ１、ＢＳ１、Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｈ１、Ｈ２、Ｈ３、Ｈ４、Ｈ５、Ｈ６、Ｈ７、およびＨ８がサブ画像ＳＩのうちの１つに出現する画像範囲である。例えば、撮影システム１０におけるカメラ１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅ、１００Ｆのうちのいくつかによって、オブジェクトＣ１を撮像することができる。つまり、全てのカメラでオブジェクトＣ１を撮像しなくてもよい。そのため、サブオブジェクトは、オブジェクトＣ１を撮像するこれらのカメラの各サブ画像内の画像範囲であり、オブジェクトＣ１は、これらのサブオブジェクトを含む。図１を例に挙げると、オブジェクトＯ１は、カメラ１００Ａ、１００Ｂ、および１００Ｃによって撮影されるため、オブジェクトＯ１は、３つのサブオブジェクトを含み、オブジェクトＯ２は、カメラ１００Ｄ、１００Ｅ、および１００Ｆによって撮影されるため、オブジェクトＯ１は、３つのサブオブジェクトを含む。
【0022】
１つの実施形態において、上述したステップＳ４００は、以下のステップを含む。ステップＳ４２０において、情景Ｓの各オブジェクトＢＢ１、ＢＳ１、Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｈ１、Ｈ２、Ｈ３、Ｈ４、Ｈ５、Ｈ６、Ｈ７、およびＨ８において、異なるサブ画像ＳＩ中の各オブジェクトＢＢ１、ＢＳ１、Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｈ１、Ｈ２、Ｈ３、Ｈ４、Ｈ５、Ｈ６、Ｈ７、およびＨ８に含まれる全てのサブオブジェクトに対応する画像フィードバックパラメータを収集する。各画像フィードバックパラメータは、画質指標（image quality indicator, IQI）および撮像位置指標（imaging position indicator, IPI）を含む。ステップＳ４４０において、画像フィードバックパラメータおよび少なくとも１つのサブオブジェクトに対応する最適化された光学パラメータに基づいて、多目的シミュレーテッドアニーリングアルゴリズム（multi-objective simulated annealing algorithm）を使用して各オブジェクトＢＢ１、ＢＳ１、Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｈ１、Ｈ２、Ｈ３、Ｈ４、Ｈ５、Ｈ６、Ｈ７、およびＨ８のパレート集合を確立する。多目的シミュレーテッドアニーリングアルゴリズムは、与えられた関数の大域的最適解（global optimum）を近似する確率的技法である。
【0023】
図６は、図２におけるオブジェクトのパレート集合に基づいてオブジェクトを融合または接合し、サブ画像の融合後の画像を生成するステップのフローチャートである。図２および図６を参照すると、１つの実施形態において、上述したステップＳ５００は、以下のステップを含む。ステップＳ５２０において、各オブジェクトＢＢ１、ＢＳ１、Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｈ１、Ｈ２、Ｈ３、Ｈ４、Ｈ５、Ｈ６、Ｈ７、およびＨ８においてパレート集合に入るサブオブジェクトを融合し、各オブジェクトＢＢ１、ＢＳ１、Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｈ１、Ｈ２、Ｈ３、Ｈ４、Ｈ５、Ｈ６、Ｈ７、およびＨ８の融合画像を形成する。ステップＳ５４０において、各オブジェクトＢＢ１、ＢＳ１、Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｈ１、Ｈ２、Ｈ３、Ｈ４、Ｈ５、Ｈ６、Ｈ７、およびＨ８の融合画像を接合し、サブ画像ＳＩの融合後の画像を生成する。
【0024】
図１を例に挙げると、オブジェクトＯ１のサブオブジェクトにおいて、カメラ１００Ｃに対応するサブオブジェクトは、例えば、ピント外れやその他の理由により、画質指標および撮像位置指標が比較的悪い。そのため、コントローラ２００は、好ましくは、カメラ１００Ａおよび１００Ｂに対応する２つのサブオブジェクトのみを融合する。つまり、オブジェクトＯ１のサブオブジェクトのうち、カメラ１００Ａおよび１００Ｂに対応する２つのサブオブジェクトがパレート集合に入る。同様に、オブジェクトＯ２のサブオブジェクトにおいて、カメラ１００Ｆに対応するサブオブジェクトは、例えば、ピント外れやその他の理由により、画質指標および撮像位置指標が比較的悪い。そのため、コントローラ２００は、好ましくは、カメラ１００Ｄおよび１００Ｅに対応する２つのサブオブジェクトのみを融合する。つまり、オブジェクトＯ２のサブオブジェクトのうち、カメラ１００Ｄおよび１００Ｅに対応する２つのサブオブジェクトがパレート集合に入る。画質指標または撮像位置指標の値が低ければ低いほど、高画質であることを示し、反対に、画質指標または撮像位置指標の値が高ければ高いほど、低画質であることを示す。
【0025】
図７は、図６におけるパレート集合に入る各オブジェクト中のサブオブジェクトを融合して、各オブジェクトの融合後の画像を形成するステップのフローチャートである。図６および図７を参照すると、１つの実施形態において、上述したステップＳ５２０は、以下のステップを含む。ステップＳ５２２において、非剛性アライメントアルゴリズム（non-rigid alignment algorithm）を使用し、パレート集合に入るサブオブジェクトに基づいてアライメント基準を確立する。非剛性アライメントアルゴリズムは、非剛性オブジェクト間で位置合わせを行う画像アライメントアルゴリズムである。ステップＳ５２４において、各オブジェクトＢＢ１、ＢＳ１、Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｈ１、Ｈ２、Ｈ３、Ｈ４、Ｈ５、Ｈ６、Ｈ７、およびＨ８のオブジェクトタイプに基づいて融合方法を選択する。ステップＳ５２６において、アライメント基準および融合方法に基づいて各オブジェクトＢＢ１、ＢＳ１、Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｈ１、Ｈ２、Ｈ３、Ｈ４、Ｈ５、Ｈ６、Ｈ７、およびＨ８中のパレート集合に入るサブオブジェクトを融合する。
【0026】
図１を例に挙げると、カメラ１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅ、１００Ｆは、異なる角度または異なる位置でそれぞれ情景Ｓを撮影することができる。そのため、コントローラ２００は、非剛性アライメントアルゴリズムを使用して、異なるサブオブジェクト間のアライメント基準を確立し、オブジェクトＯ１およびＯ２のオブジェクトタイプに基づいて、カメラ１００Ａおよび１００Ｂに対応する２つのサブオブジェクトを融合してオブジェクトＯ１の融合画像を形成し、カメラ１００Ｄおよび１００Ｅに対応する２つのサブオブジェクトを融合してオブジェクトＯ２の融合画像を形成する。
【0027】
１つの実施形態において、上述した融合方法は、離散ウェーブレット変換（discrete wavelet transform）、均一有理フィルタバンク（uniform rational filter bank）、またはラプラシアンピラミッド（Laplacian pyramid）を含む。
【0028】
以上のように、本発明の１つの実施形態に基づく撮影システムおよび画像融合方法は、カメラを使用して情景を撮影し、サブ画像を取得した後、コントローラを使用してサブ画像を分析し、情景に含まれるオブジェクトを取得する。コントローラが各オブジェクトのパレート集合を確立した後にオブジェクトを接合し、サブ画像の融合後の画像を生成する。接合および融合のプロセスにおいて画質の悪い部分が排除されるため、サブ画像の融合後の画像は、より優れた画質を有する。また、カメラは、白黒カメラまたはカラーカメラに限定されないため、コントローラは、白黒画像におけるグレーレベルの画素を使用して、カラー画像における画素のカラー値の変更に役立てることができ、それにより、画質を向上させることができる。コントローラは、また、白黒カメラを使用して、より高い画像解析度を提供することができるため、それにより、画像解析度を上げることができる。
【0029】
また、コントローラは、非剛性アライメントアルゴリズムを使用して、サブオブジェクトの位置合わせを行い、オブジェクトのオブジェクトタイプに基づいて融合方法を選択するため、本発明の実施形態に基づく撮影システムおよび画像融合方法は、カメラを様々な情景の処理が可能な汎用カメラに変換することもできる。
【0030】
以上のごとく、この発明を実施形態により開示したが、もとより、この発明を限定するためのものではなく、当業者であれば容易に理解できるように、この発明の技術思想の範囲内において、適当な変更ならびに修正が当然なされうるものであるから、その特許権保護の範囲は、特許請求の範囲および、それと均等な領域を基準として定めなければならない。
【産業上の利用可能性】
【0031】
本発明の撮影システムおよび画像融合方法は、複数のカメラを有する撮影システムおよび複数の画像の画像融合に応用することができる。
【符号の説明】
【0032】
１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１００Ｅ、１００Ｆ カメラ
２００ コントローラ
ＢＢ１、ＢＧ、ＢＳ１、Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｈ１、Ｈ２、Ｈ３、Ｈ４、Ｈ５、Ｈ ６、Ｈ７、Ｈ８、Ｏ１、Ｏ２ オブジェクト
Ｓ 情景
ＳＩ サブ画像
Ｓ１００、Ｓ２００、Ｓ３００、Ｓ３２０、Ｓ３４０、Ｓ４００、Ｓ４２０、Ｓ４４０、Ｓ５００、Ｓ５２０、Ｓ５４０、Ｓ５２２、Ｓ５２４、Ｓ５２６ ステップ
２００ コントローラ
ＢＢ１、ＢＧ、ＢＳ１、Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｈ１、Ｈ２、Ｈ３、Ｈ４、Ｈ５、Ｈ ６、Ｈ７、Ｈ８、Ｏ１、Ｏ２ オブジェクト
Ｓ 情景
ＳＩ サブ画像
Ｓ１００、Ｓ２００、Ｓ３００、Ｓ３２０、Ｓ３４０、Ｓ４００、Ｓ４２０、Ｓ４４０、Ｓ５００、Ｓ５２０、Ｓ５４０、Ｓ５２２、Ｓ５２４、Ｓ５２６ ステップ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】