特開 2024-51917 撮影システム、撮影装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024051917

(43)【公開日】2024-04-11

(54)【発明の名称】撮影システム、撮影装置および方法

(51)【国際特許分類】

   G03B 37/04 20210101AFI20240404BHJP

   G03B 37/00 20210101ALI20240404BHJP

   G03B 15/00 20210101ALI20240404BHJP

   H04N 23/45 20230101ALI20240404BHJP

   H04N 23/60 20230101ALI20240404BHJP

   H04N 23/698 20230101ALI20240404BHJP

【ＦＩ】

G03B37/04

G03B37/00 A

G03B15/00 W

H04N5/225 800

H04N5/232 290

H04N5/232 380

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022158311

(22)【出願日】2022-09-30

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100110607

【弁理士】

【氏名又は名称】間山 進也

(72)【発明者】

【氏名】小崎 由紀夫

(72)【発明者】

【氏名】佐藤 裕之

(72)【発明者】

【氏名】林 友彦

【テーマコード（参考）】

2H059

5C122

【Ｆターム（参考）】

2H059BA11

2H059BA15

2H059CA00

5C122EA68

5C122FA02

5C122FA18

5C122FH09

5C122FH11

5C122FH18

5C122HA75

5C122HB01

(57)【要約】

【課題】 複数の画像を適切につなぎ合わせて合成する撮影システム、撮影装置および方法を提供すること。
【解決手段】 少なくとも２つのカメラ２６０を含む撮影システム１００であって、第１のカメラ２６０Ｒおよび第１の慣性センサ２７０Ｒを支持する第１の支持体１１２Ｒと、第２のカメラ２６０Ｌおよび第２の慣性センサ２７０Ｌを支持する第２の支持体１１２Ｌとが連結部材１１１で連結され、第１の慣性センサ２７０Ｒの測定値と、第２の慣性センサ２７０Ｌの測定値とに基づいて、第１のカメラ２６０Ｒが撮影した第１の画像と、第２のカメラ２６０Ｌが撮影した第２の画像とをつなぎ合わせた合成画像を生成する合成画像生成部３２３を含む。
【選択図】 図４

【特許請求の範囲】

【請求項1】

少なくとも２つのカメラを含む撮影システムであって、
第１のカメラおよび第１の慣性センサを支持する第１の支持体と、第２のカメラおよび第２の慣性センサを支持する第２の支持体とが連結部材で連結され、
前記第１の慣性センサの測定値と、前記第２の慣性センサの測定値とに基づいて、前記第１のカメラが撮影した第１の画像と、前記第２のカメラが撮影した第２の画像とをつなぎ合わせた合成画像を生成する生成手段と、
を含む、撮影システム。

【請求項2】

前記生成手段は、前記第１の画像と、前記第２の画像とが重複する領域を補正して前記合成画像を生成する、
請求項１に記載の撮影システム。

【請求項3】

前記生成手段は、前記重複する領域をパターンマッチングによって抽出する、
請求項２に記載の撮影システム。

【請求項4】

前記生成手段は、前記パターンマッチングにおいて探索する前記第１の画像および前記第２の画像の範囲を、前記第１の慣性センサの測定値と、前記第２の慣性センサの測定値とに基づいて、オフセットすることを特徴とする、
請求項３に記載の撮影システム。

【請求項5】

前記第１の支持体に第３のカメラがさらに支持され、
前記第２の支持体に第４のカメラがさらに支持される、
請求項１に記載の撮影システム。

【請求項6】

前記生成手段は、前記第１の画像と、前記第２の画像と、前記第３のカメラが撮影した第３の画像と、前記第４のカメラが撮影した第４の画像とをつなぎ合わせた合成画像を生成する、
請求項５に記載の撮影システム。

【請求項7】

少なくとも２つのカメラを含む撮影装置であって、
第１のカメラおよび第１の慣性センサを支持する第１の支持体と、第２のカメラおよび第２の慣性センサを支持する第２の支持体とが連結部材で連結され、
前記第１の慣性センサの測定値と、前記第２の慣性センサの測定値とに基づいて、前記第１のカメラが撮影した第１の画像と、前記第２のカメラが撮影した第２の画像とをつなぎ合わせた合成画像を生成する生成手段と、
を含む、撮影装置。

【請求項8】

前記撮影装置は、前記第１の支持体および前記第２の支持体によって取り付け位置を把持するウェアラブルデバイスである、
請求項７に記載の撮影装置。

【請求項9】

第１のカメラおよび第１の慣性センサを支持する第１の支持体と、第２のカメラおよび第２の慣性センサを支持する第２の支持体とが連結部材で連結された撮影装置において、前記第１のカメラが第１の画像を撮影し、前記第２のカメラが第２の画像を撮影するステップと、
前記第１の慣性センサの測定値と、前記第２の慣性センサの測定値とに基づいて、前記第１の画像と、前記第２の画像とをつなぎ合わせた合成画像を生成するステップ
を含む、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の画像を合成する撮影システム、撮影装置および方法に関する。

【背景技術】

【0002】

近年の情報処理技術の発達に伴って、多様なデバイスが市場に流通している。特に、ユーザの身体に装着するタイプのデバイス（以下、「ウェアラブルデバイス」として参照する）においては、さまざまな形状のものが開発されている。

【0003】

ウェアラブルデバイスの一例として、ユーザの頭部に装着するタイプのものが挙げられる。例えば、国際公開ＷＯ２０１９／０７８３３８号明細書（特許文献１）には、複数のカメラを搭載したヘッドフォン型のウェアラブルデバイスが開示されている。特許文献１によれば、ユーザの少なくとも一部を撮影する機能を有する電子機器を小型化することができる。

【0004】

ところで、複数のカメラを備えるウェアラブルデバイスにおいては、各カメラが撮影した画像を合成して、全天球画像やパノラマ画像などの広角画像を生成する形態がある。このような合成画像の生成では、各画像の重複する領域をパターンマッチングすることによって、当該領域を適切につなぎ合わせる処理が行われることがある。

【0005】

しかしながら、特許文献１をはじめとする従来技術におけるウェアラブルデバイスでは、ユーザが装着することによってカメラの相対的な位置関係が変動する可能性がある。そのため、パターンマッチングにおいて重複した領域を探索する範囲が、規定の設計値から外れることになり、合成処理における負荷が増大することとなる。

【0006】

したがって、合成した画像を生成する処理の負荷を軽減する技術が求められていた。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明は、上記従来技術における課題に鑑みてなされたものであり、複数の画像を適切につなぎ合わせて合成する撮影システム、撮影装置および方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

すなわち、本発明によれば、
少なくとも２つのカメラを含む撮影システムであって、
第１のカメラおよび第１の慣性センサを支持する第１の支持体と、第２のカメラおよび第２の慣性センサを支持する第２の支持体とが連結部材で連結され、
前記第１の慣性センサの測定値と、前記第２の慣性センサの測定値とに基づいて、前記第１のカメラが撮影した第１の画像と、前記第２のカメラが撮影した第２の画像とをつなぎ合わせた合成画像を生成する生成手段と、
を含む、撮影システムが提供される。

【発明の効果】

【0009】

本発明によれば、複数の画像を適切につなぎ合わせて合成する撮影システム、撮影装置および方法が提供できる。

【図面の簡単な説明】

【0010】

【図1】本実施形態における撮影システム全体のハードウェアの概略構成を示す図。

【図2】本実施形態の撮影システムを構成する各種装置に含まれるハードウェア構成を示す図。

【図3】本実施形態の撮影システムに含まれるソフトウェアブロック図。

【図4】本実施形態のウェアラブルデバイスの例を示す斜視図。

【図5】本実施形態のウェアラブルデバイスの装着例を示す斜視図。

【図6】本実施形態において画像を撮影する例を示す図。

【図7】画像のパターンマッチングにおける探索範囲を説明する図。

【図8】本実施形態の画像のパターンマッチングにおいて、探索範囲を補正する例を示す図。

【図9】本実施形態の撮影システムが合成画像を生成する処理を示すフローチャート。

【図10】他の好ましい実施形態におけるウェアラブルデバイスを示す斜視図。

【図11】その他の実施形態におけるウェアラブルデバイスを示す斜視図。

【発明を実施するための形態】

【0011】

以下、本発明を、実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜その説明を省略するものとする。

【0012】

図１は、本実施形態における撮影システム１００全体のハードウェアの概略構成を示す図である。図１では、例として、ウェアラブルデバイス１１０と、情報処理装置１２０とが、インターネットやＬＡＮなどのネットワーク１３０を介して接続された環境を例示している。なお、ウェアラブルデバイス１１０や情報処理装置１２０の台数は、図１に示したものに限らず、撮影システム１００に含まれる台数に制限はない。また、ウェアラブルデバイス１１０や情報処理装置１２０から、ネットワーク１３０へ接続する方法は、有線または無線のどちらでもよい。

【0013】

ウェアラブルデバイス１１０は、ユーザが装着し、当該ユーザの周囲の画像を撮影する装置である。図１に示すウェアラブルデバイス１１０は、ユーザの頭部に装着する構成の装置であるが、特に実施形態を限定するものではなく、ユーザの身体の任意の箇所に装着することができる。本実施形態のウェアラブルデバイス１１０は、少なくとも２つのカメラを備えており、各カメラが撮影した画像をつなぎ合わせることで、パノラマ画像や全天球画像のような広角画像を生成することができる。なお、ウェアラブルデバイス１１０が撮影する画像は、静止画であってもよいし、動画であってもよい。

【0014】

情報処理装置１２０は、例えば、パーソナルコンピュータのような装置である。本実施形態の情報処理装置１２０は、ウェアラブルデバイス１１０が撮影した画像を受信し、広角画像を生成する処理や、画像を表示する処理を行うことができる。なお、情報処理装置１２０の形態は、パーソナルコンピュータに限定するものではなく、例えば、スマートホン端末、タブレット端末などであってもよい。

【0015】

次に、各装置のハードウェア構成について説明する。図２は、本実施形態の撮影システム１００を構成する各種装置に含まれるハードウェア構成を示す図であり、図２（ａ）はウェアラブルデバイス１１０の例を、図２（ｂ）は情報処理装置１２０の例を、それぞれ示している。

【0016】

まず、ウェアラブルデバイス１１０について説明する。図２（ａ）に示すように、ウェアラブルデバイス１１０は、ＣＰＵ２１０と、ＲＡＭ２２０と、ＲＯＭ２３０と、記憶装置２４０と、通信Ｉ／Ｆ２５０と、カメラ２６０と、センサ２７０とを含んで構成され、各ハードウェアはバスを介して接続されている。

【0017】

ＣＰＵ２１０は、ウェアラブルデバイス１１０の動作を制御するプログラムを実行し、所定の処理を行う装置である。ＲＡＭ２２０は、ＣＰＵ２１０が実行するプログラムの実行空間を提供するための揮発性の記憶装置であり、プログラムやデータの格納用、展開用として使用される。ＲＯＭ２３０は、ＣＰＵ２１０が実行するプログラムやファームウェアなどを記憶するための不揮発性の記憶装置である。

【0018】

記憶装置２４０は、ウェアラブルデバイス１１０を機能させるＯＳや種々のソフトウェア、設定情報、各種データなどを記憶する、読み書き可能な不揮発性の記憶装置である。記憶装置２４０の例として、典型的にはＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などが挙げられるが、特に実施形態を限定するものではなく、記憶装置２４０は、例えばＳＤカードなどのような取り外し可能な記憶媒体であってもよい。

【0019】

通信Ｉ／Ｆ２５０は、ウェアラブルデバイス１１０とネットワーク１３０とを接続し、ネットワーク１３０を介して他の装置との通信を可能にする。ネットワーク１３０を介した通信は、有線通信または無線通信のいずれであってもよく、ＴＣＰ／ＩＰなどの所定の通信プロトコルを使用し、各種データを送受信できる。

【0020】

カメラ２６０は、レンズ光学系や個体撮像素子などを含む撮影装置であって、画像を撮影することができる。本実施形態のカメラ２６０が撮影する画像は、静止画であってもよいし、動画であってもよい。また、本実施形態のカメラ２６０は、１８０度以上の画角を有する広角カメラであってもよい。なお、本実施形態のウェアラブルデバイス１１０は、少なくとも２つのカメラ２６０を備えることができる。

【0021】

センサ２７０は、カメラ２６０の撮影姿勢を検出する装置である。本実施形態のセンサ２７０は、例えば、加速度センサおよびジャイロセンサから構成されるＩＭＵ（Inertial Measurement Unit）を採用することができ、これによって、各カメラの相対的な位置関係を検出することができる。なお、本実施形態のウェアラブルデバイス１１０は、少なくとも２つのセンサ２７０を備えることができる。

【0022】

次に、情報処理装置１２０について説明する。図２（ｂ）に示すように、情報処理装置１２０は、ＣＰＵ２１０と、ＲＡＭ２２０と、ＲＯＭ２３０と、記憶装置２４０と、通信Ｉ／Ｆ２５０と、ディスプレイ２８０と、入力装置２９０とを含んで構成され、各ハードウェアはバスを介して接続されている。なお、ＣＰＵ２１０、ＲＡＭ２２０、ＲＯＭ２３０、記憶装置２４０、通信Ｉ／Ｆ２５０については、図２（ａ）で説明したウェアラブルデバイス１１０のものと同様であるため、詳細は省略する。

【0023】

ディスプレイ２８０は、各種データ、画像、情報処理装置１２０の状態などを、ユーザに対して表示する装置であり、例として、ＬＣＤ（Liquid Crystal Display）などが挙げられる。入力装置２９０は、ユーザが情報処理装置１２０を操作するための装置であり、例として、キーボード、マウスなどが挙げられる。なお、ディスプレイ２８０と入力装置２９０は、それぞれ別個の装置であってもよいし、タッチパネルディスプレイのような両方の機能を備えるものであってもよい。

【0024】

以上、各装置のハードウェア構成について説明した。次に、本実施形態における各ハードウェアによって実行される機能手段について、図３を以て説明する。図３は、本実施形態の撮影システム１００に含まれるソフトウェアブロック図である。

【0025】

図３に示すように、本実施形態のウェアラブルデバイス１１０は、撮影部３１１、慣性センサデータ取得部３１２、データ送信部３１３の各機能手段を含む。また、本実施形態の情報処理装置１２０は、データ受信部３２１、補正パラメータ算出部３２２、合成画像生成部３２３、画像表示部３２４、画像データ記憶部３２５の各機能手段を含む。以下では、各機能手段の詳細を説明する。

【0026】

まず、ウェアラブルデバイス１１０の機能手段について説明する。撮影部３１１は、カメラ２６０を制御することで画像を撮影し、画像データとして取得する手段である。

【0027】

慣性センサデータ取得部３１２は、例えばセンサ２７０が検出したデータを取得する手段である。本実施形態の慣性センサデータ取得部３１２は、加速度や角加速度の値を取得することができる。なお、慣性データの検出は、任意の周知の方法を採用することができる。

【0028】

データ送信部３１３は、ウェアラブルデバイス１１０の通信Ｉ／Ｆ２５０を制御し、撮影部３１１が撮影した画像データと、慣性センサデータ取得部３１２が取得したデータを、ネットワーク１３０を介して情報処理装置１２０に送信する手段である。

【0029】

次に、情報処理装置１２０の機能手段について説明する。データ受信部３２１は、情報処理装置１２０の通信Ｉ／Ｆ２５０を制御し、ウェアラブルデバイス１１０のデータ送信部３１３から、各種データを受信する手段である。

【0030】

補正パラメータ算出部３２２は、取得した慣性センサのデータに基づいて、画像を合成するためのパターンマッチングにおける特徴点の探索範囲を補正するパラメータを算出する手段である。

【0031】

合成画像生成部３２３は、補正パラメータ算出部３２２が算出したパラメータを使用したパターンマッチングを行い、複数の画像をつなぎ合わせた合成画像を生成する手段である。本実施形態の合成画像生成部３２３は、例えば、パノラマ画像や全天球画像を生成することができる。

【0032】

画像表示部３２４は、ディスプレイ２８０を制御し、合成画像生成部３２３が生成した画像を表示する手段である。画像データ記憶部３２５は、記憶装置２４０を制御し、合成画像生成部３２３が生成した画像を記憶する手段である。

【0033】

なお、上述したソフトウェアブロックは、ＣＰＵ２１０が本実施形態のプログラムを実行することで、各ハードウェアを機能させることにより、実現される機能手段に相当する。また、各実施形態に示した機能手段は、全部がソフトウェア的に実現されても良いし、その一部または全部を同等の機能を提供するハードウェアとして実装することもできる。

【0034】

さらに、上述した各機能手段は、必ずしも全てが図３に示すような構成で含まれていなくてもよい。例えば、他の好ましい実施形態では、ウェアラブルデバイス１１０が、図３の情報処理装置１２０に含まれる機能手段を有し、合成した画像を生成する構成としてもよい。また、別の実施形態では、各機能手段は、ウェアラブルデバイス１１０と、情報処理装置１２０との協働によって実現されてもよい。

【0035】

次に、本実施形態のウェアラブルデバイス１１０の構成について、図４を以て説明する。図４は、本実施形態のウェアラブルデバイス１１０の例を示す斜視図である。本実施形態のウェアラブルデバイス１１０は、図４に示すように、２つの支持体１１２が連結部材１１１によって連結されている。連結部材１１１は、長手方向の少なくとも一部において弾性変形が可能な部材であり、図４に示すように折返し形状（例えばＵ字形状）を採用することが可能である。

【0036】

支持体１１２は、連結部材１１１の先端部に取り付けられ、カメラ２６０およびセンサ２７０を位置関係が固定されるように支持する構造体である。なお、説明する実施形態において２つの支持体１１２を第１の支持体、第２の支持体として区別したうえで、便宜的にそれぞれ右側支持体１１２Ｒ、左側支持体１１２Ｌとして参照する。また、カメラ２６０およびセンサ２７０についても同様に、右側カメラ２６０Ｒ、左側カメラ２６０Ｌ、右側センサ２７０Ｒ、左側センサ２７０Ｌとして参照する場合がある。右側カメラ２６０Ｒおよび左側カメラ２６０Ｌは、支持体１１２の正面に設けられ、正面を含む所定の範囲を撮影することができる。右側センサ２７０Ｒ、左側センサ２７０Ｌは、各支持体１１２の側面に設けられ、右側カメラ２６０Ｒと左側カメラ２６０Ｌの相対的な位置関係を検出することができる。

【0037】

本実施形態のウェアラブルデバイス１１０は、図４に示すように、２つの支持体１１２を連結部材１１１によって連結することで、ユーザに装着することができる。すなわち、ウェアラブルデバイス１１０は、右側支持体１１２Ｒと左側支持体１１２Ｌとが、連結部材１１１の可撓性によってユーザの頭部を挟み込んで把持することができる。なお、図４におけるＬ_０は、右側カメラ２６０Ｒと左側カメラ２６０Ｌとの間の距離を示している。以下に説明する実施形態の例では、Ｌ_０を基準距離として参照する場合があり、Ｌ_０の値は、支持体１１２間に所定の治具を挟み込んだ場合のカメラ間距離とすることができる。したがって、Ｌ_０の値は、治具の寸法から算出される既知の値とすることができる。

【0038】

次に、ユーザがウェアラブルデバイス１１０を装着した例について、図５を以て説明する。図５は、本実施形態のウェアラブルデバイス１１０の装着例を示す斜視図である。図５に示すように、ユーザがウェアラブルデバイス１１０を装着する場合には、右側支持体１１２Ｒと左側支持体１１２Ｌとがユーザの頭部を把持して固定される。

【0039】

ウェアラブルデバイス１１０がユーザに装着されると各支持体１１２が頭部を把持するため、カメラ間距離Ｌは、非装着時よりも大きくなる（すなわち、Ｌ＞Ｌ_０となる）

【0040】

ここで、ユーザの装着時／非装着時においてウェアラブルデバイス１１０が画像を撮影する例について、図６および図７を以て説明する。図６は、本実施形態において画像を撮影する例を示す図であり、図６（ａ）は非装着時を、図６（ｂ）は装着時をそれぞれ示している。なお、図６における破線は、各カメラの撮影範囲を示している。また、図７は、画像のパターンマッチングにおける探索範囲を説明する図であり、図７（ａ）は図６（ａ）の状態（非装着時）において撮影された画像の例を、図７（ｂ）は図６（ｂ）の状態（装着時）において撮影された画像の例をそれぞれ示している。なお、図７におけるハッチングで示した領域は、パターンマッチングにおける探索範囲を示している。

【0041】

図６（ａ）に示すように、ユーザが非装着時にウェアラブルデバイス１１０が画像を撮影すると、右側カメラ２６０Ｒの撮影範囲と、左側カメラ２６０Ｌの撮影範囲とが重複する領域（以下、単に「重複領域」として参照する）が生じる。なお、重複領域の範囲は、便宜的にθ_ａとして表される。ここで、右側カメラ２６０Ｒが撮影した画像と、左側カメラ２６０Ｌが撮影した画像とを、パターンマッチングによって重複領域をつなぎ合わせて合成画像を生成する場合について考える。なお、図６における自動車の画像は、重複領域に含まれる被写体を例示したものであり、特に実施形態を限定するものではない。

【0042】

図６（ａ）のような状態で撮影されると、図７（ａ）に示す画像が撮影される。すなわち、左側カメラ２６０Ｌは図７（ａ）左図のような画像を、右側カメラ２６０Ｒは図７（ａ）右図のような画像を、それぞれ撮影する。このとき各画像を合成するためのパターンマッチングを行うと、各画像に共通する特徴点を探索するために、図７（ａ）のハッチングで示す領域が探索される。ここで、図６（ａ）に示すウェアラブルデバイス１１０の状態は、ユーザが非装着時であることから、カメラ間距離が既知の値であり、探索範囲も所定の範囲内ｄ（既知の範囲内）で済むこととなる。すなわち、図７（ａ）に示すような、比較的小さな探索範囲内に特徴点（図示する例では車）が含まれる。そのため、探索に要する時間が短く、結果としてパターンマッチングの処理時間が短い。なお、既知の探索範囲ｄの大きさは、例えば、ウェアラブルデバイス１１０を生産する工場における、出荷の際の調整によって設定することができる。

【0043】

一方で、図６（ｂ）のような状態で撮影されると、図７（ｂ）に示す画像が撮影される。なお、図６（ｂ）における重複領域の範囲θ_ｂは、カメラ間距離がＬ＞Ｌ_０となることにより、図６（ａ）におけるθ_ａよりも小さい。左側カメラ２６０Ｌは図７（ｂ）左図のような画像を、右側カメラ２６０Ｒは図７（ｂ）右図のような画像を、それぞれ撮影する。このとき各画像を合成するためのパターンマッチングを行うと、各画像に共通する特徴点を探索するために、図７（ｂ）のハッチングで示す領域が探索される。図６（ｂ）に示すウェアラブルデバイス１１０の状態は、ユーザが装着した状態であり、カメラ間距離はユーザの頭部の寸法などによって変動し得ることから、カメラ間距離の値は不明である。したがって、重複領域のどこに特徴的な被写体があるのかも不明であることから、パターンマッチングにおいて特徴点を探索する際に、図７（ｂ）に示すようにｄよりも広い範囲ｄ’にわたって探索する必要が生じ、処理に要する時間が長くなり、処理負荷が増大する。仮に、図７（ａ）のように所定の範囲内ｄ（既知の範囲内）に限って探索しようとすると、特徴的な被写体が探索範囲に含まれず、適切なパターンマッチングができないからである。

【0044】

そこで、本実施形態のウェアラブルデバイス１１０は、探索範囲を適切に補正してパターンマッチングを行うことで、処理時間を短縮することができ、処理負荷を軽減できる。本実施形態における探索範囲の補正は、ウェアラブルデバイス１１０が備えるセンサ２７０に基づいて行われる。すなわち、慣性センサとして参照される右側センサ２７０Ｒおよび左側センサ２７０Ｌが、それぞれ、右側カメラ２６０Ｒおよび左側カメラ２６０Ｌの相対的な位置関係を算出する。そして、算出した各カメラの位置関係に基づいて、探索範囲を決定し、当該範囲内の特徴点からパターンマッチングを行う。

【0045】

図８は、本実施形態の画像のパターンマッチングにおいて、探索範囲を補正する例を示す図である。図８（ａ）は、図７（ｂ）における各画像の探索範囲を補正した例を示している。本実施形態では、慣性センサデータ取得部３１２が、各センサ２７０が検出した各カメラ２６０の変位量を取得できるため、各カメラの相対的な位置関係に基づいて各画像の探索範囲をオフセットすることができる。したがって、図８（ａ）に示すように、既知の探索範囲ｄを適切な位置に補正することができ、これによって各画像に共通する特徴点を探索範囲内で検出することができる。このように、探索範囲を補正することで、（図７（ａ）に示した範囲と同じ）比較的狭い範囲内で特徴点を探索することができるため、ウェアラブルデバイス１１０の装着時に撮影された画像であっても、パターンマッチングに要する時間を短縮することができる。

【0046】

なお、本実施形態における探索範囲の補正は、単にカメラ間距離が変化した場合以外にも適用することができる。例えば、ウェアラブルデバイス１１０をユーザが装着することによって、連結部材１１１にねじれが生じ、カメラ間距離のみならず、相対的な角度も変化する場合がある。このようなねじれが生じると、一方の画像に対して斜めに傾いた画像が撮影されることになる。

【0047】

図８（ｂ）は、右側カメラ２６０Ｒが撮影した画像が傾いている例を示している。このように撮影した画像が傾いている場合であっても、本実施形態の慣性センサデータ取得部３１２は、センサ２７０の測定値から角度の変位量を算出することができる。したがって、探索範囲をｄとしたままで、探索範囲の位置および画像の角度（φ）をオフセットすることで、図８（ａ）に示した例と同様に、パターンマッチングに要する時間を短縮することができる。

【0048】

ここまで、本実施形態における探索範囲の補正について説明した。次に、本実施形態の画像生成処理について図９を以て説明する。図９は、本実施形態の撮影システム１００が合成画像を生成する処理を示すフローチャートである。撮影システム１００は、ステップＳ１０００から処理を開始する。なお、説明する実施形態では、ウェアラブルデバイス１１０の電源が投入されることを契機として、撮影システム１００は、処理を開始するものとする。

【0049】

ステップＳ１００１では、ウェアラブルデバイス１１０は、慣性センサを初期化する。本実施形態では、各カメラの位置関係は、慣性センサが測定する加速度および角加速度に基づく相対的な位置関係として算出されるものである。したがって、装着後の変位量を算出するために、非装着状態において慣性センサを初期化する。

【0050】

次に、ステップＳ１００２では、各カメラの相対位置の初期値を取得する。ここで、例えば、ウェアラブルデバイス１１０に所定の治具を挟み、この時のカメラ間距離Ｌ_０を初期値としてキャリブレーションすることができる。その後、ステップＳ１００３において、ユーザがウェアラブルデバイス１１０を装着する。

【0051】

続くステップＳ１００４では、慣性センサデータ取得部３１２は、センサ２７０が測定した値に基づいて、ユーザの装着後のカメラ間距離や角度などの相対的な位置関係を算出する。また、ステップＳ１００５では、撮影部３１１が画像を撮影する。なお、ステップＳ１００４およびＳ１００５の処理は、並行して行われてもよいし、逆の順序で行われてもよい。

【0052】

その後、ステップＳ１００６において、補正パラメータ算出部３２２は、各カメラの位置関係に基づいて、探索範囲を補正するパラメータ、すなわち探索範囲の位置や画像の角度のオフセット量を算出する。

【0053】

次に、ステップＳ１００７では、合成画像生成部３２３は、ステップＳ１００６で算出されたパラメータに基づいて各画像の探索範囲を補正したうえで、各画像についてパターンマッチングを行い、重複領域をつなぎ合わせた合成画像を生成する。ステップＳ１００７で生成した画像は、画像表示部３２４に表示することができ、また、画像データ記憶部３２５に記憶することができる。その後、ステップＳ１００８において処理を終了する。

【0054】

図９に示した処理によって、本実施形態の撮影システム１００は、パターンマッチングに要する時間を短縮することができるため、処理負荷を軽減できる。

【0055】

ところで、ここまでに説明した実施形態では、２つのカメラ２６０を備えるウェアラブルデバイス１１０を例に示した。しかしながら、カメラ２６０の数は特に限定されず、３以上のカメラ２６０を備えるウェアラブルデバイス１１０であっても、説明した実施形態を適用することができる。例えば、図１０に示すように、他の実施形態によるウェアラブルデバイス１１０は、４つのカメラ２６０を備え得る。図１０は、他の好ましい実施形態におけるウェアラブルデバイス１１０を示す斜視図である。なお、簡潔のため、図４において説明した点は適宜省略する。

【0056】

他の好ましい実施形態におけるウェアラブルデバイス１１０は、図１０に示すように、右側支持体１１２Ｒがさらに第３のカメラ２６０Ｒ’を有し、左側支持体１１２Ｌがさらに第４のカメラ２６０Ｌ’を有する。第３のカメラ２６０Ｒ’は、ウェアラブルデバイス１１０の右側後方および右側方を撮影する。第４のカメラ２６０Ｌ’は、ウェアラブルデバイス１１０の左側後方および左側方を撮影する。このような構成とすることで、各カメラ２６０Ｒ、２６０Ｌ、２６０Ｒ’、２６０Ｌ’が撮影した各画像をつなぎ合わせて、全周方向の合成画像を生成することができる。なお、以下では、右側カメラ２６０Ｒを右前方カメラ２６０Ｒ、左側カメラ２６０Ｌを左前方カメラ２６０Ｌ、第３のカメラ２６０Ｒ’を右後方カメラ２６０Ｒ’、第４のカメラ２６０Ｌ’を左後方カメラ２６０Ｌ’として参照する。

【0057】

ここで、図１０に示した構成のウェアラブルデバイス１１０が撮影した４つの画像をつなぎ合わせる場合について考えと、４つの重複領域をつなぎ合わせる処理を行うこととなる。すなわち、第１に、右前方カメラ２６０Ｒが撮影した画像および左前方カメラ２６０Ｌが撮影した画像の重複領域をつなぎ合わせる。また、第２に、右前方カメラ２６０Ｒが撮影した画像および右後方カメラ２６０Ｒ’が撮影した画像の重複領域をつなぎ合わせる。また、第３に、左前方カメラ２６０Ｌが撮影した画像および左後方カメラ２６０Ｌ’ が撮影した画像の重複領域をつなぎ合わせる。また、第４に、右後方カメラ２６０Ｒ’が撮影した画像および左後方カメラ２６０Ｌ’ が撮影した画像の重複領域をつなぎ合わせる。

【0058】

この場合、右前方カメラ２６０Ｒが撮影した画像および左前方カメラ２６０Ｌが撮影した画像の重複領域のつなぎ合わせは、図８（ａ）に示した例と同様にして行うことができる。

【0059】

また、右前方カメラ２６０Ｒが撮影した画像および右後方カメラ２６０Ｒ’が撮影した画像の重複領域は、右前方カメラ２６０Ｒと右後方カメラ２６０Ｒ’のいずれも右側支持体１１２Ｒに固定されているものであることから、装着によってカメラ２６０Ｒと２６０Ｒ’との位置関係が変化しない。よって、探索範囲を補正する必要はなく、所定の探索範囲でパターンマッチングを行うことができる。

【0060】

さらに、左前方カメラ２６０Ｌが撮影した画像および左後方カメラ２６０Ｌ’が撮影した画像の重複領域についても同様に、左前方カメラ２６０Ｌと左後方カメラ２６０Ｌ’のいずれも左側支持体１１２Ｌに固定されているものであることから、装着によってカメラ２６０Ｌと２６０Ｌ’との位置関係が変化しない。よって、探索範囲を補正する必要はなく、所定の探索範囲でパターンマッチングを行うことができる。

【0061】

さらにまた、右後方カメラ２６０Ｒ’が撮影した画像および左後方カメラ２６０Ｌ’ が撮影した画像の重複領域については、ウェアラブルデバイス１１０をユーザが装着することによって、右後方カメラ２６０Ｒ’と左後方カメラ２６０Ｌ’との位置関係が変化し得るものである。しかしながら、右後方カメラ２６０Ｒ’は右側支持体１１２Ｒに、左後方カメラ２６０Ｌ’は左側支持体１１２Ｌに固定されているものであることから、各カメラの相対的な位置関係は、図８（ａ）に示した例と同様に算出することができる。したがって、探索範囲を適切に補正したうえでパターンマッチングすることができ、処理時間を短縮することができる。

【0062】

このようにして、３以上のカメラ２６０を備えるウェアラブルデバイス１１０であっても、探索範囲を適切に補正でき、パターンマッチングによる画像の合成に要する時間を短縮することができる。

【0063】

以上、説明した本発明の実施形態によれば、複数の画像を適切につなぎ合わせて合成する撮影システム、撮影装置および方法を提供することができる。

【0064】

なお、本発明は、上述した実施形態に限定されることはなく、次のような形態とすることができる。

【0065】

図４における実施形態では、２つの支持体１１２を連結部材１１１によって連結する構成としたが、例えば、図１１に示すように連結部材１１１を複数の構成（１１１ａ、１１１ｂＲ、１１１ｂＬ）としてもよい。このとき、連結部材１１１ａは、ねじれが生じない所定の剛性を有する部材とし、連結部材１１１ｂＲ、１１１ｂＬをねじれが生じる可撓性の部材とする。連結部材１１１ｂＲ、１１１ｂＬの一端は各支持体１１２に取り付けられ、他端は連結部材１１１ａに取り付けられている。このような連結部材とした場合においても、上述したように複数の画像を適切につなぎ合わせて合成する効果を得ることができる。

【0066】

図１０における実施形態では、支持体１１２の前方と後方にカメラを備える形態としたが、支持体１１２の外側面にさらに設けてもよい。このような連結部材とした場合においても、上述したように複数の画像を適切につなぎ合わせて合成する効果を得ることができる。

【0067】

また、上述した実施形態では、支持体１１２が頭部などを把持する構成としたが、たとえば、支持体１１２の下面をユーザの耳に掛け、連結部が頭部と係止できるようにすること（たとえば頭部と係止する係止部を追加するなど）でウェアラブルデバイス１１０が上下方向の位置を確定させるようにしてもよい。

【0068】

上述した本発明の実施形態の各機能は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）等で記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、フレキシブルディスク、ＥＥＰＲＯＭ（登録商標）、ＥＰＲＯＭ等の装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。

【0069】

上記で説明した実施形態の各機能は、一または複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュールなどのデバイスを含むものとする。

【0070】

以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

【符号の説明】

【0071】

１００…撮影システム、１１０…ウェアラブルデバイス、１１１…連結部材、１１２…支持体、１１２Ｌ…左側支持体、１１２Ｒ…右側支持体、１２０…情報処理装置、１３０…ネットワーク、２１０…ＣＰＵ、２２０…ＲＡＭ、２３０…ＲＯＭ、２４０…記憶装置、２５０…通信Ｉ／Ｆ、２６０…カメラ、２６０Ｌ…左側（前方）カメラ、２６０Ｒ…右側（前方）カメラ、２６０Ｒ’ …右後方カメラ、２６０Ｌ’ …左後方カメラ、２７０…センサ、２７０Ｌ…左側センサ、２７０Ｒ…右側センサ、２８０…ディスプレイ、２９０…入力装置、３１１…撮影部、３１２…慣性センサデータ取得部、３１３…データ送信部、３２１…データ受信部、３２２…補正パラメータ算出部、３２３…合成画像生成部、３２４…画像表示部、３２５…画像データ記憶部

【先行技術文献】

【特許文献】

【0072】

【特許文献1】国際公開ＷＯ２０１９／０７８３３８号明細書

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】