特許 6648375 撮像システム、及び移動体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6648375

(24)【登録日】2020年1月20日

(45)【発行日】2020年2月14日

(54)【発明の名称】撮像システム、及び移動体

(51)【国際特許分類】

   H04N 5/225 20060101AFI20200203BHJP

   H04N 5/232 20060101ALI20200203BHJP

   G03B 17/14 20060101ALI20200203BHJP

   G03B 17/56 20060101ALI20200203BHJP

   G03B 17/04 20060101ALI20200203BHJP

   G03B 15/00 20060101ALI20200203BHJP

   H04N 5/222 20060101ALI20200203BHJP

【ＦＩ】

   H04N5/225 300

   H04N5/232 030

   G03B17/14

   G03B17/56 A

   G03B17/04

   G03B15/00 U

   H04N5/222 100

   H04N5/225 100

   H04N5/232 290

【請求項の数】5

【全頁数】13

(21)【出願番号】特願2018-97458(P2018-97458)

(22)【出願日】2018年5月21日

(65)【公開番号】特開2019-205013(P2019-205013A)

(43)【公開日】2019年11月28日

【審査請求日】2018年5月21日

(73)【特許権者】

【識別番号】513068816

【氏名又は名称】エスゼット ディージェイアイ テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】ＳＺ ＤＪＩ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】三田 英明

(72)【発明者】

【氏名】和田 祐司

(72)【発明者】

【氏名】御子柴 篤

【審査官】 ▲徳▼田 賢二

(56)【参考文献】

【文献】 特開２００５−３３３４９４（ＪＰ，Ａ）

【文献】 特開２０１５−１８９３２１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１３／０１４１６４０（ＵＳ，Ａ１）

【文献】 特開２００８−０６７１７４（ＪＰ，Ａ）

【文献】 韓国公開特許第１０−２０１２−０１３５７５１（ＫＲ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １７／０４

Ｇ０３Ｂ １７／１４

Ｇ０３Ｂ １７／５６

(57)【特許請求の範囲】

【請求項1】

本体部と、
前記本体部を回転可能に支持する支持部と、
前記本体部に対して着脱可能に設けられる撮像部と
を備え、
前記撮像部は、
レンズ部を着脱可能に保持する保持部と、
前記レンズ部を介して結像する光学像を電気信号に変換するセンサ部と
を有し、
前記本体部は、
前記センサ部からの前記電気信号に対して画像処理を行う画像処理部と、
前記本体部に対して前記撮像部が装着された場合に、前記撮像部又は前記センサ部の種類を特定する特定部と
を有し、
前記画像処理部は、前記センサ部からの前記電気信号に対して、前記撮像部又は前記センサ部の種類に対応する予め定められた画像処理を行う、撮像システム。

【請求項2】

前記撮像部は、
前記撮像部又は前記センサ部の種類を識別するための識別情報を記憶する記憶部
をさらに有し、
前記特定部は、前記識別情報に基づいて、前記撮像部又は前記センサ部の種類を特定する、請求項１に記載の撮像システム。

【請求項3】

前記センサ部は、予め定められた配列で配置された複数の画素を有し、
前記特定部は、前記センサ部の前記予め定められた配列を前記撮像部又は前記センサ部の種類として特定し
前記画像処理部は、前記複数の画素のそれぞれから出力される前記電気信号に対して、前記予め定められた配列に応じた画像処理を行う、請求項１または２に記載の撮像システム。

【請求項4】

前記センサ部は、１つの画素を単位画素とする配列で配置された複数の画素を有する第１センサ部、または２行２列の４つ画素を単位画素とする配列で配置された複数の画素を有する第２センサ部であり、
前記特定部は、前記本体部に接続された前記撮像部の前記センサ部が前記第１センサ部か前記第２センサ部かを特定し、
前記画像処理部は、前記本体部に接続された前記撮像部の前記センサ部が前記第２センサ部の場合、２行２列の４つ画素のそれぞれから出力される前記電気信号を予め定められた重み付けで加算する画像処理を行う、請求項３に記載の撮像システム。

【請求項5】

請求項１から４の何れか１つに記載の撮像システムを搭載して移動する移動体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像システム、及び移動体に関する。

【背景技術】

【0002】

特許文献１には、モジュール式のカメラシステムが開示されている。
特許文献１ 特開２０１５−１３６１２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0003】

異なる種類のイメージセンサを着脱可能に連結できる撮像システムの利便性の向上が望まれている。

【課題を解決するための手段】

【0004】

本発明の一態様に係る撮像システムは、本体部を備えてよい。撮像システムは、本体部を回転可能に支持する支持部を備えてよい。撮像システムは、本体部に対して着脱可能に設けられる撮像部を備えてよい。撮像部は、レンズ部を着脱可能に保持する保持部を有してよい。撮像部は、レンズ部を介して結像する光学像を電気信号に変換するセンサ部を有してよい。本体部は、センサ部からの電気信号に対して画像処理を行う画像処理部を有してよい。

【0005】

本体部は、本体部に対して撮像部が装着された場合に、撮像部又はセンサ部の種類を特定する特定部を有してよい。画像処理部は、センサ部からの電気信号に対して、撮像部又はセンサ部の種類に対応する予め定められた画像処理を行ってよい。

【0006】

撮像部は、撮像部又はセンサ部の種類を識別するための識別情報を記憶する記憶部を有してよい。特定部は、識別情報に基づいて、撮像部又はセンサ部の種類を特定してよい。

【0007】

センサ部は、予め定められた配列で配置された複数の画素を有してよい。特定部は、センサ部の予め定められた配列を撮像部又はセンサ部の種類として特定してよい。画像処理部は、複数の画素のそれぞれから出力される電気信号に対して、予め定められた配列に応じた画像処理を行ってよい。

【0008】

センサ部は、１つの画素を単位画素とする配列で配置された複数の画素を有する第センサ部、または２行２列の４つ画素を単位画素とする配列で配置された複数の画素を有する第２センサ部でよい。特定部は、本体部に接続された撮像部のセンサ部が第１センサ部か第２センサ部かを特定してよい。画像処理部は、本体部に接続された撮像部のセンサ部が第２センサ部の場合、２行２列の４つ画素のそれぞれから出力される電気信号を予め定められた重み付けで加算する画像処理を行ってよい。

【0009】

本発明の一態様に係る撮像システムは、本体部を備えてよい。撮像システムは、本体部に対して着脱可能に設けられる撮像部を備えてよい。撮像部は、光学像を電気信号に変換するセンサ部を有してよい。本体部は、本体部に対して撮像部が装着された場合に、撮像部又はセンサ部の種類を特定する特定部を有してよい。本体部は、センサ部からの電気信号に対して、撮像部又はセンサ部の種類に対応する予め定められた画像処理を行う画像処理部を有してよい。

【0010】

本発明の一態様に係る移動体は、上記撮像システムを搭載して移動する移動体でよい。

【0011】

本発明の一態様によれば、異なる種類のイメージセンサを着脱可能に連結できる撮像システムの利便性を向上させることができる。

【0012】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0013】

【図1】撮像システムの模式図の一例を示す図である。

【図2】撮像システムについて説明するための模式図の一例を示す図である。

【図3】撮像システムの機能ブロックの一例を示す図である。

【図4】画素の配列の一例を示す図である。

【図5】画素の配列の一例を示す図である。

【図6】画素の配列の一例を示す図である。

【図7】画素の配列の一例を示す図である。

【図8】画素の配列の一例を示す図である。

【図9】画素の配列の一例を示す図である。

【図10】無人航空機及び遠隔操作装置の外観の一例を示す図である。

【発明を実施するための形態】

【0014】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0015】

特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイルまたはレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。

【0016】

図１は、本実施形態に係る撮像システム５００の模式図の一例を示す。撮像システム５００は、本体部１００、撮像部２００、レンズ部３００、及び支持部４００を備える。

【0017】

支持部４００は、本体部１００を回転可能に支持する。支持部４００は、互いに直交する３軸で本体部１００を回転可能に支持するジンバルである。支持部４００は、第１回転部４０１、第１支持部４０２、第２回転部４０３、第２支持部４０４、及び第３回転部４０５を有する。第１回転部４０１、第２回転部４０３、及び第３回転部４０５は、アクチュエータを含む。第１支持部４０２は、一端で、第１回転部４０１を介して第１軸（Ｘ軸：ピッチ軸）を中心に回転可能に本体部１００を支持する。第２支持部４０４は、一端で、第２回転部４０３を介して第２軸（Ｙ軸：ロール軸）を中心に回転可能に第１支持部４０２を支持する。第３回転部４０５は、第２支持部４０４の他端に接続され、第２支持部４０４を第３軸（Ｚ軸：ヨー軸）を中心に回転させる。

【0018】

撮像部２００は、本体部１００に対して着脱可能に設けられる。本体部１００は、撮像部２００を着脱可能に保持する保持部１５０を有する。保持部１５０は、撮像部２００と電気的及び機械的に接続されるコネクタでよい。レンズ部３００は、撮像部２００に対して着脱可能に設けられる。撮像部２００は、レンズ部３００を着脱可能に保持する保持部２５０を有する。保持部２５０は、レンズ部３００と電気的及び機械的に接続されるレンズマウントでよい。撮像部２００は、レンズ部３００を介して結像する光学像を電気信号に変換するセンサ部２１０を有する。センサ部２１０は、イメージセンサである。センサ部２１０は、ＣＣＤまたはＣＭＯＳにより構成されてよい。本体部１００は、センサ部２１０からの電気信号に対して画像処理を行う画像処理部１２０を有する。

【0019】

撮像システム５００は、本体部１００に対して、撮像部２００及びレンズ部３００が着脱可能に接続される。これにより、例えば、図２に示すように、本体部１００に対して異なる種類の撮像部２００及びレンズ部３００を接続することができる。例えば、撮像部２００および本体部１００を一体的に構成した筐体が、支持部４００に回転可能に連結されている場合、異なる種類のレンズ部３００を撮像部２００に対して接続することはできる。しかし、撮像部２００が支持部４００及び本体部１００と一体的に構成されていると、異なる種類の撮像部２００、例えば、異なる画素数のセンサ部２１０を有する撮像部２００を使用するには、支持部４００及び本体部１００も交換する必要がある。これに対して、レンズ部３００に加えて、センサ部２１０を着脱可能に構成することで、異なる種類のセンサ部２１０への交換が容易できる。画像処理部１２０を本体部１００が備えることで異なる種類のセンサ部２１０に対して、画像処理部１２０を共用することができる。センサ部２１０の機能を最小限に留め、共通化可能な機能を本体部１００に設けることで、センサ部２１０を安価に提供することができる。異なる種類のセンサ部２１０ごとに、本体部１００及び支持部４００を準備する必要がなくなり、ユーザの利便性が向上する。

【0020】

支持部４００は、レンズ部３００、撮像部２００、及び本体部１００を含む物体系の重心が第１軸（Ｘ軸）から予め定められた範囲に位置するように、本体部１００を支持するように設計されることが好ましい。支持部４００は、レンズ部３００、撮像部２００、及び本体部１００を含む物体系の重心が第１軸（Ｘ軸）上に位置するように、本体部１００を支持するように設計されることがより好ましい。レンズ部３００の重量が変わると、レンズ部３００、撮像部２００、及び本体部１００を含む物体系の重心も移動する。

【0021】

本実施形態に係る撮像システム５００によれば、比較的な高価な撮像部２００を共用できる。撮像部２００を別体で提供することで、レンズ部３００の重量を考慮した位置で本体部１００を支持する支持部４００をレンズ部３００の重量ごとに比較的に安価に提供することもできる。支持部４００は、支持される物体系の重心が第１軸（Ｘ軸）上に位置するように、本体部１００を支持することで、支持部４００による回転制御を省電力化、及び高速化することができる。

【0022】

図３は、撮像システム５００の機能ブロックの一例を示す。レンズ部３００は、レンズ制御部３１０、レンズ駆動部３１２、レンズ３１４、及びメモリ３２０を有する。レンズ３１４は、ズームレンズ、バリフォーカルレンズ、及びフォーカスレンズとして機能してよい。レンズ３１４は、複数の光学要素から構成されてよい。レンズ３１４は、光軸に沿って移動可能に配置される。レンズ部３００は、撮像部２００に対して着脱可能に設けられる交換レンズでよい。

【0023】

レンズ駆動部３１２は、カム環などの機構部材を介して、レンズ３１４を光軸に沿って移動させる。レンズ駆動部３１２は、アクチュエータを含んでよい。アクチュエータは、ステッピングモータを含んでよい。レンズ制御部３１０は、本体部１００及び撮像部２００からのレンズ制御命令に従って、レンズ駆動部３１２を駆動して、機構部材を介してレンズ３１４を光軸方向に沿って移動させる。レンズ制御命令は、例えば、ズーム制御命令、及びフォーカス制御命令である。レンズ制御部３１０は、レンズ３１４を光軸に沿って移動させることで、ズーム動作及びフォーカス動作の少なくとも一方を実行する。

【0024】

レンズ部３００は、メモリ３２０をさらに有する。メモリ３２０は、レンズ駆動部３１２を介して移動するレンズ３１４の制御値を記憶する。メモリ３２０は、ＳＲＡＭ、ＤＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＵＳＢメモリ、及びソリッドステートドライブ（ＳＳＤ）などのフラッシュメモリの少なくとも１つを含んでよい。

【0025】

撮像部２００は、センサ部２１０、撮像制御部２２０、及びメモリ２３０を有する。センサ部２１０は、レンズ３１４を介して結像された光学像を電気信号に変換して、本体部１００に出力する。撮像制御部２２０は、センサ部２１０を制御する。メモリ２３０は、コンピュータ可読可能な記録媒体でよく、ＳＲＡＭ、ＤＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＵＳＢメモリ、及びソリッドステートドライブ（ＳＳＤ）などのフラッシュメモリの少なくとも１つを含んでよい。メモリ２３０は、撮像制御部２２０がセンサ部２１０などを制御するのに必要なプログラム等を格納する。メモリ２３０は、撮像部２００又はセンサ部２１０の種類を識別するための識別情報を記憶する。

【0026】

センサ部２１０は、画素アレイ２１２、垂直選択回路２１４、水平選択回路２１６、及びカラム処理部２１８を含む。画素アレイ２１２は、受光した光量に応じた電荷を生成して蓄積する光電変換部を有する予め定められた配列で配置された複数の画素を含む。複数の画素は、行方向（水平方向）、及び列方向（垂直方向）に２次元に配置されている。

【0027】

画素アレイ２１２は、画素の行に対応する複数の画素駆動線２１５を介して垂直選択回路２１４と接続される。画素駆動線２１５は、画素から信号を読み出す場合の駆動を行うための駆動信号を伝送する。

【0028】

垂直選択回路２１４は、シフトレジスタ及びアドレスデコーダなどによって構成され、画素アレイ２１２の各画素を全画素同時、あるいは行単位等で駆動する。垂直選択回路２１４は、垂直選択回路２１４を制御する撮像制御部２２０と共に、画素アレイ２１２の各画素の動作を制御する駆動部を構成している。

【0029】

垂直選択回路２１４は、読み出し走査及び掃き出し走査を行う。垂直選択回路２１４は、読み出し走査において、画素アレイ２１２の各画素を行単位で順に選択して走査する。垂直選択回路２１４は、掃き出し走査において、読み出し走査が行われる読み出し行に対して、その読み出し走査よりも露光時間分だけ先行して掃き出し走査を行う。垂直選択回路２１４は、読み出し走査及び掃き出し走査を行うことで、いわゆる電子シャッタを実行する。

【0030】

垂直選択回路２１４によって走査された行の各画素から出力された信号は、列ごとに垂直信号線２１９を介してカラム処理部２１８に入力される。カラム処理部２１８は、画素アレイ２１２の列ごとに、選択された行の各画素から垂直信号線２１９を介して出力される信号に対して予め定められた信号処理を行い、各画素の電気信号を出力する。

【0031】

カラム処理部２１８は、信号処理として、ノイズ除去処理、例えば、ＣＤＳ（相関二重サンプリング）処理、ＤＤＳ（Ｄｏｕｂｌｅ Ｄａｔａ Ｓａｍｐｌｉｎｇ）処理を行う。ＣＤＳ処理が実行されることで、リセットノイズなどが除去される。

【0032】

水平選択回路２１６は、シフトレジスタ及びアドレスデコーダなどによって構成され、カラム処理部２１８の列に対応する回路部分を順番に選択して走査する。水平選択回路２１６による走査により、カラム処理部２１８で列ごとに信号された各画素の電気信号が順番に出力される。

【0033】

支持部４００は、支持制御部４１０を有する。支持制御部４１０は、第１回転部４０１、第２回転部４０３、及び第３回転部４０５のそれぞれのアクチュエータの駆動を制御し、本体部１００を所望の姿勢に維持する。

【0034】

本体部１００は、本体制御部１１０、画像処理部１２０、及びメモリ１３０を有する。本体制御部１１０は、本体部１００の動作を制御する。本体制御部１１０は、特定部１１２を含む。特定部１１２は、本体部１００に対して撮像部２００が装着された場合に、撮像部２００又はセンサ部２１０の種類を特定する。特定部１１２は、撮像部２００のメモリ２３０から撮像部２００又はセンサ部２１０の種類を識別するための識別情報を読み出し、その識別情報に基づいて撮像部２００又はセンサ部２１０の種類を特定してよい。特定部１１２は、センサ部２１０の予め定められた配列を撮像部２００又はセンサ部２１０の種類として特定してよい。識別情報は、イメージセンサの種類を一意に特定する型式情報でよい。識別情報は、画像処理部１２０で実行すべき画像処理を特定する情報でよい。識別情報は、センサ部２１０を構成する各画素の配列を特定する情報でよい。

【0035】

例えば、センサ部２１０は、各画素に配置するカラーフィルタを異なる配列で構成することで異なる種類のイメージセンサとして機能させることができる。センサ部２１０は、例えば、図４に示すように、画素アレイ２１２を構成する各画素のそれぞれ１つの画素７００を単位画素として、ベイヤ配列で構成した８Ｋのイメージセンサとして機能させることができる。また、センサ部２１０は、同じ画素構成の画素アレイ２１２の各画素を、図５に示すように、２行２列の４つの画素を単位画素７０２として、ベイヤ配列で構成された４Ｋのイメージセンサとして機能させることができる。なお、センサ部２１０は、光学ローパスフィルタを有する場合がある。光学ローパスフィルタは、画素アレイ２１２の画素ピッチに基づいて設計される。ここで、２行２列の４つの画素を単位画素とする場合には、２行２列の４つの画素を画素ピッチとして、光学ローパスフィルタは設計される。

【0036】

センサ部２１０は、図６に示すように、２行２列の４つの画像のうち１つの画素にＮＤフィルタ７０４を配置した４Ｋのイメージセンサとして機能させることができる。センサ部２１０は、図７に示すように、２行２列の４つの画像のうち２つの画素にＮＤフィルタ７０４を配置した４Ｋのイメージセンサとして機能させることができる。センサ部２１０は、図８に示すように、２行２列の４つの画像のうち１つの画素７１０を像面位相差検出用のペアの画素のうちの１つとして使用した４Ｋのイメージセンサとして機能させることができる。センサ部２１０は、図９に示すように、２行２列の４つの画像からなる単位画素のうち、隣接する任意の２つの単位画素７２０のそれぞれ１つの画素７２２を像面位相差検出用のペアの画素のうちの１つとして使用した４Ｋのイメージセンサとして機能させることができる。なお、像面位相差検出用の画素は、Ｂ成分の画素、またはＲ成分の画素に配置してよい。

【0037】

このように、画素アレイ２１２の画素構成が同じでも、各画素に配置するフィルタの違いにより、異なる機能を有するイメージセンサとしてセンサ部２１０を構成することができる。そして、センサ部２１０から出力される電気信号に対して行う画像処理は、単位画素の構成の違いにより異なる処理を施す必要がある。通常、センサ部２１０と、画像処理部１２０とは、１つのユニットで構成されているので、画像処理部１２０が、センサ部２１０の単位画素の構成に応じた予め定められた画像処理を実行すればよい。しかし、本実施形態におけるセンサ部２１０と、画像処理部１２０とは、１つのユニットで構成されていない。すなわち、本体部１００に接続される撮像部２００又はセンサ部２１０の種類の違いにより、画像処理部１２０は、異なる画像処理を行う必要がある。

【0038】

そこで、画像処理部１２０は、センサ部２１０からの電気信号に対して、撮像部２００又はセンサ部２１０の種類に対応する予め定められた画像処理を行う。センサ部２１０は、予め定められた配列で配置された複数の画素を有する。特定部１１２は、センサ部２１０の予め定められた配列を撮像部２００又はセンサ部２１０の種類として特定してよい。画像処理部１２０は、複数の画素のそれぞれから出力される電気信号に対して、予め定められた配列に応じた画像処理を行ってよい。

【0039】

センサ部２１０は、例えば、上記の通り、１つの画素を単位画素とする配列で配置された複数の画素を有する第１センサ部（８Ｋセンサ）、または２行２列の４つ画素を単位画素とする配列で配置された複数の画素を有する第２センサ部（２×２ ４Ｋセンサ）である。そして、画像処理部１２０は、本体部１００に接続された撮像部２００のセンサ部２１０が第２センサ部の場合、２行２列の４つ画素のそれぞれから出力される電気信号を予め定められた重み付けで加算する画像処理を行う。

【0040】

画像処理部１２０は、合成処理部１２２、切替部１２４、およびデモザイク処理部１２６を含む。切替部１２４は、撮像部２００又はセンサ部２１０の種類に応じて、センサ部２１０から出力された電気信号を合成処理部１２２に入力するか、合成処理部１２２をバイパスするかを切り替える。

【0041】

合成処理部１２２は、センサ部２１０が２行２列の４つ画素を単位画素とする配列で配置された複数の画素を有する第２センサ部である場合、センサ部２１０から出力された電気信号を、単位画素を構成する２行２列の４つ画素の電気信号を加算した後、平均することで、１つの画素の電気信号として出力する。画像処理部１２０は、合成処理部１２２から出力された電気信号をＲＡＷデータとしてメモリ１３０に格納してよい。なお、センサ部２１０が、１つの画素を単位画素とする配列で配置された複数の画素を有する第１センサ部（８Ｋセンサ）である場合、画像処理部１２０は、センサ部２１０から出力された電気信号を、合成処理部１２２を介さず、そのまま、ＲＡＷデータとしてメモリ１３０に格納してよい。

【0042】

デモザイク処理部１２６は、センサ部２１０から出力されたＲＡＷデータ、または合成処理部１２２から出力されたＲＡＷデータに対してデモザイク処理を実行する。画像処理部１２０は、デモザイク処理部１２６でデモザイク処理されたデータをＪＰＥＧ、ＴＩＦＦなどの画像フォーマットでメモリ１３０に格納してよい。

【0043】

合成処理部１２２は、単位画素を構成する２行２列の４つ画素の中に、欠陥画素が存在する場合、４つの画素のうち欠陥画素以外の画素で、欠陥画素の電気信号を補完して、補完後の４つの画素の電気信号を加算した後、平均することで、１つの画素の電気信号として出力してよい。合成処理部１２２は、４つの画素のすべての画素が欠陥画素である場合、隣接する単位画素の電気信号に基づいて、その４つの画素の電気信号を補完して、その後、加算して平均した後、１つの画素の電気信号として出力してよい。

【0044】

欠陥画素は、正常な電気信号を出力できない画素である。欠陥画素は、受光光量に対して異常な画素信号を発生する画素である。欠陥画素は、例えば、いわゆる白キズ、黒キズとなる画素である。例えば、製造時において、一様照明状態を画素アレイ２１２上に形成し、予め定められた水準の電気信号が得られなかった画素を欠陥画素として、その位置情報（アドレス情報）をメモリ２３０に記憶しておいてよい。合成処理部１２２は、メモリ２３０から欠陥画素の位置情報を取得して、欠陥画素の補完を行ってよい。

【0045】

合成処理部１２２は、単位画素の４つの画素の電気信号のうち、特異点（ノイズ）となる画素の電気信号が存在する場合には、残りの画素の電気信号を加算した後、平均して、１つの画素の電気信号として出力してよい。

【0046】

単位画素を構成する４つの画素の中にＮＤフィルタが配置された画素が存在し、ＮＤフィルタ無しの画素が飽和しているとき、合成処理部１２２は、ＮＤフィルタ有りの１つの画素の電気信号をゲイン補正して、１つの画素の電気信号として出力してよい。

【0047】

単位画素を構成する４つの画素の中にＮＤフィルタが配置された画素が存在し、ＮＤフィルタ無しの画素が飽和していない場合、合成処理部１２２は、ＮＤフィルタ有りの画素の電気信号をゲイン補正した後、４つの電気信号を加算して平均した後、１つの画素の電気信号として出力してよい。

【0048】

単位画素を構成する４つの画素の中にＮＤフィルタが配置された画素が存在し、ＮＤフィルタ有りの画素が欠陥画素で、かつＮＤフィルタ無しの画素が飽和している場合、隣接する単位画素の電気信号に基づいて、その４つの画素の電気信号を補完して、その後、加算して平均した後、１つの画素の電気信号として出力してよい。

【0049】

合成処理部１２２は、単位画素を構成する４つの画素ごとに異なるゲインを乗じた後に、加算して平均した後、１つの画素の電気信号として出力してよい。これにより、ダイナミックレンジを拡大して、ノイズを低減することができる。

【0050】

センサ部２１０は、２行２列の４つ画素を単位画素として、すべての画素の電気信号を出力せず、４つの画素のうち、１つの画素、または２つの画素のみ駆動して、単位画素ごとに１つの画素または２つの画素の電気信号のみを出力してよい。この場合、合成処理部１２２は、単位画素ごとに１つの画素の電気信号を出力、または単位画素ごとに２つの画素の電気信号を加算して平均した後、１つの画素の電気信号として出力してよい。駆動させる画素の数を低減させることで、撮像処理を高速化できる。

【0051】

上記のような撮像システム５００は、移動体に搭載されてもよい。撮像システム５００は、図１０に示すような無人航空機（ＵＡＶ）に搭載されてよい。ＵＡＶ１０は、ＵＡＶ本体２０、撮像システム５００を備えてよい。撮像システム５００は、支持部４００、本体部１００、撮像部２００、及びレンズ部３００を有してよい。ＵＡＶ１０は、推進部により推進される移動体の一例である。移動体とは、ＵＡＶの他、空中を移動する他の航空機などの飛行体、地上を移動する車両、水上を移動する船舶等を含む概念である。

【0052】

ＵＡＶ本体２０は、複数の回転翼を備える。複数の回転翼は、推進部の一例である。ＵＡＶ本体２０は、複数の回転翼の回転を制御することでＵＡＶ１０を飛行させる。ＵＡＶ本体２０は、例えば、４つの回転翼を用いてＵＡＶ１０を飛行させる。回転翼の数は、４つには限定されない。また、ＵＡＶ１０は、回転翼を有さない固定翼機でもよい。

【0053】

複数の撮像装置６０は、ＵＡＶ１０の飛行を制御するためにＵＡＶ１０の周囲を撮像するセンシング用のカメラである。２つの撮像装置６０が、ＵＡＶ１０の機首である正面に設けられてよい。更に他の２つの撮像装置６０が、ＵＡＶ１０の底面に設けられてよい。正面側の２つの撮像装置６０はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の２つの撮像装置６０もペアとなり、ステレオカメラとして機能してよい。複数の撮像装置６０により撮像された画像に基づいて、ＵＡＶ１０の周囲の３次元空間データが生成されてよい。ＵＡＶ１０が備える撮像装置６０の数は４つには限定されない。ＵＡＶ１０は、少なくとも１つの撮像装置６０を備えていればよい。ＵＡＶ１０は、ＵＡＶ１０の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも１つの撮像装置６０を備えてもよい。撮像装置６０で設定できる画角は、撮像システム５００で設定できる画角より広くてよい。撮像装置６０は、単焦点レンズまたは魚眼レンズを有してもよい。

【0054】

遠隔操作装置６００は、ＵＡＶ１０と通信して、ＵＡＶ１０を遠隔操作する。遠隔操作装置６００は、ＵＡＶ１０と無線で通信してよい。遠隔操作装置６００は、ＵＡＶ１０に上昇、下降、加速、減速、前進、後進、回転などのＵＡＶ１０の移動に関する各種命令を示す指示情報を送信する。指示情報は、例えば、ＵＡＶ１０の高度を上昇させる指示情報を含む。指示情報は、ＵＡＶ１０が位置すべき高度を示してよい。ＵＡＶ１０は、遠隔操作装置６００から受信した指示情報により示される高度に位置するように移動する。指示情報は、ＵＡＶ１０を上昇させる上昇命令を含んでよい。ＵＡＶ１０は、上昇命令を受け付けている間、上昇する。ＵＡＶ１０は、上昇命令を受け付けても、ＵＡＶ１０の高度が上限高度に達している場合には、上昇を制限してよい。

【0055】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0056】

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0057】

１０ ＵＡＶ
２０ ＵＡＶ本体
６０ 撮像装置
１００ 本体部
１１０ 本体制御部
１１２ 特定部
１２０ 画像処理部
１２２ 合成処理部
１２４ 切替部
１２６ デモザイク処理部
１３０ メモリ
１５０ 保持部
２００ 撮像部
２１０ センサ部
２１２ 画素アレイ
２１４ 垂直選択回路
２１５ 画素駆動線
２１６ 水平選択回路
２１８ カラム処理部
２１９ 垂直信号線
２２０ 撮像制御部
２３０ メモリ
２５０ 保持部
３００ レンズ部
３１０ レンズ制御部
３１２ レンズ駆動部
３１４ レンズ
３２０ メモリ
４００ 支持部
４０１ 第１回転部
４０２ 第１支持部
４０３ 第２回転部
４０４ 第２支持部
４０５ 第３回転部
４１０ 支持制御部
５００ 撮像システム
６００ 遠隔操作装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】