特許 6736282 画像処理装置及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6736282

(24)【登録日】2020年7月17日

(45)【発行日】2020年8月5日

(54)【発明の名称】画像処理装置及び画像処理方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20200728BHJP

   G03B 15/00 20060101ALI20200728BHJP

   G03B 17/24 20060101ALI20200728BHJP

【ＦＩ】

   H04N5/232 290

   G03B15/00 H

   G03B17/24

【請求項の数】8

【全頁数】23

(21)【出願番号】特願2015-223666(P2015-223666)

(22)【出願日】2015年11月16日

(65)【公開番号】特開2017-92839(P2017-92839A)

(43)【公開日】2017年5月25日

【審査請求日】2018年11月7日

【前置審査】

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100109209

【弁理士】

【氏名又は名称】小林 一任

(72)【発明者】

【氏名】齊藤 陽子

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 特開２０１５−１５９５１０（ＪＰ，Ａ）

【文献】 特開２００７−０８９０８７（ＪＰ，Ａ）

【文献】 特開２０１４−２１２４１５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １７／２４

(57)【特許請求の範囲】

【請求項1】

複数の画素値より構成される画像データの中で連続的に所定値以上となる領域を軌跡として抽出する軌跡抽出部と、
上記軌跡抽出部で抽出された上記軌跡の移動状態を判別する軌跡判別部と、
上記軌跡判別部で判別された移動状態にもとづいて、上記軌跡の種類を検出する軌跡検出部を備え、
上記軌跡抽出部は、上記画像データに写った輝点の移動に基づく軌跡を抽出し、
上記軌跡判別部は、上記輝点の移動速度または移動方向の少なくとも一つに相当する上記移動状態を判別し、
少なくとも２コマ以上の画像データを比較暗合成する比較暗合成部を更に備え、
上記軌跡抽出部は、上記画像データ及び上記比較暗合成部で合成した比較暗合成画像データについてそれぞれ上記所定値以上となる領域を軌跡として抽出し、
上記軌跡判別部は、上記画像データについて抽出した軌跡が、上記比較暗合成画像データについて抽出した軌跡の画素アドレスを含むか否かによって、上記画像データの軌跡の移動状態を判別し、
上記軌跡検出部は、上記軌跡判別部の判別結果にもとづいて、上記画像データについて上記軌跡抽出部で抽出した軌跡のうち、上記比較暗合成画像データについて上記軌跡抽出部で抽出した軌跡の画素アドレスを含む軌跡を低速移動軌跡として、上記比較暗合成画像データについて上記軌跡抽出部で抽出した軌跡の画素アドレスを含まない軌跡を高速移動軌跡として、軌跡の種類を検出することを特徴とする画像処理装置。

【請求項2】

上記軌跡判別部は上記軌跡の形状から、移動速度または移動方向の少なくとも一つを検出する速度・方向検出部を備え、上記検出された移動速度または移動方向の少なくとも一つに基づいて上記軌跡の移動状態を判別し、
上記軌跡検出部は、上記軌跡判別部の判別結果にもとづいて、軌跡の種類を検出することを特徴とする請求項１記載の画像処理装置。

【請求項3】

上記軌跡判別部は上記軌跡の形状から、移動速度または移動方向の少なくとも一つを検出する速度・方向検出部と、
上記画像データ取得時のGPS情報を検出するGPS検出部と、
上記画像データ取得時の方位情報を検出する地磁気検出部と、
上記画像データ取得時の重力方向に対する方向を検出する加速度検出部と、
上記GPS情報及び上記方位情報及び上記重力方向に対する方向とデータ取得時の撮影情報にもとづいて、天体の軌跡を算出する天体軌跡算出部と、
上記軌跡判別部の検出結果と上記天体軌跡算出部の算出結果を比較する速度・方向比較部とを備え、
上記軌跡判別部は上記速度・方向比較部の比較結果にもとづいて、軌跡の移動状態を判別し、
上記軌跡検出部は、上記軌跡判別部の判別結果に基づいて、軌跡の種類を天体の軌跡、または天体に該当しない軌跡のいずれかであると検出することを特徴とする請求項１記載の画像処理装置。

【請求項4】

少なくとも２コマ以上の画像データを比較明合成して比較明合成画像データを生成する比較明合成部または加算合成して加算合成画像データを生成する加算合成部の少なくとも何れか一つと、
少なくとも２コマ以上の画像データを比較暗合成して比較暗合成画像データを生成する比較暗合成部または平均合成して平均合成画像データを生成する平均合成部の少なくとも何れか一つを備え、
上記軌跡検出部で検出した上記天体に該当しない軌跡の画素アドレスを置き換え画素アドレスとし、
上記画像データまたは上記比較明合成画像データまたは上記加算合成画像データの上記置き換え画素アドレスの画素値を、上記比較暗合成画像データまたは上記平均合成画像データの上記置き換え画素アドレスの画素値と置き換えることを特徴とする請求項３に記載の画像処理装置。

【請求項5】

少なくとも２コマ以上の画像データを比較明合成して比較明合成画像データを生成する比較明合成部または加算合成して加算合成画像データを生成する加算合成部の少なくとも何れか一つと、
少なくとも２コマ以上の画像データを比較暗合成して比較暗合成画像データを生成する比較暗合成部または平均合成して平均合成画像データを生成する平均合成部の少なくとも何れか一つを備え、
上記軌跡検出部で検出した上記低速移動軌跡の画素アドレスを置き換え画素アドレスとし、
上記比較暗合成画像データまたは上記平均合成画像データの上記置き換え画素アドレスの画素値を上記画像データまたは上記比較明合成画像データまたは上記加算合成画像データの上記置き換え画素アドレスの画素値と置き換えることを特徴とする請求項１に記載の画像処理装置。

【請求項6】

少なくとも２コマ以上の画像データを比較明合成して比較明合成画像データを生成する比較明合成部または加算合成して加算合成画像データを生成する加算合成部の少なくとも何れか一つと、
少なくとも２コマ以上の画像データを比較暗合成して比較暗合成画像データを生成する比較暗合成部または平均合成して平均合成画像データを生成する平均合成部の少なくとも何れか一つを備え、
上記軌跡検出部で検出した上記高速移動軌跡の画素アドレスを置き換え画素アドレスとし、
上記画像データまたは上記比較明合成画像データまたは上記加算合成画像データの上記置き換え画素アドレスの画素値を、上記比較暗合成画像データまたは上記平均合成画像データの上記置き換え画素アドレスの画素値と置き換えることを特徴とする請求項１に記載の画像処理装置。

【請求項7】

複数の画素値より構成される画像データの連続的に所定値以上となる領域を軌跡として抽出する軌跡抽出ステップと、
上記軌跡抽出ステップで抽出した上記軌跡に対して、移動状態を判別する軌跡判別ステップと、
上記軌跡判別ステップにより判別された移動状態にもとづいて、上記軌跡の種類を検出する処理を行う軌跡検出ステップを備え、
上記軌跡抽出ステップは、上記画像データに写った輝点の移動に基づき軌跡を抽出し、
上記軌跡判別ステップは、上記輝点の移動速度または移動方向の少なくとも一つに相当する上記移動状態を判別し、
少なくも２コマ以上の画像データを比較暗合成して比較暗合成画像データを生成する比較暗合成ステップを更に備え、
上記軌跡抽出ステップは、上記画像データ及び上記比較暗合成画像データについてそれぞれ所定値以上となる領域を軌跡として抽出し、
上記軌跡判別ステップは、上記画像データについて抽出した軌跡が、上記比較暗合成画像データについて抽出した軌跡の画素アドレスを含むか否かによって、上記画像データの軌跡の移動状態を判別し、
上記軌跡検出ステップは、上記判別された軌跡の移動状態にもとづいて、上記画像データについて抽出した軌跡のうち、上記比較暗合成画像データについて抽出した軌跡の画素アドレスを含む軌跡を低速移動軌跡として、上記比較暗合成画像データについて抽出した軌跡の画素アドレスを含まない軌跡を高速移動軌跡として、軌跡の種類を検出する
ことを特徴とする画像処理方法。

【請求項8】

少なくとも２コマ以上の画像データを比較明合成して比較明合成画像データを生成する比較明合成処理または加算合成して加算合成画像データを生成する加算合成処理の少なくとも何れか一つの合成処理を行う第１の合成処理ステップと、
少なくとも２コマ以上の画像データを比較暗合成して比較暗合成画像データを生成する比較暗合成処理または平均合成して平均合成画像データを生成する平均合成処理の少なくとも何れか一つの合成処理を行う第２の合成処理ステップと、
上記軌跡検出ステップで検出した上記高速移動軌跡の画素アドレスを置き換え画素アドレスとする置き換え画素アドレス登録ステップと、
上記画像データまたは上記比較明合成画像データまたは上記加算合成画像データの上記置き換え画素アドレスの画素値を、上記比較暗合成画像データまたは上記平均合成画像データの上記置き換え画素アドレスの画素値と置き換える処理をする置き換え処理ステップとを有することを特徴とする請求項７記載の画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像データを分析し、さらにはその分析結果を用いて画像データを合成する画像処理装置及び画像処理方法に関する。

【背景技術】

【0002】

長時間撮影することで、地球の自転に伴う星の移動の軌跡や花火、蛍などの光の軌跡を1枚の写真に写す撮影手法が一般的に行われている。
近年市販されているデジタルカメラでは連続的に撮影した複数コマの画像に対して、デジタルカメラ内での画像処理機能や、撮影後にPC（Personal Computer）を用いた画像処理ソフトによる画像合成機能を用いて加算合成や比較明合成処理を施して、上述した光の軌跡を撮影した1枚の写真として合成する方法が行われている。
たとえば、特許文献１では、連続的に撮影した複数コマの画像に比較明合成処理を施し、光の軌跡を撮影できるカメラが提案されている。このカメラは、PCなどを用いて撮影後に合成処理を行うことに比べて、カメラが撮影をしながら自動で合成処理を行うため、簡単に光の軌跡を撮影することができる。一方、PCによって撮影後に合成処理を行う場合には、合成するコマ数を変更して合成することで好みの長さの軌跡が写った写真に合成したり、カメラに内蔵された画像処理プログラムにはない様々な画像処理機能を使用することができ、詳細な画質調整で撮影者の好みに合った写真を生成することができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開2013-62740号公報

【発明の開示】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１のカメラでは、例えば星の光の軌跡を被写体として撮影中に、被写体に飛行機や人工衛星など、星とは異なる光の軌跡が写り込んでしまうと、星の光の軌跡を主要被写体として撮影したいと考えている撮影者にとっては不本意な写真になってしまう。また星だけでなく、蛍や花火など星以外の光の軌跡を主要被写体として撮影して印象的な写真を合成しようとする場合についても同様である。また、撮影者によっては、光の軌跡毎に異なる画像調整をしたい（例えば、背景や星の光などは変更せず、花火の軌跡はより色が目立つように画質調整を行う）という要望を持っているが、軌跡毎に区別することができないため、この要望には対応できていない。

【0005】

本発明の目的は、上記課題に鑑み、画像に写った様々な光の軌跡を軌跡の種類に応じて検出することができる画像処理装置及び画像処理方法を提供することである。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明の画像処理装置は、複数の画素値より構成される画像データの中で連続的に所定値以上となる領域を軌跡として抽出する軌跡抽出部と、上記軌跡抽出部で抽出された上記軌跡の移動状態を判別する軌跡判別部と、上記軌跡判別部で判別された移動状態にもとづいて、上記軌跡の種類を検出する軌跡検出部を備え、上記軌跡抽出部は、上記画像データに写った輝点の移動に基づく軌跡を抽出し、上記軌跡判別部は、上記輝点の移動速度または移動方向の少なくとも一つに相当する上記移動状態を判別し、少なくとも２コマ以上の画像データを比較暗合成する比較暗合成部を更に備え、上記軌跡抽出部は、上記画像データ及び上記比較暗合成部で合成した比較暗合成画像データについてそれぞれ上記所定値以上となる領域を軌跡として抽出し、上記軌跡判別部は、上記画像データについて抽出した軌跡が、上記比較暗合成画像データについて抽出した軌跡の画素アドレスを含むか否かによって、上記画像データの軌跡の移動状態を判別し、上記軌跡検出部は、上記軌跡判別部の判別結果にもとづいて、上記画像データについて上記軌跡抽出部で抽出した軌跡のうち、上記比較暗合成画像データについて上記軌跡抽出部で抽出した軌跡の画素アドレスを含む軌跡を低速移動軌跡として、上記比較暗合成画像データについて上記軌跡抽出部で抽出した軌跡の画素アドレスを含まない軌跡を高速移動軌跡として、軌跡の種類を検出する。

【発明の効果】

【0007】

本発明によれば、合成画像に写った様々な光の軌跡を検出することができる画像処理装置及び画像処理方法を提供することができる。

【発明を実施するための最良の形態】

【0008】

（実施形態の概要）
以下に添付図面を参照して、この発明に係る画像処理装置の実施の形態を詳細に説明にする。以下に示す実施形態は本発明の画像処理装置を用いたデジタルカメラに適用した例である。
（第１実施形態）
まず、本実施形態に係るデジタルカメラの構成について図１を用いて説明する。図１はデジタルカメラ内部のブロック図を示したものである。本発明のデジタルカメラ１は撮像部１２、操作部１０、表示部１１、画像処理部１４、記録部１５、制御部１３を有する。撮像部１２は、図示はしないが、レンズ、シャッター、撮像素子から構成される。レンズは撮像素子に被写体像を結像する撮影光学系である。また、レンズの内部には絞り機構を備えており、絞り機構により絞り開口量を調節することによって、撮像素子に入射する光量を調節する。シャッターはレンズと撮像素子の間に配置されており、シャッターの開閉状態を切り替えることにより撮像素子への光の遮光、入射の制御、および入射時間（シャッター速度）を制御する。撮像素子はCCDイメージセンサやCMOSイメージセンサであり、2次元状に配置された多数の画素に入射した光学像を、個々の画素毎にその光の強さに応じた電気信号（映像信号）に変換する。そしてこの個々の画素毎に対応する電気信号をデジタル出力値に変換して、画像データとして出力する。操作部１０は、図示はしないが各種の釦や操作メニューを選択するダイヤル操作部や、表示部１１に一体に構成されたタッチパネルなどによる操作入力手段であり、撮影者がデジタルカメラ１を操作するための入力IF(インターフェイス)に相当する。表示部１１は液晶パネルや有機EL(Electro Luminescence)ディスプレイであって、デジタルカメラの操作メニューや、ライブビュー撮影時におけるライブビュー画像の表示、および撮影画像を再生表示する。画像処理部１４は画像合成部１６と画像分析部１７と画素アドレス置き換え部１８と現像処理部１９を備える。画像合成部１６は撮像部１２で撮影された複数コマの画像データや、記録部１５に保存された複数コマの画像データを合成処理し、合成処理後の画像データである合成画像データを生成する。画像合成部１６は、複数の画像合成処理を行う手段を含むものであって、具体的には、比較明合成部１６１、比較暗合成部１６３、加算合成部１６２、平均合成部１６４を備える。
比較明合成部１６１は合成する複数コマの画像データに対して、それぞれの同じアドレスの画素データの出力を比較して、比較により一番大きい画素データの出力を合成後の画像データの画素出力とする合成処理を施す。（画素出力が等しい場合はその出力を合成後の画像データとする。）
比較暗合成部１６３は合成する複数コマの画像データに対して、それぞれの同じアドレスの画素データの出力を比較して、比較により一番小さい画素データの出力を合成後の画像データの画素出力とする合成処理を施す。（画素出力が等しい場合はその出力を合成後の画像データとする。）
加算合成部１６２は合成する複数コマの画像データに対して、それぞれの同じアドレスの画素データを加算した値を合成後の画像データの画素出力とする合成処理を施す。
平均合成部１６４は合成する複数コマの画像データに対して、それぞれの同じアドレスの画素データを平均した値を合成後の画像データの画素出力とする合成処理を施す。
また画素アドレス置き換え部１８は、後述する画像分析部１７の分析結果によって、合成前の画像データ（撮像部１２から逐次取得される画像データに相当）または画像合成部１６が生成した合成後の画像データから、不要な光の軌跡を背景の画素出力に置き換える処理を施す。詳しい動作については後述する。

【0009】

画像分析部１７は画素アドレス抽出部１７１、グループ割付部１７２、軌跡検出部１７３、軌跡分析部１７４からなる。画素アドレス抽出部１７１は、合成前の画像データまたは画像合成部１６が生成した合成後の画像データから指定した輝度以上の画素を抽出する。グループ割付部１７２は画素アドレス抽出部１７１で抽出された画素のうち、この画素に隣接する画素群を一つのグループとして割り付ける処理を行う。画素アドレス抽出部１７１とグループ割付部１７２は、特許請求の範囲に記載の軌跡抽出部として機能する。 軌跡分析部１７４はグループ割付部１７２で割り付けた各グループを後述する方法で分析する。軌跡分析部１７４は、特許請求の範囲に記載の軌跡判別部として機能する。軌跡検出部１７３は軌跡分析部１７４の分析結果にもとづいて、合成前の画像データまたは画像合成部１６によって合成された比較明合成画像データまたは加算合成画像データに写った複数の軌跡を検出する。軌跡検出部１７３は、特許請求の範囲に記載の軌跡検出部として機能する。

【0010】

現像処理部１９は、撮像部１２で読み出された画像データや画像合成部１６で合成された合成画像データに対して、デモザイキング処理や、ガンマ補正処理、ノイズ低減処理、ホワイトバランスゲイン印加、表示部１１の表示デバイスの画像解像度に合わせて画像サイズに変更するリサイズ処理などの一般的なデジタルカメラで行われる様々な画像処理を施す。

【0011】

記録部１５はFlashメモリやSDカード、CFカード（登録商標）等による、デジタルカメラ１に対して着脱可能な不揮発性メモリと、および揮発性メモリであるDRAMメモリから構成される。記録部１５は、撮像部１２で撮影した画像データや画像合成部１６で合成した合成画像データなどの画像データを記憶、保存する画像データ記録部１５１と、画像分析部１７で検出した抽出画素アドレスや後述する画素アドレス置き換え部１８にて不要な光の軌跡を除去する際のその不要な光の軌跡の画素アドレスなどの画素のアドレスを記録する画素アドレス記録部１５２と、制御部１３によってデジタルカメラ各部を制御するための制御プログラムを保持する制御プログラム記録部１５３を備える。

【0012】

制御部１３はCPU(Central Processing Unit)であり、 操作部１０を介して入力された撮影者の操作指示や制御プログラム記録部１５３に記録されている制御プログラムに従って、カメラ各部の制御を統括的に行う。具体的な例として、撮像部１２に対する撮像制御と、画像処理部１４に対する処理内容の指示と、記録部１５に対する動作制御等を行う。更に、画像合成部１６と記録部１５の間には、データ信号の伝達経路としてバスラインが接続されている。
（第１実施形態の作用説明）
次に、本発明のデジタルカメラの動作について図２から図６を用いて説明する。本実施の形態の動作シーケンスは、連続的に撮像部１２から画像データを撮影して、撮影した複数コマの画像データを合成する連続撮影モードが選択されている場合の動作を示している。まず制御部１３の指示によって撮像部１２が連続撮影を開始し、撮像部１２から画像データが読み出され、読み出された画像データは、画像データ記録部１５１に保存される（S1）。
次に制御部１３は、撮像部１２から読み出されたNコマ目の画像が連続撮影開始後２コマ目以降の撮影画像データか否かを判定する（S2）。S2の判定処理において、もし撮影画像データが１コマ目の画像データであれば（NO）、次の処理として、2コマ目以降の画像データが読み出されるまで以降（S3,S7以降）の処理は行わない。（再度上述S1の処理に戻る）。一方、撮像部１２から2コマ目以降の画像データが読み出されると(YES)、次の処理は、画像処理部１４において以降のS401〜S51またはS405〜S52の処理とS7〜S53の処理を並行して実施する。
まずS3〜S51及びS3〜S52の動作について説明する。まずS3の処理で、読み出された画像が２コマ目であったとき(YES)は、１コマ目の画像について、画素アドレス抽出部１７１で明るい画素アドレスを抽出する。具体的にはあるスレッシュレベル以上の出力となる画素の画素アドレスを抽出する（S401）。ここでスレッシュレベルは撮影者が操作部１０を介して指定しても良いし、または、カメラ内で事前に設定された初期値を使用しても良い。S401の処理では、明るい画素アドレスの抽出は例えば2次元状に配列された画素出力データについて一番左上の画素から検査を開始し、右側に順次検査をしていく。そして、1行目の検査が終了したら、次の行について同様に左端の画素から順次検査をしていき、最後の画素アドレスである一番下の行の右端の画素まで、全画素について検査する。さらに、最後の画素アドレスまで検査が完了すると（S402）、２コマ目の画像データについてS401及びS402と同様の処理で明るい画素アドレスを抽出する（S403、S404）。次に、１コマ目、２コマ目の画像データそれぞれについて、抽出された画素アドレスについてグループ割付部１７２で、グループ割付処理を行う（S51）。
ここで、グループ割付処理（S51）の詳細な動作シーケンスを、図３を用いて説明する。まず抽出された複数の明るい画素アドレスの中で、座標がもっとも小さい画素アドレスにグループＧ１を割り付ける（S31）。（具体的にはX座標が最も小さいアドレスについて、Xアドレスが同じ画素が複数ある場合は、さらにY座標が小さいものを優先して割付処理を行っていくようにする）。次に、グループＧ１に割付けた画素アドレスの上下左右及び斜めの隣接画素について、グループ割付けがまだされておらず、抽出された明るい画素があるかを探索する（S32）。
S32の探索処理において、隣接画素に明るい画素があった場合（S33：YES）、この隣接画素にも同じグループＧ１を割り付ける（S35）。次の処理として、グループ割付されていない明るい画素が残っているか否かを判定処理する（S36）。この判定処理において、グループ割付されていない明るい画素がある場合（S36：NO）は、再度S32の処理に戻り、引き続きＧ１を割付けた明るい画素の上下左右斜めの隣接画素について、まだグループ割付けをされていない明るい画素があるかを検査する（S32）。この検査処理において、まだグループ割付けをされていない明るい画素がある場合については（S33：YES）、その画素アドレスにグループＧ１を割り付ける。一方S33の検査処理において、隣接する画素がない場合は(S33：NO)、まだグループ割付けをされていない明るい画素アドレスのうち、X座標がもっとも小さい画素アドレスに、新たなグループとしてグループG２を割り付ける処理に移行する(グループG１の次はグループG2、Gmの後はGm+1を割り付けていく（mは１以上の正数） )（S34）。G2についてもG1同様にG2に割り付けた画素アドレスの隣接画素についてグループ割付けをまだされておらず、明るい画素があるかを検査する。このようにして、抽出された明るい画素アドレス全てについてグループ割付けを行う。全ての抽出された明るい画素アドレスについてグループ割付けが完了したところで（S36：YES）、グループ割付処理が完了する。

【0013】

次に図２のフローチャートに戻り、S3〜S52のシーケンスについて説明する。３コマ目以降の処理の場合(S3：NO)は、撮像部から読み出された一コマの画像データ（Nコマ目の画像データ）について、S403〜S51と同様にして、明るい画素を抽出し（S405）、抽出した明るい画素についてグループ割付処理を行う（S52）。また、S3〜S51またはS3〜S52までの処理と平行して実行するS7〜S53の処理について説明する。まず画像データ記録部１５１に保存されているＮコマ目の読み出し画像データとN-1コマ目の読み出し画像データに対して、比較暗合成部１６３で画像データを合成する（S7）。
ここで比較暗合成処理について説明する。比較暗合成とは、合成する複数の画像データの同じアドレスの出力を比較して、もっとも小さい出力を合成後の画素出力とする画像合成方法である。

【0014】

Nコマ目の画像データのアドレス( x , y )の画素出力をN( x , y)
N-1コマ目の画像データのアドレス( x , y )の画素出力をN-1( x , y)
Nコマ目とN-1コマ目の画像データを比較暗合成した合成画像データのアドレス( x , y )の画素出力をN〜N-1 compD( x , y)とすると、比較暗合成処理は数式１で表せる。

【0015】

（数１）
N〜N-1 compD( x , y) = min [ N( x , y) , N-1( x , y) ]
ここで、min [ a , b ] は数値a及び数値bのうち、小さい方の値を出力する関数と定義する。
次に比較暗合成画像N〜N-1 compD( x , y)について画素アドレス抽出部１７１で明るい画素を抽出する(S407)。具体的には所定のスレッシュレベル以上の出力となる画素の画素アドレスを抽出する。ここでスレッシュレベルはS401、S403、S405の処理で用いる値と同じ値を用いても良いし、撮影者が操作部１０を通して指定した値を用いても良いし、または、カメラ内で事前に設定された値を使用しても良い。次にS402、S404、S406同様に、画像の左上から検査を開始して、最後の画素となる画像の右下までについて明るい画素か否かを検査する。検査が完了する（S408：YES）と、比較暗合成画像N〜N-1 compD( x , y)の明るい画素について、グループ割付部１７２でS51、S52及び図３で示した方法と同様の方法でグループ割付けを行う(S53)。
次に、Nコマ目の画像と、比較暗合成画像N〜N-1 compD( x , y)についてグループ割付けした各グループを光の軌跡として、軌跡分析部１７４で軌跡の移動速度を分析し、軌跡検出部１７３で移動速度の速いものと遅いもの（動きのないものを含む）と、を検出する（S8）。具体的な方法を、図４を用いて説明する。
ここで、Nコマ目の画像についてグループ割付けした各グループを、
G1-N, G2-N, G3-N, G4-N, G5-N,・・・,Gm-N (mは1以上の整数、NはNコマ目を示す)
ここで、NとN-1コマ目の比較暗合成画像についてグループ割付けした各グループを、
G1-NcompD,G2-NcompD, G3-NcompD, ・・・,Gl-NcompD (lは1以上の整数)
と定義する。
まず、N=2つまり２コマ目の処理であった場合は(S41：YES)、1コマ目の画像データと2コマ目の画像データを比較明合成部１６１で合成した比較明合成画像データまたは、加算合成部１６２で合成した加算合成画像データをNコマ目の画像データとして以降の処理を行う(S42)。3コマ目以降の処理であった場合には（S41：NO）、合成を行っていないNコマ目の画像データを処理する。
次に、軌跡分析部１７４でNコマ目の最初のグループG1-Nに含まれる画素アドレスについて、比較暗合成画像の全ての抽出グループ（G1-NcompD〜Gl-NcompD）の何れかの画素アドレスを含んでいるかを分析する(S44)。ここで、比較暗合成画像データで抽出された明るい画素のグループの画素アドレスを含んでいるという分析結果が得られた場合（S44：YES）は、このグループG1-Nをを軌跡検出部１７３で低速で移動する軌跡“低速度軌跡“であると検出する（S45）。
一方S44の検査処理において、比較暗合成画像の抽出グループの画素アドレスを含んでいないと分析された場合（S44：NO）は、このグループG1-Nを軌跡検出部１７３で高速で移動する軌跡“高速度軌跡“であると検出する(S46)。この方法で低速または高速で移動する軌跡と検出する理由については後述する。次のグループG2-Nの画素アドレスについて同様に比較暗合成画像データの全ての抽出グループの何れかの画素アドレスを含んでいるかを検査する(S44)。この検査をNコマ目の全てのグループについて実施し、”低速度軌跡”または”高速度軌跡”のいずれかとして検出する。Nコマ目の最後のグループまで検出を終えると（S47：YES）、次の処理に移行する。
次にNコマ目画像データの各グループGｌ-N（ｌは1以上の整数）について、“高速度軌跡“に検出されているかどうかを検査する（S48）。 S48の検査処理において、”高速度軌跡”に検出された（S48：YES）画素グループの画素アドレスをNコマ目画像データの置き換え画素アドレスとして画素アドレス記録部１５２に登録する（S49）
一方、S48の検査処理において、“低速度軌跡“に検出されている画素グループについては特に登録せずに次の画素グループの検査を行う（S410以降の処理に移行）。この処理では詳細は後述するが、S48の検査処理において、”高速度軌跡”に検出された高速で移動する光の軌跡（飛行機などの軌跡）を最終的な合成画像から除外する対象として、画素アドレスを画素アドレス記録部１５２に登録する。Nコマ目の画像データの最後のグループまで検査を終了したら（S410：YES）、軌跡の検出を終了する。
ここで、N=２の場合には、1コマ目と2コマ目の画像データの合成画像データをNコマ目の画像として処理する旨説明したが、1コマ目、2コマ目のそれぞれの画像データそれぞれについて、軌跡分析、検出処理を行い、置き換え画素アドレスの登録を行ってもよい。
ここで、比較暗合成画像データのグループを含んでいると低速度で移動する軌跡であると判断する理由について図５を用いて説明する。例えば星の軌跡（図５-aのST）を撮影中に飛行機の光の軌跡（図５-aのAP）が写りこんだ場合を例示する。図５-aと図５-bは連写して撮影したN-1コマ目とNコマ目の画像を示している。一般的に地球の自転による星の移動と比べて飛行機の移動速度は速い。また、デジタルカメラで連写撮影した場合にはN-1コマ目の撮影終了とNコマ目の撮影開始までに撮影を行っていない未露光期間が発生する。
具体的には、N-1コマ目撮影終了後に一度メカシャッタを閉じて、Nコマ目の撮影開始時に開く動作を行うため、メカシャッタを閉じて、撮影をしていない期間が約0.1sec程度発生し、これが未露光期間となる。
ここで画像図５-cに写った飛行機の軌跡が写った部分を拡大して表示した図５-dと、星の光の軌跡が写った部分を拡大して表示した図５-eに示す。さらに図５-d、図５-eには、仮想的にN-1コマ目、Nコマ目に写るそれぞれの光の軌跡を表示する。まず図５-dのN-1コマ目に写る飛行機の軌跡AP-N-1、Nコマ目に写る飛行機の軌跡AP-Nでは、飛行機は早く移動するため、未露光期間によって、AP-N-1とAP-Nの間に軌跡の途切れ部分が発生する。
一方、図５-eでは星の移動は非常にゆっくり移動するためN-1コマ目に写る星の軌跡ST-N-1とNコマ目に写る星の軌跡ST-Nの間は途切れることなく、重複する部分ST-compDが発生する。N-1コマ目とNコマ目の画像データを比較暗合成すると図５-fに示すように、飛行機の軌跡については背景の夜空の明るさが反映されるため、軌跡が写らない。
一方、星の軌跡についてはN-1コマ目とNコマ目の星の軌跡のうち重複する部分（ST-compD）が明るい点として写る。星の軌跡について重複しない部分については、比較暗合成すると背景の夜空の明るさが反映される。このようにして、移動速度の遅い星の軌跡については、比較暗合成すると軌跡の重複部分が明るく写る。一方、移動速度の速い飛行機の光の軌跡は写らない。
図４に示した軌跡の検出は、この現象を利用して、比較暗合成画像データに写った明るい画素のグループ（つまりN-1コマ目とNコマ目の軌跡の重複部分）を含む明るい画素グループを低速度で移動する軌跡（星の軌跡やその他移動しない明るい被写体）、それ以外のグループを高速で移動する軌跡（飛行機など光の軌跡）として検出している。
次に登録した合成画像データを作成する（図２のS9）。合成画像データを生成する処理の詳細なシーケンスを図６で説明する。まず、２コマ目の画像データの処理であった場合（S61：YES）は、
１コマ目の各画素アドレスと画素アドレス記録部１５２に記録された１コマ目と２コマ目の合成画像について登録した置き換え画素アドレスを比較処理し、各画素アドレスが置き換え画素アドレスと一致するか否かを検査する（S621）。この検査処理の結果、両者のアドレスが一致する画素は画素アドレス置き換え部１８にて、この画素の出力を1コマ目と2コマ目の比較暗合成画像1〜2 compD( x , y)の同じ画素アドレスの出力に置き換える(S622)。次に、画素アドレス記録部１５２に登録した全ての置き換え画素アドレスの置き換えが完了したら（S623：YES）、2コマ目の画像データについてもS621〜S623と同様にして置き換え画素アドレスの画素出力の置き換えを行う（S631〜633）。次に、画素アドレス記録部１５２に登録した全ての置き換え画素アドレスの置き換えが完了したら（S633）、次の処理に移行する。画素出力の置き換えをした1コマ目の画像データと2コマ目の画像データを合成する（S65）。ここで合成とは、光の軌跡を合成画像の残すための合成処理であって、加算合成部１６２による加算合成処理や比較明合成部１６１による比較明合成処理を行うものである。合成方法の詳細については後述する。合成が完了すると合成画像データを累積合成画像データとして画像データ記録部151に記録し、次のコマ（N=3）との合成に使用する。
次に、N≧３つまり３コマ目以降（S61：NO）の処理について説明する。Ｎコマ目の各画素アドレスと画素アドレス記録部１５２に記録されたNコマ目の置き換え画素アドレスが一致するか否かを比較する（S642）。この比較処理の結果、両者のアドレスが一致する場合は、画素アドレス置き換え部１８にて、この画素の出力をNコマ目とN-1コマ目の比較暗合成画像N〜N-1 compD( x , y)の同じ画素アドレスの出力に置き換える(S642)。
次に、画素アドレス記録部１５２に登録した全ての置き換え画素アドレスの置き換えが完了したら（S643：YES）、次の処理に移行する。画素出力の置き換えをしたＮコマ目の画像データと画像データ記録部１５１に保存された１コマ目からN-1コマ目までの累積合成画像データを合成する（S66）。ここでの合成とは、S65同様に加算合成または比較明合成である。合成が完了すると合成画像データを累積合成画像データとして画像データ記録部151に保存し、次のコマ（N+1）との合成に使用する。
ここで、加算合成と比較明合成について詳細を説明する。加算合成とは合成する複数の画像データの同じアドレスの画素出力を加算した出力を合成後の画素出力とする合成方法であって、背景の明るさも含めて画像全体が合成する毎に明るくしていく処理であり、合成する枚数を調節することで光の軌跡の長さと合わせて画像全体の明るさを調整することができる。
具体的には、Hコマ目の画像データのアドレス( x , y )の画素出力をH( x , y)
H-1コマ目とHコマ目の加算合成画像データのアドレス( x , y )の画素出力をH〜H-1compS(x,y)とすると、加算合成は数式２で表せる。

【0016】

（数２）
H〜H-1compS(x,y) = H-1(x,y) + H(x,y)
比較明合成とは合成する複数の画像データの同じアドレスの画素出力の大小を比較し、大きい方の出力を合成後の画素出力とする合成方法である。比較明合成の合成処理を用いると、合成前の各コマを同じ露出で撮影すれば、合成するコマ数が増えても各コマで明るさの変わらない背景部分の明るさはそのままで、光の軌跡だけが延びていく。この合成処理では、加算合成とは異なり、背景の明るさを気にすることなく、好みの長さの光の軌跡を撮影できる合成方法である。
具体的には、Hコマ目とH-1コマ目の比較明合成画像データのアドレス( x , y )の画素出力をH〜H-1compB(x,y)とすると、数式３で表せる。

【0017】

（数３）
H〜H-1compB(x,y) = max [ H-1(x,y) , H(x,y) ]
ただし、max[a,b] は、数値aと数値bで大きい方の値を出力とする関数と定義する。
合成処理手段として、加算合成を行うか、比較明合成を行うかまたはその両方を並行して同時に行うかは撮影者が操作部１０を介して設定することができるようにカメラに制御プログラムを記録部１５に記録しておく。

【0018】

このようにして、Nコマ目の合成を行うまでには、1コマ目からN-1コマ目までそれぞれの画像データについて置き換え画素アドレスの置き換えが行われた（S622、S632、S642）画像データ同士の画像合成が行われる。この処理により、1コマ目からN-1コマ目までの累積合成画像データと、（置き換え画素アドレスの置き換えが行われた）Nコマ目の画像データを合成して、１コマ目からNコマ目までの合成画像データを生成する（S65、S66）。合成が完了したら、画像データ記録部１５１に１コマ目からNコマ目までの累積合成画像データとして記録する(この累積合成画像データを続くN＋１コマ目との合成に使用する)。

【0019】

ここで、画像データ記録部１５１への画像データの記録としては、1コマ目からNコマ目までの合成画像データのみを保存しても良いし、合わせて1コマ目からNコマ目までの各画像データや合成途中の各合成画像データを保存しても良い。
例えば1コマ目からNコマ目までの各画像データを画像データ記録部１５１に保存すれば、撮影終了後に好きな画像データを選択して合成することができるため、撮影者の好みの合成画像データが生成できる。また、合成途中の画像データを記録しておけば撮影後に好みの軌跡の長さの合成画像データを選択することができる。一方、1コマ目からNコマ目までの合成画像データのみを記録する場合には、記録部に記録するデータ量を小さくすることができ、例えば撮影の途中でメモリ容量が足りなくなるなどの問題が発生しなくなる。

【0020】

また、図６のS622、S632、S642においては、置き換え画素アドレスに比較暗合成画像データの出力に置き換えする方法について説明したが、平均合成部１６４で合成した平均合成画像データの出力で置き換えを行ってもよい。平均合成する複数の画像データの同じアドレスの画素出力の平均値を合成後の画素出力とする合成方法である。具体的には、
Hコマ目とH-1コマ目の平均合成画像データのアドレス( x , y )の画素出力をH〜H-1compA(x,y)とすると、数式４で表せる。

【0021】

（数４）
H〜H-1compA(x,y) = ave[ H-1(x,y) , H(x,y) ]
ただし、ave[ a , b ] は、数値aと数値bの平均値を出力とする関数と定義する。
Nコマ目とN-1コマ目の平均出力で置き換えることで、光の軌跡よりも背景の明るさに近い出力で置き換えをすることができるので飛行機の光の軌跡を目立たなくすることができ、比較暗合成画像と同様に飛行機の光の軌跡を合成画像から除外する効果がある。例えば、画像合成部１６をASIC(Application Specific Integrated Circuit)などの内部回路の書き換えが不可能なICを用いてデジタルカメラを構成する必要がある場合に、使用するASICが平均合成処理には対応しているが、比較暗合成には対応していない場合などには、ASICに機能搭載している平均合成処理で置き換え画素アドレスの置き換え処理を行うことが可能になる。

【0022】

上述による合成が完了すると（図２のS9）、撮影が完了していなければ（S10：NO）次の画像であるN+1コマ目の画像データについて同様の処理（S1からS9の処理）を行う。撮影者が操作を介して撮影が完了すれば（S10：YES）、Nコマ目の画像の処理を完了したところで、撮影及び画像合成処理を終了する。

【0023】

（第１実施形態の効果説明）
このように、本実施形態においては、光の軌跡の移動速度によって、高速で移動する光の軌跡と低速度で移動する光の軌跡を検出することができる。また、検出した光の軌跡について、高速に移動する光の軌跡に相当する画素アドレスを背景の明るさに置き換えることにより、合成画像データから高速に移動する軌跡を除外することができる。

【0024】

なお、本実施例では高速に移動する飛行機の軌跡を除外する方法について説明したが、これに限ることはなく、合成画像データから低速な光の軌跡を除外するようにしても良い。これにより、例えば星の光の軌跡や動かない光（建物の光）を合成画像データから除去して、高速に移動する飛行機の光の軌跡のみを合成画像データに写したいと思う撮影者の要望に応えることができる。この場合には、図４のS45からS46の処理で、“低速度軌跡“に検出されたグループ（S45：NO）を置き換え画素アドレスに登録して（S46）、”低速度軌跡”を合成画像から除外するように置き換え処理を行えばよい。

【0025】

また、本実施例では、一コマ毎に軌跡の検出、合成処理を行う方法について説明した。1コマ毎に合成処理を行うことで、例えば、合成の途中経過の画像データを撮影の経過として、表示部１１に表示することで撮影者が撮影をしながら撮影経過を確認することができるが、これに限られない。
例えば、Iコマ毎（例えばIは2以上の整数）に、Iコマの画像データの比較暗合成画像データを用いて、Iコマの比較明合成画像データまたは加算合成画像データについての軌跡の検出を行い、画素アドレスの置き換えを行うようにしても良い。このようにすることで、一コマ毎に処理を行う場合に比べて、処理の回数を減らすことができるので、デジタルカメラ内の各部の駆動回数を減らして電池の消耗を低減することができたり、検出処理、画像合成処理が連写撮影の処理に間に合わず、処理が行えなくなる（Nコマ目の合成処理が終わる前にN+1コマ目が読み出され、N+1コマの処理が間に合わなくなる）といった場合に、処理が間に合うようにすることができる。
またIを撮影した全コマ数とすることもできる。この場合には全コマの撮影が完了したところで、全コマの比較暗合成画像データと比較明合成画像データまたは加算合成画像データで軌跡を検出し、画素アドレスの置き換え処理を行うことでもより少ない処理回数で同様の効果を奏する。

【0026】

また、本実施形態では飛行機とそれ以外の軌跡（星などの低速度移動軌跡や建物の光などの動かない光）を検出する方法について述べたが、これ以外の様々な光の軌跡の検出に応用可能である。例えばN-1コマ目とNコマ目の撮影間隔はカメラの制御プログラムによって変更可能であるので、検出したい光の移動速度の差によって、撮影間隔を調整して撮影した複数コマの画像について本実施の方法を用いれば、例えば星の軌跡と花火の軌跡の検出、蛍の軌跡と星の軌跡の検出などにも応用することができる。これと同様に、例えばN-1コマ目とN+1コマ目の画像データを使用して軌跡の検出を行うようにしても、撮影間隔を長くして連写した場合と同じ効果を得ることができる。

【0027】

また、本実施形態では軌跡の写った加算合成また比較明合成画像データから不要な軌跡を除外する方法について説明したが、これに限られず、光の軌跡が写っていない平均合成画像データや比較暗合成画像データにたいして、必要な光の軌跡を加えるように画素を置き換えてよい。その場合には、必要な光のグループの画素アドレスを置き換え画素アドレスとして記録し、置き換え画素アドレスに加算または比較明合成した画素データの出力で置き換えるようにすることで実現できる。

【0028】

また、本実施形態では検出した光の軌跡のグループのうち、“低速度軌跡“のグループの画素アドレスを置き換え画素アドレスとして記録したが、これに限らず、”低速度軌跡“以外の軌跡グループの画素アドレスも“低速度軌跡“のグループとは別に画素アドレス記録部１５２に記録しても良い。このようにすることで撮影後に撮影者の判断によって、好みの軌跡グループを合成画像から除外したり、加えたりすることができるようになり、多様な撮影者の様々な意図に合わせた合成画像データを生成することができるようになる。

【0029】

また本実施例では、画素アドレス抽出部１７１で抽出された明るい画素についてグループ割付部１７２で隣接する画素群を一つのグループとして処理する方法について説明したが、これに限られない。デジタルカメラに用いられる一般的なイメージセンサはR(赤)、G（緑）、B（青）のフォトダイオード上のカラーフィルタが交互に配置された（それぞれR画素、G画素、B画素）ベイヤ配列で配置されている。RGB各色のカラーフィルタは被写体の色によって感度が異なるため、R画素、G画素、B画素毎に、画素アドレス抽出部１７１で異なるスレッシュレベルで明るい画素を抽出しても良い。また、グループ割付部１７２では、R画素、G画素、B画素毎に同じ色のカラーフィルタを有する画素毎に隣接する画素群を一つのグループとしてグループ化しても良い。このようにすることで、例えば緑の光の奇跡（蛍など）を撮影した場合において、G画素は明るい画素として抽出されるが、R画素、B画素については出力が小さく明るい画素として検出されなかった場合においても正しく光の奇跡としてグループ割付を行うことができるようになる。また、例えばデモザイキング処理後の各画素の輝度値について明るい画素の抽出を行っても同様の効果を奏することができる。

（第２実施形態）
以下に添付図面を参照して、実施形態２に係る画像処理装置をデジタルカメラに適用した例を説明する。なお実施形態１と同じ構成、処理についてはその説明を省略する。
（第２実施形態の構成説明）
まず、実施形態２のデジタルカメラの構成について図７を用いて説明する。本実施形態においては、軌跡分析部１７４に速度・方向検出部１７４１を備えている。詳しい動作については後述するが、速度・方向検出部１７４１は、画像データに写った光の軌跡の移動速度、移動方向などの情報を分析する。この分析結果に基づいて軌跡検出部１７３によって軌跡を検出することが本実施例の特徴となる。

【0030】

（第２実施形態の作用説明）
次に図８から図１１を用いて本実施例に係るデジタルカメラの機能および動作について説明する。まず、図８を用いて動作シーケンスを説明する。本実施形態は実施例１の動作（図２のフローチャート）と同様に連続的に撮影した複数コマの画像データを順次合成していく。本実施形態は、第１実施形態と異なる点は、後述に示す軌跡の速度、方向を分析する処理（S83）が含まれる点である。まず撮像部１２から画像が読み出されると(S1)、実施例１と同様に、各画素出力に対して所定のスレッシュレベル以上の明るい画素を抽出する(S81)。全ての画素について抽出が完了すると（S82：YES）、グループ割付部１７２にて、抽出した明るい画素アドレスの隣接する画素同士のグループを割り付ける（S6）。グループの割付が全ての画素について完了すると、各グループについて速度・方向検出部１７４１にて移動速度または移動方向を分析する（S83）。具体的にこの分析処理は、例えば、図９に示すように明るい画素のグループGR＊（＊はグループの番号を示す１以上の整数）について、その長さLe-GR＊を軌跡の移動速度として数値化する。この数値化を全てのグループについて行い、統計処理を施して、軌跡の長さが長い方がより移動速度が速い軌跡であるとして図１０-aのように軌跡の速度に対する頻度をヒストグラム化する。ここで例えば、図９に示すように星の軌跡ST、飛行機の軌跡AP、ビルの窓の明かりBLなどの明るい画素の複数のグループが画像に（図９には数個で示しているが、非常にたくさんの星の軌跡やビルの明かり、飛行機が）写っているとすると、図１０-aのようにヒストグラムには、ビルの窓などの小さく輝く点はhist-BL、星の軌跡hist-STはそれよりも長く（速く移動する）、さらに軌跡の長い（速く移動する）飛行機の軌跡はhist-APという様に、軌跡の移動速度に対応して異なる長さで頻度の高い領域が発生する。
次に、分析した各グループについて軌跡検出部１７３で軌跡を検出する(S84)。図１０-aのビルの窓の輝点と星の軌跡の発生頻度が最大になる長さの間にスレッシュレベルTh-1、星の軌跡と飛行機の軌跡の発生頻度が最大になる長さの間にスレッシュレベルTh-2を設定すると、
Th1よりも短いグループ：ビルなどの小さな輝点（固定軌跡）
Th1以上、Th2未満の長さのグループ：星の軌跡(ゆっくり移動する軌跡)
Th2よりも長いグループ：飛行機の軌跡（早く移動する軌跡）
と検出することができる。ここで、Th1、Th2はカメラで事前に設定した値を使用しても良いし、撮影者が操作部１０を通して、任意に値を設定しても良い。例えば、図１０-aのヒストグラムを表示部１１に表示し、撮影者はそのヒストグラム分布を見ながらTh1、Th2を指定しても良い。
S84による軌跡検出部１７３が行う検出処理は、このスレッシュレベルを使用して、軌跡を検出していく。S84の具体的な処理シーケンスは図１１の示すフローチャートにて示す。
まず、グループG＊-Nの移動速度（長さ）が所定のスレッシュレベル以上であるか否かを判定する（S111）。S111の判定処理において、グループG＊-Nの長さが例えばTh2以上であれば（S111:YES）、置き換え画素アドレスに登録する処理をする（S112）。一方S111の判定処理において、グループG＊-Nの長さが例えばTh2未満であれば（S111:NO）該当グループは、置き換え画素アドレスに登録する処理をせずに、次の判定処理ステップ（S113）に移行する。S113の判定処理では、全てのグループについて登録を完了したか否かを判定し、全てのグループについて登録を完了したら(S113:YES)、軌跡の検出を完了する。

【0031】

このようにして、画像データに写った軌跡の検出が完了したら（図８のS84）、合成画像データを作成する（S13）。S13による合成画像データを生成する処理は、例えば実施例１と同様に、飛行機の軌跡を除外する場合には、図１０-aのhist-APに相当する長さがTh-2以上のグループの画素アドレスを、置き換え画素アドレスとして画像アドレス記録部１５２に記録しておいて、実施形態1と同様の画素の置き換え、合成処理を行うこと（図2のS9処理、図６の処理）で飛行機の軌跡を除外した合成画像データが生成できる。
（第２実施形態の効果説明）
このように本実施形態では、明るい画素のグループについてその移動速度（長さ）や方向などの情報を検出し、統計処理を行う。この統計処理結果に基く統計分布を用いてグループを検出し、検出結果を用いて、一部の光の軌跡を合成画像から除外することができる。
なお、本実施例では、一コマ毎に軌跡の検出、合成処理を行う方法について説明したが、実施例１と同様にこれに限られない。例えば、Iコマ毎（例えばIは2以上の整数）に、Iコマの画像データの比較暗合成画像データを用いて、Iコマの比較明合成画像データまたは加算合成画像データについての軌跡の検出を行い、画素アドレスの置き換えを行うようにしても良い。

【0032】

なお、本実施形態では、軌跡の分析結果をヒストグラム化する処理について説明したが、撮影画像と作成ヒストグラムを表示部１１に表示し、撮影者が軌跡を検出するためのスレッシュレベルの値を操作部１２を介して、任意の値に変更できるようにしてもよい。さらに、表示部１１に対してスレッシュレベル以上または以下の軌跡を点滅表示させるなどして、画像に写った軌跡がどのように検出されているのかを視認できるようにしても良い。このようにすることにより撮影者の作意にそった軌跡の検出が可能となる。
またスレッシュレベルは、本実施形態では一例としての２つの値（Th1,Th2）を設定する例を示した。ただし２つの値のみでなく、さらに多くのスレッシュレベルを設定できるようにしてもよい。これによりさらに細かい軌跡の検出が可能となる。

【0033】

また、各グループの移動速度（長さ）によって検出する方法について説明したが、例えば図１０-bのように各グループの移動方向について検出を行っても良い。カメラが北側を向いている場合には星は北極星を中心に様々な方向に移動するが、それ以外の方向を向いて撮影をする場合は星の移動軌跡は概ね同じ方向に移動するので、ある方向の範囲のグループを検出して、星の移動軌跡を抽出することも可能である。また、軌跡の長さや方向に加えて、図１０-cのように軌跡の彩度（発色の良さ）で検出を行っても良い。例えば花火や蛍の光の軌跡は星や飛行機よりも彩度が高い傾向があるので、例えば星と花火を同時に撮影した場合には、星の分布をhist-ST、花火の分布をhist-fwのように検出することができる。なお、彩度以外にも各グループに含まれる画素の色や明るさの分布からヒストグラム化して検出しても良い。星や花火、飛行機、蛍、また以外にも様々な光の軌跡が撮影、合成されることが想定されるので、このようにすることで、これらの様々な光の軌跡を検出することができるようになる。

【0034】

また、上述した軌跡の長さ、方向、彩度、色などについて１つだけでなく、2つ以上の情報を元に軌跡を検出しても構わない。これによりさらに詳細な軌跡の検出が可能となる。

【0035】

なお、本実施形態では、撮像部１２から読み出された1コマの画像データに写った軌跡について検出を行う処理を示したが、加算または比較明合成処理を行った合成画像データに対して同様の軌跡を検出する処理を施してもよい。星の軌跡はシャッター速度が短い場合や、焦点距離が短いレンズで撮影すると像面上での移動量が小さくなり、図示したようなビルの窓の小さい輝点とは別の軌跡として検出しにくい場合がある。数コマ合成した合成画像であれば、星の軌跡を長く写すことができるので、これらの小さな輝点との検出の精度を上げることができる。

【0036】

なお、本実施形態では一コマの画像データの軌跡を、また上述の加算また比較明合成した合成画像データの軌跡をグループ化してその移動速度（長さ）を検出する方法について述べたが、例えば、図１２に示すように、N-1コマ目、Nコマ目の画像データの比較暗合成画像データを用いて、軌跡の長さを検出してもよい。
以下に比較暗合成画像を用いて、軌跡の長さを検出する作用を示す。例えば、図１２-aに示すように星などのようにゆっくりと移動するN-1コマ目の光の軌跡LT-N-1とNコマ目の光の軌跡LT-Nを比較暗合成すると重複する部分LTcompD-N-1・Nのみが明るく残り、それ以外の部分は背景の夜空と同じ明るさになる。ここで、LTcompD-N-1・Nの画素アドレスを端点として、LTcompD-N-1・Nの画素アドレスを含まず、LT-Nに含まれる画素アドレスで、LTcompD-N-1・N から一番遠い画素までの長さを検出することで、Nコマ目の光の軌跡LT-Nの長さLe-LT-Nを求めることができる。
一方図１２-bは移動しない建物などの明るい画素のグループBLを示している。このグループBLはＮ-1コマ目もNコマ目も移動することなく明るく移るため、比較暗合成しても大きさ、明るさが変わらない。つまりグループBLおよびその隣接画素については、比較暗合成画像データでは抽出されず、Nコマ目の画像データでは抽出される画素がないため、軌跡の長さは０となり、移動しない明るい画素のグループであると検出することができる。このような方法でグループを検出することで、移動する明るい画素グループの他に、移動しない明るい画素グループについても検出することができる。この軌跡分析方法を実施例１または上述の実施例２の方法と組み合わせることで、移動しない光（例えば背景として写った街灯や建物の灯り）、低速度で移動する光の軌跡（星や蛍）、高速度で移動する光の軌跡（飛行機や、人工衛星）と、さらに詳細に光の軌跡を検出することができるようになる。

【0037】

なお、図１３のように、飛行機の光の軌跡APTRと星の光の軌跡STTRが重なって写った場合は、実施例１、２の画像合成方法では、飛行機の軌跡を除外するように画素の置き換えを行うため、星と飛行機の軌跡の重複部分APSTは除外され、星の軌跡は途切れて写る。このような場合には星の軌跡の画素アドレスは、飛行機の軌跡の画素アドレスであっても、画素アドレス登録部１５２に置き換え画素アドレスとして登録しないようにすることで星の軌跡が途切れないようにすることができる。

【0038】

なお、本実施形態では軌跡の写った加算合成画像データまた比較明合成画像データから不要な軌跡を除外する方法について説明したが、これに限られず、光の軌跡が写っていない平均合成画像データや比較暗合成画像データについて、必要な光の軌跡の加えるように画素を置き換えてよい。その場合には、必要な光のグループの画素アドレスを置き換え画素アドレスとして記録し、置き換え画素アドレスに加算または比較明合成した画素の出力で置き換えるようにすることで実現できる。

（第３実施形態）
以下に添付図面を参照して、実施形態３に係る画像処理装置をデジタルカメラに適用した例を説明する。実施形態３では、撮影時にGPS等で検出した情報をもとにして、撮影画像に写る星の軌跡の移動速度、移動方向を算出し、画像に写る光の軌跡が星か星以外かを分析することで軌跡を検出する。なお実施例１、２と同じ構成、処理についてはその説明を省略する。
（第３実施形態の構成説明）
実施形態３のデジタルカメラの基本的な構成は実施形態１、２と同様であるが、軌跡分析部１７４の構成及び機能が異なる。実施形態３に係る軌跡分析部１７４の内部構成は、図１４を用いて説明する。軌跡分析部１７４は実施形態２同様に記録部１５に保存された画像データとグループ割付けされた画素のアドレス情報が速度・方向検出部１７４１に入力される。長さ・方向検出部１７４１は実施形態２と同様の方法で、各グループの長さ及び方向を検出する。検出した各グループの長さ及び方向の情報は、軌跡分析部１７４内の速度・方向比較部１４０６と軌跡検出部１７３に送られる。また軌跡分析部１７４は、GPS検出部１４０２、地磁気検出部１４０３、加速度検出部１４０４及び天体軌跡算出部１４０５を備えている。
GPS検出部１４０３はGPS（Global Positioning System）情報の受信装置であって、カメラの撮影時の緯度情報を検出し、天体軌跡算出部１４０５に出力する。地磁気検出部１４０３は地磁気センサであって、撮影時のカメラが東西南北のどの方位を向いているかの情報を天体軌跡算出部１４０５に出力する。加速度検出部１４０４は加速度センサを備え、加速度センサによって検出する重力加速度の値および方向によって撮影時にカメラが重力方向（上下の方向）に対してどちら向いているかの情報を天体軌跡算出部１４０５に出力する。天体軌跡算出部１４０５はこれらの撮影時の緯度、カメラが向いている方角、方向（東西南北及び上下方向）の情報から、撮影画角内で星がどの方向に移動するかを算出する。さらに天体軌跡算出部１４０５は記録部１５より撮影時の撮影情報として、レンズの焦点距離、シャッター速度を入手することで、撮像面上つまり撮影した画像データにおいて星の移動する長さ及び方向を算出する。このようにして、撮影した画像上で星の（移動速度）長さ及び移動方向を算出する。

【0039】

次にこの算出結果は速度・方向比較部１４０６に入力され、画像に写った光の軌跡のグループの速度・方向の情報と、天体軌跡算出部１４０５で算出した画像上での星の移動方向及び移動する速度を比較して、各グループが星の軌跡に相当するか否かを出力する。この出力結果は軌跡検出部１７３に入力される。軌跡検出部１７３では、速度・方向検出部１７４１によって各グループを移動しない軌跡、低速度に移動する光の軌跡、高速度に移動する軌跡の情報と検出した結果と、速度・方向比較部１４０６によって各グループを星の軌跡に相当するか、相当しないかの結果を加味して、各グループを検出する。
次に、軌跡検出部１７３が行う具体的な検出方法としては、例えば、まず星の軌跡に相当すると検出されたグループは“軌跡２“(図１４の1409)に、星以外の軌跡については、速度・方向検出部１７４１の結果を元に、移動しない明るい画素のグループは”固定軌跡(図１４の1407) “に、移動する軌跡を星以外の軌跡として”軌跡１(図１４の1408) “として検出し、記録部に各グループの画素アドレスを記録する。
（第３実施形態の効果説明）
このように、本実施例では実際の画像データに写る星の移動方向、移動速度を算出して、精度高く星の移動軌跡を検出することができる。本実施形態のように、実施形態2の軌跡分析、検出手段と組み合わせたり、さらには、実施形態１の軌跡検出手段と組み合わせて軌跡を検出することで、星以外の軌跡をさらに検出することができる。すなわち、本実施形態では、合成画像データから不要な軌跡、必要な軌跡を選別して、不要な軌跡は写らないように、必要な軌跡は合成画像データに写るように画像データを合成することができる。本実施形態による具体的な効果として、例えば、図１５のように北極星POLが写るように撮影を行う場合でも、星とその他の被写体とを検出することができる。これは、北極星は移動しないので、どれだけシャッター速度を伸ばしても、また合成コマ数を増やしても移動しない。したがって前述実施形態２の手段で軌跡を検出すると、北極星は星の軌跡ではなく、動かない明るい画素として検出されてしまう。ところが、本実施形態３の方法を用いれば、天体軌跡算出部１４によって画像上の各位置における、星の移動方向、移動量を算出できるので、動かない北極星も検出することができ、北極星も星であるとして正確に検出することができるようになる。

【0040】

なお、本実施形態においては、移動しない明るい画素、星以外の軌跡、星の軌跡の３つのグループに検出したが、明るい画素のグループを星の軌跡とそれ以外の軌跡の2種類に検出しても良い。これは、画像データから星の軌跡のみを抽出すれば、撮影者の意図に沿う場合もあるためであり、この場合は星以外の軌跡のさらなる検出を行う必要がなく、軌跡の分析処理に必要なブロックや、処理時間を削減することができる。

【0041】

なお、本実施形態においてはGPS検出部をデジタルカメラ内部に設置した構成について説明したが、これに限らず、例えばスマートフォンなどの情報端末と無線通信を行い、スマートフォン内部のGPS検出部で検出したGPS情報を、無線通信を介して取得するようにしても良い。また例えば撮影者がデジタルカメラに操作入力により、撮影場所（例えば東京都）を入力し、都市名から緯度情報を照合できるようにしても良い。この場合は、デジタルカメラに無線通信部やGPS情報検出部等を備えずとも都市名から緯度情報を把握することができる。
以上説明したように、本発明の各実施形態や変形例の画像処理装置において、複数コマの画像データを合成して光の軌跡を撮影した写真を生成する際に、画像データに写った様々な光の軌跡を検出することができる。この検出結果にもとづいてデジタルカメラや、PCの画像処理プログラムによって様々な光の軌跡が写った画像データから自動的に不要な光の軌跡を除去したり、光の軌跡が写っていない合成画像に必要な光の軌跡を加えるといった画像処理を行うことができる。
また、軌跡の検出結果を用いて、合成画像からデジタルカメラの撮影者や画像処理装置の利用者が、撮影中または撮影後に、手動操作で検出した光の軌跡毎に合成画像データから除去する処理を行ったり、または合成画像データに加える処理を行ったり、軌跡毎に独立して明るさや色などの画質の調整を行うことができるようになる
さらには、軌跡の検出結果を合成画像データとともに表示すれば（例えば特定の軌跡のみを反転表示などをさせて視認しやすくするようにすれば）、本画像処理装置の利用者は合成画像データに写った各軌跡の検出した結果を、画像データを見ながら併せて把握できる。これにより、上述した軌跡ごとに異なる処理が行いやすくなり、また画像を見ながら再度軌跡の検出を行うためにスレッシュレベルを変更し、再度軌跡を検出させることもできるようになり、さらに自由度の高い画像合成、画像処理が可能になる。

【0042】

なお、本明細書記載の実施形態における各実施形態や変形例においては、デジタルカメラに内蔵される画像処理装置について説明したが、これに限定されるものではなく、カメラとしては、レンズ交換式のデジタル一眼カメラでも、レンズが内蔵されるコンパクトデジタルカメラでもよく、ビデオカメラやムービーカメラのような動画用のカメラでもよく、携帯電話はスマートフォン、携帯情報端末（PDA：Personal Digital Access）、ゲーム機器などに内蔵されるカメラで撮影した画像処理装置でも構わない。また、カメラなどの画像データを撮影する機器を内蔵しなくとも画像処理機能を備えるPCやスマートフォン、携帯情報端末であっても構わない。いずれにしても画像処理が可能な機器であれば、本発明を適用可能である。

【0043】

また、本明細書に説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでも良い。
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。

【0044】

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

【図面の簡単な説明】

【0045】

【図1】本発明の実施形態１に係るカメラの主として電気的構成図を示す図である。

【図2】本発明の実施形態１に係るカメラの動作シーケンスを示すフローチャートである。

【図3】本発明の実施形態１に係るカメラにおいて、グループ割付の動作シーケンスを示すフローチャートである。

【図4】本発明の実施形態１に係るカメラにおいて、画像に写った軌跡を検出する動作シーケンスを示すフローチャートである。

【図5】本発明の実施形態１に係るカメラにおいて、軌跡を検出する原理を説明する図である。

【図6】本発明の実施形態１に係るカメラにおいて、画像データを合成する動作シーケンスを示すフローチャートである。

【図7】本発明の実施形態２に係るカメラにおける軌跡分析部の構成を示す図である。

【図8】本発明の実施形態２に係るカメラの動作シーケンスを示すフローチャートである。

【図9】本発明の実施形態２に係るカメラにおいて、軌跡を分析する方法を説明する図である。

【図10】本発明の実施形態２に係るカメラにおいて、軌跡の分析する結果を示す図である。

【図11】本発明の実施形態２に係るカメラにおいて、軌跡の検出する動作シーケンスを示すフローチャートである。

【図12】本発明の実施形態２に係るカメラにおいて、軌跡を分析する方法の変形例とその効果を示す図である。

【図13】本発明の実施形態２に係るカメラにおいて、軌跡を検出し、画像合成する方法の変形例を示す図である。

【図14】本発明の実施形態３に係る軌跡分析部、軌跡検出部、記録部の電気的構成図を示す図である。

【図15】本発明の実施形態３を適用することによる効果を示す図である。

【符号の説明】

【0046】

１・・・デジタルカメラ、１０・・・操作部、１１・・・表示部、１２・・・撮像部、１３・・・制御部、１４・・・画像処理部、１５・・・記録部、１６・・・画像合成部、１７・・・画像分析部、１８・・・画素アドレス置き換え部、１9・・・現像処理部、１５１・・・画像データ記録部、１５２・・・画素アドレス記録部、１５３・・・制御プログラム記録部、１６１・・・比較明合成部、１６２・・・加算合成部、１６３・・・比較暗合成部、１６４・・・平均合成部、１７１・・・画素アドレス抽出部、１７２・・・グループ割付部、１７３・・・軌跡検出部、１７４・・・軌跡分析部、１７４１・・・速度・方向検出部、１４０２・・・GPS検出部、１４０３・・・地磁気検出部、１４０４・・・加速度検出部、１４０５・・・天体軌跡算出部、１４０６・・・速度・方向比較部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】