特開 2023-180137 画像処理装置、画像処理方法、および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023180137

(43)【公開日】2023-12-20

(54)【発明の名称】画像処理装置、画像処理方法、および画像処理プログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20231213BHJP

   H04N 5/262 20060101ALI20231213BHJP

【ＦＩ】

H04N5/232 290

H04N5/262 050

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022093274

(22)【出願日】2022-06-08

(71)【出願人】

【識別番号】000004112

【氏名又は名称】株式会社ニコン

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】綱井 史郎

【テーマコード（参考）】

5C023

5C122

【Ｆターム（参考）】

5C023AA04

5C023AA16

5C023BA04

5C023BA12

5C122DA04

5C122EA61

5C122FA06

5C122FH02

5C122FH04

5C122FH10

5C122FH12

5C122FH18

5C122HA13

5C122HA35

5C122HB01

5C122HB05

5C122HB10

(57)【要約】

【課題】多重露光フレームから単露光フレームを生成すること。
【解決手段】画像処理装置は、被写体を多重露光撮像した第１多重露光フレームを取得する取得部と、前記被写体の画像データと、前記取得部によって取得された第１多重露光フレームと、に基づいて、前記第１多重露光フレーム内における前記被写体の動きベクトルを検出する検出部と、前記検出部によって検出された動きベクトルと、前記被写体の画像データと、前記第１多重露光フレームにおいて前記被写体が多重化された第１多重露光被写体を除く背景の画像データと、に基づいて、前記第１多重露光フレームにおける前記第１多重露光被写体の位置から前記動きベクトルの方向に前記被写体が配置された予測フレームを生成する生成部と、を有する。
【選択図】図２

【特許請求の範囲】

【請求項1】

被写体を多重露光撮像した第１多重露光フレームを取得する取得部と、
前記被写体の画像データと、前記取得部によって取得された第１多重露光フレームと、に基づいて、前記第１多重露光フレーム内における前記被写体の動きベクトルを検出する検出部と、
前記検出部によって検出された動きベクトルと、前記被写体の画像データと、前記第１多重露光フレームにおいて前記被写体が多重化された第１多重露光被写体を除く背景の画像データと、に基づいて、前記第１多重露光フレームにおける前記第１多重露光被写体の位置から前記動きベクトルの方向に前記被写体が配置された予測フレームを生成する生成部と、
を有する画像処理装置。

【請求項2】

請求項１に記載の画像処理装置であって、
前記予測フレームは、前記第１多重露光被写体の位置から前記動きベクトルの方向に前記動きベクトルの長さ分ずれた位置に前記被写体が配置されたフレームである、
画像処理装置。

【請求項3】

請求項１に記載の画像処理装置であって、
前記生成部は、前記被写体の配置位置が異なる複数の前記予測フレームを生成する、
画像処理装置。

【請求項4】

請求項３に記載の画像処理装置であって、
前記生成部は、複数の前記予測フレームのうち時間的に前後する２つの予測フレームの一方の前記被写体と他方の前記被写体との間隔を、前記動きベクトルの長さに基づいて決定する、
画像処理装置。

【請求項5】

請求項１に記載の画像処理装置であって、
前記取得部は、前記第１多重露光フレームの次に多重露光撮像した第２多重露光フレームを取得し、
前記生成部は、前記第１多重露光フレームにおける前記第１多重露光被写体と前記第２多重露光フレームにおける第２多重露光被写体との間に前記被写体が配置された前記予測フレームを生成する、
画像処理装置。

【請求項6】

請求項１に記載の画像処理装置であって、
前記検出部は、前記被写体の画像データに基づいて、前記第１多重露光フレームの中から、多重露光の各々の露光時における前記被写体の画像データを検出し、
前記生成部は、前記検出部によって検出された前記被写体の画像データの各々と、前記第１多重露光フレームのうち前記第１多重露光被写体の画像データを除く背景の画像データと、に基づいて、前記露光時ごとの前記被写体の画像データおよび前記背景の画像データを含む時系列な分離フレームを生成する、
画像処理装置。

【請求項7】

被写体を多重露光撮影した多重露光フレームを取得する取得部と、
前記被写体の画像データに基づいて、前記取得部によって取得された多重露光フレームの中から、多重露光の各々の露光時における前記被写体の画像データを検出する検出部と、
前記検出部によって検出された前記被写体の画像データの各々と、前記多重露光フレームにおいて前記被写体が多重化された多重露光被写体の画像データを除く背景の画像データと、に基づいて、前記露光時ごとの前記被写体の画像データおよび前記背景の画像データを含む時系列なフレームを生成する生成部と、
を有する画像処理装置。

【請求項8】

請求項７に記載の画像処理装置であって、
前記多重露光フレームは、前記被写体を複数の色の各々で多重露光撮影したフレームであり、
前記検出部は、前記多重露光被写体の画像データに基づいて、前記多重露光フレームの中から、多重露光の各色の露光時における前記被写体の画像データを検出し、
前記生成部は、前記検出部によって検出された前記被写体の画像データの各々と、前記背景の画像データと、に基づいて、前記各色の露光時ごとの前記被写体の画像データおよび前記背景の画像データを含む時系列なフレームを生成する、
画像処理装置。

【請求項9】

画像処理装置が、
被写体を多重露光撮像した第１多重露光フレームを取得する取得処理と、
前記被写体の画像データと、前記取得処理によって取得された第１多重露光フレームと、に基づいて、前記第１多重露光フレーム内における前記被写体の動きベクトルを検出する検出処理と、
前記検出処理によって検出された動きベクトルと、前記被写体の画像データと、前記第１多重露光フレームにおいて前記被写体が多重化された第１多重露光被写体を除く背景の画像データと、に基づいて、前記第１多重露光フレームにおける前記第１多重露光被写体の位置から前記動きベクトルの方向に前記被写体が配置された予測フレームを生成する生成処理と、
を実行する画像処理方法。

【請求項10】

画像処理装置が、
被写体を多重露光撮影した多重露光フレームを取得する取得処理と、
前記被写体の画像データに基づいて、前記取得処理によって取得された多重露光フレームの中から、多重露光の各々の露光時における前記被写体の画像データを検出する検出処理と、
前記検出処理によって検出された前記被写体の画像データの各々と、前記多重露光フレームにおいて前記被写体が多重化された多重露光被写体の画像データを除く背景の画像データと、に基づいて、前記露光時ごとの前記被写体の画像データおよび前記背景の画像データを含む時系列なフレームを生成する生成処理と、
を実行する画像処理方法。

【請求項11】

プロセッサに、
被写体を多重露光撮像した第１多重露光フレームを取得する取得処理と、
前記被写体の画像データと、前記取得処理によって取得された第１多重露光フレームと、に基づいて、前記多重露光フレーム内における前記被写体の動きベクトルを検出する検出処理と、
前記検出処理によって検出された動きベクトルと、前記被写体の画像データと、前記第１多重露光フレームにおいて前記被写体が多重化された第１多重露光被写体を除く背景の画像データと、に基づいて、前記第１多重露光フレームにおける前記第１多重露光被写体の位置から前記動きベクトルの方向に前記被写体が配置された予測フレームを生成する生成処理と、
を実行させる画像処理プログラム。

【請求項12】

プロセッサに、
被写体を多重露光撮影した多重露光フレームを取得する取得処理と、
前記被写体の画像データに基づいて、前記取得処理によって取得された多重露光フレームの中から、多重露光の各々の露光時における前記被写体の画像データを検出する検出処理と、
前記検出処理によって検出された前記被写体の画像データの各々と、前記多重露光フレームにおいて前記被写体が多重化された多重露光被写体の画像データを除く背景の画像データと、に基づいて、前記露光時ごとの前記被写体の画像データおよび前記背景の画像データを含む時系列なフレームを生成する生成処理と、
を実行させる画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、および画像処理プログラムに関する。

【背景技術】

【0002】

被写体を連続して撮影し、１枚の画像を得る多重露光による撮影が知られている。従来から動いている被写体（動体）の多重露光による撮影が求められていた（たとえば、下記特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平２－９３６２７号公報

【発明の概要】

【0004】

第１開示技術にかかる画像処理装置は、被写体を多重露光撮像した第１多重露光フレームを取得する取得部と、前記被写体の画像データと、前記取得部によって取得された第１多重露光フレームと、に基づいて、前記第１多重露光フレーム内における前記被写体の動きベクトルを検出する検出部と、前記検出部によって検出された動きベクトルと、前記被写体の画像データと、前記第１多重露光フレームにおいて前記被写体が多重化された第１多重露光被写体を除く背景の画像データと、に基づいて、前記第１多重露光フレームにおける前記第１多重露光被写体の位置から前記動きベクトルの方向に前記被写体が配置された予測フレームを生成する生成部と、を有する。

【0005】

第２開示技術にかかる画像処理装置は、被写体を多重露光撮影した多重露光フレームを取得する取得部と、前記被写体の画像データに基づいて、前記取得部によって取得された多重露光フレームの中から、多重露光の各々の露光時における前記被写体の画像データを検出する検出部と、前記検出部によって検出された前記被写体の画像データの各々と、前記多重露光フレームにおいて前記被写体が多重化された多重露光被写体の画像データを除く背景の画像データと、に基づいて、前記露光時ごとの前記被写体の画像データおよび前記背景の画像データを含む時系列なフレームを生成する生成部と、を有する。

【図面の簡単な説明】

【0006】

【図1】図１は、撮像装置のハードウェア構成例を示すブロック図である。

【図2】図２は、画像処理装置の機能的構成例を示すブロック図である。

【図3】図３は、補間フレームの一例を示す説明図である。

【図4】図４は、予測フレームの生成例１を示す説明図である。

【図5】図５は、予測フレームの生成例２を示す説明図である。

【図6】図６は、画像処理装置による画像処理手順例１を示すフローチャートである。

【図7】図７は、図６に示した予測フレーム生成処理（ステップＳ６０４）の詳細な処理手順例を示すフローチャートである。

【図8】図８は、分離フレームの生成例１－１を示す説明図である。

【図9】図９は、分離フレームの生成例１－２を示す説明図である。

【図10】図１０は、画像処理装置による画像処理手順例２を示すフローチャートである。

【図11】図１１は、分離フレーム生成処理（ステップＳ１００４）の詳細な処理手順例を示すフローチャートである。

【図12】図１２は、分離フレームの生成例２－１を示す説明図である。

【図13】図１３は、分離フレームの生成例２－２を示す説明図である。

【発明を実施するための形態】

【0007】

＜撮像装置のハードウェア構成例＞
図１は、撮像装置のハードウェア構成例を示すブロック図である。撮像装置１００は、静止画または動画撮影可能な装置であり、具体的には、たとえば、デジタルカメラ、デジタルビデオカメラ、スマートフォン、タブレット、パーソナルコンピュータ、ゲーム機である。図１では、撮像装置の一例としてデジタルカメラを例に挙げて説明する。

【0008】

撮像装置１００は、プロセッサ１０１と、記憶デバイス１０２と、駆動部１０３と、光学系１０４と、撮像素子１０５と、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）１０６と、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）１０７と、操作デバイス１０８と、マイク１０９と、センサ１１０と、表示デバイス１１１と、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）１１２と、スピーカ１１３と、レーザ光源１１４と、バス１１５と、を有する。プロセッサ１０１、記憶デバイス１０２、駆動部１０３、ＬＳＩ１０７、操作デバイス１０８、マイク１０９、センサ１１０、表示デバイス１１１、通信ＩＦ１１２、スピーカ１１３およびレーザ光源１１４は、バス１１５に接続される。

【0009】

プロセッサ１０１は、撮像装置１００を制御する。記憶デバイス１０２は、プロセッサ１０１の作業エリアとなる。また、記憶デバイス１０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス１０２としては、たとえば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリがある。記憶デバイス１０２は、撮像装置１００に複数実装されてもよく、そのうちの少なくとも１つは、撮像装置１００に対し着脱自在でもよい。

【0010】

駆動部１０３は、光学系１０４を駆動制御する。駆動部１０３は、駆動回路１０３ａと駆動源１０３ｂとを有する。駆動回路１０３ａは、プロセッサ１０１からの指示により駆動源１０３ｂを制御する。駆動源１０３ｂは、たとえば、モータであり、駆動回路１０３ａの制御により、光学系１０４内のズーミングレンズ１４１ｂおよびフォーカシングレンズ１４１ｃを光軸方向に移動させたり、絞り１４２を開閉制御する。

【0011】

光学系１０４は、光軸方向に配列された複数のレンズ（レンズ１４１ａ、ズーミングレンズ１４１ｂ、およびフォーカシングレンズ１４１ｃ）と、絞り１４２と、を含む。光学系１０４は、被写体光を集光し、撮像素子１０５に出射する。

【0012】

撮像素子１０５は、光学系１０４からの被写体光を受光して電気信号に変換する。撮像素子１０５は、たとえば、ＸＹアドレス方式の固体撮像素子（たとえば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ‐Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ））であってもよく、順次走査方式の固体撮像素子（たとえば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ））であってもよい。

【0013】

撮像素子１０５の受光面には、複数の受光素子（画素）がマトリクス状に配列されている。そして、撮像素子１０５の画素には、それぞれが異なる色成分の光を透過させる複数種類のカラーフィルタが所定の色配列（たとえば、ベイヤ配列）に従って配置される。そのため、撮像素子１０５の各画素は、カラーフィルタでの色分解によって各色成分に対応するアナログの電気信号を出力する。

【0014】

ＡＦＥ１０６は、撮像素子１０５からのアナログの電気信号に対して信号処理を施すアナログフロントエンド回路である。ＡＦＥ１０６は、電気信号のゲイン調整、アナログ信号処理（相関二重サンプリング、黒レベル補正など）、Ａ／Ｄ変換処理、デジタル信号処理（欠陥画素補正など）を順次実行してＲＡＷ画像データを生成し、ＬＳＩ１０７に出力する。上述した駆動部１０３、光学系１０４、撮像素子１０５、およびＡＦＥ１０６は、撮像部１２０を構成する。

【0015】

ＬＳＩ１０７は、ＡＦＥ１０６からのＲＡＷ画像データについて、色補間、ホワイトバランス調整、輪郭強調、ガンマ補正、階調変換などの画像処理や符号化処理、復号処理、圧縮伸張処理、記録処理、再生処理など、特定の処理を実行する集積回路である。ＬＳＩ１０７は、具体的には、たとえば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）によって実現してもよい。

【0016】

操作デバイス１０８は、コマンドやデータを入力する。操作デバイス１０８としては、たとえば、レリーズボタンを含む各種ボタン、スイッチ、ダイヤル、タッチパネルがある。マイク１０９は、音声を入力し音声データを生成する。センサ１１０は、情報を検出するデバイスであり、たとえば、ＡＦ（Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓ）センサ、ＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）センサ、ジャイロセンサ、加速度センサ、温度センサなどがある。表示デバイス１１１は、画像データや設定画面を表示する。表示デバイス１１１には、撮像装置１００の背面にある背面モニタと、電子ビューファインダと、がある。通信ＩＦ１１２は、ネットワークと接続し、データを送受信する。スピーカ１１３は、音声を出力する。

【0017】

レーザ光源１１４は、被写体に短パルスのレーザ光を照射する。レーザ光源１１４は、プロセッサ１０１またはＬＳＩ１０７の制御により、１フレームを撮像する露光時間内に１回以上レーザ光を照射可能である。これにより、撮像装置１００は、多重露光撮影が可能になる。

【0018】

なお、プロセッサ１０１、記憶デバイス１０２、ＬＳＩ１０７、操作デバイス１０８、マイク１０９、センサ１１０、表示デバイス１１１、通信ＩＦ１１２、スピーカ１１３、レーザ光源１１４およびバス１１５を、画像処理部１３０と称す。また、撮像装置１００から撮像部１２０を除いた画像処理部１３０からなる装置を、画像処理装置と称す。

【0019】

また、図１では、画像処理部１３０は、撮像装置１００の内部に設けたが、画像処理装置は、撮像装置１００の外部に存在してもよい。

【0020】

＜画像処理装置の機能的構成例＞
図２は、画像処理装置の機能的構成例を示すブロック図である。画像処理装置２００は、取得部２０１と、検出部２０２と、生成部２０３と、を有する。取得部２０１、検出部２０２、および生成部２０３は、具体的には、たとえば、図１に示した記憶デバイス１０２に記憶されたプログラムをプロセッサ１０１に実行させることにより、または、ＬＳＩ１０７により、実現される。

【0021】

取得部２０１は、被写体を多重露光撮像した多重露光フレームを取得する。具体的には、たとえば、取得部２０１は、撮像部１２０の撮影により生成された多重露光フレームを記憶デバイス１０２から読み込む。動画撮モードの場合、取得部２０１は、時間的に連続する複数の多重露光フレームを記憶デバイス１０２から読み込む。

【0022】

なお、撮像装置１００は、ある位置からある方向に向けて多重露光撮影する。したがって、多重露光フレームの各々は、同一背景の画像データと、移動により位置が異なる多重露光被写体の画像データと、を含む。

【0023】

検出部２０２は、多重露光フレーム内の多重露光被写体の動きベクトルを検出する。具体的には、たとえば、検出部２０２は、記憶デバイス１０２に記憶されている被写体のテンプレート画像データを読み出す。検出部２０２は、被写体のテンプレート画像データを用いて多重露光フレームに対しパターンマッチングを実行し、多重露光フレーム内の多重露光被写体の画像データを、被写体を多重露光した画像データとして検出する。

【0024】

また、検出部２０２は、時間的に連続する２枚の多重露光フレームを比較し、２枚の多重露光フレームの各々から多重露光被写体を検出する。検出部２０２は、２枚の多重露光フレームの各々から多重露光被写体の位置から、被写体の移動方向を検出する。

【0025】

また、検出部２０２は、移動方向における被写体の長さと、移動方向における多重露光被写体の長さと、多重露光の露光回数と、に基づいて、１回の露光での被写体の移動距離を検出する。検出部２０２は、移動方向および移動距離を動きベクトルとして検出する。

【0026】

生成部２０３は、被写体の画像データと、多重露光フレームの背景の画像データと、動きベクトルと、に基づいて、補間フレームを生成する。補間フレームは、多重露光フレーム間を補間する単露光フレームである。補間フレームには、予測フレームと分離フレームの２種類のフレームがある。

【0027】

予測フレームとは、多重露光フレームの多重露光被写体の位置から被写体が動きベクトルにより移動した移動後の被写体の画像データと、多重露光フレームの背景の画像データと、を合成した単露光フレームである。多重露光フレームの多重露光被写体の画像データのうち、移動後の被写体の画像データと重複しない部分については、生成部２０３は、背景の画像データのうち当該重複しない部分の周囲の画像データにより補間する。

【0028】

分離フレームとは、多重露光被写体を露光ごとの被写体に分離した単露光フレームである。具体的には、たとえば、分離フレームは、多重露光フレームの多重露光被写体の位置において、露光ごとに分離された被写体と画像データと、多重露光フレームの背景の画像データと、を合成した、露光ごとの単露光フレームである。多重露光フレームの多重露光被写体の画像データのうち、露光時の被写体の画像データと重複しない部分については、生成部２０３は、背景の画像データのうち当該重複しない部分の周囲の画像データにより補間する。

【0029】

＜補間フレームの一例＞
図３は、補間フレームの一例を示す説明図である。図３では、移動する被写体であるバスを多重露光撮影した際に得られた多重露光フレームについて説明する。多重露光フレームＦ１～ＦＮ（Ｎは１以上の整数）は、多重露光フレームＦ１から時間的に連続する多重露光フレーム群Ｆｓである。多重露光フレーム群Ｆｓは、あるフレームレートで撮像されたフレーム群である。多重露光フレームＦ１～ＦＮを区別しない場合は、単に、多重露光フレームＦｉ（ｉは多重露光フレームＦｉを一意に特定するイタレーションであり、１≦ｉ≦Ｎを満たす整数）と称す。

【0030】

多重露光フレームＦｉは、１フレームの撮影で２回露光した多重露光フレームとする。多重露光フレームＦｉは、背景の画像データ（以下、単に「背景」）３００と、多重露光被写体の画像データ（以下、単に「多重露光被写体」）３０１―Ｆｉと、を含む画像データである。多重露光被写体３０１－Ｆｉは、１回目の露光で得られた被写体（バス）の画像データ（以下、単に「被写体」）ＯＢｉ－１と、２回目の露光で得られた被写体ＯＢｉ－２と、を含む。

【0031】

多重露光フレームＦｉ＋１は、背景３００と、多重露光被写体３０１―Ｆｉ＋１と、を含む画像データである。多重露光被写体３０１－Ｆｉ＋１は、１回目の露光で得られた被写体ＯＢｉ＋１－１と、２回目の露光で得られた被写体ＯＢｉ＋１－２と、を含む。

【0032】

補間フレームＸＦ［ｉ，ｉ＋１］は、多重露光フレームＦｉ、Ｆｉ＋１間を補間するフレームであり、生成部２０３によって多重露光フレームＦｉから生成された予測フレームまたは分離フレームである。補間フレームＸＦ［ｉ，ｉ＋１］は、背景３００と、被写体ＯＢ［ｉ，ｉ＋１］と、を含む。被写体ＯＢ［ｉ，ｉ＋１］は、多重露光被写体３０１－Ｆｉから予測または分離された被写体の画像データである。

【0033】

補間フレームＸＦ［ｉ，ｉ＋１］を生成することにより、多重露光フレームＦｉ、Ｆｉ＋１の間のフレームを取得することができる。また、多重露光フレームＦｉ、Ｆｉ＋１の間に補間フレームＸＦ［ｉ，ｉ＋１］を生成して挿入することにより、多重露光フレーム群Ｆｓの撮像で設定されたフレームレートよりも高速なフレームレートの多重露光フレーム群が得られる。これにより、補間フレームＸＦ［ｉ，ｉ＋１］が未挿入な多重露光フレーム群Ｆｓに比べて滑らかな再生動画が得られる。

【0034】

＜予測フレームの生成例＞
つぎに、図４～図７を用いて、補間フレームＸＦ［ｉ，ｉ＋１］の一例である予測フレームの生成例について説明する。

【0035】

図４は、予測フレームの生成例１を示す説明図である。画像処理装置２００は、多重露光フレームＦ１、Ｆ２と、被写体のテンプレート画像データ（以下、テンプレート画像）ＴＯＢと、を用いて、予測フレームＰＦ［１，２］－１を生成する。

【0036】

具体的には、たとえば、検出部２０２は、記憶デバイス１０２からテンプレート画像ＴＯＢを読み出し、テンプレート画像ＴＯＢを用いて多重露光フレームＦ１に対しパターンマッチングを実行する。これにより、多重露光フレームＦ１内の多重露光被写体３０１－Ｆ１を、被写体を多重露光した画像データとして検出する。

【0037】

また、検出部２０２は、時間的に連続する２枚の多重露光フレームＦ１、Ｆ２を比較し、２枚の多重露光フレームＦ１、Ｆ２の各々から多重露光被写体３０１－Ｆ１、３０１－Ｆ２を検出する。検出部２０２は、２枚の多重露光フレームＦ１、Ｆ２の各々から多重露光被写体３０１－Ｆ１、３０１－Ｆ２の位置から、被写体であるバスの移動方向を検出する。図４の例では、被写体であるバスが多重露光被写体３０１－Ｆ１の位置から多重露光被写体３０１－Ｆ２の位置へ移動する方向が被写体であるバスの移動方向として検出される。

【0038】

また、検出部２０２は、移動方向における被写体であるテンプレート画像ＴＯＢの長さと、移動方向における多重露光被写体３０１－Ｆ１の長さと、多重露光の露光回数（本例では２回）と、に基づいて、１回の露光での被写体の移動距離を検出する。検出部２０２は、移動方向および移動距離を動きベクトルｍｖとして検出する。

【0039】

具体的には、たとえば、移動距離は、下記式（１）により算出される。

【0040】

ｄ＝（Ｌ－Ｌｔ）／（ｋ－１）・・・（１）

【0041】

ｄは、移動距離である。Ｌは多重露光被写体３０１－Ｆ１の移動方向の長さである。Ｌｔはテンプレート画像ＴＯＢの移動方向の長さである。ｋは露光回数である。

【0042】

生成部２０３は、テンプレート画像ＴＯＢと、多重露光フレームＦ１の背景３００と、動きベクトルｍｖと、に基づいて、予測フレームＰＦ［１，２］－１を生成する。予測フレームＰＦ［１，２］－１は、多重露光フレームＦ１の多重露光被写体３０１－Ｆ１の位置（具体的には、被写体ＯＢ１－１，ＯＢ１－２のうち移動方向側の被写体ＯＢ１－２）から動きベクトルｍｖにより移動した移動後の被写体ＯＢ［１，２］－１と、多重露光フレームＦ１の背景３００と、を合成したフレームである。被写体ＯＢ［１，２］－１には、たとえば、テンプレート画像ＴＯＢが用いられる。

【0043】

予測フレームＰＦ［１，２］－１において、多重露光フレームＦ１の多重露光被写体３０１－Ｆ１のうち、移動後の被写体ＯＢ［１，２］－１と重複しない部分４０１については、生成部２０３は、背景３００のうち当該重複しない部分４０１の周囲の画像データにより補間する。

【0044】

また、画像処理装置２００は、予測フレームＰＦ［１，２］－１からさらに被写体が動きベクトル分移動した予測フレームＰＦ［１，２］－２を生成することもできる。この場合、画像処理装置２００は、多重露光フレームＦ２、Ｆ３と、テンプレート画像ＴＯＢと、を用いて、予測フレームＰＦ［１，２］－２を生成する。この場合、検出部２０２は、動きベクトルｍｖを流用してもよく、多重露光フレームＦ２、Ｆ３を用いて新たに動きベクトルｍｖを検出してもよい。

【0045】

また、生成部２０３は、テンプレート画像ＴＯＢと、多重露光フレームＦ２の背景３００と、動きベクトルｍｖと、に基づいて、予測フレームＰＦ［１，２］－２を生成する。予測フレームＰＦ［１，２］－２は、予測フレームＰＦ［１，２］－１の被写体ＯＢ［１，２］－１の位置から動きベクトルｍｖにより移動した移動後の被写体ＯＢ［１，２］－２と、多重露光フレームＦ１の背景３００と、を合成したフレームである。被写体ＯＢ［１，２］－２には、たとえば、テンプレート画像ＴＯＢが用いられる。

【0046】

予測フレームＰＦ［１，２］－２において、被写体ＯＢ［１，２］－１のうち、移動後の被写体ＯＢ［１，２］－２と重複しない部分４０２については、生成部２０３は、背景３００のうち当該重複しない部分４０２の周囲の画像データにより補間する。

【0047】

図５は、予測フレームの生成例２を示す説明図である。図５では、多重露光フレームＦ１、Ｆ２間に、ｎ（ｎは１以上の整数）枚の予測フレームＰＦ［１，２］－１～ＰＦ［１，２］－ｎが生成された例である。多重露光フレームＦ１、Ｆ２間において、予測フレームＰＦ［１，２］－ｎは、移動後の被写体が多重露光フレームＦ２の多重露光被写体３０１－Ｆ２の位置に到達するまで生成可能である。

【0048】

図６は、画像処理装置２００による画像処理手順例１を示すフローチャートである。画像処理装置２００は、予測フレームの生成対象となる多重露光フレーム群Ｆｓを指定する（ステップＳ６０１）。多重露光フレーム群Ｆｓは、ユーザの操作により指定されてもよく、画像処理装置２００が、多重露光被写体３０１－Ｆｉが存在する多重露光フレームＦｉを指定してもよい。

【0049】

つぎに、画像処理装置２００は、多重露光フレームＦｉを一意に特定するイタレーションｉをｉ＝１に設定する（ステップＳ６０２）。

【0050】

つぎに、画像処理装置２００は、取得部２０１により多重露光フレームＦｉ，Ｆｉ＋１を取得し、検出部２０２により多重露光被写体３０１－Ｆｉの移動方向を検出する（ステップＳ６０３）。

【0051】

つぎに、画像処理装置２００は、図４および図５に示したように、予測フレーム生成処理を実行する（ステップＳ６０４）。生成された予測フレームは記憶デバイス１０２に格納される。

【0052】

このあと、画像処理装置２００は、イタレーションｉをインクリメントし（ステップＳ６０５）、ｉ＝Ｎであるか否かを判断する（ステップＳ６０６）。ｉ＝Ｎでない場合（ステップＳ６０６：Ｎｏ）、ステップＳ６０３に戻る。一方、ｉ＝Ｎである場合（ステップＳ６０６：Ｙｅｓ）、画像処理装置２００は、一連の処理を終了する。

【0053】

図７は、図６に示した予測フレーム生成処理（ステップＳ６０４）の詳細な処理手順例を示すフローチャートである。画像処理装置２００は、何番目の予測フレームであるかを指定するイタレーションｊをｊ＝１に設定する（ステップＳ７０１）。つぎに、画像処理装置２００は、多重露光フレームＦｉを生成元フレームに設定する（ステップＳ７０２）。

【0054】

つぎに、画像処理装置２００は、検出部２０２により、生成元フレームから生成元被写体を検出する（ステップＳ７０３）。生成元被写体は、ｊ＝１の場合、多重露光被写体３０１－Ｆｉである。たとえば、図４の例では、生成元フレームが多重露光フレームＦ１であるとすると、検出部２０２は、生成元被写体として多重露光被写体３０１－Ｆ１を検出する。

【0055】

また、生成元被写体は、ｊ≧２の場合、被写体ＯＢ［ｉ,ｉ＋１］－ｊである。たとえば、図４の例では、生成元フレームが予測フレームＰＦ［１，２］－１であるとすると、検出部２０２は、生成元被写体として被写体ＯＢ［１，２］－１を検出する。

【0056】

つぎに、画像処理装置２００は、被写体の動きベクトルｍｖを検出する（ステップＳ７０４）。具体的には、たとえば、検出部２０２は、図４に示したように、上記式（１）による被写体の移動距離ｄを算出して、移動距離ｄとステップＳ６０３で検出された移動方向とを組み合わせて、被写体の動きベクトルｍｖを生成する（ステップＳ７０４）。

【0057】

つぎに、画像処理装置２００は、テンプレート画像ＴＯＢと動きベクトルｍｖとを用いて、生成元被写体からの移動後の被写体ＯＢ［ｉ，ｉ＋１］－ｊとその位置を決定する（ステップＳ７０５）。

【0058】

つぎに、画像処理装置２００は、移動後の被写体ＯＢ［ｉ，ｉ＋１］－ｊの位置が、フレームＦｉ＋１の多重露光被写体３０１－Ｆｉ＋１の位置に到達したか否かを判断する（ステップＳ７０６）。移動後の被写体ＯＢ［ｉ，ｉ＋１］－ｊの位置が、フレームＦｉ＋１の多重露光被写体３０１－Ｆｉ＋１の位置に到達していない場合（ステップＳ７０６：Ｎｏ）、画像処理装置２００は、移動後の被写体ＯＢ［ｉ，ｉ＋１］－ｊと背景３００とを合成して、予測フレームＰＦ［ｉ，ｉ＋１］－ｊを生成して、多重露光フレームＦｉ、Ｆｉ＋１の間に挿入し、生成元フレームに設定する（ステップＳ７０７）。そして、画像処理装置２００は、イタレーションｊをインクリメントして（ステップＳ７０８）、ステップＳ７０３に戻る。

【0059】

一方、ステップＳ７０６において、移動後の被写体ＯＢ［ｉ，ｉ＋１］－ｊの位置が、フレームＦｉ＋１の多重露光被写体３０１－Ｆｉ＋１の位置に到達した場合（ステップＳ７０６：Ｙｅｓ）、画像処理装置２００は、予測フレーム生成処理（ステップＳ６０４）を終了し、ステップＳ６０５に移行する。

【0060】

このように、予測フレームＰＦ［ｉ，ｉ＋１］－ｊを生成することにより、多重露光フレームＦｉ、Ｆｉ＋１の間のフレームを取得することができる。また、多重露光フレームＦｉ、Ｆｉ＋１の間に予測フレームＰＦ［ｉ，ｉ＋１］－ｊを生成して多重露光フレームＦｉ、Ｆｉ＋１の間に挿入することにより、多重露光フレーム群Ｆｓの撮像で設定されたフレームレートよりも高速なフレームレートの多重露光フレーム群が得られる。これにより、予測フレームＰＦ［ｉ，ｉ＋１］－ｊが未挿入な多重露光フレーム群Ｆｓに比べて滑らかな再生動画が得られる。

【0061】

なお、図６および図７の例では、画像処理装置２００は、動きベクトルｍｖの長さ単位で予測フレームＰＦ［ｉ，ｉ＋１］－ｊを生成したが、動きベクトルｍｖの長さの整数倍の単位で予測フレームＰＦ［ｉ，ｉ＋１］－ｊを生成してもよい。また、可能な限り予測フレームＰＦ［ｉ，ｉ＋１］－ｊを生成したが、画像処理装置２００は、予測フレームＰＦ［ｉ，ｉ＋１］－ｊの生成数の上限を事前に設定してもよい。

【0062】

＜分離フレームの生成例１＞
つぎに、図８～図１１を用いて、補間フレームＸＦ［ｉ，ｉ＋１］の一例である分離フレームの生成例１について説明する。

【0063】

図８は、分離フレームの生成例１－１を示す説明図である。画像処理装置２００は、多重露光フレームＦ１と、テンプレート画像ＴＯＢと、を用いて、分離フレームＰＦ［１，２］－１、ＰＦ［１，２］－２を生成する。

【0064】

具体的には、たとえば、検出部２０２は、図４で説明した場合と同様に、多重露光フレームＦ１内の多重露光被写体３０１－Ｆ１を、被写体を多重露光した画像データとして検出する。また、検出部２０２は、２枚の多重露光フレームＦ１、Ｆ２の各々から多重露光被写体３０１－Ｆ１、３０１－Ｆ２の位置から、被写体であるバスの移動方向を検出する。

【0065】

また、検出部２０２は、多重露光フレームＦ１の多重露光被写体３０１―Ｆ１から、検出した移動方向および露光回数ｋに基づいて、露光ごとの被写体ＯＢ［ｉ，ｉ＋１］－１，…，ＯＢ［ｉ，ｉ＋１］－ｋとそれらの位置を決定する。図８の場合は、露光回数ｋ＝２であるため、検出部２０２は、移動方向に存在する露光ごとの被写体ＯＢ［１，２］－１，ＯＢ［１，２］－２とそれらの位置を決定する。

【0066】

生成部２０３は、露光ごとの被写体ＯＢ［ｉ，ｉ＋１］－１，…，ＯＢ［ｉ，ｉ＋１］－ｋと背景３００とを用いて、露光ごとに多重露光被写体３０１―Ｆｉを分離した分離フレームＳＦ［ｉ，ｉ＋１］－１，…，ＳＦ［ｉ,ｉ＋１］－ｋを生成する。図８の場合は、露光回数ｋ＝２であるため、生成部２０３は、露光ごとの分離フレームＳＦ［１，２］－１，ＳＦ［１,２］－２を生成する。

【0067】

図９は、分離フレームの生成例１－２を示す説明図である。画像処理装置２００は、多重露光フレームＦ２と、テンプレート画像ＴＯＢと、を用いて、分離フレームＰＦ［２，３］－１、ＰＦ［２，３］－２を生成する。

【0068】

具体的には、たとえば、検出部２０２は、図４で説明した場合と同様に、多重露光フレームＦ２内の多重露光被写体３０１－Ｆ２を、被写体を多重露光した画像データとして検出する。また、検出部２０２は、２枚の多重露光フレームＦ２、Ｆ３の各々から多重露光被写体３０１－Ｆ２、３０１－Ｆ３の位置から、被写体であるバスの移動方向を検出する。

【0069】

また、検出部２０２は、多重露光フレームＦ２の多重露光被写体３０１―Ｆ２から、検出した移動方向および露光回数ｋに基づいて、露光ごとの被写体ＯＢ［ｉ，ｉ＋１］－１，…，ＯＢ［ｉ，ｉ＋１］－ｋとそれらの位置を決定する。図９の場合は、露光回数ｋ＝２であるため、検出部２０２は、露光ごとの被写体ＯＢ［２，３］－１，ＯＢ［２，３］－２とそれらの位置を決定する。

【0070】

生成部２０３は、露光ごとの被写体ＯＢ［ｉ，ｉ＋１］－１，…，ＯＢ［ｉ，ｉ＋１］－ｋと背景３００とを用いて、露光ごとに多重露光被写体３０１―Ｆｉを分離した分離フレームＳＦ［ｉ，ｉ＋１］－１，…，ＳＦ［ｉ,ｉ＋１］－ｋを生成する。図９の場合は、露光回数ｋ＝２であるため、生成部２０３は、露光ごとの分離フレームＳＦ［２，３］－１，ＳＦ［２,３］－２を生成する。

【0071】

図１０は、画像処理装置２００による画像処理手順例２を示すフローチャートである。図６と共通部分については同一ステップ番号を付し、その説明を省略する。ステップＳ６０３のあと、画像処理装置２００は、図８および図９に示したように、分離フレーム生成処理を実行し（ステップＳ１００４）、ステップＳ６０５に移行する。生成された分離フレームは記憶デバイス１０２に格納される。

【0072】

図１１は、分離フレーム生成処理（ステップＳ１００４）の詳細な処理手順例を示すフローチャートである。画像処理装置２００は、検出部２０２により、図８および図９に示したように、多重露光フレームＦｉの多重露光被写体３０１－Ｆｉから、露光ごとの被写体ＯＢ［ｉ,ｉ＋１］－１～ＯＢ［ｉ,ｉ＋１］－ｋとそれらの位置を検出する（ステップＳ１１０１）。

【0073】

つぎに、画像処理装置２００は、生成部２０３により、図８および図９に示したように、ｋ個の分離フレームＦｉ－１～Ｆｉ－ｋを生成して、多重露光フレームＦｉ、Ｆｉ＋１の間に挿入する（ステップＳ１１０２）。そして、ステップＳ１００５に移行する。

【0074】

このように、ｋ個の分離フレームＦｉ－１～Ｆｉ－ｋを生成することにより、多重露光フレームＦｉ、Ｆｉ＋１の間のフレームを取得することができる。また、多重露光フレームＦｉ、Ｆｉ＋１の間にｋ個の分離フレームＦｉ－１～Ｆｉ－ｋを生成して多重露光フレームＦｉ、Ｆｉ＋１の間に挿入することにより、多重露光フレーム群Ｆｓの撮像で設定されたフレームレートよりも高速なフレームレートの多重露光フレーム群が得られる。これにより、ｋ個の分離フレームＦｉ－１～Ｆｉ－ｋが未挿入な多重露光フレーム群Ｆｓに比べて滑らかな再生動画が得られる。

【0075】

ｋ個の分離フレームＦｉ－１～Ｆｉ－ｋを生成して多重露光フレームＦｉ、Ｆｉ＋１の間に挿入する場合、画像処理装置２００は、分離元となる多重露光フレームＦｉを多重露光フレーム群Ｆｓから削除してもよい。これにより、多重露光フレームＦｉと、ｋ個の分離フレームＦｉ－１～Ｆｉ－ｋとの時間的な重複を解消することができる。

【0076】

＜分離フレームの生成例２＞
つぎに、分離フレームの生成例２について説明する。分離フレームの生成例２では、撮像装置１００が１多重露光フレームの撮影の際に露光時間内で色別の露光を時分割で行って多重露光撮影した場合の多重露光フレーム群を用いて、分離フレームを生成する例である。ここでは、図８～図１１に示した分離フレームの生成例１との相違点を中心に説明するため、共通部分については説明を省略する。

【0077】

図１２は、分離フレームの生成例２－１を示す説明図である。多重露光フレームＦ１は、露光時間内に、たとえば、レーザ光源１１４が赤色、緑色、青色の順に発光して撮像された多重露光フレームである。赤色、緑色、青色の発光順は、異なる順序でもよい。

【0078】

多重露光フレームＦ１内の多重露光被写体１２０１－Ｆ１は、赤色露光で撮像された被写体（以下、赤色被写体）ＯＢ１－ｒ、緑色露光で撮像された被写体（以下、緑色被写体）ＯＢ１－ｇ、青色露光で撮像された被写体（以下、青色被写体）ＯＢ１－ｂが露光タイミングがずれて重畳した画像データである。

【0079】

具体的には、たとえば、画像処理装置２００は、検出部２０２により、動きベクトルｍｖにより、赤色、緑色、青色の露光ごとの被写体の位置を検出し、赤色被写体ＯＢ１－ｒの位置であれば、当該位置における赤色の輝度情報のみを赤色被写体ＯＢ１－ｒとして抽出する。緑色被写体ＯＢ１－ｇおよび青色被写体ＯＢ１－ｂについても、同様に抽出される。

【0080】

赤色被写体ＯＢ１－ｒは、赤色の輝度情報のみの画像データであり、緑色被写体ＯＢ１－ｇは、緑色の輝度情報のみの画像データであり、青色被写体ＯＢ１－ｂは、青色の輝度情報のみの画像データであり、背景３００は、赤色、緑色、青色の輝度情報により生成された画像データである。多重露光被写体１２０１－Ｆ１は、分離フレーム生成処理（ステップＳ１００４）により、分離フレームＳＦ１－ｒ、ＳＦ１－ｇ、ＳＦ１－ｂに分離される。

【0081】

分離フレームＳＦ１－ｒは、赤色被写体ＯＢ１－ｒと背景３００とが合成されたフレームであり、分離フレームＳＦ１－ｇは、緑色被写体ＯＢ１－ｇと背景３００とが合成されたフレームであり、分離フレームＳＦ１－ｂは、青色被写体ＯＢ１－ｂと背景３００とが合成されたフレームである。

【0082】

図１３は、分離フレームの生成例２－２を示す説明図である。画像処理装置２００は、生成部２０３により、分離フレームＳＦ１－ｒと、分離フレームＳＦ１－ｇ内の緑色被写体ＯＢ１－ｇと、分離フレームＳＦ１－ｂ内の青色被写体ＯＢ１－ｂと、を合成して、赤色露光時における被写体ＯＢ１－１をＲＧＢ画像データとして生成する。そして、画像処理装置２００は、生成部２０３により、被写体ＯＢ１－１と背景３００とを合成して、赤色露光時における分離フレームＳＦ１－１を生成する。

【0083】

同様に、画像処理装置２００は、生成部２０３により、分離フレームＳＦ１－ｇと、分離フレームＳＦ１－ｒ内の赤色被写体ＯＢ１－ｒと、分離フレームＳＦ１－ｂ内の青色被写体ＯＢ１－ｂと、を合成して、緑色露光時における被写体ＯＢ１－２をＲＧＢ画像データとして生成する。そして、画像処理装置２００は、生成部２０３により、被写体ＯＢ１－２と背景３００とを合成して、緑色露光時における分離フレームＳＦ１－２を生成する。

【0084】

同様に、画像処理装置２００は、生成部２０３により、分離フレームＳＦ１－ｂと、分離フレームＳＦ１－ｒ内の赤色被写体ＯＢ１－ｒと、分離フレームＳＦ１－ｇ内の緑色被写体ＯＢ１－ｇと、を合成して、青色露光時における被写体ＯＢ１－３をＲＧＢ画像データとして生成する。そして、画像処理装置２００は、生成部２０３により、被写体ＯＢ１－３と背景３００とを合成して、青色露光時における分離フレームＳＦ１－３を生成する。

【0085】

このように、色別に多重露光した多重露光フレーム群Ｆｓについても、画像処理装置２００は、分離フレームを生成することができる。

【0086】

なお、上述した説明では、画像処理装置２００が、予測フレーム生成処理（ステップＳ６０４）と分離フレーム生成処理（ステップＳ１００４）とを別々に実行した例について説明したが、多重露光フレーム群Ｆｓに対し予測フレーム生成処理（ステップＳ６０４）および分離フレーム生成処理（ステップＳ１００４）の両方を適用してもよい。

【0087】

また、上述した例では、被写体の一例としてバスを用いて説明したが、移動体であればバス以外でもよい。たとえば、順次搬送されてくる複数の同種の検査対象物品を被写体として多重露光撮像した多重露光フレーム群Ｆｓについて、画像処理装置２００は、補間フレームを生成してもよい。この場合、テンプレート画像ＴＯＢは、検査対象物品の画像データとなる。これにより、多重露光フレーム群Ｆｓの撮像時に設定されたフレームレートよりも高速なフレームレートにおけるフレームを抽出することが可能になり、検品作業の高精度化を図ることができる。

【0088】

なお、本発明は上記の内容に限定されるものではなく、これらを任意に組み合わせたものであっても良い。また、本発明の技術的思想の範囲で考えられるその他の態様も本発明の範囲に含まれる。

【符号の説明】

【0089】

１００ 撮像装置、１０１ プロセッサ、１０２ 記憶デバイス、１１４ レーザ光源、１２０ 撮像部、１３０ 画像処理部、２００ 画像処理装置、２０１ 取得部、２０２ 検出部、２０３ 生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】