(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024092837
(43)【公開日】2024-07-08
(54)【発明の名称】画像生成装置、画像生成方法、及び、プログラム
(51)【国際特許分類】
G06T 7/55 20170101AFI20240701BHJP
G06V 10/62 20220101ALI20240701BHJP
H04N 23/60 20230101ALI20240701BHJP
【ＦＩ】
G06T7/55
G06V10/62
H04N23/60 500
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022209026
(22)【出願日】2022-12-26
(71)【出願人】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100161148
【弁理士】
【氏名又は名称】福尾 誠
(74)【代理人】
【識別番号】230128026
【弁護士】
【氏名又は名称】駒木 寛隆
(72)【発明者】
【氏名】杉之下 太一
(72)【発明者】
【氏名】三須 俊枝
(72)【発明者】
【氏名】三ツ峰 秀樹
【テーマコード（参考）】
5C122
5L096
【Ｆターム（参考）】
5C122DA03
5C122DA13
5C122EA68
5C122FA18
5C122FH01
5C122FH12
5C122FH15
5C122FH23
5C122HA13
5C122HA35
5C122HA42
5C122HA88
5C122HB01
5C122HB02
5C122HB05
5C122HB10
5L096AA09
5L096CA04
5L096EA39
5L096FA66
5L096FA69
5L096HA04
(57)【要約】
【課題】より品質が高い補間デプス画像を取得可能とする。
【解決手段】画像生成装置１０は、第１、第２、第３時刻に撮影された第１、第２、第３カメラ画像を取得し、第１、第３時刻に撮影された第１、第３デプス画像を取得し、第１、第２、第３カメラ画像と、第１、第３デプス画像と、に基づき、第２時刻のデプス画像である第２デプス画像を生成する、制御部１１を備える。制御部１１は、第２デプス画像の注目画素について、第１、第２カメラ画像に基づき第１動きベクトルを取得し、第２、第３カメラ画像に基づき第２動きベクトルを取得し、第１動きベクトルに基づき、第１デプス画像の注目画素に対応する画素における第１デプス値を取得し、第２動きベクトルに基づき、第３デプス画像の注目画素に対応する画素における第３デプス値を取得し、第１、第３デプス値の重み付き調和平均により、第２デプス画像の注目画素のデプス値である第２デプス値を取得する。
【選択図】図２
【解決手段】画像生成装置１０は、第１、第２、第３時刻に撮影された第１、第２、第３カメラ画像を取得し、第１、第３時刻に撮影された第１、第３デプス画像を取得し、第１、第２、第３カメラ画像と、第１、第３デプス画像と、に基づき、第２時刻のデプス画像である第２デプス画像を生成する、制御部１１を備える。制御部１１は、第２デプス画像の注目画素について、第１、第２カメラ画像に基づき第１動きベクトルを取得し、第２、第３カメラ画像に基づき第２動きベクトルを取得し、第１動きベクトルに基づき、第１デプス画像の注目画素に対応する画素における第１デプス値を取得し、第２動きベクトルに基づき、第３デプス画像の注目画素に対応する画素における第３デプス値を取得し、第１、第３デプス値の重み付き調和平均により、第２デプス画像の注目画素のデプス値である第２デプス値を取得する。
【選択図】図２
【特許請求の範囲】
【請求項1】
被写体を含む撮影範囲における輝度に関する情報を画素毎に含むカメラ画像であって、第１時刻に撮影された第１カメラ画像と、前記第１時刻の後の時刻である第２時刻に撮影された第２カメラ画像と、前記第２時刻の後の時刻である第３時刻に撮影された第３カメラ画像と、を取得し、
前記撮影範囲における距離に関する情報を画素毎に含むデプス画像であって、前記第１時刻に撮影された第１デプス画像と、前記第３時刻に撮影された第３デプス画像と、を取得し、
前記第１カメラ画像と、前記第２カメラ画像と、前記第３カメラ画像と、前記第１デプス画像と、前記第３デプス画像と、に基づき、前記第２時刻の前記デプス画像である第２デプス画像を生成し、
生成した前記第２デプス画像を出力する、
制御部を備え、
前記制御部は、
前記第２デプス画像の注目画素について、
前記第１カメラ画像と、前記第２カメラ画像とに基づき、前記第１時刻と前記第２時刻との間における前記被写体の動きを示す第１動きベクトルを取得し、
前記第２カメラ画像と、前記第３カメラ画像とに基づき、前記第２時刻と前記第３時刻との間における前記被写体の動きを示す第２動きベクトルを取得し、
前記第１動きベクトルに基づき、前記第１デプス画像の前記注目画素に対応する画素における第１デプス値を取得し、
前記第２動きベクトルに基づき、前記第３デプス画像の前記注目画素に対応する画素における第３デプス値を取得し、
前記第１デプス値と、前記第３デプス値と、の重み付き調和平均により、前記第２デプス画像の前記注目画素のデプス値である第２デプス値を取得する、
画像生成装置。
前記撮影範囲における距離に関する情報を画素毎に含むデプス画像であって、前記第１時刻に撮影された第１デプス画像と、前記第３時刻に撮影された第３デプス画像と、を取得し、
前記第１カメラ画像と、前記第２カメラ画像と、前記第３カメラ画像と、前記第１デプス画像と、前記第３デプス画像と、に基づき、前記第２時刻の前記デプス画像である第２デプス画像を生成し、
生成した前記第２デプス画像を出力する、
制御部を備え、
前記制御部は、
前記第２デプス画像の注目画素について、
前記第１カメラ画像と、前記第２カメラ画像とに基づき、前記第１時刻と前記第２時刻との間における前記被写体の動きを示す第１動きベクトルを取得し、
前記第２カメラ画像と、前記第３カメラ画像とに基づき、前記第２時刻と前記第３時刻との間における前記被写体の動きを示す第２動きベクトルを取得し、
前記第１動きベクトルに基づき、前記第１デプス画像の前記注目画素に対応する画素における第１デプス値を取得し、
前記第２動きベクトルに基づき、前記第３デプス画像の前記注目画素に対応する画素における第３デプス値を取得し、
前記第１デプス値と、前記第３デプス値と、の重み付き調和平均により、前記第２デプス画像の前記注目画素のデプス値である第２デプス値を取得する、
画像生成装置。
【請求項2】
前記制御部は、前記第１デプス値に対しては前記第１動きベクトルのノルムを重みとし、前記第３デプス値に対しては前記第２動きベクトルのノルムを重みとする重み付き調和平均により、前記第２デプス値を取得する、請求項１に記載の画像生成装置。
【請求項3】
前記制御部は、
前記第２カメラ画像を複数のブロックに区分し、
前記複数のブロックの各々について、前記第２カメラ画像の前記ブロックと前記第１カメラ画像とを比較して、当該ブロックとの類似度が最も高い領域の当該ブロックの画素位置に対する位置関係に基づき、前記第１動きベクトルを取得し、
前記複数のブロックの各々について、前記第２カメラ画像の前記ブロックと前記第３カメラ画像とを比較して、当該ブロックとの類似度が最も高い領域の当該ブロックの画素位置に対する位置関係に基づき、前記第２動きベクトルを取得する、
請求項１に記載の画像生成装置。
前記第２カメラ画像を複数のブロックに区分し、
前記複数のブロックの各々について、前記第２カメラ画像の前記ブロックと前記第１カメラ画像とを比較して、当該ブロックとの類似度が最も高い領域の当該ブロックの画素位置に対する位置関係に基づき、前記第１動きベクトルを取得し、
前記複数のブロックの各々について、前記第２カメラ画像の前記ブロックと前記第３カメラ画像とを比較して、当該ブロックとの類似度が最も高い領域の当該ブロックの画素位置に対する位置関係に基づき、前記第２動きベクトルを取得する、
請求項１に記載の画像生成装置。
【請求項4】
前記制御部は、
前記第１デプス画像の全画素にわたる平均デプス値と、前記第３デプス画像の全画素にわたる平均デプス値とに基づいて、前記第２カメラ画像の前記ブロックの大きさを前記第１デプス画像に合わせて変更し、当該大きさが変更された前記第２カメラ画像の前記ブロックと前記第１カメラ画像とを比較して、前記第１動きベクトルを取得し、
前記第１デプス画像の全画素にわたる平均デプス値と、前記第３デプス画像の全画素にわたる平均デプス値とに基づいて、前記第２カメラ画像の前記ブロックの大きさを前記第３デプス画像に合わせて変更し、当該大きさが変更された前記第２カメラ画像の前記ブロックと前記第３カメラ画像とを比較して、前記第２動きベクトルを取得する、
請求項３に記載の画像生成装置。
前記第１デプス画像の全画素にわたる平均デプス値と、前記第３デプス画像の全画素にわたる平均デプス値とに基づいて、前記第２カメラ画像の前記ブロックの大きさを前記第１デプス画像に合わせて変更し、当該大きさが変更された前記第２カメラ画像の前記ブロックと前記第１カメラ画像とを比較して、前記第１動きベクトルを取得し、
前記第１デプス画像の全画素にわたる平均デプス値と、前記第３デプス画像の全画素にわたる平均デプス値とに基づいて、前記第２カメラ画像の前記ブロックの大きさを前記第３デプス画像に合わせて変更し、当該大きさが変更された前記第２カメラ画像の前記ブロックと前記第３カメラ画像とを比較して、前記第２動きベクトルを取得する、
請求項３に記載の画像生成装置。
【請求項5】
前記制御部は、
カメラにより前記第１時刻、前記第２時刻、前記第３時刻に撮影された前記カメラ画像を、前記第１カメラ画像、前記第２カメラ画像、前記第３カメラ画像として取得し、
デプスカメラにより前記第１時刻、前記第３時刻に撮影された前記デプス画像を、前記第１デプス画像、前記第３デプス画像として取得する、
請求項１に記載の画像生成装置。
カメラにより前記第１時刻、前記第２時刻、前記第３時刻に撮影された前記カメラ画像を、前記第１カメラ画像、前記第２カメラ画像、前記第３カメラ画像として取得し、
デプスカメラにより前記第１時刻、前記第３時刻に撮影された前記デプス画像を、前記第１デプス画像、前記第３デプス画像として取得する、
請求項１に記載の画像生成装置。
【請求項6】
前記制御部は、
第１カメラにより前記第１時刻、前記第２時刻、前記第３時刻に撮影された前記カメラ画像を、前記第１カメラ画像、前記第２カメラ画像、前記第３カメラ画像として取得し、
前記第１カメラに対して予め定められた位置関係に設けられた第２カメラにより前記第１時刻、前記第３時刻に撮影された前記カメラ画像を、第４カメラ画像、第５カメラ画像として取得し、
前記第１カメラ画像と、前記第４カメラ画像と、のステレオマッチングにより取得されたデプス画像を前記第１デプス画像として取得し、
前記第３カメラ画像と、前記第５カメラ画像と、のステレオマッチングにより取得されたデプス画像を前記第３デプス画像として取得する、
請求項１に記載の画像生成装置。
第１カメラにより前記第１時刻、前記第２時刻、前記第３時刻に撮影された前記カメラ画像を、前記第１カメラ画像、前記第２カメラ画像、前記第３カメラ画像として取得し、
前記第１カメラに対して予め定められた位置関係に設けられた第２カメラにより前記第１時刻、前記第３時刻に撮影された前記カメラ画像を、第４カメラ画像、第５カメラ画像として取得し、
前記第１カメラ画像と、前記第４カメラ画像と、のステレオマッチングにより取得されたデプス画像を前記第１デプス画像として取得し、
前記第３カメラ画像と、前記第５カメラ画像と、のステレオマッチングにより取得されたデプス画像を前記第３デプス画像として取得する、
請求項１に記載の画像生成装置。
【請求項7】
前記制御部は、
第１カメラにより前記第１時刻、前記第２時刻、前記第３時刻に撮影された前記カメラ画像を、前記第１カメラ画像、前記第２カメラ画像、前記第３カメラ画像として取得し、
前記第１カメラに対して予め定められた位置関係に設けられた第２カメラにより前記第１時刻、前記第３時刻に撮影された前記カメラ画像を、第４カメラ画像、第５カメラ画像として取得し、
デプスカメラにより前記第１時刻、前記第２時刻、前記第３時刻に撮影された前記デプス画像を、第４デプス画像、第５デプス画像、第６デプス画像として取得し、
前記第１カメラ画像と前記第４デプス画像とを比較して、前記第４デプス画像における前記被写体の領域の欠損部分に当たる第１切抜範囲を判定し、前記第１カメラ画像及び前記第４カメラ画像のステレオマッチングにより、前記第１切抜範囲におけるデプス画像である第１切抜デプス画像を取得し、
前記第３カメラ画像と前記第６デプス画像とを比較して、前記第６デプス画像における前記被写体の領域の欠損部分に当たる第３切抜範囲を判定し、前記第３カメラ画像及び前記第５カメラ画像のステレオマッチングにより、前記第３切抜範囲におけるデプス画像である第３切抜デプス画像を取得し、
前記第２カメラ画像と前記第５デプス画像とを比較して、前記第５デプス画像における前記被写体の領域の欠損部分に当たる第２切抜範囲を判定し、
前記第１切抜範囲における前記第１カメラ画像と、前記第２切抜範囲における前記第２カメラ画像とに基づき、前記第２切抜範囲における前記第１動きベクトルを取得し、
前記第２切抜範囲における前記第２カメラ画像と、前記第３切抜範囲における前記第３カメラ画像とに基づき、前記第２切抜範囲における前記第２動きベクトルを取得し、
前記第１切抜デプス画像のデプス値と、前記第３切抜デプス画像のデプス値と、の前記第１動きベクトル及び前記第２動きベクトルに基づく重み付き調和平均により、前記第２切抜範囲におけるデプス画像である第２切抜デプス画像を取得する、
請求項１に記載の画像生成装置。
第１カメラにより前記第１時刻、前記第２時刻、前記第３時刻に撮影された前記カメラ画像を、前記第１カメラ画像、前記第２カメラ画像、前記第３カメラ画像として取得し、
前記第１カメラに対して予め定められた位置関係に設けられた第２カメラにより前記第１時刻、前記第３時刻に撮影された前記カメラ画像を、第４カメラ画像、第５カメラ画像として取得し、
デプスカメラにより前記第１時刻、前記第２時刻、前記第３時刻に撮影された前記デプス画像を、第４デプス画像、第５デプス画像、第６デプス画像として取得し、
前記第１カメラ画像と前記第４デプス画像とを比較して、前記第４デプス画像における前記被写体の領域の欠損部分に当たる第１切抜範囲を判定し、前記第１カメラ画像及び前記第４カメラ画像のステレオマッチングにより、前記第１切抜範囲におけるデプス画像である第１切抜デプス画像を取得し、
前記第３カメラ画像と前記第６デプス画像とを比較して、前記第６デプス画像における前記被写体の領域の欠損部分に当たる第３切抜範囲を判定し、前記第３カメラ画像及び前記第５カメラ画像のステレオマッチングにより、前記第３切抜範囲におけるデプス画像である第３切抜デプス画像を取得し、
前記第２カメラ画像と前記第５デプス画像とを比較して、前記第５デプス画像における前記被写体の領域の欠損部分に当たる第２切抜範囲を判定し、
前記第１切抜範囲における前記第１カメラ画像と、前記第２切抜範囲における前記第２カメラ画像とに基づき、前記第２切抜範囲における前記第１動きベクトルを取得し、
前記第２切抜範囲における前記第２カメラ画像と、前記第３切抜範囲における前記第３カメラ画像とに基づき、前記第２切抜範囲における前記第２動きベクトルを取得し、
前記第１切抜デプス画像のデプス値と、前記第３切抜デプス画像のデプス値と、の前記第１動きベクトル及び前記第２動きベクトルに基づく重み付き調和平均により、前記第２切抜範囲におけるデプス画像である第２切抜デプス画像を取得する、
請求項１に記載の画像生成装置。
【請求項8】
前記制御部は、
カメラにより前記第１時刻、前記第２時刻、前記第３時刻に撮影された前記カメラ画像を、前記第１カメラ画像、前記第２カメラ画像、前記第３カメラ画像として取得し、
前記被写体の３次元画像から取得された前記第１時刻、前記第３時刻の前記デプス画像を、前記第１デプス画像、前記第３デプス画像として取得する、
請求項１に記載の画像生成装置。
カメラにより前記第１時刻、前記第２時刻、前記第３時刻に撮影された前記カメラ画像を、前記第１カメラ画像、前記第２カメラ画像、前記第３カメラ画像として取得し、
前記被写体の３次元画像から取得された前記第１時刻、前記第３時刻の前記デプス画像を、前記第１デプス画像、前記第３デプス画像として取得する、
請求項１に記載の画像生成装置。
【請求項9】
制御部を備える画像生成装置の画像生成方法であって、
前記制御部が、
被写体を含む撮影範囲における輝度に関する情報を画素毎に含むカメラ画像であって、第１時刻に撮影された第１カメラ画像と、前記第１時刻の後の時刻である第２時刻に撮影された第２カメラ画像と、前記第２時刻の後の時刻である第３時刻に撮影された第３カメラ画像と、を取得する工程と、
前記撮影範囲における距離に関する情報を画素毎に含むデプス画像であって、前記第１時刻に撮影された第１デプス画像と、前記第３時刻に撮影された第３デプス画像と、を取得する工程と、
前記第１カメラ画像と、前記第２カメラ画像と、前記第３カメラ画像と、前記第１デプス画像と、前記第３デプス画像と、に基づき、前記第２時刻の前記デプス画像である第２デプス画像を生成する工程と、
生成した前記第２デプス画像を出力する工程と、
を含み、
前記制御部は、
前記第２デプス画像の注目画素について、
前記第１カメラ画像と、前記第２カメラ画像とに基づき、前記第１時刻と前記第２時刻との間における前記被写体の動きを示す第１動きベクトルを取得し、
前記第２カメラ画像と、前記第３カメラ画像とに基づき、前記第２時刻と前記第３時刻との間における前記被写体の動きを示す第２動きベクトルを取得し、
前記第１動きベクトルに基づき、前記第１デプス画像の前記注目画素に対応する画素における第１デプス値を取得し、
前記第２動きベクトルに基づき、前記第３デプス画像の前記注目画素に対応する画素における第３デプス値を取得し、
前記第１デプス値と、前記第３デプス値と、の重み付き調和平均により、前記第２デプス画像の前記注目画素のデプス値である第２デプス値を取得する、
画像生成方法。
前記制御部が、
被写体を含む撮影範囲における輝度に関する情報を画素毎に含むカメラ画像であって、第１時刻に撮影された第１カメラ画像と、前記第１時刻の後の時刻である第２時刻に撮影された第２カメラ画像と、前記第２時刻の後の時刻である第３時刻に撮影された第３カメラ画像と、を取得する工程と、
前記撮影範囲における距離に関する情報を画素毎に含むデプス画像であって、前記第１時刻に撮影された第１デプス画像と、前記第３時刻に撮影された第３デプス画像と、を取得する工程と、
前記第１カメラ画像と、前記第２カメラ画像と、前記第３カメラ画像と、前記第１デプス画像と、前記第３デプス画像と、に基づき、前記第２時刻の前記デプス画像である第２デプス画像を生成する工程と、
生成した前記第２デプス画像を出力する工程と、
を含み、
前記制御部は、
前記第２デプス画像の注目画素について、
前記第１カメラ画像と、前記第２カメラ画像とに基づき、前記第１時刻と前記第２時刻との間における前記被写体の動きを示す第１動きベクトルを取得し、
前記第２カメラ画像と、前記第３カメラ画像とに基づき、前記第２時刻と前記第３時刻との間における前記被写体の動きを示す第２動きベクトルを取得し、
前記第１動きベクトルに基づき、前記第１デプス画像の前記注目画素に対応する画素における第１デプス値を取得し、
前記第２動きベクトルに基づき、前記第３デプス画像の前記注目画素に対応する画素における第３デプス値を取得し、
前記第１デプス値と、前記第３デプス値と、の重み付き調和平均により、前記第２デプス画像の前記注目画素のデプス値である第２デプス値を取得する、
画像生成方法。
【請求項10】
コンピュータを請求項１に記載の画像生成装置として動作させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像生成装置、画像生成方法、及び、プログラムに関する。
【背景技術】
【0002】
被写体を取り囲むように配置した複数台の同期のとれたカメラ及びセンサ等が取得したデータを使って、被写体の３次元形状データを取得するボリュメトリックキャプチャー技術が知られている。
【0003】
３次元形状データを取得するためには、被写体までの３次元的な距離を含む３次元位置情報が必要となる。３次元位置情報を取得するための代表的な方式として、２台のカメラを用いて三角測量法を適応して求める方式（ステレオ法）、及び、深度センサを用いて３次元位置を物理的に計測する方式が知られている。これらの方式に対応して、一般的なボリュメトリックキャプチャースタジオには、カメラのみを使用するスタジオと、深度センサを組合せて使用するスタジオとの大きく２つの種類のスタジオが知られている。
【0004】
カメラのみを使用する場合は、ステレオ法による２台のカメラ間の視差を利用するため、カメラから被写体までの距離に関係なく被写体の３次元位置を求めることができる。一方で、カメラのみを使用する場合においては、対応点探索の計算量が大きく、被写体を取り囲むカメラの解像度又は台数が増えれば、それに応じて処理時間が増加する。
【0005】
カメラの解像度又は台数を変更せずに、ステレオ法でリアルタイムに３次元位置を得る手法として、処理する対象のフレームを間引くことが知られている。しかし、フレームを間引けば動画像間の滑らかさが失われてしまうため、３次元形状データにおいても滑らかな動きを再現することができなくなる。そこで、低フレームレートの動画像の時間分解能を向上させる方式であるフレーム補間技術（例えば、特許文献１）を３次元位置が記録されたデプス画像に適用することで、３次元位置の時間分解能を高めることが知られている（特許文献２）。
【0006】
深度センサを用いる手法では、被写体までの３次元位置を直接計測することができるため、カメラのみに比べて高速に３次元形状を取得することができる。例えば、照射した光が被写体に反射して戻ってくるまでの時間にて距離を計算するＴｏＦ（Time of Flight）を使用する深度センサが知られている。このような深度センサは、実際にボリュメトリックキャプチャーの撮影サービスとして展開されている。しかし、多くの深度センサは赤外光を用いているため、複数台の深度センサを用いる場合は同時に発光してしまうと機器間で干渉してしまうため、発光タイミングの調整、配置の工夫、及び、計測間隔の調整等をする必要がある。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特許第６３１３５８８号公報
【特許文献2】特許第５８８７２６７号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかし、特許文献２では、デプス画像（距離画像）とカメラ画像（テクスチャ画像）が同一のフレームレートで得られることが前提であり、デプス画像と比べてカメラ画像のフレームレートが高い状況においてはデプス画像の補間結果に改善の余地があった。
【0009】
そこで、本開示の目的は、より品質が高い補間デプス画像を取得可能とすることである。
【課題を解決するための手段】
【0010】
本開示によれば、画像生成装置は、
（１）被写体を含む撮影範囲における輝度に関する情報を画素毎に含むカメラ画像であって、第１時刻に撮影された第１カメラ画像と、前記第１時刻の後の時刻である第２時刻に撮影された第２カメラ画像と、前記第２時刻の後の時刻である第３時刻に撮影された第３カメラ画像と、を取得し、
前記撮影範囲における距離に関する情報を画素毎に含むデプス画像であって、前記第１時刻に撮影された第１デプス画像と、前記第３時刻に撮影された第３デプス画像と、を取得し、
前記第１カメラ画像と、前記第２カメラ画像と、前記第３カメラ画像と、前記第１デプス画像と、前記第３デプス画像と、に基づき、前記第２時刻の前記デプス画像である第２デプス画像を生成し、
生成した前記第２デプス画像を出力する、
制御部を備え、
前記制御部は、
前記第２デプス画像の注目画素について、
前記第１カメラ画像と、前記第２カメラ画像とに基づき、前記第１時刻と前記第２時刻との間における前記被写体の動きを示す第１動きベクトルを取得し、
前記第２カメラ画像と、前記第３カメラ画像とに基づき、前記第２時刻と前記第３時刻との間における前記被写体の動きを示す第２動きベクトルを取得し、
前記第１動きベクトルに基づき、前記第１デプス画像の前記注目画素に対応する画素における第１デプス値を取得し、
前記第２動きベクトルに基づき、前記第３デプス画像の前記注目画素に対応する画素における第３デプス値を取得し、
前記第１デプス値と、前記第３デプス値と、の重み付き調和平均により、前記第２デプス画像の前記注目画素のデプス値である第２デプス値を取得する。
（１）被写体を含む撮影範囲における輝度に関する情報を画素毎に含むカメラ画像であって、第１時刻に撮影された第１カメラ画像と、前記第１時刻の後の時刻である第２時刻に撮影された第２カメラ画像と、前記第２時刻の後の時刻である第３時刻に撮影された第３カメラ画像と、を取得し、
前記撮影範囲における距離に関する情報を画素毎に含むデプス画像であって、前記第１時刻に撮影された第１デプス画像と、前記第３時刻に撮影された第３デプス画像と、を取得し、
前記第１カメラ画像と、前記第２カメラ画像と、前記第３カメラ画像と、前記第１デプス画像と、前記第３デプス画像と、に基づき、前記第２時刻の前記デプス画像である第２デプス画像を生成し、
生成した前記第２デプス画像を出力する、
制御部を備え、
前記制御部は、
前記第２デプス画像の注目画素について、
前記第１カメラ画像と、前記第２カメラ画像とに基づき、前記第１時刻と前記第２時刻との間における前記被写体の動きを示す第１動きベクトルを取得し、
前記第２カメラ画像と、前記第３カメラ画像とに基づき、前記第２時刻と前記第３時刻との間における前記被写体の動きを示す第２動きベクトルを取得し、
前記第１動きベクトルに基づき、前記第１デプス画像の前記注目画素に対応する画素における第１デプス値を取得し、
前記第２動きベクトルに基づき、前記第３デプス画像の前記注目画素に対応する画素における第３デプス値を取得し、
前記第１デプス値と、前記第３デプス値と、の重み付き調和平均により、前記第２デプス画像の前記注目画素のデプス値である第２デプス値を取得する。
【0011】
（２）（１）の画像生成装置において、
前記制御部は、前記第１デプス値に対しては前記第１動きベクトルのノルムを重みとし、前記第３デプス値に対しては前記第２動きベクトルのノルムを重みとする重み付き調和平均により、前記第２デプス値を取得してもよい。
前記制御部は、前記第１デプス値に対しては前記第１動きベクトルのノルムを重みとし、前記第３デプス値に対しては前記第２動きベクトルのノルムを重みとする重み付き調和平均により、前記第２デプス値を取得してもよい。
【0012】
（３）（１）又は（２）の画像生成装置において、
前記制御部は、
前記第２カメラ画像を複数のブロックに区分し、
前記複数のブロックの各々について、前記第２カメラ画像の前記ブロックと前記第１カメラ画像とを比較して、当該ブロックとの類似度が最も高い領域の当該ブロックの画素位置に対する位置関係に基づき、前記第１動きベクトルを取得し、
前記複数のブロックの各々について、前記第２カメラ画像の前記ブロックと前記第３カメラ画像とを比較して、当該ブロックとの類似度が最も高い領域の当該ブロックの画素位置に対する位置関係に基づき、前記第２動きベクトルを取得してもよい。
前記制御部は、
前記第２カメラ画像を複数のブロックに区分し、
前記複数のブロックの各々について、前記第２カメラ画像の前記ブロックと前記第１カメラ画像とを比較して、当該ブロックとの類似度が最も高い領域の当該ブロックの画素位置に対する位置関係に基づき、前記第１動きベクトルを取得し、
前記複数のブロックの各々について、前記第２カメラ画像の前記ブロックと前記第３カメラ画像とを比較して、当該ブロックとの類似度が最も高い領域の当該ブロックの画素位置に対する位置関係に基づき、前記第２動きベクトルを取得してもよい。
【0013】
（４）（３）の画像生成装置において、
前記制御部は、
前記第１デプス画像の全画素にわたる平均デプス値と、前記第３デプス画像の全画素にわたる平均デプス値とに基づいて、前記第２カメラ画像の前記ブロックの大きさを前記第１デプス画像に合わせて変更し、当該大きさが変更された前記第２カメラ画像の前記ブロックと前記第１カメラ画像とを比較して、前記第１動きベクトルを取得し、
前記第１デプス画像の全画素にわたる平均デプス値と、前記第３デプス画像の全画素にわたる平均デプス値とに基づいて、前記第２カメラ画像の前記ブロックの大きさを前記第３デプス画像に合わせて変更し、当該大きさが変更された前記第２カメラ画像の前記ブロックと前記第３カメラ画像とを比較して、前記第２動きベクトルを取得してもよい。
前記制御部は、
前記第１デプス画像の全画素にわたる平均デプス値と、前記第３デプス画像の全画素にわたる平均デプス値とに基づいて、前記第２カメラ画像の前記ブロックの大きさを前記第１デプス画像に合わせて変更し、当該大きさが変更された前記第２カメラ画像の前記ブロックと前記第１カメラ画像とを比較して、前記第１動きベクトルを取得し、
前記第１デプス画像の全画素にわたる平均デプス値と、前記第３デプス画像の全画素にわたる平均デプス値とに基づいて、前記第２カメラ画像の前記ブロックの大きさを前記第３デプス画像に合わせて変更し、当該大きさが変更された前記第２カメラ画像の前記ブロックと前記第３カメラ画像とを比較して、前記第２動きベクトルを取得してもよい。
【0014】
（５）（１）から（４）のいずれかの画像生成装置において、
前記制御部は、
カメラにより前記第１時刻、前記第２時刻、前記第３時刻に撮影された前記カメラ画像を、前記第１カメラ画像、前記第２カメラ画像、前記第３カメラ画像として取得し、
デプスカメラにより前記第１時刻、前記第３時刻に撮影された前記デプス画像を、前記第１デプス画像、前記第３デプス画像として取得してもよい。
前記制御部は、
カメラにより前記第１時刻、前記第２時刻、前記第３時刻に撮影された前記カメラ画像を、前記第１カメラ画像、前記第２カメラ画像、前記第３カメラ画像として取得し、
デプスカメラにより前記第１時刻、前記第３時刻に撮影された前記デプス画像を、前記第１デプス画像、前記第３デプス画像として取得してもよい。
【0015】
（６）（１）から（４）のいずれかの画像生成装置において、
前記制御部は、
第１カメラにより前記第１時刻、前記第２時刻、前記第３時刻に撮影された前記カメラ画像を、前記第１カメラ画像、前記第２カメラ画像、前記第３カメラ画像として取得し、
前記第１カメラに対して予め定められた位置関係に設けられた第２カメラにより前記第１時刻、前記第３時刻に撮影された前記カメラ画像を、第４カメラ画像、第５カメラ画像として取得し、
前記第１カメラ画像と、前記第４カメラ画像と、のステレオマッチングにより取得されたデプス画像を前記第１デプス画像として取得し、
前記第３カメラ画像と、前記第５カメラ画像と、のステレオマッチングにより取得されたデプス画像を前記第３デプス画像として取得してもよい。
前記制御部は、
第１カメラにより前記第１時刻、前記第２時刻、前記第３時刻に撮影された前記カメラ画像を、前記第１カメラ画像、前記第２カメラ画像、前記第３カメラ画像として取得し、
前記第１カメラに対して予め定められた位置関係に設けられた第２カメラにより前記第１時刻、前記第３時刻に撮影された前記カメラ画像を、第４カメラ画像、第５カメラ画像として取得し、
前記第１カメラ画像と、前記第４カメラ画像と、のステレオマッチングにより取得されたデプス画像を前記第１デプス画像として取得し、
前記第３カメラ画像と、前記第５カメラ画像と、のステレオマッチングにより取得されたデプス画像を前記第３デプス画像として取得してもよい。
【0016】
（７）（１）から（４）のいずれかの画像生成装置において、
前記制御部は、
第１カメラにより前記第１時刻、前記第２時刻、前記第３時刻に撮影された前記カメラ画像を、前記第１カメラ画像、前記第２カメラ画像、前記第３カメラ画像として取得し、
前記第１カメラに対して予め定められた位置関係に設けられた第２カメラにより前記第１時刻、前記第３時刻に撮影された前記カメラ画像を、第４カメラ画像、第５カメラ画像として取得し、
デプスカメラにより前記第１時刻、前記第２時刻、前記第３時刻に撮影された前記デプス画像を、第４デプス画像、第５デプス画像、第６デプス画像として取得し、
前記第１カメラ画像と前記第４デプス画像とを比較して、前記第４デプス画像における前記被写体の領域の欠損部分に当たる第１切抜範囲を判定し、前記第１カメラ画像及び前記第４カメラ画像のステレオマッチングにより、前記第１切抜範囲におけるデプス画像である第１切抜デプス画像を取得し、
前記第３カメラ画像と前記第６デプス画像とを比較して、前記第６デプス画像における前記被写体の領域の欠損部分に当たる第３切抜範囲を判定し、前記第３カメラ画像及び前記第５カメラ画像のステレオマッチングにより、前記第３切抜範囲におけるデプス画像である第３切抜デプス画像を取得し、
前記第２カメラ画像と前記第５デプス画像とを比較して、前記第５デプス画像における前記被写体の領域の欠損部分に当たる第２切抜範囲を判定し、
前記第１切抜範囲における前記第１カメラ画像と、前記第２切抜範囲における前記第２カメラ画像とに基づき、前記第２切抜範囲における前記第１動きベクトルを取得し、
前記第２切抜範囲における前記第２カメラ画像と、前記第３切抜範囲における前記第３カメラ画像とに基づき、前記第２切抜範囲における前記第２動きベクトルを取得し、
前記第１切抜デプス画像のデプス値と、前記第３切抜デプス画像のデプス値と、の前記第１動きベクトル及び前記第２動きベクトルに基づく重み付き調和平均により、前記第２切抜範囲におけるデプス画像である第２切抜デプス画像を取得してもよい。
前記制御部は、
第１カメラにより前記第１時刻、前記第２時刻、前記第３時刻に撮影された前記カメラ画像を、前記第１カメラ画像、前記第２カメラ画像、前記第３カメラ画像として取得し、
前記第１カメラに対して予め定められた位置関係に設けられた第２カメラにより前記第１時刻、前記第３時刻に撮影された前記カメラ画像を、第４カメラ画像、第５カメラ画像として取得し、
デプスカメラにより前記第１時刻、前記第２時刻、前記第３時刻に撮影された前記デプス画像を、第４デプス画像、第５デプス画像、第６デプス画像として取得し、
前記第１カメラ画像と前記第４デプス画像とを比較して、前記第４デプス画像における前記被写体の領域の欠損部分に当たる第１切抜範囲を判定し、前記第１カメラ画像及び前記第４カメラ画像のステレオマッチングにより、前記第１切抜範囲におけるデプス画像である第１切抜デプス画像を取得し、
前記第３カメラ画像と前記第６デプス画像とを比較して、前記第６デプス画像における前記被写体の領域の欠損部分に当たる第３切抜範囲を判定し、前記第３カメラ画像及び前記第５カメラ画像のステレオマッチングにより、前記第３切抜範囲におけるデプス画像である第３切抜デプス画像を取得し、
前記第２カメラ画像と前記第５デプス画像とを比較して、前記第５デプス画像における前記被写体の領域の欠損部分に当たる第２切抜範囲を判定し、
前記第１切抜範囲における前記第１カメラ画像と、前記第２切抜範囲における前記第２カメラ画像とに基づき、前記第２切抜範囲における前記第１動きベクトルを取得し、
前記第２切抜範囲における前記第２カメラ画像と、前記第３切抜範囲における前記第３カメラ画像とに基づき、前記第２切抜範囲における前記第２動きベクトルを取得し、
前記第１切抜デプス画像のデプス値と、前記第３切抜デプス画像のデプス値と、の前記第１動きベクトル及び前記第２動きベクトルに基づく重み付き調和平均により、前記第２切抜範囲におけるデプス画像である第２切抜デプス画像を取得してもよい。
【0017】
（８）（１）から（４）のいずれかの画像生成装置において、
前記制御部は、
カメラにより前記第１時刻、前記第２時刻、前記第３時刻に撮影された前記カメラ画像を、前記第１カメラ画像、前記第２カメラ画像、前記第３カメラ画像として取得し、
前記被写体の３次元画像から取得された前記第１時刻、前記第３時刻の前記デプス画像を、前記第１デプス画像、前記第３デプス画像として取得してもよい。
前記制御部は、
カメラにより前記第１時刻、前記第２時刻、前記第３時刻に撮影された前記カメラ画像を、前記第１カメラ画像、前記第２カメラ画像、前記第３カメラ画像として取得し、
前記被写体の３次元画像から取得された前記第１時刻、前記第３時刻の前記デプス画像を、前記第１デプス画像、前記第３デプス画像として取得してもよい。
【0018】
本開示によれば、画像生成方法は、
（９）制御部を備える画像生成装置の画像生成方法であって、
前記制御部が、
被写体を含む撮影範囲における輝度に関する情報を画素毎に含むカメラ画像であって、第１時刻に撮影された第１カメラ画像と、前記第１時刻の後の時刻である第２時刻に撮影された第２カメラ画像と、前記第２時刻の後の時刻である第３時刻に撮影された第３カメラ画像と、を取得する工程と、
前記撮影範囲における距離に関する情報を画素毎に含むデプス画像であって、前記第１時刻に撮影された第１デプス画像と、前記第３時刻に撮影された第３デプス画像と、を取得する工程と、
前記第１カメラ画像と、前記第２カメラ画像と、前記第３カメラ画像と、前記第１デプス画像と、前記第３デプス画像と、に基づき、前記第２時刻の前記デプス画像である第２デプス画像を生成する工程と、
生成した前記第２デプス画像を出力する工程と、
を含み、
前記制御部は、
前記第２デプス画像の注目画素について、
前記第１カメラ画像と、前記第２カメラ画像とに基づき、前記第１時刻と前記第２時刻との間における前記被写体の動きを示す第１動きベクトルを取得し、
前記第２カメラ画像と、前記第３カメラ画像とに基づき、前記第２時刻と前記第３時刻との間における前記被写体の動きを示す第２動きベクトルを取得し、
前記第１動きベクトルに基づき、前記第１デプス画像の前記注目画素に対応する画素における第１デプス値を取得し、
前記第２動きベクトルに基づき、前記第３デプス画像の前記注目画素に対応する画素における第３デプス値を取得し、
前記第１デプス値と、前記第３デプス値と、の重み付き調和平均により、前記第２デプス画像の前記注目画素のデプス値である第２デプス値を取得する。
（９）制御部を備える画像生成装置の画像生成方法であって、
前記制御部が、
被写体を含む撮影範囲における輝度に関する情報を画素毎に含むカメラ画像であって、第１時刻に撮影された第１カメラ画像と、前記第１時刻の後の時刻である第２時刻に撮影された第２カメラ画像と、前記第２時刻の後の時刻である第３時刻に撮影された第３カメラ画像と、を取得する工程と、
前記撮影範囲における距離に関する情報を画素毎に含むデプス画像であって、前記第１時刻に撮影された第１デプス画像と、前記第３時刻に撮影された第３デプス画像と、を取得する工程と、
前記第１カメラ画像と、前記第２カメラ画像と、前記第３カメラ画像と、前記第１デプス画像と、前記第３デプス画像と、に基づき、前記第２時刻の前記デプス画像である第２デプス画像を生成する工程と、
生成した前記第２デプス画像を出力する工程と、
を含み、
前記制御部は、
前記第２デプス画像の注目画素について、
前記第１カメラ画像と、前記第２カメラ画像とに基づき、前記第１時刻と前記第２時刻との間における前記被写体の動きを示す第１動きベクトルを取得し、
前記第２カメラ画像と、前記第３カメラ画像とに基づき、前記第２時刻と前記第３時刻との間における前記被写体の動きを示す第２動きベクトルを取得し、
前記第１動きベクトルに基づき、前記第１デプス画像の前記注目画素に対応する画素における第１デプス値を取得し、
前記第２動きベクトルに基づき、前記第３デプス画像の前記注目画素に対応する画素における第３デプス値を取得し、
前記第１デプス値と、前記第３デプス値と、の重み付き調和平均により、前記第２デプス画像の前記注目画素のデプス値である第２デプス値を取得する。
【0019】
本開示によれば、プログラムは、
（１０）コンピュータを（１）から（８）のいずれかの画像生成装置として動作させる。
（１０）コンピュータを（１）から（８）のいずれかの画像生成装置として動作させる。
【発明の効果】
【0020】
本開示の一実施形態によれば、より品質が高い補間デプス画像を取得することができる。
【図面の簡単な説明】
【0021】
【図1】一実施形態に係る画像生成システムの機能構成例を示すブロック図である。
【図2】一実施形態に係る画像生成装置のハードウェア構成例を示すブロック図である。
【図5】一実施形態に係る画像生成システムの機能構成例を示すブロック図である。
【図7】一実施形態に係る画像生成装置の動作例を示すフローチャートである。
【図8】一実施形態に係る画像生成システムの機能構成例を示すブロック図である。
【図10】一実施形態に係る画像生成装置の動作例を示すフローチャートである。
【図11】一実施形態に係る画像生成システムの機能構成例を示すブロック図である。
【発明を実施するための形態】
【0022】
以下、本開示の一実施形態について、図面を参照して説明する。各図面中、同一の構成又は機能を有する部分には、同一の符号を付している。本実施形態の説明において、同一の部分については、重複する説明を適宜省略又は簡略化する場合がある。
【0023】
＜＜実施形態１＞＞
図１は、一実施形態に係る画像生成システム１ａの機能構成例を示すブロック図である。画像生成システム１ａは、画像生成装置１０ａ、カメラ２０、及び、デプスカメラ３０を備える。
図１は、一実施形態に係る画像生成システム１ａの機能構成例を示すブロック図である。画像生成システム１ａは、画像生成装置１０ａ、カメラ２０、及び、デプスカメラ３０を備える。
【0024】
カメラ２０は、一定のフレームレートで、被写体のカメラ画像を取得する。カメラ画像は、被写体を含む撮影範囲における輝度に関する情報を画素毎に含む。例えば、カメラ画像は、複数の画素の各々について、ＲＧＢ（Red，Green，Blue、カラー画像）、輝度（グレースケール画像）、又は、二値（白黒二値画像）等の値を有してもよい。カメラ２０は、光情報を電気信号に変換する光電変換素子を画素毎に備えてもよい。
【0025】
デプスカメラ３０は、一定のフレームレートで、被写体のデプス画像を取得する。デプス画像は、撮影範囲における距離に関する情報を画素毎に含む。例えば、デプス画像は、複数の画素の各々についてデプスカメラ３０から被写体までの距離（深さ）の情報（デプス値）を有する。デプスカメラ３０は、例えば、ＴｏＦ等の深度センサを用いて、デプスカメラ３０から被写体までの距離を測定してデプス画像を取得してもよい。以下、デプスカメラ３０は、カメラ２０よりも低いフレームレートでデプス画像を取得する例を説明する。
【0026】
画像生成装置１０ａは、カメラ２０及びデプスカメラ３０と通信可能に接続され、カメラ２０からカメラ画像を受信し、デプスカメラ３０からデプス画像を受信する。画像生成装置１０ａは、機能要素として、動きベクトル取得部１０１、及び、補間画像生成部１０２を備える。動きベクトル取得部１０１は、カメラ画像の互いに時間的に隣接するフレームを用いて、カメラ画像に映り込んでいる被写体領域の時間的変動を示す動きベクトルを取得する。補間画像生成部１０２は、デプス画像の互いに時間的に隣接するフレームを、対応する時刻の動きベクトルを用いて補間し、補間デプス画像を取得する。
【0027】
このように、画像生成装置１０ａは、デプス画像のみを用いてデプス画像のフレームを補間するのではなく、カメラ画像から取得された対応する時刻の動きベクトルを用いてデプス画像のフレームを補間する。したがって、画像生成装置１０ａは、高いフレームレートで取得された情報を反映した、より品質が高い補間デプス画像を取得することができる。
【0028】
以下、カメラ２０及びデプスカメラ３０は、同一の光軸上にあり、同一の被写体を撮影して、同一の画角及び同一の解像度の、カメラ画像及びデプス画像を取得する場合の例を説明する。また、以下、カメラ２０及びデプスカメラ３０の位置及び撮影方向等は不変だが、被写体は移動する場合の例を説明する。
【0029】
図２は、一実施形態に係る画像生成装置１０ａのハードウェア構成例を示すブロック図である。後述する画像生成装置１０ｂ，１０ｃ，１０ｄは、画像生成装置１０ａと同一のハードウェア構成を備えてもよい。そこで、以下、画像生成装置１０ａ，１０ｂ，１０ｃ，１０ｄをまとめて「画像生成装置１０」と称する場合がある。図１に示すように、画像生成装置１０は、制御部１１、記憶部１２、通信部１３、入力部１４、及び出力部１５を備える。画像生成装置１０は、例えば、ＰＣ（Personal Computer）又はタブレット端末等の汎用のコンピュータにより実現されるが、デプス画像の処理を行うための専用の装置により実現されてもよい。
【0030】
制御部１１は、１つ以上のプロセッサを含む。一実施形態において「プロセッサ」は、汎用のプロセッサ、又は、特定の処理に特化した専用のプロセッサであるが、これらに限定されない。制御部１１は、画像生成装置１０を構成する各構成部と通信可能に接続され、画像生成装置１０全体の動作を制御する。
【0031】
記憶部１２は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＲＯＭ（Read-Only Memory）、及びＲＡＭ（Random Access Memory）等の任意の記憶モジュールを含む。記憶部１２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部１２は、画像生成装置１０の動作に用いられる任意の情報を記憶する。例えば、記憶部１２は、システムプログラム、アプリケーションプログラム、通信部１３によって受信された各種情報（例えば、カメラ２０によって取得されたカメラ画像、及び、デプスカメラ３０によって取得されたデプス画像等）等を記憶してもよい。記憶部１２は、画像生成装置１０に内蔵されているものに限定されず、外付けのデータベース又は外付け型の記憶モジュールであってもよい。
【0032】
通信部１３は、任意の通信技術によってカメラ２０又はデプスカメラ３０等の他の装置と通信接続可能な、任意の通信モジュールを含む。通信部１３は、さらに、他の装置との通信を制御するための通信制御モジュール、及び他の装置との通信に必要となる識別情報等の通信用データを記憶する記憶モジュールを含んでもよい。
【0033】
入力部１４は、操作者の入力操作を受け付けて、操作者の操作に基づく入力情報を取得する１つ以上の入力インターフェースを含む。例えば、入力部１４は、物理キー、静電容量キー、ポインティングディバイス、又は、出力部１５のディスプレイと一体的に設けられたタッチスクリーン等であるが、これらに限定されない。
【0034】
出力部１５は、操作者に対して情報を出力し、操作者に通知する１つ以上の出力インターフェースを含む。例えば、出力部１５は、情報を画像として出力するディスプレイ等であるが、これらに限定されない。このようなディスプレイは、例えば、液晶パネルディスプレイ又は有機ＥＬ（Electro Luminescence）ディスプレイ等としてもよい。なお、上述の入力部１４及び出力部１５の少なくとも一方は、画像生成装置１０と一体に構成されてもよいし、別体として設けられてもよい。
【0035】
画像生成装置１０の各機能要素（例えば、動きベクトル取得部１０１、補間画像生成部１０２等）は、本実施形態に係るコンピュータプログラム（プログラム）を、制御部１１に含まれるプロセッサで実行することにより実現されうる。すなわち、画像生成装置１０の各機能要素は、ソフトウェアにより実現されうる。コンピュータプログラムは、画像生成装置１０の動作に含まれるステップの処理をコンピュータに実行させることで、各ステップの処理に対応する機能をコンピュータに実現させる。すなわち、コンピュータプログラムは、コンピュータを本実施形態に係る画像生成装置１０として機能させるためのプログラムである。コンピュータプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータプログラムをサーバのストレージに格納しておき、ネットワークを介して、サーバから他のコンピュータにプログラムを転送することにより、プログラムは流通されてもよい。
【0036】
画像生成装置１０の一部又は全ての機能が、制御部１１に含まれる専用回路により実現されてもよい。すなわち、画像生成装置１０の一部又は全ての機能が、ハードウェアにより実現されてもよい。また、画像生成装置１０は単一のコンピュータにより実現されてもよいし、互いに通信可能な複数のコンピュータの協働により実現されてもよい。
【0037】
図３及び図４は、図１の画像生成装置１０ａによる補間デプス画像の取得を説明する図である。図３は、カメラ画像５１（５１ｔ，５１（ｔ＋１），５１（ｔ＋２））、及び、デプス画像６１（６１ｔ，６１（ｔ＋１），６１（ｔ＋２））を示している。カメラ画像５１（５１ｔ，５１（ｔ＋１），５１（ｔ＋２））は、時間的に連続して取得されたカメラ画像である。カメラ画像５１は、第１時刻、第２時刻、第３時刻としての、時刻ｔ，時刻（ｔ＋１），時刻（ｔ＋２）に取得されている。デプス画像６１ｔ，６１（ｔ＋２）は、時間的に連続して取得されたデプス画像である。デプス画像６１ｔ，６１（ｔ＋２）は、時刻ｔ，時刻（ｔ＋２）に取得されている。デプス画像６１（ｔ＋１）は、デプス画像６１ｔ，６１（ｔ＋２）を補間して取得されるデプス画像である。以下、カメラ画像５１のフレームレートは、例えば、６０ｆｐｓとしてもよい。デプス画像６１ｔ，６１（ｔ＋２）のフレームレートは、例えば、３０ｆｐｓとしてもよい。
【0038】
カメラ画像５１（５１ｔ，５１（ｔ＋１），５１（ｔ＋２））には、被写体の領域７１（７１ｔ，７１（ｔ＋１），７１（ｔ＋２））が映り込んでいる。図３の例では、被写体は、時間の経過に伴い、カメラ２０及びデプスカメラ３０の前方を左から右へ横切っている。画像生成装置１０ａの動きベクトル取得部１０１は、公知の手法を用いて、カメラ画像５１から、被写体の領域７１を検出する。そして、動きベクトル取得部１０１は、隣接するカメラ画像のフレーム間における被写体の位置の変化を動きベクトルとして取得する。具体的には、動きベクトル取得部１０１は、時刻（ｔ＋１）のカメラ画像５１（ｔ＋１）における被写体の領域７１（ｔ＋１）の位置に対する、時刻ｔのカメラ画像５１ｔにおける被写体の領域７１ｔの相対的な位置を動きベクトルＶ0として取得する。動きベクトル取得部１０１は、時刻（ｔ＋１）のカメラ画像５１（ｔ＋１）における被写体の領域７１（ｔ＋１）の位置に対する、時刻（ｔ＋２）のカメラ画像５１（ｔ＋２）における被写体の領域７１（ｔ＋２）の相対的な位置を動きベクトルＶ1として取得する。例えば、動きベクトル取得部１０１は、領域７１（ｔ＋１）の各画素について、領域７１ｔ内の対応する画素を判定して、画素毎に動きベクトルＶ0を取得してもよい。動きベクトル取得部１０１は、領域７１（ｔ＋１）の各画素について、領域７１（ｔ＋２）内の対応する画素を判定して、画素毎に動きベクトルＶ1を取得してもよい。
【0039】
デプス画像６１ｔ，６１（ｔ＋２）には、被写体の領域７２ｔ，７２（ｔ＋２）が含まれる。前述のように、カメラ画像及びデプス画像は、同一の被写体を撮影して取得された、同一の画角及び同一の解像度の画像である。そこで、画像生成装置１０ａの補間画像生成部１０２は、カメラ画像５１ｔ，５１（ｔ＋２）において被写体が占める領域７１ｔ，７１（ｔ＋２）に対応するデプス画像６１ｔ，６１（ｔ＋２）における領域を、領域７２ｔ，７２（ｔ＋２）として判定してもよい。また、補間画像生成部１０２は、カメラ画像５１（ｔ＋１）において被写体が占める領域７１（ｔ＋１）に対応するデプス画像６１（ｔ＋１）における領域を、被写体が占める領域７２（ｔ＋１）として判定してもよい。
【0040】
補間画像生成部１０２は、デプス画像６１ｔにおける領域７２ｔのデプス値Ｚ0と、デプス画像６１（ｔ＋２）における領域７２（ｔ＋２）のデプス値Ｚ1との、動きベクトルＶ0，Ｖ1に基づく重み付き調和平均により、デプス画像６１（ｔ＋１）における領域７２（ｔ＋１）のデプス値Ｚpを算出する。すなわち、補間画像生成部１０２は、デプス画像６１（ｔ＋１）における領域７２（ｔ＋１）内の各画素の位置（以下「注目画素位置」と称する。）について、動きベクトルＶ0，Ｖ1に基づく重み付き調和平均によりデプス値Ｚpを算出する。具体的には、補間画像生成部１０２は、注目画素位置に動きベクトルＶ0を加えて定まる画素位置における時刻ｔのデプス画像６１ｔのデプス値Ｚ0と、注目画素位置に動きベクトルＶ1を加えて定まる画素位置における時刻（ｔ＋２）のデプス画像６１（ｔ＋２）のデプス値Ｚ1と、に基づき、注目画素位置におけるデプス値Ｚpを算出する。例えば、補間画像生成部１０２は、デプス値Ｚ0に対しては動きベクトルＶ1のノルムを重みとし、デプス値Ｚ1に対しては動きベクトルＶ0のノルムを重みとして、数１のように、注目画素位置におけるデプス値Ｚpを算出してもよい。
【0041】
【数1】
【0042】
このように、画像生成装置１０ａは、時刻（ｔ＋１）のデプス画像６１（ｔ＋１）を時刻ｔ、（ｔ＋２）のデプス画像６１ｔ、６１（ｔ＋２）、及び、時刻ｔ～（ｔ＋２）のカメラ画像５１ｔ、５１（ｔ＋２）から取得された動きベクトルＶ0、Ｖ1に基づき生成する。画像生成装置１０ａは、このような処理を、取得されたカメラ画像及びデプス画像の全時間範囲にわたって実行する。したがって、画像生成装置１０ａは、被写体がカメラ２０及びデプスカメラ３０から見て奥行方向の成分を含む方向に移動した場合であっても、実際の被写体の位置を反映した適切なデプス画像６１（ｔ＋１）を取得することが可能である。また、本実施形態において、画像生成装置１０ａは、一定のフレームレートのカメラ画像及びデプス画像を取得してデプス画像の補間を行う例を説明したが、カメラ画像及びデプス画像の各フレームの時間的間隔は一定でなくてもよい。例えば、カメラ画像及びデプス画像の互いに時間的に隣接するフレームの時間的間隔が時間の経過に応じて変動してもよい。また、図３の例において、被写体は直線状の軌跡を描いて移動しているが、被写体の移動の軌跡は曲線状でもよい。被写体の移動の速度は一定でなくてもよい。
【0043】
画像生成装置１０ａは、ブロックマッチング法、及び、勾配法等を含む任意の手法を用いて動きベクトルを取得してもよい。以下、ブロックマッチング法を用いて動きベクトルを取得する例を説明する。
【0044】
図４は、ブロックマッチング法により動きベクトルを取得して、補間デプス画像を取得する場合の動作例を示している。ブロックマッチング法において、画像生成装置１０ａの動きベクトル取得部１０１は、補間デプス画像を取得する時刻ｔ＋１のカメラ画像（基準フレーム）５１（ｔ＋１）を一定の大きさのブロックＢn
102に分割する。ブロックＢn
102は、カメラ画像５１（ｔ＋１）から抽出されたｎ番目のブロックである。動きベクトル取得部１０１は、過去又は未来のカメラ画像（対象フレーム）５１ｔ，５１（ｔ＋２）に含まれる、ブロックＢn
102と類似度が高い領域のブロックＢn
101、Ｂn
103を、基準フレームのブロックＢn
102と対応付けることで、動きベクトルＶn
12、Ｖn
23を取得する。動きベクトルＶn
12は、カメラ画像５１（ｔ＋１）を基準フレーム、カメラ画像５１ｔを対象フレームとして取得される動きベクトルである。動きベクトルＶn
23は、カメラ画像５１（ｔ＋１）を基準フレーム、カメラ画像５１（ｔ＋２）を対象フレームとして取得される動きベクトルである。
【0045】
ここで、被写体が奥行方向の成分を含む方向に移動する場合、時間的に隣接するカメラ画像５１ｔ、５１（ｔ＋１）、５１（ｔ＋２）において被写体が占める領域のサイズは変化する。そこで、動きベクトル取得部１０１は、対象フレームと時刻が同一のデプス画像６１ｔ，６１（ｔ＋２）のデプス（深さ）の情報を基に、基準フレームから抽出したブロックＢn
102の大きさを調整してから、そのブロックＢn
102と類似する領域のブロックＢn
101、Ｂn
103を対象フレームにおいて探索する。
【0046】
例えば、時刻ｔのデプス画像６１ｔにおける被写体領域７２ｔの全画素の平均デプス値をＺt、時刻ｔ＋２のデプス画像を６１（ｔ＋２）における被写体領域７２（ｔ＋２）の全画素の平均デプス値をＺt+2とする。この場合、Ｚt+2－Ｚtの正負に基づき、奥行方向の移動の有無及び向きは、次のとおりである。
Ｚt+2－Ｚt＜０：被写体は手前方向に移動している
Ｚt+2－Ｚt＝０：被写体は奥行方向に移動していない
Ｚt+2－Ｚt＞０：被写体は奥方向に移動している
なお、動きベクトル取得部１０１は、デプス画像６１ｔ、６１（ｔ＋２）の全画素について、互いに対応する画素間でデプス値の差分を求め、その差分の値が０又は一定の閾値以下となる領域を、被写体の領域７２ｔ、７２（ｔ＋２）として判定してもよい。
Ｚt+2－Ｚt＜０：被写体は手前方向に移動している
Ｚt+2－Ｚt＝０：被写体は奥行方向に移動していない
Ｚt+2－Ｚt＞０：被写体は奥方向に移動している
なお、動きベクトル取得部１０１は、デプス画像６１ｔ、６１（ｔ＋２）の全画素について、互いに対応する画素間でデプス値の差分を求め、その差分の値が０又は一定の閾値以下となる領域を、被写体の領域７２ｔ、７２（ｔ＋２）として判定してもよい。
【0047】
例えば、カメラ画像５１（ｔ＋１）に設定したブロックＢn
102を、一辺の長さがｗt+1＝ｗの正方形とする。この場合、被写体の奥行方向の移動速度が一定であるとして、カメラ画像５１ｔ、５１（ｔ＋２）に設定されるブロックＢn
103の一辺の長さｗt、ｗt+2は、数２、数３のようにしてもよい。
【0048】
【数2】
【0049】
【数3】
【0050】
動きベクトル取得部１０１は、基準フレームから取得された画像のブロックＢn
102を数２、数３により示される大きさにリサイズし、リサイズされたブロックＢn
102との類似度が高いブロックを対象フレームの中で探索する。動きベクトル取得部１０１は、ブロックＢn
102のリサイズを任意の手法で行うことができ、例えば、最近傍法、平均画素法、又は、線形補間法を用いてブロックＢn
102をリサイズしてもよい。
【0051】
動きベクトル取得部１０１は、リサイズされたブロックＢn
102との類似度を任意の手法で評価することができる。動きベクトル取得部１０１は、例えば、ＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、ＮＣＣ（Normalized Cross Correlation）、及び、ＺＮＣＣ（Zero means Normalized Cross Correlation）等を用いてもよい。例えば、ＳＳＤでは、リサイズされたブロックＢn
102と同じ大きさのブロックを対象フレームの中から抽出し、両画像のブロック内の各画素についての画素値の差の二乗和を算出して、二乗和の値が小さい場合に、ブロック間の一致度が高いと評価する。具体的には、画素の座標（ｉ，ｊ）について、基準フレームのブロックの画素値をＩ１（ｉ，ｊ）、対象フレームのブロックの画素値をＩ２（ｉ，ｊ）とすると、ＳＳＤ値ＳSSDは数４で示される。
【0052】
【数4】
【0053】
動きベクトル取得部１０１は、基準フレームに含まれる各ブロックＢn
102について、そのブロックＢn
102とのＳＳＤ値ＳSSDが最も小さい対象フレームのブロックを対応するブロックＢn
101、Ｂn
103として判定する。動きベクトル取得部１０１は、ブロックＢn
102に対するブロックＢn
101の相対位置を動きベクトルＶn
12として判定する。動きベクトル取得部１０１は、ブロックＢn
102に対するブロックＢn
103の相対位置を動きベクトルＶn
23として判定する。動きベクトルＶn
12、Ｖn
23は、図３を参照して説明した動きベクトルＶ0、Ｖ1に対応する。
【0054】
画像生成装置１０ａの補間画像生成部１０２は、時刻ｔ＋１のデプス画像（補間デプス画像）を、数１に基づき算出してもよい。あるいは、補間画像生成部１０２は、時刻ｔ＋１のデプス画像６１（ｔ＋１）に含まれるブロックＢn
102のデプス値Ｄn
102を、動きベクトルＶn
12、Ｖn
23により位置が特定された時刻ｔ，ｔ＋２のブロックＢn
101、Ｂn
103のデプス値Ｄn
101、Ｄn
103の相加平均、調和平均、又は相乗平均により算出してもよい。
【0055】
【数5】
【0056】
【数6】
【0057】
【数7】
【0058】
数５は、ブロックＢn
102のデプス値Ｄn
102をブロックＢn
101、Ｂn
103のデプス値Ｄn
101、Ｄn
103の相加平均により算出する場合の計算式である。数６は、デプス値Ｄn
102をデプス値Ｄn
101、Ｄn
103の調和平均により算出する場合の計算式である。数７は、デプス値Ｄn
102をデプス値Ｄn
101、Ｄn
103の相乗平均により算出する場合の計算式である。
【0059】
なお、以上の説明では、カメラ２０及びデプスカメラ３０は、同一の光軸上にあり、同一の画角及び同一の解像度の、カメラ画像及びデプス画像を取得する場合の例を説明したが、カメラ２０及びデプスカメラ３０の画角及び解像度等は異なってもよい。画像生成装置１０は、カメラ２０とデプスカメラ３０とで撮影の画角が異なる場合、カメラ２０とデプスカメラ３０の位置関係に基づき、カメラ２０とデプスカメラ３０とで、画素を対応付けてもよい。例えば、画像生成装置１０ａは、カメラ２０及びデプスカメラ３０の相対的な位置関係に基づき予め算出された外部パラメータを用いて、デプスカメラ３０が取得したデプス画像を、カメラ２０の位置姿勢及び画素数等に応じた画像に射影変換してもよい。その場合、デプス画像の解像度は、一般にカメラ画像よりも低いことが多いため、デプス画像の変換の際に欠損領域が生じる場合がある。画像生成装置１０ａは、そのような欠損領域を、メディアンフィルタ等を用いて補間してもよい。また、画像生成装置１０ａは、カメラ画像とデプス画像の解像度を合わせるために、最近傍補間法又はバイリニア補間法等を用いて画像を補間してもよい。
【0060】
以上のように、画像生成装置１０ａは、被写体を含む撮影範囲における輝度に関する情報を画素毎に含むカメラ画像であって、第１時刻、第２時刻、第３時刻に撮影された第１カメラ画像、第２カメラ画像、第３カメラ画像を取得する。ここで、第２時刻は第１時刻の後の時刻であり、第３時刻は第２時刻の後の時刻である。画像生成装置１０ａは、撮影範囲における距離に関する情報を画素毎に含むデプス画像であって、第１時刻に撮影された第１デプス画像と、第３時刻に撮影された第３デプス画像と、を取得する。画像生成装置１０ａは、これらの第１カメラ画像と、第２カメラ画像と、第３カメラ画像と、第１デプス画像と、第３デプス画像と、に基づき、第２時刻のデプス画像である第２デプス画像を生成し、生成した第２デプス画像を出力する。具体的には、画像生成装置１０ａは、第２デプス画像の注目画素について、第１カメラ画像と、第２カメラ画像とに基づき、第１時刻と第２時刻との間における被写体の動きを示す第１動きベクトルを取得する。画像生成装置１０ａは、第２カメラ画像と、第３カメラ画像とに基づき、第２時刻と第３時刻との間における被写体の動きを示す第２動きベクトルを取得する。画像生成装置１０ａは、第１動きベクトルに基づき、第１デプス画像の注目画素に対応する画素における第１デプス値を取得する。画像生成装置１０ａは、第２動きベクトルに基づき、第３デプス画像の注目画素に対応する画素における第３デプス値を取得する。画像生成装置１０ａは、第１デプス値と、第３デプス値と、の重み付き調和平均により、第２デプス画像の注目画素のデプス値である第２デプス値を取得する。
【0061】
このように、画像生成装置１０ａは、デプス画像の注目画素について、時間的に対応するカメラ画像に基づき動きベクトルを取得し、動きベクトルに基づき、デプス画像を補間する。したがって、画像生成装置１０ａによれば、カメラ画像に映り込んでいる被写体の動きの情報を利用して、デプス画像を適切に補間することが可能である。よって、より品質が高い補間デプス画像を取得ことができる。
【0062】
なお、本実施形態では、時間的に連続して撮影されたカメラ画像５１のフレームに基づき動きベクトルを取得する例を説明したが、画像生成装置１０ａは、時間的に連続しないフレームに基づき動きベクトルを取得してもよい。例えば、６０ｆｐｓのカメラ画像を利用して、１５ｆｐｓのデプス画像を補間して３０ｆｐｓのデプス画像を生成する場合、画像生成装置１０ａは、１フレームおきのカメラ画像に基づき動きベクトルを取得してもよい。
【0063】
また、画像生成装置１０ａは、第１デプス値に対しては第１動きベクトルのノルムを重みとし、第３デプス値に対しては第２動きベクトルのノルムを重みとする重み付き調和平均により、第２デプス値を取得してもよい。このような構成によれば、カメラ画像及びデプス画像の各フレームの時間的間隔が一定でなく、被写体の軌跡が直線でなく、あるいは、被写体の移動速度が一定でなくても、品質が高い補間デプス画像を取得ことができる。
【0064】
また、画像生成装置１０ａは、第２カメラ画像を複数のブロックに区分する。画像生成装置１０ａは、複数のブロックの各々について、第２カメラ画像のブロックと第１カメラ画像とを比較して、当該ブロックとの類似度が最も高い領域の当該ブロックの画素位置に対する位置関係に基づき、第１動きベクトルを取得する。画像生成装置１０ａは、複数のブロックの各々について、第２カメラ画像のブロックと第３カメラ画像とを比較して、当該ブロックとの類似度が最も高い領域の当該ブロックの画素位置に対する位置関係に基づき、第２動きベクトルを取得する。このような構成によれば、ブロック単位で効率的に動きベクトルを取得することができる。
【0065】
なお、図４を参照した説明において、画像生成装置１０ａは、第２カメラ画像を複数のブロックに区分して、ブロックごとに第１動きベクトル、第２動きベクトルを取得したが、ブロックの特定はこのような手法に限られない。例えば、画像生成装置１０ａは、第２カメラ画像上においてブロックを少しずつずらして移動させながら、各位置のブロックの第２カメラ画像に最も類似する領域を第１カメラ画像、第３カメラ画像において検出することで第１、第２動きベクトルを取得してもよい。換言すると、画像生成装置１０ａは、互いに重畳する領域を含む複数のブロックごとに、第１動きベクトル、第２動きベクトルを取得してもよい。
【0066】
また、画像生成装置１０ａは、第１デプス画像の全画素にわたる平均デプス値と、第３デプス画像の全画素にわたる平均デプス値とに基づいて、第２カメラ画像のブロックの大きさを第１デプス画像に合わせて変更してもよい。画像生成装置１０ａは、当該大きさが変更された第２カメラ画像のブロックと第１カメラ画像とを比較して、第１動きベクトルを取得してもよい。画像生成装置１０ａは、第１デプス画像の全画素にわたる平均デプス値と、第３デプス画像の全画素にわたる平均デプス値とに基づいて、第２カメラ画像のブロックの大きさを第３デプス画像に合わせて変更してもよい。画像生成装置１０ａは、当該大きさが変更された第２カメラ画像のブロックと第３カメラ画像とを比較して、第２動きベクトルを取得してもよい。このような構成によれば、被写体の奥行方向の移動に応じてブロックの大きさを変更することができ、第２カメラ画像と、第１カメラ画像、第３カメラ画像とを適切に対応付けて、第１動きベクトル、第２動きベクトルを取得することができる。
【0067】
また、画像生成装置１０ａは、カメラ２０により第１時刻、第２時刻、第３時刻に撮影されたカメラ画像を、第１カメラ画像、第２カメラ画像、第３カメラ画像として取得する。画像生成装置１０ａは、デプスカメラ３０により第１時刻、第３時刻に撮影されたデプス画像を、第１デプス画像、第３デプス画像として取得する。したがって、画像生成装置１０ａは、デプスカメラ３０により取得されたデブス画像を補間することが可能である。
【0068】
また、画像生成装置１０ａは、カメラ画像としてカラー画像を用いてもよい。このような構成によれば、被写体に関して豊富な情報を利用して、被写体が占める領域、及び、動きベクトル等をより正確に求めることができる。したがって、画像生成装置１０ａは、より精緻な補間デプス画像を取得することが可能である。
【0069】
＜＜実施形態２＞＞
実施形態１では、デプスカメラ３０を用いてデプス画像を取得し、そのデプス画像を動きベクトルを用いて補間する構成例を説明した。本実施形態では、複数のカメラを用いて複数のカメラ画像を取得し、これらのカメラ画像から三角測量の原理に基づくステレオマッチングによりデプス画像を取得する。一般にステレオマッチングによりデプス画像を取得する処理は計算量が多く、処理負荷が大きい。そこで、本実施形態においては、ステレオマッチングに基づくデプス画像の取得は一部のフレームについてのみ行い、その他のデプス画像については、実施形態１と同様に、カメラ画像により取得された動きベクトルを用いてデプス画像を補間することにより取得する。そのため、本実施形態に係る構成によれば、複数のカメラを用いて効率的にデプス画像の動画像を生成することが可能である。以下、実施形態１と異なる構成及び動作を中心に説明し、実施形態１と同一の構成及び動作については、詳細な説明を省略する。
実施形態１では、デプスカメラ３０を用いてデプス画像を取得し、そのデプス画像を動きベクトルを用いて補間する構成例を説明した。本実施形態では、複数のカメラを用いて複数のカメラ画像を取得し、これらのカメラ画像から三角測量の原理に基づくステレオマッチングによりデプス画像を取得する。一般にステレオマッチングによりデプス画像を取得する処理は計算量が多く、処理負荷が大きい。そこで、本実施形態においては、ステレオマッチングに基づくデプス画像の取得は一部のフレームについてのみ行い、その他のデプス画像については、実施形態１と同様に、カメラ画像により取得された動きベクトルを用いてデプス画像を補間することにより取得する。そのため、本実施形態に係る構成によれば、複数のカメラを用いて効率的にデプス画像の動画像を生成することが可能である。以下、実施形態１と異なる構成及び動作を中心に説明し、実施形態１と同一の構成及び動作については、詳細な説明を省略する。
【0070】
図５は、一実施形態に係る画像生成システム１ｂの機能構成例を示すブロック図である。画像生成システム１ｂは、画像生成装置１０ｂ、及び、カメラ２０ａ，２０ｂを備える。
【0071】
カメラ２０ａ，２０ｂの各々は、図１を参照して説明したカメラ２０と同様である。本実施形態では、カメラ２０ａ，２０ｂは、既知の位置関係に配置されて、同一の被写体を同時に撮影する。カメラ２０ａは、撮影により取得したカメラ画像ａを画像生成装置１０ｂへ出力する。カメラ２０ｂは、撮影により取得したカメラ画像ｂを画像生成装置１０ｂへ出力する。カメラ画像ａ，ｂを用いたステレオマッチングにより、デプス画像を生成することができる。
【0072】
画像生成装置１０ｂは、動きベクトル取得部１０１、補間画像生成部１０２、及び、デプス計算部１０３を備える。動きベクトル取得部１０１、及び、補間画像生成部１０２は、図１を参照して説明した画像生成装置１０ａが備える動きベクトル取得部１０１、及び、補間画像生成部１０２と同様である。デプス計算部１０３は、カメラ画像ａ，ｂを用いたステレオマッチングによりデプス画像を生成する。補間画像生成部１０２は、デプス計算部１０３において生成されたデプス画像を動きベクトルにより補間して、所望のフレームレートのデプス画像を生成する。
【0073】
図６は、図５の画像生成装置１０ｂによる補間デプス画像の取得を説明する図である。図６において、カメラ画像ａ（カメラ画像５１（５１ｔ，５１（ｔ＋１），５１（ｔ＋２）））は、カメラ２０ａにより時間的に連続して取得されたカメラ画像である。カメラ画像５１ｔ，５１（ｔ＋１），５１（ｔ＋２）は、時刻ｔ，時刻（ｔ＋１），時刻（ｔ＋２）に取得されている。カメラ画像ｂ（カメラ画像５２（５２ｔ，５２（ｔ＋１），５２（ｔ＋２）））は、カメラ２０ｂにより時間的に連続して取得されたカメラ画像である。カメラ画像５２ｔ，５２（ｔ＋１），５２（ｔ＋２）は、時刻ｔ，時刻（ｔ＋１），時刻（ｔ＋２）に取得されている。カメラ画像ａ、及び、カメラ画像ｂのフレームレートは同一であり、例えば、６０ｆｐｓとしてもよい。カメラ画像ａ，ｂは、欠損がない被写体の領域７１ａ（７１ａｔ，７１ａ（ｔ＋１），７１ａ（ｔ＋２）），７２ｂ（７１ｂｔ，７１ｂ（ｔ＋１），７１ｂ（ｔ＋２））を含む。
【0074】
図６の例において、画像生成装置１０ｂのデプス計算部１０３は、２つのカメラ画像ａ，ｂに対して１フレームおきにステレオマッチングを行い、デプス画像６１ｔ，６１（ｔ＋２）を取得している。カメラ画像ａ，ｂのフレームレートが６０ｆｐｓの場合、デプス画像６１ｔ，６１（ｔ＋２）のフレームレートは、３０ｆｐｓである。デプス計算部１０３は、カメラ２０ａ，２０ｂの視差Ｄ、カメラ間距離Ｂ、及び、焦点距離Ｆを用いて、三角測量の原理から、被写体の領域７１ａ，７１ｂについて、数８により距離（デプス値）Ｚを取得することができる。
【0075】
【数8】
【0076】
デプス計算部１０３は、同一時刻のカメラ画像ａ，ｂのフレームを比較して被写体の領域７１ａ，７１ｂについて画素の対応付けを行い、互いに対応する点につき、数８により、被写体の領域７２ｔ，７２（ｔ＋２）のデプス値を取得することができる。同一時刻のカメラ画像ａ，ｂ間の画素間の対応点の探索は、例えば、前述のＳＳＤを用いてブロックごとに実行することができる。
【0077】
デプス画像６１ｔは、カメラ画像５１ｔ及び５２ｔから取得されるデプス画像である。デプス画像６１（ｔ＋２）は、カメラ画像５１（ｔ＋２）及び５２（ｔ＋２）から取得されるデプス画像である。デプス計算部１０３は、デプス画像６１ｔ，６１（ｔ＋２）の光軸が、カメラ画像５１ｔ、５１（ｔ＋２）の光軸と同一となるように、デプス画像６１ｔ，６１（ｔ＋２）を生成してもよい。
【0078】
画像生成装置１０ｂの動きベクトル取得部１０１は、実施形態１と同様に、カメラ画像５１（ｔ＋１）を基準フレーム、カメラ画像５１ｔ，５１（ｔ＋２）を対象フレームとして、時間的に隣接するカメラ画像のフレームの組ごとに、被写体の領域７１aにおけるフレーム間の動きベクトルを取得する。画像生成装置１０ｂの補間画像生成部１０２は、取得した動きベクトルに基づき、デプス画像６１ｔ，６１（ｔ＋２）を補間して、被写体の領域７２（ｔ＋１）を含む補間デプス画像６１（ｔ＋１）を取得する。
【0079】
以上のように、画像生成装置１０ｂは、第１カメラ（カメラ２０ａ）により第１時刻、第２時刻、第３時刻に撮影されたカメラ画像を、第１カメラ画像、第２カメラ画像、第３カメラ画像として取得する。画像生成装置１０ｂは、第１カメラ（カメラ２０ａ）に対して予め定められた位置関係に設けられた第２カメラ（カメラ２０ｂ）により第１時刻、第３時刻に撮影されたカメラ画像を、第４カメラ画像、第５カメラ画像として取得する。画像生成装置１０ｂは、第１カメラ画像と、第４カメラ画像と、のステレオマッチングにより取得されたデプス画像を第１デプス画像として取得する。画像生成装置１０ｂは、第３カメラ画像と、第５カメラ画像と、のステレオマッチングにより取得されたデプス画像を第３デプス画像として取得する。画像生成装置１０ｂが、第１動きベクトル、第２動きベクトルを用いて、第１デプス画像、第３デプス画像を補間する処理内容は実施形態１と同様である。
【0080】
したがって、画像生成装置１０ｂによれば、デプスカメラ３０がなくても最大でカメラ画像と同一のフレームレートのデプス画像を取得することができる。また、画像生成装置１０ｂは、全てのデプス画像をカメラ画像のステレオマッチングにより取得するのではなく、一部のデプス画像をステレオマッチングにより取得し、それ以外のデプス画像はカメラ画像を解析して取得された動きベクトルに基づき取得する。したがって、計算負荷が大きいステレオマッチングの利用を抑えて、少ない計算量で効率的にデプス画像を補間することが可能である。
【0081】
図７は、実施形態１、２に係る画像生成装置１０ａ，１０ｂの動作例を示すフローチャートである。図７を参照して説明する画像生成装置１０ａ，１０ｂの動作は、本実施形態に係る画像生成方法の少なくとも一部に相当し得る。図７の各ステップは、画像生成装置１０の制御部１１の制御に基づき実行される。
【0082】
ステップＳ１において、制御部１１は、カメラ２０により撮影されたカメラ画像を取得する。実施形態１のように、１台のカメラ２０により撮影された場合は、そのカメラ２０により撮影されたカメラ画像を取得する。実施形態２のように、２台のカメラ２０ａ，２０ｂにより撮影された場合は、カメラ２０ａ，ｂにより撮影されたカメラ画像ａ，ｂを取得する。カメラ画像のフレームレートは、例えば、６０ｆｐｓとしてもよい。
【0083】
ステップＳ２において、制御部１１は、ステップＳ１で取得されたカメラ画像に基づき、動きベクトルを取得する。具体的には、実施形態１のように、１台のカメラ２０により撮影された場合は、そのカメラ２０により撮影されたカメラ画像に基づき、フレーム間における動きベクトルを取得する。実施形態２のように、２台のカメラ２０ａ，２０ｂにより撮影された場合は、カメラ画像ａ，ｂのいずれか一方に基づき、フレーム間における動きベクトルを取得する。以下、カメラ画像ａに基づき、フレーム間における動きベクトルを取得する場合の例を説明する。
【0084】
ステップＳ３において、制御部１１は、デプスカメラ３０が出力するデプス信号を利用可能であるか否かを判定する。実施形態１のように、デプスカメラ３０が設けられている場合、制御部１１は、デプス信号が利用可能であると判定する。実施形態２のように、デプスカメラ３０が設けられていない場合、制御部１１は、デプス信号が利用可能でないと判定する。制御部１１は、デプス信号が利用可能である場合（ステップＳ３でＹＥＳ）はステップＳ４へ進み、そうでない場合（ステップＳ３でＮＯ）はステップＳ５へ進む。
【0085】
ステップＳ４において、制御部１１は、デプスカメラ３０により撮影されたデプス画像を取得する。
【0086】
ステップＳ５において、制御部１１は、撮影時刻が同一のカメラ画像ａ，ｂに基づき、ステレオマッチングによりデプス画像を計算する。ステップＳ４又はステップＳ５で取得されるデプス画像のフレームレートは、例えば、３０ｆｐｓとしてもよい。
【0087】
ステップＳ６において、制御部１１は、ステップＳ４又はステップＳ５で取得されたデプス画像を、ステップＳ２で取得した動きベクトルを用いて補間し、補間デプス画像を生成する。制御部１１は、ステップＳ４又はステップＳ５で取得されたデプス画像に補間デプス画像を追加し、カメラ画像と同じフレームレート（例えば、６０ｆｐｓ）のデプス画像を生成してもよい。制御部１１は、生成したデプス画像を記憶部１２に出力して、記憶部１２に記憶させてもよい。制御部１１は、生成したデプス画像を、通信部１３を介して他の装置へ出力してもよい。制御部１１は、生成したデプス画像を、出力部１５のディスプレイに出力して表示させてもよい。
【0088】
なお、画像生成装置１０ａは、ステップＳ１～ステップＳ６の各処理を、カメラ２０及びデプスカメラ３０の撮影と並行して、カメラ２０及びデプスカメラ３０からカメラ画像及びデプス画像を受信しながらリアルタイムに実行してもよい。
あるいは、画像生成装置１０ａは、カメラ２０及びデプスカメラ３０が処理対象の画像を撮影後、記憶部１２に記憶されたカメラ画像及びデプス画像を読み出して、ステップＳ１～ステップＳ６の各処理を実行してもよい。
あるいは、画像生成装置１０ａは、カメラ２０及びデプスカメラ３０が処理対象の画像を撮影後、記憶部１２に記憶されたカメラ画像及びデプス画像を読み出して、ステップＳ１～ステップＳ６の各処理を実行してもよい。
【0089】
＜＜実施形態３＞＞
実施形態１では、カメラ画像に対応するデプス画像の全画素の範囲にわたってデプスカメラがデプス値を計測することができた場合の処理を説明した。しかし、市販されているデプスカメラの多くは光源として赤外光を用いており、被写体までの距離又は被写体表面の反射特性によって、反射光の検出が難しく、デプス値を計測できない部分が生じる場合がある。そこで、本実施形態では、２台のカメラと１台のデプスカメラを備え、デプスカメラが取得したデプス画像においてデプス値が計測できなかった欠損部分を２つのカメラ画像に基づき補間する構成について説明する。以下、実施形態１、２と異なる構成及び動作を中心に説明し、実施形態１、２と同一の構成及び動作については、詳細な説明を省略する。
実施形態１では、カメラ画像に対応するデプス画像の全画素の範囲にわたってデプスカメラがデプス値を計測することができた場合の処理を説明した。しかし、市販されているデプスカメラの多くは光源として赤外光を用いており、被写体までの距離又は被写体表面の反射特性によって、反射光の検出が難しく、デプス値を計測できない部分が生じる場合がある。そこで、本実施形態では、２台のカメラと１台のデプスカメラを備え、デプスカメラが取得したデプス画像においてデプス値が計測できなかった欠損部分を２つのカメラ画像に基づき補間する構成について説明する。以下、実施形態１、２と異なる構成及び動作を中心に説明し、実施形態１、２と同一の構成及び動作については、詳細な説明を省略する。
【0090】
図８は、一実施形態に係る画像生成システム１ｃの機能構成例を示すブロック図である。画像生成システム１ｃは、画像生成装置１０ｃ、カメラ２０ａ，２０ｂ、及び、デプスカメラ３０を備える。
【0091】
カメラ２０ａ，２０ｂは、図５を参照して説明したカメラ２０ａ，２０ｂと同様である。本実施形態では、カメラ２０ａ，２０ｂは、既知の位置関係に配置されて、同一の被写体を一定のフレームレート（例えば、６０ｆｐｓ）で同時に撮影する。カメラ２０ａは、撮影により取得したカメラ画像ａを画像生成装置１０ｂへ出力する。カメラ２０ｂは、撮影により取得したカメラ画像ｂを画像生成装置１０ｂへ出力する。画像生成装置１０ｃは、デプス画像における欠損部分について、カメラ画像ａ，ｂを用いたステレオマッチングにより、切抜デプス画像を生成することができる。
【0092】
デプスカメラ３０は、図１を参照して説明したデプスカメラ３０と同様である。以下、デプスカメラ３０は、カメラ２０ａと同一の光軸上にあり、同一の画角及び同一の解像度の、デプス画像を取得する例を説明する。本実施形態において、デプスカメラ３０は、カメラ２０ａ，２０ｂと同一のフレームレート（例えば、６０ｆｐｓ）でデプス画像を取得する例を説明するが、デプスカメラ３０のフレームレートは、カメラ２０ａ，２０ｂよりも小さくてもよい（例えば、３０ｆｐｓ）。なお、デプスカメラ３０の光軸、画角、又は、解像度等がカメラ２０ａと異なる場合、実施形態１と同様に、画像生成装置１０ｃは、デプスカメラ３０及びカメラ２０ａの画素を対応付けたり、画素を補間して解像度をそろえたりしてもよい。
【0093】
画像生成装置１０ｃは、動きベクトル取得部１０１、補間画像生成部１０２、デプス計算部１０３、シルエット判定部１０４、マスク判定部１０５、切抜範囲判定部１０６、及び、デプス合成部１０７を備える。動きベクトル取得部１０１、及び、補間画像生成部１０２は、図１を参照して説明した画像生成装置１０ａが備える動きベクトル取得部１０１、及び、補間画像生成部１０２と同様である。デプス計算部１０３は、図５を参照して説明したデプス計算部１０３と同様である。ただし、後述するように、本実施形態において、動きベクトル取得部１０１、補間画像生成部１０２、及び、デプス計算部１０３は、切抜範囲判定部１０６が判定した切抜範囲に含まれるカメラ画像及びデプス画像について処理を行う。
【0094】
シルエット判定部１０４は、カメラ２０ａが取得したカメラ画像ａにおいて被写体が占める領域をシルエットとして判定する。マスク判定部１０５は、デプスカメラ３０が取得したデプス画像において被写体が占める領域をマスクとして判定する。切抜範囲判定部１０６は、シルエット判定部１０４が判定したシルエットと、マスク判定部１０５が判定したマスクとを比較して、デプスカメラ３０が取得したデプス画像における被写体を示す領域の欠損部分に対応する切抜範囲を判定する。
【0095】
動きベクトル取得部１０１は、カメラ画像ａ，ｂに基づき、切抜範囲判定部１０６が判定した切抜範囲における被写体の動きベクトルを取得する。デプス計算部１０３は、カメラ画像ａ，ｂのステレオマッチングにより、切抜範囲判定部１０６が判定した切抜範囲における切抜デプス画像を生成する。デプス計算部１０３は、例えば、カメラ画像ａ，ｂよりも低いフレームレート（例えば、３０ｆｐｓ）で切抜デプス画像を生成してもよい。補間画像生成部１０２は、動きベクトル取得部１０１が取得した切抜範囲における被写体の動きベクトルと、デプス計算部１０３が生成した切抜範囲における切抜デプス画像に基づき、切抜範囲におけるデプス画像である補間切抜デプス画像を生成する。補間画像生成部１０２は、実施形態１、２の補間画像生成部１０２と同様に、動きベクトルを用いて切抜デプス画像を補間することで、高いフレームレート（例えば、６０ｆｐｓ）の切抜デプス画像を取得することができる。デプス合成部１０７は、デプス計算部１０３が取得した切抜デプス画像に対して、補間画像生成部１０２が補間切抜デプス画像を補間した切抜デプス画像と、デプスカメラ３０が取得したデプス画像を合成して、欠損部分がないデプス画像を取得する。
【0096】
画像生成装置１０ｃは、カメラ画像ａ，ｂに基づき判定されたシルエットとデプスカメラ３０が取得したデプス画像とを比較してマスクを判定し、デプス画像の欠損部分に当たる切抜範囲を判定する。画像生成装置１０ｃは、カメラ画像ａ，ｂのステレオマッチングにより切抜範囲のデプス画像を取得する。画像生成装置１０ｃは、切抜範囲のデプス画像を取得する際に、動きベクトルを用いてデプス画像を取得するため、少ない計算量で効率的に切抜範囲のデプス画像を取得することができる。
【0097】
図９Ａ及び図９Ｂは、図８の画像生成装置１０ｃによる補間デプス画像の取得を説明する図である。図９Ａにおいて、カメラ画像ａ（カメラ画像５１（５１ｔ，５１（ｔ＋１），５１（ｔ＋２）））は、カメラ２０ａにより時間的に連続して取得されたカメラ画像である。カメラ画像５１ｔ，５１（ｔ＋１），５１（ｔ＋２）は、時刻ｔ，時刻（ｔ＋１），時刻（ｔ＋２）に取得されている。カメラ画像ｂ（カメラ画像５２（５２ｔ，５２（ｔ＋１），５２（ｔ＋２）））は、カメラ２０ｂにより時間的に連続して取得されたカメラ画像である。カメラ画像５２ｔ，５２（ｔ＋１），５２（ｔ＋２）は、時刻ｔ，時刻（ｔ＋１），時刻（ｔ＋２）に取得されている。デプス画像６１（６１ｔ，６１（ｔ＋１），６１（ｔ＋２））は、デプスカメラ３０により時間的に連続して取得されたデプス画像である。デプス画像６１ｔ，６１（ｔ＋１），６１（ｔ＋２）は、時刻ｔ，時刻（ｔ＋１），時刻（ｔ＋２）に取得されている。カメラ画像ａ、カメラ画像ｂ、及び、デプス画像のフレームレートは同一であり、例えば、６０ｆｐｓとしてもよい。カメラ画像ａ，ｂは、欠損がない被写体の領域７１ａ（７１ａｔ，７１ａ（ｔ＋１），７１ａ（ｔ＋２）），７２ｂ（７１ｂｔ，７１ｂ（ｔ＋１），７１ｂ（ｔ＋２））を含む。デプス画像は、欠損がある被写体の領域７６（７６ｔ，７６ａ（ｔ＋１），７６ａ（ｔ＋２））を含む。
【0098】
画像生成装置１０ｃのシルエット判定部１０４は、カメラ画像ａに含まれる被写体の領域７１ａの輪郭を被写体のシルエットとして判定する。画像生成装置１０ｃのマスク判定部１０５は、デプスに含まれる被写体の領域７６ａの輪郭を被写体のマスクとして判定する。画像生成装置１０ｃの切抜範囲判定部１０６は、シルエット判定部１０４が判定したシルエット、及び、マスク判定部１０５が判定したマスクの差分により、デプス画像６１における被写体の欠損部分に対応する切抜範囲を判定する。切抜範囲判定部１０６は、カメラ画像ａから切抜範囲の領域７５（７５ｔ，７５（ｔ＋１），７５（ｔ＋２））を抽出した切抜カメラ画像８１（８１ｔ，８１（ｔ＋１），８１（ｔ＋２））を取得する。さらに、切抜範囲判定部１０６は、カメラ画像ｂから切抜範囲の領域を抽出した切抜カメラ画像を取得する。
【0099】
画像生成装置１０ｃのデプス計算部１０３は、実施形態２と同様に、切抜範囲の領域を抽出した２つのカメラ画像ａ，ｂに対して１フレームおきにステレオマッチングを行い、切抜範囲の領域７７ｔ，７７（ｔ＋２）を含むデプス画像９１ｔ，９１（ｔ＋２）を取得している。カメラ画像ａ，ｂのフレームレートが６０ｆｐｓの場合、デプス画像９１ｔ，９１（ｔ＋２）のフレームレートは、３０ｆｐｓである。デプス計算部１０３は、実施形態２と同様に、式８に基づき、デプス画像９１ｔ，９１（ｔ＋２）を取得してもよい。
【0100】
画像生成装置１０ｃの動きベクトル取得部１０１は、実施形態１，２と同様に、カメラ画像８１（ｔ＋１）を基準フレーム、カメラ画像８１ｔ，８１（ｔ＋２）を対象フレームとして、時間的に隣接するカメラ画像のフレームの組ごとに、被写体の切抜範囲の領域７５におけるフレーム間の動きベクトルを取得する。画像生成装置１０ｃの補間画像生成部１０２は、取得した動きベクトルに基づき、デプス画像９１ｔ，９１（ｔ＋２）を補間して、被写体の切抜範囲の領域７７（ｔ＋１）を含む補間デプス画像９１（ｔ＋１）を取得する。これにより、切抜範囲の領域７７（７７ｔ，７７（ｔ＋１），７７（ｔ＋２））を含むデプス画像９１（９１ｔ，９１（ｔ＋１），９１（ｔ＋２））が生成される。このように、画像生成装置１０ｃは、切抜範囲におけるデプス値を取得するために、全フレームにおいてステレオマッチングを用いるのではなく、１フレームおきに動きベクトルを用いて隣接するデプス画像を補間する。したがって、画像生成装置１０ｃは、切抜範囲のデプス値を取得するための計算量を低減することができる。
【0101】
画像生成装置１０ｃのデプス合成部１０７は、デプス画像６１のマスクの領域７６と、デプス画像９１の切抜範囲の領域７７とを合成して、被写体の領域の欠損がないデプス画像１２１（１２１ｔ，１２１（ｔ＋１），１２１（ｔ＋２））を生成する。デプス画像１２１（１２１ｔ，１２１（ｔ＋１），１２１（ｔ＋２））は、欠損がない被写体の領域７２（７２ｔ，７２（ｔ＋１），７２（ｔ＋２））を含む。
【0102】
図１０は、一実施形態に係る画像生成装置１０ｃの動作例を示すフローチャートである。
図１０を参照して説明する画像生成装置１０ｃの動作は、本実施形態に係る画像生成方法の少なくとも一部に相当し得る。図１０の各ステップは、画像生成装置１０ｃの制御部１１の制御に基づき実行される。
図１０を参照して説明する画像生成装置１０ｃの動作は、本実施形態に係る画像生成方法の少なくとも一部に相当し得る。図１０の各ステップは、画像生成装置１０ｃの制御部１１の制御に基づき実行される。
【0103】
ステップＳ１１において、制御部１１は、カメラ２０ａ，２０ｂにより撮影されたカメラ画像ａ，ｂを取得する。カメラ画像のフレームレートは、例えば、６０ｆｐｓとしてもよい。
【0104】
ステップＳ１２において、制御部１１は、デプスカメラ３０により撮影されたデプス画像を取得する。デプス画像のフレームレートは、例えば、６０ｆｐｓとしてもよい。
【0105】
ステップＳ１３において、制御部１１は、ステップＳ１１で取得したカメラ画像ａの各フレームを解析して、カメラ画像ａにおいて被写体が占める領域をフレーム毎にシルエットとして判定する。
【0106】
ステップＳ１４において、制御部１１は、ステップＳ１２で取得したデプス画像の各フレームを解析して、デプス画像において被写体が占める領域をフレーム毎にマスクとして判定する。
【0107】
ステップＳ１５において、制御部１１は、ステップＳ１３で判定したシルエットと、ステップＳ１４で判定したマスクとをフレーム毎に比較して、ステップＳ１２で取得したデプス画像における切抜範囲を判定する。
【0108】
ステップＳ１６において、制御部１１は、ステップＳ１で取得したカメラ画像ａ，ｂの切抜範囲における動きベクトルを１フレーム毎に取得する。制御部１１は、図７のステップＳ２と同様の手法により、動きベクトルを取得してもよい。
【0109】
ステップＳ１７において、制御部１１は、ステップＳ１で取得したカメラ画像ａ，ｂのステレオマッチングにより、切抜範囲におけるデプス画像を１フレーム毎に取得する。制御部１１は、図７のステップＳ５と同様の手法により、デプス画像を取得してもよい。ステレオマッチングにより取得されるデプス画像のフレームレートは、例えば、３０ｆｐｓとしてもよい。
【0110】
ステップＳ１８において、制御部１１は、ステップＳ１７で取得した切抜範囲におけるデプス画像をステップＳ１７で取得した動きベクトルを用いて補間することにより、補間切抜デプス画像を取得する。
【0111】
ステップＳ１９において、制御部１１は、ステップＳ１２で取得したデプス画像と、ステップＳ１７で取得したデプス画像と、ステップＳ１８で取得した補間切抜デプス画像と、を合成して、カメラ画像ａ，ｂと同一のフレームレートのデプス画像を生成する。制御部１１は、生成したデプス画像を記憶部１２に出力して、記憶部１２に記憶させてもよい。制御部１１は、生成したデプス画像を、通信部１３を介して他の装置へ出力してもよい。制御部１１は、生成したデプス画像を、出力部１５のディスプレイに出力して表示させてもよい。
【0112】
以上のように、画像生成装置１０ｃは、第１カメラ（カメラ２０ａ）により第１時刻、第２時刻、第３時刻に撮影されたカメラ画像を、第１カメラ画像、第２カメラ画像、第３カメラ画像として取得する。画像生成装置１０ｃは、第１カメラ（カメラ２０ａ）に対して予め定められた位置関係に設けられた第２カメラ（カメラ２０ｂ）により第１時刻、第３時刻に撮影されたカメラ画像を、第４カメラ画像、第５カメラ画像として取得する。画像生成装置１０ｃは、デプスカメラ３０により第１時刻、第２時刻、第３時刻に撮影されたデプス画像を、第４デプス画像、第５デプス画像、第６デプス画像として取得する。画像生成装置１０ｃは、第１カメラ画像と第４デプス画像とを比較して、第４デプス画像における被写体の領域の欠損部分に当たる第１切抜範囲を判定する。画像生成装置１０ｃは、第１カメラ画像及び第４カメラ画像のステレオマッチングにより、第１切抜範囲におけるデプス画像である第１切抜デプス画像を取得する。画像生成装置１０ｃは、第３カメラ画像と第６デプス画像とを比較して、第６デプス画像における被写体の領域の欠損部分に当たる第３切抜範囲を判定する。画像生成装置１０ｃは、第３カメラ画像及び第５カメラ画像のステレオマッチングにより、第３切抜範囲におけるデプス画像である第３切抜デプス画像を取得する。画像生成装置１０ｃは、第２カメラ画像と第５デプス画像とを比較して、第５デプス画像における被写体の領域の欠損部分に当たる第２切抜範囲を判定する。画像生成装置１０ｃは、第１切抜範囲における第１カメラ画像と、第２切抜範囲における第２カメラ画像とに基づき、第２切抜範囲における第１動きベクトルを取得する。画像生成装置１０ｃは、第２切抜範囲における第２カメラ画像と、第３切抜範囲における第３カメラ画像とに基づき、第２切抜範囲における第２動きベクトルを取得する。画像生成装置１０ｃは、第１切抜デプス画像のデプス値と、第３切抜デプス画像のデプス値と、の第１動きベクトル及び第２動きベクトルに基づく重み付き調和平均により、第２切抜範囲におけるデプス画像である第２切抜デプス画像を取得する。
【0113】
このように、画像生成装置１０ｃは、カメラ画像とデプスカメラにより撮影されたデプス画像とを比較して、デプス画像における欠損部分に当たる切抜範囲を判定する。そして、画像生成装置１０ｃは、切抜範囲において、カメラ画像に基づくステレオマッチングにより切抜デプス画像を取得するとともに、カメラ画像を解析して取得された動きベクトルを利用して切抜デプス画像を補間する。したがって、仮にデプスカメラ３０により撮影されたデプス画像に被写体の欠損部分が存する場合でも、効率的な処理により欠損のないデプス画像を取得することが可能である。
【0114】
＜＜実施形態４＞＞
３台以上のカメラにより取得されたカメラ画像により３次元モデリングを行って、３次元画像を取得するシステムが知られている。本実施形態では、このようなシステムにより取得された３次元画像に基づき、動きベクトルに基づき効率的にデプス画像を取得する構成を説明する。以下、実施形態１～３と異なる構成及び動作を中心に説明し、実施形態１と同一の構成及び動作については、詳細な説明を省略する。
３台以上のカメラにより取得されたカメラ画像により３次元モデリングを行って、３次元画像を取得するシステムが知られている。本実施形態では、このようなシステムにより取得された３次元画像に基づき、動きベクトルに基づき効率的にデプス画像を取得する構成を説明する。以下、実施形態１～３と異なる構成及び動作を中心に説明し、実施形態１と同一の構成及び動作については、詳細な説明を省略する。
【0115】
図１１は、一実施形態に係る画像生成システム１ｄの機能構成例を示すブロック図である。画像生成システム１ｄは、画像生成装置１０ｄ、及び、カメラ２０ａ，２０ｂ，２０ｃ，２０ｄを備える。
【0116】
カメラ２０ａ，２０ｂ，２０ｃ，２０ｄの各々は、図１を参照して説明したカメラ２０と同様である。本実施形態では、カメラ２０ａ，２０ｂ，２０ｃ，２０ｄは、既知の位置関係に配置されて、同一の被写体を同時に撮影する。カメラ２０ａ，２０ｂ，２０ｃ，２０ｄは、撮影により取得したカメラ画像ａ，ｂ，ｃ，ｄを画像生成装置１０ｄへ出力する。
カメラ画像ａ，ｂ，ｃは、３次元モデリングを行って被写体の３次元画像を取得するために用いられる。カメラ画像ｄは、動きベクトルを取得するために用いられる。カメラ画像ａ，ｂ，ｃのフレームレートは、例えば、３０ｆｐｓとしてもよい。カメラ画像ｄのフレームレートは、例えば、６０ｆｐｓとしてもよい。
カメラ画像ａ，ｂ，ｃは、３次元モデリングを行って被写体の３次元画像を取得するために用いられる。カメラ画像ｄは、動きベクトルを取得するために用いられる。カメラ画像ａ，ｂ，ｃのフレームレートは、例えば、３０ｆｐｓとしてもよい。カメラ画像ｄのフレームレートは、例えば、６０ｆｐｓとしてもよい。
【0117】
画像生成装置１０ｂは、動きベクトル取得部１０１、補間画像生成部１０２、及び、３次元モデリング部１０８を備える。動きベクトル取得部１０１、及び、補間画像生成部１０２は、図１を参照して説明した画像生成装置１０ａが備える動きベクトル取得部１０１、及び、補間画像生成部１０２と同様である。
【0118】
３次元モデリング部１０８は、カメラ２０ａ，２０ｂ，２０ｃにより撮影されたカメラ画像ａ，ｂ，ｃと、カメラ２０ａ，２０ｂ，２０ｃの位置姿勢の情報に基づき、被写体の３次元形状データを取得する。カメラ２０ａ，２０ｂ，２０ｃの位置姿勢の情報は、予め３次元モデリング部１０８に設定されている。なお、３次元モデリング部１０８は、例えば、３次元位置が既知であるマーカー座標をカメラ画像ａ，ｂ，ｃの各々から６点以上取得して線型方程式を解くことで、カメラ２０ａ，２０ｂ，２０ｃの位置姿勢を取得してもよい。３次元形状データは、例えば、被写体の３次元位置を点の集合で再現するポイントクラウドの形式としてもよい。なお、３次元形状データのデータ形式は任意であり、例えば、２次元の平面である三角形又は四角形等が集まって構成されるポリゴンメッシュの形式でもよい。
【0119】
３次元モデリング部１０８は、このようにして取得された被写体の３次元形状データに基づきデプス画像を取得する。３次元モデリング部１０８は、カメラ画像ｄと同一の光軸、画角、及び、解像度のデプス画像を取得してもよい。３次元モデリング部１０８が取得するデプス画像のフレームレートは、例えば、３０ｆｐｓとしてもよい。動きベクトル取得部１０１は、カメラ画像ｄに基づき、被写体の領域の動きベクトルを取得し、３次元モデリング部１０８により取得されたデプス画像を補間して、例えば、６０ｆｐｓのデプス画像を生成する。画像生成装置１０ｄは、動きベクトルの取得及びデプス画像の補間を実施形態１～３と同様の手法により実行してもよい。
【0120】
図１２は、図１１の画像生成装置１０ｄによる補間デプス画像の取得を説明する図である。図１２において、カメラ画像ａ，ｂ，ｃ（カメラ画像５１（５１ｔ，５１（ｔ＋２）），５２（５２ｔ，５２（ｔ＋２）），５３（５３ｔ，５３（ｔ＋２）））は、カメラ２０ａ，２０ｂ，２０ｃにより時間的に連続して取得されたカメラ画像である。カメラ画像ａ，ｂ，ｃは、被写体の領域１１１（１１１ｔ，１１１（ｔ＋２））を含む。
【0121】
画像生成装置１０ｄの３次元モデリング部１０８は、カメラ画像ａ，ｂ，ｃを用いて、被写体の３次元画像１３１（１３１ｔ，１３１（ｔ＋２））を取得する。３次元画像１３１は、被写体の領域１１２（１１２ｔ，１１２（ｔ＋２））を含む。３次元モデリング部１０８は、３次元画像１３１をレンダリングして、カメラ画像ｄと同一の光軸、画角、及び、解像度のデプス画像１４１（１４１ｔ，１４１（ｔ＋２））を取得する。デプス画像１４１は、被写体の領域１１３ｔ，１１３（ｔ＋２）を含む。
【0122】
画像生成装置１０ｄの動きベクトル取得部１０１は、実施形態１と同様に、カメラ画像ｄのカメラ画像１６１（ｔ＋１）を基準フレーム、カメラ画像１６１ｔ，１６１（ｔ＋２）を対象フレームとして、時間的に隣接するカメラ画像のフレームの組ごとに、被写体の領域１１４（ｔ＋１）におけるフレーム間の動きベクトルを取得する。画像生成装置１０ｄの補間画像生成部１０２は、取得した動きベクトルに基づき、デプス画像１４１ｔ，１４１（ｔ＋２）を補間して、被写体の領域１１３（ｔ＋１）を含む補間デプス画像１４１（ｔ＋１）を取得する。
【0123】
以上のように、画像生成装置１０ｄは、カメラ２０により第１時刻、第２時刻、第３時刻に撮影されたカメラ画像を、第１カメラ画像、第２カメラ画像、第３カメラ画像として取得する。画像生成装置１０ｄは、被写体の３次元画像から取得された第１時刻、第３時刻のデプス画像を、第１デプス画像、第３デプス画像として取得する。画像生成装置１０ｄが、第１カメラ画像、第２カメラ画像、第３カメラ画像に基づき第１動きベクトル、第２動きベクトルを取得する処理、及び、第１動きベクトル、第２動きベクトルを用いて、第１デプス画像、第３デプス画像を補間する処理の内容は実施形態１と同様である。
【0124】
このように、画像生成装置１０ｄは、３次元画像から取得されたデプス画像に基づきデプス画像の補間を行う。したがって、画像生成装置１０ｄによれば、３次元再構成を行うシステム等により取得された３次元画像を用いて、カメラ画像のフレームレートに応じたデプス画像を効率的に習得することができる。
【0125】
本開示は上述の実施形態に限定されるものではない。例えば、ブロック図に記載の複数のブロックは統合されてもよいし、又は一つのブロックは分割されてもよい。フローチャートに記載の複数のステップは、記述に従って時系列に実行する代わりに、各ステップを実行する装置の処理能力に応じて、又は必要に応じて、並列的に又は異なる順序で実行されてもよい。その他、本開示の趣旨を逸脱しない範囲での変更が可能である。
【0126】
また、例えば、画像生成装置１０の構成及び動作を、互いに通信可能な複数のコンピュータに分散させてもよい。また、例えば、画像生成装置１０の一部又は全部の構成要素をクラウドサーバ等の他の装置に設けてもよい。
【符号の説明】
【0127】
１（１ａ，１ｂ，１ｃ，１ｄ） 画像生成システム
１０（１０ａ，１０ｂ，１０ｃ，１０ｄ） 画像生成装置
１１ 制御部
１２ 記憶部
１３ 通信部
１４ 入力部
１５ 出力部
２０（２０ａ，２０ｂ，２０ｃ，２０ｄ） カメラ
３０ デプスカメラ
５１～５３ カメラ画像
６１ デプス画像
７１（７１ａ，７１ｂ），７２ 被写体の領域
７５ 切抜カメラ画像
７６ マスク画像
７７ 切抜デプス画像
１０１ 動きベクトル取得部
１０２ 補間画像生成部
１０３ デプス計算部
１０４ シルエット判定部
１０５ マスク判定部
１０６ 切抜範囲判定部
１０７ デプス合成部
１０８ ３次元モデリング部
１３１ ３次元画像
１４１ デプス画像
１６１ カメラ画像
１０（１０ａ，１０ｂ，１０ｃ，１０ｄ） 画像生成装置
１１ 制御部
１２ 記憶部
１３ 通信部
１４ 入力部
１５ 出力部
２０（２０ａ，２０ｂ，２０ｃ，２０ｄ） カメラ
３０ デプスカメラ
５１～５３ カメラ画像
６１ デプス画像
７１（７１ａ，７１ｂ），７２ 被写体の領域
７５ 切抜カメラ画像
７６ マスク画像
７７ 切抜デプス画像
１０１ 動きベクトル取得部
１０２ 補間画像生成部
１０３ デプス計算部
１０４ シルエット判定部
１０５ マスク判定部
１０６ 切抜範囲判定部
１０７ デプス合成部
１０８ ３次元モデリング部
１３１ ３次元画像
１４１ デプス画像
１６１ カメラ画像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図10】
【図11】
【図12】