特開 2015-33059 撮像画像処理装置および方法、撮像画像処理プログラム並びに撮像画像処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2015-33059(P2015-33059A)

(43)【公開日】2015年2月16日

(54)【発明の名称】撮像画像処理装置および方法、撮像画像処理プログラム並びに撮像画像処理システム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20150120BHJP

   H04N 5/225 20060101ALI20150120BHJP

【ＦＩ】

   H04N5/232 Z

   H04N5/225 Z

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

【全頁数】22

(21)【出願番号】特願2013-162727(P2013-162727)

(22)【出願日】2013年8月5日

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （１）スパイラルフライトカメラによる単一方向視点映像の生成 平成２４年度電気通信大学大学院情報システム学研究科情報メディアシステム学専攻修士論文発表会において発表 平成２５年２月４日発表 （２）Ｅｘｐｅｒｉｅｎｃｉｎｇ ｔｈｅ ｂａｌｌ’ｓ ＰＯＶ ｆｏｒ ｂａｌｌｉｓｔｉｃ ｓｐｏｒｔｓ ｈｔｔｐ：／／ｄｌ．ａｃｍ．ｏｒｇ／ｃｉｔａｔｉｏｎ．ｃｆｍ？ｉｄ＝２４５９２５８ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ４ｔｈ Ａｕｇｍｅｎｔｅｄ Ｈｕｍａｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ（ＡＨ２０１３）１２８〜１３３頁 平成２５年３月７日掲載 （３）Ｅｘｐｅｒｉｅｎｃｉｎｇ ｔｈｅ ｂａｌｌ’ｓ ＰＯＶ ｆｏｒ ｂａｌｌｉｓｔｉｃ ｓｐｏｒｔｓ Ｔｈｅ ４ｔｈ Ａｕｇｍｅｎｔｅｄ Ｈｕｍａｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ（ＡＨ２０１３）にて発表 平成２５年３月７日〜８日開催

(71)【出願人】

【識別番号】504133110

【氏名又は名称】国立大学法人電気通信大学

(74)【代理人】

【識別番号】100073184

【弁理士】

【氏名又は名称】柳田 征史

(74)【代理人】

【識別番号】100090468

【弁理士】

【氏名又は名称】佐久間 剛

(72)【発明者】

【氏名】木谷 真実 クリス

(72)【発明者】

【氏名】堀田 高大

(72)【発明者】

【氏名】小池 英樹

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122DA03

5C122DA04

5C122EA61

5C122FB03

5C122FC01

5C122FC02

5C122FH06

5C122FH07

5C122FH09

5C122FH11

5C122FH14

5C122FH18

5C122FK23

5C122FK24

5C122HB01

5C122HB02

5C122HB05

5C122HB10

(57)【要約】

【課題】高速に回転しているボールに内蔵されたカメラによって撮影された撮像画像に基づいて、あたかもボールが回転していないかのような擬似直進映像を合成して表示させる。
【解決手段】被写体を結像する光学系および撮像素子を有する撮像部が設けられた回転体であって、空中を回転しながら移動する回転体によってその移動とともに時系列に撮影された複数枚の撮像画像を取得する撮像画像取得部２２と、複数枚の撮像画像の中から、回転体の撮像部が回転方向について同じ方向を向いている間に撮影された複数枚の単一方向画像を抽出する画像抽出部２３と、複数枚の単一方向画像に基づいて疑似直進映像を生成して表示させる表示制御部２７とを備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

被写体を結像する光学系および撮像素子を有する撮像部が設けられた回転体であって、空中を回転しながら移動する前記回転体によって前記移動とともに時系列に撮影された複数枚の撮像画像を取得する撮像画像取得部と、
前記複数枚の撮像画像の中から、前記回転体の撮像部が回転方向について同じ方向を向いている間に撮影された複数枚の単一方向画像を抽出する画像抽出部と、
前記複数枚の単一方向画像に基づいて疑似直進映像を生成して表示させる表示制御部とを備えたことを特徴とする撮像画像処理装置。

【請求項2】

前記複数枚の単一方向画像に対して歪み除去処理を施す歪み除去処理部を備えたことを特徴とする請求項１記載の撮像画像処理装置。

【請求項3】

前記歪み除去処理部が、前記光学系による歪みと前記撮像素子のローリングシャッタ動作による歪みとの両方を除去するものであることを特徴とする請求項２記載の撮像画像処置装置。

【請求項4】

所定のフレームの前記単一方向画像と、該所定のフレームの前または後の少なくとも一方のフレームの撮像画像とを合成して視野拡張画像を生成する画像合成部を備え、
前記表示制御部が、前記視野拡張画像に基づいて前記疑似直進映像を生成して表示させるものであることを特徴とする請求項１から３いずれか１項記載の撮像画像処理装置。

【請求項5】

前記画像合成部が、さらに時間的に連続する前記視野拡張画像同士を合成して合成視野拡張画像を生成するものであり、
前記表示制御部が、前記合成視野拡張画像に基づいて前記疑似直進映像を生成して表示させるものであることを特徴とする請求項４記載の撮像画像処理装置。

【請求項6】

前記画像合成部が、前記合成を行う際、グラフカットアルゴリズムを用いて合成対象の重なり領域内のカットラインを求めるものであることを特徴とする請求項４または５記載の撮像画像処理装置。

【請求項7】

前記画像合成部が、前記重なり領域における色差と前記重なり領域となっている境界からの距離とを前記グラフカットアルゴリズムにおけるコストとして用いるものであることを特徴とする請求項６記載の撮像画像処理装置。

【請求項8】

時間的に連続する前記合成視野拡張画像に基づいて、前記合成視野拡張画像間のフレームを補間する補間画像を生成する画像補間部を備え、
前記表示制御部が、前記合成視野拡張画像と前記補間画像とに基づいて前記疑似直進映像を生成して表示させるものであることを特徴とする請求項５記載の撮像画像処理装置。

【請求項9】

前記画像補間部が、時間的に連続する２つの前記合成視野拡張画像に基づいて中間画像を生成し、時間的に連続する前記中間画像に基づいて、前記中間画像間のフレームを補間する前記補間画像を生成するものであり、
前記表示制御部が、前記中間画像と前記補間画像とに基づいて前記疑似直進映像を生成して表示させるものであることを特徴とする請求項８記載の撮像画像処理装置。

【請求項10】

被写体を結像する光学系および撮像素子を有する撮像部が設けられた回転体であって、空中を回転しながら移動し、該移動とともに時系列に複数枚の撮像画像を撮影する回転体と、
請求項１から９いずれか１項記載の撮像画像処理装置とを備えたことを特徴とする撮像画像処理システム。

【請求項11】

前記回転体が、楕円体形状であることを特徴とする請求項１０項記載の撮像画像処理システム。

【請求項12】

前記回転体の本体が、アメリカンフットボールであることを特徴とする請求項１１記載の撮像画像処理システム。

【請求項13】

被写体を結像する光学系および撮像素子を有する撮像部が設けられた回転体であって、空中を回転しながら移動する前記回転体によって前記移動とともに時系列に撮影された複数枚の撮像画像を取得し、
前記複数枚の撮像画像の中から、前記回転体の撮像部が回転方向について同じ方向を向いている間に撮影された複数枚の単一方向画像を抽出し
前記複数枚の単一方向画像に基づいて疑似直進映像を生成して表示させることを特徴とする撮像画像処理方法。

【請求項14】

コンピュータを、被写体を結像する光学系および撮像素子を有する撮像部が設けられた回転体であって、空中を回転しながら移動する前記回転体によって前記移動とともに時系列に撮影された複数枚の撮像画像を取得する撮像画像取得部と、
前記複数枚の撮像画像の中から、前記回転体の撮像部が回転方向について同じ方向を向いている間に撮影された複数枚の単一方向画像を抽出する画像抽出部と、
前記複数枚の単一方向画像に基づいて疑似直進映像を生成して表示させる表示制御部として機能させることを特徴とする撮像画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像部を備え、空中を回転しながら移動する回転体によって撮影された複数枚の撮像画像に基づいて、単一方向の視点からの疑似直進映像を生成する撮像画像処理装置および方法、撮像画像処理プログラム並びに撮像画像処理システムに関するものである。

【背景技術】

【0002】

古来からスポーツは人々に感動と興奮を与える重要なエンターテイメントである。テレビの発明とともに始まったスポーツ中継は、会場に来ることのできない遠隔地の人々に対して、こうした感動と興奮を伝えることを可能とした。こうしたスポーツ中継は一般的には競技場周囲に設置された複数台の固定カメラや、台車にのせられた移動カメラ、カメラマンの手持ちカメラ、飛行船等での上空カメラを用いて臨場感を伝えようと努力してきた。最近では、球技場上空にワイヤーで釣られた移動カメラやクレーンカメラを用いて、これまでにはない映像の提供を行なっている。

【0003】

こうした様々な試みにもかかわらず、これまで競技場内部にカメラを設置し、競技場内部からの映像の配信は困難であった。最大の理由は、競技場内にカメラを設置すると競技の邪魔となると同時に、選手の安全が懸念されるからである。

【0004】

これに対し、従来、競技場周辺に設置された互いに同期する複数台の固定カメラ映像から、画像補完により実際にはカメラのないアングルからの映像の提供を行う試みがなされている。しかし、この方法においても、カメラが競技場外部にあるため、合成できる映像にも限界がある。

【0005】

一方、高性能カメラの小型化、低価格化が進んでいる。この結果、小型カメラをたとえば選手自身のヘルメットや、サーフボードなどの器具に装着し、従来の固定カメラでは不可能だった映像の撮影が可能となり、動画投稿サイトには多くの動画が投稿されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００７−４３２２５号公報

【特許文献2】米国特許第８２３７７８７号明細書

【非特許文献】

【0007】

【非特許文献1】H. Mori, D. Sekiguchi, S. Kuwashima, M. Inami, and F. Matsuno. Motionsphere. In ACM SIGGRAPH 2005 Emerging technologies, page 15, 2005.

【非特許文献2】T. Ozawa, K. M. Kitani and H. Koike. Human-centric panoramic imaging stitching. In Proceedings of the 3rd Augmented Human International Conference, page 20,2012.

【非特許文献3】J. Pfeil, K. Hildebrand, C. Gremzow, B. Bickel and M. Alexa. Throwable panoramic ball camera. In SIGGRAPH Asia 2011 Emerging Technologies, page 4, 2011.

【発明の概要】

【発明が解決しようとする課題】

【0008】

こうした背景のもと、たとえば球技に着目し、ボールに小型カメラを内蔵することで、ボール視点の映像を提供することが考えられる。この結果、たとえばフットボールでは、ハドル時などボールが静止している時のボール視点映像はもちろん、パス時の空中からの映像など、従来は不可能であった映像配信が可能となる。

【0009】

しかしながら、ここで問題となるのは、一般に飛行中のボールは回転、しかも高速回転していることである。具体的には、たとえばアメリカンフットボールの場合、長軸周りに約６００ＲＰＭで回転している。したがって、カメラからのオリジナル映像をそのまま提供しても、視聴者には意味のあるものとならない。また、撮影された各フレームは高速回転のためのモーションブラーやローリングシャッタのため歪んでいる。

【0010】

ボールあるいはボール型のものにカメラを内蔵するという考え方はこれまでにも幾つか提案されている。

【0011】

たとえば、非特許文献１においては、Point Grey社製の多眼カメラLadybugを用い、ボールやバットなど異なる視点からの映像を提供することが提案されている。しかしながら、この場合も、高速に移動・回転する場合の映像処理は考慮されていない。

【0012】

また、非特許文献２においては、複数台のカメラをボールに内蔵し、パノラマ映像を撮影するシステムが提案されている。このシステムの特徴は、パノラマ映像の継ぎ目に人間がいる場合の不自然な接合を解決するために、パノラマ合成に顔認識を組み込んだ点にある。しかしながら、このシステムにおいても実際に高速に移動・回転するカメラからの映像は扱っていない。

【0013】

また、非特許文献３においては、ボールに３６個の携帯電話用小型カメラと加速度センサを内蔵し、ボールを投げ上げて最高点に達した時に３６個のカメラによって同時に映像を撮影する方法が提案されている。この方法においては、撮影後、全画像をＵＳＢ経由でＰＣに取り込み、全周囲パノラマ映像が生成される。

【0014】

この方法は、ボール視点映像の提供ではあるが、静止画のパノラマ撮影が目的であり、動画には対応していない。また。この方法においても、ボールの回転は全く考慮されていない。よって、ボールが回転している場合に生じる、モーションブラーやローリングシャッタ問題に対する考慮がない。

【0015】

また、特許文献１においても、ボールに搭載された複数カメラで得られた画像を連結して全周画像を生成することが提案されている。しかしながら、特許文献１においても、ボールの回転は全く考慮されていない。

【0016】

また、一般的なパノラマ合成では多くの場合ブレンディングによる重なり領域の画像合成を行う。合成の際に画像の形状は変えずにブレンディングをすることで画像を合成している。このような画像合成は一般的であり、カメラキャリブレーションが完全で、かつ被写体が遠方である前提で用いられている。

【0017】

しかしながら、これらのパノラマ合成技術では、通常、カメラが高速に動いている場合、様々な問題が発生し、きれいに画像を合成することができない。そのため、これらの一般的なパノラマ合成手法では、ボール視点映像を生成することができない。

【0018】

また、特許文献２においては、カメラと方向センサと位置センサとを備えたボールが提案されており、カメラで得られた画像を、天地が調整された画像に変換する方法が提案されている。

【0019】

しかしながら、特許文献２に記載のボールにおいては、センサを用いるので構成が複雑になってしまう。

【0020】

本発明は、上記事情に鑑み、高速に回転しているボールに内蔵されたカメラによって撮影された撮像画像に基づいて、あたかもボールが回転していないかのような擬似直進映像を合成して表示させることができる撮像画像処理装置および方法、撮像画像処理プログラム並びに撮像画像処理システムを提供することを目的とするものである。

【課題を解決するための手段】

【0021】

本発明の撮像画像処理装置は、被写体を結像する光学系および撮像素子を有する撮像部が設けられた回転体であって、空中を回転しながら移動する回転体によってその移動とともに時系列に撮影された複数枚の撮像画像を取得する撮像画像取得部と、複数枚の撮像画像の中から、回転体の撮像部が回転方向について同じ方向を向いている間に撮影された複数枚の単一方向画像を抽出する画像抽出部と、複数枚の単一方向画像に基づいて疑似直進映像を生成して表示させる表示制御部とを備えたことを特徴とする。

【0022】

また、上記本発明の撮像画像処理装置においては、複数枚の単一方向画像に対して歪み除去処理を施す歪み除去処理部を設けることができる。

【0023】

また、歪み除去処理部を、光学系による歪みと撮像素子のローリングシャッタ動作による歪みとの両方を除去するものとできる。

【0024】

また、所定のフレームの単一方向画像と、その所定のフレームの前または後の少なくとも一方のフレームの撮像画像とを合成して視野拡張画像を生成する画像合成部を設け、表示制御部を、視野拡張画像に基づいて疑似直進映像を生成して表示させるものとできる。

【0025】

また、画像合成部を、さらに時間的に連続する視野拡張画像同士を合成して合成視野拡張画像を生成するものとし、表示制御部を、合成視野拡張画像に基づいて疑似直進映像を生成して表示させるものとできる。

【0026】

また、画像合成部を、上記合成を行う際、グラフカットアルゴリズムを用いて合成対象の重なり領域内のカットラインを求めるものとできる。

【0027】

また、画像合成部を、重なり領域における色差と重なり領域となっている境界からの距離とをグラフカットアルゴリズムにおけるコストとして用いるものとできる。

【0028】

また、時間的に連続する合成視野拡張画像に基づいて、合成視野拡張画像間のフレームを補間する補間画像を生成する画像補間部を設け、表示制御部を、合成視野拡張画像と補間画像とに基づいて疑似直進映像を生成して表示させるものとできる。

【0029】

また、画像補間部を、時間的に連続する２つの合成視野拡張画像に基づいて中間画像を生成し、時間的に連続する中間画像に基づいて、中間画像間のフレームを補間する補間画像を生成するものとし、表示制御部を、中間画像と補間画像とに基づいて疑似直進映像を生成して表示させるものとできる。

【0030】

本発明の撮像画像処理システムは、被写体を結像する光学系および撮像素子を有する撮像部が設けられた回転体であって、空中を回転しながら移動し、その移動とともに時系列に複数枚の撮像画像を撮影する回転体と、上記撮像画像処理装置とを備えたことを特徴とする。

【0031】

また、上記本発明の撮像画像処理システムにおいては、回転体を楕円体形状とすることができる。

【0032】

また、回転体の本体をアメリカンフットボールから構成することができる。

【0033】

本発明の撮像画像処理方法は、被写体を結像する光学系および撮像素子を有する撮像部が設けられた回転体であって、空中を回転しながら移動する回転体によってその移動とともに時系列に撮影された複数枚の撮像画像を取得し、複数枚の撮像画像の中から、回転体の撮像部が回転方向について同じ方向を向いている間に撮影された複数枚の単一方向画像を抽出し、複数枚の単一方向画像に基づいて疑似直進映像を生成して表示させることを特徴とする。

【0034】

本発明の撮像画像処理プログラムは、コンピュータを、被写体を結像する光学系および撮像素子を有する撮像部が設けられた回転体であって、空中を回転しながら移動する回転体によってその移動とともに時系列に撮影された複数枚の撮像画像を取得する撮像画像取得部と、複数枚の撮像画像の中から、回転体の撮像部が回転方向について同じ方向を向いている間に撮影された複数枚の単一方向画像を抽出する画像抽出部と、複数枚の単一方向画像に基づいて疑似直進映像を生成して表示させる表示制御部として機能させることを特徴とする。

【発明の効果】

【0035】

本発明の撮像画像処理装置および方法、撮像画像処理プログラム並びに撮像画像処理システムによれば、撮像部を備え、空中を回転しながら移動する回転体によってその移動とともに時系列に撮影された複数枚の撮像画像を取得し、その取得した複数枚の撮像画像の中から、回転体の撮像部が同じ方向を向いている間に撮影された複数枚の単一方向画像を抽出し、その抽出した複数枚の単一方向画像に基づいて映像を生成して表示させるようにしたので、あたかもボールが回転していないかのような擬似直進映像を生成して表示させることができる。

【図面の簡単な説明】

【0036】

【図1】本発明の撮像画像処理システムの一実施形態の概略構成を示す図

【図2】図１に示す撮像画像処理システムにおける撮像画像処理装置の概略構成を示すブロック図

【図3】カメラ内蔵ボールのカメラによって撮像された複数枚の撮像画像から単一方向画像を抽出する概念図

【図4】各撮像画像の輝度平均値を時系列に示したグラフ

【図5】単一方向画像群の一例を示す図

【図6】歪み除去処理を行った単一方向画像と、歪み除去処理前の単一方向画像の一例を示す図

【図7】視野拡張画像と合成視野拡張画像の生成方法を説明するための図

【図8】単一方向画像と、視野拡張画像と、合成視野拡張画像の一例を示す図

【図9】２つの画像における重なり領域を示す図

【図10】色差のみをコストとしてグラフカットアルゴリズムを用いた場合における重なり領域内のカットラインの一例を示す図

【図11】色差と境界線からの距離とをコストとしてグラフカットアルゴリズムを用いた場合における重なり領域内のカットラインの一例を示す図

【図12】本発明の撮像画像処理システムの一実施形態の処理の流れを説明するためのフローチャート

【図13】本発明の撮像画像処理システムの一実施形態によって生成・表示される疑似直進映像の一例を示す図

【発明を実施するための形態】

【0037】

以下、本発明の撮像画像処理装置および方法、撮像画像処理プログラム並びに撮像画像処理システムの一実施形態について、図面を参照しながら詳細に説明する。図１は、本実施形態の撮像画像処理システムの概略構成を示すブロック図である。

【0038】

本実施形態の撮像画像処理システム１は、図１に示すように、カメラ内蔵ボール１０と、撮像画像処理装置２０とを備えている。

【0039】

カメラ内蔵ボール１０および撮像画像処理装置２０は無線通信部を備えており、無線通信可能に構成されている。カメラ内蔵ボール１０に設けられたカメラ１２によって撮像されたフレーム毎の撮像画像は、無線通信を介して撮像画像処理装置２０に出力される。なお、本実施形態においては、上述したように無線通信を介してカメラ内蔵ボール１０から撮像画像処理装置２０へ撮像画像を出力するようにしたが、これに限らず、カメラ内蔵ボール１０のカメラ１２に対して、たとえばメモリカードのような補助記憶装置を着脱可能に設け、その補助記憶装置にフレーム毎の撮像画像を記憶させ、その補助記憶装置を撮像画像処理装置２０に装填して撮像画像を読み出すようにしてもよい。また、カメラ内蔵ボール１０のカメラ１２によって撮影を行った後、カメラ１２と撮像画像処理装置２０とをケーブルで接続して撮像画像処理装置２０が撮像画像を読み出すようにしてもよい。

【0040】

カメラ内蔵ボール１０は、ボール本体１１に対してカメラ１２を設けたものである。カメラ１２は、被写体を結像するレンズなどの光学系と、光学系によって結像された像を撮像し、撮像画像を出力するＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサなどの撮像素子を備えたものである。本実施形態における撮像素子は、フレームレート６０ｆｐｓで撮影を行うものとする。

【0041】

カメラ内蔵ボール１０のボール本体１１は、楕円体形状から構成されたものであり、本実施形態のボール本体１１は、いわゆるアメリカンフットボールである。そして、カメラ１２は、ボール本体１１の長軸方向の略中央に設けられている。

【0042】

カメラ内蔵ボール１０は、人によって所定方向に向けて投げられ、長軸方向を回転軸として回転しながら空中を移動するものである。そして、この回転および移動とともに時系列に複数枚の撮像画像を撮影するものである。

【0043】

撮像画像処理装置２０は、コンピュータに対し、本発明の撮像画像処理プログラムの一実施形態をインストールしたものである。図２は、撮像画像処理装置２０の概略構成を示すブロック図である。撮像画像処理装置２０は、撮像画像処理装置本体２１と、ディスプレイ２９とを備えている。

【0044】

撮像画像処理装置本体２１は、一つまたは複数の中央処理装置（ＣＰＵ）および半導体メモリや、一つまたは複数のハードディスクやＳＳＤ(Solid State Drive)等のストレージデバイスを備えている。ストレージデバイスには、本実施形態の撮像画像処理プログラムがインストールされており、この撮像画像処理プログラムが中央処理装置からなる制御部２８によって実行されることによって、図２に示すような撮像画像取得部２２、画像抽出部２３、歪み除去処理部２４、画像合成部２５、画像補間部２６および表示制御部２７が動作する。なお、撮像画像処理プログラムは、ＣＤ−ＲＯＭなどの記録媒体に記録されたものを用いるようにしてもよいし、インターネットを介してＳａａＳ（Software as a Service）によって提供されるものを用いるようにしてもよい。

【0045】

撮像画像取得部２２は、カメラ内蔵ボール１０のカメラ１２によって撮像された時系列の撮像画像を取得するものである。

【0046】

画像抽出部２３は、カメラ内蔵ボール１０のカメラ１２によって撮像された複数枚の撮像画像の中から、カメラ内蔵ボール１０のカメラ１２が回転方向について同じ方向を向いている間に撮像された複数枚の画像を抽出するものである。なお、以下、画像抽出部２３によって抽出される画像を単一方向画像という。また、上記回転方向について同じ方向とは、必ずしも完全な同一方向でなくてもよく、人が撮像画像を見た場合に、回転方向について同じ方向から撮影された撮像画像だと認識できる程度のものを単一方向画像とする。たとえば回転方向について±１０°程度の方向ずれを許容範囲としてもよい。

【0047】

図３は、カメラ内蔵ボール１０のカメラ１２によって撮像された複数枚の撮像画像から単一方向画像を抽出する概念図である。図３に示す撮像画像は、カメラ内蔵ボール１０がアメリカンフットボールの競技上で所定方向に投げられた際に撮影されたものである。図３の例では、カメラ１２が競技場の地面方向を向いている間に撮影された撮像画像を単一方向画像として抽出している。

【0048】

ここで、高速に回転するカメラ１２から単一方向画像を抽出する際、カメラ１２の向きを推定する必要がある。本実施形態においては、高速に回転するカメラ１２の向きを推定する手法として、各撮像画像における輝度値平均を用いる。図４は、各撮像画像の輝度平均値を時系列に示したものである。図４から輝度値平均は周期的になっていることがわかる。ここで、本実施形態においては、カメラ内蔵ボール１０の回転軸は地面とほぼ水平であって、カメラ内蔵ボール１０は必ず空と地面を撮影しながら飛行していくものとする。アメリカンフットボールであるカメラ内蔵ボール１０は、回転軸が固定されているためこの前提条件を満たすことができる。

【0049】

図４に示す輝度値のグラフを見ると、カメラ１２が空を向いているときはより明るいため輝度値平均は高い値を示し、地面を向いているときは輝度値平均が低くなっている。そのため、本実施形態においては、輝度値平均が所定の閾値よりも低い撮像画像を抽出することによって、カメラ１２が下方向を向いた単一方向画像を抽出することができる。図５は、このとき抽出した単一方向画像群を示すものである。図５より、カメラ１２が地面を向いている画像を抽出できているのがわかる。ただし、この手法ではカメラ１２の向きは完全に同じわけではない。したがって、本実施形態においては、カメラ１２の向きのズレを補うために仮想的な撮像画像の視野拡張を行う。この視野拡張については、後で詳述する。

【0050】

歪み除去処理部２４は、複数枚の単一方向画像に対して歪み除去処理を施すものである。回転しているカメラ１２によって撮影された単一方向画像はローリングシャッタ問題の影響で歪んでいる。そこで、本実施形態では、単一方向画像に対して歪み除去処理を施す。

【0051】

具体的には、本実施形態の歪み除去処理部２４は、カメラ１２のレンズ（光学系）と、カメラ１２の動きによるローリングシャッタ問題と、ＣＭＯＳセンサによるデジタル画像取得のレイテンシとによる樽形歪曲の除去を行うものである。もし、カメラ１２のレンズによる歪みがなかった場合、ローリングシャッタ問題などにより歪んでしまっていた単一方向画像の点ｘ_ｄは、下式（１）によってｘ_ｒの位置に修正される。

【数1】

【0052】

このときＫはカメラ１２のキャリブレーション行列、Ｒ（ｔ）はカメラの回転を表す。カメラ１２は動いているので、その回転は時間ｔに作用され、ｔは画像列に比例する。

【0053】

レンズの歪みとローリングシャッタ問題による歪みを同時に矯正するために、式（１）を下式（２）のように拡張する。

【数2】

【0054】

ここでＰ^−１は画像平面から３次元空間へのバックプロジェクションを示している。ここで留意すべきはバックプロジェクション関数はレンズの歪みを考慮しているということである。本実施形態では、単純な半径方向の歪みモデルを使用している。

【0055】

画像の調整を行うために、歪んでいる画像の点ｘ_ｄを修正された点ｘ_ｒへと計算する必要がある。ここで、本実施形態においては、ガウス-ニュートン法を使用して式（２）を解き、ｘ_ｄを修正するための参照テーブルを作成する。図６は、この参照テーブルを用いて歪み除去処理を行った単一方向画像と、歪み除去処理前の単一方向画像の一例を示すものである。

【0056】

画像合成部２５は、歪み除去処理後の所定のフレームの単一方向画像と、その所定のフレームの前または後の少なくとも一方のフレームの撮像画像とを合成して視野拡張画像を生成するものである。上述したように画像抽出部２３によって抽出される単一方向画像が撮影された際のカメラ１２の向きは完全に同じわけではない。そこで、このカメラ１２の向きのズレを補うため、画像合成部２５は、仮想的な視野拡張処理を行って視野拡張画像を生成するものである。

【0057】

視野拡張処理は、上述したように所定のフレームの単一方向画像と、その前後のフレームの撮像画像を用いることで行う。カメラ内蔵ボール１０は高速に回転しているため、同じ時間に撮影されてはいないが、連続する３枚の画像には重なり領域が出現するため、仮想的な画像の視野拡張を行うことができる。したがって、図７に示すように、第１フレームの撮像画像Ｇ１〜第９フレームの撮像画像Ｇ９が時系列に撮像され、第２フレームの撮像画像Ｇ２と第８フレームの撮像画像Ｇ８とが単一方向画像として抽出された場合、まず、第２フレームの単一方向画像Ｇ９とその前後の第１および第３フレームの撮像画像とが合成されて第１の視野拡張画像が生成される。また、第２フレームの単一方向画像Ｇ９が撮影された後、１回転後に撮影された第８フレームの単一方向画像Ｇ８とその前後の第７および第９フレームの撮像画像とが合成されて第２の視野拡張画像が生成される。なお、本実施形態においては、単一方向画像の前後のフレームの撮像画像を用いて視野拡張画像を生成するようにしたが、前または後のフレームの撮像画像のみを用いて視野拡張画像を生成するようにしてもよい。

【0058】

そして、第１および第２の視野拡張画像を生成した後、回転周期を調整するため、この第１の視野拡張画像と第２の視野拡張画像とをさらに合成し、さらに視野を広げていく。図８は、単一方向画像と、視野拡張画像と、合成視野拡張画像の一例を示すものである。以下、視野拡張画像の生成方法について、説明する。

【0059】

視野拡張画像を生成するために、変換される画像間のホモグラフィを計算する必要がある。しかしながら、アメリカンフットボールのフィールドは似たパターンの色をしていること、また画像の歪みを完璧に取り除けるわけではないため、似た特徴を持つ画像と歪みの影響で特徴点の抽出を行う際にミスマッチを引き起こす可能性が高い。そこで、本実施形態では、回転する画像におけるロバストなホモグラフィ推定を行っていく。

【0060】

まず、並進移動Ｔの動きを、下式（３）に示すように線形式を用いて推定する。

【数3】

【0061】

ここで、Ａは、

【数4】

【0062】

とする。

【0063】

このとき、ｘとｙは現在のフレーム画像における特徴点、であり、ｘ’とｙ’は次のフレーム画像の特徴点である。

【0064】

このＡを線形回帰モデルで求めることにより、このモデルから明らかに大きく外れているものを除去する。この明らかにミスマッチを起こしそうな特徴点を削除したあと、残った特徴点を用いて、ＲＡＮＳＡＣアルゴリズムを用いてホモグラフィ行列Ｈを求めていく。このようにして求めたホモグラフィ行列Ｈを用いることによって、現在のフレームの画像と次のフレームの画像との重なり領域を求めることができる。

【0065】

次に、視野拡張のために画像を合成する際、画像同士の合成の仕方について様々なノイズを考慮した方法にしなければならない。本実施形態では、画像同士の重なり領域における最適なカットラインを求めることで、合成を行っていく。図９は、２つの画像における実際の重なり領域を示すものである。視野拡張における画像合成のゴールとしてはこの重なり領域内での最適なカットラインを求めることである。

【0066】

単純なホモグラフィを用いた合成では、カメラ内蔵ボール１０で撮影された撮像画像が固定されておらず完璧な平面ではないため、合成後の画像にノイズが発生してしまう。また、従来は画像合成の際、ひとつのカットラインしか求めることができなかったのに対し、本実施形態ではグラフカットアルゴリズムを用いることにより、複数のカットラインを同時に求めていく画像合成に拡張した。またこのとき、画像の重なり領域における色差と、重なり領域となっている境界からの距離とをエネルギーのコストとして用いる。

【0067】

二つの画像のピクセルｉとｊにおける色差コストは、下式（５）にしたがって、重なっている画像の前景となるピクセルｆと背景となるピクセルｂの色の差により求める。

【数5】

【0068】

上式（５）におけるｆとｂは、ＲＧＢ値のそれぞれの差の合計で、Ｎはコストを0から1の間に正規化する要素である。

【0069】

ここで、色差コストが低い部分を選択しながら、カットラインを決定し重なり領域を切り取ることもできる。しかし、視野拡張における目的はあくまでも、カメラ１２の方向ズレを修正するために視野を補うことであり、中心となる抽出された画像の大部分をカットしてしまうと、次に行う画像間のモーション補間で問題が起きてしまう場合がある。この影響を表したものが図１０である。このように抽出された画像の半分ほどを切り取り、拡張のための画像に置き換わっていることがわかる。

【0070】

そこで、本実施形態では、中心画像を侵食しないような合成を行うために、距離コストの導入を行っている。距離コストは、重なり領域の境界からの距離が遠い重なり領域のピクセルがもつコストを高くするものである。境界線から遠くなるにつれてコストをあげていく。下式（６）がその距離コストを設定するものである。

【数6】

【0071】

ｂは視野拡張部分の画像と基準となる画像の境界線Ｂのピクセルで、ｘ（ｉ）は重なり領域のピクセルであり、距離コストは、各重なり領域のピクセルと境界線Ｂとの距離を計算し、一番短くなる部分をコストとして選択する。このようにして、視野拡張部分の画像からの距離が小さいほどコストが軽くなるように設定し、できるだけ視野拡張部分の画像の近傍にカットラインが通るようにしていく。この距離コストを上述した色差コストを用いたグラフカットアルゴリズムに加えて画像合成した結果が、図１１に示す画像である。図１１から、カットラインが視野拡張部分の画像側に近い位置で引かれていることがわかわる。これにより抽出された単一方向画像がメインの部分となり、その前後のフレームの拡張したい部分だけを合成することが可能である。

【0072】

上述した合成方法は、上述した視野拡張画像を生成する際と、上述した合成視野拡張画像を生成する際とで用いられる。

【0073】

画像補間部２６は、画像合成部２５において生成された合成視野拡張画像間のフレームを補ってバーチャルなカメラパスを生成するために、補間画像を生成し、モーション補間を行うものである。

【0074】

ここで、まず、本実施形態における線形モーション補間について説明する。本実施形態の線形モーション補間では、ホモグラフィ行列が画像Ａを画像Ｂに変換する行列であることを利用する。まず、画像のｔフレーム目とｔ＋１フレーム目のホモグラフィ行列を求める。これによりｔフレーム目の画像が、ｔ＋１フレームの画像へ変換できることになる。つまり、ｔからｔ＋１の変形を徐々に行っていくことで、ｔがｔ＋１に変換されていく様子を画像として保存することができる。本実施形態においては、この画像を補間画像として利用する。

【0075】

まず、補間画像を作成するために、ホモグラフィ行列から、変換前の画像が変換後にどのピクセルへ移動するかを記述したマッピング情報を作成する必要がある。そのマッピング情報は、ホモグラフィ行列から下式（７）〜（９）により求めることができる。

【数7】

【0076】

ｚは変換後の座標ｘ’，ｙ’を正規化するための要素である。ｘ’とｙ'xとyの各ピクセルが変換される先のピクセルであり、ｈ_ｉｊは、下式（１０）で表されるホモグラフィ行列の要素である。

【数8】

【0077】

マッピング情報Ｍ_ｆ（ｘ，ｙ）は、フレームｔの画像が次のフレームｔ＋１へ変換される際の情報が格納されている。本実施形態では、このマッピング情報を用いてモーション補間を行っていく。マッピング情報は他にフレームｔの画像が移動しないときの情報である固有マッピングＭ_Ｉ（ｘ，ｙ）とフレームｔ＋１の画像がフレームｔの画像へ戻るときのマッピング情報Ｍｂがあり、これら三つの情報を用いて下式（１１）〜（１２）で表される線形式を作成する。

【数9】

【0078】

ここで新しいマッピング情報Ｆは、重みα（０≦α≦１）とフレームｔからｔ＋１へのマッピング情報Ｍ_ｆ（ｘ，ｙ）と固有マッピング情報により作成される。同様に、マッピング情報Ｂも、重みαとｔ＋１からｔへと変換されるマッピング情報Ｍ_ｂ（ｘ，ｙ）を用いて表すことができる。これはたとえば、重みα＝０のとき、マッピング情報Ｆは固有のマッピング情報Ｍ_Ｉ（ｘ，ｙ）と同じになる。言い換えると、マッピング情報Ｆを用いてフレームｔの画像を変換してもそのままである。さらにマッピング情報ＢはＭ_ｂ（ｘ，ｙ）と同じになり、この情報を用いてフレームｔ＋１の画像はフレームｔの画像に変換される。

【0079】

そしてこの二つの変換された画像を合成する。その後は、αの値を除々に増やしながら、画像を少しずつ変換し、二枚の変換後の画像を合成することによって画像間のフレームを補間する補間画像を生成する。

【0080】

ここで、上述したような線形モーション補間を、上述した合成視野拡張画像に対して行うことによって合成視野拡張画像間の補間画像を作成することもできるが、この場合、カメラ内蔵ボール１０の回転軸に影響され生成される映像が見づらいものとなってしまう。そこで、本実施形態においては、より滑らかな映像を生成するために、中間画像を生成した後に、上述した線形モーション補間を行う。

【0081】

この中間画像による線形モーション補間とは、各合成視野拡張画像を先ほどの線形補間式の重みをα＝０．５で変換し作成した中間画像同士を用いる方法である。すなわち、まず、各合成視野拡張画像を中間画像に変換する。そして、この中間画像同士のホモグラフィを計算し、同じように中間画像同士で線形補間式を作成する。この線形補間式を用いて上述した線形モーション補間を行うことによって、カメラ内蔵ボール１０の回転軸の影響を低減したより安定な滑らかな映像を作成することができる。

【0082】

表示制御部２７は、画像補間部２６において合成視野拡張画像に基づいて生成された中間画像と補間画像を繋ぎ合せて疑似直進映像を生成し、その疑似直進映像をディスプレイ２９に表示させるものである。図１２（ａ）〜（ｈ）は、表示制御部２７によって表示される疑似直進映像の一例を示すものである。

【0083】

次に、本実施形態の撮像画像処理システム１の処理の流れについて、図１３に示すフローチャートを参照しながら説明する。

【0084】

まず、人によってカメラ内蔵ボール１０が所定方向に向けて投げられ、カメラ内蔵ボール１０のカメラ１２によって時系列の複数枚の撮像画像が撮影され、その時系列の撮像画像が無線通信を介して撮像画像処理装置２０の撮像画像取得部２２によって取得される（Ｓ１０）。

【0085】

撮像画像取得部２２によって取得された撮像画像は、画像抽出部２３に入力され、画像抽出部２３は、カメラ１２が同じ方向を向いている間に撮像された複数枚の画像を単一方向画像として抽出する（Ｓ１２）
画像抽出部２３によって抽出された複数枚の単一方向画像は、歪み除去処理部２４に入力され、歪み除去処理部２４は、入力された複数枚の単一方向画像に対して、レンズによる歪みとローリングシャッタ動作による歪みとの両方を除去する歪み除去処理を施す（Ｓ１４）。

【0086】

歪み除去処理の施された単一方向画像は、画像合成部２５に入力され、画像合成部２５は、所定のフレームの単一方向画像と、その所定のフレームの前後のフレームの撮像画像とを合成して視野拡張画像を生成する（Ｓ１６）。そして、さらに画像合成部２５は、時間的に連続する２枚の視野拡張処理画像同士を合成して合成視野拡張画像を生成する（Ｓ１８）。

【0087】

画像合成部２５において生成された合成視野拡張画像は、画像補間部２６に入力され、画像補間部２６は、入力された合成視野拡張画像に基づいて、上述したように中間画像を生成するとともに、その中間画像に基づいて補間画像を生成する（Ｓ２０）。

【0088】

画像補間部２６において生成された中間画像および補間画像は、表示制御部２７に入力され、表示制御部２７は、入力された中間画像および補間画像を時系列にディスプレイ２９に順次表示させることによって疑似直進映像を表示させる（Ｓ２２）。

【0089】

上記実施形態の撮像画像処理システム１によれば、カメラ内蔵ボール１０によってその移動とともに時系列に撮影された複数枚の撮像画像を取得し、その取得した複数枚の撮像画像の中から、カメラ１２が同じ方向を向いている間に撮影された複数枚の単一方向画像を抽出し、その抽出した複数枚の単一方向画像に基づいて映像を生成して表示させるようにしたので、あたかもボールが回転していないかのような擬似直進映像を生成して表示させることができる。

【0090】

なお、上記実施形態の撮像画像処理システムは、安定したより滑らかな疑似直進映像を表示させるものであるが、上述した処理のうち一部の処理を省略するようにしてもよい。たとえば、視野拡張処理を行うことなく、単一方向画像から直接、疑似直進映像を生成するようにしてもよいし、また、合成視野拡張画像を生成することなく、視野拡張画像から直接、疑似直進映像を生成するようにしてもよい。また、上述した中間画像を生成することなく、合成視野拡張画像と合成視野拡張画像から生成された補間画像とを用いて疑似直進映像を生成するようにしてもよい。

【符号の説明】

【0091】

１ 撮像画像処理システム
１０ カメラ内蔵ボール
１１ ボール本体
１２ カメラ
２０ 撮像画像処理装置
２１ 撮像画像処理装置本体
２２ 撮像画像取得部
２３ 画像抽出部
２４ 歪み除去処理部
２５ 画像合成部
２６ 画像補間部
２７ 表示制御部
２８ 制御部
２９ ディスプレイ

【図1】

【図2】

【図4】

【図7】

【図13】

【図3】

【図5】

【図6】

【図8】

【図9】

【図10】

【図11】

【図12】