IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 楽天株式会社の特許一覧

特許7549113プログラム、画像処理装置及び画像処理方法
<>
  • 特許-プログラム、画像処理装置及び画像処理方法 図1
  • 特許-プログラム、画像処理装置及び画像処理方法 図2
  • 特許-プログラム、画像処理装置及び画像処理方法 図3
  • 特許-プログラム、画像処理装置及び画像処理方法 図4
  • 特許-プログラム、画像処理装置及び画像処理方法 図5
  • 特許-プログラム、画像処理装置及び画像処理方法 図6
  • 特許-プログラム、画像処理装置及び画像処理方法 図7
  • 特許-プログラム、画像処理装置及び画像処理方法 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-09-02
(45)【発行日】2024-09-10
(54)【発明の名称】プログラム、画像処理装置及び画像処理方法
(51)【国際特許分類】
   G06T 3/00 20240101AFI20240903BHJP
   H04N 5/272 20060101ALI20240903BHJP
【FI】
G06T3/00 780
H04N5/272
【請求項の数】 9
(21)【出願番号】P 2023202017
(22)【出願日】2023-11-29
【審査請求日】2023-11-29
(73)【特許権者】
【識別番号】399037405
【氏名又は名称】楽天グループ株式会社
(74)【代理人】
【識別番号】100110135
【弁理士】
【氏名又は名称】石井 裕一郎
(74)【代理人】
【識別番号】100132883
【弁理士】
【氏名又は名称】森川 泰司
(74)【代理人】
【識別番号】100148633
【弁理士】
【氏名又は名称】桜田 圭
(74)【代理人】
【識別番号】100163452
【弁理士】
【氏名又は名称】南郷 邦臣
(74)【代理人】
【識別番号】100180312
【弁理士】
【氏名又は名称】早川 牧子
(72)【発明者】
【氏名】大本 優佳
【審査官】松永 隆志
(56)【参考文献】
【文献】特開2023-30504(JP,A)
【文献】特開2006-60309(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 3/00
H04N 5/272
(57)【特許請求の範囲】
【請求項1】
コンピュータを
対象が追跡撮影された追跡撮影動画に含まれる複数のフレーム画像から、前記対象を除去した複数の除去済画像を生成する除去画像生成部、
前記複数の除去済画像に含まれる特徴点同士の照合を実行し、互いにマッチする特徴点を、前記複数の除去済画像のそれぞれの除去済画像に画像変換を施してから重ね合わせることにより、前記対象の背景を表すパノラマ画像を生成するパノラマ画像生成部、
前記追跡撮影動画と、前記パノラマ画像と、から、固定視点動画を合成する合成部であって、
前記複数のフレーム画像のそれぞれのフレーム画像について、
前記それぞれのフレーム画像から除去された前記対象の画像に、当該それぞれのフレーム画像から生成された除去済画像に対して施された画像変換を施して、前記パノラマ画像に重ね合わせることにより、前記固定視点動画に含まれる複数のフレーム画像のそれぞれのフレーム画像とする
合成部、
として機能させることを特徴とするプログラム。
【請求項2】
前記除去画像生成部は、前記複数のフレーム画像のそれぞれのフレーム画像において、前記対象が描画されている領域を透明化することにより、前記除去済画像を生成し、
前記パノラマ画像生成部は、前記透明化された領域の境界の近傍において検出された特徴点を無視して前記照合を実行する
ことを特徴とする請求項1に記載のプログラム。
【請求項3】
前記対象は、競馬における出走馬であり、
前記追跡撮影動画は、前記出走馬がパドックにおいて追跡撮影された動画である
ことを特徴とする請求項1又は2に記載のプログラム。
【請求項4】
前記合成部は、
前記固定視点動画に、前記出走馬の状態の判断に用いられる指標を含める
ことを特徴とする請求項3に記載のプログラム。
【請求項5】
前記合成部は、
前記固定視点動画に、前記出走馬の足跡を、前記指標として含める
ことを特徴とする請求項4に記載のプログラム。
【請求項6】
前記合成部は、
前記固定視点動画に、前記出走馬の前足の足跡を、前記指標として含める
ことを特徴とする請求項4に記載のプログラム。
【請求項7】
前記合成部は、
前記固定視点動画において、前記出走馬の状態の評価に基づいて、当該評価に関する前記出走馬の部位を強調表示する
ことを特徴とする請求項3に記載のプログラム。
【請求項8】
対象が追跡撮影された追跡撮影動画に含まれる複数のフレーム画像から、前記対象を除去した複数の除去済画像を生成する除去画像生成部と、
前記複数の除去済画像に含まれる特徴点同士の照合を実行し、互いにマッチする特徴点を、前記複数の除去済画像のそれぞれの除去済画像に画像変換を施してから重ね合わせることにより、前記対象の背景を表すパノラマ画像を生成するパノラマ画像生成部と、
前記追跡撮影動画と、前記パノラマ画像と、から、固定視点動画を合成する合成部であって、
前記複数のフレーム画像のそれぞれのフレーム画像について、
前記それぞれのフレーム画像から除去された前記対象の画像に、当該それぞれのフレーム画像から生成された除去済画像に対して施された画像変換を施して、前記パノラマ画像に重ね合わせることにより、前記固定視点動画に含まれる複数のフレーム画像のそれぞれのフレーム画像とする
合成部と、
を備えることを特徴とする画像処理装置。
【請求項9】
画像処理装置が実行する画像処理方法であって、
対象が追跡撮影された追跡撮影動画に含まれる複数のフレーム画像から、前記対象を除去した複数の除去済画像を生成する除去画像生成ステップと、
前記複数の除去済画像に含まれる特徴点同士の照合を実行し、互いにマッチする特徴点を、前記複数の除去済画像のそれぞれの除去済画像に画像変換を施してから重ね合わせることにより、前記対象の背景を表すパノラマ画像を生成するパノラマ画像生成ステップと、
前記追跡撮影動画と、前記パノラマ画像と、から、固定視点動画を合成する合成ステップであって、
前記複数のフレーム画像のそれぞれのフレーム画像について、
前記それぞれのフレーム画像から除去された前記対象の画像に、当該それぞれのフレーム画像から生成された除去済画像に対して施された画像変換を施して、前記パノラマ画像に重ね合わせることにより、前記固定視点動画に含まれる複数のフレーム画像のそれぞれのフレーム画像とする
合成ステップと、
を備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プログラム、画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
従来から、対象を追跡撮影した動画を用いて対象を分析するための様々な技術が提案されている。例えば、特許文献1には、パドックを歩く出走馬を追跡撮影した映像から出走馬をトリミングして、出走馬が移動する様子を示すトリミング映像を作成する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2023-30504号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記のような、パドックの出走馬を追跡撮影した動画は、撮影視野内において出走馬の位置が固定されるように撮影されるのが一般的である。一方、歩幅や歩行リズムは、出走馬の状態の判断に用いられるが、それらについては、固定された背景での様子、すなわち、固定視点から撮影した様子を示された方が観察しやすい。よって、対象の分析項目によっては、追跡撮影した動画よりも固定視点から撮影した動画の方が望ましい場合があるが、追跡撮影した動画が得られても固定視点から撮影した動画が得られないことがある。
【0005】
本発明は、上記のような課題を解決するもので、対象を追跡撮影した動画から固定視点から対象を撮影したような動画を生成することが可能なプログラム、画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の第1の観点に係るプログラムは、
コンピュータを
対象が追跡撮影された追跡撮影動画に含まれる複数のフレーム画像から、前記対象を除去した複数の除去済画像を生成する除去画像生成部、
前記複数の除去済画像に含まれる特徴点同士の照合を実行し、互いにマッチする特徴点を、前記複数の除去済画像のそれぞれの除去済画像に画像変換を施してから重ね合わせることにより、前記対象の背景を表すパノラマ画像を生成するパノラマ画像生成部、
前記追跡撮影動画と、前記パノラマ画像と、から、固定視点動画を合成する合成部であって、
前記複数のフレーム画像のそれぞれのフレーム画像について、
前記それぞれのフレーム画像から除去された前記対象の画像に、当該それぞれのフレーム画像から生成された除去済画像に対して施された画像変換を施して、前記パノラマ画像に重ね合わせることにより、前記固定視点動画に含まれる複数のフレーム画像のそれぞれのフレーム画像とする
合成部、
として機能させることを特徴とする。
【0007】
また、上記観点に係るプログラムにおいて、
前記除去画像生成部は、前記複数のフレーム画像のそれぞれのフレーム画像において、前記対象が描画されている領域を透明化することにより、前記除去済画像を生成し、
前記パノラマ画像生成部は、前記透明化された領域の境界の近傍において検出された特徴点を無視して前記照合を実行する
ことを特徴とする。
【0008】
また、上記観点に係るプログラムにおいて、
前記対象は、競馬における出走馬であり、
前記追跡撮影動画は、前記出走馬がパドックにおいて追跡撮影された動画である
ことを特徴とする。
【0009】
また、上記観点に係るプログラムにおいて、
前記合成部は、
前記固定視点動画に、前記出走馬の状態の判断に用いられる指標を含める
ことを特徴とする。
【0010】
また、上記観点に係るプログラムにおいて、
前記合成部は、
前記固定視点動画に、前記出走馬の足跡を、前記指標として含める
ことを特徴とする。
【0011】
また、上記観点に係るプログラムにおいて、
前記合成部は、
前記固定視点動画に、前記出走馬の前足の足跡を、前記指標として含める
ことを特徴とする。
【0012】
また、上記観点に係るプログラムにおいて、
前記合成部は、
前記固定視点動画において、前記出走馬の状態の評価に基づいて、当該評価に関する前記出走馬の部位を強調表示する
ことを特徴とする。
【0013】
本発明の第2の観点に係る画像処理装置は、
対象が追跡撮影された追跡撮影動画に含まれる複数のフレーム画像から、前記対象を除去した複数の除去済画像を生成する除去画像生成部と、
前記複数の除去済画像に含まれる特徴点同士の照合を実行し、互いにマッチする特徴点を、前記複数の除去済画像のそれぞれの除去済画像に画像変換を施してから重ね合わせることにより、前記対象の背景を表すパノラマ画像を生成するパノラマ画像生成部と、
前記追跡撮影動画と、前記パノラマ画像と、から、固定視点動画を合成する合成部であって、
前記複数のフレーム画像のそれぞれのフレーム画像について、
前記それぞれのフレーム画像から除去された前記対象の画像に、当該それぞれのフレーム画像から生成された除去済画像に対して施された画像変換を施して、前記パノラマ画像に重ね合わせることにより、前記固定視点動画に含まれる複数のフレーム画像のそれぞれのフレーム画像とする
合成部と、
を備えることを特徴とする。
【0014】
本発明の第3の観点に係る画像処理方法は、
画像処理装置が実行する画像処理方法であって、
対象が追跡撮影された追跡撮影動画に含まれる複数のフレーム画像から、前記対象を除去した複数の除去済画像を生成する除去画像生成ステップと、
前記複数の除去済画像に含まれる特徴点同士の照合を実行し、互いにマッチする特徴点を、前記複数の除去済画像のそれぞれの除去済画像に画像変換を施してから重ね合わせることにより、前記対象の背景を表すパノラマ画像を生成するパノラマ画像生成ステップと、
前記追跡撮影動画と、前記パノラマ画像と、から、固定視点動画を合成する合成ステップであって、
前記複数のフレーム画像のそれぞれのフレーム画像について、
前記それぞれのフレーム画像から除去された前記対象の画像に、当該それぞれのフレーム画像から生成された除去済画像に対して施された画像変換を施して、前記パノラマ画像に重ね合わせることにより、前記固定視点動画に含まれる複数のフレーム画像のそれぞれのフレーム画像とする
合成ステップと、
を備えることを特徴とする。
【0015】
上記プログラムは、非一時的な(non-transitory)記録媒体に記録されてもよい。非一時的な記録媒体は、コンピュータとは独立して配布・販売することができる。ここで、非一時的な記録媒体とは、有形な(tangible)記録媒体をいう。非一時的な記録媒体は、例えば、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等である。また、一時的な(transitory)記録媒体とは、伝送媒体(伝搬信号)それ自体を示す。一時的な記録媒体は、例えば、電気信号、光信号、電磁波等である。なお、一時的な(temporary)記憶領域とは、データやプログラムを一時的に記憶するための領域であり、例えば、RAM(Random Access Memory)等の揮発性メモリである。
【発明の効果】
【0016】
本発明によれば、対象を追跡撮影した動画から固定視点から対象を撮影したような動画を生成することが可能なプログラム、画像処理装置及び画像処理方法を提供することができる。
【図面の簡単な説明】
【0017】
図1】実施形態に係る画像処理装置と、データベースと、端末装置との関係を示す図である。
図2】実施形態に係る画像処理装置のハードウェア構成を示す図である。
図3】実施形態に係る画像処理装置の機能構成を示す図である。
図4】実施形態に係る追跡撮影動画のフレーム画像の例を示す図である。
図5】実施形態に係るパノラマ画像の例を示す図である。
図6】実施形態に係る固定視点動画のフレーム画像の例を示す図である。
図7】実施形態に係る固定視点動画の例を示す図である。
図8】実施形態に係る画像処理装置が実行する画像処理を説明するための図である。
【発明を実施するための形態】
【0018】
(1.全体構成)
本発明の実施形態に係る画像処理装置100は、図1に示すように、データベース200と、端末装置300と、インターネット等のコンピュータ通信網400を介して通信可能に接続する。
【0019】
画像処理装置100は、対象が追跡撮影された追跡撮影動画から、固定視点から対象を撮影したような固定視点動画を生成する装置である。画像処理装置100は、端末装置300のユーザからの要求に応じて、生成した固定視点動画を提供する。
【0020】
データベース200は、追跡撮影動画を記録する装置である。
【0021】
端末装置300は、固定視点動画を閲覧するユーザが使用する装置である。端末装置300は、例えば、スマートフォン、タブレットコンピュータ等である。
【0022】
(2.画像処理装置のハードウェア構成)
図2は、画像処理装置100のハードウェア構成を示すブロック図である。
【0023】
画像処理装置100は、図2に示すように、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM13と、記録媒体14と、出力デバイス15と、通信デバイス16と、入力デバイス17と、を備える。各構成要素は、バス18により接続されている。
【0024】
CPU11は、画像処理装置100全体の動作を制御し、各構成要素と接続され、制御信号やデータをやりとりする。
【0025】
ROM12には、画像処理装置100全体の動作制御に必要なオペレーティングのプログラムや各種のデータが記録される。
【0026】
RAM13は、データやプログラムを一時的に記録するためのもので、記録媒体14から読み出したプログラムやデータ、その他、通信に必要なデータ等が保持される。
【0027】
記録媒体14は、ハードディスクやフラッシュメモリ等から構成され、画像処理装置100で処理するデータを記録する。
【0028】
出力デバイス15は、LCD(Liquid Crystal Display)等の表示装置や、スピーカ等の音声出力装置を備える。出力デバイス15は、CPU11による制御の下、例えば、CPU11から出力されたデータを出力する。
【0029】
通信デバイス16は、画像処理装置100をインターネット等のコンピュータ通信網に接続するための通信インターフェースを含み、通信デバイス16を介して他の情報処理装置等とやりとりをする。
【0030】
入力デバイス17は、ボタン、キーボード、タッチパネル、マイク等の入力装置を備える。入力デバイス17は、画像処理装置100の使用者からの操作入力を受け付け、受け付けた操作入力に対応する信号をCPU11に出力する。
【0031】
(3.実施形態の画像処理装置の機能構成)
画像処理装置100の機能構成について、図3を用いて説明する。
【0032】
画像処理装置100は、機能的には、除去画像生成部101と、パノラマ画像生成部102と、合成部103と、を備える。本実施形態において、CPU11が、除去画像生成部101、パノラマ画像生成部102、及び、合成部103として機能する。
【0033】
以下では、追跡撮影される対象は、競馬における出走馬であり、画像処理装置100が扱う追跡撮影動画は、出走馬がパドックにおいて追跡撮影された動画(以下、「パドック動画」という)とする。パドック動画はデータベース200に格納されており、画像処理装置100は、データベース200から追跡撮影動画を取得する。
【0034】
除去画像生成部101は、対象が追跡撮影された追跡撮影動画に含まれる複数のフレーム画像から、対象を除去した複数の除去済画像を生成する。
【0035】
例えば、追跡撮影動画Xは、複数のフレーム画像510-1~510-Nから構成される(Nは1以上の自然数)。除去画像生成部101は、フレーム画像510-1~510-Nから出走馬が映された領域を除去した除去済画像520-1~520-Nを生成する。
【0036】
図4に、追跡撮影動画のフレーム画像の例を示す。図4のフレーム画像510-iには、パドックを歩行する対象の出走馬601が映像として含まれる。
【0037】
ここで、除去画像生成部101は、複数のフレーム画像のそれぞれのフレーム画像において、対象が描画されている領域を透明化することにより、除去済画像を生成する。
【0038】
例えば、除去画像生成部101は、図4のフレーム画像510-iの出走馬601が描画されている領域を透明化することにより、除去済画像520-iを生成する。除去済画像520-iには、フレーム画像510-iのうち出走馬601以外の地面602及び柵603が映像として含まれる。
【0039】
パノラマ画像生成部102は、複数の除去済画像に含まれる特徴点同士の照合を実行し、互いにマッチする特徴点を、複数の除去済画像のそれぞれの除去済画像に画像変換を施してから重ね合わせることにより、対象の背景を表すパノラマ画像を生成する。
【0040】
特徴点とは、除去済画像において他の点と区別可能な特徴を持つ点であり、例えば、被写体の角の部分である。除去済画像における特徴点の抽出は、既知の手法が採用される。
【0041】
画像変換とは、パノラマ画像の生成に用いられる既知の変換手法を採用したものであり、例えば、透視変換、ホモグラフィー変換、球面投影変換、アフィン変換である。
【0042】
ここで、パノラマ画像生成部102は、透明化された領域の境界の近傍において検出された特徴点を無視して照合を実行する。
【0043】
例えば、パノラマ画像生成部102は、出走馬601が描画されている領域の境界の近傍において検出された特徴点を、特徴点同士の照合に含めずに、照合を行う。特徴点は、被写体の角のように他の点と特別可能な点が抽出されるため、出走馬601が描画されている領域の近傍の点が抽出されやすいと考えられる。しかし、出走馬601が描画されている領域の近傍の特徴点は、背景の特徴点として必ずしも適当ではないため、照合に含めない。なお、どの程度の距離を透明化された領域の境界の近傍とみなすかは、画像処理装置100の使用者又は固定視点動画を閲覧するユーザが任意に設定する。
【0044】
パノラマ画像生成部102は、除去済画像520-1~520-Nに含まれる特徴点同士を照合し、互いにマッチする特徴点を、除去済画像520-1~520-Nに画像変換を施してから重ね合わせることにより、出走馬601の背景を示すパノラマ画像を生成する。
【0045】
図5に、パノラマ画像700の例を示す。図5のパノラマ画像700には、除去済画像520-1~520-Nの地面602及び柵603がつなぎ合わされた地面604及び柵605が含まれる。
【0046】
合成部103は、追跡撮影動画と、パノラマ画像と、から、固定視点動画を合成する。
【0047】
例えば、合成部103は、フレーム画像510-1~510-Nを含む追跡撮影動画Xと、パノラマ画像700と、から、フレーム画像530-1~530-Nを含む固定視点動画Yを合成する。
【0048】
具体的には、合成部103は、複数のフレーム画像のそれぞれのフレーム画像について、それぞれのフレーム画像から除去された対象の画像に、当該それぞれのフレーム画像から生成された除去済画像に対して施された画像変換を施して、パノラマ画像に重ね合わせることにより、固定視点動画に含まれる複数のフレーム画像のそれぞれのフレーム画像とする。
【0049】
例えば、合成部103は、フレーム画像510-iについて、フレーム画像510-iから除去された出走馬601の画像に、除去済画像520-iに対して施した画像変換を施して、パノラマ画像700にフレーム画像510-iから除去された出走馬601の画像を重ね合わせることにより、固定視点動画のフレーム画像530-iを生成する。
【0050】
図6に、固定視点動画のフレーム画像の例を示す。図6のフレーム画像530-iには、パノラマ画像700を背景として、追跡撮影動画のフレーム画像510-iから除去された出走馬601の画像が含まれる。
【0051】
このように、合成部103は、追跡撮影動画Xに含まれるフレーム画像510-1~510-Nについて、パノラマ画像700にフレーム画像510-1~510-Nから除去された出走馬601の画像を重ね合せ、固定視点動画Yに含まれるフレーム画像530-1~530-Nを生成する。
【0052】
図7に、追跡撮影動画とパノラマ画像とから合成された固定視点動画が表示されている様子を示す。図7のページ800は、競馬のレースに出走する出走馬の情報を提供するためのページであり、端末装置300の画面に表示される。図7のページ800には、固定視点動画を表示する領域801と、領域801に表示された固定視点動画に含まれる出走馬601(馬名“X1”)に関する情報を表示する領域802と、出走馬601と同じ“レースA”に出走する他の出走馬の情報を表示させるための選択肢が含まれる領域803と、出馬表を表示させるためのボタン804と、固定視点動画において出走馬601が移動する方向を変更するためのボタン805と、再生・停止ボタン806と、再生バー807と、が含まれる。
【0053】
ボタン805を選択すると、領域801に表示された固定視点動画に含まれる出走馬601が移動する方向と反対方向に出走馬601が移動する固定視点動画が領域801に表示される。図7のページ800の例では、ボタン805を選択すると、左から右に出走馬601が移動する固定視点動画が領域801に表示される。追跡撮影動画であるパドック動画は、出走馬が楕円状の周回路を歩行する様子を示したもので、周回路の外側に設けられた撮影場所から撮影されるのが一般的である。よって、パドック動画は、撮影タイミングによって、出走馬が右から左に移動する様子が映された場合と、出走馬が左から右に移動する様子が映された場合とがある。画像処理装置100は、出走馬毎に、右から左に移動する固定視点動画と、左から右に移動する固定視点動画とを生成し、ボタン805の選択に応じて、2つの固定視点動画を切り換える。なお、ループ再生をしたときは、右から左に移動する固定視点動画と、左から右に移動する固定視点動画とが自動で切り替わって再生されてもよい。
【0054】
また、領域801に表示された固定視点動画は、再生・停止ボタン806及び再生バー807のつまみを操作することにより、再生の開始及び停止並びに再生時点を指定することができる。
【0055】
ここで、合成部103は、固定視点動画に、出走馬の状態の判断に用いられる指標を含める。
【0056】
出走馬の状態の判断に用いられる指標とは、出走馬の調子が良いか否かを判断するための基準となる要素である。例えば、出走馬の状態は、出走馬の歩幅、前足の足跡を後ろ足の足跡が超える歩行したか否か、出走馬の首のつき具合を示す首差し、出走馬がパドックの外周側を回っているか否か、出走馬の歩行が一定のリズムであるか否か等により判断される。
【0057】
よって、合成部103は、固定視点動画に、出走馬の足跡を、指標として含める。これにより、出走馬601の歩幅を容易に確認することができる。
【0058】
例えば、合成部103は、図7に示すように、領域801に表示された固定視点動画に、出走馬601の前足の足跡808及び後ろ足の足跡809を含める。
【0059】
或いは、合成部103は、固定視点動画に、出走馬の前足の足跡を、指標として含める。これにより、前足の足跡を後ろ足が超えたか否かを容易に確認することができる。
【0060】
例えば、合成部103は、領域801に表示された固定視点動画に、出走馬601の前足の足跡808のみを含める。前足の足跡808は、後ろ足が地面に触れると消えてもよいし、後ろ足が地面に触れた後も残しておいてもよい。例えば、右後ろ足が右前足の足跡808を超えて地面に触れた場合、右前足の足跡808を発光させた後に消し、右後ろ足が右前足の足跡808を超えずに地面に触れた場合、右前足の足跡808を発光させずに右後ろ足が地面に触れた後に消える。
【0061】
また、合成部103は、固定視点動画に、出走馬に近接した水平ラインを、指標として含める。これにより、出走馬の頭から背中までのラインにより示される首の角度を判別しやすくなるので、首差しを容易に確認することができる。
【0062】
例えば、合成部103は、領域801に表示された固定視点動画に、出走馬601の前方に水平ライン810を含める。
【0063】
また、合成部103は、固定視点動画に、出走馬がパドックの外周側を回っているか否かを示す指標を含める。
【0064】
例えば、合成部103は、出走馬601がパドックの外周側を半周以上回っている場合に、領域801に表示された固定視点動画に、外周を回っていることを示す指標811を含める。
【0065】
また、合成部103は、固定視点動画に、出走馬の歩行が一定のリズムであるか否かを示す指標を含める。
【0066】
例えば、合成部103は、出走馬の4本足が地面に触れたタイミングを1セットとし5セット以上歩行リズムが一定の場合に、領域801に表示された固定視点動画に、歩行が一定のリズムであることを示す指標812を含める。
【0067】
また、合成部103は、固定視点動画において、出走馬の状態の評価に基づいて、当該評価に関する出走馬の部位を強調表示する。
【0068】
例えば、合成部103は、右前足の足跡808を右後ろ足が超えた場合、出走馬の状態が良いと判断し、領域801に表示された固定視点動画において、右前足の足跡808を超えた右後ろ足を、発光するように表示する。
【0069】
また、後ろ足が地面に触れたときの前足の足跡808と後ろ足との前後関係に応じて、発光の度合いを変化させてもよい。例えば、右後ろ足が右前足の足跡808を超えた距離が長いほど、右後ろ足を強く発光するように表示する。或いは、右後ろ足が右前足の足跡808を超えた距離が長いほど、右前足の足跡808を強く発光するように表示してもよい。
【0070】
また、例えば、合成部103は、出走馬601の首の角度が水平近くで5秒以上キープされている場合、出走馬の状態が良いと判断し、領域801に表示された固定視点動画において、出走馬601の首を、発光するように表示する。
【0071】
(4.実施形態の画像処理装置の動作)
本実施形態の画像処理装置100の動作について、図8を用いて説明する。例えば、画像処理装置100は、追跡撮影動画から固定視点動画を作成する指示を受け付けると、図8に示す画像処理を開始する。
【0072】
除去画像生成部101は、対象が追跡撮影された追跡撮影動画に含まれる複数のフレーム画像から、前記対象を除去した複数の除去済画像を生成する(ステップS101)。
【0073】
例えば、除去画像生成部101は、追跡撮影動画Xに含まれるフレーム画像510-1~510-Nから出走馬601が映された領域を除去した除去済画像520-1~520-Nを生成する。
【0074】
パノラマ画像生成部102は、複数の除去済画像に含まれる特徴点同士の照合を実行し、互いにマッチする特徴点を、複数の除去済画像のそれぞれの除去済画像に画像変換を施してから重ね合わせることにより、対象の背景を表すパノラマ画像を生成する(ステップS102)。
【0075】
例えば、パノラマ画像生成部102は、除去済画像520-1~520-Nに含まれる特徴点同士を照合し、互いにマッチする特徴点を、除去済画像520-1~520-Nに画像変換を施してから重ね合わせることにより、出走馬601の背景を示すパノラマ画像700(図5)を生成する。
【0076】
合成部103は、複数のフレーム画像のそれぞれのフレーム画像について、それぞれのフレーム画像から除去された対象の画像に、当該それぞれのフレーム画像から生成された除去済画像に対して施された画像変換を施して、パノラマ画像に重ね合わせることにより、固定視点動画に含まれる複数のフレーム画像のそれぞれのフレーム画像を生成する(ステップS103)。
【0077】
例えば、合成部103は、追跡撮影動画Xに含まれるフレーム画像510-1~510-Nについて、パノラマ画像700にフレーム画像510-1~510-Nから除去された出走馬601の画像を重ね合せ、固定視点動画Yに含まれるフレーム画像530-1~530-Nを生成する。
【0078】
本実施形態によれば、対象を追跡撮影した動画から固定視点から対象を撮影したような動画を生成することができる。例えば、パドック動画のように撮影視野内において出走馬の位置が固定されるように撮影された動画から、固定位置から撮影したようにパドックを出走馬が移動する様子を表した動画を生成することができる。
【0079】
また、本実施形態によれば、固定視点動画に、出走馬の状態の判断に用いられる指標を含めるので、出走馬の状態を容易に判断することができる。
【0080】
また、本実施形態によれば、固定視点動画において、出走馬の状態の評価に基づいて、当該評価に関する出走馬の部位を強調表示するので、状態の判断に慣れていない初心者に対しても出走馬の状態を分かり易く提示することができる。
【0081】
(5.変形例)
以上、本発明の実施形態を説明したが、本発明を実施するにあたっては、種々の形態による変形及び応用が可能である。
【0082】
上記実施形態において、端末装置300の画面に表示されるページ800には、1つの固定視点動画が表示されるが、複数の固定視点動画が含まれていてもよい。例えば、図7のページ800に、出走馬601(馬名“X1”)の過去のパドック動画とパノラマ画像とから合成された固定視点動画をさらに含めてもよい。あるいは、図7のページ800に、出走馬601と同じ“レースA”に出走する他の出走馬のパドック動画とパノラマ画像とから合成された固定視点動画をさらに含めてもよい。なお、複数の固定視点動画を並列して表示する場合、合成部103は、背景の柵やプランターのような物体のサイズに基づいて、パドック動画のズーム度合いを推定し、固定視点動画に含まれる出走馬のサイズが同じになるように補正する。また、合成部103は、複数の固定視点動画を並列して表示する場合、固定視点動画に含まれる出走馬同士が同じ方向に移動する固定視点動画で、歩行開始点が近い固定視点動画を選択するようにしてもよい。
【0083】
また、上記実施形態に係る画像処理装置100の動作を規定する動作プログラムを既存のパーソナルコンピュータ又は情報端末装置に適用することで、当該パーソナルコンピュータ又は情報端末装置を実施形態に係る画像処理装置100として機能させることも可能である。
【0084】
本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
【産業上の利用可能性】
【0085】
本発明によれば、対象を追跡撮影した動画から固定視点から対象を撮影したような動画を生成することが可能なプログラム、画像処理装置及び画像処理方法を提供することができる。
【符号の説明】
【0086】
11 CPU
12 ROM
13 RAM
14 記録媒体
15 出力デバイス
16 通信デバイス
17 入力デバイス
18 バス
100 画像処理装置
101 除去画像生成部
102 パノラマ画像生成部
103 合成部
200 データベース
300 端末装置
400 コンピュータ通信網
510-1~510-N,510-i 追跡撮影動画のフレーム画像
520-1~520-N,520-i 除去済画像
530-1~530-N,530-i 固定視点動画のフレーム画像
601 出走馬
602,604 地面
603,605 柵
700 パノラマ画像
800 ページ
801,802,803 領域
804,805 ボタン
806 再生・停止ボタン
807 再生バー
808,809 足跡
810 水平ライン
811,812 指標
【要約】
【課題】対象を追跡撮影した動画から固定視点から対象を撮影したような動画を生成することが可能なプログラム、画像処理装置及び画像処理方法を提供する。
【解決手段】画像処理装置100の除去画像生成部101は、対象の追跡撮影動画に含まれる複数のフレーム画像から、対象を除去した複数の除去済画像を生成する。パノラマ画像生成部102は、複数の除去済画像に含まれる特徴点同士の照合を実行し、互いにマッチする特徴点を、複数の除去済画像のそれぞれの除去済画像に画像変換を施してから重ね合わせることにより、対象の背景を表すパノラマ画像を生成する。合成部103は、複数のフレーム画像のそれぞれのフレーム画像から除去された対象の画像に、それぞれのフレーム画像から生成された除去済画像に対して施された画像変換を施して、パノラマ画像に重ね合わせることにより、固定視点動画に含まれる複数のフレーム画像のそれぞれのフレーム画像とする。
【選択図】図3
図1
図2
図3
図4
図5
図6
図7
図8