特許 6794316 画像処理装置、画像処理方法及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6794316

(24)【登録日】2020年11月13日

(45)【発行日】2020年12月2日

(54)【発明の名称】画像処理装置、画像処理方法及び画像処理プログラム

(51)【国際特許分類】

   G06T 7/60 20170101AFI20201119BHJP

   G06T 3/00 20060101ALI20201119BHJP

   H04N 13/111 20180101ALI20201119BHJP

【ＦＩ】

   G06T7/60 200C

   G06T3/00 720

   H04N13/111

【請求項の数】10

【全頁数】37

(21)【出願番号】特願2017-122324(P2017-122324)

(22)【出願日】2017年6月22日

(62)【分割の表示】特願2016-52486(P2016-52486)の分割

【原出願日】2016年3月16日

(65)【公開番号】特開2017-168145(P2017-168145A)

(43)【公開日】2017年9月21日

【審査請求日】2019年2月8日

【前置審査】

(73)【特許権者】

【識別番号】319013263

【氏名又は名称】ヤフー株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】坂本 竜基

(72)【発明者】

【氏名】東野 進一

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２０１４−０８２６７８（ＪＰ，Ａ）

【文献】 特開２００４−１３９２９４（ＪＰ，Ａ）

【文献】 特開平０３−０２７４８４（ＪＰ，Ａ）

【文献】 特表２００３−５１５８２９（ＪＰ，Ａ）

【文献】 特開２０１２−２１６０２９（ＪＰ，Ａ）

【文献】 谷藤 誠、菅谷 保之，“複合現実感システムのためのテクスチャの局所特徴を用いたマーカー識別と方向推定”，情報処理学会 シンポジウム 画像の認識・理解シンポジウム（ＭＩＲＵ） ２０１１，日本，情報処理学会，２０１１年 ７月２０日，pp.1161-1168

【文献】 片平 尭之、外２名，“複合センシングによる自己位置識別”，情報処理学会研究報告，日本，社団法人情報処理学会，２００８年１１月２０日，Vol.2008, No.115，pp.185-192

【文献】 西 紗記子、外２名，“Ｗｅｂオークション出品時における疑似３Ｄ画像の生成”，インタラクション２０１６論文集，日本，一般社団法人情報処理学会，２０１６年 ２月２４日，pp.961-963

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００，３／００，７／００−７／９０

Ｈ０４Ｎ ５／２２５，５／２３２，１３／００−１３／１３

(57)【特許請求の範囲】

【請求項1】

円を構成要素に含み、当該円の内部に所定の図形が描かれたマーカーに関する情報であって、円の中心から外側へ向かう放射線上に存在する２点の画素の輝度差を二値化して示した数値によって示される情報を当該マーカーの特徴情報として取得する取得部と、
所定の撮像装置によって撮像されることで作成される画像データであって、楕円状の図形を含む画像データを受け付ける受付部と、
前記受付部によって受け付けられた画像データに含まれる楕円状の図形が真円となるよう当該画像データを射影変換し、射影変換後の真円が有する特徴情報と、前記取得部によって取得された特徴情報とを照合して特徴情報同士の類似度を求めることにより、一のマーカーに基づく所定の処理を当該画像データに対して行う際に、当該真円を当該所定の処理に用いるためのマーカーとして特定する特定部と、
を備えたことを特徴とする画像処理装置。

【請求項2】

前記取得部は、
中心が共通する内円と外円とを有するマーカーに関する特徴情報として、当該マーカーの中心を通る直線と、内円及び外円と、の各々の交点及び当該中心のいずれかの点間の長さの比の比を示す複比を取得し、
前記特定部は、
前記画像データに含まれる２つの楕円状の図形が、同心を有する２つの真円となるよう射影変換される場合に、前記取得部によって取得された複比と、当該複比を算出する際に用いられた点間と対応する関係にある点間の長さを用いて算出される前記２つの真円における複比と、を照合することにより、当該画像データに含まれるマーカーを特定する、
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記取得部は、
前記マーカーが有する円の中心から第１の所定距離だけ離れた箇所に複数のサンプルポイントを設け、当該サンプルポイントと、当該サンプルポイントから外側へ向かって第２の所定距離だけ離れたポイントと、の輝度差を二値化して示した数値を、当該サンプルポイントの数だけ並べたデータであるバイナリデータを前記特徴情報として取得し、
前記特定部は、
前記バイナリデータを取得した処理と同様の処理を射影変換後の真円に対して実行することで、当該射影変換後の真円が有するバイナリデータを算出し、当該射影変換後の真円が有するバイナリデータと、前記取得部によって取得されたバイナリデータとの類似度を求めることにより、前記画像データに含まれるマーカーを特定する、
ことを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

前記取得部は、
前記サンプルポイントと、当該サンプルポイントから外側へ向かって第２の所定距離だけ離れたポイントと、の輝度差を二値化して示す場合に、サンプルポイントとなる画素の周囲の画素を含む輝度の平均と、当該ポイントとなる画素の周囲の画素を含む輝度の平均と、を比較することで、前記バイナリデータを取得する、
ことを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記取得部は、
前記特定部によって前記類似度が算出されたのちに、当該類似度を算出する基となったサンプルポイントの位置から、前記円に沿って所定の角度だけずらして新たなサンプルポイントを設け、新たなサンプルポイントに基づく新たなバイナリデータを取得し、
前記特定部は、
前記射影変換後の真円が有するバイナリデータと、前記取得部によって取得された新たなバイナリデータとの類似度を求めることを所定の回数繰り返し、求められた類似度のうち最大となる類似度に基づいて、前記画像データに含まれるマーカーを特定する、
ことを特徴とする請求項３又は４に記載の画像処理装置。

【請求項6】

前記マーカーが有するパラメータに基づいて、画像データに関する校正を行う校正部と、
前記校正部によって校正された画像データに所定の変換処理を行うことにより、任意の視点位置に対応する画像を連続的に表示可能である自由視点画像を生成する生成部と、
をさらに備え、
前記受付部は、
視点位置が異なる複数の画像データであって、前記マーカーとして特定される図形が各画像データ内に少なくとも一つは含まれる複数の画像データを受け付け、
前記校正部は、
前記受付部によって受け付けられた複数の画像データに関する校正を行い、
前記生成部は、
前記校正部によって校正された複数の画像データに所定の変換処理を行うことにより、前記自由視点画像を生成する、
ことを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。

【請求項7】

前記生成部によって生成された自由視点画像を配信する配信部、
をさらに備え、
前記受付部は、
端末装置から前記複数の画像データの入稿を受け付けるとともに、当該端末装置を識別する情報を受け付け、
前記配信部は、
前記受付部によって受け付けられた前記端末装置を識別する情報に基づいて、当該端末装置に前記自由視点画像を配信する、
ことを特徴とする請求項６に記載の画像処理装置。

【請求項8】

前記生成部は、
生成した前記自由視点画像を、当該自由視点画像の元となる複数の画像データを入稿した端末装置もしくは当該端末装置を利用するユーザを識別する識別情報、又は、当該ユーザが利用するサービスにおける出品情報の少なくともいずれか一つと対応付けて、所定の記憶部に格納する、
ことを特徴とする請求項６又は７に記載の画像処理装置。

【請求項9】

コンピュータが実行する画像処理方法であって、
円を構成要素に含み、当該円の内部に所定の図形が描かれたマーカーに関する情報であって、円の中心から外側へ向かう放射線上に存在する２点の画素の輝度差を二値化して示した数値によって示される情報を当該マーカーの特徴情報として取得する取得工程と、
所定の撮像装置によって撮像されることで作成される画像データであって、楕円状の図形を含む画像データを受け付ける受付工程と、
前記受付工程によって受け付けられた画像データに含まれる楕円状の図形が真円となるよう当該画像データを射影変換し、射影変換後の真円が有する特徴情報と、前記取得工程によって取得された特徴情報とを照合して特徴情報同士の類似度を求めることにより、一のマーカーに基づく所定の処理を当該画像データに対して行う際に、当該真円を当該所定の処理に用いるためのマーカーとして特定する特定工程と、
を含んだことを特徴とする画像処理方法。

【請求項10】

円を構成要素に含み、当該円の内部に所定の図形が描かれたマーカーに関する情報であって、円の中心から外側へ向かう放射線上に存在する２点の画素の輝度差を二値化して示した数値によって示される情報を当該マーカーの特徴情報として取得する取得手順と、
所定の撮像装置によって撮像されることで作成される画像データであって、楕円状の図形を含む画像データを受け付ける受付手順と、
前記受付手順によって受け付けられた画像データに含まれる楕円状の図形が真円となるよう当該画像データを射影変換し、射影変換後の真円が有する特徴情報と、前記取得手順によって取得された特徴情報とを照合して特徴情報同士の類似度を求めることにより、一のマーカーに基づく所定の処理を当該画像データに対して行う際に、当該真円を当該所定の処理に用いるためのマーカーとして特定する特定手順と、
をコンピュータに実行させることを特徴とする画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。

【背景技術】

【0002】

従来、タイムスライス（Time Slice）やバレットタイム（Bullet Time）等と呼ばれる撮影技術が知られている。この撮影技術では、複数の撮像装置（例えば、カメラ）が撮像対象（例えば、人間などの被写体）の周囲に配置される。このとき、複数の撮像装置は、各撮像装置の光軸が撮像対象における所定の１点を通過するように配置され、被写体を撮像する。かかる撮影技術により撮像された画像データを結合することで生成される画像は、自由視点画像等と呼ばれる。ユーザは、自由視点画像において任意の視点を選択することが可能であり、様々な角度から被写体を視認することができる。例えば、自由視点画像は、販促などに用いられた場合に、通常の画像よりも高い販促効果を発揮することがある。

【0003】

なお、被写体の撮影に関して、特徴点であるマーカーが印刷されたシート上で被写体を撮影することで、被写体を認識する技術が知られている（例えば、特許文献１）。従来技術に係る文献では、マーカーにマーカー自体に関する情報である特徴点表示媒体情報を記録しておき、画像認識でそれを特定することにより、マーカーの使用できる条件を自由に変更出来る旨が開示されている。なお、自由視点画像に関する技術として、自由視点画像の生成処理の手法等が開示されている（例えば、特許文献２及び３）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００７−２８６７１５号公報

【特許文献2】特開２０１４−２３９３８４号公報

【特許文献3】特開２０１５−１２７９０３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記の従来技術（特許文献１）では、一般ユーザに自由視点画像を有効に活用させることは困難であった。具体的には、上記の特許文献１に係る従来技術では、識別子や特徴情報が付与されたマーカーを利用する必要がある。一般ユーザがそのようなマーカーを準備し、画像処理に利用することは難しい。このため、上記の特許文献１に係る従来技術では、例えば、一般ユーザが容易に自由視点画像を生成したり、生成した自由視点画像を第三者に閲覧させたりといった、自由視点画像の活用を促進させることが難しい。

【0006】

本願の開示する技術は、上記に鑑みてなされたものであって、自由視点画像を有効に活用させることができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本願に係る画像処理装置は、円を構成要素に含み、当該円の内部に所定の図形が描かれたマーカーに関する情報であって、円の中心から外側へ向かう放射線上に存在する２点の画素の輝度差によって示される情報を当該マーカーの特徴情報として取得する取得部と、所定の撮像装置によって撮像されることで作成される画像データであって、楕円状の図形を含む画像データを受け付ける受付部と、前記受付部によって受け付けられた画像データに含まれる楕円状の図形が真円となるよう当該画像データを射影変換し、射影変換後の真円が有する特徴情報と、前記取得部によって取得された特徴情報とを照合して特徴情報同士の類似度を求めることにより、当該真円を当該画像データの所定の処理に用いるためのマーカーとして特定する特定部と、を備えたことを特徴とする。

【発明の効果】

【0008】

実施形態の一態様である画像処理装置によれば、自由視点画像を有効に活用させることができるという効果を奏する。

【図面の簡単な説明】

【0009】

【図1】図１は、第１の実施形態に係る画像処理の一例を示す図である。

【図2】図２は、第１の実施形態に係る画像処理装置の構成例を示す図である。

【図3】図３は、第１の実施形態に係る画像データ記憶部の一例を示す図である。

【図4】図４は、第１の実施形態に係る自由視点画像記憶部の一例を示す図である。

【図5】図５は、自由視点画像に関する撮像装置の理想的な配置の一例を示す図である。

【図6】図６は、第１の実施形態に係る自由視点画像に関する撮像処理の一例を示す図である。

【図7】図７は、第１の実施形態に係る自由視点画像に関する撮像装置の配置の一例を示す図である。

【図8】図８は、第１の実施形態に係る画像処理装置が利用するマーカーを説明するための図である。

【図9】図９は、第１の実施形態に係る生成部による生成処理の一例を示す図である。

【図10】図１０は、第１の実施形態に係る画像処理手順を示すフローチャートである。

【図11】図１１は、第２の実施形態に係る画像処理の一例を示す図である。

【図12】図１２は、第２の実施形態に係る画像処理装置の構成例を示す図である。

【図13】図１３は、第２の実施形態に係るマーカー情報記憶部の一例を示す図である。

【図14】図１４は、第２の実施形態に係るマーカーの一例を説明するための図（１）である。

【図15】図１５は、第２の実施形態に係るマーカーの一例を説明するための図（２）である。

【図16】図１６は、第２の実施形態に係るマーカーの一例を説明するための図（３）である。

【図17】図１７は、画像処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

【発明を実施するための形態】

【0010】

以下に、本願に係る画像処理装置、画像処理方法及び画像処理プログラムの各実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本願に係る画像処理装置、画像処理方法及び画像処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

【0011】

〔１．第１の実施形態〕
〔１−１．画像処理の一例〕
まず、図１を用いて、第１の実施形態に係る画像処理の一例について説明する。図１は、第１の実施形態に係る画像処理の一例を示す図である。図１に示すように、第１の実施形態に係る画像処理システム１には、ユーザ端末１０と、画像処理装置１００とが含まれる。ユーザ端末１０と画像処理装置１００とは、図示しないネットワークＮ（例えば、インターネット）を介して互いに通信可能に接続される。なお、画像処理システム１に含まれる各装置の台数は、図１に示した例に限られない。例えば、画像処理システム１には、複数台のユーザ端末１０が含まれてもよい。

【0012】

ユーザ端末１０は、自由視点画像の生成を画像処理装置１００に要求するユーザによって利用される情報処理装置である。例えば、ユーザ端末１０は、デスクトップ型ＰＣ（Personal Computer）や、ノート型ＰＣ、スマートフォン等の携帯電話機、ＰＤＡ（Personal Digital Assistant）、タブレット端末等により実現される。なお、以下では、ユーザをユーザ端末１０と読み替える場合がある。例えば、「ユーザに自由視点画像を配信する」とは、実際には、「ユーザが利用するユーザ端末１０に自由視点画像を配信する」ことを意味する場合がある。

【0013】

第１の実施形態において、ユーザ端末１０を利用するユーザは、例えば、自身が所有する商品をオークションサイト等に出品する出品者である。ユーザは、商品を被写体として様々な角度から撮影を行い、複数の画像データを取得する。続いて、ユーザは、ユーザ端末１０を介して、複数の画像データを画像処理装置１００に送信する。そして、ユーザは、複数の画像データに基づいて生成される自由視点画像を画像処理装置１００から取得する。ユーザは、例えば、商品を紹介するための情報の一つとして自由視点画像を用いて、オークションサイト等に出品する。

【0014】

画像処理装置１００は、任意の視点位置に対応する画像を連続的に表示可能な画像である自由視点画像を生成するサーバ装置である。具体的には、第１の実施形態に係る画像処理装置１００は、自由視点画像の配信を所望するユーザから複数の画像データの入稿を受け付け、受け付けた複数の画像データから自由視点画像を生成する。そして、画像処理装置１００は、生成した自由視点画像をユーザ端末１０に配信する。

【0015】

画像処理装置１００は、ユーザ端末１０から入稿される元画像データに所定の変換処理を行うことにより、自由視点画像を生成する。画像処理装置１００は、多視点から撮像された複数の画像を、３次元位置のある一点で各撮像装置（カメラ）の光軸が重なった状態で撮影されたかのような画像である自由視点画像へ変換するため、射影変換行列を導出する。この場合、画像処理装置１００は、各画像を撮像する撮像装置のパラメータとして、撮像装置の位置姿勢を含むカメラパラメータを参照する。言い換えれば、自由視点画像の生成においては、各画像データが取得される際の撮像装置が強校正されていることが望ましい。

【0016】

カメラパラメータが特定できない場合に、撮像された画像データに基づいて、カメラパラメータを推定する既知の手法も知られている。しかし、業務用の機材や設備を用いて撮像が行われない場合、既知の手法では、正確なカメラパラメータの推定を高精度で行うことができず、自由視点画像の生成において不具合が生じることがある。例えば、オークションサイトに出品する商品を紹介するような目的で撮像される画像は、出品者自身によって撮像される機会が多く、専門の撮影業者等によって撮像が行われる機会は少ない。このため、既知の手法では、自由視点画像の元となる画像データに関してカメラパラメータを高精度に推定することが困難な場合がある。

【0017】

そこで、第１の実施形態に係る画像処理装置１００は、画像データに含まれるビジュアルマーカー（以下、単に「マーカー」と表記する）を利用して、入稿された複数の画像データに関して所定の校正（カメラキャリブレーション）を行う。マーカーは、各々が識別可能なように描画された図形を用いる。なお、画像処理装置１００は、マーカーを用いる場合、画像内のマーカーと撮像装置との回転角Ｒと平行移動量Ｔを求めることで、校正処理を行うことができる。これにより、画像処理装置１００は、元の画像から自由視点画像を構成するための画像に射影変換するための適切なパラメータ（例えば、射影変換行列）を取得する。そして、画像処理装置１００は、射影変換された画像を連結することにより、複数の画像について滑らかに表示を遷移させることのできる自由視点画像を生成する。以下、画像処理装置１００が行う画像処理について、流れに沿って説明する。

【0018】

まず、ユーザは、自由視点画像を生成するための元となる画像データを準備する。このとき、ユーザは、被写体とともに、マーカーを画像内に含むような複数の画像データを準備するものとする（ステップＳ１１）。ユーザは、マーカーの一例として、用紙（シート）に描かれた円を利用することができる。具体的には、ユーザは、画像処理装置１００から提供されるシートであって、所定の円が４隅に描かれたシート７０を準備する。例えば、ユーザは、ネットワークＮを介してシート７０の画像データを取得する。そして、ユーザは、シート７０の画像データを所定の用紙（例えば、Ａ４サイズの紙など）にプリントアウトすることで、シート７０を取得する。

【0019】

シート７０には、円で示される円マーカーＭ０１、Ｍ０２、Ｍ０３及びＭ０４が描かれる。円マーカーとして採用される円は、円周上の任意の点から中心までの距離が等しい真円（正円）であるものとする。また、画像処理装置１００は、円マーカーＭ０１、Ｍ０２、Ｍ０３及びＭ０４のシート７０上における位置関係（例えば、座標上の関係性）に係る情報を有しているものとする。また、円マーカーは、構成要素である円が幅を有する場合、一つの円としてではなく、黒色で描かれる外円と、内側の白色部分で描かれる内円という、二つの同心円として認識されるものとする。

【0020】

また、円マーカーＭ０１、Ｍ０２、Ｍ０３及びＭ０４は、画像処理装置１００が認識可能な程度に、異なるサイズを有しているものとする。このため、画像処理装置１００は、画像データに二つの円マーカーが含まれている場合、射影変換後の正しい円のサイズを照合することにより、円マーカーを識別可能である。なお、詳細は後述するが、画像処理装置１００は、外円と内円の半径の比率を用いることで、円マーカーＭ０１、Ｍ０２、Ｍ０３及びＭ０４をそれぞれ識別するようにしてもよい。この場合、画像処理装置１００は、画像データに一つの円マーカーしか含まれていない場合であっても、円マーカーを識別することができる。

【0021】

ユーザは、シート７０の中央に被写体６０を乗せて、様々な角度から撮像を行う。例えば、ユーザは、ユーザ端末１０の撮像機能を用いて、被写体６０を撮像する。あるいは、ユーザは、デジタルカメラ等、撮像によって画像データを取得することが可能な機器を用いて被写体６０を撮像する。そして、ユーザは、撮像によって取得した画像データをユーザ端末１０に格納する。

【0022】

このようにして、ユーザは、シート７０に乗せられた状態で撮像された被写体６０の画像データを複数準備する。図１に示すように、ユーザは、被写体６０を取り囲むようにして撮像された元画像データＰ０１、Ｐ０２、Ｐ０３、・・・、Ｐ０Ｎ（Ｎは任意の数）を準備する。図１に示す例では、元画像データＰ０１は、被写体６０を向かって右側から撮像した画像である。また、元画像データＰ０２は、被写体６０を右斜め前から撮像した画像である。また、元画像データＰ０３は、元画像データＰ０２と比較して、被写体６０を正面側に近い右斜め前側から撮像した画像である。このように、元画像データＰ０１〜Ｐ０Ｎは、例えば、被写体６０を半円状に取り囲むようにして順番に撮像された画像データである。

【0023】

上述のように、シート７０には、円マーカーＭ０１、Ｍ０２、Ｍ０３及びＭ０４が描かれている。しかしながら、被写体６０がシート７０の中央に乗せられて撮像が行われる場合、多くの画像データにおいて、一つ乃至二つの円マーカーは、被写体６０によって遮蔽されることで画像データに含まれなくなる。図１に示す元画像データＰ０１、Ｐ０２及びＰ０３の例では、円マーカーＭ０４は、被写体６０によって遮蔽されるため、完全な形では画像データに含まれなくなる。言い換えれば、被写体６０がシート７０の中央に乗せられて撮像が行われる場合、多くの画像データにおいて、２つ乃至３つの円マーカーが画像データに含まれることとなる。例えば、図１に示すように、元画像データＰ０１、Ｐ０２及びＰ０３は、被写体６０とともに、円マーカーＭ０１、Ｍ０２及びＭ０３を含む画像データである。なお、詳細については後述するが、画像処理装置１００が行う画像処理では、マーカーの種類によって画像データ内に含む必要のあるマーカーの数が変化する。例えば、画像に含まれるマーカーが円マーカーである場合、画像処理装置１００は、各画像に少なくとも二つの円マーカーを含む複数の画像データから、自由視点画像を生成することができる。

【0024】

続いて、ユーザ端末１０は、ユーザの操作に従って、複数の元画像データＰ０１〜Ｐ０Ｎを画像処理装置１００に入稿する（ステップＳ１２）。例えば、ユーザ端末１０は、画像処理装置１００が提供する画像生成サービスを提供するウェブページにおいて、複数の元画像データＰ０１〜Ｐ０Ｎをアップロードすることにより、画像データを入稿する。

【0025】

画像処理装置１００は、各画像データに、被写体６０とともに少なくとも二つの円マーカーが含まれる元画像データＰ０１〜Ｐ０Ｎの入稿を受け付ける。そして、画像処理装置１００は、入稿された画像データに基づいて、自由視点画像を生成する（ステップＳ１３）。具体的には、画像処理装置１００は、一つの画像データに含まれる少なくとも二つの円マーカーに基づいて、入稿された複数の画像データに関して所定の校正を行う。

【0026】

一般に、マーカーを利用した画像データに関する校正処理は、画像データ内におけるマーカーと、当該画像データを撮像した撮像装置（カメラ）との回転角Ｒ及び平行移動量Ｔというパラメータを算出することで実現される。

【0027】

ここで、第１の実施形態に係る画像処理装置１００が行う校正処理について、元画像データＰ０１を例に挙げて説明する。まず、画像処理装置１００は、元画像データＰ０１内の各円マーカーを検出する。この例では、画像処理装置１００は、円マーカーＭ０１及びＭ０２を検出するものとする。なお、画像処理装置１００は、円マーカーＭ０１及びＭ０２それぞれの外円と内円の比率の相違によって、円マーカーＭ０１及びＭ０２を識別する。上述のように、シート７０上に描かれる各円マーカーは、真円である。このため、撮像によって取得された画像データ内では、各円マーカーは、楕円となる。

【0028】

画像処理装置１００は、検出した各楕円のパラメータに基づいて、各楕円の法線を推定する。楕円の法線は、一つの楕円につき２本算出される。このため、画像処理装置１００は、二つの円マーカーＭ０１及びＭ０２から算出された法線の解を組み合わせることで、円マーカーＭ０１及びＭ０２を含む平面を推定できる。さらに、画像処理装置１００は、推定した平面の法線を推定できる。

【0029】

画像処理装置１００は、推定した平面の法線を、元画像データＰ０１におけるワールド座標系（空間の中での物体の位置を示すための座標系。「世界座標系」や「グローバル座標系」と表記される場合もある）におけるＹ軸と仮定する。そして、画像処理装置１００は、適当な円心同士（例えば、円マーカーＭ０１及びＭ０２）を結ぶベクトルをワールド座標系における仮のＸ軸とする。これらの情報に基づいて、画像処理装置１００は、画像内の円マーカーＭ０１又はＭ０２と撮像装置との回転角Ｒの関係を求めることができる。また、画像処理装置１００は、円心同士の距離を１と仮定することで、仮の平行移動量Ｔを算出することができる。画像処理装置１００は、仮のパラメータである回転角Ｒ及び平行移動量Ｔを用いて、検出された円の本来の大小関係を求めれば、どの円が楕円として検出できたのかを決定することができる。そして、シート７０における円の位置情報は既知であるから、検出された円のワールド座標系における位置に基づいて、画像処理装置１００は、正しいＸ軸と平行移動量Ｔを推定することができる。これにより、画像処理装置１００は、強校正を完了する。

【0030】

そして、画像処理装置１００は、入稿された画像データから自由視点画像を構成するための画像に射影変換するための適切なパラメータを取得する。そして、画像処理装置１００は、取得されたパラメータを用いて画像データを射影変換する。画像処理装置１００は、射影変換された画像を連結することにより、入稿された各画像データを任意の視点で表示させることのできる自由視点画像Ｆ０１を生成する。

【0031】

画像処理装置１００は、生成した自由視点画像Ｆ０１をユーザ端末１０に配信する（ステップＳ１４）。図１に示すように、自由視点画像Ｆ０１は、元画像データＰ０１〜Ｐ０Ｎが変換された変換後画像データＲＰ０１〜ＲＰ０Ｎを含む。また、自由視点画像Ｆ０１は、例えばユーザの操作に従って、変換後画像データＲＰ０１〜ＲＰ０Ｎの表示を滑らかに遷移することが可能である。また、図１に示すように、変換後画像データＲＰ０１〜ＲＰ０Ｎに含まれる各々の被写体６０は、校正の結果、元画像データＰ０１〜Ｐ０Ｎに含まれる被写体６０と比較して、大きさが均一に揃えられている。

【0032】

ユーザ端末１０は、画像処理装置１００から配信された自由視点画像Ｆ０１を取得する。ユーザは、例えば、オークションサイトの出品にあたり、自身の商品を紹介する情報の一つとして、自由視点画像Ｆ０１を利用する（ステップＳ１５）。

【0033】

このように、第１の実施形態に係る画像処理装置１００は、視点位置が異なる複数の画像データであって、所定のパラメータを有するとともに各々を識別可能である円マーカーＭ０１〜Ｍ０４が、各画像データ内に少なくとも二つは含まれる複数の元画像データＰ０１〜Ｐ０Ｎを受け付ける。そして、画像処理装置１００は、円マーカーが有するパラメータに基づいて、受け付けられた複数の元画像データＰ０１〜Ｐ０Ｎに関する校正をする。さらに、画像処理装置１００は、校正された複数の画像データに所定の変換処理を行うことにより、任意の視点位置に対応する画像を連続的に表示可能である自由視点画像Ｆ０１を生成する。

【0034】

これにより、第１の実施形態に係る画像処理装置１００は、例えば、ユーザ端末１０のユーザのように、自由視点画像を活用して商材販売の促進を図るユーザに自由視点画像を提供することができる。すなわち、ユーザは、自由視点画像を販促などに利用することにより、通常の画像を提示するよりも、より高い販促効果を発揮させることができる。また、画像処理装置１００は、自由視点画像を生成するにあたり、マーカーを利用した校正処理を行う。画像処理装置１００は、マーカーを利用することで、専門の機材や装置の整った撮影環境で取得されていない元画像データからであっても、頑健に校正を行うことができる。すなわち、画像処理装置１００は、強校正が行われていない撮像装置によって取得された元画像データからも、任意の視点からの表示を自然に行うことのできる自由視点画像を生成することができる。結果として、画像処理装置１００は、自由視点画像を有効に活用させることができるという効果を奏する。

【0035】

〔１−２．画像処理装置の構成〕
次に、図２を用いて、第１の実施形態に係る画像処理装置１００の構成について説明する。図２は、第１の実施形態に係る画像処理装置１００の構成例を示す図である。図２に示すように、画像処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。

【0036】

（通信部１１０について）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、図示しないネットワークＮと有線又は無線で接続され、ユーザ端末１０との間で情報の送受信を行う。

【0037】

（記憶部１２０について）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図２に示すように、記憶部１２０は、画像データ記憶部１２１と、自由視点画像記憶部１２２とを有する。

【0038】

（画像データ記憶部１２１について）
画像データ記憶部１２１は、ユーザ端末１０から入稿された画像データに関する情報を記憶する。ここで、図３に、第１の実施形態に係る画像データ記憶部１２１の一例を示す。図３に示した例では、画像データ記憶部１２１は、「入稿ＩＤ」、「画像データ」といった項目を有する。

【0039】

「入稿ＩＤ」は、入稿された画像データを識別するための識別情報を示す。入稿ＩＤが示す情報には、例えば、入稿された日時や、入稿元となるユーザ端末１０を識別する情報が含まれてもよい。

【0040】

「画像データ」は、入稿された画像データを示す。図１で示したように、ユーザ端末１０は、自由視点画像の元となる画像データとして、複数の画像データを入稿する。「画像データ」の項目には、ユーザ端末１０から入稿された一連の画像データが対応付けられて記憶される。また、各画像データには、「Ｐ０１、Ｐ０２、Ｐ０３、Ｐ０４、Ｐ０５・・・」などの続き番号による識別情報が付与されてもよい。このような続き番号により、画像処理装置１００は、自由視点画像における画像同士の連結順を認識する。

【0041】

すなわち、図３では、入稿ＩＤ「Ａ０１」で識別される画像データの入稿では、画像データ「Ｐ０１、Ｐ０２、Ｐ０３、Ｐ０４、Ｐ０５・・・」が自由視点画像を生成する元となる画像データとして入稿されたことを示す。

【0042】

（自由視点画像記憶部１２２について）
自由視点画像記憶部１２２は、画像処理装置１００が生成した自由視点画像に関する情報を記憶する。ここで、図４に、第１の実施形態に係る自由視点画像記憶部１２２の一例を示す。図４に示した例では、自由視点画像記憶部１２２は、「自由視点画像ＩＤ」、「元画像データ」、「校正データ」、「変換後画像データ」、「初期表示画面」といった項目を有する。

【0043】

「自由視点画像ＩＤ」は、自由視点画像の識別情報を示す。「元画像データ」は、自由視点画像の生成元となった画像データを示す。自由視点画像は複数の画像データから生成されるため、元画像データは、一つの自由視点画像に対して複数記憶される。

【0044】

「校正データ」は、自由視点画像を生成するための所定の校正データ（カメラキャリブレーション）を示す。図４では、校正データを「Ｒ０１」のような概念で示す。校正データには、画像処理装置１００が自由視点画像を構成する画像を取得するために、元画像データを適切に射影変換するための種々のデータが含まれる。例えば、校正データには、マーカーと撮像装置との回転角Ｒや平行移動量Ｔが含まれる。なお、校正データには、各画像データに関して、撮像装置のカメラパラメータとして、撮像装置の焦点距離や、撮像装置によって生成される画像のアスペクト比及びスキューなどが含まれてもよい。

【0045】

「変換後画像データ」は、自由視点画像を構成する画像データを示す。変換後画像データは、例えば、元画像データに対して所定の校正が行われ、校正で算出されたパラメータにより射影変換された後の画像データである。

【0046】

「初期表示画面」は、自由視点画像の最初の表示に対応する画像を示す。初期表示画面は、変換後画像データのうちの一つの変換後画像データが選択される。

【0047】

すなわち、図４では、自由視点画像ＩＤ「Ｆ０１」で識別される自由視点画像は、元画像データが「Ｐ０１、Ｐ０２、Ｐ０３、Ｐ０４、Ｐ０５、・・・」であり、それぞれの校正データは「Ｒ０１、Ｒ０２、Ｒ０３、Ｒ０４、Ｒ０５、・・・」であり、変換後画像データは「ＲＰ０１、ＲＰ０２、ＲＰ０３、ＲＰ０４、ＲＰ０５、・・・」であり、初期表示画面は「ＲＰ０３」である例を示している。

【0048】

なお、自由視点画像は、ユーザの任意の選択により自由視点画像の回転中心（注視点）が各々異なる自由視点画像が生成される場合がある。この場合、自由視点画像記憶部１２２には、自由視点画像ＩＤに対応付けられて、注視点に関する情報が記憶されてもよい。

【0049】

（制御部１３０について）
制御部１３０は、例えば、コントローラ（controller）であり、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、画像処理装置１００内部の記憶装置に記憶されている各種プログラム（画像処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラ（controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

【0050】

制御部１３０は、図２に示すように、受付部１３１と、校正部１３２と、生成部１３３と、配信部１３４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各処理部の接続関係は、図２に示した接続関係に限られず、他の接続関係であってもよい。

【0051】

（受付部１３１について）
受付部１３１は、視点位置が異なる複数の画像データを受け付ける。具体的には、第１の実施形態に係る受付部１３１は、視点位置が異なる複数の画像データであって、所定のパラメータを有するとともに各々を識別可能であるマーカーが、各画像データ内に少なくとも一つは含まれる複数の画像データの入稿を受け付ける。

【0052】

上述のように、画像処理装置１００が行う画像処理では、マーカーの種類によって画像データ内に含む必要のあるマーカーの数が変化する。例えば、画像に含まれるマーカーが円マーカーである場合、後述する校正部１３２及び生成部１３３は、各画像に少なくとも二つの円マーカーを含む複数の画像データから自由視点画像を生成することができる。すなわち、マーカーが円マーカーである場合、受付部１３１は、各々を識別可能である円マーカーが各画像データ内に少なくとも二つは含まれる複数の画像データの入稿を受け付ける。

【0053】

また、画像処理装置１００が利用するマーカーの有するパラメータについても、マーカーの種類によって異なる場合がある。例えば、画像処理装置１００は、円マーカーの場合は、円マーカーを構成する同心円の径の長さや、シート７０における各円マーカーの位置情報等をパラメータとして用いる。また、例えば、画像処理装置１００は、四角形の２次元コード（例えば、ＱＲコード（登録商標））のように、識別情報と平行する２組の線分とを有するマーカーである場合、識別情報と平行する２組の線分をパラメータとして用いる。言い換えれば、画像処理装置１００は、円マーカーの場合に推定した法線に代わるパラメータとして、四角形のマーカーの場合には、四角形を構成する線分である平行する２組の線分をパラメータとして用いる。

【0054】

受付部１３１は、入稿を受け付けた一連の画像データに入稿ＩＤを付与し、画像データ記憶部１２１に格納する。

【0055】

（校正部１３２について）
校正部１３２は、マーカーが有するパラメータに基づいて、受付部１３１によって受け付けられた複数の画像データに関する校正を行う。具体的には、第１の実施形態に係る校正部１３２は、入稿された元画像データについて所定の校正を行うことで、自由視点画像を構成する画像に変換させるための変換行列に用いられるカメラパラメータを算出する。なお、後述する生成部１３３は、校正部１３２による校正の結果に基づいて、元画像データに所定の変換処理を行うことで、自由視点画像を生成する。

【0056】

ここで、校正部１３２及び生成部１３３が扱う自由視点画像について、図５、図６及び図７を用いて説明する。まず、図５を用いて、自由視点画像に関する撮像装置の配置について説明する。図５は、自由視点画像に関する撮像装置の理想的な配置の一例を示す図である。図５では、自由視点画像の元となる複数の画像データの撮像について、理想的な撮像装置の配置の一例を示している。なお、図５では、被写体６０を上から見た例を示す。

【0057】

図５において、撮像装置Ｃ１１〜Ｃ１６は、例えば、デジタルカメラである。また、撮像装置Ｃ１１〜Ｃ１６は、各撮像装置における光軸が所定の位置を通過するように、撮像対象となる被写体６０の周囲に配置される。図５の例では、撮像装置Ｃ１１は、被写体６０の中心に該当する３次元位置Ｄ１を光軸Ｅ１１_１が通過するように配置される。また、撮像装置Ｃ１２〜Ｃ１６は、それぞれの光軸Ｅ１２_１〜Ｅ１６_１が３次元位置Ｄ１を通過するように配置される。なお、理想的な状況として、撮像装置Ｃ１１〜Ｃ１６は、少なくとも投影面の底辺が地面と略平行となるように設置されるものとする。そして、撮像装置Ｃ１１〜Ｃ１６は、図１に示した状態で一斉に被写体６０を撮像することにより、被写体６０の自由視点画像を生成する元となる画像データを取得することができる。

【0058】

なお、図５の例では、６台の撮像装置Ｃ１１〜Ｃ１６を用いて被写体６０を撮像する例を示したが、撮像装置の数はこの例に限られない。また、撮像装置Ｃ１１〜Ｃ１６の配置位置は、図５に示した例に限られない。例えば、撮像装置Ｃ１１〜Ｃ１６は、被写体６０を半円状に囲むのではなく、複数の撮像装置が被写体６０を囲むように、円周上に等間隔に配置されてもよい。

【0059】

ただし、図５の撮像手法では、撮像装置Ｃ１１〜Ｃ１６の適切な配置や、撮像装置Ｃ１１〜Ｃ１６の適切なキャリブレーションが求められる。すなわち、図５で示すような撮像処理をユーザのように撮像の専門家でない一般ユーザが行うのは困難である。

【0060】

ここで、図６及び図７を用いて、撮像の専門家でない一般ユーザ等（以下、単に「ユーザ」と表記する）によって被写体６０が撮像される場合の撮像処理について説明する。図６は、第１の実施形態に係る自由視点画像に関する撮像処理の一例を示す図である。図６では、ユーザが、撮像装置Ｃ２０を用いて、シート７０に乗せられた被写体６０を撮像する状況を示している。

【0061】

図６に示すように、ユーザは、シート７０に乗せられた被写体６０の周囲を回転するように、連続的に被写体６０を撮像する。この場合、図５と比較して、カメラの光軸や焦点距離が、撮像された各画像データについて一定でないことが想定される。

【0062】

なお、図１でも説明したように、ユーザが被写体６０を周囲から撮像した各画像データでは、シート７０に描かれた円マーカーのいずれかが遮蔽されて隠れてしまうものの、少なくとも二つの円マーカーが各画像データに含まれることが想定される。

【0063】

次に、図７を用いて、図６で示した撮像の状況を上から見た場合を説明する。図７は、第１の実施形態に係る自由視点画像に関する撮像装置の配置の一例を示す図である。図７では、自由視点画像の元となる複数の画像データの撮像について、ユーザが実際に被写体６０を撮像する場合に想定される撮像装置の配置等を示す。なお、以下の説明において、撮像装置Ｃ２０_１〜Ｃ２０_Ｎを区別する必要のないときは、「撮像装置Ｃ２０」と記載する。

【0064】

撮像装置Ｃ２０_１〜Ｃ２０_Ｎは、例えば、デジタルカメラである。理想的には、撮像装置Ｃ２０_１〜Ｃ２０_Ｎは、図５で説明したように、それぞれ個別の撮像装置として、被写体６０の周囲に配置されることが望ましい。ところが、実際には、ユーザは、１台の撮像装置Ｃ２０_１を図７の撮像装置Ｃ２０_１〜Ｃ２０_Ｎが示す箇所に移動させながら、被写体６０を撮像することが想定される。具体的には、ユーザは、図７に示す撮像装置Ｃ２０_１の場所から被写体６０を撮像する。そして、ユーザは、被写体６０を中心とした円に沿って、図７に示す撮像装置Ｃ２０_２の場所へ移動し、被写体６０を撮像する。かかる作業を繰り返し、ユーザは、被写体６０について複数の画像データを取得する。

【0065】

この場合、ユーザが、光軸Ｅ２０_１が被写体６０の中心を通るように注意深く撮像したとしても、自由視点画像の元画像として正確に（例えば、図５で示したように）被写体６０を撮像することは難しい。また、ユーザによって扱われる撮像装置Ｃ２０についてカメラキャリブレーションされているとは限らないため、画像データからカメラパラメータ等を取得することができない場合がある。

【0066】

そこで、校正部１３２は、受付部１３１によって受け付けられた画像データについて、マーカーを利用した所定の校正を行うことにより、自由視点画像を構成する画像に変換できるようにする。この点について、図８を用いて説明する。

【0067】

図８は、第１の実施形態に係る画像処理装置１００が利用するマーカーを説明するための図である。図８では、校正部１３２が校正に利用する円マーカーＭ０１、Ｍ０２、Ｍ０３及びＭ０４が４隅に描かれた、シート７０について説明する。

【0068】

図８に示すように、シート７０には、円マーカーＭ０１、Ｍ０２、Ｍ０３及びＭ０４と、中央表示７５が含まれる。なお、中央表示７５は、例えば、シート７０に被写体６０を設置する場合の目安となる表示である。ユーザは、図８に示すシート７０を取得し、シート７０に乗せられた被写体６０を撮像する。

【0069】

また、上述のように、校正部１３２は、シート７０に描かれる円マーカーＭ０１、Ｍ０２、Ｍ０３及びＭ０４の位置情報を予め取得する。これにより、校正部１３２は、各円マーカーを識別することができれば、円マーカーＭ０１、Ｍ０２、Ｍ０３及びＭ０４の各々の位置関係を推定することができるため、マーカーを利用した校正処理を行うことができる。なお、校正部１３２は、画像データにおいて、マーカーの位置情報をワールド座標系における絶対値として与えておいてもよい。すなわち、校正部１３２は、複数のマーカーを予めワールド座標系においてマッピングするマッピング処理を行う。これにより、校正部１３２は、被写体６０やその他の物体等に遮蔽されたマーカーが画像データ内にある場合でも、遮蔽されたマーカーの位置を推定して校正処理を行うことができる。

【0070】

すなわち、校正部１３２は、マーカーが有するパラメータとして、複数のマーカーの各々の位置情報の対応関係に基づいて、複数の画像データに関する校正を行う。また、校正部１３２は、マーカーが円マーカーである場合、円マーカーが有するパラメータを用いて推定される円マーカーの法線を含む平面情報と、平面情報に対応する平面に含まれる二つの円マーカーの位置情報の対応関係とに基づいて、複数の画像データに関する校正を行う。

【0071】

（生成部１３３について）
生成部１３３は、校正部１３２によって校正された複数の画像データに所定の変換処理を行うことにより、任意の視点位置に対応する画像を連続的に表示可能である自由視点画像を生成する。

【0072】

図７を用いて説明したように、ユーザ端末１０から入稿される元画像データ群は、被写体６０に光軸を向けて撮像されているものの、厳密には光軸が上下左右にばらついていることが想定される。このため、入稿される元画像データ群を単に連続的に表示させたとしても、かかる連続画像では、不連続性が際立つと推定される。

【0073】

そのため、生成部１３３は、各々の元画像データが撮像された際の撮像装置Ｃ２０の光軸が、３次元空間上のある１点（例えば、図５に示した３次元位置Ｄ１など）を通過していたかのような画像へと変換する射影変換行列を用いて、元画像データを変換する。かかる射影変換行列は、校正部１３２が行う校正処理によって導出されたパラメータにより作成されうる。

【0074】

例えば、生成部１３３は、射影変換によって、自由視点画像を構成する変換後画像データを生成する。例えば、変換後の画像データに対応する所定の撮像装置（カメラ）をカメラｋと仮定すると、このようなカメラｋにおける射影変換行列Ｈ_ｋは、各カメラの回転角（回転行列）Ｒ、及び光軸を通過させたい３次元点に基づいて、下記式（１）で求めることができる。

【0075】

【数1】

【0076】

上記式（１）において、Ｒ_ｋの逆行列とは、カメラｋにおける元の回転角Ｒであり、Ｒ´_ｋとは新しい回転角Ｒであり、Ａ_ｋとは内部パラメータである。内部パラメータは、例えば、画像中心位置や焦点距離により与えられる。なお、新しい回転角Ｒ´_ｋは、既知の手法により、カメラ位置と、ワールド座標系において回転させたい中心から求まる理想的な光軸と、元の光軸とから求めることが可能である。

【0077】

生成部１３３は、上記式（１）のように生成された射影変換行列を用いて、各元画像データを変換することにより、自由視点画像を生成する。ここで、図９を用いて、第１の実施形態に係る生成部１３３による生成処理の一例を説明する。図９は、第１の実施形態に係る生成部１３３による生成処理の一例を示す図である。

【0078】

図９に示すように、生成部１３３は、校正部１３２による校正処理とともに、所定の変換処理を行うことにより、元画像データＰ０１〜Ｐ０５を、変換後画像データＲＰ０１〜ＲＰ０５に変換することで、自由視点画像を生成する。

【0079】

元画像データＰ０１を例に挙げると、校正部１３２は、元画像データＰ０１から、円マーカーを少なくとも二つ検出する。例えば、校正部１３２は、元画像データＰ０１から、円マーカーＭ０２及び円マーカーＭ０３を検出する。そして、校正部１３２は、上述した処理によって、元画像データＰ０１に関する校正を行う。すなわち、校正部１３２は、校正処理によって、元画像データＰ０１を撮像した撮像装置Ｃ２０のカメラパラメータを導出する。言い換えれば、校正部１３２は、射影変換行列を生成するためのパラメータを取得する。

【0080】

そして、生成部１３３は、校正部１３２による校正処理の結果を受けて、射影変換行列を生成する。続けて、生成部１３３は、元画像データＰ０１を射影変換することで、変換後画像データＲＰ０１を生成する。生成部１３３は、同様に、元画像データＰ０２〜Ｐ０５に基づいて、それぞれ、変換後画像データＲＰ０２〜ＲＰ０５を生成する（ステップＳ２０）。

【0081】

なお、校正部１３２又は生成部１３３は、マーカーを利用した校正処理が行われた後は、既知の種々の手法を用いて、校正処理を行ったり、射影変換を行ったりしてもよい。例えば、校正部１３２又は生成部１３３は、ストラクチャーフロムモーション（Structure From Motion、以下、「ＳＦＭ」と記載する）と呼ばれる既知の手法を用いてもよい。ＳＦＭによれば、種々の視点位置から撮像された複数の画像データに基づいて、画像の３次元形状を復元することが可能となる。具体的には、ＳＦＭは、画像データ間で対応付けされた対応点を用いて、かかる対応点の移動を基礎行列で表現することにより、撮像装置Ｃ２０の動きを算出する。なお、ＳＦＭによれば、撮像装置Ｃ２０の位置情報を復元することができるため、校正部１３２は、所定の処理において、ＳＦＭの手法を適宜用いて、カメラパラメータを取得するようにしてもよい。

【0082】

上記のように、校正部１３２は、所定の校正処理として、複数の画像データ間で対応するマーカーの関係に基づいて、当該画像データを取得した撮像装置Ｃ２０のカメラパラメータ（例えば、相対的な位置情報等）を取得する。そして、生成部１３３は、校正部１３２によって取得されたパラメータ等の校正データを用いて、各画像データに対応する射影変換行列を算出する。そして、生成部１３３は、算出された射影変換行列を用いて、各元画像データを変換する。そして、生成部１３３は、変換した変換後画像データに基づいて、自由視点画像を生成する。生成部１３３は、生成した自由視点画像を自由視点画像記憶部１２２に格納する。なお、校正部１３２及び生成部１３３が実行する処理には、上記先行技術文献の特許文献２及び３にて開示された処理が、適宜応用されてもよい。

【0083】

なお、生成部１３３は、複数の画像データが所定の連続性を有するか否かを判定することにより、生成処理で取り扱う画像データを抽出し、抽出された画像データを用いて自由視点画像を生成してもよい。言い換えれば、生成部１３３は、入稿された複数の画像データのうち、自由視点画像の生成に適する画像データを抽出して自由視点画像を生成する。例えば、生成部１３３は、生成処理において、入稿された複数の画像データのうち、誤って入稿された画像データや、自由視点画像の生成に不適切な画像データを排除することができる。かかる処理は、例えば、マーカーを利用した校正処理を行う際に、マーカーが検出できなかったり、元画像データにおいて対応するマーカーが検出されなかったりした場合に行われうる。また、生成部１３３は、入稿された複数の画像データによって自由視点画像を生成することができない場合には、生成することができない理由、又は自由視点画像を生成可能とするための画像データの差し換えに係る情報が含まれる通知データを生成してもよい。

【0084】

（配信部１３４について）
配信部１３４は、生成部１３３によって生成された自由視点画像を配信する。具体的には、第１の実施形態に係る配信部１３４は、生成部１３３によって生成され、自由視点画像記憶部１２２に記憶されている自由視点画像を、元画像データの入稿元であるユーザ端末１０に配信する。

【0085】

なお、配信部１３４は、元画像データが適切でなく、生成部１３３が自由視点画像を生成することができない旨や、自由視点画像の生成のための追加の画像データの入稿を求める旨を示した通知データを生成したときは、かかる通知データを元画像データの入稿元に配信してもよい。

【0086】

〔１−３．画像処理手順〕
次に、図１０を用いて、第１の実施形態に係る画像処理装置１００による画像処理の手順について説明する。図１０は、第１の実施形態に係る画像処理手順を示すフローチャートである。

【0087】

図１０に示すように、画像処理装置１００の受付部１３１は、ユーザ端末１０から画像データの入稿を受け付けたか否かを判定する（ステップＳ１０１）。このとき、受付部１３１は、画像データの入稿を受け付けていない場合には（ステップＳ１０１；Ｎｏ）、画像データの入稿を受け付けるまで待機する。

【0088】

一方、受付部１３１は、画像データの入稿を受け付けた場合には（ステップＳ１０１；Ｙｅｓ）、受け付けた画像データを画像データ記憶部１２１に格納する。そして、校正部１３２は、各画像データに含まれるマーカーを特定（検出）する（ステップＳ１０２）。

【0089】

そして、校正部１３２は、マーカーを利用して、画像データに関する校正処理を行う（ステップＳ１０３）。続けて、生成部１３３は、校正部１３２によって行われた校正処理の校正データに基づいて、画像データを変換する（ステップＳ１０４）。

【0090】

そして、生成部１３３は、変換された画像データに基づいて、自由視点画像を生成する（ステップＳ１０５）。続いて、配信部１３４は、自由視点画像をユーザ端末１０に配信する（ステップＳ１０６）。

【0091】

〔１−４．変形例〕
上述してきた第１の実施形態に係る画像処理装置１００は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下に、上記の画像処理装置１００の他の実施形態について説明する。

【0092】

〔１−４−１．円以外の図形を利用したマーカー〕
上記実施形態では、画像処理装置１００は、円マーカーを利用して各画像データに関する校正処理を行うことを説明した。しかし、画像処理装置１００は、円マーカー以外のマーカーを利用してもよい。

【0093】

例えば、画像処理装置１００は、上記のように、識別情報を有する２次元コードを利用することができる。この場合、２次元コード自体に識別情報が含まれ、かつ、一つの２次元コードには２組の（互いに平行ではない）平行の線分が含まれるため、画像処理装置１００は、各画像データから少なくとも一つのマーカーを検出することで、校正処理を実行することができる。なお、画像データ内に平面を規定することのできる線分であれば、校正処理において、線分が平行である必要はない。

【0094】

このように、画像処理装置１００は、マーカーとして、四角形の形状と識別情報とを有する２次元コードが、各画像データ内に少なくとも一つは含まれる複数の画像データを受け付ける。そして、画像処理装置１００は、２次元コードが有する２辺の線分の情報を用いて推定される平面情報と、平面情報に対応する平面に含まれる少なくとも一つの２次元コードの位置情報とに基づいて、複数の画像データに関する校正を行う。このように、画像処理装置１００は、校正に利用されるマーカーが円以外の図形であっても、適切な校正を行うことができる。

【0095】

〔１−４−２．４点を利用するマーカー〕
また、画像処理装置１００は、マーカーとして、互いの位置関係が既知である４つ以上の点をマーカーとして用いることもできる。この場合、画像処理装置１００は、各画像データに少なくとも４つの点が含まれている画像データの入稿を受け付ける。

【0096】

すなわち、画像処理装置１００は、画像データ内からマーカーとして４つの点を検出することで、４つの点のうちから２点を結び、線分を二つ規定することができる。これにより、画像処理装置１００は、上記実施形態で説明したような、円マーカーを用いた処理と同様の処理を行うことができる。

【0097】

具体的には、画像処理装置１００は、互いの位置情報の対応関係が予め規定された複数の点であって、各画像データ内に少なくとも４つは含まれる複数の点を含んだ複数の画像データを受け付ける。そして、画像処理装置１００は、複数の点のうち２点を結ぶ線分から２本の線分を抽出し、抽出された２本の線分を用いて推定される複数の点を含む平面情報と、平面情報に対応する平面に含まれる複数の点の位置情報の対応関係とに基づいて、複数の画像データに関する校正を行う。このように、画像処理装置１００は、マーカーそのものに識別情報を有しなくても、各点の位置情報や座標に基づいて各点の対応関係を利用することにより、点をマーカーとして利用することができる。

【0098】

〔１−４−３．活用例（１）〕
上記実施形態では、画像処理装置１００は、オークションの出品を所望するユーザから入稿された複数の画像データに基づいて、自由視点画像を生成する処理を例として示した。この場合、画像処理装置１００は、生成した自由視点画像を、自由視点画像の元となる複数の画像データを入稿したユーザ端末１０もしくはユーザ端末１０を利用するユーザを識別する識別情報、又は、ユーザが利用するサービスにおける出品情報の少なくともいずれか一つと対応付けて、所定の記憶部に格納するようにしてもよい。

【0099】

すなわち、画像処理装置１００は、生成した自由視点画像をユーザに配信するのみならず、ユーザ端末１０やユーザの識別情報（例えば、ユーザＩＤ）や、ユーザが利用するサービスにおける出品情報とともに、自由視点画像記憶部１２２等に記憶するようにしてもよい。なお、ユーザが利用するサービスにおける出品情報とは、例えば、オークションサイトにおける出品商品を示す識別情報であったり、オークションサイトにおいて行われているオークションを識別する識別情報であったり、ショッピングサイトにおける商品を識別する識別情報といった、出品物（例えば、自由視点画像の元画像データの被写体であることが想定される）を特定することのできる情報である。

【0100】

この場合、画像処理装置１００は、例えば、サービスを管理運営するウェブサーバ等から自由視点画像の配信の要求を受け付ける。そして、画像処理装置１００は、要求を受けた場合に、ユーザ端末１０やユーザの識別情報や出品情報に基づいて、自由視点画像を特定する。そして、画像処理装置１００は、特定された自由視点画像をサービス側（例えばウェブサーバ）に配信する。自由視点画像を取得したウェブサーバは、オークションにおける商品の紹介画像として、自由視点画像を掲載する。

【0101】

このように、画像処理装置１００は、ユーザに自由視点画像を配信するのみならず、ユーザを識別する情報とともに自由視点画像を記憶部１２０内に格納しておき、要求に応じて、サービス側に自由視点画像を配信するようにしてもよい。これにより、画像処理装置１００は、多様な要求に応答して自由視点画像を配信することができるため、より自由視点画像を活用させることができる。この場合、画像処理装置１００は、例えば、図４に示した自由視点画像記憶部１２２内に、自由視点画像ＩＤと対応付けて、ユーザＩＤや、ユーザの出品情報ＩＤ等の情報を格納するようにしてもよい。

【0102】

〔１−４−４．活用例（２）〕
上記実施形態においては、自由視点画像がユーザに利用される例として、オークションサイトへの商品の出品等を示した。しかし、画像処理装置１００は、生成した自由視点画像を様々な対象に配信してもよい。例えば、画像処理装置１００は、ユーザ端末１０ではなく、直接、ウェブサーバ等に配信するサービスを行ってもよい。また、画像処理装置１００は、主としてＵＧＣ（User-Generated Contents）を掲載するサイトであるＵＧＭ（User-Generated Media）、またはＣＧＭ（Consumer-Generated Media）等に、生成した自由視点画像を配信してもよい。なお、ＵＧＭには、投稿動画共有サイト、写真共有サイト、イラスト投稿サイト、ＳＮＳ（Social Networking Service）等が含まれる。

【0103】

〔１−５．効果〕
上述してきたように、第１の実施形態に係る画像処理装置１００は、受付部１３１と、校正部１３２と、生成部１３３とを有する。受付部１３１は、視点位置が異なる複数の画像データであって、所定のパラメータを有するとともに各々を識別可能であるマーカーが、各画像データ内に少なくとも一つは含まれる複数の画像データを受け付ける。校正部１３２は、マーカーが有するパラメータに基づいて、受付部１３１によって受け付けられた複数の画像データに関する校正を行う。生成部１３３は、校正部１３２によって校正された複数の画像データに所定の変換処理を行うことにより、任意の視点位置に対応する画像を連続的に表示可能である自由視点画像を生成する。

【0104】

このように、第１の実施形態に係る画像処理装置１００は、自由視点画像を生成するにあたり、マーカーを利用した校正処理を行う。例えば、画像処理装置１００は、被写体とともにマーカーを撮像した画像データを利用することで、専門の機材や装置の整った撮影環境で取得されていない、一般ユーザによって撮像されたような元画像データからであっても、頑健に校正を行うことができる。すなわち、画像処理装置１００は、強校正が行われていない撮像装置によって取得された元画像データからも、任意の視点からの表示を自然に行うことのできる自由視点画像を生成することができる。結果として、画像処理装置１００は、自由視点画像を有効に活用させることができるという効果を奏する。

【0105】

また、校正部１３２は、画像データにおいて、マーカーが有するパラメータを用いて推定される平面情報と、平面情報に対応する平面に含まれるマーカーの位置情報とに基づいて、複数の画像データに関する校正を行う。

【0106】

このように、第１の実施形態に係る画像処理装置１００は、平面情報を規定することのできるパラメータ（例えば、２本の線分を規定する情報）を有するマーカーを利用して、校正処理を行う。これにより、画像処理装置１００は、一般的なユーザによって撮像された画像データであっても、適切な校正処理を行うことができる。

【0107】

また、受付部１３１は、各画像データ内に複数のマーカーが含まれる複数の画像データを受け付ける。校正部１３２は、パラメータとして、複数のマーカーの各々の位置情報の対応関係に基づいて、複数の画像データに関する校正を行う。

【0108】

このように、第１の実施形態に係る画像処理装置１００は、画像データ内におけるマーカーの位置情報の対応関係（マッピング情報）に基づいて、複数の画像データに関する校正を行うことができる。これにより、画像処理装置１００は、互いのマーカー、すなわち、各画像間の対応点を適切に特定することができるため、頑健な校正を行うことができる。

【0109】

また、受付部１３１は、同心を有する二つの円から構成されるマーカーである円マーカーが、各画像データ内に少なくとも二つは含まれる複数の画像データを受け付ける。校正部１３２は、円マーカーが有するパラメータを用いて推定される円マーカーの法線を含む平面情報と、平面情報に対応する平面に含まれる二つの円マーカーの位置情報の対応関係とに基づいて、複数の画像データに関する校正を行う。

【0110】

このように、第１の実施形態に係る画像処理装置１００は、円マーカーによる校正処理を行うことができる。円マーカーは、画像データとして投影された場合に、楕円パラメータを有するため、法線を推定できる。このため、画像処理装置１００は、法線に基づく平面情報を容易に推定可能であり、さらに平面の法線を推定可能である。これにより、画像処理装置１００は、画像データにおけるワールド座標系との対応をとることができるため、適切な校正処理を行うことができる。

【0111】

また、受付部１３１は、互いの位置情報の対応関係が予め規定された複数の点であって、各画像データ内に少なくとも４つは含まれる複数の点を含んだ複数の画像データを受け付ける。校正部１３２は、複数の点のうち２点を結ぶ線分から２本の線分を抽出し、抽出された２本の線分を用いて推定される複数の点を含む平面情報と、平面情報に対応する平面に含まれる複数の点の位置情報の対応関係とに基づいて、複数の画像データに関する校正を行う。

【0112】

このように、第１の実施形態に係る画像処理装置１００は、少なくとも４点をマーカーとして利用することもできる。このため、画像処理装置１００は、互いに識別可能な情報であれば、円などの図形を用いなくとも、適切な校正処理を行うことができる。すなわち、画像処理装置１００は、汎用性の高い画像処理を行うことができる。

【0113】

また、受付部１３１は、四角形の形状と識別情報とを有する２次元コードが、各画像データ内に少なくとも一つは含まれる複数の画像データを受け付ける。校正部１３２は、２次元コードが有する２辺の線分の情報を用いて推定される平面情報と、平面情報に対応する平面に含まれる少なくとも一つの２次元コードの位置情報とに基づいて、複数の画像データに関する校正を行う。

【0114】

このように、第１の実施形態に係る画像処理装置１００は、２次元コードをマーカーとして用いてもよい。２次元コードは、２次元コード自体を識別する識別情報を有するため、円マーカーのようにサイズを用いて二つの円を特定せずとも、一つのマーカーで識別される。このため、画像処理装置１００は、少なくとも一つの２次元コードに基づいて、校正処理を行うことができる。すなわち、画像処理装置１００は、複数個のマーカーの対応関係を算出するといった処理負担を軽減させることができる。

【0115】

〔２．第２の実施形態〕
〔２−１．画像処理の一例〕
続いて、本願に係る第２の実施形態について説明する。上述してきた第１の実施形態において、画像処理装置１００が、例えば、射影変換後の画像データに含まれる２つのマーカーの相対的なサイズやマッピング情報に基づいて、各々のマーカーを特定する処理を説明した。あるいは、画像処理装置１００が、２次元コードに含まれる識別情報や、４つ以上の点における座標情報等によりマーカーを特定する処理を説明した。

【0116】

ここで、第２の実施形態に係る画像処理装置２００（図１２参照）は、マーカーが有する所定の特徴情報であって、射影変換後においても不変となるような特徴情報を予め取得し、取得した特徴情報に基づいてマーカーを識別してもよい。かかる処理によれば、画像処理装置２００は、画像データに２以上のマーカーが含まれていなくても、マーカーを識別すること、すなわち、マーカーを一意に特定することができる。この点について、図１１を用いて説明する。図１１は、第２の実施形態に係る画像処理の一例を示す図である。なお、第２の実施形態に係る画像処理装置２００は、マーカーに関する情報を予め取得する処理と、マーカーを特定する処理以外は、第１の実施形態に係る画像処理装置１００と同様の処理を行う。

【0117】

図１１において、画像処理装置２００は、図８で示したような、シート７０に含まれる円マーカーＭ０１、Ｍ０２、Ｍ０３及びＭ０４に関する情報を取得するものとする。画像処理装置２００は、円マーカーＭ０１、Ｍ０２、Ｍ０３及びＭ０４に関する情報として、各円マーカーにおける外円と内円の径の長さ、また、外円と内円の径の長さから導出される比率を取得する。さらに、画像処理装置２００は、外円と内円の各径の長さから導出される比率の比、すなわち、円マーカーにおける複比を取得する。

【0118】

ここで、シート７０に描かれた円マーカーＭ０１と、撮像装置によって撮像されることにより作成される画像データ内における円マーカーＭ０１とでは、画像データを射影変換したとしても、撮像の状況によってサイズが異なることが想定される。しかし、円マーカー自体の大きさが変化したとしても、外円と内円との径の複比として示される値は、射影変換後であっても不変な値となる。第２の実施形態において、画像処理装置２００は、この性質を利用して、円マーカーを特定する。

【0119】

図１１では、円マーカーＭ０１を例に挙げて説明する。図１１に示す例において、画像処理装置２００は、円マーカーＭ０１を、内円８０と外円８５という同心の２円として認識する。図１１の例では、内円８０及び外円８５の中心を点Ｃとし、中心を通る直線と内円８０との交点を点Ｂ及び点Ｄ、中心を通る直線と外円８５との交点を点Ａ及び点Ｅとする。すなわち、内円８０の直径は線ＢＤ、外円８５の直径は線ＡＥとして示される。また、内円８０の半径は線ＢＣ又は線ＣＤ、外円８５の半径は線ＡＣ又は線ＣＥとして示される。

【0120】

上記のように、画像処理装置２００は、各円マーカーの特定に関して、射影空間において、線分の複比（長さの比の比）が不変という性質を利用する。なお、画像処理装置２００は、２つの同心円の長さの比の比を取得することができるのであれば、点Ａ〜Ｅのうち、いずれの点間の長さを採用してもよい。例えば、画像処理装置２００は、（線ＡＣ／線ＡＤ）と（線ＢＣ／線ＢＤ）との比率が不変であることを利用する。言い換えれば、画像処理装置２００は、（線ＡＣ×線ＢＤ）／（線ＡＤ×線ＢＣ）の値が不変であることを利用する。

【0121】

この場合、画像処理装置２００は、予めシート７０を画像データとして取得し、マーカーとして特定する対象である円マーカーＭ０１の各点間の長さを取得する。一例として、画像処理装置２００は、内円８０と外円８５の径の比として、（線ＡＣ／線ＡＤ）や（線ＢＣ／線ＢＤ）等の比を取得する。そして、画像処理装置２００は、点Ａ〜Ｅのいずれかの点間で算出した特徴情報である複比の値を、円マーカーＭ０１に付与する識別情報であるマーカーＩＤと対応付けて登録する。画像処理装置２００は、円マーカーＭ０２、Ｍ０３及びＭ０４についても、同様に登録を行う。この場合、シート７０に描かれる円マーカーＭ０１、Ｍ０２、Ｍ０３及びＭ０４は、各々、中心を通る直線と外円及び内円との交点と、中心との点間の長さにおいて、画像処理装置２００が認識可能な程度に差異があるものとする。すなわち、画像処理装置２００は、各々の円マーカーにおいて交点と中心との点間の線分で示される複比について、異なる値として取得しているものとする。

【0122】

そして、画像処理装置２００は、円マーカーＭ０１、Ｍ０２、Ｍ０３及びＭ０４のいずれかが含まれる画像データを取得した場合には、楕円で示されていた円マーカーを正面から認識できるよう、当該画像データを射影変換する。なお、この場合の射影変換は、第１の実施形態で説明したような、校正処理を経て複数の画像に共通するカメラ特徴情報を算出した上での射影変換をすることを要さず、一つの画像データにおいて、単に楕円を真円に置き換える射影変換のみを行えばよい。第１の実施形態において述べたように、マーカーが真円である場合、画像データ内のマーカーは楕円で表される。すなわち、画像処理装置２００は、マーカーが真円であることがわかっている場合、画像データ中の楕円を検出し、検出した楕円を真円に戻すような射影変換を行えばよい。

【0123】

そして、画像処理装置２００は、予め取得していた円マーカーの複比と、射影変換された画像データに含まれる円マーカーの複比とを照合することにより、画像データに含まれる円マーカーが、円マーカーＭ０１、Ｍ０２、Ｍ０３及びＭ０４のいずれの円マーカーであるかを特定する。画像処理装置２００は、例えば、ユーザから受け付けた複数の画像データにおいて上記処理を行うことにより、各画像データに含まれるマーカーを正確に特定することができる。

【0124】

上述してきたように、第２の実施形態に係る画像処理装置２００は、所定の撮像装置によって撮像されることで作成される画像データであって、楕円状の図形を含む画像データを受け付ける。そして、画像処理装置２００は、受け付けられた画像データに含まれる楕円状の図形が真円となるよう画像データを射影変換し、射影変換後の真円が有する特徴情報に基づいて、当該真円を画像データの所定の処理に用いるためのマーカーとして特定する。

【0125】

具体的には、画像処理装置２００は、マーカーとして、中心が共通する内円と外円とを有するマーカーに関する情報を取得するとともに、特徴情報として、マーカーの中心を通る直線と、内円と外円と、の各々の交点及び中心のいずれかの点間の長さ同士の比の比を示す複比の値を取得する。そして、画像処理装置２００は、画像データを射影変換することによって得られるマーカーにおいて、取得された複比に対応する点間における複比と、予め取得していたマーカーにおける複比とを照合することにより、画像データに含まれるマーカーを特定する。

【0126】

このように、第２の実施形態に係る画像処理装置２００は、マーカーに関して、射影変換された後の画像データにおいても不変となる特徴情報を取得し、かかる特徴情報を照合することでマーカーを特定する。これにより、画像処理装置２００は、元画像データにマーカーが一つだけ含まれている場合であっても、マーカーを一意に特定することができる。言い換えれば、画像処理装置２００は、２つのマーカーの相対的な情報を用いることなく、画像データに含まれているマーカーを特定できる。これにより、画像処理装置２００は、各画像データに含まれる円マーカーが円マーカーＭ０１であるか、円マーカーＭ０２であるかといった特定を正確に行うことができるため、複数の画像間におけるマーカーと被写体の位置関係を正確に把握することができる。すなわち、画像処理装置２００は、一般ユーザによって撮像されたような、校正が的確に行われていない複数の元画像データからでも、違和感のない自由視点画像を生成することができる。また、画像処理装置２００は、予めシート７０のようなマーカーに関する情報を取得することができるため、マーカーの特定処理において、一般ユーザに負担となるような処理を行わせることを要しない。結果として、画像処理装置２００は、一般ユーザに自由視点画像を有効に活用させることができる。

【0127】

〔２−２．画像処理装置の構成〕
次に、図１２を用いて、第２の実施形態に係る画像処理装置２００の構成について説明する。図１２は、第２の実施形態に係る画像処理装置２００の構成例を示す図である。図１２に示すように、画像処理装置２００は、通信部２１０と、記憶部２２０と、制御部２３０とを有する。なお、第１の実施形態で説明した画像処理装置１００が行う処理と同様の処理や、同様の処理を行う処理部については、説明を省略する。

【0128】

（マーカー情報記憶部２２１について）
マーカー情報記憶部２２１は、マーカーに関する情報を記憶する。ここで、図１３に、第２の実施形態に係るマーカー情報記憶部２２１の一例を示す。図１３に示した例では、マーカー情報記憶部２２１は、「マーカーＩＤ」、「特徴情報」といった項目を有する。

【0129】

「マーカーＩＤ」は、マーカーを識別するための識別情報を示す。「特徴情報」は、マーカーを特定するために用いられる情報であり、射影変換後においても不変となる情報を示す。なお、図１３に示した例では、特徴情報は、「Ｌ０１」など概念的に表記しているが、実際には、特徴情報の項目には、マーカーを特定するための数値等が記憶される。特徴情報の一例としては、同心を有する２円の径の比率に基づいて導出される複比の値である。

【0130】

すなわち、図１３では、マーカーＩＤ「Ｍ０１」で識別されるマーカーが、特徴情報として「Ｌ０１」という情報を有していることを示している。

【0131】

（制御部２３０について）
制御部２３０は、図１２に示すように、取得部２３１と、受付部２３２と、特定部２３３と、校正部２３４と、生成部２３５と、配信部２３６とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図１２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部２３０が有する各処理部の接続関係は、図１２に示した接続関係に限られず、他の接続関係であってもよい。

【0132】

（取得部２３１について）
取得部２３１は、マーカーに関する情報を取得する。具体的には、取得部２３１は、円を構成要素に含むマーカーに関する情報であって、マーカーを特定するための特徴情報を取得する。例えば、取得部２３１は、ユーザに提供するシート７０に描かれた円マーカーＭ０１の画像データを取得する。そして、取得部２３１は、円マーカーＭ０１に識別情報であるマーカーＩＤを付すとともに、マーカー情報記憶部２２１に記憶する。

【0133】

また、取得部２３１は、マーカーとして、中心が共通する内円と外円とを有するマーカーに関する情報を取得するとともに、特徴情報として、マーカーの中心を通る直線と、内円及び外円と、の各々の交点及び当該中心のいずれかの点間の長さの比の比を示す複比を取得する。なお、取得部２３１は、内円と外円との２円を関係付ける線分により示される複比を取得する。図１１の例でいえば、取得部２３１は、線分ＡＤと線分ＡＣとの比や、線分ＢＣと線分ＢＤとの比を取得して複比を取得する一方で、線分ＡＢや線分ＤＥについては複比を求める線分として採用しない。

【0134】

（受付部２３２について）
受付部２３２は、所定の撮像装置によって撮像されることで作成される画像データであって、楕円状の図形を含む画像データを受け付ける。例えば、第２の実施形態に係る受付部２３２は、被写体６０をシート７０の上に乗せて撮像された画像データであって、円マーカーＭ０１〜Ｍ０４の少なくともいずれか一つが含まれる画像データを取得する。円マーカーＭ０１〜Ｍ０４は真円であるため、撮像された円マーカーＭ０１〜Ｍ０４は、楕円上の図形となる。すなわち、受付部２３２が受け付ける画像データには、楕円上の図形が含まれることとなる。受付部２３２は、受け付けた画像データを画像データ記憶部２２２に記憶する。

【0135】

また、受付部２３２は、視点位置が異なる複数の画像データであって、マーカーとして特定される図形が各画像データ内に少なくとも一つは含まれる複数の画像データを受け付ける。第１の実施形態と同様に、校正部２３４や、生成部２３５は、受付部２３２によって受け付けられた複数の画像データに基づいて、自由視点画像を生成する。

【0136】

また、受付部２３２は、ユーザ端末１０から複数の画像データの入稿を受け付けるとともに、ユーザ端末１０を識別する情報を受け付ける。例えば、配信部２３６は、ユーザ端末１０を識別する情報に基づいて、生成部２３５によって生成された自由視点画像をユーザ端末１０に配信する。

【0137】

（特定部２３３について）
特定部２３３は、受付部２３２によって受け付けられた画像データに含まれる楕円状の図形が真円となるよう画像データを射影変換し、射影変換後の真円が有する特徴情報に基づいて、当該真円を画像データの所定の処理に用いるためのマーカーとして特定する。

【0138】

例えば、特定部２３３は、取得部２３１が、画像データを射影変換した後の真円が有する特徴情報と、取得部２３１によって取得された特徴情報とを照合することにより、画像データに含まれるマーカーを特定する。具体的には、特定部２３３は、画像データに含まれる２つの楕円状の図形が、同心を有する２つの真円となるよう射影変換される場合に、取得部２３１によって取得された複比と、当該複比を算出する際に用いられた点間と対応する関係にある点間の長さを用いて算出される２つの真円における複比と、を照合することにより、当該画像データに含まれるマーカーを特定する。

【0139】

ここで、複比を算出する際に用いられた点間と対応する関係にある点間の長さを用いて算出される２つの真円における複比とは、円マーカーＭ０１において複比を算出する際に用いられた線分と対応する関係にある線分を用いて、射影変換後における２つの同心円について複比を算出することを意味する。例えば、取得部２３１が、図１１における円マーカーＭ０１の複比として、（線分ＡＣ×線分ＢＤ）／（線分ＡＤ×線分ＢＣ）の値を算出したとする。この場合、特定部２３３は、射影変換後の２つの同心円においても、円マーカーＭ０１の場合と対応する関係となる、（（外円と中心との線分）×（内円の直径））／（（外円から中心を通過して内円と交差した交点）×（内円の半径））で算出される複比を求めることを意味する。

【0140】

（校正部２３４について）
校正部２３４は、マーカーが有するパラメータに基づいて、受付部２３２によって受け付けられた複数の画像データに関する校正を行う。具体的には、第２の実施形態に係る校正部２３４は、入稿された元画像データについて所定の校正を行うことで、自由視点画像を構成する画像に変換させるための変換行列に用いられるカメラパラメータを算出する。上述のように、第２の実施形態に係る処理によれば、特定部２３３が、各画像データに含まれるマーカーを正確に特定できるため、校正部２３４は、各画像データ間における対応点としてマーカーを利用し、各画像データに関する強校正を行うことが可能となる。

【0141】

（生成部２３５について）
生成部２３５は、校正部２３４によって校正された複数の画像データに所定の変換処理を行うことにより、任意の視点位置に対応する画像を連続的に表示可能である自由視点画像を生成する。

【0142】

（配信部２３６について）
配信部２３６は、生成部２３５によって生成された自由視点画像を配信する。具体的には、第２の実施形態に係る配信部２３６は、生成部２３５によって生成され、自由視点画像記憶部２２３に記憶されている自由視点画像を、元画像データの入稿元であるユーザ端末１０に配信する。

【0143】

〔２−３．変形例〕
上述してきた第２の実施形態に係る画像処理装置２００は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下に、上記の画像処理装置２００の他の実施形態について説明する。

【0144】

〔２−３−１．図案を含むマーカー〕
画像処理装置２００は、特徴情報として、２円の径の比率から算出される複比とは異なる特徴情報を用いて、マーカーを特定してもよい。例えば、画像処理装置２００は、円マーカーの中に描かれた図案に基づいて、マーカーを特定してもよい。この点について、図１４乃至図１６を用いて説明する。

【0145】

図１４は、第２の実施形態に係るマーカーの一例を説明するための図（１）である。図１４では、第２の実施形態に係るマーカーの一例として、円マーカーＭ１０を示して説明する。図１４に示すように、円マーカーＭ１０は、内円８１と、外円８６と、図案９０とを構成要素とするマーカーである。図案９０は、「忍」という漢字をモチーフとした図案である。画像処理装置２００は、円マーカーＭ１０に関する情報として、例えば、円マーカーＭ１０が真円で構成されていることや、円マーカーＭ１０を構成する画素データ等を取得するものとする。

【0146】

続いて、図１５を用いて、円マーカーＭ１０が撮像装置によって撮像された状態を説明する。図１５は、第２の実施形態に係るマーカーの一例を説明するための図（２）である。図１５に示すように、円マーカーＭ１０は、撮像装置によって撮像された画像データでは、楕円形状の図形として表される。画像処理装置２００は、楕円形状の図形を画像データ中から検出し、検出した楕円形状の図形を射影変換する（ステップＳ３０）。これにより、画像処理装置２００は、真円で示される円マーカーＭ１０を取得する。

【0147】

例えば、画像処理装置２００は、「忍」という図案９０が、取得していた円マーカーＭ１０に関する情報と同じ角度で認識できる場合には、画素データとの照合等により、容易に円マーカーＭ１０を画像データ中で特定することができる。しかしながら、撮像装置によって作成された画像データ中では、円マーカーＭ１０に係る図案９０は、通常、斜めの向きに傾いて示される。このため、画像データ中の楕円形状の円マーカーＭ１０を射影変換した際にも、図１５に示すように、「忍」という図案９０は、斜めに傾いて示される。この場合、画像処理装置２００は、単に画素データを照合することでは、円マーカーＭ１０を特定することができない。また、画像データ中から取得された円マーカーＭ１０の画素データを全て回転させ、予め取得していた円マーカーＭ１０の画素データと照合する角度を検出することは、処理負荷が大きくなる。

【0148】

そこで、画像処理装置２００は、円マーカーＭ１０について、回転不変となる特徴情報を取得し、かかる情報を用いてマーカーの特定処理を行う。例えば、画像処理装置２００は、特徴情報として、円の中心から外側へ向かう放射線上の各画素における、円の中心から外側に向かう向きへの輝度差によって示される特徴情報を利用して、マーカーを特定する。

【0149】

具体的には、画像処理装置２００は、マーカーが有する円の中心から第１の所定距離だけ離れた箇所に複数のサンプルポイントを設ける。そして、画像処理装置２００は、サンプルポイントと、サンプルポイントから外側へ向かって第２の所定距離だけ離れたポイントと、の輝度差を二値化して示した数値を、サンプルポイントの数だけ並べたデータであるバイナリデータを特徴情報として取得する。この点について、図１６を用いて説明する。

【0150】

図１６は、第２の実施形態に係るマーカーの一例を説明するための図（３）である。図１６に示すように、画像処理装置２００は、円マーカーＭ１０の中心から第１の所定距離だけ離れた位置の画素をサンプルポイントとして設ける。言い換えれば、画像処理装置２００は、第１の所定距離を半径とする円周９１の円周上にサンプルポイントを設ける。図１６の例では、画像処理装置２００は、円周９１上にサンプルポイントＳＡ０１〜ＳＡ０６を設ける。

【0151】

そして、画像処理装置２００は、サンプルポイントＳＡ０１〜ＳＡ０６の各々の輝度と、放射線上に第２の所定距離だけ離れた位置の各々の画素における輝度との差を求める。すなわち、画像処理装置２００は、サンプルポイントＳＡ０１〜ＳＡ０６と、第２の所定距離だけ離れた円周９２上のサンプルポイントＳＡ１１〜ＳＡ１６との輝度差を求める。

【0152】

画像処理装置２００は、例えば、ポイント間の輝度差を「０」と「１」との二値で取得する。例えば、画像処理装置２００は、サンプルポイントＳＡ０１の輝度に対して、サンプルポイントＳＡ１１の輝度が高い場合、サンプルポイントＳＡ１１に「１」の数値を与える。一方、画像処理装置２００は、サンプルポイントＳＡ０１の輝度に対して、サンプルポイントＳＡ１１の輝度が低い場合、サンプルポイントＳＡ１１に「０」の数値を与える。画像処理装置２００は、同様にして、サンプルポイントＳＡ１２〜ＳＡ１６についても「０」か「１」の数値を与える。

【0153】

そして、画像処理装置２００は、円周９２に沿って、サンプルポイントＳＡ１１〜ＳＡ１６に与えられた数値を並べる。これにより、画像処理装置２００は、円周９２上のサンプルポイントＳＡ１１〜ＳＡ１６における数値を並べたバイナリデータを求めることができる。具体的には、画像処理装置２００は、円周９２におけるバイナリデータとして、「００１００」や、「１０１００」等の数値の羅列を取得する。画像処理装置２００は、かかる処理を繰り返し、円周９３についても、サンプルポイントＳＡ０１〜ＳＡ０６から放射状に外側に伸ばした線との交点において、直前のサンプルポイントＳＡ１１〜ＳＡ１６との輝度差を求める。これにより、画像処理装置２００は、円マーカーＭ０１におけるバイナリデータを取得する。なお、画像処理装置２００は、サンプルポイントの数や、円周の数については、任意に設計可能である。例えば、画像処理装置２００は、サンプルポイントＳＡ１１と、更に外側に仮定する円周上のサンプルポイントであるサンプルポイントＳＡ２１との輝度差を取得してもよい。画像処理装置２００が、二値化データを取得するための円周とサンプルポイントを増やすほど、マーカーの特定処理の精度は向上する。

【0154】

このように、画像処理装置２００は、円マーカーＭ１０について、特徴情報として、バイナリデータを予め取得する。また、画像処理装置２００は、図１６で示したように、射影変換後の円マーカーＭ１０についても、バイナリデータを取得する。そして、画像処理装置２００は、バイナリデータ同士の類似度を求めることで、マーカーを特定する。

【0155】

なお、上述のように、円マーカーＭ１０が撮像された場合、射影変換後の円マーカーＭ１０の向きは、予め取得していた正解データとなる円マーカーＭ１０とは異なる向きとして検出される。そのため、画像処理装置２００は、バイナリデータを用いて、マーカーの特徴を示すヒストグラム（histogram）を作成するようにしてもよい。

【0156】

画像処理装置２００は、ヒストグラムにおいて、サンプルポイントを設ける仮想的な円周の数でビン（bin）を決定する。そして、画像処理装置２００は、各円周上のサンプルポイントにおける二値化データが「１」の場合に、対応するビンの度数を１度増加させることで、ヒストグラムを作成する。そして、画像処理装置２００は、各円周及び各サンプルポイントにおけるデータを入力したのち、ビンの総和が１となるよう正規化する。

【0157】

画像処理装置２００は、例えば、下記式（２）を用いて、予め取得していた正解データとなる円マーカーＭ１０のヒストグラムと、射影変換後の円マーカーＭ１０のヒストグラムとの類似度を求める。

【0158】

【数2】

【0159】

上記式（２）において、「Ｓｉｍｉｌａｒｉｔｙ」は、類似度の数値を示す。「ｉｎｐｕｔ_ｉ」は、射影変換後の円マーカーＭ１０におけるｉ番目のビンの度数を示す。「ｒｅｆｅｒｅｎｃｅ_ｉ」は、正解データである円マーカーＭ１０におけるｉ番目のビンの度数を示す。また、「ｎ」は、ビンの数を示す。「ｍｉｎ」は、いずれかの数値の最小値をとることを示す。

【0160】

上記式（２）に示すように、射影変換後の円マーカーＭ１０におけるｉ番目のビンの度数と、正解データである円マーカーＭ１０におけるｉ番目のビンの度数とが、全てのビンにおいて一致する場合には、類似度は、最大値である「１」となる。なお、類似度がとりうる最小値は「０」となる。

【0161】

このように、画像処理装置２００は、予め取得していた円マーカーＭ１０のバイナリデータと、射影変換後の円マーカーＭ１０のバイナリデータに基づいて、マーカーの類似度を算出する。そして、画像処理装置２００は、類似度が所定の閾値を超える場合に、画像データに含まれる楕円形状の図形が、円マーカーＭ１０を示す図形であることを特定する。

【0162】

このように、画像処理装置２００は、円内部の図案に基づいて、図案の輝度差を放射線上において比較する手法によって、マーカーを特定する処理を行うことができる。かかる手法によれば、画像処理装置２００は、回転不変の特徴情報として、円マーカーを特定することができる。また、かかる手法では、輝度差を判定することにより、単にマーカーの画素データを比較するよりも、精度を向上させることができる。すなわち、マーカーは、撮像装置のカメラパラメータや、撮像される際の照明の当たり具合などにより、そもそもの画素の輝度が変化する場合が考えられる。このため、正解データにおけるマーカーの輝度の数値と、射影変換後のマーカーの輝度の数値を単純に比較しても、マーカーを精度よく特定することができない場合がある。一方で、かかる手法では、輝度そのものの数値ではなく、輝度の差を二値化したデータを用いるため、撮像後の画像データ内のマーカーであっても、比較的高い精度でマーカーを特定することができる。

【0163】

なお、画像処理装置２００は、さらにマーカーの特定の精度を向上させるため、以下のような手法を採用してもよい。例えば、画像処理装置２００は、サンプルポイントと、サンプルポイントから外側へ向かって第２の所定距離だけ離れたポイントと、の輝度差を二値化して示す場合に、サンプルポイントとなる画素の周囲の画素を含む輝度の平均と、ポイントとなる画素の周囲の画素を含む輝度の平均と、を比較することで、バイナリデータを取得するようにしてもよい。すなわち、画像処理装置２００は、サンプルポイントとして抽出した画素（１ピクセル）のみの輝度を用いるのではなく、例えば、当該画素の周囲を含めた数ピクセル分の輝度の平均値と、次の円周におけるサンプルポイントの周囲を含めた数ピクセル分の輝度の平均値と、を処理に用いる。これにより、画像処理装置２００は、画像データ内において特異な点を誤ってサンプリングするといった、処理におけるノイズを抑制することができるため、特定処理の精度を向上させることができる。

【0164】

また、画像処理装置２００は、さらにマーカーの特定の精度を向上させるため、以下のような手法を採用してもよい。例えば、画像処理装置２００は、類似度が算出されたのちに、類似度を算出する基となったサンプルポイントの位置から、仮定した円（例えば、円周９１など）に沿って所定の角度だけずらして新たなサンプルポイントを設け、新たなサンプルポイントに基づく新たなバイナリデータを取得する。さらに、画像処理装置２００は、射影変換後の円マーカーが有するバイナリデータと、取得された新たなバイナリデータとの類似度を求めることを所定の回数だけ繰り返す。そして、画像処理装置２００は、求められた類似度のうち最大となる類似度に基づいて、画像データに含まれるマーカーを特定するようにしてもよい。

【0165】

このように、画像処理装置２００は、標本としてサンプルポイントを設け、類似度を算出する処理を行った後に、設けたサンプルポイントから所定の角度（例えば、２度など）だけずらした点を新たなサンプルポイントとして設け、新たなサンプルポイントによる処理を行う。これにより、画像処理装置２００は、設けるサンプルポイントの分布による誤差を抑制することができるため、特定処理の精度を向上させることができる。

【0166】

また、上記では、画像処理装置２００が、第１の所定距離や第２の所定距離といった概念を用いて仮想的な円周を想定する例を示した。ここで、画像データ内に含まれるマーカーと、予め取得されるマーカーとでは、図形の大きさが異なることが想定される。そのため、画像処理装置２００は、第１の所定距離や第２の所定距離として、マーカーの構成要素となる最も大きな円の直径を所定の割合で等分した位置などを用いるようにしてもよい。例えば、画像処理装置２００は、マーカーの構成要素となる最も大きな円（図１４の円マーカーＭ１０の例では、外円８６）の直径を１０等分し、最も中心に近い位置から、仮想的な円周を想定していってもよい。また、画像処理装置２００は、上記のような図案に基づく特定を行う場合、マーカーは必ずしも２つの同心円を構成要素とする必要はなく、１つの円を構成要素とし、その内部に図案が描かれたマーカーを用いるようにしてもよい。

【0167】

〔２−３−２．マーカーの特定〕
第２の実施形態では、画像処理装置２００は、予め円マーカーにおける回転不変の特徴情報を取得しておくことによって、画像データ内のマーカーを特定する処理を説明した。かかる処理は、必ずしも自由視点画像の生成に用いられるのみならず、単に、画像データ内のマーカーを特定する処理として用いられてもよい。すなわち、画像処理装置２００は、自由視点画像の生成のために、複数の画像データに共通して含まれるマーカーを特定するのみならず、１枚の画像データにおけるビジュアルマーカーを特定する処理として、上記手法を採用してもよい。

【0168】

〔２−４．効果〕
上述してきたように、第２の実施形態に係る画像処理装置２００は、受付部２３２と、特定部２３３とを有する。受付部２３２は、所定の撮像装置によって撮像されることで作成される画像データであって、楕円状の図形を含む画像データを受け付ける。特定部２３３は、受付部２３２によって受け付けられた画像データに含まれる楕円状の図形が真円となるよう画像データを射影変換し、射影変換後の真円が有する特徴情報に基づいて、当該真円を、画像データの所定の処理に用いるためのマーカーとして特定する。

【0169】

このように、第２の実施形態に係る画像処理装置２００は、射影変換後であっても不変な特徴情報を用いることにより、画像データ内の図形をマーカーとして一意に特定することができる。これにより、画像処理装置２００は、一般ユーザによって撮像されたような、校正が的確に行われていない複数の元画像データからでも、違和感のない自由視点画像を生成することができるため、一般ユーザに自由視点画像を有効に活用させることができる。

【0170】

また、第２の実施形態に係る画像処理装置２００は、円を構成要素に含むマーカーに関する情報であって、当該マーカーを特定するための特徴情報を取得する取得部２３１をさらに有する。特定部２３３は、射影変換後の真円が有する特徴情報と、取得部２３１によって取得された特徴情報とを照合することにより、画像データに含まれるマーカーを特定する。

【0171】

このように、第２の実施形態に係る画像処理装置２００は、予めマーカーに関する情報を取得し、取得した情報と、射影変換後の図形における特徴情報とを照合することで、マーカーを特定する。これにより、画像処理装置２００は、ユーザがマーカーとして利用している図形を精度よく特定することができる。

【0172】

また、取得部２３１は、中心が共通する内円と外円とを有するマーカーに関する特徴情報として、マーカーの中心を通る直線と、内円及び外円と、の各々の交点及び当該中心のいずれかの点間の長さの比の比を示す複比を取得する。特定部２３３は、画像データに含まれる２つの楕円状の図形が、同心を有する２つの真円となるよう射影変換される場合に、取得部２３１によって取得された複比と、当該複比を算出する際に用いられた点間と対応する関係にある点間の長さを用いて算出される２つの真円における複比と、を照合することにより、画像データに含まれるマーカーを特定する。

【0173】

このように、第２の実施形態に係る画像処理装置２００は、射影空間における不変の特徴情報として、２つの同心円の長さの複比を利用する。これにより、画像処理装置２００は、画像データ内のマーカーを精度よく特定することができる。また、画像処理装置２００は、予め取得しておくマーカーの特徴情報として、２つの同心円の径の長さを変えることのみで、マーカーを特定する情報を得ることができるため、識別可能なマーカーを容易に作成することができる。

【0174】

また、取得部２３１は、円の内部に所定の図形が描かれたマーカーに関する特徴情報として、円の中心から外側へ向かう放射線上に存在する２点の画素の輝度差によって示される特徴情報を取得する。特定部２３３は、射影変換後の真円が有する特徴情報と、取得部２３１によって取得された特徴情報とを照合することにより、画像データに含まれるマーカーを特定する。

【0175】

このように、第２の実施形態に係る画像処理装置２００は、特定処理において、マーカーの画素の輝度そのものを用いるのではなく、放射線上の画素の輝度差を用いる。このため、画像処理装置２００は、撮像装置のカメラパラメータや、撮像時の照明の状態等に左右されにくい、精度のよい特定処理を行うことができる。

【0176】

また、取得部２３１は、マーカーが有する円の中心から第１の所定距離だけ離れた箇所に複数のサンプルポイントを設け、サンプルポイントと、サンプルポイントから外側へ向かって第２の所定距離だけ離れたポイントと、の輝度差を二値化して示した数値を、当該サンプルポイントの数だけ並べたデータであるバイナリデータを特徴情報として取得する。特定部２３３は、バイナリデータを取得した処理と同様の処理を射影変換後の真円に対して実行することで、射影変換後の真円が有するバイナリデータを算出し、射影変換後の真円が有するバイナリデータと、取得部２３１によって取得されたバイナリデータとの類似度を求めることにより、画像データに含まれるマーカーを特定する。

【0177】

このように、第２の実施形態に係る画像処理装置２００は、正解データとなるマーカーのバイナリデータと、射影変換後の図形のバイナリデータとの類似度を求めることで、マーカーを特定する。これにより、画像処理装置２００は、マーカーの画素データ全てを比較するといった、負担の大きな処理を行うことなく、精度よくマーカーを特定することができる。

【0178】

また、取得部２３１は、サンプルポイントと、サンプルポイントから外側へ向かって第２の所定距離だけ離れたポイントと、の輝度差を二値化して示す場合に、サンプルポイントとなる画素の周囲の画素を含む輝度の平均と、ポイントとなる画素の周囲の画素を含む輝度の平均と、を比較することで、バイナリデータを取得する。

【0179】

このように、第２の実施形態に係る画像処理装置２００は、画像データ内において特異な点を誤ってサンプリングするといった、処理におけるノイズを抑制することができるため、特定処理の精度を向上させることができる。

【0180】

また、取得部２３１は、特定部２３３によって類似度が算出されたのちに、類似度を算出する基となったサンプルポイントの位置から、円に沿って所定の角度だけずらして新たなサンプルポイントを設け、新たなサンプルポイントに基づく新たなバイナリデータを取得する。特定部２３３は、射影変換後の真円が有するバイナリデータと、取得部２３１によって取得された新たなバイナリデータとの類似度を求めることを所定の回数繰り返し、求められた類似度のうち最大となる類似度に基づいて、画像データに含まれるマーカーを特定する。

【0181】

このように、第２の実施形態に係る画像処理装置２００は、サンプルポイントをずらしながら、類似度を数回算出するといった手法を採用してもよい。これにより、画像処理装置２００は、設けるサンプルポイントの分布による誤差を抑制することができるため、特定処理の精度を向上させることができる。

【0182】

また、第２の実施形態に係る画像処理装置２００は、マーカーが有するパラメータに基づいて、画像データに関する校正を行う校正部２３４と、校正部２３４によって校正された画像データに所定の変換処理を行うことにより、任意の視点位置に対応する画像を連続的に表示可能である自由視点画像を生成する生成部２３５と、をさらに有する。この場合、受付部２３２は、視点位置が異なる複数の画像データであって、マーカーとして特定される図形が各画像データ内に少なくとも一つは含まれる複数の画像データを受け付ける。校正部２３４は、受付部２３２によって受け付けられた複数の画像データに関する校正を行う。生成部２３５は、校正部２３４によって校正された複数の画像データに所定の変換処理を行うことにより、自由視点画像を生成する。

【0183】

このように、第２の実施形態に係る画像処理装置２００は、特定されたマーカーを用いて校正処理を行い、自由視点画像を生成する。これにより、画像処理装置２００は、強校正が行われていない撮像装置によって取得された元画像データからも、任意の視点からの表示を自然に行うことのできる自由視点画像を生成することができる。

【0184】

また、第２の実施形態に係る画像処理装置２００は、生成部２３５によって生成された自由視点画像を配信する配信部２３６をさらに有する。受付部２３２は、ユーザ端末１０から複数の画像データの入稿を受け付けるとともに、ユーザ端末１０を識別する情報を受け付ける。配信部２３６は、受付部２３２によって受け付けられたユーザ端末１０を識別する情報に基づいて、ユーザ端末１０に自由視点画像を配信する。

【0185】

このように、第２の実施形態に係る画像処理装置２００は、生成した自由視点画像をユーザが利用するユーザ端末１０に配信する。これにより、画像処理装置２００は、一般ユーザの自由視点画像の活用を促進させることができる。

【0186】

また、生成部２３５は、生成した自由視点画像を、当該自由視点画像の元となる複数の画像データを入稿したユーザ端末１０もしくはユーザ端末１０を利用するユーザを識別する識別情報、又は、ユーザが利用するサービスにおける出品情報の少なくともいずれか一つと対応付けて、所定の記憶部に格納する。

【0187】

このように、第２の実施形態に係る画像処理装置２００は、ユーザを識別する情報とともに自由視点画像を記憶部２２０内に格納する。そして、画像処理装置２００は、例えば、要求に応じて、サービス側に自由視点画像を配信するようにしてもよい。これにより、画像処理装置２００は、多様な要求に応答して自由視点画像を利用させることができるため、よりユーザに自由視点画像を有用に利用させることができる。

【0188】

〔３．構成の変更〕
また、上述した各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

【0189】

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図２に示した校正部１３２と生成部１３３とは統合されてもよい。また、画像処理装置１００（画像処理装置２００も含む。以下同様）は、ユーザ等の利用者とデータのやりとりを主に行うフロントエンドサーバと、生成処理等を行うバックエンドサーバとに分散される態様であってもよい。この場合、フロントエンドサーバは、少なくとも、受付部１３１と配信部１３４とを有する。また、バックエンドサーバは、少なくとも、校正部１３２と生成部１３３とを有する。また、画像処理装置１００は、記憶部１２０を内部に備えるのではなく、外部のストレージサーバを利用する態様であってもよい。

【0190】

また、上述してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

【0191】

〔４．ハードウェア構成〕
また、上述してきた各実施形態に係る画像処理装置は、例えば図１７に示すような構成のコンピュータ１０００によって実現される。以下、画像処理装置１００を例に挙げて説明する。図１７は、画像処理装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

【0192】

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

【0193】

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を記憶する。通信インターフェイス１５００は、通信網５００（実施形態のネットワークＮに対応する）を介して他の機器からデータを受信してＣＰＵ１１００へ送り、また、通信網５００を介してＣＰＵ１１００が生成したデータを他の機器へ送信する。

【0194】

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して生成したデータを出力装置へ出力する。

【0195】

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラム又はデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

【0196】

例えば、コンピュータ１０００が画像処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。また、ＨＤＤ１４００には、記憶部１２０内の各データが格納される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から通信網５００を介してこれらのプログラムを取得してもよい。

【0197】

〔５．その他〕
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

【0198】

また、上述した画像処理装置１００は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットフォーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。

【0199】

また、特許請求の範囲に記載した「手段」は、「部（section、module、unit）」や「回路」などに読み替えることができる。例えば、生成手段は、生成部や生成回路に読み替えることができる。

【符号の説明】

【0200】

１ 画像処理システム
１０ ユーザ端末
１００ 画像処理装置
１１０ 通信部
１２０ 記憶部
１２１ 画像データ記憶部
１２２ 自由視点画像記憶部
１３０ 制御部
１３１ 受付部
１３２ 校正部
１３３ 生成部
１３４ 配信部
２００ 画像処理装置
２１０ 通信部
２２０ 記憶部
２２１ マーカー情報記憶部
２２２ 画像データ記憶部
２２３ 自由視点画像記憶部
２３０ 制御部
２３１ 取得部
２３２ 受付部
２３３ 特定部
２３４ 校正部
２３５ 生成部
２３６ 配信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】