特許 7419723 画像処理システム、画像処理装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-15

(45)【発行日】2024-01-23

(54)【発明の名称】画像処理システム、画像処理装置および方法

(51)【国際特許分類】

   G06T 1/00 20060101AFI20240116BHJP

【ＦＩ】

G06T1/00 200D

【請求項の数】 13

(21)【出願番号】P 2019174558

(22)【出願日】2019-09-25

(65)【公開番号】P2021051593

(43)【公開日】2021-04-01

【審査請求日】2022-07-21

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(72)【発明者】

【氏名】鳥居 理

(72)【発明者】

【氏名】丸本 耕平

(72)【発明者】

【氏名】福岡 佑介

【審査官】益戸 宏

(56)【参考文献】

【文献】特開２０１７－１１８４７２（ＪＰ，Ａ）

【文献】国際公開第２００７／０５５３３５（ＷＯ，Ａ１）

【文献】特開２００８－０７８８０２（ＪＰ，Ａ）

【文献】特開２０１７－２１２５１０（ＪＰ，Ａ）

【文献】特開２０１６－１１０６３９（ＪＰ，Ａ）

【文献】特開２０１８－１６４１４３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ５／７６

(57)【特許請求の範囲】

【請求項1】

コンテンツ編集端末と画像処理装置とが接続する画像処理システムであって、
前記画像処理装置は、
撮像装置によって撮像された広角画像に含まれる被写体を特定して、当該広角画像から前記被写体を含む１以上の部分画像を生成する生成手段と、
前記生成手段が生成した前記部分画像と、当該部分画像の抽出元となった広角画像とを対応付けて記憶装置に記憶する記憶制御手段と、
前記記憶装置に記憶されている１以上の前記広角画像と当該広角画像それぞれに対応付けられた１以上の前記部分画像とを含むコンテンツを作成するコンテンツ作成手段と、
前記コンテンツを作成するための編集画面を前記コンテンツ編集端末に送信する送信手段と、
前記コンテンツ編集端末からの前記コンテンツの編集の指示に基づいて、前記コンテンツを編集する編集手段と
を含み、
前記コンテンツ編集端末は、
前記画像処理装置から送信された前記編集画面に基づいて、前記画像処理装置に前記コンテンツの編集を指示する指示手段
を含む、画像処理システム。

【請求項2】

前記記憶制御手段は、前記広角画像の識別情報をさらに対応付けて記憶することを特徴とする、請求項１に記載の画像処理システム。

【請求項3】

前記記憶制御手段は、前記広角画像における前記部分画像の範囲を示す座標をさらに対応付けて記憶することを特徴とする、請求項１または２に記載の画像処理システム。

【請求項4】

前記記憶制御手段は、前記部分画像と前記広角画像とを、前記コンテンツごとに対応付けて記憶することを特徴とする、請求項１～３のいずれか１項に記載の画像処理システム。

【請求項5】

前記被写体の名称を特定する特定手段をさらに含み、
前記記憶制御手段は、前記特定手段が特定した被写体の名称を、当該被写体を含む部分画像のファイル名として記憶することを特徴とする、請求項１～４のいずれか１項に記載の画像処理システム。

【請求項6】

前記記憶制御手段は、前記広角画像と、当該広角画像を撮影した場所のマップとを対応付けて記憶することを特徴とする、請求項１～５のいずれか１項に記載の画像処理システム。

【請求項7】

前記記憶制御手段は、前記マップにおける前記広角画像の撮影位置および撮影方向を記憶することを特徴とする、請求項６に記載の画像処理システム。

【請求項8】

前記部分画像に相当する領域を示して、当該部分画像の抽出元となった広角画像を表示する表示手段をさらに含む、請求項１～７のいずれか１項に記載の画像処理システム。

【請求項9】

前記表示手段は、前記部分画像の画角を示すアイコンをマップ上に表示することを特徴とする、請求項８に記載の画像処理システム。

【請求項10】

前記生成手段は、前記広角画像に含まれる建造物の構造に基づいて、前記被写体を特定することを特徴とする、請求項１～９のいずれか１項に記載の画像処理システム。

【請求項11】

前記コンテンツ編集端末は、
前記画像処理装置からダウンロードした前記部分画像を、当該部分画像の抽出元となった広角画像に対応するフォルダ内に保存することを特徴とする、請求項１～１０のいずれか１項に記載の画像処理システム。

【請求項12】

コンテンツ編集端末と接続する画像処理装置であって、
撮像装置によって撮像された広角画像に含まれる被写体を特定して、当該広角画像から前記被写体を含む１以上の部分画像を生成する生成手段と、
前記生成手段が生成した前記部分画像と、当該部分画像の抽出元となった広角画像とを対応付けて記憶装置に記憶する記憶制御手段と、
前記記憶装置に記憶されている１以上の前記広角画像と当該広角画像それぞれに対応付けられた１以上の前記部分画像とを含むコンテンツを作成するコンテンツ作成手段と、
前記コンテンツを作成するための編集画面を前記コンテンツ編集端末に送信する送信手段と、
前記コンテンツ編集端末からの前記コンテンツの編集の指示に基づいて、前記コンテンツを編集する編集手段と
を含む、画像処理装置。

【請求項13】

コンテンツ編集端末と画像処理装置とが接続する画像処理システムにおける方法であって、
前記画像処理装置は、
撮像装置によって撮像された広角画像に含まれる被写体を特定し、
前記広角画像から前記被写体を含む１以上の部分画像を生成し、
前記生成した前記部分画像と、当該部分画像の抽出元となった広角画像とを対応付けて記憶装置に記憶し、
前記記憶装置に記憶されている１以上の前記広角画像と当該広角画像それぞれに対応付けられた１以上の前記部分画像とを含むコンテンツを作成し、
前記コンテンツを作成するための編集画面を前記コンテンツ編集端末に送信し、
前記コンテンツ編集端末は、
前記画像処理装置から送信された前記編集画面に基づいて、前記画像処理装置に前記コンテンツの編集を指示し、
前記画像処理装置は、
前記コンテンツ編集端末からの前記コンテンツの編集の指示に基づいて、前記コンテンツを編集する
方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、広角画像の一部を切り出した部分画像を作成する画像処理システム、画像処理装置および方法に関する。

【背景技術】

【0002】

商品、施設、サービス、不動産物件など種々の商材について、ウェブページ上で画像を表示して紹介し、宣伝する広告方法は広く用いられている。とりわけ、コンテンツ内に表示する画像に、いわゆる全天球画像のような広角画像を用い、スチル画像よりも臨場感のある演出をすることで、顧客である閲覧者に対する訴求力を向上することができる。

【0003】

一方で、依然としてスチル画像のニーズも高いことから、広角画像とスチル画像の両方を含むコンテンツの作成が求められる。このような場合には、広角画像と、スチル画像とをそれぞれに対応した撮影基材によって別個に取得したうえで、各画像を対応付けて編集する必要がある。そのため、撮影機材に掛かるコストや、コンテンツの制作や管理を行う作業者の手間などの増大を招いていた。

【0004】

この点につき、特許第６１６７７０３号公報（特許文献１）では、広角画像から部分画像を切り出し、部分画像についてした操作を広角画像に連動させる技術が開示されている。特許文献１によれば、画像を切り出して、画面に表示されている画像の表示範囲と、画像上の視点の一覧を示す情報との関係を明確にすることができる。

【0005】

しかしながら、特許文献１をはじめとする従来技術では、複数の部分画像と、切り出し元となった広角画像とをまとめて１つのコンテンツとして管理するものではなく、コンテンツ作成の観点からは作業者の負担を軽減するのに充分なものではなかった。そのため、作業者の負担を軽減し、さらなるコスト抑制を図る技術が求められていた。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、上記従来技術における課題に鑑みてなされたものであり、作業者の負担を軽減して部分画像を作成する画像処理システム、画像処理装置および方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

すなわち、本発明によれば、
コンテンツ編集端末と画像処理装置とが接続する画像処理システムであって、
前記画像処理装置は、
撮像装置によって撮像された広角画像に含まれる被写体を特定して、当該広角画像から前記被写体を含む１以上の部分画像を生成する生成手段と、
前記生成手段が生成した前記部分画像と、当該部分画像の抽出元となった広角画像とを対応付けて記憶装置に記憶する記憶制御手段と、
前記記憶装置に記憶されている１以上の前記広角画像と当該広角画像それぞれに対応付けられた１以上の前記部分画像とを含むコンテンツを作成するコンテンツ作成手段と、
前記コンテンツを作成するための編集画面を前記コンテンツ編集端末に送信する送信手段と、
前記コンテンツ編集端末からの前記コンテンツの編集の指示に基づいて、前記コンテンツを編集する編集手段と
を含み、
前記コンテンツ編集端末は、
前記画像処理装置から送信された前記編集画面に基づいて、前記画像処理装置に前記コンテンツの編集を指示する指示手段
を含む、画像処理システムが提供される。

【発明の効果】

【0008】

本発明によれば、作業者の負担を軽減して部分画像を作成する画像処理システム、画像処理装置および方法が提供できる。

【図面の簡単な説明】

【0009】

【図1】本実施形態におけるシステム全体のハードウェアの概略構成を示す図。

【図2】本実施形態のコンテンツ編集端末および画像処理装置に含まれるハードウェア構成を示す図。

【図3】本実施形態のコンテンツ編集端末および画像処理装置に含まれるソフトウェアブロック図。

【図4】本実施形態の記憶部に格納される種々のテーブルを示す図。

【図5】本実施形態においてコンテンツを作成する処理を示すフローチャート。

【図6】本実施形態においてコンテンツを作成する画面の例を示す図。

【図7】本実施形態において部分画像を確認する画面の例を示す図。

【図8】本実施形態におけるダウンロードした部分画像を格納するフォルダ構造の例を示す図。

【図9】本実施形態においてマップ上における広角画像の設定を説明する図。

【図10】本実施形態においてマップ情報を含む種々のテーブルを示す図。

【図11】本実施形態においてマップを含む部分画像確認画面の例を示す図。

【発明を実施するための形態】

【0010】

以下、本発明を、実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜その説明を省略するものとする。

【0011】

図１は、本実施形態におけるシステム１００全体のハードウェアの概略構成を示す図である。図１では、例として、コンテンツ編集端末１１０と、画像処理装置１２０と、コンテンツ格納サーバ１３０と、コンテンツ閲覧端末１４０とが、インターネットやＬＡＮなどのネットワーク１５０を介して接続された環境のシステム１００を例示している。特に、以下に説明する実施形態では、コンテンツ編集端末１１０と画像処理装置１２０とを合わせて画像処理システムとして参照する場合がある。なお、各装置とネットワーク１５０とを接続する方法は、有線または無線のどちらでもよい。

【0012】

コンテンツ編集端末１１０は、例えば、パーソナルコンピュータのような装置であって、作業者が操作することによって、コンテンツの作成や編集、種々の設定などを行うことができる。また、コンテンツ編集端末１１０は、画像処理装置１２０と相互に通信することで、各種画像やコンテンツのアップロードやダウンロードを行うことができる。なお、コンテンツ編集端末１１０は、撮像装置１１１から画像を取得し、画像処理装置１２０に送信することができる。ここで、撮像装置１１１は、全天球画像、パノラマ画像、魚眼画像などといったいわゆる広角画像を撮像する装置である。なお、撮像装置１１１が撮像する画像は、広角画像でなくてもよい。また、以下に説明する実施形態では、撮像装置１１１は、全天球画像を撮像するものとして例示するが、特に実施形態を限定するものではない。

【0013】

画像処理装置１２０は、いわゆるアプリケーションサーバのような装置であって、コンテンツ編集端末１１０から広角画像を受信し、当該広角画像に係るコンテンツを作成する情報処理装置である。

【0014】

コンテンツ格納サーバ１３０は、いわゆるウェブサーバのような装置であって、コンテンツ編集端末１１０および画像処理装置１２０によって作成、編集されたコンテンツを格納する情報処理装置である。また、コンテンツ格納サーバ１３０は、コンテンツ閲覧端末１４０からの要求に応じて、格納するコンテンツのデータを送信することができる。

【0015】

コンテンツ閲覧端末１４０は、例えば、パーソナルコンピュータのような装置であって、作成されたコンテンツをコンテンツ格納サーバ１３０から取得し、閲覧者に対して表示する装置である。コンテンツ閲覧端末１４０は、例えばウェブブラウザを介してコンテンツを表示することができる。なお、コンテンツ閲覧端末１４０は、パーソナルコンピュータに限定されず、スマートフォン端末、タブレット端末など、種々の情報処理端末とすることができる。

【0016】

次に、各装置のハードウェア構成について説明する。なお、以下の説明においては、コンテンツ格納サーバ１３０およびコンテンツ閲覧端末１４０に関するものは、適宜省略するものとする。図２は、本実施形態のコンテンツ編集端末１１０および画像処理装置１２０に含まれるハードウェア構成を示す図である。コンテンツ編集端末１１０および画像処理装置１２０は、ＣＰＵ２１０と、ＲＡＭ２２０と、ＲＯＭ２３０と、記憶装置２４０と、通信Ｉ／Ｆ２５０と、モニタ２６０と、入力装置２７０とを含んで構成され、各ハードウェアはバスを介して接続されている。

【0017】

ＣＰＵ２１０は、コンテンツ編集端末１１０および画像処理装置１２０の動作を制御するプログラムを実行し、所定の処理を行う装置である。ＲＡＭ２２０は、ＣＰＵ２１０が実行するプログラムの実行空間を提供するための揮発性の記憶装置であり、プログラムやデータの格納用、展開用として使用される。ＲＯＭ２３０は、ＣＰＵ２１０が実行するプログラムやファームウェアなどを記憶するための不揮発性の記憶装置である。

【0018】

記憶装置２４０は、コンテンツ編集端末１１０および画像処理装置１２０を機能させるＯＳや各種アプリケーション、設定情報、各種データなどを記憶する、読み書き可能な不揮発性の記憶装置である。通信Ｉ／Ｆ２５０は、コンテンツ編集端末１１０または画像処理装置１２０とネットワーク１５０とを接続し、ネットワーク１５０を介して、他の装置との通信を可能にする。ネットワーク１５０を介した通信は、有線通信または無線通信のいずれであってもよく、ＴＣＰ／ＩＰなどの所定の通信プロトコルを使用し、各種データを送受信できる。

【0019】

モニタ２６０は、各種データなどをユーザに対して表示する装置であり、例として、ＬＣＤ（Liquid Crystal Display）などが挙げられる。入力装置２７０は、ユーザがコンテンツ編集端末１１０または画像処理装置１２０を操作するための装置であり、例として、キーボード、マウスなどが挙げられる。なお、モニタ２６０と入力装置２７０は、それぞれ別個の装置であってもよいし、タッチパネルディスプレイのような両方の機能を備えるものであってもよい。なお、画像処理装置１２０は、必ずしもモニタ２６０や入力装置２７０を備えていなくてもよく、例えば、コンテンツ編集端末１１０のモニタ２６０や入力装置２７０を介して、画像処理装置１２０の操作を行ってもよい。

【0020】

以上、本実施形態のコンテンツ編集端末１１０および画像処理装置１２０に含まれるハードウェア構成について説明した。次に、本実施形態における各ハードウェアによって実行される機能手段について、図３を以て説明する。図３は、本実施形態のコンテンツ編集端末１１０および画像処理装置１２０に含まれるソフトウェアブロック図である。コンテンツ編集端末１１０は、広角画像取得部３１１、通信部３１２、表示部３１３、操作部３１４の各モジュールを含む。また、画像処理装置１２０は、広角画像受信部３２１、テーブル作成部３２２、補正処理部３２３、部分画像生成部３２４、マップ情報設定部３２５、記憶部３２６の各モジュールを含む。

【0021】

まず、コンテンツ編集端末１１０について説明する。広角画像取得部３１１は、撮像装置１１１が撮影した広角画像の画像データを取得する手段である。取得した画像データは、コンテンツ編集端末１１０の記憶装置２４０などに格納される。なお、広角画像取得部３１１が取得する画像データには、イメージのデータ以外にも、撮像時における撮像装置１１１の種々の状況を示すメタデータなどが含まれていてもよい。なお、一般的に、撮像装置１１１から広角画像の画像データの取得は、先に示した通信I／Ｆ２５０などの通信機能を介してや、撮像装置１１１内に備えられた取り外し可能なメモリ媒体などを介して実施される。

【0022】

通信部３１２は、コンテンツ編集端末１１０の通信Ｉ／Ｆ２５０を制御し、画像処理装置１２０と通信する手段である。コンテンツ編集端末１１０は、通信部３１２を介して画像処理装置１２０に広角画像を送信したり、画像処理装置１２０から部分画像やコンテンツなどのデータを受信したりできる。また、通信部３１２は、操作部３１４を介した操作を画像処理装置１２０に送信することもできる。

【0023】

表示部３１３は、コンテンツ編集端末１１０のモニタ２６０の動作を制御し、種々のＵＩを表示する手段である。例えば表示部３１３は、画像処理装置１２０が生成したコンテンツを編集する画面や、画像処理装置１２０からダウンロードした部分画像などを表示することができる。

【0024】

操作部３１４は、コンテンツ編集端末１１０の入力装置２７０を制御し、種々の操作を受け付ける手段である。操作部３１４が受け付けた操作は、通信部３１２を介して画像処理装置１２０に送信することができる。

【0025】

次に、画像処理装置１２０について説明する。広角画像受信部３２１は、画像処理装置１２０の通信Ｉ／Ｆ２５０を制御し、コンテンツ編集端末１１０が送信する広角画像を受信する手段である。

【0026】

テーブル作成部３２２は、コンテンツの作成に係る種々のテーブルを作成する手段である。また、テーブル作成部３２２は、テーブルの各項目の内容を適宜更新することができる。テーブル作成部３２２が生成するテーブルの例としては、コンテンツテーブル、広角画像テーブル、部分画像テーブルなどが挙げられ、各テーブルは、記憶部３２６に格納することができる。なお、各テーブルの詳細は後述する。

【0027】

補正処理部３２３は、受信した広角画像に対して種々の補正処理を行う手段である。補正処理部３２３が行う補正の例としては、天頂補正、歪み補正、γ補正などが挙げられる。なお、補正処理部３２３による広角画像の補正は省略されてもよい。

【0028】

部分画像生成部３２４は、受信した広角画像の一部の領域を抽出し、部分画像として生成する手段である。部分画像生成部３２４の構成としては、２つのパターンが考えられる。１つ目は、広角画像の構図や重要度などに基づいて、広角画像に含まれる被写体を特定し、特徴的な被写体を含む領域を抽出することで、部分画像を生成する構成である。また、２つ目は、ユーザが広角画像から構図や切り取りたい画像の領域を特定して、部分画像を生成する構成である。なお、抽出する部分画像を特定する方法は、上述したものに限定されず、種々の方法を採用することができる。例えば、広角画像に含まれる建造物の構造に基づいて、部分画像を特定することとしてもよい。さらに、部分画像生成部３２４は、公知の機械学習技術を採用することによって、検出した被写体の特徴量に基づいて、当該被写体の物品名を判定することができる。

【0029】

マップ情報設定部３２５は、マップの画像データを登録し、広角画像を撮影した地点をマップ上に設定する手段である。また、マップ情報設定部３２５は、抽出された部分画像がマップ上のどの位置に対応するのかを判定し、設定することができる。

【0030】

記憶部３２６は、画像処理装置１２０の記憶装置２４０を制御し、広角画像、部分画像、各種テーブルなどを格納する手段である。記憶部３２６に格納されるテーブルは、例えば、コンテンツテーブル、広角画像テーブル、部分画像テーブルなどが挙げられる。以下に、各テーブルについて図４を以て説明する。

【0031】

図４は、本実施形態の記憶部３２６に格納される種々のテーブルを示す図である。図４（ａ）は、コンテンツテーブルの例を、図４（ｂ）は、広角画像テーブルの例を、図４（ｃ）は、部分画像テーブルの例をそれぞれ示している。なお、以下に説明する実施形態においては、不動産物件を紹介するサービスを提供するためのコンテンツを例示して説明するものとするが、特に実施形態を限定するものではなく、当然これ以外のコンテンツであってもよい。

【0032】

図４（ａ）に示すように、コンテンツテーブルは、コンテンツＩＤフィールド４１１と、コンテンツ名フィールド４１２とを含んで構成される。コンテンツＩＤフィールド４１１には、コンテンツを一意に識別するためコンテンツＩＤが格納される。コンテンツ名フィールド４１２には、コンテンツの編集を行う作業者によって任意に選択されたコンテンツの名称を格納することができる。図４（ａ）の例では、コンテンツ名フィールド４１２には、不動産物件の名称が入力されている。

【0033】

図４（ｂ）に示すように、広角画像テーブルは、広角画像ＩＤフィールド４２１と、広角画像保存先フィールド４２２と、広角画像名フィールド４２３と、関連コンテンツＩＤフィールド４２４とを含んで構成される。広角画像ＩＤフィールド４２１には、広角画像を識別するための広角画像ＩＤが格納される。広角画像保存先フィールド４２２には、広角画像を保存した保存先を示す情報を格納する。図４（ｂ）の例では、広角画像保存先フィールド４２２には、ＵＲＬが格納されているが、特に実施形態を限定するものではなく、例えば、広角画像が保存されているフォルダを示すパスが格納されてもよい。広角画像名フィールド４２３には、広角画像の名称が格納される。広角画像の名称は、任意のものであってよく、作業者によって入力されることができる。図４（ｂ）では、物件内において広角画像を撮影した部屋の名前として、「リビング」、「キッチン」、「玄関」などが入力された例を示している。関連コンテンツＩＤフィールド４２４には、広角画像に対応付けられたコンテンツＩＤが格納される。例えば、広角画像ＩＤが「Ｂ０００１」である「リビング」の画像が、「Ａマンション１０１号室」で撮影されたものである場合には、図４（ｂ）に示すように、関連コンテンツＩＤフィールド４２４には、「Ａマンション１０１号室」に対応するコンテンツＩＤの「Ａ０００１」が格納される。このようにして、コンテンツと広角画像とを紐づけることで、広角画像の管理を容易にすることができる。

【0034】

図４（ｃ）に示すように、部分画像テーブルには、部分画像ＩＤフィールド４３１と、部分画像保存先フィールド４３２と、部分画像名フィールド４３３と、抽出元広角画像ＩＤフィールド４３４と、抽出位置情報フィールド４３５とを含んで構成される。部分画像ＩＤフィールド４３１には、部分画像を識別するための部分画像ＩＤが格納される。部分画像保存先フィールド４３２には、部分画像を保存した保存先を示す情報を格納する。図４（ｃ）の例では、部分画像保存先フィールド４３２には、ＵＲＬが格納されているが、特に実施形態を限定するものではなく、例えば、部分画像が保存されているフォルダを示すパスが格納されてもよい。部分画像名フィールド４３３には、部分画像の名称が格納される。部分画像の名称は、例えば図４（ｃ）に示すように、抽出元となった広角画像の名称に連番を付したものとすることができる。これによって、部分画像と広角画像との関連性を認識しやすくできる。なお、部分画像の名称は、上記のもの以外であってもよく、例えば、部分画像生成部３２４が部分画像に含まれる特徴的な被写体の名称を識別して、部分画像名としてもよい。抽出元広角画像ＩＤフィールド４３４には、当該部分画像の抽出元となった広角画像のＩＤを格納する。これによって、広角画像と部分画像とを対応付けることができ、コンテンツの作成、編集が容易になる。抽出位置情報フィールド４３５には、当該部分画像が、抽出元の広角画像のどの位置から抽出されたものであるかを示す座標データを格納する。図４（ｃ）の例では、抽出位置情報は、抽出開始位置の座標と抽出終了位置の座標とによって、矩形の領域が定義できるように表現されている。なお、抽出位置情報は、上述した以外の方法で表現されてもよく、例えば、広角画像が全天球画像である場合などには、球面座標系の緯度および経度によって表現されてもよい。

【0035】

なお、図３において説明したソフトウェアブロックは、ＣＰＵ２１０が本実施形態のプログラムを実行することで、各ハードウェアを機能させることにより、実現される機能手段に相当する。また、各実施形態に示した機能手段は、全部がソフトウェア的に実現されても良いし、その一部または全部を同等の機能を提供するハードウェアとして実装することもできる。

【0036】

さらに、上述した各機能手段は、必ずしも全てが図３に示すような構成で含まれていなくてもよい。例えば、他の好ましい実施形態では、各機能手段は、コンテンツ編集端末１１０と、画像処理装置１２０との協働によって実現されてもよい。

【0037】

図５は、本実施形態においてコンテンツを作成する処理を示すフローチャートである。図５に示す各処理は、一部を除き、主として画像処理装置１２０が行う。なお、以下の図５の説明に際しては、適宜図４を参照して説明する。画像処理装置１２０は、ステップＳ５００から処理を開始する。次に、ステップＳ５０１では、広角画像受信部３２１は、コンテンツ編集端末１１０から広角画像を受信する。

【0038】

広角画像を受信したあと、ステップＳ５０２において、記憶部３２６に広角画像を格納する。また、これに併せてステップＳ５０２では、テーブル作成部３２２は、広角画像テーブルを更新する。具体的には、テーブル作成部３２２は、受信した広角画像に広角画像ＩＤを付与し、保存先を格納する。また、作業者が広角画像名を入力していた場合には、広角画像名を格納する。

【0039】

ステップＳ５０３では、他の広角画像があるか否かによって処理を分岐する。他の広角画像がある場合には（ＹＥＳ）、ステップＳ５０１に戻り、上記の処理を繰り返す。他の広角画像がない場合には（ＮＯ）、ステップＳ５０４に進む。なお、他の広角画像の有無の判定は、ステップＳ５０３のタイミング以外であってもよく、例えば、１つの広角画像について部分画像を生成する処理を行った後に、他の広角画像があるか否かの判定を行ってもよい。

【0040】

ステップＳ５０４では、テーブル作成部３２２は、コンテンツを作成し、コンテンツと広角画像とを対応付ける。テーブル作成部３２２は、コンテンツテーブルに、図４（ａ）において説明したように、コンテンツＩＤとコンテンツ名とを対応付けて格納する。また、ステップＳ５０４における対応付けは、ステップＳ５０４までに受信した広角画像について、コンテンツＩＤとの対応付けを行い、広角画像テーブルを更新する。例えば、図４の「リビング」や「キッチン」の広角画像が「Ａマンション１０１号室」で撮影されたものである場合には、図４（ｂ）のように、関連コンテンツＩＤフィールド４２４に「Ａマンション１０１号室」に対応する「Ａ０００１」が格納される。このようにして広角画像とコンテンツとを対応付けることで、コンテンツに含まれる広角画像を定義することができる。

【0041】

ステップＳ５０５では、補正処理部３２３は、広角画像に対して種々の補正を行う。ステップＳ５０５における補正の一例としては、例えば、広角画像の色味や明るさなどの調整を行う補正、その他、広角画像が全天球画像の場合には、撮像装置１１１の撮像姿勢を示すメタデータに基づく天頂補正などが挙げられる。なお、ステップ５０５の処理は省略してもよい。

【0042】

次に、ステップＳ５０６において、部分画像生成部３２４は、広角画像から部分画像を生成する。部分画像は、特徴量に基づくパターンマッチングやテンプレートマッチングなどによって抽出することができ、部分画像生成部３２４は、特徴的な被写体を含む領域を部分画像として生成することができる。部分画像生成部３２４は、１つの広角画像から複数の部分画像を生成してもよい。

【0043】

その後、ステップＳ５０７では、テーブル作成部３２２は、部分画像テーブルを作成する。部分画像テーブルの部分画像名フィールド４３３に格納される名称は、広角画像名に連番を付与したものであってもよいし、部分画像に含まれる特徴的な被写体の名称が特定できる場合には、当該物体の名称であってもよい。

【0044】

次に、ステップＳ５０８では、コンテンツ編集端末１１０を介した操作によって、コンテンツの編集や各種設定を行う。また、コンテンツを作成する作業者は、画像処理装置１２０からコンテンツ編集端末１１０に、部分画像をダウンロードすることができる。その後、ステップＳ５０９で、処理を終了する。

【0045】

上述した処理によれば、１つの広角画像から部分画像を切り取りスチル画像として生成することができ、コンテンツ作成のコストを低減することができる。また、部分画像であるスチル画像と、その抽出元となる広角画像とを、一つのまとまりとして管理することが可能となり、コンテンツ管理の手間も軽減できる。

【0046】

次に、本実施形態においてコンテンツ編集端末１１０に表示される種々のＵＩの例について、図６および図７を以て説明する。図６は、本実施形態においてコンテンツを作成する画面の例を示す図である。

【0047】

まず、図６について説明する。図６に示すように、コンテンツ作成画面６００は、コンテンツ名登録領域６１０と、マップ設定領域６２０と、広角画像ビュー領域６３０と、広角画像登録領域６４０とを含んで構成される。

【0048】

コンテンツ名登録領域６１０の入力フォームにコンテンツ名が入力され、登録ボタンが押下されると、テーブル作成部３２２は、入力されたコンテンツ名をコンテンツテーブルに登録し、コンテンツＩＤと対応付ける。

【0049】

マップ設定領域６２０には、広角画像を撮影した場所のマップが表示される。説明する実施形態のコンテンツは、不動産物件を紹介するサービスであるため、マップの一例として間取り図が示されている。また、マップには、広角画像の撮影位置を示すアイコン６２１と、広角画像のアングルを示す扇形のアイコン６２２とが重畳されている。マップ上の広角画像は、例えば、広角画像登録領域６４０に表示されている広角画像をドラッグアンドドロップなどによって操作することで配置できる。図６における具体的な一例としては、広角画像登録領域６４０の「リビング」の広角画像を、マップである間取り図の「リビング・ダイニング」にドラッグアンドドロップすることによって配置できる。なお、マップへの広角画像の配置は、上述したものに限定されず、例えば、マップ内の文字列を認識し、広角画像と対応付けて配置することとしてもよい。また、各アイコンの表示態様は、図６に示されるものに限定されない。

【0050】

広角画像ビュー領域６３０では、マップ上や広角画像登録領域６４０などで選択されている広角画像がプレビュー表示される。この広角画像ビュー領域６３０に表示されている広角画像の範囲を、先に示した、扇形のアイコン６２２が表している。

【0051】

広角画像登録領域６４０には、登録済みの広角画像が名称とともに表示される（６４１参照）。図６の例では、「リビング」、「キッチン」、「洋室（１）」、「廊下」、「洗面所」の広角画像が表示されている。ここで、部分画像確認ボタンを押下すると、図７に示す画面に遷移する。

【0052】

図７は、本実施形態において部分画像を確認する画面の例を示す図である。広角画像登録領域６４０の部分画像確認ボタンが押下されると、図７に示す部分画像確認画面７００が表示される。部分画像確認画面７００は、広角画像ビュー領域７１０と、部分画像ビュー領域７２０と、部分画像選択領域７３０とを含んで構成される。

【0053】

広角画像ビュー領域７１０には、部分画像選択領域７３０で選択されている部分画像の抽出元となった広角画像が表示される。図７の例では、部分画像選択領域７３０で、「リビング＿０１」が選択されているため、広角画像ビュー領域７１０には「リビング」の広角画像が表示される。なお、広角画像ビュー領域７１０には、部分画像として抽出された領域を示す範囲（例えば図７の７１１のように、色を変えた表示や強調した表示など）が含まれていてもよい。

【0054】

部分画像ビュー領域７２０には、部分画像選択領域７３０で選択されている部分画像が表示される。図７の例では、部分画像選択領域７３０で、「リビング＿０１」が選択されているため、部分画像ビュー領域７２０には当該画像が表示される。なお、部分画像ビュー領域７２０には、表示されている部分画像をダウンロードする操作ボタン７２１が含まれていてもよい。操作ボタン７２１が押下されると、部分画像ビュー領域７２０に表示されている画像を、コンテンツ編集端末１１０にダウンロードすることができる。

【0055】

部分画像選択領域７３０には、広角画像と、当該広角画像から生成された部分画像とが対応付けられて表示されている。すなわち、部分画像選択領域７３０は、部分画像テーブルを参照することによって表示される。図７に示す画面表示の例では、「リビング」や「キッチン」などの広角画像と、それぞれ広角画像から生成された複数の部分画像（「リビング＿０１」、「キッチン＿０１」など）が横方向に並んで表示されている。また、作業者は、部分画像選択領域７３０のチェックボックスから部分画像を選択することによって、選択した部分画像を一括してコンテンツ編集端末１１０にダウンロードすることができる。

【0056】

上述したように、コンテンツの作成、編集を行う作業者は、部分画像確認画面７００から、部分画像をコンテンツ編集端末１１０にダウンロードすることができる。したがって、広角画像を撮影することで、作業者は、広角画像とスチル画像（部分画像を意味する）の両方を取得することができる。ここで、本実施形態においてダウンロードされた部分画像が格納されるフォルダ構造について説明する。図８は、本実施形態におけるダウンロードした部分画像を格納するフォルダ構造の例を示す図である。

【0057】

部分画像がコンテンツ編集端末１１０にダウンロードされると、当該端末には、図８（ａ）に示すようなフォルダ構造で以て部分画像が格納される。すなわち、第１階層としてコンテンツ名のフォルダ（「Ａマンション１０１号室」、「Ｂハイツ２０３号室」、「Ｃレジデンス５０５号室」など）が作成される。また、第１階層の各フォルダ内には、第２階層として、当該コンテンツに対応付けられている広角画像名のフォルダ（「リビング」、「キッチン」、「洋室（１）」など）が作成される。そして、第２階層のフォルダ内に、当該広角画像から生成された部分画像の画像ファイル（「リビング＿０１．ｊｐｇ」など）が格納される。このような階層構造のフォルダに部分画像のデータが格納されることによって、作業者は、容易に画像の管理をすることができ、コンテンツ作成の負担や画像の管理の手間を軽減することができる。

【0058】

なお、部分画像生成部３２４が、物体認識機能を備えており、部分画像に含まれる被写体の名称を判定できる場合には、図８（ｂ）に示すように、当該被写体の名称を部分画像名としてもよい。図８（ｂ）では、第３階層における部分画像の画像ファイル名が、「ソファ．ｊｐｇ」、「テーブル．ｊｐｇ」などのように、部分画像に含まれる被写体の物品名となっている。これによって、作業者の画像管理をさらに容易にすることができる。

【0059】

次に本実施形態におけるマップについて説明する。本実施形態のコンテンツに複数の広角画像が含まれる場合には、広角画像を撮影した地点をマップ上に表示することができる。これによって、コンテンツ内の画像の臨場感をさらに向上でき、コンテンツの閲覧者に対する訴求力を向上することができる。そこで、本実施形態では、マップと広角画像とを対応付ける設定を行う。

【0060】

図９は、本実施形態においてマップ上における広角画像の設定を説明する図である。図９（ａ）は、コンテンツ作成画面６００に含まれるマップ設定領域９１０を示したものであり、図６のマップ設定領域６２０に相当する。マップ設定領域９１０には、マップ登録ボタン９１１と、削除ボタン９１２と、アングル設定ボタン９１３とが含まれる。また、マップ設定領域９１０のマップ上には、撮影位置アイコン９１４と、アングルアイコン９１５とが重畳して表示される。撮影位置アイコンの配置位置や、アングルアイコン９１５の視線方向の角度などは、例えば、マウスカーソル９１６によってアイコンをドラッグアンドドロップ操作することで変更し、設定することができる。

【0061】

図９（ｂ）は、広角画像の撮影位置を定義する方法の一例を示している。撮影位置は、例えば、マップ画像の横方向の長さと縦方向の長さとをそれぞれ１とした場合の比率によって定義することができる。図９（ｂ）の例では、撮影位置アイコンは、画像の横方向に対して０．５の位置であり、縦方向に対して０．４の位置である場合を示している。かかる場合、当該アイコンの撮影位置の座標は、（０．５，０．４）として表現することができる。

【0062】

図９（ｃ）は、広角画像のアングルの方向を定義する方法の一例を示している。アングルの方向は、例えば、マップ画像の上方向を０°／３６０°とし、下方向を１８０°とした場合の、撮像装置１１１の光軸方向（広角画像の中心の方向）として定義することができる。図９（ｃ）の例では、撮影位置アイコンのアングルを示すアイコンの中心は、２４０°の方向を向いている。

【0063】

なお、広角画像の撮影位置やアングルの方向を定義する方法は、図９（ｂ）および（ｃ）に示した方法に限定されず、他の方法であってもよい。

【0064】

図１０は、本実施形態においてマップ情報を含む種々のテーブルを示す図である。本実施形態においてマップを登録した場合には、テーブル作成部３２２は、コンテンツとマップとが対応付けてテーブルを作成する。なお、図１０では、図４における部分画像テーブルに相当するテーブルは、省略している。

【0065】

図１０（ａ）は、マップを登録したコンテンツテーブルの例を示しており、コンテンツＩＤフィールド１０１１と、コンテンツ名フィールド１０１２と、マップＩＤフィールド１０１３を含んで構成される。コンテンツＩＤフィールド１０１１およびコンテンツ名フィールド１０１２は、図４（ａ）において説明したコンテンツＩＤフィールド４１１およびコンテンツ名フィールド４１２と同様であるため、説明を省略する。マップＩＤフィールド１０１３には、各マップを識別するＩＤが格納される。

【0066】

図１０（ｂ）は、マップと広角画像とが対応付けられた広角画像テーブルの例を示している。図１０（ｂ）に示すように、広角画像テーブルは、広角画像ＩＤフィールド１０２１と、関連マップＩＤフィールド１０２２と、撮影位置アイコンフィールド１０２３と、撮影位置座標フィールド１０２４と、アングル方向フィールド１０２５とを含んで構成される。また、図１０（ｂ）では省略されているが、広角画像テーブルには、図４（ａ）において説明した広角画像保存先フィールド４２２と、広角画像名フィールド４２３と、関連コンテンツＩＤフィールド４２４とが含まれる。

【0067】

関連マップＩＤフィールド１０２２には、当該広角画像を含むコンテンツに対応付けられたマップのＩＤを格納する。撮影位置アイコンフィールド１０２３には、マップ上における当該広角画像の撮影位置を示すアイコンの番号が格納される。撮影位置座標フィールド１０２４には、当該広角画像の撮影位置のマップ上の座標が格納される。アングル方向フィールド１０２５には、広角画像の中心の方向を示す角度が格納される。なお、図１０（ｂ）の例では、撮影位置座標フィールド１０２４およびアングル方向フィールド１０２５には、図９（ｂ）および（ｃ）で説明した方法で定義された座標および方向が格納されている。

【0068】

このようにして広角画像とマップとを対応付けることで、当該広角画像から生成された部分画像についても、マップ上のどの位置からどの方向を写した画像であるかを対応付けることができ、コンテンツの利便性を向上することができる。

【0069】

図１１は、本実施形態においてマップを含む部分画像確認画面１１００の例を示す図である。図１１に示す部分画像確認画面１１００は、広角画像ビュー領域１１１０と、部分画像ビュー領域１１２０と、マップ表示領域１１３０と、部分画像選択領域１１４０と、広角画像選択領域１１５０とを含んで構成される。なお、広角画像ビュー領域１１１０と、部分画像ビュー領域１１２０と、部分画像選択領域１１４０は、図７において説明したものと同様であるため、説明を省略する。また、広角画像選択領域１１５０は、図６において説明した広角画像登録領域６４０に相当する。

【0070】

マップ表示領域１１３０には、登録されたマップの画像に、広角画像を示すアイコン１１３１や、広角画像のアングルを示すアイコン１１３２が重畳して表示される。また、図１１のマップ表示領域１１３０において、アイコン１１３３２に重畳する、濃い色の扇形で示されるアイコン１１３３は、広角画像から生成された部分画像の画角および方向を示すアイコンである。図９において説明したように広角画像のアングルを定義することで、当該広角画像から生成された部分画像がマップ上のどの方向と一致するものであるかを算出することができる。すなわち、広角画像のアングルと、部分画像の抽出位置情報とに基づいて、当該部分画像の撮影方向などを算出することができる。これによって、図１１に示すような部分画像の画角アイコン１１３３を表示することができる。また、部分画像ビュー領域１１２０には、画角アイコン１１３３に対応する部分画像が表示されることから、作業者は、部分画像ビュー領域１１２０に表示されている部分画像が、マップ上のどの位置からどの方向を撮影した画像であるかを認識しやすくなる。このように、マップと広角画像とを対応付けることにより、部分画像がどの位置に対応するものであるかの把握が容易になり、作業者は、コンテンツの作成をさらに容易に行うことができる。

【0071】

以上、説明した本発明の実施形態によれば、作業者の負担を軽減して部分画像を作成する画像処理システム、画像処理装置および方法を提供することができる。

【0072】

上述した本発明の実施形態の各機能は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）等で記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、フレキシブルディスク、ＥＥＰＲＯＭ（登録商標）、ＥＰＲＯＭ等の装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。

【0073】

以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

【符号の説明】

【0074】

１００…システム、１１０…コンテンツ編集端末、１１１…撮像装置、１２０…画像処理装置、１３０…コンテンツ格納サーバ、１４０…コンテンツ閲覧端末、２１０…ＣＰＵ、２２０…ＲＡＭ、２３０…ＲＯＭ、２４０…記憶装置、２５０…通信Ｉ／Ｆ、２６０…モニタ、２７０…入力装置、３１１…広角画像取得部、３１２…通信部、３１３…表示部、３１４…操作部、３２１…広角画像受信部、３２２…テーブル作成部、３２３…補正処理部、３２４…部分画像生成部、３２５…マップ情報設定部、３２６…記憶部

【先行技術文献】

【特許文献】

【0075】

【文献】特許第６１６７７０３号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】