知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024038563
(43)【公開日】2024-03-21
(54)【発明の名称】画像処理装置、画像処理方法、プログラム及び記録媒体
(51)【国際特許分類】
H04N 5/92 20060101AFI20240313BHJP
G06T 7/70 20170101ALI20240313BHJP
G06Q 30/0241 20230101ALI20240313BHJP
【ＦＩ】
H04N5/92 010
G06T7/70 Z
G06Q30/02 446
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022142650
(22)【出願日】2022-09-08
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡＳＣＲＩＰＴ
(71)【出願人】
【識別番号】000232092
【氏名又は名称】ＮＥＣソリューションイノベータ株式会社
(74)【代理人】
【識別番号】100115255
【弁理士】
【氏名又は名称】辻丸 光一郎
(74)【代理人】
【識別番号】100201732
【弁理士】
【氏名又は名称】松縄 正登
(74)【代理人】
【識別番号】100154081
【弁理士】
【氏名又は名称】伊佐治 創
(74)【代理人】
【識別番号】100227019
【弁理士】
【氏名又は名称】安 修央
(72)【発明者】
【氏名】石田 州裕
(72)【発明者】
【氏名】山上 辰典
(72)【発明者】
【氏名】片山 紘希
(72)【発明者】
【氏名】山地 智
(72)【発明者】
【氏名】足立 浩基
(72)【発明者】
【氏名】外村 彰英
(72)【発明者】
【氏名】高橋 昌也
【テーマコード（参考）】
5C053
5L049
5L096
【Ｆターム（参考）】
5C053GB06
5C053JA21
5C053LA11
5L049BB08
5L096BA08
5L096CA02
5L096EA28
5L096FA02
(57)【要約】
【課題】 簡便に画像中の対象物に情報を付加可能な画像処理装置を提供する。
【解決手段】 本発明の画像処理装置は、画像情報取得部、対象物検出部、リスト情報生成部、出力部、付加情報取得部、及び付加画像情報生成部を含み、
前記画像情報取得部は、画像情報を取得し、
前記対象物検出部は、前記画像情報から検出対象物を検出し、
前記リスト情報生成部は、前記検出対象物を含むリスト情報を生成し、
前記出力部は、前記リスト情報を出力し、
前記付加情報取得部は、前記検出対象物の付加情報を取得し、
前記付加画像情報生成部は、前記画像情報における各検出対象物の位置と、各検出対象物の付加情報とを紐づけた付加画像情報を生成する。
【選択図】 図１
【解決手段】 本発明の画像処理装置は、画像情報取得部、対象物検出部、リスト情報生成部、出力部、付加情報取得部、及び付加画像情報生成部を含み、
前記画像情報取得部は、画像情報を取得し、
前記対象物検出部は、前記画像情報から検出対象物を検出し、
前記リスト情報生成部は、前記検出対象物を含むリスト情報を生成し、
前記出力部は、前記リスト情報を出力し、
前記付加情報取得部は、前記検出対象物の付加情報を取得し、
前記付加画像情報生成部は、前記画像情報における各検出対象物の位置と、各検出対象物の付加情報とを紐づけた付加画像情報を生成する。
【選択図】 図１
【特許請求の範囲】
【請求項1】
画像情報取得部、対象物検出部、リスト情報生成部、出力部、付加情報取得部、及び付加画像情報生成部を含み、
前記画像情報取得部は、画像情報を取得し、
前記対象物検出部は、前記画像情報から検出対象物を検出し、
前記リスト情報生成部は、前記検出対象物を含むリスト情報を生成し、
前記出力部は、前記画像情報と前記リスト情報とを紐づけて出力し、
前記付加情報取得部は、前記検出対象物の付加情報を取得し、
前記付加画像情報生成部は、前記画像情報における各検出対象物の位置と、各検出対象物の付加情報とを紐づけた付加画像情報を生成する、画像処理装置。
前記画像情報取得部は、画像情報を取得し、
前記対象物検出部は、前記画像情報から検出対象物を検出し、
前記リスト情報生成部は、前記検出対象物を含むリスト情報を生成し、
前記出力部は、前記画像情報と前記リスト情報とを紐づけて出力し、
前記付加情報取得部は、前記検出対象物の付加情報を取得し、
前記付加画像情報生成部は、前記画像情報における各検出対象物の位置と、各検出対象物の付加情報とを紐づけた付加画像情報を生成する、画像処理装置。
【請求項2】
前記画像情報取得部は、前記所定エリアを複数の位置から撮像した複数の画像情報を取得し、
前記画像情報が、前記所定エリアにおける撮像位置情報及び撮像方向情報を含み、
前記対象物検出部は、各画像情報から検出対象物を検出し、
前記リスト情報生成部は、
前記撮像位置情報、前記撮像方向情報、及び前記画像情報に基づいて、前記所定エリアを含む仮想平面上における各検出対象物の座標を推定し、
前記座標に基づいて、各画像情報から検出した検出対象物がそれぞれ同一物であるか否かを判定し、
同一物であると判定した場合は、一方の画像情報から検出した検出対象物を含む前記リスト情報を生成し、
同一物でないと判定した場合は、検出した検出対象物を含むリスト情報を生成する、請求項１記載の画像処理装置。
前記画像情報が、前記所定エリアにおける撮像位置情報及び撮像方向情報を含み、
前記対象物検出部は、各画像情報から検出対象物を検出し、
前記リスト情報生成部は、
前記撮像位置情報、前記撮像方向情報、及び前記画像情報に基づいて、前記所定エリアを含む仮想平面上における各検出対象物の座標を推定し、
前記座標に基づいて、各画像情報から検出した検出対象物がそれぞれ同一物であるか否かを判定し、
同一物であると判定した場合は、一方の画像情報から検出した検出対象物を含む前記リスト情報を生成し、
同一物でないと判定した場合は、検出した検出対象物を含むリスト情報を生成する、請求項１記載の画像処理装置。
【請求項3】
前記リスト情報生成部は、
前記検出対象物の座標に基づいて、前記仮想平面上における、各撮像位置から検出対象物までの仮想線を生成し、
前記仮想線が他の仮想線と交わった場合に、各画像情報から検出した検出対象物が同一物であると判定する、請求項２記載の画像処理装置。
前記検出対象物の座標に基づいて、前記仮想平面上における、各撮像位置から検出対象物までの仮想線を生成し、
前記仮想線が他の仮想線と交わった場合に、各画像情報から検出した検出対象物が同一物であると判定する、請求項２記載の画像処理装置。
【請求項4】
前記付加画像情報生成部は、前記画像情報における検出対象物の位置に、さらに、アイコン情報を関連付けた付加画像情報を生成する、請求項１から３のいずれか一項に記載の画像処理装置。
【請求項5】
前記出力部は、前記付加画像情報を出力する、請求項１から３のいずれか一項に記載の画像処理装置。
【請求項6】
画像変換部を含み、
前記画像情報の少なくとも一つが、全天球画像を含み、
前記画像情報が撮像方向情報を含み、
前記画像変換部は、撮像方向情報に基づいて、前記全天球画像を第１展開画像に変換し、
前記対象物検出部は、前記第１展開画像に含まれる検出対象物を検出する、請求項１から３のいずれか一項に記載の画像処理装置。
前記画像情報の少なくとも一つが、全天球画像を含み、
前記画像情報が撮像方向情報を含み、
前記画像変換部は、撮像方向情報に基づいて、前記全天球画像を第１展開画像に変換し、
前記対象物検出部は、前記第１展開画像に含まれる検出対象物を検出する、請求項１から３のいずれか一項に記載の画像処理装置。
【請求項7】
前記画像変換部は、さらに、前記全天球画像を、その撮像方向を変更した第２展開画像に変換し、
前記対象物検出部は、前記第１展開画像及び前記第２展開画像の少なくとも一方に含まれる検出対象物を検出する、請求項６記載の画像処理装置。
前記対象物検出部は、前記第１展開画像及び前記第２展開画像の少なくとも一方に含まれる検出対象物を検出する、請求項６記載の画像処理装置。
【請求項8】
画像情報取得工程、対象物検出工程、リスト情報生成工程、出力工程、付加情報取得工程、及び付加画像情報生成工程を含み、
前記画像情報取得工程は、画像情報を取得し、
前記対象物検出工程は、前記画像情報から検出対象物を検出し、
前記リスト情報生成工程は、前記検出対象物を含むリスト情報を生成し、
前記出力工程は、前記画像情報と前記リスト情報とを紐づけて出力し、
前記付加情報取得工程は、前記検出対象物の付加情報を取得し、
前記付加画像情報生成工程は、前記画像情報における各検出対象物の位置と、各検出対象物の付加情報とを紐づけた付加画像情報を生成する、画像処理方法。
前記画像情報取得工程は、画像情報を取得し、
前記対象物検出工程は、前記画像情報から検出対象物を検出し、
前記リスト情報生成工程は、前記検出対象物を含むリスト情報を生成し、
前記出力工程は、前記画像情報と前記リスト情報とを紐づけて出力し、
前記付加情報取得工程は、前記検出対象物の付加情報を取得し、
前記付加画像情報生成工程は、前記画像情報における各検出対象物の位置と、各検出対象物の付加情報とを紐づけた付加画像情報を生成する、画像処理方法。
【請求項9】
画像情報取得手順、対象物検出手順、リスト情報生成手順、出力手順、付加情報取得手順、及び付加画像情報生成手順を含み、
前記画像情報取得手順は、画像情報を取得し、
前記対象物検出手順は、前記画像情報から検出対象物を検出し、
前記リスト情報生成手順は、前記検出対象物を含むリスト情報を生成し、
前記出力手順は、前記画像情報と前記リスト情報とを紐づけて出力し、
前記付加情報取得手順は、前記検出対象物の付加情報を取得し、
前記付加画像情報生成手順は、前記画像情報における各検出対象物の位置と、各検出対象物の付加情報とを紐づけた付加画像情報を生成し、
前記各手順をコンピュータに実行させるためのプログラム。
前記画像情報取得手順は、画像情報を取得し、
前記対象物検出手順は、前記画像情報から検出対象物を検出し、
前記リスト情報生成手順は、前記検出対象物を含むリスト情報を生成し、
前記出力手順は、前記画像情報と前記リスト情報とを紐づけて出力し、
前記付加情報取得手順は、前記検出対象物の付加情報を取得し、
前記付加画像情報生成手順は、前記画像情報における各検出対象物の位置と、各検出対象物の付加情報とを紐づけた付加画像情報を生成し、
前記各手順をコンピュータに実行させるためのプログラム。
【請求項10】
画像情報取得手順、対象物検出手順、リスト情報生成手順、出力手順、付加情報取得手順、及び付加画像情報生成手順を含み、
前記画像情報取得手順は、画像情報を取得し、
前記対象物検出手順は、前記画像情報から検出対象物を検出し、
前記リスト情報生成手順は、前記検出対象物を含むリスト情報を生成し、
前記出力手順は、前記画像情報と前記リスト情報とを紐づけて出力し、
前記付加情報取得手順は、前記検出対象物の付加情報を取得し、
前記付加画像情報生成手順は、前記画像情報における各検出対象物の位置と、各検出対象物の付加情報とを紐づけた付加画像情報を生成し、
前記各手順をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
前記画像情報取得手順は、画像情報を取得し、
前記対象物検出手順は、前記画像情報から検出対象物を検出し、
前記リスト情報生成手順は、前記検出対象物を含むリスト情報を生成し、
前記出力手順は、前記画像情報と前記リスト情報とを紐づけて出力し、
前記付加情報取得手順は、前記検出対象物の付加情報を取得し、
前記付加画像情報生成手順は、前記画像情報における各検出対象物の位置と、各検出対象物の付加情報とを紐づけた付加画像情報を生成し、
前記各手順をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、プログラム及び記録媒体に関する。
【背景技術】
【0002】
不動産物件等において、物件の内見を支援するため、ＩＣＴシステムを利用して物件の画像等を表示するシステムが知られている（特許文献１）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００７－３３４４０５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、建物の内覧等における情報表示においては、画像に含まれる物品等に説明を付加したいという需要があるが、画像に含まれる対象物を指定して人手で情報を追加する必要があり手間である。
【0005】
そこで本発明は、簡便に画像中の対象物に情報を付加可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
前記目的を達成するために、本発明の画像処理装置は、
画像情報取得部、対象物検出部、リスト情報生成部、出力部、付加情報取得部、及び付加画像情報生成部を含み、
前記画像情報取得部は、画像情報を取得し、
前記対象物検出部は、前記画像情報から検出対象物を検出し、
前記リスト情報生成部は、前記検出対象物を含むリスト情報を生成し、
前記出力部は、前記画像情報と前記リスト情報とを紐づけて出力し、
前記付加情報取得部は、前記検出対象物の付加情報を取得し、
前記付加画像情報生成部は、前記画像情報における各検出対象物の位置と、各検出対象物の付加情報とを紐づけた付加画像情報を生成する。
画像情報取得部、対象物検出部、リスト情報生成部、出力部、付加情報取得部、及び付加画像情報生成部を含み、
前記画像情報取得部は、画像情報を取得し、
前記対象物検出部は、前記画像情報から検出対象物を検出し、
前記リスト情報生成部は、前記検出対象物を含むリスト情報を生成し、
前記出力部は、前記画像情報と前記リスト情報とを紐づけて出力し、
前記付加情報取得部は、前記検出対象物の付加情報を取得し、
前記付加画像情報生成部は、前記画像情報における各検出対象物の位置と、各検出対象物の付加情報とを紐づけた付加画像情報を生成する。
【0007】
本発明の画像処理方法は、
画像情報取得工程、対象物検出工程、リスト情報生成工程、出力工程、付加情報取得工程、及び付加画像情報生成工程を含み、
前記画像情報取得工程は、画像情報を取得し、
前記対象物検出工程は、前記画像情報から検出対象物を検出し、
前記リスト情報生成工程は、前記検出対象物を含むリスト情報を生成し、
前記出力工程は、前記画像情報と前記リスト情報とを紐づけて出力し、
前記付加情報取得工程は、前記検出対象物の付加情報を取得し、
前記付加画像情報生成工程は、前記画像情報における各検出対象物の位置と、各検出対象物の付加情報とを紐づけた付加画像情報を生成する。
画像情報取得工程、対象物検出工程、リスト情報生成工程、出力工程、付加情報取得工程、及び付加画像情報生成工程を含み、
前記画像情報取得工程は、画像情報を取得し、
前記対象物検出工程は、前記画像情報から検出対象物を検出し、
前記リスト情報生成工程は、前記検出対象物を含むリスト情報を生成し、
前記出力工程は、前記画像情報と前記リスト情報とを紐づけて出力し、
前記付加情報取得工程は、前記検出対象物の付加情報を取得し、
前記付加画像情報生成工程は、前記画像情報における各検出対象物の位置と、各検出対象物の付加情報とを紐づけた付加画像情報を生成する。
【0008】
本発明のプログラムは、
画像情報取得手順、対象物検出手順、リスト情報生成手順、出力手順、付加情報取得手順、及び付加画像情報生成手順を含み、
前記画像情報取得手順は、画像情報を取得し、
前記対象物検出手順は、前記画像情報から検出対象物を検出し、
前記リスト情報生成手順は、前記検出対象物を含むリスト情報を生成し、
前記出力手順は、前記画像情報と前記リスト情報とを紐づけて出力し、
前記付加情報取得手順は、前記検出対象物の付加情報を取得し、
前記付加画像情報生成手順は、前記画像情報における各検出対象物の位置と、各検出対象物の付加情報とを紐づけた付加画像情報を生成し、
前記各手順をコンピュータに実行させるためのプログラムである。
画像情報取得手順、対象物検出手順、リスト情報生成手順、出力手順、付加情報取得手順、及び付加画像情報生成手順を含み、
前記画像情報取得手順は、画像情報を取得し、
前記対象物検出手順は、前記画像情報から検出対象物を検出し、
前記リスト情報生成手順は、前記検出対象物を含むリスト情報を生成し、
前記出力手順は、前記画像情報と前記リスト情報とを紐づけて出力し、
前記付加情報取得手順は、前記検出対象物の付加情報を取得し、
前記付加画像情報生成手順は、前記画像情報における各検出対象物の位置と、各検出対象物の付加情報とを紐づけた付加画像情報を生成し、
前記各手順をコンピュータに実行させるためのプログラムである。
【0009】
本発明の記録媒体は、
画像情報取得手順、対象物検出手順、リスト情報生成手順、出力手順、付加情報取得手順、及び付加画像情報生成手順を含み、
前記画像情報取得手順は、画像情報を取得し、
前記対象物検出手順は、前記画像情報から検出対象物を検出し、
前記リスト情報生成手順は、前記検出対象物を含むリスト情報を生成し、
前記出力手順は、前記画像情報と前記リスト情報とを紐づけて出力し、
前記付加情報取得手順は、前記検出対象物の付加情報を取得し、
前記付加画像情報生成手順は、前記画像情報における各検出対象物の位置と、各検出対象物の付加情報とを紐づけた付加画像情報を生成し、
前記各手順をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
画像情報取得手順、対象物検出手順、リスト情報生成手順、出力手順、付加情報取得手順、及び付加画像情報生成手順を含み、
前記画像情報取得手順は、画像情報を取得し、
前記対象物検出手順は、前記画像情報から検出対象物を検出し、
前記リスト情報生成手順は、前記検出対象物を含むリスト情報を生成し、
前記出力手順は、前記画像情報と前記リスト情報とを紐づけて出力し、
前記付加情報取得手順は、前記検出対象物の付加情報を取得し、
前記付加画像情報生成手順は、前記画像情報における各検出対象物の位置と、各検出対象物の付加情報とを紐づけた付加画像情報を生成し、
前記各手順をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【0010】
本発明によれば、簡便に画像中の対象物に情報を付加できる。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
次に、本発明の実施形態について図を用いて説明する。本発明は、以下の実施形態には限定されない。以下の各図において、同一部分には、同一符号を付している。また、各実施形態の説明は、特に言及がない限り、互いの説明を援用でき、各実施形態の構成は、特に言及がない限り、組合せ可能である。
【0013】
［実施形態１］
本実施形態の画像処理装置について、図１を用いて説明する。図１は、本実施形態の画像処理装置１０の一例の構成を示すブロック図である。図１に示すように、画像処理装置１０（以下、「本装置１０」ともいう）は、画像情報取得部１１、対象物検出部１２、リスト情報生成部１３、出力部１４、付加情報取得部１５、及び付加画像情報生成部１６を含む。また、図示していないが、本装置１０は、例えば、記憶部を含んでもよい。
本実施形態の画像処理装置について、図１を用いて説明する。図１は、本実施形態の画像処理装置１０の一例の構成を示すブロック図である。図１に示すように、画像処理装置１０（以下、「本装置１０」ともいう）は、画像情報取得部１１、対象物検出部１２、リスト情報生成部１３、出力部１４、付加情報取得部１５、及び付加画像情報生成部１６を含む。また、図示していないが、本装置１０は、例えば、記憶部を含んでもよい。
【0014】
本装置１０は、例えば、前記各部を含む１つの装置でもよいし、前記各部が、通信回線網を介して接続可能な装置でもよい。また、本装置１０は、通信回線網を介して、後述する外部装置と接続可能である。通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。通信回線網は、例えば、インターネット回線、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）、電話回線、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＤＴＮ（Ｄｅｌａｙ Ｔｏｌｅｒａｎｔ Ｎｅｔｗｏｒｋｉｎｇ）、ＬＰＷＡ（Ｌｏｗ Ｐｏｗｅｒ Ｗｉｄｅ Ａｒｅａ）、Ｌ５Ｇ（ローカル５Ｇ）、等があげられる。無線通信としては、例えば、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ローカル５Ｇ、ＬＰＷＡ等が挙げられる。前記無線通信としては、各装置が直接通信する形態（Ａｄ Ｈｏｃ通信）、インフラストラクチャ（infrastructure通信）、アクセスポイントを介した間接通信等であってもよい。本装置１０は、例えば、システムとしてサーバに組み込まれていてもよい。また、本装置１０は、例えば、本発明のプログラムがインストールされたパーソナルコンピュータ（ＰＣ、例えば、デスクトップ型、ノート型）、スマートフォン、タブレット端末等であってもよい。さらに、本装置１０は、例えば、前記各部のうち少なくとも一つがサーバ上にあり、その他の前記各部が端末上にあるような、クラウドコンピューティングやエッジコンピューティング等の形態であってもよい。
【0015】
図２に、本装置１０のハードウェア構成のブロック図を例示する。本装置１０は、例えば、中央処理装置（ＣＰＵ、ＧＰＵ等）１０１、メモリ１０２、バス１０３、記憶装置１０４、入力装置１０５、出力装置１０６、通信デバイス１０７等を含む。本装置１０の各部は、それぞれのインタフェース（Ｉ／Ｆ）により、バス１０３を介して相互に接続されている。
【0016】
中央処理装置１０１は、コントローラ（システムコントローラ、Ｉ／Ｏコントローラ等）等により、他の構成と連携動作し、本装置１０の全体の制御を担う。本装置１０において、中央処理装置１０１により、例えば、本発明のプログラムやその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的には、例えば、中央処理装置１０１が、画像処理装置１０（以下、「本装置１０」ともいう）は、画像情報取得部１１、対象物検出部１２、リスト情報生成部１３、出力部１４、付加情報取得部１５、及び付加画像情報生成部１６として機能する。本装置１０は、演算装置として、ＣＰＵ、ＧＰＵ（Graphics Processing Unit）、ＡＰＵ（Accelerated Processing Unit）等の他の演算装置を備えてもよいし、これらの組合せを備えてもよい。
【0017】
バス１０３は、例えば、外部装置とも接続できる。前記外部装置は、例えば、外部記憶装置（外部データベース等）、プリンタ、外部入力装置、外部表示装置、スピーカ等の音声出力装置、カメラ等の外部撮像装置、および加速度センサ、地磁気センサ、方向センサ等の各種センサ等があげられる。本装置１０は、例えば、バス１０３に接続された通信デバイス１０７により、外部ネットワーク（前記通信回線網）に接続でき、外部ネットワークを介して、ユーザの端末等の他の装置と接続することもできる。
【0018】
メモリ１０２は、例えば、メインメモリ（主記憶装置）が挙げられる。中央処理装置１０１が処理を行う際には、例えば、後述する記憶装置１０４に記憶されている本発明のプログラム等の種々の動作プログラムを、メモリ１０２が読み込み、中央処理装置１０１は、メモリ１０２からデータを受け取って、プログラムを実行する。前記メインメモリは、例えば、ＲＡＭ（ランダムアクセスメモリ）である。また、メモリ１０２は、例えば、ＲＯＭ（読み出し専用メモリ）であってもよい。
【0019】
記憶装置１０４は、例えば、前記メインメモリ（主記憶装置）に対して、いわゆる補助記憶装置ともいう。前述のように、記憶装置１０４には、本発明のプログラムを含む動作プログラムが格納されている。記憶装置１０４は、例えば、記録媒体と、記録媒体に読み書きするドライブとの組合せであってもよい。前記記録媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、ＨＤ（ハードディスク）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＭＯ、ＤＶＤ、フラッシュメモリー、メモリーカード等が挙げられる。記憶装置１０４は、例えば、記録媒体とドライブとが一体化されたハードディスクドライブ（ＨＤＤ）、及びソリッドステートドライブ（ＳＳＤ）であってもよい。本装置１０が前記記憶部を含む場合、例えば、記憶装置１０４は、前記記憶部として機能する。
【0020】
本装置１０において、メモリ１０２及び記憶装置１０４は、ログ情報、外部データベース（図示せず）や外部の装置から取得した情報、本装置１０によって生成した情報、本装置１０が処理を実行する際に用いる情報等の種々の情報を記憶することも可能である。この場合、メモリ１０２及び記憶装置１０４は、例えば、前述の本装置のユーザの情報等を記憶していてもよい。なお、少なくとも一部の情報は、例えば、メモリ１０２及び記憶装置１０４以外の外部サーバに記憶されていてもよいし、複数の端末にブロックチェーン技術等を用いて分散して記憶されていてもよい。
【0021】
本装置１０は、例えば、さらに、入力装置１０５、出力装置１０６を備える。入力装置１０５は、例えば、タッチパネル、トラックパッド、マウス等のポインティングデバイス；キーボード；カメラ、スキャナ等の撮像手段；ＩＣカードリーダ、磁気カードリーダ等のカードリーダ；マイク等の音声入力手段；等があげられる。出力装置１０６は、例えば、ＬＥＤディスプレイ、液晶ディスプレイ等の表示装置；スピーカ等の音声出力装置；プリンタ；等があげられる。本実施形態において、入力装置１０５と出力装置１０６とは、別個に構成されているが、入力装置１０５と出力装置１０６とは、タッチパネルディスプレイのように、一体として構成されてもよい。
【0022】
つぎに、本実施形態の画像処理方法の一例を、図３のフローチャートに基づき説明する。本実施形態の画像処理方法は、例えば、図１または図２に示す画像処理装置１０を用いて、次のように実施できる。なお、本実施形態の画像処理方法は、図１または図２の画像処理装置１０の使用には限定されない。
【0023】
まず、画像情報取得部１１により、画像情報を取得する（Ｓ１、画像情報取得工程）。前記画像情報は、例えば、所定の領域を撮像した画像を含む。前記所定の領域は、特に制限されず、例えば、屋内でもよいし、屋外でもよい。前記所定の領域の具体例としては、オフィスビル、家屋、マンション等の建物内部；工事現場；公園；イベント会場；観光スポット；等があげられる。前記画像は、例えば、静止画でもよいし、動画でもよく、動画から切り出した静止画でもよい。前記画像は、例えば、１つでもよいし、２以上の複数であってもよい。前記画像が複数である場合、各画像の撮像位置は、同じでもよいし、異なっていてもよい。撮像位置が同じである場合、各画像は、例えば、異なる方向を撮像した画像を含むことが好ましい。また、前記画像は、例えば、３６０°カメラで撮像した全天球画像であってもよい。なお、全天球画像を用いる場合の処理については、実施形態２で後述する。画像情報取得部１１は、例えば、本装置１０のユーザが、入力装置１０５である撮像装置が撮像した画像と、前記マーカ識別情報を入力することにより、直接前記データセットを取得してもよいし、前記通信回線網を介して前記データセットを記録した外部のデータベース又はサーバから前記データセットを取得してもよい。
【0024】
前記画像情報は、例えば、撮像位置情報、撮像方向情報、及び撮像時間情報を含んでもよい。前記撮像位置情報は、例えば、前記画像を撮像した、前記所定の領域を示す位置情報（例えば、前記所定エリアを示す仮想平面上における座標、前記所定領域の住所、又はＧＰＳ：Global Positioning System情報等）である。前記撮像方向情報は、例えば、前記撮像装置の方向センサ又は地磁気センサの情報があげられる。前記撮像時間情報は、前記画像を撮像した日時の情報である。前記撮像位置情報、前記撮像方向情報、及び前記撮像日時情報の少なくとも一つは、例えば、前記画像にメタデータとして付与されている情報であってもよいし、前記画像とは別途取得した情報であってもよい。
【0025】
画像情報取得部１１は、例えば、前記所定エリアを複数の位置から撮像した複数の画像情報を取得してもよい。この場合、前記複数の画像情報は、例えば、前記所定エリアにおける撮像位置情報及び撮像方向情報を含む。この場合、前記撮像位置情報は、例えば、前記所定エリアを示す仮想平面上における座標であることが好ましい。前記仮想平面は、例えば、前記所定エリアを示す見取り図等があげられる。
【0026】
つぎに、対象物検出部１２により、前記画像情報から検出対象物を検出する（Ｓ２、対象物検出工程）。前記画像情報が複数ある場合、対象物検出部１２は、例えば、各画像情報から検出対象物を検出する。前記検出対象物は、特に制限されず、公知の画像解析手法により検出可能な物体であればよく、その種類は特に制限されず、生物でも無生物でもよい。検出対象物の具体例としては、テレビ等の家電；家具；観葉植物；階段、扉、窓、柱、梁等の構造物；等があげられる。対象物検出部１２による検出対象物の検出は、検出対象物の種類に応じて適切な画像解析手法により実行できる。前記画像解析手法は、例えば、機械学習を利用した方法でもよいし、機械学習を利用しない方法でもよい。対象物検出部１２は、例えば、Ｏｐｅｎ ＣＶを利用して前記対象物を検出できる。具体例として、例えば、Ｏｐｅｎ ＣＶ等のあらかじめ決められた多数のパターンを、様々な学習画像に対してあてはめておき、画像の輝度変化等を特徴として抽出するカスケード分類器；ＳＳＤ（Single Shot Multibox Detector）、ＹＯＬＯ（You Only Look Once）等の深層学習を用いた物体検出器；等を用いて前記検出対象物を検出できる。対象物検出部１２は、例えば、前記画像において、検出した対象物をバウンディングボックス等で境界を指定してもよい。対象物検出部１２は、例えば、検出した検出対象物毎に識別情報を付与してもよい。また、対象物検出部１２は、例えば、検出した検出対象物について、その種類を識別することが好ましい。
【0027】
つぎに、リスト情報生成部１３は、前記検出対象物を含むリスト情報を生成する（Ｓ３、リスト情報生成工程）。前記リスト情報は、前記画像情報から検出された検出対象物を一覧可能な情報であり、検出対象物毎に付加情報の入力欄を含む。前記リスト情報は、例えば、下記表１に示すように、検出対象物の名称、撮影場所、後述するアイコンの種類、付加情報の入力欄等を含んでもよい。
【0028】
【表1】
【0029】
前記画像情報が前記所定エリアを複数の位置から撮像した複数の画像情報を含む場合、リスト情報生成部１３は、複数の撮像位置から検出された同一の検出対象物については、いずれか一つのみをリスト情報に追加してもよい。具体的に、リスト情報生成部１３は、例えば、まず、前記撮像位置情報、前記撮像方向情報、及び前記画像情報に基づいて、前記所定エリアを含む仮想平面上における各検出対象物の座標を推定する。前記座標の推定は、まず、前記画像中の検出対象物の大きさ（ピクセル数）と、検出対象物の寸法情報と、撮像装置の焦点距離とに基づいて、前記撮像装置から前記検出対象物までの距離を推定し、前記距離と、前記撮像方向情報とに基づいて、前記所定エリアを含む仮想平面上における検出対象物の座標を推定できる。つぎに、リスト情報生成部１３は、前記座標に基づいて、各画像情報から検出した検出対象物がそれぞれ同一物であるか否かを判定する。具体的には、リスト情報生成部１３は、例えば、前記座標に基づいて、前記仮想平面上における、各撮像位置から検出対象物までの仮想線を生成し、前記仮想線が他の仮想線と交わった場合に、前記画像情報から検出した検出対象物が同一物であると判定できる。そして、リスト情報生成部１３は、各画像情報から検出した検出対象物が同一物であると判定した場合は、一方の画像情報から検出した検出対象物を含む前記リスト情報を生成し、同一物でないと判定した場合は、検出した検出対象物を含むリスト情報を生成する。これにより、リスト情報が、複数の画像情報に含まれる同一物を重複して含むことを抑制できる。
【0030】
つぎに、出力部１４は、前記画像情報と前記リスト情報とを紐づけて出力する（Ｓ４、出力工程）。出力部１４は、例えば、本措置１０の出力装置１０６であるディスプレイに前記画像情報と前記リスト情報とを出力してもよいし、本装置外の端末に出力してもよい。前記本装置外の端末は、例えば、ユーザの端末である。
【0031】
つぎに、付加情報取得部１５は、前記検出対象物の付加情報を取得する（Ｓ５、付加情報取得工程）。前記付加情報は、例えば、前記検出対象物に対し、情報を追加（付加）する情報があげられ、その内容およびデータ形式は特に制限されない。前記付加情報は、例えば、テキスト情報でもよいし、画像情報でもよいし、動画情報でもよいし、音声情報でもよい。下記表２に示すように、出力されたリスト情報は、画像情報から検出された検出対象物毎に付加情報の入力欄を含むため、ユーザは、自身の端末に表示されたリスト情報に前記付加情報を入力する。そして、付加情報取得部１５は、例えば、ユーザが前記リスト情報の付加情報入力欄に入力した付加情報を取得できる。
【0032】
【表2】
【0033】
そして、付加画像情報生成部１６は、前記画像情報における各検出対象物の位置と、各検出対象物の付加情報とを紐づけた付加画像情報を生成し（Ｓ６、画像情報生成工程）、処理を終了する（ＥＮＤ）。付加画像情報生成部１６は、例えば、前記画像情報における各検出対象物の位置に、前記付加情報へのリンク情報を埋め込むことで前記付加画像情報を生成できる。付加画像情報生成部１６は、例えば、前記画像情報が含むすべての検出対象物について、リンク情報の埋め込みを実行してもよいし、その一部の検出対象物についてリンク情報の埋め込みを実行してもよい。また、付加画像情報生成部１６は、例えば、さらに、前記画像情報における検出対象物の位置にアイコン情報を関連付けてもよい。
【0034】
図４を用いて、本実施形態の画像処理装置１０の利用の具体例を説明するが、本発明は以下の例示に何ら制限されない。以下の説明においては、前記所定の領域が、家屋の一室である場合を例に挙げて説明するが、本発明は以下の説明には何ら制限されない。
【0035】
図４（Ａ）は、所定の領域である家屋の一室を、天井方向から見下ろした仮想平面２０を示す模式図である。図４（Ａ）に示すように、前記所定の領域には、検出対象物Ａ（符号２１Ａ）、検出対象物Ｂ（符号２１Ｂ）、及び検出対象物Ｃ（符号２１Ｃ）が配置されている。まず、本装置１０の処理に先立って、ユーザは、図４（Ａ）に示す撮像位置２２Ａに立ち、撮像位置２２Ａの黒色矢印の方向（図４における右上方向）を撮像して、検出対象物２１Ａ、２１Ｂ、及び２１Ｃが含まれる画像２３Ａを撮像する（図４（Ｂ））。同様に、図４（Ａ）に示す撮像位置２２Ｂに立ち、黒色矢印の方向（図４における左下方向）を撮像して、検出対象部２１Ｂ及び２１Ａが含まれる画像２３Ｂを撮像する（図４（Ｂ））。本装置１０は、画像２３Ａ、撮像位置２２Ａ、及び撮像方向情報を含む画像情報と、画像２３Ｂ、撮像位置２２Ｂ、及び撮像方向情報を含む画像情報とを取得し、画像２３Ａから検出対象物２１Ａ、２１Ｂ、及び２１Ｃを検出し、画像２３Ｂから検出対象物２１Ａ及び２１Ｂを検出する。つぎに、本装置１０は、図４（Ｃ）に示すように、前記撮像位置に基づいて、仮想平面２０における撮像位置の座標を推定し、さらに、前記撮像位置、撮像方向、及び画像（２３Ａ及び２３Ｂ）に基づいて、仮想平面２０上における検出対象物２１Ａ、２１Ｂ、及び２１Ｃの座標を推定する。そして、図４（Ｃ）に破線で示す、撮像位置２２Ａと、検出対象物２１Ａ、２１Ｂ、又は２１Ｃを繋ぐ仮想線と、図４（Ｃ）に実線で示す、撮像位置２２Ｂと、検出対象物２１Ａ、又は２１Ｂを繋ぐ仮想線とを生成する。そして、実線の仮想線と、点線の仮想線とが交差する検出対象物２１Ａについては、画像２３Ａに含まれる検出対象物２１Ａと画像２３Ｂに含まれる検出対象物２１Ａとが同一物であると判定する。同様に、実線の仮想線と、点線の仮想線とが交差する検出対象物２１Ｂについても、画像２３Ａに含まれる検出対象物２１Ｂと画像２３Ｂに含まれる検出対象物２１Ｂとが同一物であると判定する。そして、検出対象物２１Ａ、２１Ｂ、及び２１Ｃを含むリスト情報を生成し、これをユーザ端末に出力する。ユーザは、検出対象物２１Ａ、２１Ｂ、及び２１Ｃについての付加情報を入力し、本装置１０に送信する。本装置１０は、検出対象物２１Ａ、２１Ｂ、及び２１Ｃの付加情報を取得すると、図４（Ｂ）に示す画像２３Ａ及び２３Ｂにおける検出対象物２１Ａ、２１Ｂ、及び２１Ｃの位置に、各検出対象物の付加情報へのリンク埋め込み、及び、アイコン情報を紐づけて付加画像情報を生成する。これにより、ユーザは、付加画像情報における検出対象物の位置を選択（クリック、タップ等）することにより、容易に付加情報の閲覧及び／又は編集を行うことができる。
【0036】
本実施形態の画像処理装置によれば、画像から検出対象物を検出し、リスト情報として出力することで、画像に含まれる検出対象物に対し、容易に付加情報を付与できる。このため、本実施形態の画像処理装置によれば、例えば、前記所定領域を撮像した画像において、物品等の詳細情報を付加した情報を生成できるため、各種現場における写真を用いた情報の共有、写真を用いた賃貸物件の広告コンテンツの作成等、様々な分野での利用が期待できる。
【0037】
［実施形態２］
実施形態２は、本発明の画像処理装置の他の例である。
実施形態２は、本発明の画像処理装置の他の例である。
【0038】
本実施形態の画像処理装置は、実施形態１の画像処理装置１０の構成に加えて、画像変換部を含むこと以外は前記実施形態１の画像処理装置１０と同様であり、その説明を援用できる。本実施形態の画像処理装置１０Ａは、例えば、画像変換部を含み、前記画像情報の少なくとも一つが、全天球画像を含み、前記画像情報が撮像方向情報を含み、前記画像変換部は、撮像方向情報に基づいて、前記全天球画像を第１展開画像に変換し、前記対象物検出部は、前記第１展開画像に含まれる検出対象物を検出する。
【0039】
図５は、本実施形態の画像処理装置１０Ａの一例の構成を示すブロック図である。図５に示すように、画像処理装置１０Ａは、実施形態１の画像処理装置１０の構成に加えて、画像変換部１７を備える。画像処理装置１０Ａのハードウェア構成は、図２の画像処理装置１０のハードウェア構成において、ＣＰＵ１０１が、図１の画像処理装置１０の構成に代えて、図５の画像処理装置１０Ａの構成を備える以外は同様である。以下、画像変換部１７の処理を説明する。画像変換部１７の処理は、例えば、前記実施形態１で説明した図３のフローチャートにおける任意の位置に適宜挿入できる。
【0040】
本実施形態において、前記画像情報の少なくとも一つが、全天球画像を含む。前記全天球画像は、例えば、３６０°カメラで撮像した画像であり、その撮像方向についての情報（例えば、撮像装置の前方、右方向、左方向、後ろ方向、上方向、及び下方向）が紐づけられている。前記全天球画像の形式は、特に制限されない。画像変換部１７は、例えば、前記撮像方向情報に基づいて、前記全天球画像を第１展開画像に変換する（画像変換工程）。図６を用いて、画像変換部１７の処理について説明する。図６上部に示すように、全天球画像１７１は、例えば、撮像装置の前方（Front）、左方向（Left）、右方向（Right）、後方（Back）を含む。画像変換部１７は、全天球画像１７１を図６下部に示す第１展開画像１７２に変換する。第１展開画像１７２は、図６に示すように、全天球画像１７１について、前記撮像方向毎に、画像を６枚に分割し、上下の歪みを補正した展開図面である。具体的に、画像変換部１７は、例えば、Ｏｐｅｎ ＧＬ等の公知のグラフィックスライブラリ、又はＪａｖａｓｃｒｉｐｔで構築可能なＷｅｂ ＧＬ等を用いて、前記全天球画像をＣＵＢＥ変換することにより、前記第１展開画像に変換できる。そして、対象物検出部１２は、前記第１展開画像に含まれる検出対象物を検出できる。全天球画像は、その特性上、画像の歪みが大きいため、画像変換部１７により第１展開画像に変換することにより、精度よくマーカを検出できる。
【0041】
また、画像変換部１７は、例えば、さらに、前記全天球画像を、その撮像方向を変更した第２展開画像に変換してもよい。この場合、例えば、画像変換部１７は、前記全天球画像の撮像方向を所定角度変更すること以外は同様にして、前記第２展開画像に変換できる。前記所定角度は、特に制限されず、例えば、３０°、６０°、９０°、１２０°、１５０°等があげられるが、９０°変換することが好ましい。そして、対象物検出部１２は、例えば前記第１展開画像及び前記第２展開画像の少なくとも一方に含まれる検出対象物を検出できる。このような態様によれば、例えば、前記第１展開画像の各撮像方向の画像と画像との間に存在する検出対象物を検出可能となるため、より精度よく検出対象物を検出できる。
【0042】
本実施形態の画像処理装置は、例えば、画像変換部により全天球画像を展開画像（第１展開画像及び第２展開画像）に変換できる。このため、全天球画像を用いて検出対象物を検出できるため、全天球画像を含む画像から検出対象物を検出し、付加情報を紐づけることができる。したがって、本実施形態の画像処理装置によれば、各種現場における３６０°写真（全天球画像）を用いた情報の共有、３６０°写真（全天球画像）を用いた賃貸物件の広告コンテンツの作成が可能となる。
【0043】
［実施形態３］
本実施形態のプログラムは、前述の画像処理方法の各工程を、コンピュータに実行させるためのプログラムである。具体的に、本実施形態のプログラムは、コンピュータに、画像情報取得手順、対象物検出手順、リスト情報生成手順、出力手順、付加情報取得手順、及び付加画像情報生成手順を実行させるためのプログラムである。
本実施形態のプログラムは、前述の画像処理方法の各工程を、コンピュータに実行させるためのプログラムである。具体的に、本実施形態のプログラムは、コンピュータに、画像情報取得手順、対象物検出手順、リスト情報生成手順、出力手順、付加情報取得手順、及び付加画像情報生成手順を実行させるためのプログラムである。
【0044】
前記画像情報取得部手順は、複数のデータセットを取得し、
前記画像情報取得手順は、画像情報を取得し、
前記対象物検出手順は、前記画像情報から検出対象物を検出し、
前記リスト情報生成手順は、前記検出対象物を含むリスト情報を生成し、
前記出力手順は、前記リスト情報を出力し、
前記付加情報取得手順は、前記検出対象物の付加情報を取得し、
前記付加画像情報生成手順は、前記画像情報における各検出対象物の位置と、各検出対象物の付加情報とを紐づけた付加画像情報を生成する。
前記画像情報取得手順は、画像情報を取得し、
前記対象物検出手順は、前記画像情報から検出対象物を検出し、
前記リスト情報生成手順は、前記検出対象物を含むリスト情報を生成し、
前記出力手順は、前記リスト情報を出力し、
前記付加情報取得手順は、前記検出対象物の付加情報を取得し、
前記付加画像情報生成手順は、前記画像情報における各検出対象物の位置と、各検出対象物の付加情報とを紐づけた付加画像情報を生成する。
【0045】
また、本実施形態のプログラムは、コンピュータを、画像情報取得手順、対象物検出手順、リスト情報生成手順、出力手順、付加情報取得手順、及び付加画像情報生成手順として機能させるプログラムということもできる。
【0046】
本実施形態のプログラムは、前記本発明の画像処理装置および画像処理方法における記載を援用できる。前記各手順は、例えば、「手順」を「処理」と読み替え可能である。また、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてもよい。前記記録媒体は、例えば、非一時的なコンピュータ可読記録媒体（non-transitory computer-readable storage medium）である。前記記録媒体は、特に制限されず、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク、フロッピー（登録商標）ディスク（ＦＤ）等があげられる。
【0047】
以上、実施形態を参照して本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をできる。
【0048】
＜付記＞
上記の実施形態の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
（付記１）
画像情報取得部、対象物検出部、リスト情報生成部、出力部、付加情報取得部、及び付加画像情報生成部を含み、
前記画像情報取得部は、画像情報を取得し、
前記対象物検出部は、前記画像情報から検出対象物を検出し、
前記リスト情報生成部は、前記検出対象物を含むリスト情報を生成し、
前記出力部は、前記画像情報と前記リスト情報とを紐づけて出力し、
前記付加情報取得部は、前記検出対象物の付加情報を取得し、
前記付加画像情報生成部は、前記画像情報における各検出対象物の位置と、各検出対象物の付加情報とを紐づけた付加画像情報を生成する、画像処理装置。
（付記２）
前記画像情報取得部は、前記所定エリアを複数の位置から撮像した複数の画像情報を取得し、
前記画像情報が、前記所定エリアにおける撮像位置情報及び撮像方向情報を含み、
前記対象物検出部は、各画像情報から検出対象物を検出し、
前記リスト情報生成部は、
前記撮像位置情報、前記撮像方向情報、及び前記画像情報に基づいて、前記所定エリアを含む仮想平面上における各検出対象物の座標を推定し、
前記座標に基づいて、各画像情報から検出した検出対象物がそれぞれ同一物であるか否かを判定し、
同一物であると判定した場合は、一方の画像情報から検出した検出対象物を含む前記リスト情報を生成し、
同一物でないと判定した場合は、検出した検出対象物を含むリスト情報を生成する、付記１記載の画像処理装置。
（付記３）
前記リスト情報生成部は、
前記検出対象物の座標に基づいて、前記仮想平面上における、各撮像位置から検出対象物までの仮想線を生成し、
前記仮想線が他の仮想線と交わった場合に、各画像情報から検出した検出対象物が同一物であると判定する、付記２記載の画像処理装置。
（付記４）
前記付加画像情報生成部は、前記画像情報における検出対象物の位置に、さらに、アイコン情報を関連付けた付加画像情報を生成する、付記１から３のいずれかに記載の画像処理装置。
（付記５）
前記出力部は、前記付加画像情報を出力する、付記１から４のいずれかに記載の画像処理装置。
（付記６）
画像変換部を含み、
前記画像情報の少なくとも一つが、全天球画像を含み、
前記画像情報が撮像方向情報を含み、
前記画像変換部は、撮像方向情報に基づいて、前記全天球画像を第１展開画像に変換し、
前記対象物検出部は、前記第１展開画像に含まれる検出対象物を検出する、付記１から５のいずれかに記載の画像処理装置。
（付記７）
前記画像変換部は、さらに、前記全天球画像を、その撮像方向を変更した第２展開画像に変換し、
前記対象物検出部は、前記第１展開画像及び前記第２展開画像の少なくとも一方に含まれる検出対象物を検出する、付記６記載の画像処理装置。
（付記８）
画像情報取得工程、対象物検出工程、リスト情報生成工程、出力工程、付加情報取得工程、及び付加画像情報生成工程を含み、
前記画像情報取得工程は、画像情報を取得し、
前記対象物検出工程は、前記画像情報から検出対象物を検出し、
前記リスト情報生成工程は、前記検出対象物を含むリスト情報を生成し、
前記出力工程は、前記画像情報と前記リスト情報とを紐づけて出力し、
前記付加情報取得工程は、前記検出対象物の付加情報を取得し、
前記付加画像情報生成工程は、前記画像情報における各検出対象物の位置と、各検出対象物の付加情報とを紐づけた付加画像情報を生成する、画像処理方法。
（付記９）
前記画像情報取得工程は、前記所定エリアを複数の位置から撮像した複数の画像情報を取得し、
前記画像情報が、前記所定エリアにおける撮像位置情報及び撮像方向情報を含み、
前記対象物検出工程は、各画像情報から検出対象物を検出し、
前記リスト情報生成工程は、
前記撮像位置情報、前記撮像方向情報、及び前記画像情報に基づいて、前記所定エリアを含む仮想平面上における各検出対象物の座標を推定し、
前記座標に基づいて、各画像情報から検出した検出対象物がそれぞれ同一物であるか否かを判定し、
同一物であると判定した場合は、一方の画像情報から検出した検出対象物を含む前記リスト情報を生成し、
同一物でないと判定した場合は、検出した検出対象物を含むリスト情報を生成する、付記８記載の画像処理方法。
（付記１０）
前記リスト情報生成工程は、
前記検出対象物の座標に基づいて、前記仮想平面上における、各撮像位置から検出対象物までの仮想線を生成し、
前記仮想線が他の仮想線と交わった場合に、各画像情報から検出した検出対象物が同一物であると判定する、付記９記載の画像処理方法。
（付記１１）
前記付加画像情報生成工程は、前記画像情報における検出対象物の位置に、さらに、アイコン情報を関連付けた付加画像情報を生成する、付記８から１０のいずれかに記載の画像処理方法。
（付記１２）
前記出力工程は、前記付加画像情報を出力する、付記８から１１のいずれかに記載の画像処理方法。
（付記１３）
画像変換工程を含み、
前記画像情報の少なくとも一つが、全天球画像を含み、
前記画像情報が撮像方向情報を含み、
前記画像変換工程は、撮像方向情報に基づいて、前記全天球画像を第１展開画像に変換し、
前記対象物検出工程は、前記第１展開画像に含まれる検出対象物を検出する、付記８から１２のいずれかに記載の画像処理方法。
（付記１４）
前記画像変換工程は、さらに、前記全天球画像を、その撮像方向を変更した第２展開画像に変換し、
前記対象物検出工程は、前記第１展開画像及び前記第２展開画像の少なくとも一方に含まれる検出対象物を検出する、付記１３記載の画像処理方法。
（付記１５）
画像情報取得手順、対象物検出手順、リスト情報生成手順、出力手順、付加情報取得手順、及び付加画像情報生成手順を含み、
前記画像情報取得手順は、画像情報を取得し、
前記対象物検出手順は、前記画像情報から検出対象物を検出し、
前記リスト情報生成手順は、前記検出対象物を含むリスト情報を生成し、
前記出力手順は、前記画像情報と前記リスト情報とを紐づけて出力し、
前記付加情報取得手順は、前記検出対象物の付加情報を取得し、
前記付加画像情報生成手順は、前記画像情報における各検出対象物の位置と、各検出対象物の付加情報とを紐づけた付加画像情報を生成し、
前記各手順をコンピュータに実行させるためのプログラム。
（付記１６）
前記画像情報取得手順は、前記所定エリアを複数の位置から撮像した複数の画像情報を取得し、
前記画像情報が、前記所定エリアにおける撮像位置情報及び撮像方向情報を含み、
前記対象物検出手順は、各画像情報から検出対象物を検出し、
前記リスト情報生成手順は、
前記撮像位置情報、前記撮像方向情報、及び前記画像情報に基づいて、前記所定エリアを含む仮想平面上における各検出対象物の座標を推定し、
前記座標に基づいて、各画像情報から検出した検出対象物がそれぞれ同一物であるか否かを判定し、
同一物であると判定した場合は、一方の画像情報から検出した検出対象物を含む前記リスト情報を生成し、
同一物でないと判定した場合は、検出した検出対象物を含むリスト情報を生成する、付記１５記載のプログラム。
（付記１７）
前記リスト情報生成手順は、
前記検出対象物の座標に基づいて、前記仮想平面上における、各撮像位置から検出対象物までの仮想線を生成し、
前記仮想線が他の仮想線と交わった場合に、各画像情報から検出した検出対象物が同一物であると判定する、付記１６記載のプログラム。
（付記１８）
前記付加画像情報生成手順は、前記画像情報における検出対象物の位置に、さらに、アイコン情報を関連付けた付加画像情報を生成する、付記１５から１７のいずれかに記載のプログラム。
（付記１９）
前記出力手順は、前記付加画像情報を出力する、付記１５から１８のいずれかに記載のプログラム。
（付記２０）
画像変換手順を含み、
前記画像情報の少なくとも一つが、全天球画像を含み、
前記画像情報が撮像方向情報を含み、
前記画像変換手順は、撮像方向情報に基づいて、前記全天球画像を第１展開画像に変換し、
前記対象物検出手順は、前記第１展開画像に含まれる検出対象物を検出する、付記１５から１９のいずれかに記載のプログラム。
（付記２１）
前記画像変換手順は、さらに、前記全天球画像を、その撮像方向を変更した第２展開画像に変換し、
前記対象物検出手順は、前記第１展開画像及び前記第２展開画像の少なくとも一方に含まれる検出対象物を検出する、付記２０記載のプログラム。
（付記２２）
画像情報取得手順、対象物検出手順、リスト情報生成手順、出力手順、付加情報取得手順、及び付加画像情報生成手順を含み、
前記画像情報取得手順は、画像情報を取得し、
前記対象物検出手順は、前記画像情報から検出対象物を検出し、
前記リスト情報生成手順は、前記検出対象物を含むリスト情報を生成し、
前記出力手順は、前記画像情報と前記リスト情報とを紐づけて出力し、
前記付加情報取得手順は、前記検出対象物の付加情報を取得し、
前記付加画像情報生成手順は、前記画像情報における各検出対象物の位置と、各検出対象物の付加情報とを紐づけた付加画像情報を生成し、
前記各手順をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
（付記２３）
前記画像情報取得手順は、前記所定エリアを複数の位置から撮像した複数の画像情報を取得し、
前記画像情報が、前記所定エリアにおける撮像位置情報及び撮像方向情報を含み、
前記対象物検出手順は、各画像情報から検出対象物を検出し、
前記リスト情報生成手順は、
前記撮像位置情報、前記撮像方向情報、及び前記画像情報に基づいて、前記所定エリアを含む仮想平面上における各検出対象物の座標を推定し、
前記座標に基づいて、各画像情報から検出した検出対象物がそれぞれ同一物であるか否かを判定し、
同一物であると判定した場合は、一方の画像情報から検出した検出対象物を含む前記リスト情報を生成し、
同一物でないと判定した場合は、検出した検出対象物を含むリスト情報を生成する、付記２２記載の記録媒体。
（付記２４）
前記リスト情報生成手順は、
前記検出対象物の座標に基づいて、前記仮想平面上における、各撮像位置から検出対象物までの仮想線を生成し、
前記仮想線が他の仮想線と交わった場合に、各画像情報から検出した検出対象物が同一物であると判定する、付記２３記載の記録媒体。
（付記２５）
前記付加画像情報生成手順は、前記画像情報における検出対象物の位置に、さらに、アイコン情報を関連付けた付加画像情報を生成する、付記２２から２４のいずれかに記載の記録媒体。
（付記２６）
前記出力手順は、前記付加画像情報を出力する、付記２２から２５のいずれかに記載の記録媒体。
（付記２７）
画像変換手順を含み、
前記画像情報の少なくとも一つが、全天球画像を含み、
前記画像情報が撮像方向情報を含み、
前記画像変換手順は、撮像方向情報に基づいて、前記全天球画像を第１展開画像に変換し、
前記対象物検出手順は、前記第１展開画像に含まれる検出対象物を検出する、付記２２から２６のいずれかに記載の記録媒体。
（付記２８）
前記画像変換手順は、さらに、前記全天球画像を、その撮像方向を変更した第２展開画像に変換し、
前記対象物検出手順は、前記第１展開画像及び前記第２展開画像の少なくとも一方に含まれる検出対象物を検出する、付記２７記載の記録媒体。
上記の実施形態の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
（付記１）
画像情報取得部、対象物検出部、リスト情報生成部、出力部、付加情報取得部、及び付加画像情報生成部を含み、
前記画像情報取得部は、画像情報を取得し、
前記対象物検出部は、前記画像情報から検出対象物を検出し、
前記リスト情報生成部は、前記検出対象物を含むリスト情報を生成し、
前記出力部は、前記画像情報と前記リスト情報とを紐づけて出力し、
前記付加情報取得部は、前記検出対象物の付加情報を取得し、
前記付加画像情報生成部は、前記画像情報における各検出対象物の位置と、各検出対象物の付加情報とを紐づけた付加画像情報を生成する、画像処理装置。
（付記２）
前記画像情報取得部は、前記所定エリアを複数の位置から撮像した複数の画像情報を取得し、
前記画像情報が、前記所定エリアにおける撮像位置情報及び撮像方向情報を含み、
前記対象物検出部は、各画像情報から検出対象物を検出し、
前記リスト情報生成部は、
前記撮像位置情報、前記撮像方向情報、及び前記画像情報に基づいて、前記所定エリアを含む仮想平面上における各検出対象物の座標を推定し、
前記座標に基づいて、各画像情報から検出した検出対象物がそれぞれ同一物であるか否かを判定し、
同一物であると判定した場合は、一方の画像情報から検出した検出対象物を含む前記リスト情報を生成し、
同一物でないと判定した場合は、検出した検出対象物を含むリスト情報を生成する、付記１記載の画像処理装置。
（付記３）
前記リスト情報生成部は、
前記検出対象物の座標に基づいて、前記仮想平面上における、各撮像位置から検出対象物までの仮想線を生成し、
前記仮想線が他の仮想線と交わった場合に、各画像情報から検出した検出対象物が同一物であると判定する、付記２記載の画像処理装置。
（付記４）
前記付加画像情報生成部は、前記画像情報における検出対象物の位置に、さらに、アイコン情報を関連付けた付加画像情報を生成する、付記１から３のいずれかに記載の画像処理装置。
（付記５）
前記出力部は、前記付加画像情報を出力する、付記１から４のいずれかに記載の画像処理装置。
（付記６）
画像変換部を含み、
前記画像情報の少なくとも一つが、全天球画像を含み、
前記画像情報が撮像方向情報を含み、
前記画像変換部は、撮像方向情報に基づいて、前記全天球画像を第１展開画像に変換し、
前記対象物検出部は、前記第１展開画像に含まれる検出対象物を検出する、付記１から５のいずれかに記載の画像処理装置。
（付記７）
前記画像変換部は、さらに、前記全天球画像を、その撮像方向を変更した第２展開画像に変換し、
前記対象物検出部は、前記第１展開画像及び前記第２展開画像の少なくとも一方に含まれる検出対象物を検出する、付記６記載の画像処理装置。
（付記８）
画像情報取得工程、対象物検出工程、リスト情報生成工程、出力工程、付加情報取得工程、及び付加画像情報生成工程を含み、
前記画像情報取得工程は、画像情報を取得し、
前記対象物検出工程は、前記画像情報から検出対象物を検出し、
前記リスト情報生成工程は、前記検出対象物を含むリスト情報を生成し、
前記出力工程は、前記画像情報と前記リスト情報とを紐づけて出力し、
前記付加情報取得工程は、前記検出対象物の付加情報を取得し、
前記付加画像情報生成工程は、前記画像情報における各検出対象物の位置と、各検出対象物の付加情報とを紐づけた付加画像情報を生成する、画像処理方法。
（付記９）
前記画像情報取得工程は、前記所定エリアを複数の位置から撮像した複数の画像情報を取得し、
前記画像情報が、前記所定エリアにおける撮像位置情報及び撮像方向情報を含み、
前記対象物検出工程は、各画像情報から検出対象物を検出し、
前記リスト情報生成工程は、
前記撮像位置情報、前記撮像方向情報、及び前記画像情報に基づいて、前記所定エリアを含む仮想平面上における各検出対象物の座標を推定し、
前記座標に基づいて、各画像情報から検出した検出対象物がそれぞれ同一物であるか否かを判定し、
同一物であると判定した場合は、一方の画像情報から検出した検出対象物を含む前記リスト情報を生成し、
同一物でないと判定した場合は、検出した検出対象物を含むリスト情報を生成する、付記８記載の画像処理方法。
（付記１０）
前記リスト情報生成工程は、
前記検出対象物の座標に基づいて、前記仮想平面上における、各撮像位置から検出対象物までの仮想線を生成し、
前記仮想線が他の仮想線と交わった場合に、各画像情報から検出した検出対象物が同一物であると判定する、付記９記載の画像処理方法。
（付記１１）
前記付加画像情報生成工程は、前記画像情報における検出対象物の位置に、さらに、アイコン情報を関連付けた付加画像情報を生成する、付記８から１０のいずれかに記載の画像処理方法。
（付記１２）
前記出力工程は、前記付加画像情報を出力する、付記８から１１のいずれかに記載の画像処理方法。
（付記１３）
画像変換工程を含み、
前記画像情報の少なくとも一つが、全天球画像を含み、
前記画像情報が撮像方向情報を含み、
前記画像変換工程は、撮像方向情報に基づいて、前記全天球画像を第１展開画像に変換し、
前記対象物検出工程は、前記第１展開画像に含まれる検出対象物を検出する、付記８から１２のいずれかに記載の画像処理方法。
（付記１４）
前記画像変換工程は、さらに、前記全天球画像を、その撮像方向を変更した第２展開画像に変換し、
前記対象物検出工程は、前記第１展開画像及び前記第２展開画像の少なくとも一方に含まれる検出対象物を検出する、付記１３記載の画像処理方法。
（付記１５）
画像情報取得手順、対象物検出手順、リスト情報生成手順、出力手順、付加情報取得手順、及び付加画像情報生成手順を含み、
前記画像情報取得手順は、画像情報を取得し、
前記対象物検出手順は、前記画像情報から検出対象物を検出し、
前記リスト情報生成手順は、前記検出対象物を含むリスト情報を生成し、
前記出力手順は、前記画像情報と前記リスト情報とを紐づけて出力し、
前記付加情報取得手順は、前記検出対象物の付加情報を取得し、
前記付加画像情報生成手順は、前記画像情報における各検出対象物の位置と、各検出対象物の付加情報とを紐づけた付加画像情報を生成し、
前記各手順をコンピュータに実行させるためのプログラム。
（付記１６）
前記画像情報取得手順は、前記所定エリアを複数の位置から撮像した複数の画像情報を取得し、
前記画像情報が、前記所定エリアにおける撮像位置情報及び撮像方向情報を含み、
前記対象物検出手順は、各画像情報から検出対象物を検出し、
前記リスト情報生成手順は、
前記撮像位置情報、前記撮像方向情報、及び前記画像情報に基づいて、前記所定エリアを含む仮想平面上における各検出対象物の座標を推定し、
前記座標に基づいて、各画像情報から検出した検出対象物がそれぞれ同一物であるか否かを判定し、
同一物であると判定した場合は、一方の画像情報から検出した検出対象物を含む前記リスト情報を生成し、
同一物でないと判定した場合は、検出した検出対象物を含むリスト情報を生成する、付記１５記載のプログラム。
（付記１７）
前記リスト情報生成手順は、
前記検出対象物の座標に基づいて、前記仮想平面上における、各撮像位置から検出対象物までの仮想線を生成し、
前記仮想線が他の仮想線と交わった場合に、各画像情報から検出した検出対象物が同一物であると判定する、付記１６記載のプログラム。
（付記１８）
前記付加画像情報生成手順は、前記画像情報における検出対象物の位置に、さらに、アイコン情報を関連付けた付加画像情報を生成する、付記１５から１７のいずれかに記載のプログラム。
（付記１９）
前記出力手順は、前記付加画像情報を出力する、付記１５から１８のいずれかに記載のプログラム。
（付記２０）
画像変換手順を含み、
前記画像情報の少なくとも一つが、全天球画像を含み、
前記画像情報が撮像方向情報を含み、
前記画像変換手順は、撮像方向情報に基づいて、前記全天球画像を第１展開画像に変換し、
前記対象物検出手順は、前記第１展開画像に含まれる検出対象物を検出する、付記１５から１９のいずれかに記載のプログラム。
（付記２１）
前記画像変換手順は、さらに、前記全天球画像を、その撮像方向を変更した第２展開画像に変換し、
前記対象物検出手順は、前記第１展開画像及び前記第２展開画像の少なくとも一方に含まれる検出対象物を検出する、付記２０記載のプログラム。
（付記２２）
画像情報取得手順、対象物検出手順、リスト情報生成手順、出力手順、付加情報取得手順、及び付加画像情報生成手順を含み、
前記画像情報取得手順は、画像情報を取得し、
前記対象物検出手順は、前記画像情報から検出対象物を検出し、
前記リスト情報生成手順は、前記検出対象物を含むリスト情報を生成し、
前記出力手順は、前記画像情報と前記リスト情報とを紐づけて出力し、
前記付加情報取得手順は、前記検出対象物の付加情報を取得し、
前記付加画像情報生成手順は、前記画像情報における各検出対象物の位置と、各検出対象物の付加情報とを紐づけた付加画像情報を生成し、
前記各手順をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
（付記２３）
前記画像情報取得手順は、前記所定エリアを複数の位置から撮像した複数の画像情報を取得し、
前記画像情報が、前記所定エリアにおける撮像位置情報及び撮像方向情報を含み、
前記対象物検出手順は、各画像情報から検出対象物を検出し、
前記リスト情報生成手順は、
前記撮像位置情報、前記撮像方向情報、及び前記画像情報に基づいて、前記所定エリアを含む仮想平面上における各検出対象物の座標を推定し、
前記座標に基づいて、各画像情報から検出した検出対象物がそれぞれ同一物であるか否かを判定し、
同一物であると判定した場合は、一方の画像情報から検出した検出対象物を含む前記リスト情報を生成し、
同一物でないと判定した場合は、検出した検出対象物を含むリスト情報を生成する、付記２２記載の記録媒体。
（付記２４）
前記リスト情報生成手順は、
前記検出対象物の座標に基づいて、前記仮想平面上における、各撮像位置から検出対象物までの仮想線を生成し、
前記仮想線が他の仮想線と交わった場合に、各画像情報から検出した検出対象物が同一物であると判定する、付記２３記載の記録媒体。
（付記２５）
前記付加画像情報生成手順は、前記画像情報における検出対象物の位置に、さらに、アイコン情報を関連付けた付加画像情報を生成する、付記２２から２４のいずれかに記載の記録媒体。
（付記２６）
前記出力手順は、前記付加画像情報を出力する、付記２２から２５のいずれかに記載の記録媒体。
（付記２７）
画像変換手順を含み、
前記画像情報の少なくとも一つが、全天球画像を含み、
前記画像情報が撮像方向情報を含み、
前記画像変換手順は、撮像方向情報に基づいて、前記全天球画像を第１展開画像に変換し、
前記対象物検出手順は、前記第１展開画像に含まれる検出対象物を検出する、付記２２から２６のいずれかに記載の記録媒体。
（付記２８）
前記画像変換手順は、さらに、前記全天球画像を、その撮像方向を変更した第２展開画像に変換し、
前記対象物検出手順は、前記第１展開画像及び前記第２展開画像の少なくとも一方に含まれる検出対象物を検出する、付記２７記載の記録媒体。
【産業上の利用可能性】
【0049】
本発明によれば、画像処理装置によれば、画像から検出対象物を検出し、リスト情報として出力することで、画像に含まれる検出対象物に対し、容易に付加情報を付与できる。このため、本発明の画像処理装置によれば、例えば、前記所定領域を撮像した画像において、物品等の詳細情報を付加した情報を生成できるため、各種現場における３６０°写真を用いた情報の共有、３６０°写真を用いた賃貸物件の広告コンテンツの作成等、様々な分野での利用が期待でき、特に、３６０°写真を用いた情報の共有、３６０°写真を用いた賃貸物件の広告コンテンツの作成等に特に好適に利用できる。
【符号の説明】
【0050】
１０、１０Ａ 画像処理装置
１１ 画像情報取得部
１２ 対象物検出部
１３ リスト情報生成部
１４ 出力部
１５ 付加情報取得部
１６ 付加画像情報生成部
１７ 画像変換部
１０１ ＣＰＵ
１０２ メモリ
１０３ バス
１０４ 記憶装置
１０５ 入力装置
１０６ 出力装置
１０７ 通信デバイス
１１ 画像情報取得部
１２ 対象物検出部
１３ リスト情報生成部
１４ 出力部
１５ 付加情報取得部
１６ 付加画像情報生成部
１７ 画像変換部
１０１ ＣＰＵ
１０２ メモリ
１０３ バス
１０４ 記憶装置
１０５ 入力装置
１０６ 出力装置
１０７ 通信デバイス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】