特開 2024-172258 画像生成装置、画像生成システム、画像生成方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024172258

(43)【公開日】2024-12-12

(54)【発明の名称】画像生成装置、画像生成システム、画像生成方法、およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241205BHJP

   G06T 7/174 20170101ALI20241205BHJP

   G06T 7/60 20170101ALI20241205BHJP

【ＦＩ】

G06T7/00 C

G06T7/174

G06T7/60 180B

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023089849

(22)【出願日】2023-05-31

(71)【出願人】

【識別番号】000003193

【氏名又は名称】ＴＯＰＰＡＮホールディングス株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100147267

【弁理士】

【氏名又は名称】大槻 真紀子

(72)【発明者】

【氏名】岸 啓補

(72)【発明者】

【氏名】小幡 光一

(72)【発明者】

【氏名】山岸 壮太

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096FA02

5L096FA66

5L096HA13

(57)【要約】

【課題】障害物が実店舗の変化として画像に反映されてしまうことを防ぐことができる画像生成装置を提供すること。
【解決手段】ネット販売サービスに用いる実店舗内の画像を生成する画像生成装置であって、所定の位置から実店舗内を撮影した撮影画像を取得する画像取得部と、所定の位置から周囲に存在する物体までの距離を示す測距情報を取得する測距情報取得部と、測距情報取得部が取得した測距情報を、記憶していた店舗マップと比較して、店舗マップにない障害物を検出する障害物検出部と、記憶していた記憶画像のうち、障害物検出部により障害物が検出されていない領域であり、かつ、記憶していた記憶画像と画像取得部が取得した撮影画像とに差異がある領域を少なくとも、画像取得部が取得した撮影画像を用いて更新する画像更新部とを備える画像生成装置である。
【選択図】図１

【特許請求の範囲】

【請求項1】

ネット販売サービスに用いる実店舗内の画像を生成する画像生成装置であって、
所定の位置から前記実店舗内を撮影した撮影画像を取得する画像取得部と、
前記所定の位置から周囲に存在する物体までの距離を示す測距情報を取得する測距情報取得部と、
前記測距情報取得部が取得した測距情報を、記憶していた店舗マップと比較して、前記店舗マップにない障害物を検出する障害物検出部と、
記憶していた記憶画像のうち、前記障害物検出部により障害物が検出されていない領域であり、かつ、前記記憶していた記憶画像と前記画像取得部が取得した撮影画像とに差異がある領域を少なくとも、前記画像取得部が取得した撮影画像を用いて更新する画像更新部と
を備える画像生成装置。

【請求項2】

前記測距情報は、床面から予め決められた高さにおける物体までの距離を示す、請求項１に記載の画像生成装置。

【請求項3】

前記測距情報は、方向と、前記方向に対応する距離とを示し、
前記障害物検出部は、前記測距情報取得部が取得した測距情報を、前記店舗マップと比較し、前記店舗マップと異なると判定された前記測距情報が示す方向に、所定の幅を加えた領域を、前記障害物が検出された領域とし、
前記所定の幅は、予め決められた角度、あるいは、前記店舗マップと異なると判定された前記測距情報が示す距離における予め決められた長さに対応する、
請求項１または請求項２に記載の画像生成装置。

【請求項4】

ネット販売サービスに用いる実店舗内の画像を生成する画像生成装置と、移動可能なロボットとを備え、
前記画像生成装置は、
所定の位置から前記実店舗内を撮影した撮影画像を取得する画像取得部と、
前記所定の位置から周囲に存在する物体までの距離を示す測距情報を取得する測距情報取得部と、
前記測距情報取得部が取得した測距情報を、記憶していた店舗マップと比較して、前記店舗マップにない障害物を検出する障害物検出部と、
記憶していた記憶画像のうち、前記障害物検出部により障害物が検出されていない領域であり、かつ、前記記憶していた記憶画像と前記画像取得部が取得した撮影画像とに差異がある領域を少なくとも、前記画像取得部が取得した撮影画像を用いて更新する画像更新部と
を備え、
前記ロボットは、
前記実店舗内の撮影を行い、前記撮影画像を生成する撮像部と、
前記ロボットから周囲に存在する物体までの距離を測定して、前記測距情報を生成する測距部と
を備える画像生成システム。

【請求項5】

ネット販売サービスに用いる実店舗内の画像を生成する画像生成装置の画像生成方法であって、
所定の位置から前記実店舗内を撮影した撮影画像を取得する第１のステップと、
前記所定の位置から周囲に存在する物体までの距離を示す測距情報を取得する第２のステップと、
前記第２のステップにおいて取得した測距情報を、記憶していた店舗マップと比較して、前記店舗マップにない障害物を検出する第３のステップと、
記憶していた記憶画像のうち、前記第３のステップにより障害物が検出されていない領域であり、かつ、前記記憶していた記憶画像と前記第１のステップにおいて取得した撮影画像とに差異がある領域を少なくとも、前記第１のステップにおいて取得した撮影画像を用いて更新する第４のステップと
を備える画像生成方法。

【請求項6】

コンピュータを、
ネット販売サービスに用いる実店舗内の画像を生成する画像生成装置
として機能させるためのプログラムであって、
前記画像生成装置は、
所定の位置から前記実店舗内を撮影した撮影画像を取得する画像取得部と、
前記所定の位置から周囲に存在する物体までの距離を示す測距情報を取得する測距情報取得部と、
前記測距情報取得部が取得した測距情報を、記憶していた店舗マップと比較して、前記店舗マップにない障害物を検出する障害物検出部と、
記憶していた記憶画像のうち、前記障害物検出部により障害物が検出されていない領域であり、かつ、前記記憶していた記憶画像と前記画像取得部が取得した撮影画像とに差異がある領域を少なくとも、前記画像取得部が取得した撮影画像を用いて更新する画像更新部と
を備えるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像生成装置、画像生成システム、画像生成方法、およびプログラムに関する。

【背景技術】

【0002】

従来、ＥＣサイトには、商品のカタログ情報を提示して販売するものがある。しかし、そのようなＥＣサイトでは、商品のカタログ情報しか得られないため、商品の状態を見て購入する生鮮食品等を扱うことが難しいだけでなく、実店舗の活気などを伝えて購買意欲を促進する効果も見込まれない。また、目的の商品を自ら検索する必要があるため、偶発的な購買が発生しづらい。

【0003】

そこで、実店舗の映像を見ながら商品の購入を可能とする商品販売のためのシステムが公知である。特許文献１では、ショッピングカートまたは買い物かごに取り付けた撮影装置によって店内を撮影し、撮影画像から店舗の変化を検出し、仮想店舗表示画面の内容を変化のあった箇所のみ変化させることにより、実店舗の変化を仮想店舗に反映させることができる技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－１３１７７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来の特許文献１の技術においては、実店舗の変化として、他の来店客、店員、商品として陳列されていない棚卸作業の様子などの障害物も実店舗の変化として画像に反映されてしまうことがあるという問題がある。

【0006】

本発明は、このような事情に鑑みてなされたもので、障害物が実店舗の変化として画像に反映されてしまうことを防ぐことができる画像生成装置、画像生成システム、画像生成方法、およびプログラムを提供する。

【課題を解決するための手段】

【0007】

この発明は上述した課題を解決するためになされたもので、本発明の一態様は、ネット販売サービスに用いる実店舗内の画像を生成する画像生成装置であって、所定の位置から前記実店舗内を撮影した撮影画像を取得する画像取得部と、前記所定の位置から周囲に存在する物体までの距離を示す測距情報を取得する測距情報取得部と、前記測距情報取得部が取得した測距情報を、記憶していた店舗マップと比較して、前記店舗マップにない障害物を検出する障害物検出部と、記憶していた記憶画像のうち、前記障害物検出部により障害物が検出されていない領域であり、かつ、前記記憶していた記憶画像と前記画像取得部が取得した撮影画像とに差異がある領域を少なくとも、前記画像取得部が取得した撮影画像を用いて更新する画像更新部とを備える画像生成装置である。

【0008】

また、他の一態様は、上述した画像生成装置であって、前記測距情報は、床面から予め決められた高さにおける物体までの距離を示す。

【0009】

また、他の一態様は、上述した画像生成装置であって、前記測距情報は、方向と、前記方向に対応する距離とを示し、前記障害物検出部は、前記測距情報取得部が取得した測距情報を、前記店舗マップと比較し、前記店舗マップと異なると判定された前記測距情報が示す方向に、所定の幅を加えた領域を、前記障害物が検出された領域とし、前記所定の幅は、予め決められた角度、あるいは、前記店舗マップと異なると判定された前記測距情報が示す距離における予め決められた長さに対応する。

【0010】

また、他の一態様は、ネット販売サービスに用いる実店舗内の画像を生成する画像生成装置と、移動可能なロボットとを備え、前記画像生成装置は、所定の位置から前記実店舗内を撮影した撮影画像を取得する画像取得部と、前記所定の位置から周囲に存在する物体までの距離を示す測距情報を取得する測距情報取得部と、前記測距情報取得部が取得した測距情報を、記憶していた店舗マップと比較して、前記店舗マップにない障害物を検出する障害物検出部と、記憶していた記憶画像のうち、前記障害物検出部により障害物が検出されていない領域であり、かつ、前記記憶していた記憶画像と前記画像取得部が取得した撮影画像とに差異がある領域を少なくとも、前記画像取得部が取得した撮影画像を用いて更新する画像更新部とを備え、前記ロボットは、前記実店舗内の撮影を行い、前記撮影画像を生成する撮像部と、前記ロボットから周囲に存在する物体までの距離を測定して、前記測距情報を生成する測距部とを備える画像生成システムである。

【0011】

また、他の一態様は、ネット販売サービスに用いる実店舗内の画像を生成する画像生成装置の画像生成方法であって、所定の位置から前記実店舗内を撮影した撮影画像を取得する第１のステップと、前記所定の位置から周囲に存在する物体までの距離を示す測距情報を取得する第２のステップと、前記第２のステップにおいて取得した測距情報を、記憶していた店舗マップと比較して、前記店舗マップにない障害物を検出する第３のステップと、記憶していた記憶画像のうち、前記第３のステップにより障害物が検出されていない領域であり、かつ、前記記憶していた記憶画像と前記第１のステップにおいて取得した撮影画像とに差異がある領域を少なくとも、前記第１のステップにおいて取得した撮影画像を用いて更新する第４のステップとを備える画像生成方法である。

【0012】

また、他の一態様は、コンピュータを、ネット販売サービスに用いる実店舗内の画像を生成する画像生成装置として機能させるためのプログラムであって、前記画像生成装置は、所定の位置から前記実店舗内を撮影した撮影画像を取得する画像取得部と、前記所定の位置から周囲に存在する物体までの距離を示す測距情報を取得する測距情報取得部と、前記測距情報取得部が取得した測距情報を、記憶していた店舗マップと比較して、前記店舗マップにない障害物を検出する障害物検出部と、記憶していた記憶画像のうち、前記障害物検出部により障害物が検出されていない領域であり、かつ、前記記憶していた記憶画像と前記画像取得部が取得した撮影画像とに差異がある領域を少なくとも、前記画像取得部が取得した撮影画像を用いて更新する画像更新部とを備えるプログラムである。

【発明の効果】

【0013】

この発明によれば、画像生成装置、画像生成システム、画像生成方法、およびプログラムは、障害物が実店舗の変化として画像に反映されてしまうことを防ぐことができる。

【図面の簡単な説明】

【0014】

【図1】この発明の一実施形態による画像生成システム１０の構成を示す概略ブロック図である。

【図2】同実施形態における撮影地点記憶部３０７の記憶内容例を示す表である。

【図3】同実施形態における店舗マップ記憶部３０８の記憶内容例を示す表である。

【図4】同実施形態における画像記憶部３０９の記憶内容例を示す表である。

【図5】同実施形態における測距情報の例を示す表である。

【図6】同実施形態における画像生成装置３００の動作例を示すフローチャートである。

【図7】同実施形態における向き修正を説明する模式図である。

【図8】同実施形態における障害物の検出を説明する模式図である。

【図9】同実施形態における障害物が検出された領域を説明する模式図である。

【図10】同実施形態における記憶画像の例を示す図である。

【図11】同実施形態における撮影画像の例を示す図である。

【発明を実施するための形態】

【0015】

以下、図面を参照して、本発明の実施の形態について説明する。図１は、この発明の一実施形態による画像生成システム１０の構成を示す概略ブロック図である。画像生成システム１０は、ＥＣ（Electric Commerce）サイト４００が提供するネット販売サービスに用いる実店舗内の画像を生成する。ＥＣサイト４００は、画像生成システム１０が生成した実店舗内の画像を用いて、ネット販売サービスを提供する。画像生成システム１０は、ロボット１００、画像生成装置３００を備える。

【0016】

ロボット１００は、車輪などを有し、移動可能なロボットである。ロボット１００は、実店舗内を定期的にあるいは任意のタイミングで移動し、予め決められた地点で、実店舗内を撮影するとともに、該ロボット１００の周囲の物体までの測距を行う。ロボット１００は、通信部１０１、撮像部１０２、測距部１０３を備える。

【0017】

通信部１０１は、インターネット、あるいはイントラネットなどのネットワーク２００を介して、画像生成装置３００などの他装置と通信する。撮像部１０２は、実店舗内の撮影を行い、撮影画像を生成する。本実施形態では、撮像部１０２による撮影画像は、３６０度のパノラマ画像であるが、３６０度を複数に分割した画像であってもよいし、３６０度未満であってもよい。測距部１０３は、ロボット１００から周囲に存在する物体までの距離を測定して、測距情報を生成する。測距部１０３は、ＬｉＤＡＲ（Light Detection And Ranging）、ミリ波レーダ、超音波センサなどのいずれであってもよい。なお、これらのうちで、ＬｉＤＡＲが、距離分解能が高く、店舗内での測距に最も適している。ミリ波レーダは、段ボールなど、ミリ波の反射率が低い物体を検知しづらいという特徴がある。超音波センサは、１０メートル以上の遠距離における精度が低くなるという特徴がある。また、測距部１０３が生成する測距情報は、床面から予め決められた高さにおける物体までの距離を示してもよい。この予め決められた高さは、商品が陳列される高さよりも低くてもよい。これにより、商品を障害物として検出することを防ぐことができる。

【0018】

画像生成装置３００は、測距情報と撮影画像を用いて、ネット販売サービスに用いる実店舗内の画像を生成する。画像生成装置３００は、１つまたは複数のコンピュータが、プログラムを読み込み実行することで実現されてもよい。画像生成装置３００は、通信部３０１、画像取得部３０２、画像変化検出部３０３、画像更新部３０４、測距情報取得部３０５、障害物検出部３０６、撮影地点記憶部３０７、店舗マップ記憶部３０８、画像記憶部３０９を備える。

【0019】

通信部３０１は、ネットワーク２００を介して、ロボット１００、ＥＣサイト４００などの他装置と通信する。画像取得部３０２は、ロボット１００が所定の位置から実店舗内を撮影した撮影画像を取得する。画像変化検出部３０３は、画像記憶部３０９が記憶していた記憶画像と画像取得部３０２が取得した撮影画像とに差異がある領域を検出する。なお、画像変化検出部３０３は、障害物検出部３０６が障害物を検出していない領域についてのみ、記憶部画像と撮影画像に差異がある領域を検出する。

【0020】

測距情報取得部３０５は、撮影画像を撮影した所定の位置から周囲に存在する物体までの距離を示す測距情報をロボット１００から取得する。障害物検出部３０６は、測距情報取得部３０５が取得した測距情報を、店舗マップ記憶部３０８が記憶していた店舗マップと比較して、店舗マップにない障害物を検出する。画像更新部３０４は、記憶画像のうち、記憶画像と画像取得部３０２が取得した撮影画像とに差異がある領域であり、かつ、障害物検出部３０６により障害物が検出されなかった領域を少なくとも、画像取得部３０２が取得した撮影画像を用いて更新する。

【0021】

撮影地点記憶部３０７は、ロボット１００が実店舗内を撮影する位置を示す撮影地点情報を記憶する。店舗マップ記憶部３０８は、実店舗の商品棚、壁などの配置を示す店舗マップを記憶する。画像記憶部３０９は、ＥＣサイト４００に提供する実店舗の画像である記憶画像を記憶する。

【0022】

図２は、本実施形態における撮影地点記憶部３０７の記憶内容例を示す表である。図２に示す例では、撮影地点記憶部３０７は、Ｎｏ．「１」と、撮影地点を識別する撮影地点「売り場Ａ１」と、該撮影地点の位置を示すフロア「１階」および座標「１０，１５」とを対応付けて記憶する。また、同様に、撮影地点記憶部３０７は、Ｎｏ．「２」と、撮影地点「売り場Ａ２」と、フロア「１階」と、座標「１０，５２」とを対応付けて記憶し、Ｎｏ．「３」と、撮影地点「売り場Ｂ１」と、フロア「１階」と、座標「２３，７０」とを対応付けて記憶する。

【0023】

図３は、本実施形態における店舗マップ記憶部３０８の記憶内容例を示す表である。図３に示す例では、店舗マップ記憶部３０８は、Ｎｏ．「１」と、店舗のフロアを識別するフロア「１階」と、店舗マップを格納する店舗マップファイル「Ｆ１．ｂｍｐ」とを対応付けて記憶する。また、同様に、店舗マップ記憶部３０８は、Ｎｏ．「２」と、フロア「２階」と、店舗マップファイル「Ｆ２．ｂｍｐ」とを対応付けて記憶し、Ｎｏ．「３」と、フロア「３階」と、店舗マップファイル「Ｆ３．ｂｍｐ」とを対応付けて記憶する。

【0024】

ここで店舗マップファイルは、例えば、各ビットが、当該ファイルに対応するフロア内の各位置に対応するビットマップであり、ビットの値「１」は、該位置に壁、商品棚などの存在を示し、ビット「０」は、該位置に何も配置されていないことを示してもよい。また、図３に示す例では、店舗マップファイルは、フロアごとのファイルであるが、フロアを複数に分割した領域ごとのファイルであってもよいし、撮影地点ごとのファイルであってもよい。また、店舗マップは、ビットマップでなくてもよく、例えば、測距情報と同様に、ある特定の地点から壁、商品棚までの方向と、距離の組み合わせからなるデータであってもよい。

【0025】

図４は、本実施形態における画像記憶部３０９の記憶内容例を示す表である。図４に示す例では、画像記憶部３０９は、Ｎｏ．「１」と、撮影地点を識別する撮影地点「売り場Ａ１」と、記憶画像を格納するファイルのファイル名を示す記憶画像ファイル「Ａ１．ｊｐｅｇ」とを対応付けて記憶する。また、同様に、画像記憶部３０９は、Ｎｏ．「２」と、撮影地点「売り場Ａ２」と、記憶画像ファイル「Ａ２．ｊｐｅｇ」とを対応付けて記憶し、Ｎｏ．「３」と、撮影地点「売り場Ｂ１」と、記憶画像ファイル「Ｂ１．ｊｐｅｇ」とを対応付けて記憶する。

【0026】

図５は、本実施形態における測距情報の例を示す表である。図５の例では、測距情報は、例えば、ロボット１００の正面方向となす角により方向を示す方向「０」と、該方向における物体までの距離をミリメートルで示す距離「１２５３」とを含む。同様に、測距情報は、方向「５」と、距離「１３２１」とを含み、方向「１０」と、距離「１３８８」とを含む。

【0027】

図６は、本実施形態における画像生成装置３００の動作例を示すフローチャートである。まず、画像取得部３０２が、通信部３０１を介して、ロボット１００が送信した撮影画像を取得する（ステップＳ１）。この撮影画像は、ロボット１００が撮影地点のうちの１つで実店舗内を撮影した画像である。次に、測距情報取得部３０５が、通信部３０１を介して、ロボット１００が送信した測距情報を取得する（ステップＳ２）。この測距情報は、ステップＳ１で取得した撮影画像が撮影された撮影地点で測定された測距情報である。

【0028】

画像取得部３０２は、ステップＳ１で取得した撮影画像の撮影地点と、同一地点の記憶画像が画像記憶部３０９にあるか否かを判定する（ステップＳ３）。同一地点の記憶画像が画像記憶部３０９にないと判定したときは（ステップＳ３－Ｎｏ）、画像取得部３０２は、ステップＳ１で取得した撮影画像を、該撮影画像の撮影地点を識別する情報とともに記憶画像として画像記憶部３０９に記憶させる（ステップＳ４）。

【0029】

一方、ステップＳ３において、同一地点の記憶画像が画像記憶部３０９にあると判定したときは（ステップＳ３－Ｙｅｓ）、画像変化検出部３０３は、ステップＳ１で取得した撮影画像の向き修正を行う（ステップＳ５）。この向き修正は、撮影画像の中心が記憶画像の中心と同じ向きとなるように、撮影画像の左端もしくは右端を逆側に移動させる処理である。次に、障害物検出部３０６が、ステップＳ２で取得された測距情報を、店舗マップ記憶部３０８が記憶する店舗マップと比較して、該店舗マップにない障害物を検出する（ステップＳ６）。この障害物の検出は、測距情報が示す位置を店舗マップにプロットしたときに、該位置には店舗マップでは物体が無い場合に、該位置に障害物ありと判定することで行われる。

【0030】

次に、画像変化検出部３０３は、ステップＳ１で取得した撮影画像について、障害物が検出されていない領域の画像変化であって、記憶画像からの画像変化を検出する（ステップＳ７）。ここで、障害物が検出されていない領域とは、ステップＳ６で障害物ありと判定した位置を中心とした所定の幅を除く領域である。次に、画像更新部３０４は、記憶画像のうち、ステップＳ７で画像変化を検出した部分を、撮影画像の対応する部分とすることで、記憶画像を更新する（ステップＳ８）。

【0031】

図７は、本実施形態における向き修正を説明する模式図である。図７において、撮影画像ＳＧ１の中心位置ＣＳは、記憶画像ＭＧ１の中心位置ＣＭよりも左側を向いている。画像変化検出部３０３は、中心位置が記憶画像ＭＧ１の中心位置ＣＭとなるように、撮影画像ＳＧ１の左端部分ＬＥを、右端に移動させる。なお、画像変化検出部３０３は、撮影画像ＳＧ１と記憶画像ＭＧ１の中心位置のずれを、ロボット１００の姿勢に基づき判定してもよいし、撮影画像ＳＧ１と記憶画像ＭＧ１の画像マッチングにより判定してもよい。

【0032】

図８は、本実施形態における障害物の検出を説明する模式図である。図８は、フロアマップＦＭに対して、ロボット１００の位置に三角形ＴＲをプロットし、測距情報が示す位置に丸印をプロットしたものである。測距情報の丸印のうち、丸印ＯＢは、フロアマップＦＭにおいて何も配置されていない位置にプロットされている。障害物検出部３０６は、この丸印ＯＢの位置に障害物があると判定する。

【0033】

図９は、本実施形態における障害物が検出された領域を説明する模式図である。図９においても、三角形ＴＲはロボット１００の位置を示し、丸印ＯＢは、障害物があると判定された位置を示す。障害物検出部３０６は、丸印ＯＢにおける予め決められた幅Ｗの視野角αに対応する領域を、障害物が検出された領域としてもよい。例えば、この幅Ｗを６０ｃｍなど、肩幅よりも大きな値としておくことで、測距情報が人の足の位置を示しているときに、障害物が検出された領域に、その人が含まれるようにすることができる。なお、幅Ｗではなく、視野角αを予め決められた値としてもよい。その場合は、ロボット１００から特定の距離以上離れている人について、障害物が検出された領域に含まれるようにすることができる。

【0034】

図１０は、本実施形態における記憶画像の例を示す図である。また、図１１は、本実施形態における撮影画像の例を示す図である。記憶画像ＭＧ２と、撮影画像ＳＧ２とは同一の撮影地点の画像である。障害物検出部３０６により障害物が検出された領域ＯＲ２を除いて、画像変化検出部３０３は記憶画像ＭＧ２と撮影画像ＳＧ２との間の画像変化の検出を行うため、領域ＣＲ２が画像変化があった領域として検出される。したがって、画像更新部３０４は、領域ＣＲ２の画像を、記憶画像ＭＧ２に反映させて、新たな記憶画像として画像記憶部３０９に記憶させる。なお、画像更新部３０４は、領域ＣＲ２の画像を、記憶画像ＭＧ２に反映させる際に、撮影画像ＳＧ２から、記憶画像ＭＧ２との画素値が閾値以上異なる画素のみを抽出するためのマスク画像を生成して、画像変化している領域を抽出するようにしてもよい。その場合、記憶画像ＭＧ２に反映される画像は、領域ＣＲ２のような矩形ではなく、画素値が閾値以上異なる画素のみとなる。

【0035】

なお、上述の実施形態では、画像更新部３０４は、記憶画像のうち、画像変化を検出した部分のみを更新しているが、障害物が検出されていない領域全てを更新するようにしてもよい。

【0036】

また、以下のような実施形態であってもよい。
（１）一実施形態は、ネット販売サービスに用いる実店舗内の画像を生成する画像生成装置であって、所定の位置から前記実店舗内を撮影した撮影画像を取得する画像取得部と、前記所定の位置から周囲に存在する物体までの距離を示す測距情報を取得する測距情報取得部と、前記測距情報取得部が取得した測距情報を、記憶していた店舗マップと比較して、前記店舗マップにない障害物を検出する障害物検出部と、記憶していた記憶画像のうち、前記障害物検出部により障害物が検出されていない領域であり、かつ、前記記憶していた記憶画像と前記画像取得部が取得した撮影画像とに差異がある領域を少なくとも、前記画像取得部が取得した撮影画像を用いて更新する画像更新部とを備える画像生成装置である。

【0037】

（２）また、他の一実施形態は、（１）に記載の画像生成装置であって、前記測距情報は、床面から予め決められた高さにおける物体までの距離を示す。

【0038】

（３）また、他の一実施形態は、（１）または（２）に記載の画像生成装置であって、前記測距情報は、方向と、前記方向に対応する距離とを示し、前記障害物検出部は、前記測距情報取得部が取得した測距情報を、前記店舗マップと比較し、前記店舗マップと異なると判定された前記測距情報が示す方向に、所定の幅を加えた領域を、前記障害物が検出された領域とし、前記所定の幅は、予め決められた角度、あるいは、前記店舗マップと異なると判定された前記測距情報が示す距離における予め決められた長さに対応する。

【0039】

（４）また、他の一実施形態は、ネット販売サービスに用いる実店舗内の画像を生成する画像生成装置と、移動可能なロボットとを備え、前記画像生成装置は、所定の位置から前記実店舗内を撮影した撮影画像を取得する画像取得部と、前記所定の位置から周囲に存在する物体までの距離を示す測距情報を取得する測距情報取得部と、前記測距情報取得部が取得した測距情報を、記憶していた店舗マップと比較して、前記店舗マップにない障害物を検出する障害物検出部と、記憶していた記憶画像のうち、前記障害物検出部により障害物が検出されていない領域であり、かつ、前記記憶していた記憶画像と前記画像取得部が取得した撮影画像とに差異がある領域を少なくとも、前記画像取得部が取得した撮影画像を用いて更新する画像更新部とを備え、前記ロボットは、前記実店舗内の撮影を行い、前記撮影画像を生成する撮像部と、前記ロボットから周囲に存在する物体までの距離を測定して、前記測距情報を生成する測距部とを備える画像生成システムである。

【0040】

（５）また、他の一実施形態は、ネット販売サービスに用いる実店舗内の画像を生成する画像生成装置の画像生成方法であって、所定の位置から前記実店舗内を撮影した撮影画像を取得する第１のステップと、前記所定の位置から周囲に存在する物体までの距離を示す測距情報を取得する第２のステップと、前記第２のステップにおいて取得した測距情報を、記憶していた店舗マップと比較して、前記店舗マップにない障害物を検出する第３のステップと、記憶していた記憶画像のうち、前記第３のステップにより障害物が検出されていない領域であり、かつ、前記記憶していた記憶画像と前記第１のステップにおいて取得した撮影画像とに差異がある領域を少なくとも、前記第１のステップにおいて取得した撮影画像を用いて更新する第４のステップとを備える画像生成方法である。

【0041】

（６）また、他の一実施形態は、コンピュータを、ネット販売サービスに用いる実店舗内の画像を生成する画像生成装置として機能させるためのプログラムであって、前記画像生成装置は、所定の位置から前記実店舗内を撮影した撮影画像を取得する画像取得部と、前記所定の位置から周囲に存在する物体までの距離を示す測距情報を取得する測距情報取得部と、前記測距情報取得部が取得した測距情報を、記憶していた店舗マップと比較して、前記店舗マップにない障害物を検出する障害物検出部と、記憶していた記憶画像のうち、前記障害物検出部により障害物が検出されていない領域であり、かつ、前記記憶していた記憶画像と前記画像取得部が取得した撮影画像とに差異がある領域を少なくとも、前記画像取得部が取得した撮影画像を用いて更新する画像更新部とを備えるプログラムである。

【0042】

また、図１におけるロボット１００、画像生成装置３００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりロボット１００、画像生成装置３００を実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

【0043】

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

【0044】

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

【符号の説明】

【0045】

１０ 画像生成システム
１００ ロボット
１０１ 通信部
１０２ 撮像部
１０３ 測距部
２００ ネットワーク
３００ 画像生成装置
３０１ 通信部
３０２ 画像取得部
３０３ 画像変化検出部
３０４ 画像更新部
３０５ 測距情報取得部
３０６ 障害物検出部
３０７ 撮影地点記憶部
３０８ 店舗マップ記憶部
３０９ 画像記憶部
４００ ＥＣサイト

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】