(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-07
(45)【発行日】2023-11-15
(54)【発明の名称】画像記憶装置、画像記憶方法、及びプログラム
(51)【国際特許分類】
H04N 23/695 20230101AFI20231108BHJP
H04N 23/60 20230101ALI20231108BHJP
【ＦＩ】
H04N23/698
H04N23/60 100
【請求項の数】
7
(21)【出願番号】P 2022522436
(86)(22)【出願日】2020-05-14
(86)【国際出願番号】 JP2020019257
(87)【国際公開番号】W WO2021229752
(87)【国際公開日】2021-11-18
【審査請求日】2022-11-04
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(72)【発明者】
【氏名】米澤 八栄子
(72)【発明者】
【氏名】菊池 克
(72)【発明者】
【氏名】白石 壮馬
(72)【発明者】
【氏名】鍋藤 悠
【審査官】益戸 宏
(56)【参考文献】
【文献】特開２００７－２０００６（ＪＰ，Ａ）
【文献】特開２００９－４４３１２（ＪＰ，Ａ）
【文献】特開２０１１－４３４０（ＪＰ，Ａ）
【文献】特開２０１４－１４６９８９（ＪＰ，Ａ）
【文献】特開２０１６－２２５９３０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／００ － ２３／９５９
(57)【特許請求の範囲】
【請求項1】
物品が載置されている物品棚の一部を撮像した第１画像を取得する画像取得手段と、前記第１画像の少なくとも端部を表示手段の一部である第１表示領域に表示させつつ、撮像手段が現在繰り返し生成しているリアルタイム画像を前記表示手段のうち前記第１表示領域に隣接する第２表示領域に表示させる表示処理手段と、
前記表示手段における前記第１画像の端部と前記リアルタイム画像の端部との差分が基準以下になったときに、前記リアルタイム画像又はその後に生成された画像を第２画像として記憶手段に記憶させるための所定処理を行う記憶処理手段と、
を備え、
前記表示処理手段は、前記第１表示領域において、前記第１画像の端部と前記リアルタイム画像の端部を重ねて表示させ、
前記記憶処理手段は、前記差分の少なくとも一部として、前記第１画像の端部に含まれる物品の種類及び位置と、前記第２画像の端部に含まれる物品の種類及び位置と、の差を用いる、
画像記憶装置。
【請求項2】
請求項１に記載の画像記憶装置において、前記所定処理は、前記撮像手段の撮像ボタンを有効にする処理である画像記憶装置。
【請求項3】
請求項１に記載の画像記憶装置において、前記所定処理は、前記リアルタイム画像を記憶手段に記憶させる処理である画像記憶装置。
【請求項4】
請求項１～３のいずれか一項に記載の画像記憶装置において、前記第１表示領域と前記第２表示領域とが並ぶ方向の指定を取得する方向取得手段をさらに備える画像記憶装置。
【請求項5】
請求項１～３のいずれか一項に記載の画像記憶装置において、前記撮像手段は、当該撮像手段の移動方向及び傾きの少なくとも一方を検出するセンサを有しており、かつ、前記第１画像を生成しており、
前記表示処理手段は、前記第１画像を生成した後の前記センサの検出値を用いて、前記第１表示領域と前記第２表示領域とが並ぶ方向を決定する画像記憶装置。
【請求項6】
コンピュータが、物品が載置されている物品棚の一部を撮像した第１画像を取得し、
前記第１画像の少なくとも端部を表示手段の一部である第１表示領域に表示させつつ、撮像手段が現在繰り返し生成しているリアルタイム画像を前記表示手段のうち前記第１表示領域に隣接する第２表示領域に表示させる表示処理と、
前記表示手段における前記第１画像の端部と前記リアルタイム画像の端部との差分が基準以下になったときに、前記リアルタイム画像又はその後に生成された画像を第２画像として記憶手段に記憶させるための所定処理を行う記憶処理と、
を行い、
前記表示処理は、前記第１表示領域において、前記第１画像の端部と前記リアルタイム画像の端部を重ねて表示させることを含み、
前記記憶処理は、前記差分の少なくとも一部として、前記第１画像の端部に含まれる物品の種類及び位置と、前記第２画像の端部に含まれる物品の種類及び位置と、の差を用いることを含む、
画像記憶方法。
【請求項7】
コンピュータに、物品が載置されている物品棚の一部を撮像した第１画像を取得する画像取得機能と、
前記第１画像の少なくとも端部を表示手段の一部である第１表示領域に表示させつつ、撮像手段が現在繰り返し生成しているリアルタイム画像を前記表示手段のうち前記第１表示領域に隣接する第２表示領域に表示させる表示処理機能と、
前記表示手段における前記第１画像の端部と前記リアルタイム画像の端部との差分が基準以下になったときに、前記リアルタイム画像又はその後に生成された画像を第２画像として記憶手段に記憶させるための所定処理を行う記憶処理機能と、
を持たせ、
前記表示処理機能は、前記第１表示領域において、前記第１画像の端部と前記リアルタイム画像の端部を重ねて表示させることを含み、
前記記憶処理機能は、前記差分の少なくとも一部として、前記第１画像の端部に含まれる物品の種類及び位置と、前記第２画像の端部に含まれる物品の種類及び位置と、の差を用いることを含む、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像記憶装置、画像記憶方法、及びプログラムに関する。
【背景技術】
【0002】
商品を販売している店舗において、商品棚における商品の位置は、その店舗の売り上げに影響を与えるため、重要である。例えば特許文献１には、サーバが、小売業者から、棚における商品の配置を示す情報を取得し、この配置が所定の位置となっているか分析することが記載されている。
【0003】
なお、特許文献２には、商品棚を適宜区分して撮像することにより複数の区分画像を生成し、これら区分画像を合成して商品棚の全景の画像を生成することが記載されている。この全景の画像は、インターネットで顧客に商品を販売する際に、顧客の端末に表示される。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２００２－１０９１７７号公報
【文献】特開２０１２－１４６２１４号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
近年は、商品などの物品が載置された棚を撮影した画像を処理することにより、その棚における物品の位置を特定することが行われている。ここで、棚が大きい場合、この棚を複数回に分けて撮影する必要が出てくる。この場合、棚を撮影する撮影者は、隙間なく棚を撮影する必要がある。
【0006】
本発明の目的の一つは、物品が載置されている棚を複数回に分けて撮影する場合において、その棚を隙間なく撮影しやすくすることにある。
【課題を解決するための手段】
【0007】
本発明によれば、物品が載置されている物品棚の一部を撮像した第１画像を取得する画像取得手段と、
前記第１画像の少なくとも端部を表示手段の一部である第１表示領域に表示させつつ、撮像手段が現在繰り返し生成しているリアルタイム画像を前記表示手段のうち前記第１表示領域に隣接する第２表示領域に表示させる表示処理手段と、
前記表示手段における前記第１画像の端部及び前記リアルタイム画像の連続性が基準を満たしたときに、前記リアルタイム画像又はその後に生成された画像を第２画像として記憶手段に記憶させるための所定処理を行う記憶処理手段と、
を備える画像記憶装置が提供される。
前記第１画像の少なくとも端部を表示手段の一部である第１表示領域に表示させつつ、撮像手段が現在繰り返し生成しているリアルタイム画像を前記表示手段のうち前記第１表示領域に隣接する第２表示領域に表示させる表示処理手段と、
前記表示手段における前記第１画像の端部及び前記リアルタイム画像の連続性が基準を満たしたときに、前記リアルタイム画像又はその後に生成された画像を第２画像として記憶手段に記憶させるための所定処理を行う記憶処理手段と、
を備える画像記憶装置が提供される。
【0008】
本発明によれば、コンピュータが、
物品が載置されている物品棚の一部を撮像した第１画像を取得し、
前記第１画像の少なくとも端部を表示手段の一部である第１表示領域に表示させつつ、撮像手段が現在繰り返し生成しているリアルタイム画像を前記表示手段のうち前記第１表示領域に隣接する第２表示領域に表示させ、
前記表示手段における前記第１画像の端部と前記リアルタイム画像の連続性が基準を満たしたときに、前記リアルタイム画像又はその後に生成された画像を第２画像として記憶手段に記憶させるための所定処理を行う、画像記憶方法が提供される。
物品が載置されている物品棚の一部を撮像した第１画像を取得し、
前記第１画像の少なくとも端部を表示手段の一部である第１表示領域に表示させつつ、撮像手段が現在繰り返し生成しているリアルタイム画像を前記表示手段のうち前記第１表示領域に隣接する第２表示領域に表示させ、
前記表示手段における前記第１画像の端部と前記リアルタイム画像の連続性が基準を満たしたときに、前記リアルタイム画像又はその後に生成された画像を第２画像として記憶手段に記憶させるための所定処理を行う、画像記憶方法が提供される。
【0009】
本発明によれば、コンピュータに、
物品が載置されている物品棚の一部を撮像した第１画像を取得する画像取得機能と、
前記第１画像の少なくとも端部を表示手段の一部である第１表示領域に表示させつつ、撮像手段が現在繰り返し生成しているリアルタイム画像を前記表示手段のうち前記第１表示領域に隣接する第２表示領域に表示させる表示処理機能と、
前記表示手段における前記第１画像の端部と前記リアルタイム画像の連続性が基準を満たしたときに、前記リアルタイム画像又はその後に生成された画像を第２画像として記憶手段に記憶させるための所定処理を行う記憶処理機能と、
を持たせるプログラムが提供される。
物品が載置されている物品棚の一部を撮像した第１画像を取得する画像取得機能と、
前記第１画像の少なくとも端部を表示手段の一部である第１表示領域に表示させつつ、撮像手段が現在繰り返し生成しているリアルタイム画像を前記表示手段のうち前記第１表示領域に隣接する第２表示領域に表示させる表示処理機能と、
前記表示手段における前記第１画像の端部と前記リアルタイム画像の連続性が基準を満たしたときに、前記リアルタイム画像又はその後に生成された画像を第２画像として記憶手段に記憶させるための所定処理を行う記憶処理機能と、
を持たせるプログラムが提供される。
【発明の効果】
【0010】
本発明によれば、物品が載置されている棚を複数回に分けて撮影する場合において、その棚を隙間なく撮影しやすくなる。
【図面の簡単な説明】
【0011】
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
【0012】
【図1】第１実施形態に係る撮像装置の使用環境を説明するための図である。
【図2】撮像装置の機能構成の一例を示す図である。
【図3】ディスプレイにおける第１表示領域及び第２表示領域の第１例を示す図である。
【図4】ディスプレイにおける第１表示領域及び第２表示領域の第２例を示す図である。
【図5】ディスプレイにおける第１表示領域及び第２表示領域の第３例を示す図である。
【図6】撮像装置のハードウェア構成例を示す図である。
【図7】撮像装置が行う処理の一例を示すフローチャートである。
【図8】第２実施形態に係る撮像装置の機能構成の一例を示す図である。
【図9】第３実施形態に係る撮像装置の機能構成の一例を示す図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【0014】
［第１実施形態］
図１は、本実施形態に係る撮像装置１０の使用環境を説明するための図である。撮像装置１０は画像記憶装置の一例であり、物品棚（例えば商品棚）を撮影する。撮像装置１０が生成した画像は外部装置２０に送信される。外部装置２０は、撮像装置１０から取得した画像を処理することにより、物品棚における物品（例えば商品）の位置を特定する。外部装置２０を使用する人は、外部装置２０の処理結果を用いて、物品棚における物品の位置が所望の位置になっているか否かを確認する。例えば外部装置２０は、画像処理を行うことにより物品の位置を特定し、特定した位置が予め定められた位置にあるか否かを判断する。
図１は、本実施形態に係る撮像装置１０の使用環境を説明するための図である。撮像装置１０は画像記憶装置の一例であり、物品棚（例えば商品棚）を撮影する。撮像装置１０が生成した画像は外部装置２０に送信される。外部装置２０は、撮像装置１０から取得した画像を処理することにより、物品棚における物品（例えば商品）の位置を特定する。外部装置２０を使用する人は、外部装置２０の処理結果を用いて、物品棚における物品の位置が所望の位置になっているか否かを確認する。例えば外部装置２０は、画像処理を行うことにより物品の位置を特定し、特定した位置が予め定められた位置にあるか否かを判断する。
【0015】
撮像装置１０は携帯型の装置である。撮像装置１０は、いわゆるスマートフォンなど、撮像機能付きの通信装置であってもよい。撮像装置１０の使用者は、物品棚を複数の領域（例えば第１棚領域Ａ１及び第２棚領域Ａ２）に分け、領域毎に画像を生成する。この際、撮像装置１０の使用者は、第１棚領域Ａ１を撮影して第１画像を生成した後、第２棚領域Ａ２を撮影して第２画像を生成する際に、第１画像の端部と第２画像の端部とが重なる（すなわち同一の領域の画像になる）ようにする。このようにすることで、撮像装置１０の使用者は、物品棚を隙間なく撮影できる。
【0016】
ここで撮像装置１０は、第２画像を生成するときに、第１画像の端部と第２画像の端部とが重なるようにガイドを行う。このため、撮像装置１０の使用者は、容易に第１画像の端部と第２画像の端部とを重ねることができる。
【0017】
図２は、撮像装置１０の機能構成の一例を示す図である。本図に示す例において、撮像装置１０は撮像部１１０、画像取得部１２０、表示処理部１３０、ディスプレイ１４０（表示部の一例）、記憶処理部１５０、及び画像記憶部１６０を備えている。
【0018】
撮像部１１０は撮像センサを有しており、画像を繰り返し生成する。画像取得部１２０は、撮像部１１０が生成した画像を取得する。記憶処理部１５０は、撮像部１１０が生成した画像のうち条件を満たした画像を画像記憶部１６０に記憶させる。
【0019】
表示処理部１３０は、画像取得部１２０が取得した画像をディスプレイ１４０に表示させる。表示処理部１３０は、記憶処理部１５０が上記した第１画像を画像記憶部１６０に記憶させた後、第１画像の少なくとも端部をディスプレイ１４０の一部である第１表示領域に表示させつつ、撮像部１１０が生成した最新の画像（以下、リアルタイム画像と記載）を、ディスプレイ１４０のうち第１表示領域に隣接する第２表示領域に繰り返し表示させる。そして記憶処理部１５０は、ディスプレイ１４０における第１画像の端部及びリアルタイム画像の連続性が基準を満たしたときに、リアルタイム画像又はその後に生成された画像を第２画像として画像記憶部１６０に記憶させるための処理（以下、所定処理と記載）を行う。
【0020】
所定処理の第１例は、撮像装置１０が有する撮像ボタンを有効にすることである。例えば撮像装置１０が物理的な撮像ボタンを有している場合、所定処理は、撮像ボタンの押下によって生じる信号を有効にすることである。またディスプレイ１４０がタッチパネルである場合、所定処理は、このタッチパネルに撮像ボタンを表示させることである。この場合、撮像ボタンを押下することによって記憶される第２画像は、連続性が基準を満たしたときにディスプレイ１４０に表示されていたリアルタイム画像であってもよいし、撮像ボタンを押下したタイミングにおけるリアルタイム画像であってもよい。
【0021】
また所定処理の第２例は、連続性が基準を満たしたときにディスプレイ１４０に表示されていたリアルタイム画像を、第２画像として画像記憶部１６０に記憶させることである。
【0022】
撮像装置１０は、さらに送信部１７０を備えている。送信部１７０は、画像記憶部１６０が記憶している画像を外部装置２０に送信する。送信部１７０が外部装置２０に画像を送信するタイミングは、例えば画像記憶部１６０に画像が記憶されるたびに行われてもよいし、バッチ形式で行われてもよい。
【0023】
また、撮像装置１０は画像記憶部１６０を有していなくてもよい。この場合、記憶処理部１５０は、画像記憶部１６０に画像を記憶させる代わりに、この画像を送信部１７０に出力する。送信部１７０は、記憶処理部１５０から取得した画像を、外部装置２０に送信して記憶させる。そして表示処理部１３０は、記憶処理部１５０が直前に送信部１７０に出力した画像を、第１画像として記憶しておく。
【0024】
図３は、ディスプレイ１４０における第１表示領域１４２及び第２表示領域１４４の第１例を示す図である。本図において、第１画像が含む第１棚領域Ａ１及び第２画像が含む第２棚領域Ａ２は、横方向に隣り合っている。この場合、第１表示領域１４２は、ディスプレイ１４０の横方向の端部に位置している。そして第２表示領域１４４は、ディスプレイ１４０の残りの領域になっている。
【0025】
そして、第１表示領域１４２には第１画像の横方向の端部が表示され、第２表示領域１４４にはリアルタイム画像の全体が表示される。そして記憶処理部１５０は、第１表示領域１４２に表示されている画像のうち第２表示領域１４４側の端と、第２表示領域１４４に表示されている画像のうち第１表示領域１４２側の端とが連続していると判断したときに、上記した所定処理を行う。
【0026】
図４は、ディスプレイ１４０における第１表示領域１４２及び第２表示領域１４４の第２例を示す図である。本図においても、第１画像が含む第１棚領域Ａ１及び第２画像が含む第２棚領域Ａ２は、横方向に隣り合っている。そして、第１表示領域１４２には第１画像の横方向の端部と、リアルタイム画像の端部とが重なった状態で表示され、第２表示領域１４４にはリアルタイム画像の残りの部分が表示される。ここで撮像装置１０のユーザは、第１表示領域１４２において、第１画像の横方向の端部と、リアルタイム画像の端部とが一致するように、撮像装置１０の撮像方向を調整する。そして記憶処理部１５０は、第１表示領域１４２における、第１画像の端部とリアルタイム画像の端部との差分が基準以下になったときに、上記した所定処理を行う。
【0027】
例えば記憶処理部１５０は、第１画像の端部における画素の値と、リアルタイム画像の端部における画素の値と、を比較し、これらの差が基準以下になったときに、上記した所定処理を行う。また記憶処理部１５０は、第１画像の端部に含まれる物品の種類及び位置を検出するとともに、前記第２画像の端部に含まれる物品の種類及び位置を検出し、これらの差が基準以下になったときに、上記した所定処理を行う。後者の場合、記憶処理部１５０は、物品の種類がすべて一致することを必要条件として、さらに各物品の位置の差を統計処理した結果（例えば平均値又は合計値）が基準以下になったときに、上記した所定処理を行ってもよい。
【0028】
なお、本図に示すように、第１画像の端部と第２画像の端部が物品棚の同じ領域である場合、図３に示した例と比較して、画像の端部で物品の一部のみが写ることを抑制できる。このため、物品棚に載置されているいずれの物品においても、少なくとも一つの画像において全体像が含まれる可能性が高くなる。
【0029】
図５は、ディスプレイ１４０における第１表示領域１４２及び第２表示領域１４４の第３例を示す図である。本図に示す例は、第１画像が含む第１棚領域Ａ１及び第２画像が含む第２棚領域Ａ２が縦方向に隣り合っている点を除いて、図４に示した例と同様である。このため、本図に示す例において、第１表示領域１４２はディスプレイ１４０の上側（又は下側）の端に位置している。なお、本図に示す例において、第１画像と第２画像の関係は図３と同様であってもよい。
【0030】
図６は、撮像装置１０のハードウェア構成例を示す図である。撮像装置１０は、バス１０１０、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０を有する。
【0031】
バス１０１０は、プロセッサ１０２０、メモリ１０３０、ストレージデバイス１０４０、入出力インタフェース１０５０、及びネットワークインタフェース１０６０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０２０などを互いに接続する方法は、バス接続に限定されない。
【0032】
プロセッサ１０２０は、ＣＰＵ（Central Processing Unit） やＧＰＵ（Graphics Processing Unit）などで実現されるプロセッサである。
【0033】
メモリ１０３０は、ＲＡＭ（Random Access Memory）などで実現される主記憶装置である。
【0034】
ストレージデバイス１０４０は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、又はＲＯＭ（Read Only Memory）などで実現される補助記憶装置である。ストレージデバイス１０４０は撮像装置１０の各機能（例えば画像取得部１２０、表示処理部１３０、記憶処理部１５０、及び送信部１７０）を実現するプログラムモジュールを記憶している。プロセッサ１０２０がこれら各プログラムモジュールをメモリ１０３０上に読み込んで実行することで、そのプログラムモジュールに対応する各機能が実現される。また、ストレージデバイス１０４０は画像記憶部１６０としても機能する。
【0035】
入出力インタフェース１０５０は、撮像装置１０の主要部と各種入出力機器（例えばディスプレイ１４０）とを接続するためのインタフェースである。
【0036】
ネットワークインタフェース１０６０は、撮像装置１０をネットワークに接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）である。ネットワークインタフェース１０６０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。撮像装置１０は、ネットワークインタフェース１０６０を介して外部装置２０と通信してもよい。
【0037】
図７は、撮像装置１０が行う処理の一例を示すフローチャートである。まず、撮像装置１０の撮像部１１０は、第１画像となる画像を生成する。記憶処理部１５０は、この画像を第１画像として画像記憶部１６０に記憶させる（ステップＳ１０）。次いで表示処理部１３０は、第１画像を画像記憶部１６０から読み出し、第１画像の端部をディスプレイ１４０の第１表示領域１４２に表示させる（ステップＳ２０）。
【0038】
そして表示処理部１３０は、撮像部１１０が現在生成しているリアルタイム画像を、ディスプレイ１４０の第２表示領域１４４に表示させる（ステップＳ３０）。そして記憶処理部１５０は、第１表示領域１４２に表示されている画像と第２表示領域１４４に表示されている画像の連続性が基準を満たした場合（ステップＳ４０：Ｙｅｓ）、第２画像を画像記憶部１６０に記憶させるための所定処理を実行する（ステップＳ５０）。ここで、ステップＳ４０における判断基準の例は、図３を用いて説明した例、及び図４を用いて説明した例である。
【0039】
その後、第２画像を新たな第１画像として、図７に示した処理を再び行う。
【0040】
以上、本実施形態によれば、撮像装置１０の表示処理部１３０は、物品棚の一部を撮像した第１画像の少なくとも端部をディスプレイ１４０の第１表示領域１４２に表示させつつ、撮像部１１０が現在繰り返し生成しているリアルタイム画像をディスプレイ１４０の第２表示領域１４４に表示させる。そして記憶処理部１５０は、ディスプレイ１４０における第１表示領域１４２と第２表示領域１４４の連続性が基準を満たしたときに、リアルタイム画像を第２画像として画像記憶部１６０に記憶させる。したがって、物品棚を複数回に分けて撮影する場合において、この物品棚を隙間なく撮影することができる。
【0041】
［第２実施形態］
図８は、本実施形態に係る撮像装置１０の機能構成の一例を示す図である。本実施形態に係る撮像装置１０は、方向取得部１８０を備えている点を除いて、第１実施形態に係る撮像装置１０と同様の構成である。方向取得部１８０は、第１表示領域１４２と第２表示領域１４４とが並ぶ方向の指定を取得する。この指定は、例えば撮像装置１０の入力デバイスを介してユーザが入力してもよいし、外部装置２０が撮像装置１０に送信してもよい。指定される方向の例は、以下の４通りである。
図８は、本実施形態に係る撮像装置１０の機能構成の一例を示す図である。本実施形態に係る撮像装置１０は、方向取得部１８０を備えている点を除いて、第１実施形態に係る撮像装置１０と同様の構成である。方向取得部１８０は、第１表示領域１４２と第２表示領域１４４とが並ぶ方向の指定を取得する。この指定は、例えば撮像装置１０の入力デバイスを介してユーザが入力してもよいし、外部装置２０が撮像装置１０に送信してもよい。指定される方向の例は、以下の４通りである。
【0042】
（１）第２表示領域１４４が第１表示領域１４２の右側に位置する。
（２）第２表示領域１４４が第１表示領域１４２の左側に位置する。
（３）第２表示領域１４４が第１表示領域１４２の上側に位置する。
（４）第２表示領域１４４が第１表示領域１４２の下側に位置する。
（２）第２表示領域１４４が第１表示領域１４２の左側に位置する。
（３）第２表示領域１４４が第１表示領域１４２の上側に位置する。
（４）第２表示領域１４４が第１表示領域１４２の下側に位置する。
【0043】
そして表示処理部１３０は、方向取得部１８０が取得した指定に従って処理を行う。
【0044】
本実施形態によっても、第１の実施形態と同様の効果が得られる。また、方向取得部１８０は、第１表示領域１４２と第２表示領域１４４とが並ぶ方向の指定を取得する。ここで指定される方向は、物品棚の第１棚領域Ａ１及び第２棚領域Ａ２が並ぶ方向、すなわち物品棚を分けて撮影する際に物品棚を分割する方向を示している。従って、撮像装置１０の使用者は、この分割する方向に沿って物品棚を撮影しやすくなる。
【0045】
［第３実施形態］
図９は、本実施形態に係る撮像装置１０の機能構成の一例を示す図である。本図に示す撮像装置１０は、以下の点を除いて第２実施形態に係る撮像装置１０と同様の構成である。
図９は、本実施形態に係る撮像装置１０の機能構成の一例を示す図である。本図に示す撮像装置１０は、以下の点を除いて第２実施形態に係る撮像装置１０と同様の構成である。
【0046】
まず、撮像装置１０は方向取得部１８０を備えていない。その代わりに、撮像装置１０はセンサ１９０を備えている。センサ１９０は、例えば加速度センサ及びジャイロセンサの少なくとも一方を有しており、撮像装置１０の移動方向及び傾きの少なくとも一方を検出する。
【0047】
そして表示処理部１３０は、第１画像を生成した後のセンサ１９０の検出値を用いて、第１表示領域１４２と第２表示領域１４４とが並ぶ方向を決定する。並ぶ方向の具体例は、第２実施形態で説明した通りである。
【0048】
例えばセンサ１９０が加速度センサを有していると仮定する。この場合、表示処理部１３０は、加速度センサがある方向への加速を検知した場合、撮像装置１０がその方向に移動したことになるため、第２表示領域１４４を第１表示領域１４２に対してその方向に配置する。例えば表示処理部１３０は、加速度センサが右方向への加速を検知した場合、第２表示領域１４４を第１表示領域１４２の右側に配置する。また表示処理部１３０は、加速度センサが下方向への加速を検知した場合、第２表示領域１４４を第１表示領域１４２の下に配置する。
【0049】
またセンサ１９０がジャイロセンサを有していると仮定する。この場合、表示処理部１３０は、ジャイロセンサがある方向への回転を検知した場合、撮像装置１０の向きがその方向に変化したことになるため、第２表示領域１４４を第１表示領域１４２に対してその方向に配置する。例えば表示処理部１３０は、ジャイロセンサが右方向への回転を検知した場合、第２表示領域１４４を第１表示領域１４２の右側に配置する。また表示処理部１３０は、ジャイロセンサが下方向への回転を検知した場合、第２表示領域１４４を第１表示領域１４２の下に配置する。
【0050】
そして、この処理は、図７のステップＳ１０とステップＳ２０の間に行われる。
【0051】
本実施形態によっても、第２実施形態と同様の効果が得られる。
【0052】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【0053】
また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
【0054】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．物品が載置されている物品棚の一部を撮像した第１画像を取得する画像取得手段と、
前記第１画像の少なくとも端部を表示手段の一部である第１表示領域に表示させつつ、撮像手段が現在繰り返し生成しているリアルタイム画像を前記表示手段のうち前記第１表示領域に隣接する第２表示領域に表示させる表示処理手段と、
前記表示手段における前記第１画像の端部及び前記リアルタイム画像の連続性が基準を満たしたときに、前記リアルタイム画像又はその後に生成された画像を第２画像として記憶手段に記憶させるための所定処理を行う記憶処理手段と、
を備える画像記憶装置。
２．上記１に記載の画像記憶装置において、
前記表示処理手段は、前記第１表示領域において、前記第１画像の端部と前記リアルタイム画像の端部を重ねて表示させ、
前記記憶処理手段は、前記第１表示領域における、前記第１画像の端部と前記リアルタイム画像の端部との差分が基準以下になったときに、前記所定処理を行う画像記憶装置。
３．上記２に記載の画像記憶装置において、
前記記憶処理手段は、前記差分の少なくとも一部として、前記第１画像の端部に含まれる物品の種類及び位置と、前記第２画像の端部に含まれる物品の種類及び位置と、の差を用いる画像記憶装置。
４．上記１～３のいずれか一項に記載の画像記憶装置において、
前記所定処理は、前記撮像手段の撮像ボタンを有効にする処理である画像記憶装置。
５．上記１～３のいずれか一項に記載の画像記憶装置において、
前記所定処理は、前記リアルタイム画像を記憶手段に記憶させる処理である画像記憶装置。
６．上記１～５のいずれか一項に記載の画像記憶装置において、
前記第１表示領域と前記第２表示領域とが並ぶ方向の指定を取得する方向取得手段をさらに備える画像記憶装置。
７．上記１～５のいずれか一項に記載の画像記憶装置において、
前記撮像手段は、当該撮像手段の移動方向及び傾きの少なくとも一方を検出するセンサを有しており、かつ、前記第１画像を生成しており、
前記表示処理手段は、前記第１画像を生成した後の前記センサの検出値を用いて、前記第１表示領域と前記第２表示領域とが並ぶ方向を決定する画像記憶装置。
８．コンピュータが、
物品が載置されている物品棚の一部を撮像した第１画像を取得する画像取得処理と、
前記第１画像の少なくとも端部を表示手段の一部である第１表示領域に表示させつつ、撮像手段が現在繰り返し生成しているリアルタイム画像を前記表示手段のうち前記第１表示領域に隣接する第２表示領域に表示させる表示処理と、
前記表示手段における前記第１画像の端部と前記リアルタイム画像の連続性が基準を満たしたときに、前記リアルタイム画像又はその後に生成された画像を第２画像として記憶手段に記憶させるための所定処理を行う記憶処理と、
を行う画像記憶方法。
９．上記８に記載の画像記憶方法において、
前記表示処理において、前記コンピュータは、前記第１表示領域において、前記第１画像の端部と前記リアルタイム画像の端部を重ねて表示させ、
前記記憶処理において、前記コンピュータは、前記第１表示領域における、前記第１画像の端部と前記リアルタイム画像の端部との差分が基準以下になったときに、前記所定処理を行う画像記憶方法。
１０．上記９に記載の画像記憶方法において、
前記記憶処理において、前記コンピュータは、前記差分の少なくとも一部として、前記第１画像の端部に含まれる物品の種類及び位置と、前記第２画像の端部に含まれる物品の種類及び位置と、の差を用いる画像記憶方法。
１１．上記８～１０のいずれか一項に記載の画像記憶方法において、
前記所定処理は、前記撮像手段の撮像ボタンを有効にする処理である画像記憶方法。
１２．上記８～１０のいずれか一項に記載の画像記憶方法において、
前記所定処理は、前記リアルタイム画像を記憶手段に記憶させる処理である画像記憶方法。
１３．上記８～１２のいずれか一項に記載の画像記憶方法において、
前記コンピュータは、前記第１表示領域と前記第２表示領域とが並ぶ方向の指定を取得する方向取得処理をさらに行う画像記憶方法。
１４．上記８～１２のいずれか一項に記載の画像記憶方法において、
前記撮像手段は、当該撮像手段の移動方向及び傾きの少なくとも一方を検出するセンサを有しており、かつ、前記第１画像を生成しており、
前記表示処理において、前記コンピュータは、前記第１画像を生成した後の前記センサの検出値を用いて、前記第１表示領域と前記第２表示領域とが並ぶ方向を決定する画像記憶方法。
１５．コンピュータに、
物品が載置されている物品棚の一部を撮像した第１画像を取得する画像取得機能と、
前記第１画像の少なくとも端部を表示手段の一部である第１表示領域に表示させつつ、撮像手段が現在繰り返し生成しているリアルタイム画像を前記表示手段のうち前記第１表示領域に隣接する第２表示領域に表示させる表示処理機能と、
前記表示手段における前記第１画像の端部と前記リアルタイム画像の連続性が基準を満たしたときに、前記リアルタイム画像又はその後に生成された画像を第２画像として記憶手段に記憶させるための所定処理を行う記憶処理機能と、
を持たせるプログラム。
１６．上記１５に記載のプログラムにおいて、
前記表示処理機能は、前記第１表示領域において、前記第１画像の端部と前記リアルタイム画像の端部を重ねて表示させ、
前記記憶処理機能は、前記第１表示領域における、前記第１画像の端部と前記リアルタイム画像の端部との差分が基準以下になったときに、前記所定処理を行うプログラム。
１７．上記１６に記載のプログラムにおいて、
前記記憶処理機能は、前記差分の少なくとも一部として、前記第１画像の端部に含まれる物品の種類及び位置と、前記第２画像の端部に含まれる物品の種類及び位置と、の差を用いるプログラム。
１８．上記１５～１７のいずれか一項に記載のプログラムにおいて、
前記所定処理は、前記撮像手段の撮像ボタンを有効にする処理であるプログラム。
１９．上記１５～１７のいずれか一項に記載のプログラムにおいて、
前記所定処理は、前記リアルタイム画像を記憶手段に記憶させる処理であるプログラム。
２０．上記１５～１９のいずれか一項に記載のプログラムにおいて、
前記コンピュータに、前記第１表示領域と前記第２表示領域とが並ぶ方向の指定を取得する方向取得機能をさらに持たせるプログラム。
２１．上記１５～１９のいずれか一項に記載のプログラムにおいて、
前記撮像手段は、当該撮像手段の移動方向及び傾きの少なくとも一方を検出するセンサを有しており、かつ、前記第１画像を生成しており、
前記表示処理機能は、前記第１画像を生成した後の前記センサの検出値を用いて、前記第１表示領域と前記第２表示領域とが並ぶ方向を決定するプログラム。
１．物品が載置されている物品棚の一部を撮像した第１画像を取得する画像取得手段と、
前記第１画像の少なくとも端部を表示手段の一部である第１表示領域に表示させつつ、撮像手段が現在繰り返し生成しているリアルタイム画像を前記表示手段のうち前記第１表示領域に隣接する第２表示領域に表示させる表示処理手段と、
前記表示手段における前記第１画像の端部及び前記リアルタイム画像の連続性が基準を満たしたときに、前記リアルタイム画像又はその後に生成された画像を第２画像として記憶手段に記憶させるための所定処理を行う記憶処理手段と、
を備える画像記憶装置。
２．上記１に記載の画像記憶装置において、
前記表示処理手段は、前記第１表示領域において、前記第１画像の端部と前記リアルタイム画像の端部を重ねて表示させ、
前記記憶処理手段は、前記第１表示領域における、前記第１画像の端部と前記リアルタイム画像の端部との差分が基準以下になったときに、前記所定処理を行う画像記憶装置。
３．上記２に記載の画像記憶装置において、
前記記憶処理手段は、前記差分の少なくとも一部として、前記第１画像の端部に含まれる物品の種類及び位置と、前記第２画像の端部に含まれる物品の種類及び位置と、の差を用いる画像記憶装置。
４．上記１～３のいずれか一項に記載の画像記憶装置において、
前記所定処理は、前記撮像手段の撮像ボタンを有効にする処理である画像記憶装置。
５．上記１～３のいずれか一項に記載の画像記憶装置において、
前記所定処理は、前記リアルタイム画像を記憶手段に記憶させる処理である画像記憶装置。
６．上記１～５のいずれか一項に記載の画像記憶装置において、
前記第１表示領域と前記第２表示領域とが並ぶ方向の指定を取得する方向取得手段をさらに備える画像記憶装置。
７．上記１～５のいずれか一項に記載の画像記憶装置において、
前記撮像手段は、当該撮像手段の移動方向及び傾きの少なくとも一方を検出するセンサを有しており、かつ、前記第１画像を生成しており、
前記表示処理手段は、前記第１画像を生成した後の前記センサの検出値を用いて、前記第１表示領域と前記第２表示領域とが並ぶ方向を決定する画像記憶装置。
８．コンピュータが、
物品が載置されている物品棚の一部を撮像した第１画像を取得する画像取得処理と、
前記第１画像の少なくとも端部を表示手段の一部である第１表示領域に表示させつつ、撮像手段が現在繰り返し生成しているリアルタイム画像を前記表示手段のうち前記第１表示領域に隣接する第２表示領域に表示させる表示処理と、
前記表示手段における前記第１画像の端部と前記リアルタイム画像の連続性が基準を満たしたときに、前記リアルタイム画像又はその後に生成された画像を第２画像として記憶手段に記憶させるための所定処理を行う記憶処理と、
を行う画像記憶方法。
９．上記８に記載の画像記憶方法において、
前記表示処理において、前記コンピュータは、前記第１表示領域において、前記第１画像の端部と前記リアルタイム画像の端部を重ねて表示させ、
前記記憶処理において、前記コンピュータは、前記第１表示領域における、前記第１画像の端部と前記リアルタイム画像の端部との差分が基準以下になったときに、前記所定処理を行う画像記憶方法。
１０．上記９に記載の画像記憶方法において、
前記記憶処理において、前記コンピュータは、前記差分の少なくとも一部として、前記第１画像の端部に含まれる物品の種類及び位置と、前記第２画像の端部に含まれる物品の種類及び位置と、の差を用いる画像記憶方法。
１１．上記８～１０のいずれか一項に記載の画像記憶方法において、
前記所定処理は、前記撮像手段の撮像ボタンを有効にする処理である画像記憶方法。
１２．上記８～１０のいずれか一項に記載の画像記憶方法において、
前記所定処理は、前記リアルタイム画像を記憶手段に記憶させる処理である画像記憶方法。
１３．上記８～１２のいずれか一項に記載の画像記憶方法において、
前記コンピュータは、前記第１表示領域と前記第２表示領域とが並ぶ方向の指定を取得する方向取得処理をさらに行う画像記憶方法。
１４．上記８～１２のいずれか一項に記載の画像記憶方法において、
前記撮像手段は、当該撮像手段の移動方向及び傾きの少なくとも一方を検出するセンサを有しており、かつ、前記第１画像を生成しており、
前記表示処理において、前記コンピュータは、前記第１画像を生成した後の前記センサの検出値を用いて、前記第１表示領域と前記第２表示領域とが並ぶ方向を決定する画像記憶方法。
１５．コンピュータに、
物品が載置されている物品棚の一部を撮像した第１画像を取得する画像取得機能と、
前記第１画像の少なくとも端部を表示手段の一部である第１表示領域に表示させつつ、撮像手段が現在繰り返し生成しているリアルタイム画像を前記表示手段のうち前記第１表示領域に隣接する第２表示領域に表示させる表示処理機能と、
前記表示手段における前記第１画像の端部と前記リアルタイム画像の連続性が基準を満たしたときに、前記リアルタイム画像又はその後に生成された画像を第２画像として記憶手段に記憶させるための所定処理を行う記憶処理機能と、
を持たせるプログラム。
１６．上記１５に記載のプログラムにおいて、
前記表示処理機能は、前記第１表示領域において、前記第１画像の端部と前記リアルタイム画像の端部を重ねて表示させ、
前記記憶処理機能は、前記第１表示領域における、前記第１画像の端部と前記リアルタイム画像の端部との差分が基準以下になったときに、前記所定処理を行うプログラム。
１７．上記１６に記載のプログラムにおいて、
前記記憶処理機能は、前記差分の少なくとも一部として、前記第１画像の端部に含まれる物品の種類及び位置と、前記第２画像の端部に含まれる物品の種類及び位置と、の差を用いるプログラム。
１８．上記１５～１７のいずれか一項に記載のプログラムにおいて、
前記所定処理は、前記撮像手段の撮像ボタンを有効にする処理であるプログラム。
１９．上記１５～１７のいずれか一項に記載のプログラムにおいて、
前記所定処理は、前記リアルタイム画像を記憶手段に記憶させる処理であるプログラム。
２０．上記１５～１９のいずれか一項に記載のプログラムにおいて、
前記コンピュータに、前記第１表示領域と前記第２表示領域とが並ぶ方向の指定を取得する方向取得機能をさらに持たせるプログラム。
２１．上記１５～１９のいずれか一項に記載のプログラムにおいて、
前記撮像手段は、当該撮像手段の移動方向及び傾きの少なくとも一方を検出するセンサを有しており、かつ、前記第１画像を生成しており、
前記表示処理機能は、前記第１画像を生成した後の前記センサの検出値を用いて、前記第１表示領域と前記第２表示領域とが並ぶ方向を決定するプログラム。
【符号の説明】
【0055】
１０ 撮像装置（画像記憶装置）
２０ 外部装置
１１０ 撮像部
１２０ 画像取得部
１３０ 表示処理部
１４０ ディスプレイ
１５０ 記憶処理部
１６０ 画像記憶部
１７０ 送信部
２０ 外部装置
１１０ 撮像部
１２０ 画像取得部
１３０ 表示処理部
１４０ ディスプレイ
１５０ 記憶処理部
１６０ 画像記憶部
１７０ 送信部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】