知財求人 - 知財ポータルサイト「IP Force」
特開2022-108280画像操作システム、画像操作サーバ、利用者端末、画像操作方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022108280
(43)【公開日】2022-07-25
(54)【発明の名称】画像操作システム、画像操作サーバ、利用者端末、画像操作方法及びプログラム
(51)【国際特許分類】
G06F 3/01 20060101AFI20220715BHJP
G06Q 50/10 20120101ALI20220715BHJP
G09G 5/00 20060101ALI20220715BHJP
G09G 5/34 20060101ALI20220715BHJP
G09G 5/377 20060101ALI20220715BHJP
G09G 5/14 20060101ALI20220715BHJP
【ＦＩ】
G06F3/01 510
G06Q50/10
G06F3/01 570
G09G5/00 555D
G09G5/00 550C
G09G5/34 A
G09G5/36 520L
G09G5/14 A
G09G5/00 510P
【審査請求】未請求
【請求項の数】18
【出願形態】ＯＬ
(21)【出願番号】P 2022002785
(22)【出願日】2022-01-12
(31)【優先権主張番号】P 2021002557
(32)【優先日】2021-01-12
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000003193
【氏名又は名称】凸版印刷株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】亀卦川 篤
(72)【発明者】
【氏名】斉藤 友明
(72)【発明者】
【氏名】岸 啓補
(72)【発明者】
【氏名】小幡 光一
(72)【発明者】
【氏名】若元 友輔
【テーマコード（参考）】
5C182
5E555
5L049
【Ｆターム（参考）】
5C182AA02
5C182AA03
5C182AA31
5C182AB08
5C182AB33
5C182BA14
5C182BA46
5C182BA56
5C182BA65
5C182BA66
5C182BA72
5C182BC01
5C182BC14
5C182BC26
5C182BC29
5C182CB13
5C182CB14
5C182CB41
5C182CB44
5C182CB54
5C182CC11
5C182CC17
5C182DA65
5E555AA41
5E555AA64
5E555BA38
5E555BB38
5E555BC01
5E555BE17
5E555CA42
5E555CB55
5E555CB66
5E555CC03
5E555DA08
5E555DB52
5E555DB53
5E555FA00
5L049CC11
(57)【要約】
【課題】利用者が画面操作を行わずに、観察したい場所の表示画像になり、複数の撮像装置が撮像している場所を実際に移動している感覚を利用者に与える画像操作システムを提供する。
【解決手段】本発明は、複数の撮像装置から撮像画像を受信し、撮像画像のいずれかに少なくとも基づく画像を配信画像として配信する画像配信部と、利用者の身体の状態を示す身体情報に対応し、配信画像における表示対象領域の移動の方向情報を取得する操作情報取得部と、移動方向により配信画像における表示枠の位置を更新する表示制御部と、表示枠により表示画像を配信画像から抽出する画像加工部と、表示画像を出力する画像出力部とを備える。
【選択図】図１
【解決手段】本発明は、複数の撮像装置から撮像画像を受信し、撮像画像のいずれかに少なくとも基づく画像を配信画像として配信する画像配信部と、利用者の身体の状態を示す身体情報に対応し、配信画像における表示対象領域の移動の方向情報を取得する操作情報取得部と、移動方向により配信画像における表示枠の位置を更新する表示制御部と、表示枠により表示画像を配信画像から抽出する画像加工部と、表示画像を出力する画像出力部とを備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
複数の撮像装置の各々が撮像した撮像画像それぞれを受信し、前記撮像画像のいずれかに少なくとも基づく画像を配信画像として配信する画像配信部と、
利用者の身体の状態を示し、少なくとも前記利用者の身体における所定の一部の向きを示す身体情報に対応した、前記配信画像における表示対象の領域である表示対象領域を移動させる方向を含む方向情報を取得する操作情報取得部と、
前記方向情報を含む表示領域情報により、前記配信画像における前記表示対象領域を抽出する表示枠の位置を更新する指示を行う表示制御部と、
前記配信画像から前記表示枠に囲まれた画像を抽出して、抽出した画像を表示画像とする画像加工部と、
前記表示画像を出力する画像出力部と
を備え、
前記表示制御部は、前記方向情報の示す方向に応じた速度で、前記配信画像における前記表示枠の位置を移動させる
ことを特徴とする画像操作システム。
利用者の身体の状態を示し、少なくとも前記利用者の身体における所定の一部の向きを示す身体情報に対応した、前記配信画像における表示対象の領域である表示対象領域を移動させる方向を含む方向情報を取得する操作情報取得部と、
前記方向情報を含む表示領域情報により、前記配信画像における前記表示対象領域を抽出する表示枠の位置を更新する指示を行う表示制御部と、
前記配信画像から前記表示枠に囲まれた画像を抽出して、抽出した画像を表示画像とする画像加工部と、
前記表示画像を出力する画像出力部と
を備え、
前記表示制御部は、前記方向情報の示す方向に応じた速度で、前記配信画像における前記表示枠の位置を移動させる
ことを特徴とする画像操作システム。
【請求項2】
前記表示制御部は、前記方向情報の示す左または右への方向に応じた速度により、前記配信画像における前記表示枠を左または右に移動させ、前記方向情報の示す上または下への方向に応じて、前記方向情報における前記表示枠を上または下に移動させる
ことを特徴とする請求項１に記載の画像操作システム。
ことを特徴とする請求項１に記載の画像操作システム。
【請求項3】
前記身体における所定の一部が頭部である
ことを特徴とする請求項１または請求項２に記載の画像操作システム。
ことを特徴とする請求項１または請求項２に記載の画像操作システム。
【請求項4】
前記配信画像は、複数の前記撮像画像を合成した画像である
ことを特徴とする請求項１から請求項３のいずれか一項に記載の画像操作システム。
ことを特徴とする請求項１から請求項３のいずれか一項に記載の画像操作システム。
【請求項5】
前記撮像装置の各々の配置位置それぞれにおける隣接関係を示す撮像装置隣接関係情報を取得する撮像装置隣接関係情報取得部を備え、
前記画像配信部は、前記複数の撮像装置のうち、一部を対象撮像装置として選択し、前記対象撮像装置が一つの撮像装置である場合、当該一つの撮像装置が撮像した撮像画像を配信画像として配信し、前記対象撮像装置が複数の撮像装置である場合、当該複数の撮像装置が撮像した撮像画像を合成した画像を配信画像として配信し、前記一部の変更を指示する撮像装置変更リクエスト情報が入力された場合、当該撮像装置変更リクエスト情報に対応して前記対象撮像装置を切り替え、
前記表示制御部は、前記方向情報における所定の条件が満たされた場合、前記対象撮像装置を他の撮像装置へ変更する指示を行う
ことを特徴とする請求項１から請求項３のいずれか一項に記載の画像操作システム。
前記画像配信部は、前記複数の撮像装置のうち、一部を対象撮像装置として選択し、前記対象撮像装置が一つの撮像装置である場合、当該一つの撮像装置が撮像した撮像画像を配信画像として配信し、前記対象撮像装置が複数の撮像装置である場合、当該複数の撮像装置が撮像した撮像画像を合成した画像を配信画像として配信し、前記一部の変更を指示する撮像装置変更リクエスト情報が入力された場合、当該撮像装置変更リクエスト情報に対応して前記対象撮像装置を切り替え、
前記表示制御部は、前記方向情報における所定の条件が満たされた場合、前記対象撮像装置を他の撮像装置へ変更する指示を行う
ことを特徴とする請求項１から請求項３のいずれか一項に記載の画像操作システム。
【請求項6】
前記撮像装置の各々の配置位置それぞれにおける隣接関係を示す撮像装置隣接関係情報を取得する撮像装置隣接関係情報取得部を備え、
前記画像配信部は、前記撮像装置のいずれかを対象撮像装置として選択し、当該対象撮像装置が撮像した撮像画像を配信画像として配信し、前記撮像装置の変更を指示する撮像装置変更リクエスト情報が入力された場合、当該撮像装置変更リクエスト情報に対応して前記対象撮像装置を切り替え、
前記表示制御部は、前記方向情報における所定の条件が満たされた場合、前記対象撮像装置を他の撮像装置へ変更する指示を行う
ことを特徴とする請求項１から請求項３のいずれか一項に記載の画像操作システム。
前記画像配信部は、前記撮像装置のいずれかを対象撮像装置として選択し、当該対象撮像装置が撮像した撮像画像を配信画像として配信し、前記撮像装置の変更を指示する撮像装置変更リクエスト情報が入力された場合、当該撮像装置変更リクエスト情報に対応して前記対象撮像装置を切り替え、
前記表示制御部は、前記方向情報における所定の条件が満たされた場合、前記対象撮像装置を他の撮像装置へ変更する指示を行う
ことを特徴とする請求項１から請求項３のいずれか一項に記載の画像操作システム。
【請求項7】
前記撮像装置の各々が商品を販売する店舗内のそれぞれ異なる位置に配置されており、当該店舗内の互いに異なる撮像範囲を撮像し、前記撮像範囲に前記商品が陳列されている ことを特徴とする請求項１から請求項６のいずれか一項に記載の画像操作システム。
【請求項8】
前記利用者の購入する前記商品を示す注文情報に対応して、当該商品の画像を含む注文書情報を出力する注文処理部をさらに備え、
前記身体情報が、前記利用者における身体の所定の一部である当該利用者の手の位置を示す手位置情報を含み、
前記操作情報取得部が、前記手位置情報に対応して、前記表示画像における商品の位置を示す位置情報を取得し、
前記表示制御部が、前記表示枠の位置に対応させて、前記位置情報の示す位置を前記配信画像における位置に変換した選択位置情報を生成し、
前記表示制御部が、前記選択位置情報の示す前記商品を注文する注文条件が満たされた場合、少なくとも前記選択位置情報を含む前記注文情報を注文処理部に送信し、
前記注文処理部が、
前記配信画像から、前記注文情報に含まれる前記選択位置情報の示す位置を含む領域を抽出し、当該領域のサムネイル画像を生成するサムネイル画像生成部と、
前記商品の配送先となる、当該商品を注文した前記利用者の住所を含む配送先情報を取得する配送先情報取得部と、
前記サムネイル画像と前記配送先情報とより、前記サムネイル画像内の商品の注文書の情報である注文書情報を出力する注文書情報出力部と
をさらに備える、
ことを特徴とする請求項７に記載の画像操作システム。
前記身体情報が、前記利用者における身体の所定の一部である当該利用者の手の位置を示す手位置情報を含み、
前記操作情報取得部が、前記手位置情報に対応して、前記表示画像における商品の位置を示す位置情報を取得し、
前記表示制御部が、前記表示枠の位置に対応させて、前記位置情報の示す位置を前記配信画像における位置に変換した選択位置情報を生成し、
前記表示制御部が、前記選択位置情報の示す前記商品を注文する注文条件が満たされた場合、少なくとも前記選択位置情報を含む前記注文情報を注文処理部に送信し、
前記注文処理部が、
前記配信画像から、前記注文情報に含まれる前記選択位置情報の示す位置を含む領域を抽出し、当該領域のサムネイル画像を生成するサムネイル画像生成部と、
前記商品の配送先となる、当該商品を注文した前記利用者の住所を含む配送先情報を取得する配送先情報取得部と、
前記サムネイル画像と前記配送先情報とより、前記サムネイル画像内の商品の注文書の情報である注文書情報を出力する注文書情報出力部と
をさらに備える、
ことを特徴とする請求項７に記載の画像操作システム。
【請求項9】
前記注文条件が、前記身体における所定の一部が、予め設定された時間の間、前記位置情報の示す位置に停止した状態である条件を必要条件とする
ことを特徴とする請求項８に記載の画像操作システム。
ことを特徴とする請求項８に記載の画像操作システム。
【請求項10】
前記身体情報が、
前記利用者の身体の一部である当該利用者の手のポーズ及び状態を含むジェスチャを示す手形情報を含み、
前記操作情報取得部が、
前記手形情報に基づき、前記ジェスチャの種類を示すジェスチャ情報を取得し、
前記注文条件が、
前記ジェスチャ情報の示すジェスチャが、注文を行う種類として予め設定された種類のジェスチャである場合を必要条件とする、
ことを特徴とする請求項８または請求項９に記載の画像操作システム。
前記利用者の身体の一部である当該利用者の手のポーズ及び状態を含むジェスチャを示す手形情報を含み、
前記操作情報取得部が、
前記手形情報に基づき、前記ジェスチャの種類を示すジェスチャ情報を取得し、
前記注文条件が、
前記ジェスチャ情報の示すジェスチャが、注文を行う種類として予め設定された種類のジェスチャである場合を必要条件とする、
ことを特徴とする請求項８または請求項９に記載の画像操作システム。
【請求項11】
身体情報認識部と、
ユーザインターフェース部と
をさらに備え、
前記ユーザインターフェース部が、
前記画像出力部から出力された前記表示画像を表示する表示部と、
前記利用者の身体における一部である頭部に配置され、当該頭部の姿勢に関する頭部状態情報を前記身体情報認識部に送信するモーションセンサ部と、
を備え、
前記身体情報認識部が、前記頭部状態情報における前記頭部の姿勢から、当該頭部の向きの情報を含む前記身体情報を取得する
ことを特徴とする請求項１から請求項１０のいずれか一項に記載の画像操作システム。
ユーザインターフェース部と
をさらに備え、
前記ユーザインターフェース部が、
前記画像出力部から出力された前記表示画像を表示する表示部と、
前記利用者の身体における一部である頭部に配置され、当該頭部の姿勢に関する頭部状態情報を前記身体情報認識部に送信するモーションセンサ部と、
を備え、
前記身体情報認識部が、前記頭部状態情報における前記頭部の姿勢から、当該頭部の向きの情報を含む前記身体情報を取得する
ことを特徴とする請求項１から請求項１０のいずれか一項に記載の画像操作システム。
【請求項12】
前記画像出力部から出力された前記表示画像を表示する表示部と、
前記利用者の身体の状態を、当該身体の動きを示すセンシング情報として取得するセンサ部と、
前記センシング情報に基づき、前記利用者の前記身体情報を抽出する身体情報認識部と をさらに備える
ことを特徴とする請求項１から請求項１０のいずれか一項に記載の画像操作システム。
前記利用者の身体の状態を、当該身体の動きを示すセンシング情報として取得するセンサ部と、
前記センシング情報に基づき、前記利用者の前記身体情報を抽出する身体情報認識部と をさらに備える
ことを特徴とする請求項１から請求項１０のいずれか一項に記載の画像操作システム。
【請求項13】
サーバと、当該サーバに接続され、前記利用者の所持する利用者端末とを備え、
前記サーバが、
前記画像配信部
を備え、
前記利用者端末が、
前記操作情報取得部と、
前記表示制御部と、
前記画像加工部と、
前記画像出力部と
を備える
ことを特徴とする請求項１から請求項１２のいずれか一項に記載の画像操作システム。
前記サーバが、
前記画像配信部
を備え、
前記利用者端末が、
前記操作情報取得部と、
前記表示制御部と、
前記画像加工部と、
前記画像出力部と
を備える
ことを特徴とする請求項１から請求項１２のいずれか一項に記載の画像操作システム。
【請求項14】
利用者の身体における所定の一部の方向を示す身体方向情報から方向情報を取得し、前記方向情報の示す方向に応じた速度で、配信画像における表示枠の位置を移動させる利用者端末と接続され、前記配信画像を前記利用者端末に送信する画像操作サーバであり、
複数の撮像装置の各々が撮像した撮像画像それぞれを受信し、前記撮像画像のいずれかに少なくとも基づく画像を前記配信画像として配信する画像配信部
を備える
ことを特徴とする画像操作サーバ。
複数の撮像装置の各々が撮像した撮像画像それぞれを受信し、前記撮像画像のいずれかに少なくとも基づく画像を前記配信画像として配信する画像配信部
を備える
ことを特徴とする画像操作サーバ。
【請求項15】
複数の撮像装置の各々が撮像した撮像画像それぞれを受信し、前記撮像画像のいずれかに少なくとも基づく画像を配信画像として配信するサーバと接続される、当該配信画像を受信する利用者端末であり、
利用者の身体の状態を示し、少なくとも前記利用者の身体における所定の一部の向きを示す身体情報に対応した、前記配信画像における表示対象領域を移動させる方向を含む方向情報を取得する操作情報取得部と、
前記方向情報を含む表示領域情報により、前記配信画像における表示対象領域を選択する表示枠の位置を更新する指示を行う表示制御部と、
前記配信画像から前記表示枠に囲まれた画像を抽出して、前記表示対象領域の表示画像を生成する画像加工部と、
前記表示画像を出力する画像出力部と
を備える
ことを特徴とする利用者端末。
利用者の身体の状態を示し、少なくとも前記利用者の身体における所定の一部の向きを示す身体情報に対応した、前記配信画像における表示対象領域を移動させる方向を含む方向情報を取得する操作情報取得部と、
前記方向情報を含む表示領域情報により、前記配信画像における表示対象領域を選択する表示枠の位置を更新する指示を行う表示制御部と、
前記配信画像から前記表示枠に囲まれた画像を抽出して、前記表示対象領域の表示画像を生成する画像加工部と、
前記表示画像を出力する画像出力部と
を備える
ことを特徴とする利用者端末。
【請求項16】
画像配信部が、複数の撮像装置の各々が撮像した撮像画像それぞれを受信し、前記撮像画像のいずれかに少なくとも基づく画像を配信画像として配信する画像配信過程と、
操作情報取得部が、利用者の身体の状態を示し、少なくとも前記利用者の身体における所定の一部の向きを示す身体情報に対応した、前記配信画像における表示対象領域を移動させる方向を含む方向情報を取得する操作情報取得過程と、
表示制御部が、前記方向情報を含む表示領域情報により、前記配信画像における表示対象領域を選択する表示枠の位置を更新する指示を行う表示制御過程と、
画像加工部が、前記配信画像から前記表示枠に囲まれた画像を抽出して、前記表示対象領域の表示画像を生成する画像加工過程と、
画像出力部が、前記表示画像を出力する画像出力過程と
を含む
ことを特徴とする画像操作方法。
操作情報取得部が、利用者の身体の状態を示し、少なくとも前記利用者の身体における所定の一部の向きを示す身体情報に対応した、前記配信画像における表示対象領域を移動させる方向を含む方向情報を取得する操作情報取得過程と、
表示制御部が、前記方向情報を含む表示領域情報により、前記配信画像における表示対象領域を選択する表示枠の位置を更新する指示を行う表示制御過程と、
画像加工部が、前記配信画像から前記表示枠に囲まれた画像を抽出して、前記表示対象領域の表示画像を生成する画像加工過程と、
画像出力部が、前記表示画像を出力する画像出力過程と
を含む
ことを特徴とする画像操作方法。
【請求項17】
利用者の身体における所定の一部の方向を示す身体方向情報から方向情報を取得し、前記方向情報の示す方向に応じた速度で、配信画像における表示枠の位置を移動させる利用者端末と接続され、前記配信画像を前記利用者端末に送信する画像操作サーバとしてコンピュータを動作させるプログラムであり、
前記コンピュータを、
複数の撮像装置の各々が撮像した撮像画像それぞれを受信し、前記撮像画像のいずれかに少なくとも基づく画像を前記配信画像として配信する画像配信手段、
として動作させるプログラム。
前記コンピュータを、
複数の撮像装置の各々が撮像した撮像画像それぞれを受信し、前記撮像画像のいずれかに少なくとも基づく画像を前記配信画像として配信する画像配信手段、
として動作させるプログラム。
【請求項18】
複数の撮像装置の各々が撮像した撮像画像それぞれを受信し、前記撮像画像のいずれかに少なくとも基づく画像を配信画像として配信するサーバと接続される、当該配信画像を受信する利用者端末としてコンピュータを動作させるプログラムであり、
利用者の身体の状態を示し、少なくとも前記利用者の身体における所定の一部の向きを示す身体情報に対応した、前記配信画像における表示対象領域を移動させる方向を含む方向情報を取得する操作情報取得手段、
前記方向情報を含む表示領域情報により、前記配信画像における表示対象領域を選択する表示枠の位置を更新する指示を行う表示制御手段、
前記配信画像から前記表示枠に囲まれた画像を抽出して、前記表示対象領域の表示画像を生成する画像加工手段、
前記表示画像を出力する画像出力手段
として動作させるプログラム。
利用者の身体の状態を示し、少なくとも前記利用者の身体における所定の一部の向きを示す身体情報に対応した、前記配信画像における表示対象領域を移動させる方向を含む方向情報を取得する操作情報取得手段、
前記方向情報を含む表示領域情報により、前記配信画像における表示対象領域を選択する表示枠の位置を更新する指示を行う表示制御手段、
前記配信画像から前記表示枠に囲まれた画像を抽出して、前記表示対象領域の表示画像を生成する画像加工手段、
前記表示画像を出力する画像出力手段
として動作させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像操作システム、画像操作サーバ、利用者端末、画像操作方法及びプログラムに関する。
【背景技術】
【0002】
近年、過疎化による交通網や流通網の縮小や、ユーザの高齢化に伴う自動車等の運転能力の低下、災害の被災者や高齢者などが店舗まで出向くことが困難となっている。
このため、被災者や高齢者が、実店舗において生成食料品などの実物を自分で観て、商品を選んで買い物を行うことができない。
また、感染症対策などによる非常事態として移動が制限された場合など、ユーザが旅行に出かけたり、遠方にある博物館や美術館における展示物の鑑賞を行うことができない。
このため、被災者や高齢者が、実店舗において生成食料品などの実物を自分で観て、商品を選んで買い物を行うことができない。
また、感染症対策などによる非常事態として移動が制限された場合など、ユーザが旅行に出かけたり、遠方にある博物館や美術館における展示物の鑑賞を行うことができない。
【0003】
商品の購入に際しては、店舗のＥＣサイトにおけるインターネットを利用した、あるいは電話を利用した通信販売による商品の注文を利用することができる（例えば、特許文献１、特許文献２参照）。
しかしながら、上記ＥＣサイトや電話注文などは、店舗にある実際の商品を観察して購入するわけではなく、届いた商品（特に生成食料品など）が満足できない場合もある。 このため、店舗における商品の映像を利用者に届けて、陳列されている商品の画像をユーザにリアルタイムに送信し、実際に店舗で販売されている商品を観てユーザに買い物を行わせるシステムもある。
しかしながら、上記ＥＣサイトや電話注文などは、店舗にある実際の商品を観察して購入するわけではなく、届いた商品（特に生成食料品など）が満足できない場合もある。 このため、店舗における商品の映像を利用者に届けて、陳列されている商品の画像をユーザにリアルタイムに送信し、実際に店舗で販売されている商品を観てユーザに買い物を行わせるシステムもある。
【0004】
また、旅行に対しても、インターネットを利用した仮想的な旅行が企画され、ユーザの行きたい場所で説明者が有名な観光スポットなどを解説し、旅行気分を味わえるサービスもある。
上記サービスにおいては、撮像装置により観光地の風景や博物館、美術館の展示物を撮像した撮像画像を提供し、撮像画像に写された被写体で多くのユーザが興味を引くものに対して解説し、ユーザからの質問を電話やインターネットを介して行う。
上記サービスにおいては、撮像装置により観光地の風景や博物館、美術館の展示物を撮像した撮像画像を提供し、撮像画像に写された被写体で多くのユーザが興味を引くものに対して解説し、ユーザからの質問を電話やインターネットを介して行う。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０００－０９９６１２号公報
【特許文献2】特開２０１４－１７８９０９号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上記特許文献１の構成は、実店舗の商品の画像をリアルタイムにインターネットに提供する際、ユーザが購入したい商品の画像を撮像するため、撮像装置の撮像する位置を変更することができる。
しかしながら、特許文献１においては、一台の撮像装置を一人のユーザが専有して使用することになり、店舗の撮像装置の数により同時に買い物を行えるユーザ数が制限されてしまう。
しかしながら、特許文献１においては、一台の撮像装置を一人のユーザが専有して使用することになり、店舗の撮像装置の数により同時に買い物を行えるユーザ数が制限されてしまう。
【0007】
また、ユーザが店舗で買い物を行う場合、一般的に、最初から購入する商品が決まっている訳ではない。例えば、日々の献立が計画されていることは少なく、生成食料品などは実際に観察して商品の状態や値段を確認して購入することが多い。
そのため、実店舗における買い物の場合、店舗内の種類毎の売り場を回遊して、それぞれの商品を観察して購入するかしないかを決めている。
一方、ユーザがインターネットを利用して店舗内の回遊を行って商品の購入を行う際、現在見ている商品と異なる種類の商品の画像を見たい場合に、逐次、現在使用している撮像装置から、他の商品を撮像している他の撮像装置に切り替える必要がある。
そのため、実店舗における買い物の場合、店舗内の種類毎の売り場を回遊して、それぞれの商品を観察して購入するかしないかを決めている。
一方、ユーザがインターネットを利用して店舗内の回遊を行って商品の購入を行う際、現在見ている商品と異なる種類の商品の画像を見たい場合に、逐次、現在使用している撮像装置から、他の商品を撮像している他の撮像装置に切り替える必要がある。
【0008】
このとき、撮像装置の切り替えを行う場合、ユーザ端末のメニュー操作を頻繁に行う必要があるが、全てのユーザがユーザ端末の操作に慣れている訳ではない。
また、特許文献２は、実店舗において商品の購入する感覚に近づけるため、ユーザの手の状態によるジェスチャを用いて商品選択を行う構成となっており、商品を購入する際におけるユーザの操作性を向上させている。
また、特許文献２は、実店舗において商品の購入する感覚に近づけるため、ユーザの手の状態によるジェスチャを用いて商品選択を行う構成となっており、商品を購入する際におけるユーザの操作性を向上させている。
【0009】
しかし、すでに述べたように、ユーザ端末における操作には店舗内の撮像装置の切替も含まれるため、この切替の操作もジェスチャに加えた場合、ユーザが使用するジェスチャの種類が増加する。
特に、商品を購入する際における売り場の移動と手の動きとは関連性が低く、ユーザに分かり難い制御の印象を与え、逆にユーザの操作性が低下してしまう。
旅行での観光地巡りや、博物館及び美術館における美術品の鑑賞においても、ユーザが回遊しつつ興味のある場所や美術品を鑑賞するため、上述した店舗における買い物をインターネットで行う場合と同様の課題がある。
特に、商品を購入する際における売り場の移動と手の動きとは関連性が低く、ユーザに分かり難い制御の印象を与え、逆にユーザの操作性が低下してしまう。
旅行での観光地巡りや、博物館及び美術館における美術品の鑑賞においても、ユーザが回遊しつつ興味のある場所や美術品を鑑賞するため、上述した店舗における買い物をインターネットで行う場合と同様の課題がある。
【0010】
本発明は、このような状況に鑑みてなされたもので、利用者が画面操作を行うことなく、あたかも複数の撮像装置が撮像している場所を実際に移動している感覚をユーザに与える処理を容易に行なうことができる画像操作システム、画像操作サーバ、利用者端末、画像操作方法及びプログラムを提供する。
【課題を解決するための手段】
【0011】
上述した課題を解決するために、本発明の画像操作システムは、複数の撮像装置の各々が撮像した撮像画像それぞれを受信し、前記撮像画像のいずれかに少なくとも基づく画像を配信画像として配信する画像配信部と、利用者の身体の状態を示し、少なくとも前記利用者の身体における所定の一部の向きを示す身体情報に対応した、前記配信画像における表示対象の領域である表示対象領域を移動させる方向を含む方向情報を取得する操作情報取得部と、前記方向情報を含む表示領域情報により、前記配信画像における前記表示対象領域を抽出する表示枠の位置を更新する指示を行う表示制御部と、前記配信画像から前記表示枠に囲まれた画像を抽出して、抽出した画像を表示画像とする画像加工部と、前記表示画像を出力する画像出力部とを備え、前記表示制御部は、前記方向情報の示す方向に応じた速度で、前記配信画像における前記表示枠の位置を移動させることを特徴とする。
【0012】
本発明の画像操作システムは、前記表示制御部は、前記方向情報の示す左または右への方向に応じた速度により、前記配信画像における前記表示枠を左または右に移動させ、前記方向情報の示す上または下への方向に応じて、前記方向情報における前記表示枠を上または下に移動させることを特徴とする。
【0013】
本発明の画像操作システムは、前記身体における所定の一部が頭部であることを特徴とする。
【0014】
本発明の画像操作システムは、前記撮像装置の各々の配置位置それぞれにおける隣接関係を示す撮像装置隣接関係情報を取得する撮像装置隣接関係情報取得部を備え、前記画像配信部は、前記複数の撮像装置のうち、一部を対象撮像装置として選択し、前記対象撮像装置が一つの撮像装置である場合、当該一つの撮像装置が撮像した撮像画像を配信画像として配信し、前記対象撮像装置が複数の撮像装置である場合、当該複数の撮像装置が撮像した撮像画像を合成した画像を配信画像として配信し、前記一部の変更を指示する撮像装置変更リクエスト情報が入力された場合、当該撮像装置変更リクエスト情報に対応して前記対象撮像装置を切り替え、前記表示制御部は、前記方向情報における所定の条件が満たされた場合、前記対象撮像装置を他の撮像装置へ変更する指示を行うことを特徴とする。
【0015】
本発明の画像操作システムは、前記撮像装置の各々の配置位置それぞれにおける隣接関係を示す撮像装置隣接関係情報を取得する撮像装置隣接関係情報取得部を備え、前記画像配信部は、前記撮像装置のいずれかを対象撮像装置として選択し、当該対象撮像装置が撮像した撮像画像を配信画像として配信し、前記撮像装置の変更を指示する撮像装置変更リクエスト情報が入力された場合、当該撮像装置変更リクエスト情報に対応して前記対象撮像装置を切り替え、前記表示制御部は、前記方向情報における所定の条件が満たされた場合、前記対象撮像装置を他の撮像装置へ変更する指示を行うことを特徴とする。
【0016】
本発明の画像操作システムは、前記撮像装置の各々が商品を販売する店舗内のそれぞれ異なる位置に配置されており、当該店舗内の互いに異なる撮像範囲を撮像し、前記撮像範囲に前記商品が陳列されていることを特徴とする。
【0017】
本発明の画像操作システムは、前記利用者の購入する前記商品を示す注文情報に対応して、当該商品の画像を含む注文書情報を出力する注文処理部をさらに備え、前記身体情報が、前記利用者における身体の所定の一部である当該利用者の手の位置を示す手位置情報を含み、前記操作情報取得部が、前記手位置情報に対応して、前記表示画像における商品の位置を示す位置情報を取得し、前記表示制御部が、前記表示枠の位置に対応させて、前記位置情報の示す位置を前記配信画像上の位置に変換した選択位置情報を生成し、前記表示制御部が、前記選択位置情報の示す前記商品を注文する注文条件が満たされた場合、少なくとも前記選択位置情報を含む前記注文情報を注文処理部に送信し、前記注文処理部が、前記配信画像から、前記注文情報に含まれる前記選択位置情報の示す位置を含む領域を抽出し、当該領域のサムネイル画像を生成するサムネイル画像生成部と、前記商品の配送先となる、当該商品を注文した前記利用者の住所を含む配送先情報を取得する配送先情報取得部と、前記サムネイル画像と前記配送先情報とより、前記サムネイル画像内の商品の注文書の情報である注文書情報を出力する注文書情報出力部とをさらに備える、ことを特徴とする。
【0018】
本発明の画像操作システムは、前記注文条件が、前記身体における所定の一部が、予め設定された時間の間、前記位置情報の示す位置に停止した状態である条件を必要条件とすることを特徴とする。
【0019】
本発明の画像操作システムは、前記身体情報が、前記利用者の身体の一部である当該利用者の手のポーズ及び状態を含むジェスチャを示す手形情報を含み、前記操作情報取得部が、前記手形情報に基づき、前記ジェスチャの種類を示すジェスチャ情報を取得し、前記注文条件が、前記ジェスチャ情報の示すジェスチャが、注文を行う種類として予め設定された種類のジェスチャである場合を必要条件とする、ことを特徴とする。
【0020】
本発明の画像操作システムは、身体情報認識部と、ユーザインターフェース部とをさらに備え、前記ユーザインターフェース部が、前記画像出力部から出力された前記表示画像を表示する表示部と、前記利用者の身体における一部である頭部に配置され、当該頭部の姿勢に関する頭部状態情報を前記身体情報認識部に送信するモーションセンサ部と、を備え、前記身体情報認識部が、前記頭部状態情報における前記頭部の姿勢から、当該頭部の向きの情報を含む前記身体情報を取得することを特徴とする。
【0021】
本発明の画像操作システムは、前記画像出力部から出力された前記表示画像を表示する表示部と、前記利用者の身体の状態をセンシング情報として取得するセンサ部と、前記センシング情報に基づき、前記利用者の前記身体情報を抽出する身体情報認識部とをさらに備えることを特徴とする。
【0022】
本発明の画像操作システムは、サーバと、当該サーバに接続され、前記利用者の所持する利用者端末とを備え、前記サーバが、前記画像配信部と、前記撮像装置隣接関係情報取得部とを備え、前記利用者端末が、前記操作情報取得部と、前記表示制御部と、前記画像加工部と、前記画像出力部とを備えることを特徴とする。
【0023】
本発明の画像操作サーバは、利用者の身体における所定の一部の方向を示す身体方向情報から方向情報を取得し、前記方向情報の示す方向に応じた速度で、配信画像における表示枠の位置を移動させる利用者端末と接続され、前記配信画像を前記利用者端末に送信する画像操作サーバであり、複数の撮像装置の各々が撮像した撮像画像それぞれを受信し、前記撮像画像のいずれかに少なくとも基づく画像を前記配信画像として配信する画像配信部を備えることを特徴とする。
【0024】
本発明の利用者端末は、複数の撮像装置の各々が撮像した撮像画像それぞれを受信し、前記撮像画像のいずれかに少なくとも基づく画像を配信画像として配信するサーバと接続される、当該配信画像を受信する利用者端末であり、利用者の身体の状態を示し、少なくとも前記利用者の身体における所定の一部の向きを示す身体情報に対応した、前記配信画像における表示対象領域を移動させる方向を含む方向情報を取得する操作情報取得部と、前記方向情報を含む表示領域情報により、前記配信画像における表示対象領域を選択する表示枠の位置を更新する指示を行う表示制御部と、前記配信画像から前記表示枠に囲まれた画像を抽出して、前記表示対象領域の表示画像を生成する画像加工部と、前記表示画像を出力する画像出力部とを備えることを特徴とする。
【0025】
本発明の画像操作方法は、画像配信部が、複数の撮像装置の各々が撮像した撮像画像それぞれを受信し、前記撮像画像のいずれかに少なくとも基づく画像を配信画像として配信する画像配信過程と、操作情報取得部が、利用者の身体の状態を示し、少なくとも前記利用者の身体における所定の一部の向きを示す身体情報に対応した、前記配信画像における表示対象領域を移動させる方向を含む方向情報を取得する操作情報取得過程と、表示制御部が、前記方向情報を含む表示領域情報により、前記配信画像における表示対象領域を選択する表示枠の位置を更新する指示を行う表示制御過程と、画像加工部が、前記配信画像から前記表示枠に囲まれた画像を抽出して、前記表示対象領域の表示画像を生成する画像加工過程と、画像出力部が、前記表示画像を出力する画像出力過程とを含むことを特徴とする。
【0026】
本発明のプログラムは、利用者の身体における所定の一部の方向を示す身体方向情報から方向情報を取得し、前記方向情報の示す方向に応じた速度で、配信画像における表示枠の位置を移動させる利用者端末と接続され、前記配信画像を前記利用者端末に送信する画像操作サーバとしてコンピュータを動作させるプログラムであり、前記コンピュータを、複数の撮像装置の各々が撮像した撮像画像それぞれを受信し、前記撮像画像のいずれかに少なくとも基づく画像を前記配信画像として配信する画像配信手段、として動作させるプログラムである。
【0027】
本発明のプログラムは、複数の撮像装置の各々が撮像した撮像画像それぞれを受信し、前記撮像画像のいずれかに少なくとも基づく画像を配信画像として配信するサーバと接続される、当該配信画像を受信する利用者端末としてコンピュータを動作させるプログラムであり、利用者の身体の状態を示し、少なくとも前記利用者の身体における所定の一部の向きを示す身体情報に対応した、前記配信画像における表示対象領域を移動させる方向を含む方向情報を取得する操作情報取得手段、前記方向情報を含む表示領域情報により、前記配信画像における表示対象領域を選択する表示枠の位置を更新する指示を行う表示制御手段、前記配信画像から前記表示枠に囲まれた画像を抽出して、前記表示対象領域の表示画像を生成する画像加工手段、前記表示画像を出力する画像出力手段として動作させるプログラムである。
【発明の効果】
【0028】
以上説明したように、本発明によれば、利用者が画面操作を行うことなく、あたかも複数の撮像装置が撮像している場所を実際に移動している感覚をユーザに与える処理を容易に行なうことができる画像操作システム、画像操作サーバ、利用者端末、画像操作方法及びプログラムを提供することができる。
【図面の簡単な説明】
【0029】
【図1】本発明の一実施形態による画像操作システムの構成例を示すブロック図である。
【図2】本実施形態による画像操作システム１における画像操作サーバ１０の構成例を示す図である。
【図3】撮像装置変更リクエスト情報における撮像装置識別情報及び方向情報の各々を説明する概念図である。
【図4】撮像装置隣接関係情報記憶部３に予め書き込まれて記憶されている撮像装置隣接関係テーブルの構成例を示している。
【図5】本実施形態による画像操作システム１における利用者端末２０及びユーザインターフェース部３０の構成例を示す図である。
【図6】利用者の頭部の向き（視線方向）と、配信画像における表示枠の移動の向きとの対応を示す図である。
【図7】利用者６０１の頭部（すなわち視線）の移動にともなう垂直方向及び水平方向における回転移動における回転角度を説明する概念図である。
【図8】ユーザインターフェース部３０における表示部３１に表示される表示画像と、動画像において撮像された利用者の手との対応を示す概念図である。
【図9】本実施形態による画像操作サーバにより、店舗における複数の売場の間の撮像装置の変更処理の動作を説明する概念図である。
【図10】本実施形態による画像操作サーバによる店舗の売り場における撮像装置の変更及び利用者における商品の購入の各々の動作の連携を示すフローチャートである。
【図11】本実施形態の変形例１における画像操作システム１における画像操作サーバ１０の構成例を示す図である。
【図12】本実施形態の変形例２における画像操作システム１における画像操作サーバ１０の構成例を示す図である。
【発明を実施するための形態】
【0030】
以下、本発明の一実施形態について、図面を参照して説明する。本実施形態の説明において、本発明の一実施形態による画像操作システムが商品を販売する販売店に設置された撮像装置の撮像画像を操作する構成を例に説明する。
図１は、本発明の一実施形態による画像操作システムの構成例を示すブロック図である。図１において、画像操作システム１は、例えば、画像操作サーバ１０と、利用者端末２０と、ユーザインターフェース部３０とを備えている。画像操作サーバ１０と利用者端末２０との各々は、例えば、インターネットを含む情報通信網５００などにより接続されている。また、情報通信網５００には、例えば、撮像装置Ｄ１から撮像装置Ｄｎ（ｎは２以上の整数）の各々と、ユーザ管理データベース２と、撮像装置隣接関係情報記憶部３と、プリンタ４とが接続されている。
図１は、本発明の一実施形態による画像操作システムの構成例を示すブロック図である。図１において、画像操作システム１は、例えば、画像操作サーバ１０と、利用者端末２０と、ユーザインターフェース部３０とを備えている。画像操作サーバ１０と利用者端末２０との各々は、例えば、インターネットを含む情報通信網５００などにより接続されている。また、情報通信網５００には、例えば、撮像装置Ｄ１から撮像装置Ｄｎ（ｎは２以上の整数）の各々と、ユーザ管理データベース２と、撮像装置隣接関係情報記憶部３と、プリンタ４とが接続されている。
【0031】
画像操作サーバ１０は、撮像装置Ｄ１から撮像装置Ｄｎの各々から供給される撮像画像それぞれを、各利用者端末２０からの撮像装置変更リクエスト情報に対応して、利用者端末２０に配信画像として供給する。上記撮像装置変更リクエスト情報は、例えば、商品の種類毎の売り場に複数個設置された撮像装置のいずれを、利用者端末２０に配信する撮像画像とする撮像画像を取得する対象の撮像画像装置（対象撮像装置）として選択するかを示す情報である。
また、画像操作サーバ１０は、利用者端末２０からの注文情報に含まれる、利用者端末２０で注文を行ったユーザ識別情報と、注文した商品が撮像されている表示画像とにより、注文書情報を生成する。画像操作サーバ１０は、生成した注文書情報（画像データ）をプリンタ４により印刷し、店員６０２に商品の注文があったことを通知する。
また、画像操作サーバ１０は、利用者端末２０からの注文情報に含まれる、利用者端末２０で注文を行ったユーザ識別情報と、注文した商品が撮像されている表示画像とにより、注文書情報を生成する。画像操作サーバ１０は、生成した注文書情報（画像データ）をプリンタ４により印刷し、店員６０２に商品の注文があったことを通知する。
【0032】
利用者端末２０は、画像操作サーバ１０から供給される配信画像を、利用者の身体情報（後述するセンシング情報から抽出する）により求めた配信画像における位置情報に対応し、配信画像における画像領域を抽出する表示枠を移動させ、表示枠の内部の画像領域を表示画像とする。
そして、利用者端末２０は、利用者６０１のユーザインターフェース部３０に表示画像を出力する。
そして、利用者端末２０は、利用者６０１のユーザインターフェース部３０に表示画像を出力する。
【0033】
ユーザインターフェース部３０は、利用者端末２０から表示画像が供給された場合、利用者６０１に表示画像を観察させ、売り場の商品の各々から購買する商品の選択を行わせる。
また、ユーザインターフェース部３０は、表示画像の観察を行うことにより変位する、利用者６０１の身体の各部分の状態を示すセンシング情報を取得し、利用者端末２０に対して出力する。
また、ユーザインターフェース部３０は、表示画像の観察を行うことにより変位する、利用者６０１の身体の各部分の状態を示すセンシング情報を取得し、利用者端末２０に対して出力する。
【0034】
図２は、本実施形態による画像操作システム１における画像操作サーバ１０の構成例を示す図である。
図２において、画像操作サーバ１０は、受信部１０１、画像配信部１０２、撮像装置隣接関係情報取得部１０３、送信部１０４及び注文処理部１１０との各々を備えている。 また、注文処理部１１０は、サムネイル画像生成部１１１、発送先情報取得部１１２及び注文書情報出力部１１３の各々を備えている。
受信部１０１は、利用者端末２０から、撮像装置変更リクエスト情報、注文情報及び画像リクエスト情報などデータの入力を行う。
図２において、画像操作サーバ１０は、受信部１０１、画像配信部１０２、撮像装置隣接関係情報取得部１０３、送信部１０４及び注文処理部１１０との各々を備えている。 また、注文処理部１１０は、サムネイル画像生成部１１１、発送先情報取得部１１２及び注文書情報出力部１１３の各々を備えている。
受信部１０１は、利用者端末２０から、撮像装置変更リクエスト情報、注文情報及び画像リクエスト情報などデータの入力を行う。
【0035】
画像配信部１０２は、撮像装置Ｄ１から撮像装置Ｄｎの各々から、撮像画像をそれぞれ所定の周期において入力し、撮像画像記憶部（不図示）に書き込んで記憶させる。
そして、画像配信部１０２は、利用者端末２０から供給される撮像装置変更リクエスト情報により、撮像装置Ｄ１から撮像装置Ｄｎのいずれかを選択する。
画像配信部１０２は、選択した撮像装置Ｄｎの撮像画像を読み出し、読み出した撮像画像を配信画像とし、例えば符号化することでデータ圧縮して、利用者端末２０へ出力する。
上記撮像装置変更リクエスト情報は、現時点において利用者６０１に送信している撮像画像を撮像した撮像装置を識別する撮像装置識別情報と、方向情報（利用者の頭部の回転における回転角度、すなわち利用者の視線の方向、後述）とを含んでいる。
ここで、本実施形態において、頭部の回転とは、基準の方向として正面を向いている基準視線方向に対して異なる方向、すなわち人体に対して正面を基準視線方向として、当該基準視線方向に対する水平方向の角度及び垂直方向の方向で示される方向（後述する方向情報の回転角度）に頭部の向きを変えることを示している。
そして、画像配信部１０２は、利用者端末２０から供給される撮像装置変更リクエスト情報により、撮像装置Ｄ１から撮像装置Ｄｎのいずれかを選択する。
画像配信部１０２は、選択した撮像装置Ｄｎの撮像画像を読み出し、読み出した撮像画像を配信画像とし、例えば符号化することでデータ圧縮して、利用者端末２０へ出力する。
上記撮像装置変更リクエスト情報は、現時点において利用者６０１に送信している撮像画像を撮像した撮像装置を識別する撮像装置識別情報と、方向情報（利用者の頭部の回転における回転角度、すなわち利用者の視線の方向、後述）とを含んでいる。
ここで、本実施形態において、頭部の回転とは、基準の方向として正面を向いている基準視線方向に対して異なる方向、すなわち人体に対して正面を基準視線方向として、当該基準視線方向に対する水平方向の角度及び垂直方向の方向で示される方向（後述する方向情報の回転角度）に頭部の向きを変えることを示している。
【0036】
図３は、撮像装置変更リクエスト情報における撮像装置識別情報及び方向情報の各々を説明する概念図である。
図３（ａ）は、撮像装置の各々と他の撮像装置それぞれとの隣接関係と、方向情報による撮像装置間の遷移関係とを示す図である。
図３（ａ）において、撮像装置間における矢印に付加されている「上」、「下」、「左」及び「右」の各々が方向情報であり、現在の撮像装置から、当該撮像装置に隣接する他の撮像装置のいずれの撮像装置に遷移するかを示している。
図３（ａ）は、撮像装置の各々と他の撮像装置それぞれとの隣接関係と、方向情報による撮像装置間の遷移関係とを示す図である。
図３（ａ）において、撮像装置間における矢印に付加されている「上」、「下」、「左」及び「右」の各々が方向情報であり、現在の撮像装置から、当該撮像装置に隣接する他の撮像装置のいずれの撮像装置に遷移するかを示している。
【0037】
利用者端末２０が起動された際、当該利用者端末２０に最初に供給される配信画像（ディフォルトとしての初期画像）が撮像装置Ｄ１が撮像した撮像画像である場合、撮像装置変更リクエスト情報における撮像装置識別情報は撮像装置Ｄ１を識別する情報である。 撮像装置の遷移の一例として、現時点において撮像装置Ｄ１が選択されている際、方向情報が「上」の場合に選択対象の撮像装置が撮像装置Ｄ１から撮像装置Ｄ２に変更され、方向情報が「下」の場合に選択対象の撮像装置が撮像装置Ｄ１から撮像装置Ｄ４に変更され、方向情報が「左」の場合に選択対象の撮像装置が撮像装置Ｄ１から撮像装置Ｄ３に変更され、方向情報が「右」の場合に選択対象の撮像装置が撮像装置Ｄ１から撮像装置Ｄ５に変更される。
【0038】
図３（ｂ）は、一例としての現時点の撮像装置からの方向情報における各方向となる領域を説明している。
図３（ｂ）において、方向ベクトル７０５の角度が、角度範囲７０１に含まれている場合に「上」として方向情報の方向が判定され、角度範囲７０２に含まれている場合に「下」として方向情報の方向が判定され、角度範囲７０３に含まれている場合に「左」として方向情報の方向が判定され、角度範囲７０４に含まれている場合に「右」として方向情報の方向が判定される。
図３（ｂ）において、方向ベクトル７０５の角度が、角度範囲７０１に含まれている場合に「上」として方向情報の方向が判定され、角度範囲７０２に含まれている場合に「下」として方向情報の方向が判定され、角度範囲７０３に含まれている場合に「左」として方向情報の方向が判定され、角度範囲７０４に含まれている場合に「右」として方向情報の方向が判定される。
【0039】
図４は、撮像装置隣接関係情報記憶部３に予め書き込まれて記憶されている撮像装置隣接関係テーブルの構成例を示している。この撮像装置隣接関係テーブルは、例えば売り場毎に設けられている。このため、撮像装置隣接関係テーブルの各々には、対応する売り場のそれぞれを識別するための売場識別情報が付加されている。
図４において、この撮像装置隣接関係テーブルは、レコード毎に撮像装置識別情報と方向情報／遷移撮像装置との欄が設けられている。
最も上部のレコードには、例えば、売り場の中心の領域を撮像している撮像装置の識別情報が記載され、隣接している撮像装置Ｄ２から撮像装置Ｄ５の各々が遷移可能な撮像装置であることを示している。
図４において、この撮像装置隣接関係テーブルは、レコード毎に撮像装置識別情報と方向情報／遷移撮像装置との欄が設けられている。
最も上部のレコードには、例えば、売り場の中心の領域を撮像している撮像装置の識別情報が記載され、隣接している撮像装置Ｄ２から撮像装置Ｄ５の各々が遷移可能な撮像装置であることを示している。
【0040】
撮像装置識別情報が撮像装置Ｄ１を示している場合、現時点で選択されている撮像装置が撮像装置Ｄ１であり、方向情報が「上」の場合に撮像装置Ｄ２に選択される撮像装置が遷移し、方向情報が「左」の場合に撮像装置Ｄ３に選択される撮像装置が遷移し、方向情報が「下」の場合に撮像装置Ｄ４に選択される撮像装置が遷移し、方向情報が「右」の場合に撮像装置Ｄ５に選択される撮像装置が遷移する。
他の撮像装置Ｄ２から撮像装置Ｄ５の各々が現時点で選択されている撮像装置である場合も、上述したように、方向情報／遷移撮像装置の欄に示されている方向情報の方向により、遷移する撮像装置が決定される。
他の撮像装置Ｄ２から撮像装置Ｄ５の各々が現時点で選択されている撮像装置である場合も、上述したように、方向情報／遷移撮像装置の欄に示されている方向情報の方向により、遷移する撮像装置が決定される。
【0041】
図２に戻り、撮像装置隣接関係情報取得部１０３は、撮像装置隣接関係情報記憶部３から撮像装置隣接関係テーブルのデータを読み出し、内部記憶部に書き込んで記憶させる。 そして、撮像装置隣接関係情報取得部１０３は、画像配信部１０２に対して、撮像装置隣接関係テーブルを参照させる。
【0042】
送信部１０４は、画像配信部１０２から配信画像が入力された場合、当該配信画像を利用者端末２０に対して出力する。
【0043】
サムネイル画像生成部１１１は、受信部１０１を介して利用者端末２０の注文情報が供給された場合、画像配信部１０２が上記注文情報を出力した利用者端末２０に送信している配信画像を読み込む。
そして、サムネイル画像生成部１１１は、読み込んだ配信画像の画素を間引するなどして解像度を低減して、サムネイル画像を生成する。
サムネイル画像生成部１１１は、生成したサムネイル画像を、注文書情報出力部１１３に出力する。
そして、サムネイル画像生成部１１１は、読み込んだ配信画像の画素を間引するなどして解像度を低減して、サムネイル画像を生成する。
サムネイル画像生成部１１１は、生成したサムネイル画像を、注文書情報出力部１１３に出力する。
【0044】
発送先情報取得部１１２は、ユーザ管理データベース２におけるユーザ登録している利用者の情報が記載されたユーザ管理テーブルを参照し、配信画像に付加されているユーザ識別情報に対応した氏名、住所及び電話番号などを発送先情報として読み込む。
そして、発送先情報取得部１１２は、読み込んだ発送先情報を、注文書情報出力部１１３に対して出力する。
そして、発送先情報取得部１１２は、読み込んだ発送先情報を、注文書情報出力部１１３に対して出力する。
【0045】
注文書情報出力部１１３は、サムネイル画像生成部１１１から供給される注文書情報と、発送先情報取得部１１２から供給される発送先情報とにより、例えば、注文された商品を示す画像と、当該商品の配送先が記載されたファイル形式の注文書情報を生成する。 そして、注文書情報出力部１１３は、生成した注文書情報を、プリンタ４により印刷させて注文書を作成させる。プリンタへ出力する印刷情報ではなく、店員が携帯している携帯端末（タブレットコンピュータあるいはスマートフォンなど）の表示画面に表示する画面データを生成して、携帯端末の各々に送信して、店員に対して注文情報を通知する構成としてもよい。
【0046】
また、上述した注文書の画像において、例えば画像の中心位置に注文された商品が位置する、あるいは注文された商品にマーカーが付与されているなど、注文された商品を特定できる規則は予め設定されている。
これにより、店員６０２は、注文書において注文された商品が売られている売り場にいき、当該売り場において注文書の画像の商品を回収し、配送先とされている氏名及び住所に回収した商品を所定の配送業者を介して配送する発送処理を行う。
これにより、店員６０２は、注文書において注文された商品が売られている売り場にいき、当該売り場において注文書の画像の商品を回収し、配送先とされている氏名及び住所に回収した商品を所定の配送業者を介して配送する発送処理を行う。
【0047】
図５は、本実施形態による画像操作システム１における利用者端末２０及びユーザインターフェース部３０の構成例を示す図である。
図５において、利用者端末２０は、受信部２１、画像加工部２２、画像出力部２３、身体情報認識部２４、操作情報取得部２５、表示制御部２６及び送信部２７の各々を備えている。また、ユーザインターフェース部３０は、表示部３１及びセンサ部３２の各々を備えている。センサ部３２は、撮像部３２１及びモーションセンサ部３２２の各々を備えている。本実施形態においては、例えば、ユーザインターフェース部３０として、ＨＭＤ（Head Mounted Display）の一例であるＡＲ（Augmented Reality）グラスを用いている。
図５において、利用者端末２０は、受信部２１、画像加工部２２、画像出力部２３、身体情報認識部２４、操作情報取得部２５、表示制御部２６及び送信部２７の各々を備えている。また、ユーザインターフェース部３０は、表示部３１及びセンサ部３２の各々を備えている。センサ部３２は、撮像部３２１及びモーションセンサ部３２２の各々を備えている。本実施形態においては、例えば、ユーザインターフェース部３０として、ＨＭＤ（Head Mounted Display）の一例であるＡＲ（Augmented Reality）グラスを用いている。
【0048】
受信部２１は、撮像装置Ｄ１から撮像装置Ｄｎのなかから、利用者６０１が要求した撮像装置の配信画像が供給された場合、当該配信画像を画像加工部２２へ出力する。
【0049】
画像加工部２２は、受信部２１から供給される配信画像を内部の記憶部に書き込んで記憶させる。
また、画像加工部２２は、表示制御部２６から供給される表示領域情報（後述）に含まれる、配信画像におけるいずれの画像領域を表示させるかを示す表示枠を抽出する。
そして、画像加工部２２は、配信画像において表示枠で囲まれた領域を表示領域として、表示領域の画像を表示画像として切取る（加工する）。
画像加工部２２は、配信画像を加工して生成した上記表示画像を、画像出力部２３に対して出力する。
また、画像加工部２２は、表示制御部２６から供給される表示領域情報（後述）に含まれる、配信画像におけるいずれの画像領域を表示させるかを示す表示枠を抽出する。
そして、画像加工部２２は、配信画像において表示枠で囲まれた領域を表示領域として、表示領域の画像を表示画像として切取る（加工する）。
画像加工部２２は、配信画像を加工して生成した上記表示画像を、画像出力部２３に対して出力する。
【0050】
画像出力部２３は、画像加工部２２から表示画像が供給された場合、ユーザインターフェース部３０に対して当該表示画像を出力する。
【0051】
図６は、利用者の頭部の向き（頭部の姿勢であり、利用者の視線方向を示す）と、配信画像における表示枠の移動の向きとの対応を示す図である。
図６において、利用者６０１は、自身の頭部６０１Ｈにユーザインターフェース部３０であるＶＲグラスを装着している。ここで、方向情報は、頭部６０１Hの回転角度による利用者の視線方向を示している。
操作情報取得部２５は、垂直方向の角度（上（ＵＰ）下（ＤＯＷＮ）方向角度）、及び水平方向の角度（左（Ｌｉｇｈｔ）右（Ｌｅｆｔ）方向角度）により示される頭部の向きに対応して、頭部の方向情報（利用者の身体における所定の部位の向きを示す方向情報の一例）を抽出する。
これにより、表示制御部２６は、上記方向情報に対応して、配信画像内における表示枠Ｗの移動先の位置を求め（配信画像内における表示枠Ｗの位置の更新）、表示領域情報として画像加工部２２に出力する。
そして、画像加工部２２は、表示制御部２６から供給される表示領域情報により、表示枠Ｗを配信画像内において移動させ、当該表示枠Ｗ内の画像領域を表示画像として抽出する。
図６において、利用者６０１は、自身の頭部６０１Ｈにユーザインターフェース部３０であるＶＲグラスを装着している。ここで、方向情報は、頭部６０１Hの回転角度による利用者の視線方向を示している。
操作情報取得部２５は、垂直方向の角度（上（ＵＰ）下（ＤＯＷＮ）方向角度）、及び水平方向の角度（左（Ｌｉｇｈｔ）右（Ｌｅｆｔ）方向角度）により示される頭部の向きに対応して、頭部の方向情報（利用者の身体における所定の部位の向きを示す方向情報の一例）を抽出する。
これにより、表示制御部２６は、上記方向情報に対応して、配信画像内における表示枠Ｗの移動先の位置を求め（配信画像内における表示枠Ｗの位置の更新）、表示領域情報として画像加工部２２に出力する。
そして、画像加工部２２は、表示制御部２６から供給される表示領域情報により、表示枠Ｗを配信画像内において移動させ、当該表示枠Ｗ内の画像領域を表示画像として抽出する。
【0052】
図７は、利用者６０１の頭部（すなわち視線）の移動にともなう垂直方向及び水平方向における回転移動における回転角度を説明する概念図である。
図７（ａ）は、利用者６０１の頭部の水平方向における回転（すなわち、基準視線方向に対して左右方向における回転）における回転角度の角度範囲と、当該角度範囲において設定される頭部の水平方向の回転に対応した、配信画像内における表示枠Ｗの移動速度との対応関係を示している。図７（ａ）において、時計の針の回転方向（左方向）を＋（正）の角度θ、時計の針の回転方向と逆の回転方向（右方向）を－（負）の角度－θとして説明する。
図７（ａ）は、利用者６０１の頭部の水平方向における回転（すなわち、基準視線方向に対して左右方向における回転）における回転角度の角度範囲と、当該角度範囲において設定される頭部の水平方向の回転に対応した、配信画像内における表示枠Ｗの移動速度との対応関係を示している。図７（ａ）において、時計の針の回転方向（左方向）を＋（正）の角度θ、時計の針の回転方向と逆の回転方向（右方向）を－（負）の角度－θとして説明する。
【0053】
利用者６０１が正面を向いている場合、その視線方向を基準視線方向ＡＯと示す基準視線方向ＡＯから左方向にθ１、右方向に－θ１の角度範囲（区間Ａ１）に頭部の回転角度θが入る（－θ１≦θ≦θ１）場合、図６における表示枠Ｗは中心から移動しない。すなわち、利用者６０１が左右のいずれに区間Ａ１における角度範囲で首を左右に回転させても、表示画像は配信画像の中心領域の画像として生成される。
【0054】
一方、角度θ１から角度θ２までの角度範囲（区間Ａ２Ｌ、θ１＜θ≦θ２）と、角度－θ１から角度－θ２までの角度範囲（区間Ａ２Ｒ、－θ２≦θ＜－θ１）との間に角度θが入る場合、速度Ｖ２により表示枠Ｗが配信画像内において、頭部の回転方向に対応して移動する。すなわち、利用者６０１の視線の動き（頭部の動き）に対応した方向情報により上記表示枠Ｗを移動させる。これにより、利用者６０１の視界の移動を模擬的に再現するように、配信画像内における表示枠Ｗの移動を視線方向の移動に連動させ、配信画像から抽出される表示画像を視線方向の移動に対応させて変化させる。
【0055】
また、角度θ２から角度θ３までの角度範囲（区間Ａ３Ｌ、θ２＜θ≦θ３）と、角度－θ２から角度－θ３までの角度範囲（区間Ａ３Ｒ、－θ３≦θ＜－θ２）との間に角度θが入る場合、速度Ｖ３（＞Ｖ２）により表示枠Ｗが配信画像内で移動する頭部の回転角度に従って移動する。すなわち、利用者６０１の視線が移動して、区間Ａ２Ｌ及び区間Ａ２Ｒと同様に、利用者６０１の視界の移動を模擬的に再現するように、表示枠Ｗを移動させて表示画像を視線方向の移動に対応させて変化させる。
【0056】
本実施形態において、人間が商品を選択する場合における経験的な視界の角度範囲から、θ１＝１５°、θ２＝３０°、θ３＝４５°などに設定される。
しかしながら、角度θ１、θ２及びθ３の各々は、売り場の面積、配信画像の撮像範囲や撮像される商品の大きさなどにより、適時、調整してもよい。
また、速度Ｖ２より速度Ｖ３を速い速度に設定するのは、視界の角度が正面の位置（基準視線方向）から離れるほど、視線の方向が遠くなり、感覚的に視界が正面に比較して速く移動するように利用者６０１視認できるからである。
しかしながら、角度θ１、θ２及びθ３の各々は、売り場の面積、配信画像の撮像範囲や撮像される商品の大きさなどにより、適時、調整してもよい。
また、速度Ｖ２より速度Ｖ３を速い速度に設定するのは、視界の角度が正面の位置（基準視線方向）から離れるほど、視線の方向が遠くなり、感覚的に視界が正面に比較して速く移動するように利用者６０１視認できるからである。
【0057】
図７（ｂ）は、利用者６０１の頭部の垂直方向における回転（すなわち、基準視線方向に対して上下方向の回転）における回転角度の角度範囲と、当該角度範囲において設定される頭部の上下の回転に対応した、配信画像内における表示枠Ｗの移動速度との対応関係を示している。図７（ｂ）において、時計の針の回転方向（上方向）を＋（正）の角度α、時計の針の回転方向と逆の回転方向（下方向）を－（負）の角度－αとして説明する。
【0058】
利用者６０１が正面を向いている場合、その視線方向を基準視線方向ＢＯと示す基準視線方向ＢＯから上方向にα１、右方向に－α１の角度範囲（区間Ｂ１）に頭部の回転角度αが入る（－α１≦α≦α１）場合、図６における表示枠Ｗは中心から移動しない。すなわち、利用者６０１が上下のいずれに区間Ｂ１における角度範囲で首を上下に回転させても、表示画像は配信画像の中心領域の画像として生成される。
【0059】
一方、角度α１から角度α２までの角度範囲（区間Ｂ２Ｌ、α１＜α≦α２）と、角度－α１から角度－α２までの角度範囲（区間Ｂ２Ｒ、－α２≦α＜－α１）との間に角度αが入る場合、所定の速度Ｖ０により表示枠Ｗが配信画像内で移動する頭部の回転角度に従って、角度α２における視界に対応する位置に表示枠Ｗが移動する。すなわち、利用者６０１の視線が移動して、利用者６０１の視界の移動を模擬的に再現するように、表示枠Ｗを移動させて表示画像を視線方向の移動に対応させて変化させる。
【0060】
また、角度α２から角度α３までの角度範囲（区間Ｂ３Ｌ、α２＜α≦α３）と、角度－α２から角度－α３までの角度範囲（区間Ｂ３Ｒ、－α３≦α＜－α２）との間に角度αが入る場合、所定の速度Ｖ０により表示枠Ｗが配信画像内で移動する頭部の回転角度に従って、角度α３における視界に対応する位置に表示枠Ｗが移動する。すなわち、利用者６０１の視線が移動して、区間Ｂ２Ｌ及び区間Ｂ２Ｒと同様に、利用者６０１の視界の移動を模擬的に再現するように、表示枠Ｗを移動させて表示画像を視線方向の移動に対応させて変化させる。
【0061】
本実施形態において、人間が商品を選択する場合における経験的な視界の角度範囲から、α１＝５°、α２＝１０°、α３＝１５°などに設定される。
垂直方向に対する表示枠Ｗの移動のアルゴリズムが上述した水平方向に対する表示枠Ｗの移動のアルゴリズムが異なるのは、生鮮食料品などの場合、商品の展示が水平方向の展示幅に比較して垂直方向の展示幅が狭いことに起因している。すなわち、商品の展示幅が狭いと、表示画像を小まめに移動させた場合、利用者が商品を見づらくなるため、所定の角度（α１、α２及びα３）に対応する視点位置で、配信画像における表示枠Ｗを停止させる構成としている。
しかしながら、本屋やアウトレットもモールなどのように、棚の段数が多く、高い位置まで商品が展示されているような商店の場合には、水平方向と同様のアルゴリズムにより、利用者６０１の頭部の垂直方向における回転に対応して配信画像における表示枠Ｗの移動制御を行う構成としてもよい。
垂直方向に対する表示枠Ｗの移動のアルゴリズムが上述した水平方向に対する表示枠Ｗの移動のアルゴリズムが異なるのは、生鮮食料品などの場合、商品の展示が水平方向の展示幅に比較して垂直方向の展示幅が狭いことに起因している。すなわち、商品の展示幅が狭いと、表示画像を小まめに移動させた場合、利用者が商品を見づらくなるため、所定の角度（α１、α２及びα３）に対応する視点位置で、配信画像における表示枠Ｗを停止させる構成としている。
しかしながら、本屋やアウトレットもモールなどのように、棚の段数が多く、高い位置まで商品が展示されているような商店の場合には、水平方向と同様のアルゴリズムにより、利用者６０１の頭部の垂直方向における回転に対応して配信画像における表示枠Ｗの移動制御を行う構成としてもよい。
【0062】
図５に戻り、身体情報認識部２４は、ユーザインターフェース部３０からセンシング情報が供給された場合、センサ部３２からのセンシング情報に対応して利用者６０１の身体情報（頭部の回転移動における回転角度と、利用者６０１の手などの身体の状態などを示すセンサ情報、後述）を抽出する。
そして、身体情報認識部２４は、抽出した上記身体情報を操作情報取得部２５に対して出力する。
そして、身体情報認識部２４は、抽出した上記身体情報を操作情報取得部２５に対して出力する。
【0063】
操作情報取得部２５は、身体情報認識部２４から供給される身体情報（利用者６０１の頭部の水平方向における回転の回転角度）から、利用者の視線に対応して配信画像内において移動する表示枠Ｗの移動方向示す方向情報を求める。
そして、操作情報取得部２５は、身体情報認識部２４から供給される身体情報から、例えば、利用者６０１の頭部の垂直移動における回転角度により方向情報、表示画像上における表示枠Ｗの中心位置から位置の情報、利用者６０１の手の動き、ポーズや状態を示す画像情報から利用者６０１の制御に対応したジェスチャ情報（身体情報の一例）を抽出する。
そして、操作情報取得部２５は、方向情報及びジェスチャ情報を表示制御部２６に対して出力する。
そして、操作情報取得部２５は、身体情報認識部２４から供給される身体情報から、例えば、利用者６０１の頭部の垂直移動における回転角度により方向情報、表示画像上における表示枠Ｗの中心位置から位置の情報、利用者６０１の手の動き、ポーズや状態を示す画像情報から利用者６０１の制御に対応したジェスチャ情報（身体情報の一例）を抽出する。
そして、操作情報取得部２５は、方向情報及びジェスチャ情報を表示制御部２６に対して出力する。
【0064】
表示制御部２６は、方向情報から、利用者６０１の頭部の水平方向の回転において角度θ３、角度－θ３を超えたか否か、また頭部の垂直方向の回転において角度α３、角度－αを超えたか否かを判定する。
そして、表示制御部２６は、頭部の水平方向の回転において角度θ３、角度－θ３を超えた場合、また頭部の垂直方向の回転において角度α３、角度－α３を超えた場合（方向情報における所定の条件を満たした）、利用者の視線の移動方向を示す方向情報を含み、む現在の撮像装置から他の撮像装置への変更を依頼する撮像装置変更リクエスト情報を生成する。
そして、表示制御部２６は、頭部の水平方向の回転において角度θ３、角度－θ３を超えた場合、また頭部の垂直方向の回転において角度α３、角度－α３を超えた場合（方向情報における所定の条件を満たした）、利用者の視線の移動方向を示す方向情報を含み、む現在の撮像装置から他の撮像装置への変更を依頼する撮像装置変更リクエスト情報を生成する。
【0065】
ここで、撮像装置を変更するというジェスチャとしては、頭部の水平方向の回転において角度θ３、角度－θ３を超えた場合、また頭部の垂直方向の回転において角度α３、角度－αを超えた場合などではなく、頭部の水平方向の回転において角度θ３、角度－θ３の角度、または頭部の垂直方向の回転において角度α３、角度－α３の角度において、所定の時間にわたり停止していた（方向情報における所定の条件を満たした）場合に、現在の撮像装置から「左」、「右」、「上」、「下」のいずれの方向にある撮像装置を選択して変更するかを示す撮像装置変更リクエスト情報を生成する構成としてもよい。
【0066】
例えば、現時点において撮像装置Ｄ１が選択されている場合、表示制御部２６は、方向情報における頭部の水平方向の回転における回転角度が角度θ３を超え、かつその回転角度において予め設定した待機時間を経過した場合、撮像装置隣接関係テーブルを参照し、撮像装置Ｄ３に変更することを示す撮像装置変更リクエスト情報を生成する。そして、表示制御部２６は、生成した撮像装置変更リクエスト情報を画像操作サーバ１０に対して出力する。
【0067】
表示部３１は、液晶パネルあるいは有機ＥＬ（electroluminescent）パネルを備え、利用者端末２０から表示画像が供給された場合、当該表示画像を表示画面に表示する。
【0068】
撮像部３２１は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像デバイスである。
また、撮像部３２１は一般的なＲＧＢ（Red，Green，Blue）カラーイメージセンサであってもよく、ＴｏＦ（Time of Flight）センサ等の深度イメージセンサであってもよい。 また、撮像部３２１は、利用者６０１の手の動画像を撮像し、当該動画像をセンシング情報における一つの情報として利用者端末２０に対して出力する。ここで、利用者６０１は、例えば、表示部３１に表示される表示画像の範囲内で、商品を選択するために手を動かしたり、選択したい商品の位置で手を停止させたりする。
また、撮像画像における座標位置は、利用者が観察している表示画像の座標位置に対応している。
また、撮像部３２１は一般的なＲＧＢ（Red，Green，Blue）カラーイメージセンサであってもよく、ＴｏＦ（Time of Flight）センサ等の深度イメージセンサであってもよい。 また、撮像部３２１は、利用者６０１の手の動画像を撮像し、当該動画像をセンシング情報における一つの情報として利用者端末２０に対して出力する。ここで、利用者６０１は、例えば、表示部３１に表示される表示画像の範囲内で、商品を選択するために手を動かしたり、選択したい商品の位置で手を停止させたりする。
また、撮像画像における座標位置は、利用者が観察している表示画像の座標位置に対応している。
【0069】
モーションセンサ部３２２は、利用者の身体の所定の一部の動きを計測するセンサである。本実施形態において、モーションセンサ部３２２は、ユーザインターフェース部３０であるＡＲグラスに搭載されているセンサであり、例えば加速度センサ、角速度センサ及び地磁気センサなどである。
また、モーションセンサ部３２２は、ユーザインターフェース部３０がＡＲグラスであり、モーションセンサ部３２２が当該ＡＲグラスに搭載されているセンサである場合、当該ＡＲグラスが搭載されている利用者の頭部にかかる加速度（重力加速度を含む）や角速度などの移動情報（頭部状態情報）を取得する。
また、モーションセンサ部３２２は、利用者６０１の頭部の向きを計測する手段として、ＡＲグラスに搭載する上記センサに換えて、利用者６０１の板状筋等の首の筋肉の上に貼り付けた、伸縮センサ（静電容量センサなど）を用いてもよい。この場合、モーションセンサ部３２２は、利用者６０１の板状筋の伸縮の度合、すなわち首の動きに連動する頭部の向きを推定するための伸縮情報を取得する。
そして、モーションセンサ部３２２は、取得した利用者の頭部の回転に対応する移動情報あるいは伸縮情報を、センシング情報における一つの情報として利用者端末２０に対して出力する。
また、モーションセンサ部３２２は、ユーザインターフェース部３０がＡＲグラスであり、モーションセンサ部３２２が当該ＡＲグラスに搭載されているセンサである場合、当該ＡＲグラスが搭載されている利用者の頭部にかかる加速度（重力加速度を含む）や角速度などの移動情報（頭部状態情報）を取得する。
また、モーションセンサ部３２２は、利用者６０１の頭部の向きを計測する手段として、ＡＲグラスに搭載する上記センサに換えて、利用者６０１の板状筋等の首の筋肉の上に貼り付けた、伸縮センサ（静電容量センサなど）を用いてもよい。この場合、モーションセンサ部３２２は、利用者６０１の板状筋の伸縮の度合、すなわち首の動きに連動する頭部の向きを推定するための伸縮情報を取得する。
そして、モーションセンサ部３２２は、取得した利用者の頭部の回転に対応する移動情報あるいは伸縮情報を、センシング情報における一つの情報として利用者端末２０に対して出力する。
【0070】
図８は、ユーザインターフェース部３０における表示部３１に表示される表示画像と、動画像において撮像された利用者の手との対応を示す概念図である。
表示画像８０１は、画像出力部２３から供給された、配信画像における表示枠Ｗ内の画像領域を切り出す加工により生成した画像である。
手輪郭表示画像８０２は、表示画像８０１を観察して、商品を選択するために表示画像８０１における商品にあてた利用者６０１の手の輪郭線（手形）を示す画像である。この手輪郭表示画像８０２は、画像加工部２２により表示画像に重畳されて、表示部３１の表示画面に表示される。
表示画像８０１は、画像出力部２３から供給された、配信画像における表示枠Ｗ内の画像領域を切り出す加工により生成した画像である。
手輪郭表示画像８０２は、表示画像８０１を観察して、商品を選択するために表示画像８０１における商品にあてた利用者６０１の手の輪郭線（手形）を示す画像である。この手輪郭表示画像８０２は、画像加工部２２により表示画像に重畳されて、表示部３１の表示画面に表示される。
【0071】
拡大表示領域８０３は、手輪郭表示画像８０２の所定の位置（指定された指先、手輪郭表示画像８０２の中心や重心位置などである）を中心とした所定の範囲を、所定の倍率により拡大した画像が表示される表示領域である。
バスケットアイコン８０４は、表示画像８０１に重畳された画像であり、画像加工部２２が表示画像を生成する際、予め決められた表示画像の座標位置に配置される。
バスケットアイコン８０４は、表示画像８０１に重畳された画像であり、画像加工部２２が表示画像を生成する際、予め決められた表示画像の座標位置に配置される。
【0072】
身体情報認識部２４は、撮像部３２１が撮像した動画像におけるフレーム画像の各々から、利用者の手の画像領域を抽出する。
そして、身体情報認識部２４は、抽出した手の画像領域において輪郭抽出を行ない、利用者６０１の手の輪郭である手輪郭表示画像８０２を生成する。
身体情報認識部２４は、センシング情報における動画像から生成した、身体情報の一つである手輪郭表示画像８０２を操作情報取得部２５へ出力する。
また、身体情報認識部２４は、モーションセンサ部３２２から供給されるセンシング情報における一つの情報である、利用者６０１の頭部の回転に対応する移動情報を取得した場合、当該移動情報から頭部の回転の回転角度及び回転方向を求める。
また、身体情報認識部２４は、モーションセンサ部３２２からセンシング情報における一つの情報である、利用者６０１の首の筋肉の伸縮の度合を示す伸縮情報（身体情報の一例）を取得した場合、当該伸縮情報から、頭部の回転の回転角度及び回転方向を求める。 身体情報認識部２４は、身体情報の一つとして頭部の回転の回転角度及び回転方向を操作情報取得部２５へ出力する。
そして、身体情報認識部２４は、抽出した手の画像領域において輪郭抽出を行ない、利用者６０１の手の輪郭である手輪郭表示画像８０２を生成する。
身体情報認識部２４は、センシング情報における動画像から生成した、身体情報の一つである手輪郭表示画像８０２を操作情報取得部２５へ出力する。
また、身体情報認識部２４は、モーションセンサ部３２２から供給されるセンシング情報における一つの情報である、利用者６０１の頭部の回転に対応する移動情報を取得した場合、当該移動情報から頭部の回転の回転角度及び回転方向を求める。
また、身体情報認識部２４は、モーションセンサ部３２２からセンシング情報における一つの情報である、利用者６０１の首の筋肉の伸縮の度合を示す伸縮情報（身体情報の一例）を取得した場合、当該伸縮情報から、頭部の回転の回転角度及び回転方向を求める。 身体情報認識部２４は、身体情報の一つとして頭部の回転の回転角度及び回転方向を操作情報取得部２５へ出力する。
【0073】
操作情報取得部２５は、手輪郭表示画像８０２の動作と、予め設定されている動作と比較して、ジェスチャ情報を抽出する。
例えば、表示画像に撮像されている商品を選択する場合、表示画像８０１における手輪郭表示画像８０２が注文したい商品の位置に移動させて、商品の位置で所定の時間停止させたり、商品を指で丸印を作付けて囲むなどすることにより、操作情報取得部２５は、注文しようとして選択する商品の画像を抽出する（手位置情報による商品の位置の指定、すなわち位置情報）。
例えば、表示画像に撮像されている商品を選択する場合、表示画像８０１における手輪郭表示画像８０２が注文したい商品の位置に移動させて、商品の位置で所定の時間停止させたり、商品を指で丸印を作付けて囲むなどすることにより、操作情報取得部２５は、注文しようとして選択する商品の画像を抽出する（手位置情報による商品の位置の指定、すなわち位置情報）。
【0074】
そして、操作情報取得部２５は、選択した商品の表示画像における座標位置を位置情報として検出する。
操作情報取得部２５は、例えば、検出した位置情報にある画像を選択した商品とし、その位置情報の示す座標位置にマーキングを付加したり、位置情報を中心とした表示画像を生成するなどの処理を行う。
操作情報取得部２５は、例えば、検出した位置情報にある画像を選択した商品とし、その位置情報の示す座標位置にマーキングを付加したり、位置情報を中心とした表示画像を生成するなどの処理を行う。
【0075】
操作情報取得部２５は、例えば、利用者６０１が商品を選択した後、手をバスケットアイコン８０４の位置に移動させたことを、手輪郭表示画像８０２の動きにより検出する。 そして、操作情報取得部２５は、商品選択後のバスケットアイコン８０４への手の移動から、選択した商品の購入処理を行うことを示すジェスチャ（商品を注文する注文条件）であることを判定し、選択した商品の購入処理を行うことを示すジェスチャ情報を表示制御部２６に出力する。ここで、どのジェスチャが、表示枠の移動、撮像装置の遷移、商品の選択、及び商品の注文を示すジェスチャ情報かは、予め設定されている。
【0076】
また、操作情報取得部２５は、モーションセンサ部３２２による頭部の移動方向の検出に換え、利用者６０１が手を任意の方向に所定の速度にて移動させることを、手輪郭表示画像８０２の動きにより検出して、表示枠Ｗを上下左右を含む任意の方向に移動させるジェスチャ情報とする構成としてもよい。
また、操作情報取得部２５は、手（利用者の身体における所定の一部の身体の部分）をバスケットアイコン８０４の位置に移動させることに代え、注文数したい数の指を立てることにより、選択した商品の購入処理を行うことを示すジェスチャ情報とする構成としてもよい。
また、操作情報取得部２５は、手をバスケットアイコン８０４の位置に移動させることに代え、注文したい商品の位置で、所定の時間にわたり手の動きあるいは頭部の動きを停止させる（ポーズ）ことを、商品の購入処理を行うことを示すジェスチャ情報とする構成としてもよい。
また、操作情報取得部２５は、手（利用者の身体における所定の一部の身体の部分）をバスケットアイコン８０４の位置に移動させることに代え、注文数したい数の指を立てることにより、選択した商品の購入処理を行うことを示すジェスチャ情報とする構成としてもよい。
また、操作情報取得部２５は、手をバスケットアイコン８０４の位置に移動させることに代え、注文したい商品の位置で、所定の時間にわたり手の動きあるいは頭部の動きを停止させる（ポーズ）ことを、商品の購入処理を行うことを示すジェスチャ情報とする構成としてもよい。
【0077】
表示制御部２６は、選択した商品の位置情報及び選択した商品の購入処理を示すジェスチャ情報とから注文情報を生成し、送信部２７を介して画像操作サーバ１０へ出力する。 表示制御部２６は、位置情報の示す表示画像における選択された商品の座標値を、配信画像における座標値（選択位置情報）に変換し、注文された商品を特定する特定情報として当該選択位置情報を注文情報に含めて、画像操作サーバ１０に対して出力する。
注文書情報出力部１１３は、上記注文情報に対応して注文書情報を生成する。
注文書情報出力部１１３は、上記注文情報に対応して注文書情報を生成する。
【0078】
図９は、本実施形態による画像操作サーバにより、店舗における複数の売場の間の撮像装置の変更処理の動作を説明する概念図である。
図９において、店舗における複数の、例えば４つの異なる商品の種類の各々が陳列されている売場それぞれが示されている。店舗としては、売場ゾーンＺ１が野菜・果物、売場ゾーンＺ２が魚、売場ゾーンＺ３が肉、売場ゾーンＺ４がパン・菓子などである。
図９において、店舗における複数の、例えば４つの異なる商品の種類の各々が陳列されている売場それぞれが示されている。店舗としては、売場ゾーンＺ１が野菜・果物、売場ゾーンＺ２が魚、売場ゾーンＺ３が肉、売場ゾーンＺ４がパン・菓子などである。
【0079】
売場ゾーンＺ１から売場ゾーンＺ４の各々には、それぞれ５個ずつ、売場に陳列された商品を撮像する撮像装置が備えられている。それぞれの売場ゾーン毎に、図３で説明した撮像装置間の隣接関係が設定されている。また、それぞれの売場ゾーン毎に、図３の隣接関係に対応して撮像装置間の遷移情報を示す図４の撮像装置隣接関係情報テーブルが、撮像装置隣接関係情報記憶部３に予め書き込まれて記憶されている。
各売場内における撮像装置の遷移の処理は、図３の説明のように、「上」、「下」、「左」、「右」を含む任意の方向への頭部の移動を示す方向情報により行われる。
各売場内における撮像装置の遷移の処理は、図３の説明のように、「上」、「下」、「左」、「右」を含む任意の方向への頭部の移動を示す方向情報により行われる。
【0080】
異なる売場間における撮像装置の遷移の処理において、例えば、利用者が売場ゾーンＺ２における撮像装置ＤＺ２＿１を現時点において設定している場合を例に説明する。
例えば、撮像装置隣接関係情報テーブルにおいて、撮像装置Ｄ２を撮像装置ＤＺ２＿１とした場合、撮像装置ＤＺ２＿１には「右」の方向情報により移動する撮像装置が設定されていない。
例えば、撮像装置隣接関係情報テーブルにおいて、撮像装置Ｄ２を撮像装置ＤＺ２＿１とした場合、撮像装置ＤＺ２＿１には「右」の方向情報により移動する撮像装置が設定されていない。
【0081】
すなわち、撮像装置ＤＺ１＿１の配信画像において、水平における「右」方向に頭部を回転させ、表示枠Ｗが配信画像の右端で移動出来なくなった状態で所定の時間が経過した場合に、選択されている撮像装置ＤＺ１＿１が右に隣接している売場ゾーンＺ１の撮像装置に遷移する。このとき、遷移先の撮像装置は予め設定されたディフォルトの撮像装置であり、任意に設定できるが、例えば、図３における撮像装置Ｄ１のように、内場の中心位置などにおける陳列された商品を撮像している撮像装置である。
この遷移先の撮像装置を示す関係情報を撮像装置隣接関係情報テーブルに予め書き込んでおく。この場合、表示制御部２６は、現在選択している撮像装置の撮像装置識別情報と、方向情報と、停止してから所定の時間が経過したことを示す情報とを含む撮像装置変更リクエスト情報を、画像操作サーバ１０に対して出力する。
この遷移先の撮像装置を示す関係情報を撮像装置隣接関係情報テーブルに予め書き込んでおく。この場合、表示制御部２６は、現在選択している撮像装置の撮像装置識別情報と、方向情報と、停止してから所定の時間が経過したことを示す情報とを含む撮像装置変更リクエスト情報を、画像操作サーバ１０に対して出力する。
【0082】
これにより、画像配信部１０２は、異なる売場間における撮像装置の遷移を示す撮像装置変更リクエスト情報を、利用者端末２０から受信した場合、撮像装置隣接関係情報テーブルを参照して、現時点の売場で選択している撮像装置から、ことなる他の売場の撮像装置に、選択する撮像装置を遷移させることができる。
また、上述した構成においては、利用者の頭部の回転の方向により、他の売場の撮像装置への遷移を行っているが、表示画面上に売場を選択する売場選択ボタンを表示させ、利用者が売場選択ボタンにより売場を選択させる構成としてもよい。このとき、表示制御部２６からの撮像装置変更リクエスト情報には売場識別情報や売場選択ボタンが表示された座標値などの売場を特定できる情報が含まれている。この構成の場合においても、新たな売場おいて選択される撮像装置は予め設定されたディフォルトの撮像装置となる。
また、上述した構成においては、利用者の頭部の回転の方向により、他の売場の撮像装置への遷移を行っているが、表示画面上に売場を選択する売場選択ボタンを表示させ、利用者が売場選択ボタンにより売場を選択させる構成としてもよい。このとき、表示制御部２６からの撮像装置変更リクエスト情報には売場識別情報や売場選択ボタンが表示された座標値などの売場を特定できる情報が含まれている。この構成の場合においても、新たな売場おいて選択される撮像装置は予め設定されたディフォルトの撮像装置となる。
【0083】
図１０は、本実施形態による画像操作サーバによる店舗の売り場における撮像装置の変更及び利用者における商品の購入の各々の動作の連携を示すフローチャートである。
画像操作サーバ１０側の動作において、画像操作サーバ１０は、起動されることにより、配信画像の画像操作のサービスを開始した（ステップＳ１０１）場合、注文処理部１１０が商品の購入管理のサービスを開始する（ステップＳ１０２）。
また、同様に、画像操作サーバ１０は、画像操作サーバ１０が撮像装置Ｄ１から撮像装置Ｄｎの稼働を開始する制御信号を出力する（ステップＳ１０３）。
画像操作サーバ１０は、撮像装置Ｄ１から撮像装置Ｄｎの撮像した撮像画像の配信を行う画像配信部１０２の制御を開始する（ステップＳ１０４）。
画像操作サーバ１０側の動作において、画像操作サーバ１０は、起動されることにより、配信画像の画像操作のサービスを開始した（ステップＳ１０１）場合、注文処理部１１０が商品の購入管理のサービスを開始する（ステップＳ１０２）。
また、同様に、画像操作サーバ１０は、画像操作サーバ１０が撮像装置Ｄ１から撮像装置Ｄｎの稼働を開始する制御信号を出力する（ステップＳ１０３）。
画像操作サーバ１０は、撮像装置Ｄ１から撮像装置Ｄｎの撮像した撮像画像の配信を行う画像配信部１０２の制御を開始する（ステップＳ１０４）。
【0084】
そして、撮像装置Ｄ１から撮像装置Ｄｎの各々は、自身の撮像方向の風景（例えば、陳列された商品）の画像の撮像を開始するため、稼働を開始する（ステップＳ１０５）。 画像配信部１０２は、撮像装置Ｄ１から撮像装置Ｄｎの各々から、それぞれが撮像した撮像画像を取得し、所定の周期により記憶部に書き込んで記憶させる（ステップＳ１０６）。
【0085】
画像配信部１０２は、売場の初期画像を要求する画像リクエスト情報が利用者端末２０から供給された場合、要求された売場におけるディフォルトの撮像装置Ｄｎの撮像画像を記憶部から読み出す。
そして、画像配信部１０２は、読み出した撮像画像を圧縮して配信画像として、利用者端末２０に対して供給する（ステップＳ１０７）。
そして、画像配信部１０２は、読み出した撮像画像を圧縮して配信画像として、利用者端末２０に対して供給する（ステップＳ１０７）。
【0086】
また、画像配信部１０２は、利用者端末２０から撮像装置変更リクエスト情報（同一の売場内における他の撮像装置に遷移する情報）が供給された場合、撮像装置隣接関係情報記憶部３における撮像装置隣接関係テーブルを参照する。
ここで、画像配信部１０２は、撮像装置変更リクエスト情報における撮像装置情報及び方向情報とにより、遷移先の撮像装置を撮像装置隣接関係テーブルから抽出する。
これにより、画像配信部１０２は、遷移先の撮像装置の撮像した撮像画像を記憶部から読み出し、撮像装置変更リクエスト情報を供給した利用者端末２０に対して出力する（ステップＳ１０７）。
ここで、画像配信部１０２は、撮像装置変更リクエスト情報における撮像装置情報及び方向情報とにより、遷移先の撮像装置を撮像装置隣接関係テーブルから抽出する。
これにより、画像配信部１０２は、遷移先の撮像装置の撮像した撮像画像を記憶部から読み出し、撮像装置変更リクエスト情報を供給した利用者端末２０に対して出力する（ステップＳ１０７）。
【0087】
また、画像配信部１０２は、画像配信部１０２は、利用者端末２０から撮像装置変更リクエスト情報（他の売場内における撮像装置に遷移する情報）が供給された場合、撮像装置隣接関係情報記憶部３における各売場における撮像装置隣接関係テーブルの各々を参照する。
そして、画像配信部１０２は、撮像装置変更リクエスト情報における方向情報（あるいは売場選択ボタンで選択した場合、売場を示す売場識別情報）により、移動先の売場の撮像装置隣接関係テーブルを選択し、ディフォルトで設定されている撮像装置を抽出する。 これにより、画像配信部１０２は、抽出した撮像装置の撮像した撮像画像を記憶部から読み出し、撮像装置変更リクエスト情報を供給した利用者端末２０に対して出力する（ステップＳ１０７）。
そして、画像配信部１０２は、撮像装置変更リクエスト情報における方向情報（あるいは売場選択ボタンで選択した場合、売場を示す売場識別情報）により、移動先の売場の撮像装置隣接関係テーブルを選択し、ディフォルトで設定されている撮像装置を抽出する。 これにより、画像配信部１０２は、抽出した撮像装置の撮像した撮像画像を記憶部から読み出し、撮像装置変更リクエスト情報を供給した利用者端末２０に対して出力する（ステップＳ１０７）。
【0088】
また、画像配信部１０２は、利用者端末２０から最新の撮像画像を要求する画像リクエスト情報が供給された場合、現時点で選択されている撮像装置Ｄｎが撮像している撮像画像を取得し、最新の撮像画像として記憶部に書き込んで記憶させる。
そして、画像配信部１０２は、読み出した最新の撮像画像を圧縮して配信画像として、利用者端末２０に対して供給する（ステップＳ１０７）。
そして、画像配信部１０２は、読み出した最新の撮像画像を圧縮して配信画像として、利用者端末２０に対して供給する（ステップＳ１０７）。
【0089】
注文処理部１１０は、利用者端末２０から注文情報が供給された場合、注文情報に含まれる撮像装置識別情報及び選択位置情報に対応し、撮像装置識別情報に対応する撮像装置の撮像した撮像画像を読み出し、選択位置情報に対応して注文された商品のサムネイル画像を生成する。
また、注文処理部１１０は、利用者端末２０の起動時に、当該利用者端末２０から送信される利用者の利用者識別情報を読み込み、利用者識別情報に対応する住所を送付先として読み込む。
また、注文処理部１１０は、利用者端末２０の起動時に、当該利用者端末２０から送信される利用者の利用者識別情報を読み込み、利用者識別情報に対応する住所を送付先として読み込む。
【0090】
そして、注文処理部１１０は、注文された商品のサムネイル画像と、商品の送付先の住所とを注文書情報としてプリンタ４へ出力する。
プリンタ４は、注文処理部１１０から供給される注文書情報を印刷して作成し（ステップＳ１０８）、注文された商品のサムネイル画像と送付先住所が印刷された注文書を発行する（ステップＳ１０９）。
また、注文処理部１１０は、店員の携帯する携帯端末に上記注文書情報を送信する構成としてもよい。この構成の場合、店員の携帯する携帯端末の表示画面に注文書情報を表示する。
プリンタ４は、注文処理部１１０から供給される注文書情報を印刷して作成し（ステップＳ１０８）、注文された商品のサムネイル画像と送付先住所が印刷された注文書を発行する（ステップＳ１０９）。
また、注文処理部１１０は、店員の携帯する携帯端末に上記注文書情報を送信する構成としてもよい。この構成の場合、店員の携帯する携帯端末の表示画面に注文書情報を表示する。
【0091】
店員は、印刷された注文書あるいは携帯端末の表示画面の注文書情報を見て、そのサムネイル画像の商品が売られている売場へ行き、サムネイル画像の商品を陳列棚から取り出す（すなわち、商品のピッキング、ステップＳ１１０）。
そして、店員は、注文情報における送信先（利用者の住所）に対して商品を発送（シッピング）する（ステップＳ１１１）。
そして、店員は、注文情報における送信先（利用者の住所）に対して商品を発送（シッピング）する（ステップＳ１１１）。
【0092】
次に、利用者端末２０側の動作において、利用者６０１は、ユーザインターフェース部３０としてのＡＲグラスを頭部に装着し（ステップＳ２０１）、利用者端末２０において画像操作アプリケーションを起動させる（ステップＳ２０２）。
【0093】
利用者６０１は、例えば、ユーザインターフェース部３０の表示部３１に表示される売場選択ボタンの各々から、自身の選択したい売場の選択ボタンの位置に自身の手を移動させ、タッチして売場の選択を行う（ステップＳ２０３）。これにより、操作情報取得部２５は、撮像部３２１が撮像した動画像から、いずれの売場選択ボタンの座標値をタッチしたかを示す座標値とこの座標値をタッチしたことを示す情報とを含むジェスチャ情報を抽出する。
【0094】
そして、操作情報取得部２５は、手を売場選択ボタンの位置に移動させたことを示す利用者の身体情報から抽出したジェスチャ情報を、表示制御部２６に対して出力する。
表示制御部２６は、配信画像表示ボタンのジェスチャ情報における売場選択ボタンの座標値と、この売場の撮像装置へ遷移することを示す情報とを含む撮像装置変更リクエスト情報を、画像操作サーバ１０に対して出力する。
表示制御部２６は、配信画像表示ボタンのジェスチャ情報における売場選択ボタンの座標値と、この売場の撮像装置へ遷移することを示す情報とを含む撮像装置変更リクエスト情報を、画像操作サーバ１０に対して出力する。
【0095】
画像加工部２２は、利用者が要求した売場における撮像装置の撮像画像が配信画像として供給された場合、ユーザインターフェース部３０から入力する、利用者６０１の頭部の回転情報に対応して、表示画像を生成する。
そして、画像出力部２３は、上記表示画像をユーザインターフェース部３０の表示部３１に表示させる。
そして、画像出力部２３は、上記表示画像をユーザインターフェース部３０の表示部３１に表示させる。
【0096】
利用者６０１は、表示部３１に表示される表示画像において商品の観察を行うとともに、観察する陳列された商品を変更するため、すなわち他の商品が陳列された陳列棚を視界に入れるために頭部の移動を行う（ステップＳ２０４）。
これにより、身体情報認識部２４は、モーションセンサ部３２２の計測値をセンシング情報としてユーザインターフェース部３０から取得し、このセンシング情報から利用者６０１が頭部の回転を行ったことと、計測値を含む頭部の移動情報を示す身体情報を生成する。
そして、身体情報認識部２４は、生成した身体情報を操作情報取得部２５へ出力する。
これにより、身体情報認識部２４は、モーションセンサ部３２２の計測値をセンシング情報としてユーザインターフェース部３０から取得し、このセンシング情報から利用者６０１が頭部の回転を行ったことと、計測値を含む頭部の移動情報を示す身体情報を生成する。
そして、身体情報認識部２４は、生成した身体情報を操作情報取得部２５へ出力する。
【0097】
操作情報取得部２５は、人体情報から表示枠Ｗを移動させる方向情報、あるいは撮像装置を遷移するジェスチャ情報を上記身体情報から抽出し、表示制御部２６に対して出力する。
表示制御部２６は、上記方向情報から、配信画像における表示画像を抽出する表示枠Ｗの位置を示す表示領域情報を画像加工部２２に出力する。
これにより、画像加工部２２は、利用者６０１の頭部の移動、すなわち利用者６０１の視線方向に対応した表示枠Ｗの移動を行ない配信画像から表示画像を生成する処理を行う。
そして、画像出力部２３は、画像加工部２２の生成した表示画像を表示部３１の表示画面に表示させる。
表示制御部２６は、上記方向情報から、配信画像における表示画像を抽出する表示枠Ｗの位置を示す表示領域情報を画像加工部２２に出力する。
これにより、画像加工部２２は、利用者６０１の頭部の移動、すなわち利用者６０１の視線方向に対応した表示枠Ｗの移動を行ない配信画像から表示画像を生成する処理を行う。
そして、画像出力部２３は、画像加工部２２の生成した表示画像を表示部３１の表示画面に表示させる。
【0098】
また、表示制御部２６は、方向情報や、あるいは撮像装置間を遷移するジェスチャ情報などに対応して、同一の配信画像から抽出する表示画像の位置の移動、同一の売場の撮像装置間における遷移、さらに他の売場の撮像装置への遷移などを示す撮像装置変更リクエスト情報を生成する。
表示制御部２６は、生成した撮像装置変更リクエスト情報を、送信部２７を介して画像操作サーバ１０に対して出力する。
そして、利用者６０１は、自身の視点方向に対応して移動する表示画像において、商品を観察して、注文する商品の選択を行う（ステップＳ２０５）。
表示制御部２６は、生成した撮像装置変更リクエスト情報を、送信部２７を介して画像操作サーバ１０に対して出力する。
そして、利用者６０１は、自身の視点方向に対応して移動する表示画像において、商品を観察して、注文する商品の選択を行う（ステップＳ２０５）。
【0099】
利用者６０１は、観察している商品のなかから、注文する商品を表示画像において選択する動作を行う。例えば、その商品の位置で自身の手を所定の時間停止させるなどにより、注文する商品を選択する。
そして、利用者６０１は、選択した商品を表示画像に表示されているバスケットアイコンに入れる動作を行なう（ステップＳ２０６）。
このとき、身体情報認識部２４は、撮像部３２１が撮像した動画像をセンシング情報として取得する。
そして、利用者６０１は、選択した商品を表示画像に表示されているバスケットアイコンに入れる動作を行なう（ステップＳ２０６）。
このとき、身体情報認識部２４は、撮像部３２１が撮像した動画像をセンシング情報として取得する。
【0100】
身体情報認識部２４は、上記動画像から手の動作を抽出して、利用者６０１の身体情報として操作情報取得部２５へ出力する。
操作情報取得部２５は、利用者６０１の手の動作から、当該利用者６０１が商品を選択したと判定し、選択した商品の画像の位置を示す位置情報と、商品を注文したことを示すジェスチャ情報とを表示制御部２６に対して出力する。
そして、表示制御部２６は、選択した商品の注文情報を、画像操作サーバ１０に対して出力する。
利用者６０１は、他に注文する商品がなければ、利用者端末２０におけるアプリケーションを終了する（ステップＳ２０７）。
操作情報取得部２５は、利用者６０１の手の動作から、当該利用者６０１が商品を選択したと判定し、選択した商品の画像の位置を示す位置情報と、商品を注文したことを示すジェスチャ情報とを表示制御部２６に対して出力する。
そして、表示制御部２６は、選択した商品の注文情報を、画像操作サーバ１０に対して出力する。
利用者６０１は、他に注文する商品がなければ、利用者端末２０におけるアプリケーションを終了する（ステップＳ２０７）。
【0101】
上述したように、本実施形態によれば、店舗に出向いたときと同様に自身の視線方向を変更することにより、ユーザインターフェース部３０におけるセンサ部３２が視線の向きの移動を、当該利用者の頭部の回転移動の情報から取得し、視線の移動に合わせて配信画像内における視線の移動にともなう表示画像を生成し（同一場所における視線の移動、例えば同一の売場における商品間の視線の移動に対応した画像表示処理）、また撮像装置の変更も行うことができるため、利用者自身が異なる場所へ移動（例えば、店舗における売場を移動）するための画面操作を行うことがなく、利用者が観察したい視線方向に表示画像が移動し、かつ視線の動きに連動して、配信画像を撮像する撮像装置として、移動したい場所の撮像装置に切り替えることが可能であるため、あたかも複数の撮像装置が撮像している場所を実際に移動している感覚をユーザに与える処理を容易に行なうことができる。
すなわち、本実施形態によれば、観察場所を異なる場所へ移動させたり、観察場所内における特定の箇所の観察を、利用者の身体情報によりシームレス（滑らか）に行うことができる。
すなわち、本実施形態によれば、観察場所を異なる場所へ移動させたり、観察場所内における特定の箇所の観察を、利用者の身体情報によりシームレス（滑らか）に行うことができる。
【0102】
上述した本実施形態においては、店舗内において売場の各々における商品を撮像する撮像装置を例に説明したが、美術館、博物館、観光地などにおいて、美術品などの展示物や観光名所を撮像する撮像装置に対しても同様の構成を用いることができる。
また、本実施形態においては、ユーザインターフェース部３０としてＡＲグラスなどのＨＭＤを利用する構成を説明したが、利用者端末２０が備える撮像装置及び加速度センサなどをセンサ部３２として用い、利用者端末２０の表示画面を表示部３１として用いる構成としてもよい。
また、本実施形態においては、センサ部３２がモーションセンサ部３２２を備えず、撮像部３２１が利用者の手及び頭部の動画像を撮像し、身体情報認識部２４が、移動情報あるいは伸縮情報に代わり、当該動画像のフレーム画像の各々から、周知の方法により頭部の回転の回転角度及び回転方向を求める構成としてもよい。当該方法の一例としては、画像から目、口、鼻、耳や眉毛などの顔のパーツを特徴領域として抽出し、当該特徴領域の正面から見た配置状態からの変位により頭部の方向を推測する等の方法が知られている。 また、本実施形態においては、画像加工部２２、身体情報認識部２４、操作情報取得部２５及び表示制御部２６の各々を利用者端末２０に備える構成としたが、これらの全てあるいは一部を画像操作サーバ１０に備える構成としてもよい。
また、本実施形態においては、ユーザインターフェース部３０としてＡＲグラスなどのＨＭＤを利用する構成を説明したが、利用者端末２０が備える撮像装置及び加速度センサなどをセンサ部３２として用い、利用者端末２０の表示画面を表示部３１として用いる構成としてもよい。
また、本実施形態においては、センサ部３２がモーションセンサ部３２２を備えず、撮像部３２１が利用者の手及び頭部の動画像を撮像し、身体情報認識部２４が、移動情報あるいは伸縮情報に代わり、当該動画像のフレーム画像の各々から、周知の方法により頭部の回転の回転角度及び回転方向を求める構成としてもよい。当該方法の一例としては、画像から目、口、鼻、耳や眉毛などの顔のパーツを特徴領域として抽出し、当該特徴領域の正面から見た配置状態からの変位により頭部の方向を推測する等の方法が知られている。 また、本実施形態においては、画像加工部２２、身体情報認識部２４、操作情報取得部２５及び表示制御部２６の各々を利用者端末２０に備える構成としたが、これらの全てあるいは一部を画像操作サーバ１０に備える構成としてもよい。
【0103】
＜変形例１＞
上述の実施形態においては、撮像装置Ｄ１から撮像装置Ｄｎが撮像した撮像画像各々を配信画像としていたが、例えば、撮像装置Ｄ１と撮像装置Ｄ２など複数の撮像装置からなるセットを１つの撮像装置として扱い、該セットの撮像装置各々が撮像した撮像画像を合成した画像を配信画像として用いてもよい。本実施形態の変形例１では、上述の実施形態における画像操作システム１における画像操作サーバ１０において、セットの撮像装置各々が撮像した撮像画像を合成し、配信画像とする例を説明する。本変形例では、上述の実施形態と異なる部分のみを説明し、その他の部分は説明を省略する。
上述の実施形態においては、撮像装置Ｄ１から撮像装置Ｄｎが撮像した撮像画像各々を配信画像としていたが、例えば、撮像装置Ｄ１と撮像装置Ｄ２など複数の撮像装置からなるセットを１つの撮像装置として扱い、該セットの撮像装置各々が撮像した撮像画像を合成した画像を配信画像として用いてもよい。本実施形態の変形例１では、上述の実施形態における画像操作システム１における画像操作サーバ１０において、セットの撮像装置各々が撮像した撮像画像を合成し、配信画像とする例を説明する。本変形例では、上述の実施形態と異なる部分のみを説明し、その他の部分は説明を省略する。
【0104】
図１１は、本実施形態の変形例１における画像操作システム１における画像操作サーバ１０の構成例を示す図である。本変形例の画像操作サーバ１０は、画像配信部１０２に変えて、画像配信部１０２ａを備えるが、その他は、上述の実施形態における画像操作サーバ１０と同様である。画像配信部１０２ａは、撮像装置Ｄ１から撮像装置Ｄｎのうち、予め決められた一部の撮像装置（例えば、撮像装置Ｄ１と撮像装置Ｄ２）からなるセットが撮像した撮像画像を合成して１つの画像を生成して、配信画像とする点が、画像配信部１０２と異なるが、その他は、画像配信部１０２と同様である。
【0105】
なお、画像配信部１０２ａは、例えば、撮像装置Ｄ１と撮像装置Ｄ２のセットと、撮像装置Ｄ３から撮像装置Ｄ５のセットなど、撮像装置Ｄ１から撮像装置Ｄｎのうち、予め決められた複数の撮像装置のセット各々について、配信画像を生成するようにしてもよい。また、これらの撮像装置のセットについては、撮像装置隣接関係情報取得部１０３が記憶する撮像装置Ｄ１から撮像装置Ｄｎの隣接関係に基づき決められるようにしてもよい。また、画像配信部１０２ａは、撮像画像記憶部に記憶させる画像を、この配信画像としてもよい。
【0106】
画像配信部１０２ａにおける撮像画像の合成は、撮影対象が平面であるとして、撮像画像の中心付近、すなわち撮影対象と正対している画像を連結することで行ってもよい。さらに、撮像画像同士でオーバーラップしている領域については画像補完により正対している画像を生成して連結する、Ｓｔｅｖｅｎ Ｓｅｉｔｚらの手法（Steven M. Seitz and Charles R. Dyer. 1996. View morphing. In Proceedings of the 23rd annual conference on Computer graphics and interactive techniques (SIGGRAPH '96). Association for Computing Machinery, New York, NY, USA,21-30. DOI:https://doi.org/10.1145/237170.237196）を用いてもよい。
【0107】
また、画像配信部１０２ａにおける撮像画像の合成は、例えば、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ技術（https://en.wikipedia.org/wiki/Structure_from_motion）を用いて、複数の撮像画像から３次元形状を生成し、該３次元形状から正投影のレンダリングをするなどして正対した画像を生成して配信画像としてもよい。
このように、配信画像の全ての領域が、商品棚などの撮影対象に正対した画像とすることができるため、該配信画像のどの領域を表示画像としても、違和感を利用者６０１に感じさせないようにすることができる。
このように、配信画像の全ての領域が、商品棚などの撮影対象に正対した画像とすることができるため、該配信画像のどの領域を表示画像としても、違和感を利用者６０１に感じさせないようにすることができる。
【0108】
なお、本変形例における撮像画像の合成は、例えば、図１０のフローチャートにおけるステップＳ１０６にて行われる。また、ステップＳ１０８において注文処理部１１０が生成するサムネイル画像は、配信画像から生成される。また、撮像装置変更リクエスト情報は、撮像装置に変えて、撮像装置のセットを示すようにしてもよいし、撮像装置変更リクエスト情報が、撮像装置のセットを構成する撮像装置を示しているときは、該撮像装置を含む撮像装置のセットを示しているとみなしてもよい。
【0109】
＜変形例２＞
上述の変形例１では、撮像装置Ｄ１から撮像装置Ｄｎのうちの一部をセットとして配信画像を生成していたが、撮像装置Ｄ１から撮像装置Ｄｎの全てを１つのセットとして配信画像を生成してもよい。この場合、配信画像が１つのみであるため、撮像装置変更リクエスト情報に関する処理が不要となる。本変形例２では、上述の変形例１における画像操作システム１における画像操作サーバ１０において、撮像装置Ｄ１から撮像装置Ｄｎの全てを１つのセットとする例を説明する。
上述の変形例１では、撮像装置Ｄ１から撮像装置Ｄｎのうちの一部をセットとして配信画像を生成していたが、撮像装置Ｄ１から撮像装置Ｄｎの全てを１つのセットとして配信画像を生成してもよい。この場合、配信画像が１つのみであるため、撮像装置変更リクエスト情報に関する処理が不要となる。本変形例２では、上述の変形例１における画像操作システム１における画像操作サーバ１０において、撮像装置Ｄ１から撮像装置Ｄｎの全てを１つのセットとする例を説明する。
【0110】
図１２は、変形例２における画像操作システム１における画像操作サーバ１０の構成例を示す図である。本変形例の画像操作サーバ１０は、画像配信部１０２ａに変えて画像配信部１０２ｂを備える点と、撮像装置隣接関係情報取得部１０３を備えない点が、変形例１の画像操作サーバ１０とは異なる。画像配信部１０２ｂは、撮像装置Ｄ１から撮像装置Ｄｎの全てを１つのセットとして配信画像を生成する。その他は、画像配信部１０２ａと同様である。また、本変形例における利用者端末２０は、図５と同様の構成であるが、撮像装置変更リクエスト情報に関連する機能が不要となる。
【0111】
このように、上述の実施形態および各変形例における画像操作システム１は、複数の撮像装置Ｄ１からＤｎの各々が撮像した撮像画像それぞれを受信し、撮像画像のいずれかに少なくとも基づく画像を配信画像として配信する画像配信部１０２、１０２ａ、１０２ｂと、利用者の身体の状態を示し、少なくとも前記利用者の身体における所定の一部の向きを示す身体情報に対応した、配信画像における表示対象の領域である表示対象領域を移動させる方向を含む方向情報を取得する操作情報取得部２５と、方向情報を含む表示領域情報により、配信画像における表示対象領域を抽出する表示枠の位置を更新する指示を行う表示制御部２６と、配信画像から表示枠に囲まれた画像を抽出して、抽出した画像を表示画像とする画像加工部２２と、表示画像を出力する画像出力部２３とを備え、表示制御部２６は、方向情報の示す方向に応じた速度で、配信画像における表示枠の位置を移動させる。これにより、あたかも複数の撮像装置Ｄ１からＤｎが撮像している場所を実際に移動している感覚をユーザに与える処理を容易に行なうことができる。
【0112】
なお、本発明における図１の画像操作サーバ１０及び利用者端末２０の各々の機能を実現するためのそれぞれのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、撮像装置の遷移及び売場の移動の処理を行ったり、また提供される配信画像を撮像する撮像装置の変更を要求する処理、供給された配信画像から利用者の視線に対応した表示画像を生成する処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【0113】
また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【0114】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【0115】
１…画像操作システム
２…ユーザ管理データベース
３…撮像装置隣接関係情報記憶部
４…プリンタ
１０…画像操作サーバ
２０…利用者端末
２１，１０１…受信部
２２…画像加工部
２３…画像出力部
２４…身体情報認識部
２５…操作情報取得部
２６…表示制御部
２７，１０４…送信部
３０…ユーザインターフェース部
３１…表示部
３２…センサ部
１０２，１０２ａ，１０２ｂ…画像配信部
１０３…撮像装置隣接関係情報取得部
１１０…注文処理部
１１１…サムネイル画像生成部
１１２…発送先情報取得部
１１３…注文書情報出力部
３２１…撮像部
３２２…モーションセンサ部
５００…情報通信網
６０１…利用者
６０２店員
Ｄ１，Ｄ２，Ｄｎ…撮像装置
２…ユーザ管理データベース
３…撮像装置隣接関係情報記憶部
４…プリンタ
１０…画像操作サーバ
２０…利用者端末
２１，１０１…受信部
２２…画像加工部
２３…画像出力部
２４…身体情報認識部
２５…操作情報取得部
２６…表示制御部
２７，１０４…送信部
３０…ユーザインターフェース部
３１…表示部
３２…センサ部
１０２，１０２ａ，１０２ｂ…画像配信部
１０３…撮像装置隣接関係情報取得部
１１０…注文処理部
１１１…サムネイル画像生成部
１１２…発送先情報取得部
１１３…注文書情報出力部
３２１…撮像部
３２２…モーションセンサ部
５００…情報通信網
６０１…利用者
６０２店員
Ｄ１，Ｄ２，Ｄｎ…撮像装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】