特許 7081162 画像処理装置、画像処理システム、及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-30

(45)【発行日】2022-06-07

(54)【発明の名称】画像処理装置、画像処理システム、及び画像処理方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20220531BHJP

【ＦＩ】

G06T19/00 A

【請求項の数】 7

(21)【出願番号】P 2018004415

(22)【出願日】2018-01-15

(65)【公開番号】P2019125108

(43)【公開日】2019-07-25

【審査請求日】2020-12-21

(73)【特許権者】

【識別番号】000003193

【氏名又は名称】凸版印刷株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100147267

【弁理士】

【氏名又は名称】大槻 真紀子

(72)【発明者】

【氏名】武士 祐介

【審査官】橘 高志

(56)【参考文献】

【文献】特開２００７－２２６５８０（ＪＰ，Ａ）

【文献】特開２０１２－０９５９１４（ＪＰ，Ａ）

【文献】特開２００３－２６４７４０（ＪＰ，Ａ）

【文献】安川 雅紀，多種データの柔軟な重ね合わせ機能を有するＡＩＲＳデータ可視化システム，ＤＥＷＳ２００６論文集 ［ｏｎｌｉｎｅ］ ，日本，電子情報通信学会データ工学研究専門委員会

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

環境に関する環境情報として、環境センサにより測定された測定値を取得する取得部と、
前記測定値にゆらぎを加えて前記測定値を経時的に変化させることにより前記測定値を加工し、前記加工した環境情報に示される状況に応じた仮想物体の画像を生成する生成部と、
前記生成部により生成された画像を出力する出力部と
を備えることを特徴とする画像処理装置。

【請求項2】

前記生成部は、前記測定値に所定の振幅を有する正弦波を加算することにより前記環境情報を加工する、
請求項１に記載の画像処理装置。

【請求項3】

前記取得部は、所定の場所における前記環境情報を検知するセンサ群、及び所定の場所における前記環境情報を記憶した装置のうち少なくともいずれかより前記環境情報を取得する
ことを特徴とする請求項１又は請求項２に記載の画像処理装置。

【請求項4】

前記生成部は、前記環境情報に基づいて、前記環境情報に示される状況に応じて変化する環境画像を生成する
ことを特徴とする請求項１から請求項３のいずれか一項に記載の画像処理装置。

【請求項5】

前記取得部は、人物の視線に関する視線情報を取得し、
前記生成部は、前記視線情報に示される視線の方向に応じた前記仮想物体の画像を生成する
ことを特徴とする請求項１から請求項４のいずれか一項に記載の画像処理装置。

【請求項6】

請求項１から請求項５のいずれか一項に記載の画像処理装置と、
前記画像処理装置により出力された画像を表示する画像表示装置
を備えることを特徴とする画像処理システム。

【請求項7】

取得部が環境に関する環境情報として、環境センサにより測定された測定値を取得する工程と、
生成部が前記測定値にゆらぎを加えて前記測定値を経時的に変化させることにより前記測定値を加工し、前記加工した環境情報に示される状況に応じた仮想物体を生成する工程と、
出力部が前記生成部により生成された画像を出力する工程と
を有することを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理システム、及び画像処理方法に関する。

【背景技術】

【0002】

博物館等では遺跡などを復元した仮想空間の画像（以下、仮想空間画像）を表示する表示システムがある。このような表示システムでは、遺跡に対する興味を深めてもらうことを目的の一つとしている。
一方、特許文献１には、ユーザの体調やその日の気象等の各種データをゲーム上の仮想空間画像に反映させることでゲーム内容を変化させて楽しむ方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０００－２４３２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、遺跡などを復元した仮想空間画像は、予め設計された内容に基づいて作成されたものであり、決められた光景を表示するにすぎないため、閲覧者によっては物足りない場合がある。時間の経過とともに遺跡の表情が変化したり、予想外な光景が表示されたりすることがなく、現実感（リアリティ）に欠けるためである。このため、現実感がある仮想空間画像、あたかもそこに遺跡が存在し続けていたかのような仮想空間画像を生成することが求められる。

【0005】

本発明は、このような状況に鑑みてなされたもので、現実感のある仮想空間画像を生成することができる画像処理装置、画像処理システム、及び画像処理方法を提供することである。

【課題を解決するための手段】

【0006】

上述した課題を解決するために、本発明の一態様は、環境に関する環境情報として、環境センサにより測定された測定値を取得する取得部と、前記測定値にゆらぎを加えて前記測定値を経時的に変化させることにより前記測定値を加工し、前記加工した環境情報に示される状況に応じた仮想物体を生成する生成部と、前記生成部により生成された画像を出力する出力部とを備えることを特徴とする画像処理装置である。
また、本発明の一態様は、前記生成部は、前記測定値に所定の振幅を有する正弦波を加算することにより前記環境情報を加工することを特徴とする画像処理装置である。

【0007】

また、本発明の一態様は、前記取得部は、所定の場所における前記環境情報を検知するセンサ群、及び前記環境情報を記憶した装置のうち少なくともいずれかより前記環境情報を取得することを特徴とする画像処理装置である。

【0008】

また、本発明の一態様は、前記生成部は、前記環境情報に基づいて、前記環境情報に示される状況に応じて変化する環境画像を生成することを特徴とする画像処理装置である。

【0009】

また、本発明の一態様は、前記取得部は、人物の視線に関する視線情報を取得し、前記生成部は、前記視線情報に示される視線の方向に応じた前記仮想物体の画像を生成することを特徴とする画像処理装置である。

【0010】

また、本発明の一態様は、上記に記載の画像処理装置と、通信ネットワークを介して前記画像処理装置により出力された画像を表示する表示装置とを備えることを特徴とする画像処理システムである。

【0011】

また、本発明の一態様は、取得部が環境に関する環境情報として、環境センサにより測定された測定値を取得する工程と、生成部が前記測定値にゆらぎを加えて前記測定値を経時的に変化させることにより前記測定値を加工し、前記加工した環境情報に示される状況に応じた仮想物体を生成する工程と、出力部が前記生成部により生成された画像を出力する工程とを有することを特徴とする画像処理方法である。

【発明の効果】

【0012】

本発明によれば、現実感のある仮想空間画像を生成することができる。

【図面の簡単な説明】

【0013】

【図1】実施形態の画像処理システム１の概略構成の一例を示す図である。

【図2】実施形態の画像処理装置５が取得する環境情報の一例を示す図である。

【図3】実施形態の画像処理装置５が取得する環境情報の他の例を示す図である。

【図4】実施形態の画像処理装置５が生成する仮想空間画像の一例を示す図である。

【図5】実施形態の画像処理装置５の動作例を示すフローチャートである。

【発明を実施するための形態】

【0014】

以下、実施形態の画像処理装置、画像処理システム、及び画像処理方法を、図面を参照して説明する。

【0015】

図１は、本発明の一実施形態に係る画像処理システム１の概略構成の一例を示す図である。図１に示すように、画像処理システム１は、表示装置２、通信ネットワーク３、環境センサ群４及び画像処理装置５を備える。

【0016】

表示装置２は、通信ネットワーク３を介して画像処理装置５が生成した仮想空間画像を取得して表示する。
表示装置２は、例えば、遺跡を再現させた仮想空間画像を表示する。例えば、表示装置２は、液晶ディスプレイなどの表示画面を備え、表示画面に仮想空間画像を表示する表示装置である。また、仮想空間画像は、静止画でもよいし動画でもよい。

【0017】

通信ネットワーク３は、無線通信の伝送路であってもよく、有線通信であってもよく、無線通信の伝送路及び有線通信の伝送路の組み合わせであってもよい。

【0018】

環境センサ群４は、環境センサ４０（環境センサ４０－１～４０－Ｎ、Ｎは任意の自然数）を備える。
環境センサ４０は、環境に関する情報（環境情報）を検知する。環境情報には、例えば、風向き、風力、温度、湿度、気圧、又は光などの情報が含まれてよい。例えば、環境センサ４０は、風向きを検出するセンサ、風力計、温度計、湿度計、気圧計、上空や周囲の風景（例えば、全天周映像）を撮像する撮像装置などである。環境センサ４０は、仮想空間に反映させたい環境情報を取得することができる所定の場所に設置され、その場所における環境情報を検知する。
環境センサ群４は、通信ネットワーク３を介して、画像処理装置５に検知した環境に関する情報を送信する。

【0019】

画像処理装置５は、通信部５１と、処理部５２と、生成部５３とを備える。ここで、通信部５１は、「取得部」の一例である。また、通信部５１は、「出力部」の一例でもある。
通信部５１は、通信ネットワーク３を介して、表示装置２および環境センサ群４と無線又は有線通信する。
通信部５１は、通信ネットワーク３を介して環境センサ群４により検知された環境情報を取得する。通信部５１は、通信ネットワーク３を介して各種サーバにアクセスし、風向きや天候などの環境情報を取得してもよい。通信部５１は、取得した環境情報を処理部５２に出力する。

【0020】

処理部５２は、通信部５１を介して環境センサ群４からの環境情報を取得する。処理部５２は、環境センサ群４から取得した環境情報の処理を行う。ここで、環境情報の処理とは、環境情報に基づく仮想空間画像が生成しやすいように環境情報を加工することである。
図２は、実施形態の画像処理装置５が取得する環境情報の一例を示す図である。環境情報は、一時間ごとの、気温、降水量、風向、風速、日照時間、湿度、および気圧それぞれの値である。
例えば、処理部５２が、時刻９時に図２に示す環境情報を取得した場合、当該時刻における環境情報の風速５．９［ｍ／ｓ］に対し、所定の範囲内での移動平均を算出する。これはノイズの除去を目的としている。また環境情報の取得間隔が長い場合や、環境センサ群４の付近を人や物が移動したことによりノイズが入った場合にも、処理部５２により、データの補完処理をおこなう。処理部５２は、取得した情報に所定のゆらぎを加える処理を行っても良い。風速に所定のゆらぎが加えられることで同じパターンを繰り返す現実感のない仮想空間画像が生成されることを抑制できる。処理部５２は、例えば、風速５．９［ｍ／ｓ］に、所定の振幅を有する正弦波を加算することで風速５．９［ｍ／ｓ］を中心に風速が変化するように環境情報を加工する。

【0021】

生成部５３は、処理部５２により加工された環境情報に基づいて、当該環境情報に示される状況に応じた仮想空間画像を生成する。生成部５３は、生成した仮想空間画像を、通信部５１および通信ネットワーク３を介して表示装置２に送信する。以下、生成部５３が仮想空間画像を生成する方法について、図３、図４を用いて説明する。

【0022】

図３は、実施形態の画像処理装置５が取得する環境情報の他の例を示す図である。図３（ａ）～（ｃ）の例では、環境情報は、撮像装置により撮像された所定の場所における所定の時刻の上空の光景画像Ｍ（光景画像Ｍ－１～Ｍ－３）である。図３（ａ）～（ｃ）は、環境情報の一例として、夏の青空が撮像された光景画像Ｍ－１、秋の夜が撮像された光景画像Ｍ－２、および雨天が撮像された光景画像Ｍ－３をそれぞれ示す。
図４は、実施形態の画像処理装置５が生成する仮想空間画像の一例を示す図である。図４（ａ）は、風速がない又は静穏である場合の仮想空間画像Ｇ－１の例を示す。図４（ｂ）は、風速がある場合における仮想空間画像Ｇ－２の一例を示す。図４（ｃ）は、風速がある場合における仮想空間画像Ｇ－３の他の例を示す。

【0023】

図４（ａ）～（ｃ）の例に示すように、仮想空間画像Ｇ（仮想空間画像Ｇ－１～Ｇ－３）は、例えば、メインの仮想物体である物体画像Ａ、環境を表現する仮想物体である環境画像Ｂ（環境画像Ｂ－１、Ｂ－２）、および背景を表現する仮想物体である背景画像Ｃのそれぞれの仮想物体で構成される。
図４（ａ）～（ｃ）の例で、物体画像Ａは、遺跡を再現させた構造物の画像である。図４（ａ）、（ｂ）の例で、環境画像Ｂは、風速や風向きに応じて揺れる木々の画像である。

【0024】

図４（ａ）の例では、生成部５３は、風速に対応する環境情報が「風速がない又は静穏である」旨が示されていた場合、揺れていないか又はごく僅かに揺れている木々を示す環境画像Ｂ－１を生成する。
図４（ｂ）の例では、生成部５３は、風速に対応する環境情報が「風速がある」旨が示されていた場合、揺れている木々を示す環境画像Ｂ－１を生成する。

【0025】

図４（ｃ）に示すように、生成部５３は、環境を示すアイコン画像Ｄを、仮想物体を示す画像に合成してもよい。例えば、アイコン画像Ｄは、風速を示す扇風機の画像である。生成部５３は、例えば、風速に応じた回転速度で扇風機の羽根が回転する様を示すアイコン画像Ｄを、仮想物体を示す画像に合成する。
なお、アイコン画像Ｄは、環境情報に応じた画像であれば、扇風機の画像に限られることはなく、気温を示す陽炎や氷の画像、湿度を示す水滴の画像、天候を示す太陽や雪の画像、又はそれらの組み合わせであってもよい。

【0026】

また、生成部５３は、環境情報として図３の光景画像Ｍが示された場合、背景画像Ｃを光景画像Ｍに示される上空の画像とする。生成部５３は、例えば、背景画像Ｃの領域を示す形状に光景画像Ｍをトリミングすることにより背景画像Ｃを生成する。

【0027】

図５は、実施形態の画像処理装置５の動作例を示すフローチャートである。
まず、画像処理装置５は、通信部５１により環境情報を取得する（ステップＳ１）。
次に、画像処理装置５は、環境情報を加工するか否かを判定し（ステップＳ２）、加工する場合、処理部５２により環境情報を加工させる（ステップＳ３）。処理部５２は、例えば、一時間ごとの風速を示す情報にゆらぎを加え、一時間ずっと同じ調子で風速を表現するのではなく適度に風速が変化する環境情報を作り出す。

【0028】

次に、画像処理装置５は、生成部５３により仮想空間画像を生成させる。生成部５３は、まず、背景画像Ｃを生成する（ステップＳ４）。生成部は、例えば、光景画像Ｍを仮想空間画像Ｇの形状にトリミングすることで背景画像Ｃを生成する。
次に、生成部５３は、物体画像Ａを生成する（ステップＳ５）。生成部５３は、例えば、物体画像Ａが環境情報により変化しない物体（例えば、仏像など）である場合には、予め記憶させた物体画像Ａの画像を参照する。生成部５３は、物体画像Ａが環境情報により変化する物体（例えば、風に揺れるしだれ桜など）である場合には、環境情報を考慮して物体画像Ａを生成する。
次に、生成部５３は、環境情報に基づいて環境画像Ｂを生成する（ステップＳ６）。
そして、生成部は、生成した物体画像Ａ、環境画像Ｂ、背景画像Ｃを合成することで仮想空間画像Ｇを生成する。

【0029】

以上説明したように、実施形態の画像処理装置５は、環境に関する環境情報を取得する通信部５１と、環境情報に基づいて環境情報に示される状況に応じた仮想物体を生成する生成部５３と、生成部５３により生成された仮想物体を含む仮想空間画像Ｇを出力する通信部５１とを備える。
これにより、実施形態の画像処理装置５は、現実感のある仮想空間画像を生成することができる。通信部５１により取得された環境情報を用いて、生成部５３が環境に応じて変化する仮想空間画像Ｇを生成することができるためである。閲覧者がいる環境と同じように変化する仮想空間が表示装置２に表示されることにより現実感のある仮想空間画像を生成することができる。

【0030】

例えば、（今はない）江戸城を復元させた画像をただ単に表示するだけでは、あまり興味を示さない閲覧者であっても、現在の東京の風速や空模様といった環境情報に応じた画像に変換して表示させることで、現在の東京の風速や空模様において江戸城がどのようにみえるのかを、より身近に現実感をもって鑑賞させることができる。
また、夜間におけるお堂の内部など、人の立ち入りが制限された空間であっても、お堂内の画像に対して夜間に応じた照明やお堂内の蝋燭に火が点いた様子を表す環境情報におうじて仮想空間画像を表現することができるため、蝋燭の明かりに照らされた仏像の姿など普段見ることができない光景を閲覧者に鑑賞させることができる。

【0031】

このように、現実の環境情報に基づいて仮想空間画像が生成されることにより、閲覧者は、予め設計され作られた画像では得られない現実感を体験させることができる。例えば、遺跡の中は常に暗いと思っていた閲覧者が、夏には葉がたくさん生い茂っていた木により日差しが遮られている様子、冬には葉が落ちてしまうため遺跡の内部に日光が入っている様子を見せることで、遺跡の中がこんなに明るくなるのだということを現実に即して実感させることができる。

【0032】

また、実施形態の画像処理装置５では、通信部５１は、所定の場所における環境情報を検知する環境センサ群４、所定の場所における環境情報を記憶した装置のうち少なくともいずれかから前記環境情報を取得する。これにより、実施形態の画像処理装置５は、少なくとも環境センサ群４により検知された環境情報、又は各種サーバに記憶された環境情報を取得することができる。このため、上述した効果を奏する他、各種の環境情報を取得することができる。
また、実施形態の画像処理装置５では、生成部５３は、環境情報に基づいて、背景画像Ｃを生成する。これにより、実施形態の画像処理装置５は、仮想空間画像Ｇに含まれる背景画像Ｃについて環境に応じて変化させることができる。このため、上述した効果を奏する他、背景を変化させることにより、環境に応じた変化を表現することができる。

【0033】

また、実施形態の画像処理装置５では、通信部５１は、撮像装置により撮像された所定の地域における光景を示す光景画像Ｍを取得し、生成部５３は、光景画像Ｍの全部又は一部を背景画像Ｃとする仮想空間画像Ｇを生成する。これにより、実施形態の画像処理装置５は、背景画像Ｃを実際に撮像された背景とすることができる。このため、上述した効果を奏する他、より現実に即した環境の変化を表現することができる。
また、実施形態の画像処理装置５では、生成部５３は、環境情報に基づいて環境画像Ｂを生成する。これにより、実施形態の画像処理装置５は、環境画像Ｂについて環境に応じて変化させることができる。環境画像Ｂを風に揺れる木々など環境を表現することに適した画像とすることで、より閲覧者に仮想物体の置かれた環境が理解されやすい仮想空間画像Ｇを生成することができ、より没入感のある画像を生成することができる。

【0034】

また、実施形態の画像処理装置５では、環境情報を処理する処理部５２をさらに備え、通信部５１は、風速を測定する環境センサ４０により検知された所定の場所における風速を示す風速情報を、所定の時間毎に取得し、処理部５２は、風速情報にゆらぎを加えた情報を生成し、生成部５３は、処理部５２によりゆらぎが加えられた環境情報に基づいて、環境画像Ｂを生成する。これにより、実施形態の画像処理装置５は、より現実感のある仮想空間画像Ｇを生成することができる。処理部５２が風速情報にゆらぎを加えることにより、一定のパターンが繰り返されることなく、適度に変化する仮想空間画像Ｇを生成することができるためである。
また、実施形態の画像処理装置５では、生成部５３は、環境情報に基づいてアイコン画像Ｄを仮想空間画像Ｇに合成する。これにより、実施形態の画像処理装置５は、より閲覧者に仮想物体の置かれた環境が理解されやすい仮想空間画像Ｇを生成することができる。

【0035】

また、実施形態の画像処理システム１は、画像処理装置５と、画像処理装置５により出力された仮想空間画像Ｇを表示する表示装置２とを備える。これにより、実施形態の画像処理システム１は、現実感のある仮想空間画像を生成して表示させることができる。

【0036】

上述の実施形態では、通信部５１により風速等が取得される例について説明したが、これに限定されることはなく、例えば、通信部５１は音に関する情報を取得してもよい。この場合、画像処理システム１は、更に音出力装置（例えば、スピーカ）を備える。また、環境センサ４０として、例えば、収音マイクが用いられる。
通信部５１は、収音マイクにより収音された環境音（例えば、風の音や犬の遠吠えなど）を、通信ネットワーク３を介して取得する。処理部５２は、必要に応じて環境音をフィルタ処理するなどしてノイズを除去する処理を行う。通信部５１は、通信ネットワーク３を介して環境音を音出力装置に送信する。音出力装置は、通信ネットワーク３を介して通信部５１から受信した環境音を出力する。ここで、音出力装置は、例えば、表示装置２の近くに設置される。音出力装置が表示装置２の近くに設置されることにより、閲覧者は、仮想空間画像Ｇを鑑賞しながら環境音を聴くことができる。

【0037】

また、上述の実施形態では、生成部５３が、風速情報や光景画像Ｍに基づいて仮想空間画像を生成する例を説明したが、これに限定されることはなく、例えば、生成部５３、環境情報に基づいて、仮想空間画像Ｇにおける光源（ライティング）を決定するようにしてもよい。
生成部５３は、例えば、図３に示す光景画像Ｍに基づいて、仮想空間画像Ｇにおける光源の位置、および光源の光量を決定する。そして、生成部５３は、決定した光源に基づいて、陰影のある仮想空間画像Ｇを生成する。光景画像Ｍに基づいて光源の位置および光量を決定することができる。これにより、例えば現実に近い状況を仮想空間画像Ｇで表現することができる。また、朝に見る仮想空間画像Ｇと、夜に見る仮想空間画像Ｇとでそれぞれの異なる表情を表現することで、閲覧者の興味をひき飽きさせないようにすることが可能となる。
あるいは、生成部５３は、図２に示す時刻と日照時間とに基づいて、仮想空間画像Ｇにおける光源の位置、および光源の光量を決定するようにしてもよい。

【0038】

また、生成部５３は、例えば、通信部５１を介して取得した天候を示す情報に基づいて、仮想空間画像Ｇにおける雨や、雪を表現してもよい。生成部５３は、例えば、降雨量や降雪量、及び風向きを示す情報に基づいて、仮想空間画像Ｇにおける雨や、雪の画像を生成する。

【0039】

また、上述の実施形態では、生成部５３が、通信部５１を介して取得した現在の環境情報に基づいて仮想空間画像Ｇを生成する例について説明したが、これに限定されることはなく、例えば、生成部５３は、過去に取得された環境情報に基づいて仮想空間画像Ｇを生成してもよい。生成部５３により、例えば、春夏秋冬それぞれの代表的な環境情報に基づいて仮想空間画像Ｇが生成されることで、閲覧者は物体画像Ａにおける四季折々の表情を鑑賞することができる。また、過去に取得された環境情報を蓄積し分析することで、直近の未来であれば、現実感を失うこと無く環境に反映させることができる。例えば、数分後に夕立が降った場合の仮想空間画像Ｇを生成することもできる。
また、生成部５３は、物体画像Ａに物体画像Ａとは縁のない場所の環境情報を反映させた仮想空間画像Ｇを生成してもよい。例えば、閲覧者に（今はない）江戸城がパリにあったらどう見えるのか等といった未知の体験をさせることができる。

【0040】

また、上述の実施形態では、仮想空間画像Ｇに博物館等における展示物を再現させた画像を表示させる場合を例に説明したが、これに限定されることはなく、例えば、仮想空間画像Ｇとして、観光センタ等における観光名所の様子を示す画像を表示させてもよい。環境に応じて変化する観光名所の様子が表示されることで、観光名所に興味を持つ閲覧者が増える可能性がある。また、仮想空間画像Ｇとして、駅やショッピングモール等における電子広告（デジタルサイネージ）を示す画像を表示させてもよい。環境に応じて変化する電子広告を目にすることで購買意欲を持つ閲覧者が増える可能性がある。

【0041】

（実施形態の変形例１）
次に、実施形態の変形例１について説明する。本変形例では、環境情報に加え、人物の視線を仮想空間画像Ｇに反映させる。ここでの人物の視線とは、例えば、仮想空間画像Ｇに表示される場所にいる現地の見学者の視線である。仮想空間画像Ｇに、現地の見学者の視線を反映させることにより、現地の見学者の視線を通じて、現地の見学者が体験した内容を閲覧者に追体験させることが可能となる。

【0042】

本変形例の画像処理システム１の環境センサ群４は、視線センサ４１（不図示）を備える。
視線センサ４１は、仮想空間画像Ｇに表示された場所にいる現地の見学者に関する視線情報を取得する。視線情報は、見学者の在不在、見学者が存在する場合にはその位置、身体の向き、および視線を示す情報である。視線センサ４１は、例えば、現地に見学者がいるか否かを検知するカメラや赤外線センサである。また、視線センサ４１は、例えば、見学者がいる場合にその位置や身体の向き、視線等を検知する３Ｄセンサである。
環境センサ４０Ａは、視線情報を検知する。環境センサ４０Ａは、検知した情報を、通信ネットワーク３を介して、画像処理装置５に送信する。

【0043】

画像処理装置５の通信部５１は、環境センサ４０Ａにより検知された視線情報を、通信ネットワーク３を介して取得する。通信部５１は、取得した視線情報を処理部５２に出力する。
処理部５２は、通信部５１から視線情報を取得し、取得した視線情報に対し、必要に応じてフィルタ処理するなどしてノイズを除去等することにより視線情報を加工する。
生成部５３は、処理部５２により加工された視線情報に基づいて、仮想空間画像Ｇを生成する。具体的に、生成部５３は、仮想空間画像Ｇに表示させる仮想物体の視点位置を視線情報に示された位置とし、仮想物体の視線方向を視線情報に示された視線の方向とする。これにより、生成部５３は、仮想空間画像Ｇに表示されている場所に実際にいる見学者が見ている光景と同様のカメラアングルによる仮想空間画像Ｇを生成する。

【0044】

なお、仮想空間画像Ｇに表示されている場所にいる見学者が複数である場合には、各々の見学者に関する視線情報が環境センサ４０Ａにより検知され、通信部５１等を介して生成部５３に取得される。生成部５３は、複数の見学者の各々についての視線情報を取得した場合、当該複数の人物の中から予め定めた条件に合致する見学者を自動的に選択して、当該選択した見学者の位置や視線を反映させた仮想空間画像Ｇを生成するようにしてよい。
生成部５３は、自動的に見学者を選択する場合、例えば、予め定めた所定の範囲にいる見学者であって、尚且つ、予め定めた所定の範囲に視線を向けている見学者を自動で選択し、選択した見学者の位置や視線を反映させた仮想空間画像Ｇを生成する。
また、生成部５３は、選択した見学者のいる位置が予め定めた所定の範囲から外れたり、選択した見学者の視線が予め定めた所定の範囲から外れたりした場合には、他の見学者の中から条件に合致する見学者を選択し直してもよいし、あるいは予め設定されていた基準の位置、および視線に基づいて仮想空間画像Ｇを生成するようにしてもよい。

【0045】

なお、複数の見学者の各々についての視線情報を取得した場合、生成部５３は、画像処理装置５の入力部（不図示）から、画像処理装置５の管理者等の操作により入力された情報に基づいて、（つまり、手動により）当該複数の人物の中から位置や視線を反映させる見学者を選択するようにしてよい。

【0046】

以上説明したように、実施形態の変形例１の画像処理装置５では、通信部５１（「取得部」の一例）は、人物の視線に関する視線情報を取得し、生成部５３は、視線情報に示される視線の方向に応じた仮想物体を含む仮想空間画像Ｇを生成する。これにより、実施形態の変形例１の画像処理装置５では、現地の見学者等の視線を用いて、現地の見学者が見たであろう光景を閲覧者に閲覧させることが可能となる。

【0047】

なお、上述した変形例１では、現地を訪れる見学者がいる場合に、その見学者の視線を仮想空間画像Ｇに反映させる場合を例示して説明したが、これに限定されない。現地を訪れる見学者がいない場合であっても、人の視線を仮想空間画像Ｇに反映させるようにしてもよい。画像処理装置５は、例えば、予め用意された見学者（協力者）に現地を訪問させ、その動線や位置毎の視線を取得するようにしてもよい。例えば、協力者に、ヘッドマウントカメラ（装着型カメラ）を身に着けて現地を見学してもらい、その協力者の視線情報を取得する。そして、現地を訪れる見学者がいない場合、画像処理装置５は、取得済みの協力者の視線情報を仮想空間画像Ｇに反映させるようにしてもよい。

【0048】

また、上述した変形例１では、実在する見学者の視線を仮想空間画像Ｇに反映させる場合を例示して説明したが、これに限定されない。仮想空間画像Ｇに視線を反映させる人物は、実在しない人物であってもよく、例えば、仮想空間画像Ｇに表示される場所で活躍した歴史上の人物や仮想空間画像Ｇに表示される場所が舞台の小説の主人公等であってよい。
この場合、例えば、画像処理システム１は、視線情報生成部（不図示）を備える。視線情報生成部は、歴史上の人物の日記や自伝、小説の内容等の記録に基づいて、歴史上の人物や小説の主人公の位置や視線を抽出し、抽出した内容から視線情報を生成する。視線情報生成部は、生成した視線情報を、通信部５１に送信する。

【0049】

以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。例えば、通信ネットワーク３を介さず、有線で各装置を接続することが挙げられる。

【符号の説明】

【0050】

１…画像処理システム、２…表示装置、３…通信ネットワーク、４…環境センサ群、５…画像処理装置、５１…通信部、５２…処理部、５３…生成部。

【図1】

【図2】

【図3】

【図4】

【図5】