特表 2024-509379 拡張された仮想ツアー

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-01

(54)【発明の名称】拡張された仮想ツアー

(51)【国際特許分類】

   G06Q 50/00 20240101AFI20240222BHJP

   G06F 3/01 20060101ALI20240222BHJP

   G06F 3/0481 20220101ALI20240222BHJP

   H04N 7/18 20060101ALI20240222BHJP

【ＦＩ】

G06Q50/00

G06F3/01 510

G06F3/0481

H04N7/18 D

H04N7/18 K

【審査請求】未請求

【予備審査請求】有

(21)【出願番号】P 2023549667

(86)(22)【出願日】2022-02-11

(85)【翻訳文提出日】2023-10-12

(86)【国際出願番号】 FI2022050086

(87)【国際公開番号】W WO2022175590

(87)【国際公開日】2022-08-25

(31)【優先権主張番号】20215159

(32)【優先日】2021-02-17

(33)【優先権主張国・地域又は機関】FI

(81)【指定国・地域】

(71)【出願人】

【識別番号】516005120

【氏名又は名称】プロセメク オーワイ

(74)【代理人】

【識別番号】100097456

【弁理士】

【氏名又は名称】石川 徹

(72)【発明者】

【氏名】ミカ バルコネン

【テーマコード（参考）】

5C054

5E555

【Ｆターム（参考）】

5C054EA01

5C054EA05

5C054EA07

5C054FC01

5C054FC12

5C054FC15

5C054FE05

5C054FE12

5C054FF03

5C054GB01

5C054GB05

5C054HA03

5C054HA19

5E555AA26

5E555AA63

5E555AA76

5E555BA05

5E555BA21

5E555BA42

5E555BA83

5E555BA87

5E555BB05

5E555BB21

5E555BB37

5E555BC08

5E555BE17

5E555CA42

5E555CA47

5E555CB22

5E555CB24

5E555CB40

5E555CC05

5E555DA21

5E555DB41

5E555DB53

5E555DB57

5E555DC09

5E555DC72

5E555DD06

5E555EA02

5E555EA10

5E555EA22

5E555EA23

5E555FA00

(57)【要約】

本発明は、ある場所の以前に取り込まれた仮想ツアーデータ（５０１）を取得することと、カメラ（５０３、５０４）の視野領域内に位置する目標物体のリアルタイム画像データを受信することであって、目標物体は、仮想ツアーデータ（５０１）が取り込まれた場所と同じ場所に位置する、受信することと、逸脱を検出するためにリアルタイム画像データ（５０３、５０４）を解析することと、逸脱が検出された場合、混合画像仮想ツアーデータを形成するために仮想ツアービューの領域上にリアルタイム画像データ（５０３、５０４）をオーバーレイすることであって、仮想ツアービューの領域は、視野領域（５０３、５０４）に対応する、オーバーレイすることと、を含むコンピュータ実装方法に関する。本発明は更に、本方法を実施するためのシステム、及び本方法を実施するための命令を含むコンピュータプログラム製品に関する。
【選択図】図５

【特許請求の範囲】

【請求項1】

コンピュータ実装方法であって、
ある場所の仮想ツアーの以前に取り込まれた画像データを取得することと、
カメラの視野領域内に位置する目標物体のリアルタイム画像データを受信することであって、前記目標物体は、前記画像データが取り込まれた場所と同じ場所に位置する、前記受信することと、
逸脱を検出するために前記リアルタイム画像データを解析することと、
前記逸脱が検出された場合にのみ、混合画像仮想ツアーデータを形成するために、仮想ツアービュー内の前記目標物体の対応する領域上に前記目標物体の前記リアルタイム画像データをオーバーレイし、逸脱が検出されない場合には、前記目標物体の前記仮想ツアービューが示されることと、を含む、前記コンピュータ実装方法。

【請求項2】

前記画像は、前記場所の現実環境の静的画像データである、請求項１に記載のコンピュータ実装方法。

【請求項3】

前記以前に取り込まれた画像データは、前記場所を通る歩行の間に取り込まれた画像を含み、前記以前に取り込まれた画像データは、カメラ、メモリ、又はクラウドストレージから取得され、前記方法は、データ処理ユニットによって前記画像データを仮想ツアーとして構築することを更に含む、請求項１又は２に記載のコンピュータ実装方法。

【請求項4】

前記以前に取り込まれた画像データは、既に構築された仮想ツアーである、請求項１又は２に記載のコンピュータ実装方法。

【請求項5】

前記方法は、
前記場所内の音声センサによって取り込まれたリアルタイム音響データを受信することと、
機械の誤作動を検出するために、前記受信された音響データを解析することと、
リアルタイム音響データによって前記混合画像仮想ツアーを更に拡張するために、前記誤作動が検出された場合に、前記音声センサの前記場所又は前記場所におけるその周囲に対応する前記混合画像仮想ツアービューの領域において前記音響データを再生することと、を更に含む、請求項１～４のいずれか一項に記載のコンピュータ実装方法。

【請求項6】

前記方法は、
前記場所に関する追加情報を取得することと、
逸脱を検出するために前記追加情報を解析することと、
逸脱が検出された場合、前記混合画像仮想ツアービュー上に前記追加情報をオーバーレイすることと、を更に含む、請求項１～５のいずれか一項に記載のコンピュータ実装方法。

【請求項7】

前記リアルタイム画像データは、リアルタイムビデオストリーム又は頻繁に取り込まれるリアルタイム画像である、請求項１～６のいずれか一項に記載のコンピュータ実装方法。

【請求項8】

前記方法は、
前記仮想ツアービューの領域上にオーバーレイされるように構成されたリアルタイム画像データを、２つ以上のカメラによって取り込むことを更に含む、請求項１～７のいずれか一項に記載のコンピュータ実装方法。

【請求項9】

前記混合画像仮想ツアーのビューの時点は、以前の時点に変更可能である、請求項１～８のいずれか一項に記載のコンピュータ実装方法。

【請求項10】

少なくとも１つのカメラ及びデータ処理ユニットを備えるカメラシステムであって、前記データ処理ユニットは、ある場所の仮想ツアーの以前に取り込まれた画像データを取得するように構成され、前記少なくとも１つのカメラは、前記少なくとも１つのカメラの視野領域内に位置する目標物体のリアルタイム画像データを取り込むように構成され、前記目標物体は、前記画像データが取り込まれた場所と同じ場所に位置し、
前記データ処理ユニットは、逸脱を検出するために前記リアルタイム画像データを解析して、前記逸脱が検出された場合にのみ、混合画像仮想ツアーを形成するために仮想ツアービューの対応する領域上に前記目標物体の前記リアルタイム画像データをオーバーレイし、逸脱が検出されない場合には、前記目標物体の前記仮想ツアービューが示されるように更に構成されている、前記カメラシステム。

【請求項11】

前記システムは、前記場所における音響データを取り込み、前記取り込まれた音響データを解析用データ処理ユニットに送信し、誤作動が検出された場合、現実環境における前記音声センサの前記場所又はその周囲に対応する前記混合画像仮想ツアービューの領域においてリアルタイム音響データを再生するように構成された音声センサを更に備える、請求項１０に記載のシステム。

【請求項12】

前記データ処理ユニットは、前記場所に関する追加情報を取得することと、前記追加情報を解析し、かつ、前記データ処理ユニットが逸脱を検出した場合に、前記混合画像仮想ツアービュー上に前記追加情報をオーバーレイするように更に構成されている、請求項１０又は１１に記載のシステム。

【請求項13】

前記システムは、２つ以上のカメラを備える、請求項１０～１２のいずれか一項に記載のシステム。

【請求項14】

前記混合画像仮想ツアーのビューの時点は、以前の時点に変更可能である、請求項１０～１３のいずれか一項に記載のシステム。

【請求項15】

コンピュータ可読媒体に記憶され、コンピューティングデバイスにおいて実行可能なコンピュータプログラム製品であって、前記コンピュータプログラム製品は、請求項１～９のいずれか一項に記載の方法を実施するための命令を含む、前記コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の分野
本発明は、仮想ツアーを拡張するためのコンピュータ実装方法に関する。

【0002】

本発明はまた、本方法を装置に行わせるシステム及びコンピュータプログラム製品に関する。

【背景技術】

【0003】

本発明の背景
多くの環境、例えば、産業環境及び生産プラントでは、例えば、変化又は発生中の故障を識別するために、プロセス又は環境の監視が必要な状況が存在する。これは、予測的なメンテナンスである。モニタリングを使用することで、メンテナンスをスケジュールすることが可能になり、又は結果的な損害を防ぎ、その結果を回避するための他の措置を講じることが可能になる。しかし、モニタリングからの恩恵を受ける環境は産業だけでなく、建物の状況又は状態を監視することは、所有者の安心感をも高める。

【0004】

例えば、産業環境では、監視が必要な複数の異なる種類の要素、特徴、又は要因が存在する。例えば、製紙産業におけるパルプ及び紙の製造プロセスでは、起こり得る障害を検出するためにプロセスを監視する必要がある。多くの場合、測定値を見たり、製造現場の様々な場所からカメラによって生成された画像データを画面上で監視したり、画像処理デバイスの解析結果に頼ったりして状況を監視するだけでは必ずしも十分ではなく、専門家が製造現場を訪れてプロセス、例えば、計器、機械、及び他の必須の製造部品の状態を確認したときの方が、より効率的に情報を取得することができる。しかしながら、これは、例えば、製造現場の場所によっては常に可能であるとは限らず、又は製造現場における困難な条件によっては推奨されるとは限らない。

【0005】

監視が望まれる場所の別の例は、住宅及び別荘である。例えば、家庭用機器の誤作動、又は水道の蛇口又はドアが開いている可能性があるため、人々は建物を遠隔地から監視したいと考えている。多くの場合、インターネットを通じて受信した測定デバイスの測定値を見ながら状況を監視したり、ドアの開閉情報を中継したりするのは適切ではなく、人が建物に入って自分で状況を確認したときの方が効率的に必要な情報を取得することができる。しかしながら、これは、例えば、別荘の場所であったり、旅行中であったり、又は仕事中であるなどの理由により、常に可能であるとは限らない。

【発明の概要】

【0006】

概要
ここで、改良された方法及びその方法を実装する技術的機器が発明されている。本発明の種々の態様は、コンピュータ実行可能方法と、少なくとも１つの画像センサを備えるカメラシステムと、その中に記憶されたコンピュータプログラムを備えるコンピュータ可読媒体とを含み、これらは、独立請求項に記載されていることを特徴とする。本発明の種々の実施形態は、従属請求項に開示される。

【0007】

本発明の第１の態様によれば、ある場所の以前に取り込まれた仮想ツアーデータを取得することと、カメラの視野領域内に位置する目標物体のリアルタイム画像データを受信することであって、目標物体は、仮想ツアーデータが取り込まれた場所と同じ場所に位置する、前記受信することと、逸脱を検出するためにリアルタイム画像データを解析することと、逸脱が検出された場合、混合画像仮想ツアーデータを形成するために仮想ツアービューの領域上にリアルタイム画像データをオーバーレイすることであって、仮想ツアービューの領域は、視野領域に対応する、前記オーバーレイすることと、を含む、コンピュータ実装方法が提供される。

【0008】

一実施形態によれば、仮想ツアーデータは、その場所の現実環境の静的画像データである。一実施形態によれば、以前に取り込まれた仮想ツアーデータは、その場所を通る歩行の間の画像を含み、以前に取り込まれた仮想ツアーデータは、カメラ、メモリ、又はクラウドストレージから取得され、前記方法は、データ処理ユニットによって、取得された仮想ツアーデータを仮想ツアーとして構築することを更に含む。一実施形態によれば、以前に取り込まれた仮想ツアーデータは、既に構築された仮想ツアーである。一実施形態によれば、前記方法は、その場所内の音声センサによって取り込まれたリアルタイム音響データを受信することと、機械の誤作動を検出するために、受信された音響データを解析することと、リアルタイム音響データによって混合画像仮想ツアーを更に拡張するために、誤作動が検出された場合に、音声センサの場所又はその場所の周囲に対応する混合画像仮想ツアービューの領域において音響データを再生することと、を更に含む。一実施形態によれば、前記方法は、その場所に関する追加情報を取得することと、逸脱を検出するために追加情報を解析することと、逸脱が検出された場合、追加情報を混合画像仮想ツアービュー上にオーバーレイすることと、を更に含む。一実施形態によれば、リアルタイム画像データは、リアルタイムビデオストリーム又は頻繁に取り込まれるリアルタイム画像である。一実施形態によれば、前記方法は、２つ以上のカメラによって、視野領域に対応する仮想ツアービューの領域上にオーバーレイされるリアルタイム画像データを取り込むことを更に含む。一実施形態によれば、混合画像仮想ツアーのビューの時点は、以前の時点に変更可能である。

【0009】

本発明の第２の態様によれば、少なくとも１つのカメラとデータ処理ユニットとを備えるカメラシステムが提供され、データ処理ユニットは、ある場所の以前に取り込まれた仮想ツアーデータを取得するように構成され、少なくとも１つのカメラは、少なくとも１つのカメラの視野領域内に位置する目標物体のリアルタイム画像データを取り込むように構成され、目標物体は、仮想ツアーデータが取り込まれた場所と同じ場所に位置し、データ処理ユニットは、逸脱を検出するためにリアルタイム画像データを解析し、逸脱が検出された場合、視野領域に対応する仮想ツアービューの領域上にリアルタイム画像データをオーバーレイして混合画像仮想ツアーデータを形成するように更に構成される。

【0010】

一実施形態によれば、前記システムは、その場所における音響データを取り込み、取り込まれた音響データをデータ処理ユニット解析に送信し、かつ誤作動が検出された場合、現実環境における音声センサの場所又はその周囲に対応する混合画像仮想ツアービューの領域においてリアルタイム音響データを再生するように構成された音声センサを更に備える。一実施形態によれば、データ処理ユニットは、その場所に関する追加情報を取得し、追加情報を解析し、データ処理ユニットが逸脱を検出した場合、追加情報を混合画像仮想ツアービュー上にオーバーレイするように更に構成される。一実施形態によれば、前記システムは２つ以上のカメラを備える。一実施形態によれば、混合画像仮想ツアーのビューの時点は、以前の時点に変更可能である。

【0011】

本発明の第３の態様によれば、コンピュータ可読媒体に記憶され、コンピューティングデバイスにおいて実行可能なコンピュータプログラム製品が提供され、前記コンピュータプログラム製品は、第１の態様及びその実施形態による方法を実施するための命令を含む。

【図面の簡単な説明】

【0012】

図面の簡単な説明
以下、添付の図面を参照して発明をより詳細に説明する。

【図1】図１ａ～図１ｄは、製紙機械環境の混合画像仮想ツアーが、製紙機械環境の静的仮想ツアーデータと、製紙機械環境からの少なくとも１つのライブビデオストリームとから形成される、本発明の例示的な一実施形態を示す。

【図2】図２ａ～図２ｆは、本発明の一実施形態による住宅の混合画像仮想ツアーの形成原理の一例を示す。

【図3】図３ａ～図３ｄは、本発明の例示的な一実施形態を示し、製紙機械環境の混合画像仮想ツアーの２つの異なるビューが、２つの異なる時点で示されている。

【図4】図４は、本発明の例示的な一実施形態を示し、追加情報が、住宅環境の混合画像仮想ツアービュー上にオーバーレイされている。

【図5】図５は、本発明の例示的な一実施形態を示し、混合画像仮想ツアーのビューが示されている。

【図6】図６は、本発明の例示的な一実施形態を示し、混合画像仮想ツアーのビューが示されている。

【図7】図７は、本発明の例示的な一実施形態を示し、混合画像仮想ツアーのビューが示されている。

【図8】図８は、本発明の一実施形態を示し、逸脱が検出された場合に仮想ツアーを混合画像仮想ツアーに拡張するための、コンピュータ実装方法のブロック図が開示されている。

【発明を実施するための形態】

【0013】

詳細な説明
仮想ツアーは、通常、画像データ、例えば、ビデオ又は静止画像のシーケンスからなる、既存の場所、例えば、機械環境のシミュレーションである。また、画像データ内の音響効果、音楽、ナレーション、及びテキストなどの他のマルチメディア要素を組み合わせることもできる。本明細書では、「仮想ツアー」という用語は、スチルカメラ又はビデオカメラからの画像データを使用して作成／構築された静的仮想ツアー又は静的３Ｄ仮想ツアーを含む。静的３Ｄ仮想ツアーは、３Ｄ再構成を使用して作成することができる。

【0014】

静的仮想ツアーは、カメラ及びレンズが撮像点の周りを回転するときに単一の撮像点から取り込まれた複数の静的画像から、又はツアーが進行するにつれて、すなわち撮像者がその場所を通って歩行するときに取り込まれた複数の静的な隣接する画像から作製することができ、その後、それらの隣接する画像は１つの仮想ツアー画像に組み合わされる。ビデオカメラを使用して作成された仮想ツアーは、場所内の線形ウォークスルーである。仮想ツアーのために、例えば、その場所を通って連続的に移動する間の歩行ペースでその場所を撮像することができる。ビデオは、例えば、数メートルごとに、例えば、３メートルごとに取り込まれてもよい。これらのカメラは、通常、距離情報を有するビデオデータを記憶する。距離測定は、例えば、レーザ又はライダーを用いて実施されてもよい。次いで、この距離情報を使用して、その場所の３Ｄモデルを構築することができる。単一の撮像点から取得された仮想ツアーと比較して、仮想ツアーデータを取り込むためにこのウォークスルー方法を使用することの利点は、ツアーが進行するにつれて視点が絶えず変化し、仮想ツアーを見ている人が、特にその場所が広い場合、はるかに多くの場所の情報を得ることである。しかしながら、ウォークスルー仮想ツアーを取り込むには、人又は他の移動するソリューションがある場所を通って歩行するか又は移動する必要がある。また、仮想ツアーからリアルタイム情報を得るためには、人又は他の移動するソリューションが常にある場所を通って歩行するか又は移動する必要がある。しかし、リアルタイム仮想ツアーの問題は、人がある場所を通って歩行することは、その地理的場所、もしくは、例えば、危険なプロセス又は機械環境のせいで、又は何らかの別の移動ソリューション、例えば、自律移動ロボットがその場所を通って移動することは、床配置図における高低差もしくはその場所における他の障害物せいで、常に可能であるとは限らないということである。それに加えて、自律移動ロボットがある場所を通って移動し、その途中でその場所の周囲を撮像する場合であっても、ロボットがそのツアーの終わりに到達した時点で、最初の撮像画像及びその情報、例えば測定結果は、古くなる。これは、ツアー開始時及びツアー終了時の測定結果は同じ瞬間、すなわち同じ時点に測定されず、何らかの相乗効果を有する場合であっても、それを見ることができないことを意味する。

【0015】

上記で説明したように、本発明で使用される仮想ツアー及び仮想ツアーデータは静的であり、通常、過去の特定の１つ以上の時点で、すなわち、ある場所における履歴において取り込まれた画像データ、例えば、ビデオ画像を含む。本発明の概念は、拡張された仮想ツアー、すなわち混合画像仮想ツアーを提供するために、仮想ツアーの１つ以上のビュー上に場所の撮像点、すなわちスポットの少なくとも１つ以上のライブ画像ストリームをオーバーレイすることによって静的仮想ツアーを拡張することである。この種の拡張された仮想ツアーは、より直感的なユーザ体験であり、また、前記混合画像仮想ツアーの場所を遠隔監視する人に対して、リアルタイム画像データとともに最新の情報を提供する。カメラは、特定の目標物体のこのリアルタイム（ライブ）画像データを取り込み、カメラの視野は、静的仮想ツアーのビュー内の対応する領域を置換するように構成され、その結果、ユーザが混合画像仮想ツアーを見るとき、このビューの領域は、リアルタイム画像を含む。したがって、仮想ツアー画像データは、リアルタイム画像データのためのある種のフレーム構造を提供し、リアルタイム画像データは、仮想ツアーのビュー上にオーバーレイされる。リアルタイム画像データは、例えば、リアルタイムビデオ画像データ、すなわち、リアルタイムビデオストリーム又は頻繁に取り込まれるリアルタイム静止画像であってもよい。例えば、仮想ツアーが機械環境において例えば１ヶ月前に撮像された場合、例えばリアルタイムビデオストリームを静的仮想ツアーのビュー上に重ね合わせる、すなわちオーバーレイすることによって、仮想ツアーのビューの特定の領域が同じ領域のリアルタイム画像データによって置換され、拡張された混合画像仮想ツアーが形成される。仮想ツアーを拡張するために、リアルタイムビデオストリームの代わりに、頻繁に取り込まれるリアルタイム静止画像を使用することも可能である。また、より具体的な応用例として、１ヶ月前に取り込まれた仮想ツアーの測定デバイスビューにおける測定デバイスのディスプレイの領域を、測定デバイスのディスプレイの同じ領域のリアルタイム画像データで置換することができる。したがって、ユーザが機械環境の拡張された混合画像仮想ツアーの間に移動した場合、測定デバイスは、拡張された混合画像仮想ツアー内の対応する場所における現在のリアルタイムの状況を、実際の機械環境における場所のように示す。したがって、拡張された混合画像仮想ツアーでは、ユーザは、機械環境における実際の測定デバイスモニタリングツアーにより対応するツアーを実施することができるが、ここでは、モニタリングツアーは仮想的に行われ、測定デバイスの測定値は依然として最新である。そしてこの混合画像仮想ツアーでは、測定デバイスの読み取り値を視覚的に解析することができる。ビデオツアーの１つのビューにオーバーレイされるリアルタイムビデオストリームの数は、ビューに示される領域の画像データを取り込むカメラの数に依存し得る。

【0016】

仮想ツアーの画像データの取り込みは、プラットフォーム、例えば、車輪付きプラットフォーム構造体によって支持された任意の好適なカメラ、又は移動ロボットカメラ、自律モニタリングロボットシステム、人によって支持され使用されるカメラ、又は任意の他の好適なカメラ手段によって実施され得る。「カメラ」という用語は、この文脈では、画像及び／又はビデオ、すなわち仮想ツアーのための画像データを取り込むのに好適な任意の画像センサ、例えば、通常のカメラ若しくはスマートカメラ、ビデオカメラ、又は任意の他の好適なカメラを含む。画像／ビデオは、データ処理ユニット、例えば、サーバによって、又は任意の既知のコンピューティング手段によって、仮想ツアーを構築する任意の既知の方法を使用して仮想ツアーフォームに構築することができる。データ処理ユニットは、仮想ツアーの画像データを取り込むカメラから直接画像データを受信する別個のデバイスであってもよく、又は、例えば、メモリ又はクラウド又は別のデバイスから画像を受信してもよい。また、仮想ツアーデータは、例えば、メモリ、クラウドストレージ、又は他のデバイスから既製品として取得することも可能である。

【0017】

リアルタイムビデオ画像データ又は頻繁に取り込まれるリアルタイム静止画像、すなわち、仮想ツアーに追加されるように構成されたリアルタイム画像データは、上述した任意の好適なカメラタイプによって取り込まれてもよく、例えば、固定監視カメラが所望の目標に向けられてもよい。リアルタイム画像データは、データ処理ユニットに送信されてもよく、データ処理ユニットは、リアルタイム画像データを仮想ツアービュー上にオーバーレイしてもよく、すなわち、リアルタイム画像データを仮想ツアーデータと組み合わせて、混合画像仮想ツアーを提供してもよい。この後、前記混合画像仮想ツアーが示され／表示されてもよく、又はユーザが閲覧／表示するように送信されてもよく、このユーザは、機械環境から離れていても、混合画像データ仮想ツアー内を移動することによって機械環境を監視することができる。

【0018】

リアルタイム環境を示しかつその一部をデジタル情報、例えば、以前に取り込まれた画像によってオーバーレイする拡張現実（ＡＲ）と異なり、本発明の拡張混合画像仮想ツアーは、以前に取り込まれたある場所又は環境の仮想ツアー、例えば、３６０°仮想ツアーを示し、かつその領域を、対応する領域、例えば、機械構成要素、バルブ、ベルト、若しくは他の機器の測定結果、又は他のプロセス測定値のリアルタイム画像又はビデオによって重ね合わせる、すなわちオーバーレイして、その結果リアルタイム画像データが、静的仮想ツアーのビューの上、かつ現実世界の場所及び環境内で見られるであろう対応する場所に示される。

【0019】

図１ａ～図１ｄは、製紙機械環境１００の混合画像仮想ツアーが、製紙機械環境１００の静的仮想ツアーの画像データと、製紙機械環境１００からの目標物体１０１、１０２のうちの少なくとも１つのリアルタイムビデオストリームとから形成される、本発明の例示的な一実施形態を示している。図１ａは、それぞれが画像センサを備える２つのカメラ１０３、１０４を示している。カメラ１０３、１０４は、この例ではリアルタイムビデオストリームであるリアルタイム画像データを撮像する、すなわち取り込むように構成される。第１のカメラ１０３は、この実施形態では製紙機械のウェットエンド１０１である第１の目標物体からリアルタイムビデオストリームを取り込むように配置される。第２のカメラ１０４は、第２の目標物体からのリアルタイムビデオストリームを撮像するように配置され、第２の目標物体は、この実施形態では、機械環境又は製紙機械自体の異なるデータを測定する８つの測定デバイスの測定結果を表示するデバイス１０２の領域である。カメラ１０３、１０４の第１及び第２の視野領域１０７、１０６は、矩形によって示される。第１及び第２の視野領域１０６、１０７は、対応して第１及び第２の目標物体１０１、１０２を含む。

【0020】

カメラ１０３、１０４は、リアルタイムビデオ画像データをカメラ１０３、１０４からデータ処理ユニット１０９に無線で又は有線接続を介して送信するためのデータ転送手段、例えば送信機又は送受信機を備える。データ処理ユニット１０９は、少なくとも１つのプロセッサと、１つ以上のプログラムユニットのためのコンピュータプログラムコードを含む少なくとも１つのメモリと、カメラ１０３、１０４からリアルタイムビデオ画像データを無線で又は有線接続を介して受信するための手段、例えば、受信機又は送受信機とを備える。複数のプロセッサ、例えば、汎用プロセッサ、グラフィックプロセッサ及び／又はＤＳＰプロセッサ、及び／又は複数の異なるメモリ、例えば、実行時にデータ及びプログラムを記憶するための揮発性メモリ、及びデータ及びプログラムを永続的に記憶するためのハードディスクのような非揮発性メモリが存在してもよい。データ処理ユニット１０９は、コンピュータなどの、画像データを取り扱い、処理するのに好適な任意のコンピューティングデバイスであり得る。データ処理ユニット１０９は、信号線を介してカメラ１０３、１０４と電子通信することができる。データ処理ユニット１０９はまた、コンピュータアクセサリを用いてユーザのために生成され得る信号を生成するためのビデオコントローラ及び音声コントローラを含み得る。データ処理ユニット１０９は、出力手段を介してユーザへの出力を生成することができる。ビデオコントローラは、ディスプレイ（図示せず）に接続されてもよい。ディスプレイは、例えば、フラットパネルディスプレイ、タブレット、ラップトップのディスプレイ、又はより大きな画像を生成するプロジェクタであってもよい。音声コントローラは、スピーカ又はイヤホンなどの音源に接続されてもよい。カメラ１０３、１０４はまた、マイクロフォンなどの音響センサを含んでもよい。

【0021】

データ処理ユニット１０９は、カメラ１０３、１０４からリアルタイムビデオ画像データを受信し、カメラ１０３、１０４が撮像した領域に対応する領域を含む静的仮想ツアーのビューの少なくとも１つの位置／領域を上述のリアルタイムビデオ画像データによってオーバーレイするように構成される。データ処理ユニット１０９は、この静的な仮想ツアーの画像データを、それを撮像したカメラから受信していてもよく、データ処理ユニット１０９は、この画像データから仮想ツアーを構築していてもよく、又は、データ処理ユニット１０９は、例えば、別のコンピューティングデバイスから、メモリ又はクラウドストレージから、構築済みの仮想ツアーを受信してもよい。

【0022】

また、この例示的な実施形態のような２つのカメラ１０３、１０４の代わりに、リアルタイムビデオストリームを撮像するように配置された１つのみのカメラが存在すること、又は、製紙機械環境の異なる部分からのリアルタイムビデオストリームを撮像するように配置された３つ以上のカメラ、例えば、３～１０個又はそれ以上のカメラが存在することも可能である。

【0023】

図１ｂは、一例として、製紙機械環境１００の以前に撮像された静的仮想ツアーの対応する領域上にオーバーレイされる、すなわち重ね合わされるように構成された第１の視野領域１０７を示している。ワイヤ上に供給されたパルプは、第１の視野領域１０７に示されている。第２の視野領域１０６のリアルタイムビデオ画像データはまた、この例では示されていないが、第２の視野領域１０６の領域に対応する仮想ツアーのビューの領域上に重ね合わされてもよい。

【0024】

図１ｃは、製紙機械環境１００の仮想ツアーのウェットエンドビュー１１０を示している。このビュー１１０は、第１の視野領域１０７、すなわち製紙機械のウェットエンド１０１と同じ目標物体１０１を含む。

【0025】

図１ｄは、製紙機械環境１００の混合画像仮想ツアーのビューとして静的仮想ツアーのビュー１１０を提示するユーザ端末１１１の平面図を示している。この実施形態では、ユーザ端末１１１はモニタである。この混合画像仮想ツアーのビュー１１０において、第１の視野領域１０７は、混合画像仮想ツアーのビューが形成されるように、静的仮想ツアーのビュー１１０の対応する領域に重ね合わされる。図から分かるように、ビュー１１０の残りの部分は古くて静的であるが、ウェットエンド１０１の領域は、リアルタイムで更新されるリアルタイム画像データを含む。このとき、ワイヤ上のパルプの形態は、仮想ツアーが取り込まれたときとは異なる。

【0026】

図２ａ～図２ｆは、例示的な一実施形態による住宅２００の混合画像仮想ツアーの形成原理を示している。住宅２００の混合画像仮想ツアーは、住宅２００の以前に取り込まれた静的仮想ツアー及び２つのリアルタイムビデオストリームから形成される。図２ａは、それぞれが画像センサを備える３つのカメラ２０１ａ、２０１ｂ、２０１ｃを示している。カメラ２０１ａ、２０１ｂ、２０１ｃは、この例ではリアルタイムビデオストリームであるリアルタイム画像データを撮像するように構成される。第１のカメラ２０１ａは、この実施形態ではコーヒーメーカー２０３のスイッチである第１の目標物体からのリアルタイムビデオストリームを撮像するように配置される。第２のカメラ２０１ｂは、この実施形態では浴室の蛇口２０４である第２の目標物体からのリアルタイムビデオストリームを撮像するように配置される。また、第３のカメラ２０１ｃは、この実施形態では鳥籠２０５である第３の目標物体からのリアルタイムビデオストリームを撮像するように配置される。第１の、第２の及び第３のカメラ２０１ａ、２０１ｂ、２０１ｃの視野領域２０３ａ、２０４ａ、２０５ａは、対応して矩形で示されている。各視野領域２０３ａ、２０４ａ、２０５ａは、対応して、目標物体２０３、２０４、２０５を含む。この実施形態では、マイクロフォン２０１ｄも存在する。マイクロフォン２０１ｄは、鳥籠２０３内の鳥によって生成された音声信号、すなわち音響データを取り込むことができるように、鳥籠２０３の近傍に配置される。

【0027】

カメラ２０１ａ、２０１ｂ、２０１ｃは、リアルタイムビデオ画像データをカメラ２０１ａ、２０１ｂ、２０１ｃからデータ処理ユニット２０２に無線で又は有線接続を介して送信するためのデータ転送手段、例えば送信機又は送受信機を備える。データ処理ユニット２０２は、例えば、サーバであってもよい。データ処理ユニット２０２は、少なくとも１つのプロセッサと、１つ以上のプログラムユニットのためのコンピュータプログラムコードを含む少なくとも１つのメモリと、カメラ２０１ａ、２０１ｂ、２０１ｃからリアルタイムビデオ画像データを無線で又は有線接続を介して受信し、マイクロフォン２０１ｄから音響データを受信するための手段、例えば、受信機又は送受信機とを備える。複数のプロセッサ、例えば、汎用プロセッサ、グラフィックプロセッサ及び／又はＤＳＰプロセッサ、及び／又は複数の異なるメモリ、例えば、実行時にデータ及びプログラムを記憶するための揮発性メモリ、及びデータ及びプログラムを永続的に記憶するためのハードディスクのような非揮発性メモリが存在してもよい。データ処理ユニット２０２は、コンピュータなどの、画像及び音声データを取り扱う／処理するのに好適な任意のコンピューティングデバイスであってもよい。データ処理ユニット２０２は、信号線を介してカメラ２０１ａ、２０１ｂ、２０１ｃ及びマイクロフォン２０１ｄと電子通信することができる。データ処理ユニット２０２はまた、コンピュータアクセサリを用いてユーザのために生成され得る信号を生成するためのビデオコントローラ及び音声コントローラを含み得る。データ処理ユニット２０２は、その出力手段を介してユーザへの出力を生成することができる。ビデオコントローラは、ディスプレイ（図示せず）に接続されてもよい。ディスプレイは、例えば、フラットパネルディスプレイ、ラップトップのディスプレイ、又はより大きな画像を生成するプロジェクタであってもよい。音声コントローラは、スピーカ又はイヤホンなどの音源に接続されてもよい。物理的に、データ処理ユニット２０２は、住宅２００の中又は住宅２００の外に位置してもよい。カメラ２０１ａ、２０１ｂ、２０１ｃ及びマイクロフォン２０１ｄがそれらのデータをクラウドストレージに転送し、そこからデータ処理ユニット２０２がデータを取り出すことも可能である。

【0028】

データ処理ユニット２０２は、カメラ２０１ａ、２０１ｂ、２０１ｃからリアルタイムビデオ画像データを受信し、マイクロフォン２０１ｄ又はクラウドストレージから音声信号を受信し、カメラ２０１ａ、２０１ｂ、２０１ｃが撮像した対応する領域を含む静的仮想ツアーの好適なビューに上述のリアルタイムビデオ画像データを追加し、マイクロフォン２０１ｄが配置される位置に対応する静的仮想ツアーのビューの好適な位置に、又はマイクロフォン２０１ｄによって取り込まれた音声信号が現実世界の状況で聞こえるであろう静的仮想ツアーのビューの位置に、音声信号を追加するように構成される。

【0029】

この場合も、リアルタイムデータを取り込むカメラ及び／又はマイクロフォンの数は異なり得る。また、データが混合画像仮想ツアーに追加されるカメラ及び／又はマイクロフォンの数は、必要又は所望に応じて変更することができる。カメラ２０１ａ、２０１ｂ、２０１ｃは、マイクロフォンなどの音響センサを含むこともできる。

【0030】

図２ｂは、一例として、以前に撮像された住宅２００の静的な仮想ツアーのキッチンビュー２１０の対応する領域に重ね合わされるように構成されたコーヒーメーカースイッチの第１の視野領域２０３ａを示している。第１の視野領域２０３ａから、スイッチが現在オフであることが分かる。浴室の蛇口２０４の第２の視野領域２０３ｂは、この図２ｂには示されていないが、住宅２００の仮想ツアーの浴室ビューの対応する領域に重ね合わされるように構成されることも可能である。図２ｂはまた、住宅２００の静的な仮想ツアーのリビングルームビューの対応する領域に重ね合わされるように構成された鳥籠２０５の第３の視野領域２０５ａを示している。第３の視野領域２０５ａから、籠２０５内の鳥の現在の状況を見ることができる。

【0031】

図２ｃは、住宅２００の仮想ツアーのキッチンビュー２１０を示している。このビュー２１０は、第１の目標物体、すなわち、第１の視野領域２０３ａによって置換されるように構成されたコーヒーメーカースイッチを示し、スイッチはオンである。

【0032】

図２ｄは、混合画像仮想ツアーのキッチンビュー２１０を提示するハンドヘルドデバイスであるユーザ端末２１１、例えば、タブレット上のキッチンビュー２１０を示している。このビュー２１０において、第１の視野領域２０３ａ、すなわちコーヒーメーカースイッチ領域は、キッチンビュー２１０の対応する領域に重ね合わされる、すなわちオーバーレイされる。図から分かるように、ビュー２１０の残りの部分は古くて静的であるが、コーヒーメーカースイッチ領域はライブデータを含み、リアルタイムで更新され、仮想ツアーのキッチンビュー２１０が取り込まれたときとは異なる状態にあることが分かる。

【0033】

図２ｅは、住宅２００の仮想ツアーのリビングルームビュー２１２を示している。このビュー２１２は、第３の目標物体、すなわち、混合画像仮想ツアーにおいて第３の視野領域２０５ａによって置換されるように構成された鳥籠２０５を示している。

【0034】

図２ｆは、ユーザ端末２１１上のリビングルームビュー２１２を示している。このビュー２１２において、第３の視野領域２０５ａ、すなわち鳥籠領域は、仮想ツアーのリビングルームビュー２１０の対応する領域に重ね合わされる。図から分かるように、この拡張ビューでは、仮想ツアーのリビングルームビュー２１０が撮像されたときとは異なる位置に、鳥が位置付けられる。

【0035】

マイクロフォン２０１ｄによって取り込まれた音声信号はまた、ユーザが混合画像仮想ツアーにおいてリビングルームに入ったときに再生されるように構成され得る。マイクロフォン２０１ｄによって取り込まれた音声信号は、ユーザが混合画像仮想ツアーにおいてリビングルームに入るときに鳥籠から特定の所定の距離を超えたときに再生され、ユーザが混合画像仮想ツアーにおいてリビングルームを出るときに鳥籠から第２の特定の所定の距離を超えたときに停止されるように構成されることも可能である。

【0036】

混合画像仮想ツアーのどの部分がリアルタイムデータであり、どの部分がリアルタイムデータでないかをユーザがより容易に検出することができるように、混合画像仮想ツアーの１つ以上のビュー内の置換された領域、すなわち、リアルタイム画像データが静的仮想ツアーのビュー上に重ね合わされる領域を指示することができる。この指示は、例えば、置換された領域を色又は照明（点滅してもしなくてもよい）で囲むことによって、又は置換された領域においてより明るい照明を使用することによって、又はリアルタイム領域の周囲をわずかにぼかすことによって行われ得る。

【0037】

図３ａ～図３ｄは、本発明の例示的な一実施形態を示しており、ここでは、製紙機械環境の混合画像仮想ツアーのこれらの２つの異なるビューが示されており、オーバーレイされた画像データ、すなわちビデオストリームが２つの異なる時点で取り込まれている。これらの図３ａ～図３ｄでは、製紙機械環境の以前に取り込まれた静的仮想ツアーのビュー１１０、３１０、及びこれらのビューの特定の領域上にオーバーレイするビデオストリームが開示される。

【0038】

図３ａは、混合画像仮想ツアーのモニタリングルームビューを示しており、測定結果を表示する２つのデバイスが示されている。この画像では図１ａで測定結果を表示するデバイス１０２と同じ領域である目標物体からのリアルタイムビデオストリームが、ビデオカメラによって取り込まれる。そして、カメラの視野領域１０６は、以前に取り込まれた静的仮想ツアーのビュー３１０上に、及び測定結果を表示するデバイス１０２のこの領域が実際の製紙機械環境内にあり、かつ以前に取り込まれた静的仮想ツアーのモニタリングルームビュー３１０内にある対応する場所に、再びオーバーレイされる。この混合画像仮想ツアーのビューの時点は、ビューの上の時間インジケータ３２０によって指示されるが、この時間インジケータ３２０を何らかの他の方法で表示することも可能である。図から分かるように、示されるオーバーレイされた画像データが取り込まれた時点は、現在の瞬間に対応し、以前に取り込まれた静的仮想ツアーのビュー３１０上に重ね合わされたデータは、リアルタイム画像データである。

【0039】

図３ｂは、混合画像仮想ツアーのウェットエンドビューを示し、ワイヤに供給されるパルプが示されている。この画像では図１ａと同じウェットエンド領域である目標物体からのリアルタイムビデオストリームが、第２のビデオカメラによって取り込まれる。そして、カメラの視野領域１０７は、以前に取り込まれた静的仮想ツアーのビュー１１０上に、ウェットエンドのこの領域が実際の製紙機械環境内にあり、かつ以前に取り込まれた静的仮想ツアーのウェットエンドビュー３１０内にある対応する場所に再びオーバーレイされる。この混合画像仮想ツアーのビューの画像データが第２のビデオカメラによって取り込まれた時点は、ビューの上の時間インジケータ３２０によって再び指示される。図から分かるように、この時点も現在の瞬間に対応し、以前に取り込まれた静的仮想ツアーのビュー１１０上に重ね合わされたデータは、リアルタイム画像データである。

【0040】

しかし、本発明の例によれば、混合画像仮想ツアーの時点を逆に変更すること、すなわち、混合画像仮想ツアーのビューに表示されるオーバーレイされた画像データの時点を現在の時点よりも前の時点に変更することが可能である。そして、そのより早い時点が、混合画像データ仮想ツアーの全てのビューにおいて同じであってもよい。次いで、混合画像仮想ツアーのこれらのより早い時点のビューは、以前に取り込まれた静的仮想ツアーのビューと、同じより早い時点で取り込まれた画像データのビューとを示す。このタイプの提示は、通常の仮想ツアーの場合には可能ではないが、これは、仮想ツアーのための画像データを取り込むか、又は取り込むことになる撮像デバイスは、画像取り込み時間が全てのビューにおいてまったく同じであるようにデータを取り込むことができないためである。そして、既に上述したように、混合画像仮想ツアーの全てのビューにおいて同時に取り込まれた情報を示すこの能力は、損害の因果関係を決定し、損害の結果を回避する際に必要となり得る。

【0041】

図３ｃ及び図３ｄは、それぞれ図３ａ及び図３ｂと同じ混合画像仮想ツアーのモニタリングルームビュー及びウェットエンドビューを示すが、より早い時点、すなわち１時間前のものである。したがって、図３ｃは、モニタリングルームビューを示し、測定結果を表示する２つのデバイスが示されている。カメラの視野領域１０６は、以前に取り込まれた静的仮想ツアーのビュー３１０上に再び重ね合わされる。混合画像仮想ツアーのこのモニタリングルームビューのオーバーレイされた画像データを取り込む時点は、時間インジケータ３２０によって指示される。以前に取り込まれた静的仮想ツアーのビュー３１０上にオーバーレイされた画像データは、機械環境又は製紙機械自体の異なるデータを測定する８つの測定デバイスの測定結果を表示するデバイス１０２の領域のその指示された時点で取り込まれたビデオ画像データに対応する。図３ｄは、ウェットエンドビューを示している。カメラの視野領域１０７は、以前に取り込まれた静的仮想ツアーのビュー１１０上に再びオーバーレイされる。混合画像仮想ツアーのこのウェットエンドビューの時点は、時間インジケータ３２０によって再び指示される。以前に取り込まれた静的仮想ツアーのビュー１１０上にオーバーレイされた画像データは、製紙機械のウェットエンドの指示された時点で取り込まれかつ時間インジケータ３２０によって指示された、ビデオ画像データに対応する。

【0042】

図から分かるように、異なる時点の間で、モニタリングルームビューの視野領域１０６における測定結果と、ウェットエンドビューの視野領域１０７におけるパルプにおける測定結果とには差があるが、混合画像仮想ツアーの残りのビューは同じままである。

【0043】

表示されるビューの時点の変更は、例えば、時間インジケータ３２０の水平軸上の正方形部分を移動させることによって、又は任意の他の方法によって決定することができる。選択された時点で、混合画像仮想ツアーのビュー上にオーバーレイして示される全てのデータが、その同じ選択された時点で取り込まれていることが事前に決定されていることに留意されたい。換言すれば、ユーザが１０分前に取り込まれた混合画像仮想ツアーを見ることを選択した場合、全てのビューにオーバーレイする画像は１０分前に取り込まれるが、リアルタイムビューでは、全てのビューにオーバーレイする画像又は画像ストリームを含む全てのデータはリアルタイム画像データである。しかしながら、少なくとも１つのビューが、混合画像仮想ツアーの他のビューにオーバーレイする画像データと比較して、異なる時点で取り込まれた画像データを示すように、その時点を選択することも可能である。また、再生される音響信号データも、選択された時点で取り込まれる。

【0044】

図４は、図２ｆと同じユーザ端末２１１上のリビングルームビュー２１２を示している。このビュー２１２において、リアルタイムビデオ画像データの鳥籠の視野領域２０５ａは、拡張された仮想ツアー、すなわち混合画像仮想ツアーがデータ処理ユニットによって形成されるように、以前に取り込まれた仮想ツアーのリビングルームビュー２１０の対応する領域上にオーバーレイされる。しかしながら、この図４では、リアルタイム画像データに加えて、追加情報もリビングルームビュー２１０上にオーバーレイされる。混合画像仮想ツアーのビューに示すことができる追加情報は、例えば、仮想ツアーのビュー又は他の部分の環境に関する任意の情報であり得る。この図では、第１の追加情報は、鳥籠の視野領域２０５ａに示された鳥籠に関する。第１の追加情報は、鳥籠２０５の周囲の温度を指示するとともに、鳥籠２０５内の水鉢の水位を示す。第２の追加情報は、照明デバイス、すなわち天井吊り下げランプに関連し、ランプがオンであることを指示する。

【0045】

図４に示される追加情報は単なる例である。追加情報はまた、例えば、視野領域に示されるセンサ読み取り値若しくは測定結果、又は例えばそれらの測定結果に関連する他の情報に関連してもよい。センサ読み取り値又は測定結果は、その場所内のセンサ、例えば、機械のセンサ及び／又は他の接続されたデバイスのセンサによって取り込まれ得る。一部の場合には、追加情報は、その場所内の構造、デバイス、又は他の物体に関係する取り込まれたセンサデータを指示する。追加情報は、例えば、視野領域の隣に、その下に、若しくはその上に、又は混合画像仮想ツアーのビューの上の任意の他の場所に示すことができる。追加情報は、ビューにオーバーレイする画像データと同時に取り込まれてもよく、又は履歴データであってもよいが、追加情報データは、混合画像仮想ツアーのビューにオーバーレイする画像データが取り込まれる時点の前後、例えば、１分前などに収集されることも可能である。あるいは、１分の代わりに任意の他の期間が使用されてもよい。期間は、例えば、追加情報に依存してもよく、又はユーザが期間を構成してもよい。また、データ処理ユニットが、追加情報を基準値と比較することによって追加情報を解析することも可能であり、逸脱を検出した場合、すなわち、例えば、追加情報の値が所定の基準値を下回る又は上回る場合には、追加情報がビュー上にオーバーレイされ、検出しない場合には、オーバーレイされない。

【0046】

データ処理ユニットは、その場所又は環境に関する追加情報を、例えば、上述のセンサ又は測定デバイスから取得し、その追加情報を混合画像仮想ツアーデータにオーバーレイすることができる。

【0047】

図５は、ユーザ端末５００上の混合画像仮想ツアーのキッチンビュー５０１を示している。このビュー５０１では、第１のリアルタイムビデオカメラの視野領域５０３のリアルタイムビデオデータがキッチンビュー５０１上にオーバーレイされる。視野領域５０３は、実質的にコーヒーメーカースイッチ領域に対応する。この図５には、食器洗い機の前の領域５０４に対応する第２のビデオカメラの別の視野領域も示されている。第２のビデオカメラは、目標物体、すなわち食器洗い機の前の領域５０４から画像データを取り込み、画像データをデータ処理ユニットに送信するように配置される。第２のビデオカメラの視野領域５０４のリアルタイムビデオデータは、カメラのデータ処理ユニット又は外部データ処理ユニットが第２のビデオカメラの取り込まれた画像データを解析したときに床の所定の逸脱を検出したときにのみ、混合画像仮想ツアーのキッチンビュー５０１上に示される。この例では、逸脱は、床上の水、すなわち食器洗浄機からの水漏れである。換言すれば、この視野領域５０４の画像データは、第２のカメラの取り込まれた画像データにおいて逸脱が検出された後に、混合画像仮想ツアーのキッチンビュー５０１上にオーバーレイされる。画像データに逸脱が検出された場合に表示されるこのような種類の画像データは、ポップアップ画像データと称されることがある。

【0048】

第２のビデオカメラのリアルタイムビデオストリームを、混合画像仮想ツアーのキッチンビュー５０１内の食器洗い機の前の領域上にオーバーレイすることは、混合画像仮想ツアーを構築するデータ処理ユニットによって実施されてもよく、また、第１のビデオカメラのリアルタイムビデオストリームに、混合画像仮想ツアーのキッチンビュー５０１のコーヒーメーカーのスイッチ領域をオーバーレイしてもよいが、このスイッチのリアルタイムビデオストリームは、キッチンビューに常にオーバーレイされる。混合画像仮想ツアーを構築するデータ処理ユニットは、画像データを解析するデータ処理ユニットであってもよく、又は別のデータ処理ユニットであってもよく、例えば、既に構築された仮想ツアーデータを取得したもの、又は仮想ツアーを構築するものと同じであってもよい。第２のビデオカメラのポップアップリアルタイムビデオストリームは、ユーザがデータ処理ユニットに逸脱が見られたことを指示するまで、第２のビデオカメラの画像データを解析するデータ処理ユニットが、逸脱がもはや検出可能でないことを検出するまで、又は所定の期間、キッチンビュー５０１に示され得る。第２のビデオカメラのポップアップリアルタイムビデオストリームは、第２のビデオカメラの画像データを解析するときに、新たな逸脱が検出された場合に、混合画像仮想ツアーのキッチンビュー５０４上に再び示される。データ処理ユニットは、ユーザが混合画像仮想ツアーを見る前であっても、所定の逸脱に関連する画像データが混合画像仮想ツアーのビューに示されていることをユーザに通知するように更に配置されてもよい。

【0049】

データ処理ユニットは、少なくとも１つのプロセッサと、１つ以上のプログラムユニットのためのコンピュータプログラムコードを含む少なくとも１つのメモリと、少なくとも第２のビデオカメラから無線又は有線接続を介して画像データを受信するための手段、例えば、受信機又は送受信機とを備える。複数のプロセッサ、例えば、汎用プロセッサ、及びグラフィックプロセッサ及びＤＳＰプロセッサ、及び／又は複数の異なるメモリ、例えば、実行時にデータ及びプログラムを記憶するための揮発性メモリ、及びデータ及びプログラムを永続的に記憶するためのハードディスクのような非揮発性メモリが存在してもよい。データ処理ユニットは、コンピュータなどの画像データを処理するのに好適な任意のコンピューティングデバイスであってもよい。データ処理ユニットは、信号線を介して少なくとも第２のビデオカメラとそれぞれ電子通信する。第２のビデオカメラはまた、コンピュータアクセサリを用いてユーザのために生成され得る信号を生成するためのビデオコントローラ及び音声コントローラを含み得る。第２のビデオカメラは、出力手段を介してユーザへの出力を生成することができる。ビデオコントローラは、ディスプレイに接続されてもよい。ディスプレイは、例えば、フラットパネルディスプレイ又はより大きな画像を生成するためのプロジェクタであってもよい。音声コントローラは、スピーカ又はイヤホンなどの音源に接続されてもよい。第２のビデオカメラはまた、マイクロフォンなどの音響センサを含んでもよい。

【0050】

キッチンビュー５０１の残りの部分は古い静的なものであるが、コーヒーメーカースイッチ領域５０３及び食器洗い機の前の領域５０４は、逸脱が検出されると、カメラから受信されたライブデータを含む。

【0051】

ユーザは、リアルタイム以外の時点を選択することも可能であり、その時点で、混合画像仮想ツアーのキッチンビューにオーバーレイする画像データが取り込まれる。このようにして、ユーザは、逸脱がどのように、若しくはいつ進展したか、又は逸脱の画像がいつ混合画像仮想ツアーのキッチンビュー５０１に現れたかを見ることができる。

【0052】

図６は、製紙機械環境の混合画像仮想ツアーのウェットエンドビュー６１０を提示するユーザ端末６１１の平面図の一例を示している。この例では、製紙機械のウェットエンド領域が目標物体である。製紙機械環境には、ウェットエンド領域のリアルタイムビデオストリームを取り込むリアルタイムビデオカメラが存在している。混合画像仮想ツアーのこのウェットエンドビュー６１０では、リアルタイムビデオカメラの視野領域６０７のリアルタイムビデオストリームデータが、静的仮想ツアーのウェットエンドビュー６１０の対応するウェットエンド領域に重ね合わされて、混合画像仮想ツアーが形成される。しかし、この例では、製紙機械のウェットエンド領域にマイクロフォンなどの音響センサも存在する。

【0053】

音響センサは、環境音を記録するように配置される。その記録された環境音は、解析のために混合仮想ツアーを構築するように構成されたデータ処理ユニットに音響データとして送信されるように配置される。音響センサは、音響データをデータ処理ユニットに送信するための手段を備える。音響データを送信するための手段は、例えば、センサからデータ処理ユニットに無線で又は有線接続を介して音響データを送信するように配置された送受信機又は送信機であってもよい。

【0054】

混合仮想ツアーを構築するように構成されたデータ処理ユニットは、少なくとも１つのプロセッサと、１つ以上のプログラムユニットのためのコンピュータプログラムコード及び製紙機械の異なる動作状態のための事前に記憶された音声プロファイルを含む少なくとも１つのメモリと、音響センサから無線で又は有線接続を介して音響データを受信するための手段とを備える。予め記憶された音声プロファイルは、例えば、プロセス機械の種々の機械の正常及び／又は異常な動作状態に関連する、製紙機械の様々な動作状態のための音声プロファイル、並びに／又は機械のうちの１つのための音声プロファイルを含むことができる。予め記憶された音声プロファイルは、例えば、正常状態、起動状態、停止状態、アイドル状態、又は誤作動状態などを含んでもよい。音響データを受信する手段は、例えば、受信機又は送受信機であってもよい。データ処理ユニットの例は、前出の図に関連して上記でより正確に定義されている。

【0055】

したがって、データ処理ユニットは、環境音響信号を記録する音響センサから音響データを受信し、音響信号を電気音響データに変換し、かつその音響データをデータ処理ユニットに送信するように構成される。データ処理ユニットは、受信された音響データの音響スペクトルを決定し、音響データの音声プロファイルを形成するように構成される。

【0056】

音声プロファイルを形成した後、データ処理ユニットは、形成された音声プロファイルを様々な動作状態の予め記憶された音声プロファイルと比較することによって音響データを解析する。この比較に基づいて、データ処理ユニットは、音響センサの周囲の機械の動作状態を決定することができる。形成された音声プロファイルが機械の誤作動を指示する動作状態と同等であると判定した場合、データ処理ユニットは、音響センサが位置決めされた実際の製紙機械環境内の場所に対応する混合画像仮想ツアーのウェットエンドビュー内で音響データを再生するように配置される。したがって、混合画像仮想ツアーは、データ処理ユニットが、音響センサデータを解析するときに、製紙機械環境に誤作動がある可能性があることを定義する、すなわち決定するときに、リアルタイムビデオストリームデータに加えて音声信号データによって更に拡張される。データ処理ユニットはまた、誤作動についてユーザに指示することができる。誤作動は、逸脱の一例である。

【0057】

図７は、ユーザ端末７１１上の混合画像仮想ツアーのリビングルームビュー７１０の例を示している。第１のリアルタイムビデオカメラは、この例では鳥籠である第１の目標物体の画像データを取り込むように配置される。取り込まれた鳥籠の画像データは、混合画像仮想ツアーを構築するデータ処理ユニットに送信される。このビュー７１０において、第１のリアルタイムビデオカメラの視野領域７０１のリアルタイムビデオストリームは、仮想ツアーのリビングルームビュー７１０の対応する鳥籠領域上にオーバーレイされ、その結果、リアルタイムビデオカメラのリアルタイムビデオストリームは、混合画像仮想ツアーのリビングルームビュー７１０上に示される。

【0058】

現実のリビングルームでは、第２のリアルタイムビデオカメラも、画像データを取り込むように配置される。第２のリアルタイムビデオカメラは、この例ではカウチである第２の目標物体の画像データを取り込んでいる。第２のビデオカメラの取り込まれた画像データは、混合画像仮想ツアーを構築するデータ処理ユニットに送信される。第２のリアルタイムビデオカメラの第２の視野領域７０２のこのリアルタイムビデオストリームは、第２の目標物体の取り込まれた画像データを解析するときに、データ処理ユニットが、カウチ上に属さない人又は何か他のものが存在することを検出したときのみ、すなわち、カウチは占有されていないはずであるため、逸脱を検出したときのみ、混合画像仮想ツアーのリビングルームビュー７１０上に示され、逸脱は、この例では、カウチ上に存在する何かである。逸脱が検出された場合、第２のビデオカメラの第２の視野領域７０２のリアルタイム画像データが、混合画像仮想ツアーのリビングルームビュー７１０上にオーバーレイされ、より正確には、ポップアップ画像データとしてカウチ上にオーバーレイされる。

【0059】

リビングルームビュー７１０の残りの部分は古い静的なものであるが、鳥籠領域及びカウチ領域は、逸脱が検出されているとき、現実のリビングルーム環境内の画像データを取り込むように配置されたカメラから受信されるライブ画像データを含む。

【0060】

混合画像仮想ツアーの１つ以上のビューの上に１つ以上のカメラの画像データを表示することをトリガし得る逸脱は、上記の例に限定されず、逸脱は、画像データを解析するときに検出することができる任意の変化、異常、又は欠陥であり得る。

【0061】

図８は、逸脱が検出された場合に仮想ツアーを混合画像仮想ツアーに拡張するためのコンピュータ実装方法８００のフローチャートを示している。ステップ８１０において、ある場所の以前に取り込まれた仮想ツアーデータが取得され、ステップ８２０において、カメラの視野領域内に位置し、仮想ツアーデータが取り込まれた場所と同じ場所に位置する目標物体のリアルタイム画像データが受信され、ステップ８３０において、逸脱を検出するためのリアルタイム画像データが解析され、ステップ８４０において、逸脱が検出された場合、リアルタイム画像データは、混合画像仮想ツアーデータを形成するために視野領域に対応する仮想ツアービューの領域上にオーバーレイされる。

【0062】

リアルタイム音響データを取り込む、すなわち記録する本発明による音声センサは、少なくとも、環境音響音、すなわちデータを記録し、音響データを電気信号に変換し、かつこの音響データを送信するための回路及び電子機器を備える。本発明によるカメラは、少なくとも、リアルタイム画像又はビデオストリームを取り込み、かつ画像データを送信するための回路及び電子機器を備える。

【0063】

逸脱検出の有無にかかわらず、混合画像仮想ツアーのビュー上にオーバーレイされる目標物体のリアルタイム画像データを提供するように配置されたカメラの数は変化し得ることに留意されたい。カメラは、１台であってもよいし、複数台であってもよい。また、画像データが混合画像仮想ツアーのビュー上にオーバーレイされるように配置されるカメラの数も変化し得る。目標物体の画像データを取り込む複数のカメラが存在し得るが、１つ、２つなどのみの視野領域の画像データがビューの上に示されることが可能である。また、視野領域の示された画像データ又は追加情報は、ユーザによって変更可能であってもよく、又は、例えば、時刻、季節、ユーザプロファイル、屋外温度、屋内温度、湿度などに依存してもよく、その結果、最も関連する追加情報のみがビュー上にオーバーレイされる。

【0064】

本発明は、上記に提示した実施形態のみに限定されるものではなく、添付の特許請求の範囲内で修正することができることが明らかである。

【図1a】

【図1b】

【図1c】

【図1d】

【図2a】

【図2b】

【図2c】

【図2d】

【図2e】

【図2f】

【図3a】

【図3b】

【図3c】

【図3d】

【図4】

【図5】

【図6】

【図7】

【図8】

【国際調査報告】