特開 2023-127707 情報処理方法、情報処理装置、及び、情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023127707

(43)【公開日】2023-09-14

(54)【発明の名称】情報処理方法、情報処理装置、及び、情報処理システム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20230907BHJP

   G06T 7/00 20170101ALI20230907BHJP

   G06T 7/55 20170101ALI20230907BHJP

【ＦＩ】

G06T19/00 600

G06T7/00 300F

G06T7/55

【審査請求】有

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022031560

(22)【出願日】2022-03-02

(11)【特許番号】

(45)【特許公報発行日】2023-02-09

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （１）一般社団法人日本原子力学会、２０２１年春の年会・予稿集（ダウンロード）、令和 ３年 ３月 ３日 （２）一般社団法人日本原子力学会、２０２１年春の年会（オンライン開催）、令和 ３年 ３月１８日 （３）Ｐｈｙｓｉｃｓ Ｏｐｅｎ、令和 ３年 ４月２０日 （４）Ｊｏｕｒｎａｌ ｏｆ Ｎｕｃｌｅａｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ、令和 ３年１１月１５日 （５）国立研究開発法人日本原子力研究開発機構、福島研令和３年度 福島研究開発部門 成果報告会（集会での発表）、令和 ３年１２月 ７日 （６）国立研究開発法人日本原子力研究開発機構、福島研令和３年度 福島研究開発部門 成果報告会（ウェブサイトで発表資料公開）、令和 ３年１２月 ７日 （７）国立研究開発法人日本原子力研究開発機構、福島研令和３年度 福島研究開発部門 成果報告会（ウェブサイトで追加資料公開）、令和 ４年 １月２１日

(71)【出願人】

【識別番号】505374783

【氏名又は名称】国立研究開発法人日本原子力研究開発機構

(74)【代理人】

【識別番号】100214260

【弁理士】

【氏名又は名称】相羽 昌孝

(74)【代理人】

【識別番号】100139114

【弁理士】

【氏名又は名称】田中 貞嗣

(74)【代理人】

【識別番号】100139103

【弁理士】

【氏名又は名称】小山 卓志

(72)【発明者】

【氏名】佐藤 優樹

【テーマコード（参考）】

5B050

5L096

【Ｆターム（参考）】

5B050AA03

5B050BA06

5B050BA09

5B050BA11

5B050BA13

5B050BA20

5B050CA07

5B050CA08

5B050DA04

5B050DA05

5B050DA07

5B050EA04

5B050EA19

5B050EA26

5B050FA02

5B050FA05

5B050FA12

5B050FA13

5L096CA04

5L096CA05

5L096DA01

5L096FA09

5L096FA66

5L096FA69

5L096FA76

5L096JA11

(57)【要約】

【課題】現実空間と仮想空間との間で簡便に情報共有を行うことを可能とする情報処理方法を提供する。
【解決手段】情報処理方法は、現実空間を撮影した複数の静止画データを取得するデータ取得工程（Ｓ１００）と、複数の静止画データのうち少なくとも１つの静止画データに撮影された対象物に対応付けて、現実空間の対象物に第１の仮想イメージを重畳表示させるためのマーカ情報を作成するマーカ情報作成工程（Ｓ１１０～Ｓ１１２）と、複数の静止画データに基づいて現実空間の三次元モデルを作成する三次元モデル作成工程（Ｓ１２０～Ｓ１２３）と、三次元モデルに含まれる対象物に対応付けて、三次元モデルに基づいて表示される仮想空間の対象物に第２の仮想イメージを重畳表示させるためのオブジェクト情報を作成するオブジェクト情報作成工程（Ｓ１３０～Ｓ１３２）と、を有する。
【選択図】図５

【特許請求の範囲】

【請求項1】

現実空間を撮影した複数の静止画データを取得するデータ取得工程と、
複数の前記静止画データのうち少なくとも１つの前記静止画データに撮影された対象物に対応付けて、前記現実空間の前記対象物に第１の仮想イメージを重畳表示させるためのマーカ情報を作成するマーカ情報作成工程と、
複数の前記静止画データに基づいて前記現実空間の三次元モデルを作成する三次元モデル作成工程と、
前記三次元モデルに含まれる前記対象物に対応付けて、前記三次元モデルに基づいて表示される仮想空間の前記対象物に第２の仮想イメージを重畳表示させるためのオブジェクト情報を作成するオブジェクト情報作成工程と、を有する、
情報処理方法。

【請求項2】

前記マーカ情報作成工程は、
前記対象物が撮影された前記静止画データの選択と、当該対象物が撮影された対象物範囲の指定とを受け付けて、前記選択に基づく前記静止画データのうち前記指定に基づく前記対象物範囲に含まれる前記対象物の特徴点を抽出し、当該特徴点に対応付けて前記マーカ情報を作成し、
前記オブジェクト情報作成工程は、
前記三次元モデルの位置座標系において前記対象物を特定し、当該対象物に対応付けて前記オブジェクト情報を作成する、
請求項１に記載の情報処理方法。

【請求項3】

同一の前記対象物に対応付けられた前記マーカ情報及び前記オブジェクト情報は、
前記第１の仮想イメージ及び前記第２の仮想イメージを重畳表示するときの表示態様として、共通の前記表示態様が設定される、
請求項１又は請求項２に記載の情報処理方法。

【請求項4】

第１の端末装置にて前記現実空間を撮影したときの撮影範囲に前記対象物の前記特徴点が含まれるとき、当該特徴点に対応付けられた前記マーカ情報に基づく前記第１の仮想イメージを前記現実空間の前記対象物に重畳表示する第１の表示処理工程と、
第２の端末装置にて前記三次元モデルに基づいて前記仮想空間を表示したときの表示範囲に前記対象物が含まれるとき、当該対象物に対応付けられた前記オブジェクト情報に基づく前記第２の仮想イメージを前記仮想空間の前記対象物に重畳表示する第２の表示処理工程と、をさらに有する、
請求項１乃至請求項３のいずれか一項に記載の情報処理方法。

【請求項5】

請求項１乃至請求項３のいずれか一項に記載の情報処理方法が備える各工程を実行する制御部を備える、
情報処理装置。

【請求項6】

請求項４に記載の情報処理方法が備える各工程を実行する情報処理システムであって、
前記データ取得工程、前記マーカ情報作成工程、前記三次元モデル作成工程、及び、前記オブジェクト情報作成工程を実行する制御部を備える１又は複数の情報処理装置と、
前記第１の表示処理工程を実行する制御部を備える１又は複数の前記第１の端末装置と、
前記第２の表示処理工程を実行する制御部を備える１又は複数の前記第２の端末装置と、を備える、
情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理方法、情報処理装置、及び、情報処理システムに関する。

【背景技術】

【0002】

近年、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）、複合現実（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）、仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）と呼ばれる画像処理技術を様々な目的や用途で活用するための研究・開発が盛んに行われている。例えば、特許文献１には、建築現場にて現場作業者により使用されるＡＲ対応機器と、設計事務所にて設計者により使用されるＶＲ対応機器とで構成される画像共用システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－０８１９４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示された画像共用システムは、ＶＲ対応機器では、建物のＣＡＤデータを基に作成した建物のＶＲ画像を表示し、ＡＲ対応機器では、カメラで撮影した画像に、建物のＶＲ画像を重ね合わせたＡＲ画像を表示することで、例えば、現場の建物の状態と、完成後の建物の状態とを確認するものである。そのため、画像共用システムの動作には、建物のＣＡＤデータの取得が前提とされている。また、現場作業者と設計者との間で建物全体に関する情報を共用して作業を行うものであるが、例えば、建物のうちの特定の対象物に対して画像を重畳表示するものではなかった。

【0005】

本発明は、このような事情に鑑みてなされたものであって、現実空間と仮想空間との間で簡便に情報共有を行うことを可能とする情報処理方法、情報処理装置、及び、情報処理システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、上記課題を解決するものであって、本発明の一実施形態に係る情報処理方法は、
現実空間を撮影した複数の静止画データを取得するデータ取得工程と、
複数の前記静止画データのうち少なくとも１つの前記静止画データに撮影された対象物に対応付けて、前記現実空間の前記対象物に第１の仮想イメージを重畳表示させるためのマーカ情報を作成するマーカ情報作成工程と、
複数の前記静止画データに基づいて前記現実空間の三次元モデルを作成する三次元モデル作成工程と、
前記三次元モデルに含まれる前記対象物に対応付けて、前記三次元モデルに基づいて表示される仮想空間の前記対象物に第２の仮想イメージを重畳表示させるためのオブジェクト情報を作成するオブジェクト情報作成工程と、を有する。

【発明の効果】

【0007】

本発明の一実施形態に係る情報処理方法によれば、現実空間を撮影した複数の静止画データから、現実空間の対象物に第１の仮想イメージを重畳表示させるためのマーカ情報と、現実空間の三次元モデルと、現実空間の三次元モデルに基づいて表示される仮想空間の対象物に第２の仮想イメージを重畳表示させるためのオブジェクト情報とが作成される。そのため、現実空間を撮影した複数の静止画データを用意することで、現実空間に対するマーカ情報と、仮想空間に対する三次元モデル及びオブジェクト情報とが作成されるので、現実空間と仮想空間との間で簡便に情報共有を行うことができる。

【0008】

上記以外の課題、構成及び効果は、後述する発明を実施するための形態にて明らかにされる。

【図面の簡単な説明】

【0009】

【図1】情報処理システム１の一例を示す全体構成図である

【図2】情報処理装置２の一例を示すブロック図である。

【図3】第１の端末装置３の一例を示すブロック図である。

【図4】第２の端末装置４の一例を示すブロック図である。

【図5】情報処理装置２の動作の一例を示すフローチャートである。

【図6】マーカ情報作成画面２６の一例を示す図である。

【図7】三次元モデル作成画面２７の一例を示す図である。

【図8】オブジェクト情報作成画面２８の一例を示す図である。

【図9】第１及び第２の端末装置３、４の動作の一例を示すフローチャートである。

【図10】現実空間の対象物に第１の仮想イメージを重畳表示したＡＲ表示画面３８の一例を示す図である。

【図11】仮想空間の対象物に第２の仮想イメージを重畳表示したＶＲ表示画面４７の一例を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明の一実施形態について添付図面を参照しつつ説明する。

【0011】

（情報処理システム１）
図１は、本実施形態に係る情報処理システム１の一例を示す全体構成図である。情報処理システム１は、現実空間における現場を視認する第１のユーザ１１と、現場から離れた遠隔地にて仮想空間における現場を視認する第２のユーザ１２とが所定の作業を行う際に、第１及び第２のユーザ１１、１２を支援するために使用されるシステムである。

【0012】

現場は、例えば、原子力発電所等の発電施設、インフラ施設、プラント施設、工場、観光施設、教育施設、レジャー施設、ビル、集合住宅、戸建住宅等である。なお、現場は、それらの建築現場や解体現場でもよく、屋内及び屋外のいずれでもよい。作業は、各現場に応じた任意の作業であり、例えば、点検、保守、廃炉、案内、教育、説明、建築、解体等である。本実施形態では、現場は原子力発電所であり、作業は廃炉に関するものである場合を中心に説明する。

【0013】

情報処理システム１は、その構成として、データ作成者１０が使用する情報処理装置２と、第１のユーザ１１が使用する第１の端末装置３と、第２のユーザ１２が使用する第２の端末装置４と、各装置２～４の間を相互に通信可能に接続するネットワーク５とを備える。ネットワーク５は、有線、無線又はこれらの組み合わせでもよいし、公衆通信網、専用通信網又はこれらの組み合わせでもよい。

【0014】

なお、各装置２～４の数は、図１の例に限られず、複数であってもよく、その場合には、同一の現場にて複数の第１のユーザ１１と、複数の第２のユーザ１２とが作業を行ってもよい。また、第１及び第２のユーザ１１、１２は、別々の人物であるが、第１及び第２のユーザ１１、１２のいずれかは、データ作成者１０と共通の人物であってもよい。

【0015】

情報処理装置２は、例えば、汎用又は専用のコンピュータ等で構成される。情報処理装置２は、現実空間を撮影した複数の静止画データに基づいて、マーカ情報、三次元モデル及びオブジェクト情報等の各種の情報を作成し、データベース２００に登録・蓄積する。また、情報処理装置２は、データベース２００に登録・蓄積された各種の情報をネットワーク５又は任意の記憶媒体を介して第１及び第２の端末装置３、４に提供する。

【0016】

静止画データは、現実空間における現場に存在する任意の物体を被写体として、様々な撮影位置、撮影角度、撮影画角にて撮影したものであり、任意のデータ形式で記録されたデータである。静止画データは、二次元画像であり、現場を動画として撮影した動画データから抽出されたものでもよい。

【0017】

静止画データ（動画データでもよい）の撮影は、第１のユーザ１１が現場にて作業する前であれば任意のタイミングで行われればよい。その際、第１の端末装置３が備えるカメラを用いて撮影されてもよいし、遠隔操作可能又は自律移動可能なロボットやドローン等が備えるカメラを用いて撮影されてもよい。カメラは、カラー画像を撮影するものが好ましい。また、カメラは、所定の視野角を有する可視光カメラが好ましいが、例えば、広角カメラ（全天球カメラ、パノラマカメラ、魚眼カメラ）でもよいし、赤外線カメラ、暗視カメラ等でもよい。

【0018】

三次元モデルは、複数の静止画データに対して、フォトグラメトリやＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）と呼ばれる画像処理を行うことで、複数の静止画データから抽出された特徴点を相互に対応させて組み合わせることにより、静止画データに撮影された現実空間を、点群データもしくはメッシュデータとして三次元データ化したものである。

【0019】

マーカ情報は、現実空間の対象物に第１の仮想イメージを重畳表示させるための情報である。オブジェクト情報は、仮想空間の対象物に第２の仮想イメージを重畳表示させるための情報である。対象物は、現場に存在する様々な物体のうち、作業の対象や注意の対象となるような特定の物体である。なお、対象物は、物体の一部や複数の物体を１つの対象物として扱ってもよいし、例えば、壁、床、天井等の構造物でもよい。

【0020】

第１の端末装置３は、拡張現実（ＡＲ）又は複合現実（ＭＲ）を実現可能な装置であり、例えば、スマートフォン、タブレット端末等の携帯機器、スマートグラス、透過型のヘッドマウントディスプレイ等のウェアラブル機器で構成される。第１の端末装置３は、第１のユーザ１１が現実空間の現場を視認しながら作業を行う際に、情報処理装置２から提供されたマーカ情報に基づく第１の仮想イメージを現実空間の対象物に重畳表示することで第１のユーザ１１を支援する。

【0021】

第２の端末装置４は、仮想現実（ＶＲ）を実現可能な装置であり、例えば、非透過型のヘッドマウントディスプレイ等のウェアラブル機器で構成される。第２の端末装置４は、第２のユーザ１２が仮想空間の現場を視認しながら作業を行う際に、情報処理装置２から提供されたオブジェクト情報に基づく第２の仮想イメージを仮想空間の対象物に重畳表示することで第２のユーザ１２を支援する。

【0022】

（情報処理装置２）
図２は、本実施形態に係る情報処理装置２の一例を示すブロック図である。情報処理装置２は、ＨＤＤ、ＳＤＤ、メモリ等により構成される記憶部２０と、ＣＰＵ、ＭＰＵ、ＧＰＵ等のプロセッサにより構成される制御部２１と、キーボード、マウス、マイク等により構成される入力部２２と、ディスプレイ、スピーカ等により構成される出力部２３と、ネットワーク５との通信インターフェースである通信部２４と、ＵＳＢメモリ、メモリカード、ＤＶＤ等の記録媒体やスキャナ、プリンタ等の外部機器との接続インターフェースである機器接続部２５とを備える。

【0023】

記憶部２０には、データベース２００の他に、情報処理装置２の動作を制御する情報処理プログラム２０１が記憶されている。なお、情報処理装置２による管理対象の現場は、複数の現場でもよく、その場合には、データベース２００は、各種の情報を現場別に管理されるようにすればよい。

【0024】

制御部２１は、情報処理プログラム２０１を実行することにより、データ取得部２１０、マーカ情報作成部２１１、三次元モデル作成部２１２、及び、オブジェクト情報作成部２１３として機能する。

【0025】

データ取得部２１０は、現実空間を撮影した複数の静止画データを、例えば、通信部２４や機器接続部２５を介して取得し、データベース２００に登録する。また、データ取得部２１０は、データベース２００に登録済みの複数の静止画データを読み出すことで、複数の静止画データを取得する。

【0026】

マーカ情報作成部２１１は、複数の静止画データのうち少なくとも１つの静止画データに撮影された対象物に対応付けて、現実空間の対象物に第１の仮想イメージを重畳表示させるためのマーカ情報を作成し、データベース２００に登録する。その際、マーカ情報は、第１の仮想イメージを重畳表示するときの表示態様として、例えば、サイズ、目印、模様、色、文字列等が設定される。なお、対象物が複数存在する場合には、複数の対象物にそれぞれ対応付けて複数のマーカ情報が作成される。

【0027】

例えば、マーカ情報作成部２１１は、対象物が撮影された静止画データの選択と、当該対象物が撮影された対象物範囲の指定とを入力部２２を介して受け付けて、その選択に基づく静止画データのうちその指定に基づく対象物範囲に含まれる対象物の特徴点を抽出し、当該特徴点に対応付けてマーカ情報を作成する。また、マーカ情報作成部２１１は、対象物を探索するための探索条件（例えば、特定の文字列や形状等）の設定を入力部２２を介して受け付けて、その設定に基づく探索条件に従って静止画データに含まれる対象物を探索する画像処理（機械学習を用いてもよい）を行い、その画像処理により探索された対象物の特徴点を抽出し、当該特徴点に対応付けてマーカ情報を作成する。

【0028】

三次元モデル作成部２１２は、複数の静止画データに基づいて現実空間の三次元モデルを作成し、データベース２００に登録する。三次元モデル作成部２１２は、例えば、フォトグラメトリやＳｆＭと呼ばれる画像処理を行うことで、三次元モデルを作成する。

【0029】

オブジェクト情報作成部２１３は、三次元モデルに含まれる対象物に対応付けて、三次元モデルに基づいて表示される仮想空間の対象物に第２の仮想イメージを重畳表示させるためのオブジェクト情報を作成する。具体的には、オブジェクト情報作成部２１３は、三次元モデルの位置座標系において、マーカ情報を作成した対象物（例えば、対象物の位置、範囲等）を特定し、当該対象物に対応付けてオブジェクト情報を作成し、データベース２００に登録する。その際、オブジェクト情報は、第２の仮想イメージを重畳表示するときの表示態様として、例えば、サイズ、目印、模様、色、文字列等が設定される。

【0030】

なお、同一の対象物に対応付けられたマーカ情報及びオブジェクト情報は、第１の仮想イメージ及び第２の仮想イメージの表示態様として、共通の表示態様が設定されるのが好ましい。また、データベース２００の一部又は全部が、記憶部２０に代えて、例えば、外部の記憶装置（複数でもよい）や記憶媒体（複数でもよい）に記憶されていてもよく、その場合には、制御部２１は、通信部２４や機器接続部２５を介してデータベース２００にアクセスすればよい。

【0031】

（第１の端末装置３）
図３は、本実施形態に係る第１の端末装置３の一例を示すブロック図である。第１の端末装置３は、ＨＤＤ、ＳＤＤ、メモリ等により構成される記憶部３０と、ＣＰＵ、ＭＰＵ、ＧＰＵ等のプロセッサにより構成される制御部３１と、タッチパネル、マイク、コントローラ等により構成される入力部３２と、ディスプレイ、スピーカ等により構成される出力部３３と、ネットワーク５との通信インターフェースである通信部３４と、ＵＳＢメモリ、メモリカード、ＤＶＤ等の記録媒体やスキャナ、プリンタ等の外部機器との接続インターフェースである機器接続部３５と、自装置の位置、加速度、角速度、姿勢等を検出するセンサ群３６と、静止画及び動画を撮影可能なカメラ３７とを備える。

【0032】

記憶部３０には、情報処理装置２から提供されたマーカ情報等が登録可能なデータベース３００と、情報処理装置２の動作を制御する第１の表示処理プログラム３０１とが記憶されている。

【0033】

制御部３１は、第１の表示処理プログラム３０１を実行することにより、第１の表示処理部３１０として機能する。第１の表示処理部３１０は、カメラ３７で現実空間を撮影したときの撮影範囲に対象物の特徴点が含まれるとき、当該特徴点に対応付けられたマーカ情報に基づく第１の仮想イメージを現実空間の対象物に重畳表示する。

【0034】

（第２の端末装置４）
図４は、本実施形態に係る第２の端末装置４の一例を示すブロック図である。第２の端末装置４は、ＨＤＤ、ＳＤＤ、メモリ等により構成される記憶部４０と、ＣＰＵ、ＭＰＵ、ＧＰＵ等のプロセッサにより構成される制御部４１と、タッチパネル、マイク、コントローラ等により構成される入力部４２と、ディスプレイ、スピーカ等により構成される出力部４３と、ネットワーク５との通信インターフェースである通信部４４と、ＵＳＢメモリ、メモリカード、ＤＶＤ等の記録媒体やスキャナ、プリンタ等の外部機器との接続インターフェースである機器接続部４５と、自装置の位置、加速度、角速度、姿勢等を検出するセンサ群４６とを備える。

【0035】

記憶部４０には、情報処理装置２から提供された三次元モデル、オブジェクト情報等が登録可能なデータベース４００と、情報処理装置２の動作を制御する第２の表示処理プログラム４０１とが記憶されている。

【0036】

制御部４１は、第２の表示処理プログラム４０１を実行することにより、第２の表示処理部４１０として機能する。第２の表示処理部４１０は、三次元モデルに基づいて仮想空間を表示したときの表示範囲に対象物が含まれるとき、当該対象物に対応付けられたオブジェクト情報に基づく第２の仮想イメージを仮想空間の対象物に重畳表示する。

【0037】

（情報処理方法）
情報処理装置２により実現される各種の情報（マーカ情報、三次元モデル及びオブジェクト情報）を作成するときの動作について説明する。

【0038】

図５は、本実施形態に係る情報処理装置２の動作の一例を示すフローチャートである。ここでは、複数の静止画データがデータベース２００に登録済みであり、データ作成者１０が、情報処理装置２に表示された各種の表示画面を操作しながら、各種の情報を作成する場合について説明する。

【0039】

まず、ステップＳ１００（データ取得工程）にて、情報処理装置２のデータ取得部２１０は、例えば、データ作成者１０が、処理対象とする複数の静止画データを指定する入力操作を受け付けると、その入力操作に基づいてデータベース２００を参照することで、複数の静止画データを取得する。

【0040】

次に、ステップＳ１１０～Ｓ１１２（マーカ情報作成工程）にて、マーカ情報作成部２１１は、複数の静止画データのうち少なくとも１つの静止画データに撮影された対象物に対応付けて、マーカ情報を作成し、データベース２００に登録する。具体的には、ステップＳ１１０にて、マーカ情報作成部２１１は、データ作成者１０による入力操作を受け付けるためのマーカ情報作成画面２６を表示する。

【0041】

図６は、マーカ情報作成画面２６の一例を示す図である。マーカ情報作成画面２６は、複数の静止画データを表示する静止画データ表示領域２６０と、対象物が撮影された静止画データを選択する選択枠２６１と、選択された静止画データを表示する選択表示領域２６２と、対象物が撮影された対象物範囲を指定する指定枠２６３と、第１の仮想イメージの表示態様を設定する表示態様設定ボタン２６４と、マーカ情報の作成を指示するマーカ情報作成ボタン２６５とを備える。表示態様設定ボタン２６４が押下された場合には、表示態様設定画面（不図示）がさらに表示されて、その表示態様設定画面にて第１の仮想イメージの表示態様が編集可能に構成される。

【0042】

図５に戻り、ステップＳ１１１にて、マーカ情報作成部２１１は、マーカ情報作成画面２６においてマーカ情報作成ボタン２６５を押下する入力操作を受け付けると、選択枠２６１にて選択された静止画データのうち指定枠２６３にて指定された対象物範囲に含まれる対象物の特徴点を抽出する。そして、ステップＳ１１２にて、マーカ情報作成部２１１は、その抽出した特徴点に対応付けてマーカ情報を作成するとともに、表示態様設定画面にて入力された第１の仮想イメージの表示態様をそのマーカ情報に設定する。特徴点は、例えば、複数が抽出されて、それらの位置関係や特徴が、マーカ情報として記録される。なお、対象物が複数存在する場合には、上記の処理が繰り返し行われることで、複数のマーカ情報が作成される。

【0043】

次に、ステップＳ１２０～Ｓ１２３（三次元モデル作成工程）にて、三次元モデル作成部２１２は、複数の静止画データに基づいて現実空間の三次元モデルを作成し、データベース２００に登録する。具体的には、ステップＳ１２０にて、三次元モデル作成部２１２は、データ作成者１０による入力操作を受け付けるための三次元モデル作成画面２７を表示する。

【0044】

図７は、三次元モデル作成画面２７の一例を示す図である。三次元モデル作成画面２７は、複数の静止画データを表示する静止画データ表示領域２７０と、三次元モデルを作成する際のモデル作成パラメータを設定するパラメータ設定ボタン２７１と、三次元モデルの作成を指示する三次元モデル作成ボタン２７２と、三次元モデルの作成結果を表示する三次元モデル表示領域２７３とを備える。パラメータ設定ボタン２７１が押下された場合には、パラメータ設定画面（不図示）がさらに表示されて、そのパラメータ設定画面にてモデル作成パラメータが編集可能に構成される。

【0045】

図５に戻り、ステップＳ１２１にて、三次元モデル作成部２１２は、三次元モデル作成画面２７において三次元モデル作成ボタン２７２を押下する入力操作を受け付けると、静止画データの各々に対して画像処理を行うことにより、特徴点を抽出する。そして、ステップＳ１２２にて、三次元モデル作成部２１２は静止画データの各々から抽出された特徴点をマッチングさせて、静止画を組み合わせることで、三次元モデルを作成し、ステップＳ１２３にて、三次元モデルのサイズを調節し、三次元モデルの位置座標系を設定する。その結果として作成された三次元モデルは、図７に示すように、三次元モデル表示領域２７３に表示される。

【0046】

次に、ステップＳ１３０～Ｓ１３２（オブジェクト情報作成工程）にて、オブジェクト情報作成部２１３は、三次元モデルに含まれる対象物に対応付けて、オブジェクト情報を作成し、データベース２００に登録する。具体的には、ステップＳ１３０にて、オブジェクト情報作成部２１３は、データ作成者１０による入力操作を受け付けるためのオブジェクト情報作成画面２８を表示する。

【0047】

図８は、オブジェクト情報作成画面２８の一例を示す図である。オブジェクト情報作成画面２８は、三次元モデルを表示する三次元モデル表示領域２８０と、オブジェクト情報の作成を指示するオブジェクト情報作成ボタン２８１と、オブジェクト情報の作成結果を表示するオブジェクト情報表示領域２８２とを備える。なお、オブジェクト情報作成画面２８は、第２の仮想イメージの表示態様を設定する表示態様設定ボタンを備えていてもよい。

【0048】

図５に戻り、ステップＳ１３１にて、オブジェクト情報作成部２１３は、オブジェクト情報作成画面２８においてオブジェクト情報作成ボタン２８１を押下する入力操作を受け付けると、三次元モデルの位置座標系において、マーカ情報を作成した対象物に対応する位置や範囲を特定する。そして、ステップＳ１３２にて、オブジェクト情報作成部２１３は、その特定した対象物に対応付けてオブジェクト情報を作成するとともに、三次元モデルに合わせて第２の仮想イメージのサイズを調整した上で、マーカ情報と共通の表示態様をそのオブジェクト情報に設定する。その結果として作成されたオブジェクト情報は、図８に示すように、オブジェクト情報表示領域２８２に表示される。なお、対象物が複数存在する場合には、上記の処理が繰り返し行われることで、複数のオブジェクト情報が作成される。

【0049】

以上のようにして、本実施形態に係る情報処理装置２及び情報処理方法によれば、現実空間を撮影した複数の静止画データから、現実空間の対象物に第１の仮想イメージ（ＡＲ表示又はＭＲ表示）を重畳表示させるためのマーカ情報と、現実空間の三次元モデルと、現実空間の三次元モデルに基づいて表示される仮想空間の対象物に第２の仮想イメージを重畳表示させるためのオブジェクト情報（ＶＲ表示）とが作成される。そのため、現実空間を撮影した複数の静止画データを用意することで、現実空間に対するマーカ情報と、仮想空間に対する三次元モデル及びオブジェクト情報とが作成されるので、現実空間と仮想空間との間で簡便に情報共有を行うことができる。

【0050】

次に、第１及び第２の端末装置３、４により実現される各種の情報（マーカ情報、三次元モデル及びオブジェクト情報）を表示するときの動作について説明する。

【0051】

図９は、本実施形態に係る第１及び第２の端末装置３、４の動作の一例を示すフローチャートである。ここでは、第１及び第２のユーザ１１、１２が、第１及び第２の端末装置３、４をそれぞれ使用して、原子力発電所（現場）にて廃炉に関する作業を行う場合について説明する。

【0052】

まず、ステップＳ２００、Ｓ２０１にて、第１の端末装置３は、作業を行う現場のマーカ情報を、例えば、ネットワーク５又は任意の記憶媒体を介して情報処理装置２から取得し、データベース３００に登録する。

【0053】

また、ステップＳ３００、Ｓ３０１にて、第２の端末装置４は、作業を行う現場の三次元モデル及びオブジェクト情報を、例えば、ネットワーク５又は任意の記憶媒体を介して情報処理装置２から取得し、データベース４００に登録する。

【0054】

次に、ステップＳ２１０にて、第１の端末装置３の第１の表示処理部３１０は、第１のユーザ１１による第１の表示処理を開始する入力操作を受け付けると、カメラ３７により現実空間の現場を撮影し、その撮影した撮影範囲に、データベース３００に登録されたマーカ情報における対象物の特徴点が含まれているか否かを監視する。このとき、第１のユーザ１１は、例えば、作業を行う際に注意を要する対象物が周囲に存在するか否かを確認するために、自身の位置やカメラ３７の向きを変更することに応じて、カメラ３７により撮影される現実空間の撮影範囲が更新される。

【0055】

そして、ステップＳ２１０にて、第１の表示処理部３１０が、カメラ３７による現実空間の撮影範囲に対象物の特徴点が含まれていることを検知した場合、ステップＳ２１１にて、その検知した特徴点に対応付けられたマーカ情報に基づく第１の仮想イメージを、その対象物の位置に合わせて重畳表示する。その結果、第１の端末装置３には、ＡＲ表示画面３８が表示される。ステップＳ２１０、Ｓ２１１が第１の表示処理工程に相当する。

【0056】

図１０は、現実空間の対象物に第１の仮想イメージを重畳表示したＡＲ表示画面３８の一例を示す図である。ＡＲ表示画面３８は、カメラ３７で撮影した現実空間の対象物１３に対して、第１の仮想イメージとして、強調枠３８０と、吹き出し３８１とを表示するものである。なお、ＡＲ表示画面３８には、例えば、仮想空間の現場における第２のユーザ１２の位置や体の向きを示すアイコンが、現実空間の位置座標系に基づいて表示されていてもよい。

【0057】

また、ステップＳ３１０にて、第２の端末装置４の第２の表示処理部４１０は、第２のユーザ１２による第２の表示処理を開始する入力操作を受け付けると、三次元モデルに基づいて仮想空間の現場を表示し、その表示した表示範囲に、データベース３００に登録されたオブジェクト情報における対象物が含まれているか否かを監視する。このとき、第２のユーザ１２は、例えば、作業を行う際に注意を要する対象物が周囲に存在するか否かを確認するために、自身の位置や体の向きを変更することに応じて、三次元モデルに基づいて出力部４３（例えば、ヘッドマウントディスプレイ）に表示される仮想空間の表示範囲が更新される。

【0058】

そして、ステップＳ３１０にて、第２の表示処理部４１０が、仮想空間の表示範囲に対象物が含まれていることを検知した場合、ステップＳ３１１にて、その検知した対象物に対応付けられたオブジェクト情報に基づく第２の仮想イメージを、その対象物の位置や範囲に合わせて重畳表示する。その結果、第１の端末装置３には、ＶＲ表示画面４７が表示される。ステップＳ３１０、Ｓ３１１が第２の表示処理工程に相当する。

【0059】

図１１は、仮想空間の対象物に第２の仮想イメージを重畳表示したＶＲ表示画面４７の一例を示す図である。ＶＲ表示画面４７は、三次元モデルに基づいて表示された仮想空間の対象物に対して、第２の仮想イメージとして、強調枠４７０と、吹き出し４７１とを表示するものである。なお、ＶＲ表示画面４７には、例えば、現実空間の現場における第１のユーザ１１の位置や体の向きを示すアイコンが、仮想空間の位置座標系に基づいて表示されていてもよい。

【0060】

ステップＳ２１０、Ｓ２１１（第１の表示処理工程）と、ステップＳ３１０、Ｓ３１１（第２の表示処理工程）とが並行して行われることで、ＡＲ表示画面３８及びＶＲ表示画面４７には、図１０、図１１に示すように、対象物に対して注意を促すような第１及び第２の仮想イメージがそれぞれ表示される。第１及び第２の仮想イメージのそれぞれを視認した第１及び第２のユーザ１１、１２は、例えば、音声（マイク、スピーカ）を通じて連絡しながら所定の作業を行う。そして、第１及び第２のユーザ１１、１２により位置や体の向きがそれぞれ変更されることに応じて、第１及び第２の端末装置３、４は、ＡＲ表示画面３８及びＶＲ表示画面４７をそれぞれ更新する処理を繰り返し行う。

【0061】

以上のようにして、本実施形態に係る第１及び第２の端末装置３、４によれば、現実空間を撮影した複数の静止画データから作成されたマーカ情報、三次元モデル及びオブジェクト情報（ＶＲ表示）に基づいて、共通の対象物に対して第１及び第２の仮想イメージがそれぞれ表示される。すなわち、現実空間の対象物に対して第１の仮想イメージが重畳表示（ＡＲ表示又はＭＲ表示）されるとともに、仮想空間の対象物に対して第２の仮想イメージが重畳表示（ＶＲ表示）される。したがって、現実空間と仮想空間との間で簡便に情報共有を行うことができる。

【0062】

（他の実施形態）
以上、本発明の実施形態について説明したが、本発明は上記の実施形態に限定されるものではなく、本発明の技術的思想を逸脱しない範囲で適宜変更可能である。

【0063】

上記実施形態では、情報処理装置２が備える各部の機能は、１つの装置で実現されるものとして説明したが、各部の機能が複数の装置に分散されることで複数の装置で実現されるようにしてもよい。また、情報処理装置２が備える各部の一部又は全部は、第１又は第２の端末装置３、４により実現されてもよく、その場合には、例えば、第１又は第２の端末装置３、４の制御部３１、４１が、情報処理プログラム２０１を実行することで、情報処理装置２の一部又は全部の機能を実行するようにしてもよい。

【0064】

上記実施形態では、情報処理システム１が、図５及び図６に示すフローチャートに従って動作する場合について説明したが、各ステップの実行順序を適宜変更してもよいし、一部のステップを省略してもよい。図５において、例えば、事前の設定等により自動化可能な場合には、ステップＳ１１０（マーカ情報作成画面２６の表示）、ステップＳ１２０（三次元モデル作成画面２７）、及び、ステップＳ１３０（オブジェクト情報作成画面２８の表示）のうち少なくとも１つのステップを省略してもよい。

【0065】

上記実施形態では、第１又は第２の端末装置３、４は、情報処理装置２から提供された各種の情報（マーカ情報、三次元モデル及びオブジェクト情報）を、自装置の記憶部３０、４０（データベース３００、４００）に記憶するものとして説明したが、例えば、図９に示すフローチャートに従って動作する場合に、ネットワーク５を介して情報処理装置２のデータベース２００から適時に取得（受信）するようにしてもよい。

【0066】

上記実施形態では、情報処理プログラム２０１、第１の表示処理プログラム３０１、及び、第２の表示処理プログラム４０１は、記憶部２０、３０、４０に記憶されたものとして説明したが、インストール可能な形式又は実行可能な形式のファイルでＵＳＢメモリ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供されてもよい。また、情報処理プログラム２０１、第１の表示処理プログラム３０１、及び、第２の表示処理プログラム４０１は、ネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供されてもよい。

【符号の説明】

【0067】

１…情報処理システム、２…情報処理装置、３…第１の端末装置、
４…第２の端末装置、５…ネットワーク、
１０…データ作成者、１１…第１のユーザ、１２…第２のユーザ、１３…対象物、
２０…記憶部、２１…制御部、２２…入力部、２３…出力部、
２４…通信部、２５…機器接続部、２６…マーカ情報作成画面、
２７…三次元モデル作成画面、２８…オブジェクト情報作成画面、
３０…記憶部、３１…制御部、３２…入力部、３３…出力部、３４…通信部、
３５…機器接続部、３６…センサ群、３７…カメラ、３８…ＡＲ表示画面、
４０…記憶部、４１…制御部、４２…入力部、４３…出力部、４４…通信部、
４５…機器接続部、４６…センサ群、４７…ＶＲ表示画面、
２００…データベース、２０１…情報処理プログラム、
２１０…データ取得部、２１１…マーカ情報作成部、
２１２…三次元モデル作成部、２１３…オブジェクト情報作成部、
３００…データベース、３０１…第１の表示処理プログラム、
３１０…第１の表示処理部
４００…データベース、４０１…第２の表示処理プログラム、
４１０…第２の表示処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【手続補正書】

【提出日】2022-10-20

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

現実空間を撮影した複数の静止画データを取得するデータ取得工程と、
複数の前記静止画データのうち少なくとも１つの前記静止画データに撮影された対象物の特徴点に対応付けて、前記現実空間の前記対象物に第１の仮想イメージを重畳表示させるためのマーカ情報を作成するマーカ情報作成工程と、
複数の前記静止画データに基づいて前記現実空間の三次元モデルを作成する三次元モデル作成工程と、
前記三次元モデルに含まれる前記対象物に対応付けて、前記三次元モデルに基づいて表示される仮想空間の前記対象物に第２の仮想イメージを重畳表示させるためのオブジェクト情報を作成するオブジェクト情報作成工程と、を有し、
前記マーカ情報作成工程は、
複数の前記静止画データのうち前記対象物が撮影された前記静止画データの選択と、当該対象物が撮影された対象物範囲の指定とを受け付けて、前記選択に基づく前記静止画データのうち前記指定に基づく前記対象物範囲に含まれる前記対象物の特徴点を抽出し、当該特徴点に対応付けて前記マーカ情報を作成し、
前記オブジェクト情報作成工程は、
前記三次元モデルの位置座標系において前記対象物を特定し、当該対象物に対応付けて前記オブジェクト情報を作成する、
情報処理方法。

【請求項2】

現実空間を撮影した複数の静止画データを取得するデータ取得工程と、
複数の前記静止画データのうち少なくとも１つの前記静止画データに撮影された対象物の特徴点に対応付けて、前記現実空間の前記対象物に第１の仮想イメージを重畳表示させるためのマーカ情報を作成するマーカ情報作成工程と、
複数の前記静止画データに基づいて前記現実空間の三次元モデルを作成する三次元モデル作成工程と、
前記三次元モデルに含まれる前記対象物に対応付けて、前記三次元モデルに基づいて表示される仮想空間の前記対象物に第２の仮想イメージを重畳表示させるためのオブジェクト情報を作成するオブジェクト情報作成工程と、を有し、
前記マーカ情報作成工程は、
前記対象物を探索するための探索条件の設定を受け付けて、前記設定に基づく前記探索条件に従って前記静止画データに含まれる前記対象物を探索する画像処理を行い、前記画像処理により探索された前記対象物の特徴点を抽出し、当該特徴点に対応付けて前記マーカ情報を作成し、
前記オブジェクト情報作成工程は、
前記三次元モデルの位置座標系において前記対象物を特定し、当該対象物に対応付けて前記オブジェクト情報を作成する、
情報処理方法。

【請求項3】

同一の前記対象物に対応付けられた前記マーカ情報及び前記オブジェクト情報は、
前記第１の仮想イメージ及び前記第２の仮想イメージを重畳表示するときの表示態様として、共通の前記表示態様が設定される、
請求項１又は請求項２に記載の情報処理方法。

【請求項4】

第１の端末装置にて前記現実空間を撮影したときの撮影範囲に前記対象物の前記特徴点が含まれるとき、当該特徴点に対応付けられた前記マーカ情報に基づく前記第１の仮想イメージを前記現実空間の前記対象物に重畳表示する第１の表示処理工程と、
第２の端末装置にて前記三次元モデルに基づいて前記仮想空間を表示したときの表示範囲に前記対象物が含まれるとき、当該対象物に対応付けられた前記オブジェクト情報に基づく前記第２の仮想イメージを前記仮想空間の前記対象物に重畳表示する第２の表示処理工程と、をさらに有する、
請求項１乃至請求項３のいずれか一項に記載の情報処理方法。

【請求項5】

遠隔操作可能又は自律移動可能な無人移動体が備えるカメラを用いて現実空間を撮影した複数の静止画データを取得するデータ取得工程と、
複数の前記静止画データのうち少なくとも１つの前記静止画データに撮影された対象物の特徴点に対応付けて、前記現実空間の前記対象物に第１の仮想イメージを重畳表示させるためのマーカ情報を作成するマーカ情報作成工程と、
複数の前記静止画データに基づいて前記現実空間の三次元モデルを作成する三次元モデル作成工程と、
前記三次元モデルに含まれる前記対象物に対応付けて、前記三次元モデルに基づいて表示される仮想空間の前記対象物に第２の仮想イメージを重畳表示させるためのオブジェクト情報を作成するオブジェクト情報作成工程と、
第１の端末装置にて前記現実空間を撮影したときの撮影範囲に前記対象物の前記特徴点が含まれるとき、当該特徴点に対応付けられた前記マーカ情報に基づく前記第１の仮想イメージを前記現実空間の前記対象物に重畳表示する第１の表示処理工程と、
第２の端末装置にて前記三次元モデルに基づいて前記仮想空間を表示したときの表示範囲に前記対象物が含まれるとき、当該対象物に対応付けられた前記オブジェクト情報に基づく前記第２の仮想イメージを前記仮想空間の前記対象物に重畳表示する第２の表示処理工程と、を有する、
情報処理方法。

【請求項6】

請求項１乃至請求項５のいずれか一項に記載の情報処理方法が備える各工程を実行する制御部を備える、
情報処理装置。

【請求項7】

請求項４又は請求項５に記載の情報処理方法が備える各工程を実行する情報処理システムであって、
前記データ取得工程、前記マーカ情報作成工程、前記三次元モデル作成工程、及び、前記オブジェクト情報作成工程を実行する制御部を備える１又は複数の情報処理装置と、
前記第１の表示処理工程を実行する制御部を備える１又は複数の前記第１の端末装置と、
前記第２の表示処理工程を実行する制御部を備える１又は複数の前記第２の端末装置と、を備える、
情報処理システム。