知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023085654
(43)【公開日】2023-06-21
(54)【発明の名称】アクション処理サーバおよびアクション処理方法
(51)【国際特許分類】
G06Q 10/109 20230101AFI20230614BHJP
G06Q 50/10 20120101ALI20230614BHJP
【ＦＩ】
G06Q10/10 340
G06Q50/10
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2021199801
(22)【出願日】2021-12-09
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】酒井 優
(72)【発明者】
【氏名】水落 空
【テーマコード（参考）】
5L049
【Ｆターム（参考）】
5L049AA12
5L049CC11
(57)【要約】
【課題】オンライン見学における見学者と説明者の質疑応答の円滑に進めることを可能とする。
【解決手段】アクション処理サーバ１００は、対象物の１つ以上の撮影画像と、対象物および前記対象物の周辺にある物体の位置情報とを取得する取得部１１１と、対象物の撮影画像上の指定された位置、および当該位置に関連したアクション情報を取得し、当該撮影画像上の指定された位置に対応する対象物上の箇所を算出するアクション処理部１１５と、対象物上の箇所に対応する位置にアクションマークが付与された対象物の撮影画像と、アクション情報とを端末に送信する表示制御部１１４とを備える。
【選択図】図８
【解決手段】アクション処理サーバ１００は、対象物の１つ以上の撮影画像と、対象物および前記対象物の周辺にある物体の位置情報とを取得する取得部１１１と、対象物の撮影画像上の指定された位置、および当該位置に関連したアクション情報を取得し、当該撮影画像上の指定された位置に対応する対象物上の箇所を算出するアクション処理部１１５と、対象物上の箇所に対応する位置にアクションマークが付与された対象物の撮影画像と、アクション情報とを端末に送信する表示制御部１１４とを備える。
【選択図】図８
【特許請求の範囲】
【請求項1】
対象物の１つ以上の撮影画像と、前記対象物および前記対象物の周辺にある物体の３次元の位置情報とを取得する取得部と、
前記対象物の撮影画像上の指定された位置、および当該位置に関連したアクション情報を取得し、当該撮影画像上の指定された位置に対応する前記対象物上の３次元空間における箇所を算出するアクション処理部と、
前記対象物上の箇所に対応する位置にアクションマークが付与された前記対象物の撮影画像と、前記アクション情報とを端末に送信する表示制御部とを備える
アクション処理サーバ。
前記対象物の撮影画像上の指定された位置、および当該位置に関連したアクション情報を取得し、当該撮影画像上の指定された位置に対応する前記対象物上の３次元空間における箇所を算出するアクション処理部と、
前記対象物上の箇所に対応する位置にアクションマークが付与された前記対象物の撮影画像と、前記アクション情報とを端末に送信する表示制御部とを備える
アクション処理サーバ。
【請求項2】
前記アクション処理部は、
前記アクション情報に関連した新たなアクション情報を前記端末から取得し、
前記表示制御部は、
前記対象物上の箇所に対応する位置にアクションマークが付与された前記対象物の撮影画像と、前記アクション情報とに加えて、前記新たなアクション情報を前記端末に送信する
請求項１に記載のアクション処理サーバ。
前記アクション情報に関連した新たなアクション情報を前記端末から取得し、
前記表示制御部は、
前記対象物上の箇所に対応する位置にアクションマークが付与された前記対象物の撮影画像と、前記アクション情報とに加えて、前記新たなアクション情報を前記端末に送信する
請求項１に記載のアクション処理サーバ。
【請求項3】
前記アクション処理部は、
前記対象物の撮影画像を撮影した撮影装置の位置および向きを取得し、
前記対象物の撮影画像上の指定された位置、前記取得部が取得した位置情報、当該撮影装置の位置および向きに基づいて、当該撮影画像上の指定された位置に対応する前記対象物上の箇所を算出する
請求項１に記載のアクション処理サーバ。
前記対象物の撮影画像を撮影した撮影装置の位置および向きを取得し、
前記対象物の撮影画像上の指定された位置、前記取得部が取得した位置情報、当該撮影装置の位置および向きに基づいて、当該撮影画像上の指定された位置に対応する前記対象物上の箇所を算出する
請求項１に記載のアクション処理サーバ。
【請求項4】
前記対象物および前記対象物の周辺にある物体がある領域のなかの部分領域で、前記撮影画像に映る当該部分領域に相当する部分画像にモザイクが施される部分領域であるモザイクエリアを設定するモザイクエリア設定部をさらに備え、
前記表示制御部は、
前記撮影画像のなかで当該モザイクエリアに相当する部分画像にモザイクを施す
請求項１に記載のアクション処理サーバ。
前記表示制御部は、
前記撮影画像のなかで当該モザイクエリアに相当する部分画像にモザイクを施す
請求項１に記載のアクション処理サーバ。
【請求項5】
前記アクション処理部は、
前記対象物の撮影画像上の新たに指定された位置、および当該位置に関連した新たなアクション情報を取得し、
当該撮影画像上の新たに指定された位置に対応する前記対象物上の箇所を算出し、
前記表示制御部は、
前記対象物上の箇所に対応する位置、および前記対象物の撮影画像上の新たに指定された位置に前記アクションマークが付与された前記対象物の撮影画像を前記端末に送信する
請求項１に記載のアクション処理サーバ。
前記対象物の撮影画像上の新たに指定された位置、および当該位置に関連した新たなアクション情報を取得し、
当該撮影画像上の新たに指定された位置に対応する前記対象物上の箇所を算出し、
前記表示制御部は、
前記対象物上の箇所に対応する位置、および前記対象物の撮影画像上の新たに指定された位置に前記アクションマークが付与された前記対象物の撮影画像を前記端末に送信する
請求項１に記載のアクション処理サーバ。
【請求項6】
前記表示制御部は、
前記端末から前記対象物の撮影画像上の位置を取得すると、当該位置に対応する前記対象物上の箇所を算出し、当該対象物上の箇所に関連したアクション情報を当該端末に送信する
請求項５に記載のアクション処理サーバ。
前記端末から前記対象物の撮影画像上の位置を取得すると、当該位置に対応する前記対象物上の箇所を算出し、当該対象物上の箇所に関連したアクション情報を当該端末に送信する
請求項５に記載のアクション処理サーバ。
【請求項7】
前記取得部が取得する撮影画像は、前記対象物の撮影済みのコンテンツに含まれる撮影画像である
請求項１に記載のアクション処理サーバ。
請求項１に記載のアクション処理サーバ。
【請求項8】
アクション処理サーバが、
対象物の１つ以上の撮影画像と、前記対象物および前記対象物の周辺にある物体の３次元の位置情報とを取得するステップと、
前記対象物の撮影画像上の指定された位置、および当該位置に関連したアクション情報を取得し、当該撮影画像上の指定された位置に対応する前記対象物上の３次元空間における箇所を算出するステップと、
前記対象物上の箇所に対応する位置にアクションマークが付与された前記対象物の撮影画像と、前記アクション情報とを端末に送信するステップとを実行する
アクション処理方法。
対象物の１つ以上の撮影画像と、前記対象物および前記対象物の周辺にある物体の３次元の位置情報とを取得するステップと、
前記対象物の撮影画像上の指定された位置、および当該位置に関連したアクション情報を取得し、当該撮影画像上の指定された位置に対応する前記対象物上の３次元空間における箇所を算出するステップと、
前記対象物上の箇所に対応する位置にアクションマークが付与された前記対象物の撮影画像と、前記アクション情報とを端末に送信するステップとを実行する
アクション処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像に関連したアクションを処理するアクション処理サーバおよびアクション処理方法に関する。
【背景技術】
【0002】
生産拠点のグローバル化や感染症拡大防止といった観点から、オンラインによる工場見学のニーズが増加している。従来、オンラインによる工場見学では、作成済み資料や録画済みビデオを用いた説明が多かった。
工場見学に利用可能な技術として、特許文献１に記載の情報提供システムがある。この情報提供システムは、利用者の移動に合わせてその場にあった情報を携帯端末などで撮影した実景画像に重畳表示する。
工場見学に利用可能な技術として、特許文献１に記載の情報提供システムがある。この情報提供システムは、利用者の移動に合わせてその場にあった情報を携帯端末などで撮影した実景画像に重畳表示する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００４－１０２８３５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
オンライン見学に特許文献１に記載の情報提供システムを用いることで、説明者の移動に合わせて、工場内で製作される製品や工場の設備の説明ができるようになる。しかしながら、遠隔の見学者が疑問をもった製品や設備の箇所／部分を説明者が把握できず、的確に説明できず、見学者の疑問を解消できない問題が生じる。また、見学者が疑問をもった箇所を説明するため、見学コースの後戻りが発生し、見学コース全体を十分に説明する時間がなくなる問題が生じる。このような問題は、工場に限らず、各種施設のオンライン見学やオンライン観光ツアー、住宅のオンラインでの内部見学（内見）などを含むオンライン見学（説明会）でも同様である。
【0005】
工場や設備にはセキュリティ（秘密保持）の都合上、見学禁止エリアが点在しており、見学者が見学を希望する箇所によっては、見学禁止エリアが映りこんでしまう恐れがある。このため、見学者の希望どおりに見学することができないという問題もある。
本発明はこのような背景に鑑みなされたもので、オンライン見学における見学者と説明者の質疑応答を円滑に進めることを可能とするアクション処理サーバおよびアクション処理方法を提供することを課題とする。
本発明はこのような背景に鑑みなされたもので、オンライン見学における見学者と説明者の質疑応答を円滑に進めることを可能とするアクション処理サーバおよびアクション処理方法を提供することを課題とする。
【課題を解決するための手段】
【0006】
上記した課題を解決するため、本発明に係るアクション処理サーバは、対象物の１つ以上の撮影画像と、前記対象物および前記対象物の周辺にある物体の３次元の位置情報とを取得する取得部と、前記対象物の撮影画像上の指定された位置、および当該位置に関連したアクション情報を取得し、当該撮影画像上の指定された位置に対応する前記対象物上の３次元空間における箇所を算出するアクション処理部と、前記対象物上の箇所に対応する位置にアクションマークが付与された前記対象物の撮影画像と、前記アクション情報とを端末に送信する表示制御部とを備える。
【発明の効果】
【0007】
本発明によれば、オンライン見学における見学者と説明者の質疑応答を円滑に進めることを可能とするアクション処理サーバおよびアクション処理方法を提供することができる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0008】
【図1】本実施形態に係るオンライン見学システムの全体構成図である。
【図2】本実施形態に係るオンライン見学システムの利用手順を説明するための図である。
【図3】本実施形態に係るアクション入力前の画面を説明するための図である。
【図4】本実施形態に係るアクション入力中の画面を説明するための図である。
【図5】本実施形態に係るアクション入力後の画面を説明するための図である。
【図6】本実施形態に係る端末が撮影した画像を表示する画面を説明するための図である。
【図7】本実施形態に係る応答入力後の画面を説明するための図である。
【図8】本実施形態に係るアクション処理サーバの機能ブロック図である。
【図9】本実施形態に係るアクションデータベースのデータ構成図である。
【図10】本実施形態に係るモザイクエリア設定画面である。
【図11】本実施形態に係る表示制御処理およびアクション処理のフローチャートである。
【図12】本実施形態の変形例に係る複数のアクションマークが表示される画面を説明するための図である。
【発明を実施するための形態】
【0009】
≪オンライン見学システムの概要≫
以下に本発明を実施するための形態（実施形態）における工場で製作される製品のオンライン見学システムについて説明する。オンライン見学システムは、工場内に設置されたカメラ、説明者の端末、見学者の端末、およびアクション処理サーバを含む。工場内に設置されたカメラや説明者の端末は、工場内で製作されている製品（見学の対象物）を撮影する。
以下に本発明を実施するための形態（実施形態）における工場で製作される製品のオンライン見学システムについて説明する。オンライン見学システムは、工場内に設置されたカメラ、説明者の端末、見学者の端末、およびアクション処理サーバを含む。工場内に設置されたカメラや説明者の端末は、工場内で製作されている製品（見学の対象物）を撮影する。
【0010】
見学者は、製品の撮影画像（映像）と説明者による音声の説明とについてテキストでの質問（アクション）が可能である。質問するときに見学者は、質問に係る製品の箇所（部分、構成要素、ところ）を撮影画像上で指定することができる。アクション処理サーバを介して端末に表示されることで当該箇所および質問が、説明者と他の見学者との間で共有できる。説明者は質問に対してテキストで回答（応答）することができ、応答はアクション処理サーバを介して見学者の端末に送信されて表示される。
【0011】
このように、見学者と説明者とのやり取りが可能になることで、見学が円滑に進むことになる。質問の起点となった製品の箇所が見学者と説明者とで共有できるので、説明者は質問者の質問を容易に把握でき、的確に回答することができる。また、質問者以外の見学者は、質問や応答の内容を明瞭に把握することができるようになる。
【0012】
≪オンライン見学システムの全体構成≫
図１は、本実施形態に係るオンライン見学システム１０の全体構成図である。オンライン見学システム１０は、カメラ２２２、ステレオカメラ２２１、端末２３１～２３３、およびアクション処理サーバ１００を含んで構成される。カメラ２２２、ステレオカメラ２２１、端末２３１～２３３、およびアクション処理サーバ１００は、ネットワーク２８０を介して相互に通信可能である。
図１は、本実施形態に係るオンライン見学システム１０の全体構成図である。オンライン見学システム１０は、カメラ２２２、ステレオカメラ２２１、端末２３１～２３３、およびアクション処理サーバ１００を含んで構成される。カメラ２２２、ステレオカメラ２２１、端末２３１～２３３、およびアクション処理サーバ１００は、ネットワーク２８０を介して相互に通信可能である。
【0013】
カメラ２２２は、工場２４０内にある見学の対象物２１０（製品）を撮影し、撮影画像をアクション処理サーバ１００に送信する。ステレオカメラ２２１は、工場２４０の天井に設置されて対象物２１０やその周囲にある物体までの距離情報を取得して、アクション処理サーバ１００に送信する。図１記載のステレオカメラ２２１、およびカメラ２２２は、それぞれ１台であるが、複数台であってもよい。
【0014】
端末２３１は説明者が利用し、端末２３２，２３３は工場２４０から遠隔にいる見学者が利用する。端末２３１は、例えばスマートフォンであり、タッチパネルディスプレイを備えるものとする。端末２３２，２３３は、タッチパネルディスプレイを備えるものに限定されず、例えばスマートフォンや卓上型コンピュータである。説明者が利用する端末２３１にはカメラが備わり、説明者が撮影した対象物２１０の撮影画像はアクション処理サーバ１００に送信される。
【0015】
なお対象物２１０は工場２４０内で製作されている製品であり、見学者はその発注者であるとする。工場２４０内の領域２４１には、秘密保持上の理由などにより発注者が見学者ではない製品や見学者には見せたくない設備がある。つまりは、領域２４１は見学者には隠すべき製品・設備がある領域（見学禁止エリア）である。
【0016】
≪オンライン見学システムの利用手順≫
アクション処理サーバ１００の詳細を説明する前に、オンライン見学システム１０の利用手順を説明する。図２は、本実施形態に係るオンライン見学システム１０の利用手順を説明するための図である。ステップＳ１１～Ｓ１５，Ｓ１８，Ｓ２０，Ｓ２２は、説明者が行うステップ（手順）である。ステップＳ１６，Ｓ１７，Ｓ１９，Ｓ２１，Ｓ２３は、見学者が行うステップである。
アクション処理サーバ１００の詳細を説明する前に、オンライン見学システム１０の利用手順を説明する。図２は、本実施形態に係るオンライン見学システム１０の利用手順を説明するための図である。ステップＳ１１～Ｓ１５，Ｓ１８，Ｓ２０，Ｓ２２は、説明者が行うステップ（手順）である。ステップＳ１６，Ｓ１７，Ｓ１９，Ｓ２１，Ｓ２３は、見学者が行うステップである。
【0017】
ステップＳ１１において説明者は、対象物２１０（図１参照）を設置する。
ステップＳ１２において説明者は、対象物２１０を撮影するカメラ２２２を設置する。なおステレオカメラ２２１は、工場２４０の天井に設置済みである。
ステップＳ１３において説明者は、アクション処理サーバ１００に指示して、対象物２１０のある領域や領域２４１（図１参照）を含む領域の３次元マップを作成する。換言すればアクション処理サーバ１００は、説明者の指示により３次元マップを生成する。
ステップＳ１２において説明者は、対象物２１０を撮影するカメラ２２２を設置する。なおステレオカメラ２２１は、工場２４０の天井に設置済みである。
ステップＳ１３において説明者は、アクション処理サーバ１００に指示して、対象物２１０のある領域や領域２４１（図１参照）を含む領域の３次元マップを作成する。換言すればアクション処理サーバ１００は、説明者の指示により３次元マップを生成する。
【0018】
ステップＳ１４において説明者は、アクション処理サーバ１００に指示して、３次元マップのなかにモザイクエリアを設定する。換言すればアクション処理サーバ１００は、説明者の指示によりモザイクエリアを設定する。モザイクエリアとは、カメラ２２２や端末２３１が撮影する画像のなかでモザイクが施されて見学者には見せない領域である。説明者は、３次元マップのなかで領域２４１に対応する領域をモザイクエリアに設定する（後記する図１０参照）。
【0019】
ステップＳ１５において説明者は、事前見学の準備を行う。説明者は例えば、カメラ２２２や説明者の端末２３１で撮影した映像・静止画、当該映像・静止画に付与されるナレーション、説明用の図などを含む事前見学用のビデオデータや資料を制作して、アクション処理サーバ１００に格納する。以下、このビデオデータや資料を事前見学コンテンツ１６０（後記する図８参照）と記す。
【0020】
ステップＳ１６において見学者は、端末２３２，２３３で事前見学コンテンツ１６０を閲覧して事前見学を行う。
ステップＳ１７において見学者は、事前見学中に質問やコメントがあると、端末２３２，２３３を用いて質問文・コメント文を入力する。入力には、質問文・コメント文の他に、見学者が指定した質問・コメントの対象となる対象物２１０の箇所（対象物２１０の撮影画像のなかの位置）がある。この入力の容態は、ステップＳ２１と同様であり、図４を用いて後記する。以下では、質問・コメントを発する（入力する）ことやその内容（質問文・コメント文）をアクションと記す。また、後記する説明者の応答やその内容もアクションである。
ステップＳ１７において見学者は、事前見学中に質問やコメントがあると、端末２３２，２３３を用いて質問文・コメント文を入力する。入力には、質問文・コメント文の他に、見学者が指定した質問・コメントの対象となる対象物２１０の箇所（対象物２１０の撮影画像のなかの位置）がある。この入力の容態は、ステップＳ２１と同様であり、図４を用いて後記する。以下では、質問・コメントを発する（入力する）ことやその内容（質問文・コメント文）をアクションと記す。また、後記する説明者の応答やその内容もアクションである。
【0021】
ステップＳ１８において説明者は、端末２３１でステップＳ１７において入力されたアクションに対する応答（応答文）を入力する。この入力の容態は、ステップＳ２２と同様であり、図７を用いて後記する。
ステップＳ１９において見学者は、端末２３２，２３３でステップＳ１８において入力された応答を確認する。見学者は、他の質問がある場合にはステップＳ１７に戻ってアクションを入力する。
ステップＳ１９において見学者は、端末２３２，２３３でステップＳ１８において入力された応答を確認する。見学者は、他の質問がある場合にはステップＳ１７に戻ってアクションを入力する。
【0022】
ステップＳ２０において説明者は対象物２１０を説明する。詳しくは、説明者は端末２３１で対象物２１０を撮影しつつ、対象物の説明を行う。カメラ２２２や端末２３１で撮影された対象物２１０の画像、および説明者の音声は、アクション処理サーバ１００を介して見学者の端末２３２，２３３に配信される。見学者は、撮影画像と音声とを視聴することで対象物２１０を見学（本見学）する。なお端末２３１，２３２，２３３で表示される画面（後記する図３～図７参照）の表示データは、後記するアクション処理サーバ１００の表示制御部１１４によって生成される。
【0023】
ステップＳ２１において見学者は、本見学中に質問やコメントがあると、アクションを入力する。図３は、本実施形態に係るアクション入力前の画面３１０を説明するための図である。画面３１０は、本見学中の端末２３１～２３３の画面である。撮影画像表示領域３１１には、カメラ２２２や端末２３１が撮影した対象物２１０，３１５の撮影画像が表示される。対象物３１５の背後には、モザイクエリアとして設定された領域２４１（図１参照）があり、このモザイクエリアに対応する撮影画像にはモザイク３１６が施されている。
【0024】
アクション領域３１２には、アクションである質問文、コメント文、およびアクションに対する応答文が表示される。
見取り図領域３１３には、対象物２１０やカメラ２２２、端末２３１を含む工場２４０内を上から見た見取り図が表示される。なお見取り図は、ステップＳ１３で作成された３次元マップに基づいて生成される。
見取り図において対象物２１０は、中央の矩形として示されている。カメラ２２２は「Ａ」と記されたカメラのアイコンで、カメラとしての端末２３１は「Ｂ」と記されたカメラのアイコンで示されている。
見取り図領域３１３には、対象物２１０やカメラ２２２、端末２３１を含む工場２４０内を上から見た見取り図が表示される。なお見取り図は、ステップＳ１３で作成された３次元マップに基づいて生成される。
見取り図において対象物２１０は、中央の矩形として示されている。カメラ２２２は「Ａ」と記されたカメラのアイコンで、カメラとしての端末２３１は「Ｂ」と記されたカメラのアイコンで示されている。
【0025】
見取り図領域３１３の下側には、「Ａ」ボタンと「Ｂ」ボタンとが配置されている。図３においては「Ａ」ボタンが選択されており、撮影画像表示領域３１１に表示される撮影画像は、「Ａ」と記されたカメラのアイコンに対応するカメラ２２２が撮影した画像である。「Ｂ」ボタンがタップされると、撮影画像表示領域３１１に表示される撮影画像は、「Ｂ」と記されたカメラのアイコンに対応する端末２３１が撮影した画像に変わる（後記する図６参照）。
【0026】
端末２３２において見学者がアクションを入力する際には、アクションの起点となる対象物２１０，３１５の箇所をタップして指定する。図４は、本実施形態に係るアクション入力中の画面３１０Ａを説明するための図である。図４ではタップした位置を、手のアイコンの人さし指で示している。続いて見学者は、アクション領域３１２をタップして、質問文を入力する。入力された対象物２１０，３１５の箇所の撮影画像における位置情報（２次元座標）や質問文は、端末２３２からアクション処理サーバ１００に送信される。
【0027】
図５は、本実施形態に係るアクション入力後の画面３１０Ｂを説明するための図である。アクションの起点となる対象物２１０，３１５をタップして指定された箇所には、アクションマーク３１７が表示されている。アクションマーク３１７は、質問やコメントの対象となっている対象物２１０の箇所／部分／構成要素／ところを示す目印／標識であって、撮影画像表示領域３１１に表示される対象物２１０，３１５に重ねて表示される。
【0028】
画面３１０Ｂの撮影画像表示領域３１１やアクション領域３１２に表示される撮影画像やテキストは、アクション処理サーバ１００から受信した情報であって、全ての端末２３１～２３３に送信される。つまり、質問した見学者を含む全ての見学者や説明者の端末２３１～２３３に画面３１０Ｂが表示される。
【0029】
ここで見取り図領域３１３の下側の「Ｂ」ボタンをタップすると「Ｂ」と記されたカメラのアイコンに対応する端末２３１が撮影した画像に変わる（後記する図６参照）。図６は、本実施形態に係る端末２３１が撮影した画像を表示する画面３１０Ｃを説明するための図である。画面３１０Ｃの撮影画像表示領域３１１には、「Ｂ」と記されたカメラのアイコンに対応する端末２３１が撮影した画像が表示される。アクションマーク３１７Ａは、対象物２１０上の同じ箇所に付与されている。これは後記するようにアクション処理サーバ１００が、箇所を２次元情報である撮影画像上の位置（２次元座標）として捉えているのではなく、３次元空間にある対象物２１０上の位置（３次元座標）として捉えているからである。
【0030】
図２に戻って、ステップＳ２２において説明者は、ステップＳ２１において入力されたアクションに対する応答（応答文）を入力する。図７は、本実施形態に係る応答入力後の画面３１０Ｄを説明するための図である。説明者は、質問が表示されたアクション領域３１２（図５記載の画面３１０Ｂのアクション領域３１２参照）をタップして、応答文を入力する。応答文はアクション処理サーバ１００に送信されて、さらに端末２３１～２３３に送信され、応答が端末２３１～２３３の画面のアクション領域３１２に表示される。
【0031】
図２に戻って、ステップＳ２３において見学者は、応答文を確認する。見学者は、質問がある場合にはステップＳ２１に戻ってアクションを入力する。また、アクションの起点となる対象物２１０，３１５の箇所を指定しない場合には、見学者はステップＳ２２と同様にアクション領域３１２をタップしてアクション（テキスト）を入力する。
【0032】
≪アクション処理サーバの構成≫
図８は、本実施形態に係るアクション処理サーバ１００の機能ブロック図である。アクション処理サーバ１００はコンピュータであり、制御部１１０、記憶部１２０、および入出力部１８０を備える。入出力部１８０には、ディスプレイやキーボード、マウスなどのユーザインターフェイス機器が接続される。入出力部１８０は通信デバイスを備え、カメラ２２２、ステレオカメラ２２１、端末２３１～２３３他の装置とのデータ送受信が可能である。また入出力部１８０にメディアドライブが接続され、記録媒体を用いたデータのやり取りが可能であってもよい。
図８は、本実施形態に係るアクション処理サーバ１００の機能ブロック図である。アクション処理サーバ１００はコンピュータであり、制御部１１０、記憶部１２０、および入出力部１８０を備える。入出力部１８０には、ディスプレイやキーボード、マウスなどのユーザインターフェイス機器が接続される。入出力部１８０は通信デバイスを備え、カメラ２２２、ステレオカメラ２２１、端末２３１～２３３他の装置とのデータ送受信が可能である。また入出力部１８０にメディアドライブが接続され、記録媒体を用いたデータのやり取りが可能であってもよい。
【0033】
≪アクション処理サーバ：記憶部≫
記憶部１２０は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、ＳＳＤ（Solid State Drive）などの記憶機器を含んで構成される。記憶部１２０には、３次元マップ１３０、モザイクエリア情報１４０、アクションデータベース１５０、事前見学コンテンツ１６０、およびプログラム１２８が記憶される。
記憶部１２０は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、ＳＳＤ（Solid State Drive）などの記憶機器を含んで構成される。記憶部１２０には、３次元マップ１３０、モザイクエリア情報１４０、アクションデータベース１５０、事前見学コンテンツ１６０、およびプログラム１２８が記憶される。
【0034】
３次元マップ１３０は、ステレオカメラ２２１の撮像情報（距離情報）を基づいて、後記する３次元マップ生成部１１２により生成される。３次元マップ１３０には、対象物２１０がある領域や領域２４１（図１参照）を含む領域の３次元情報が含まれる。詳しくは３次元マップ１３０には、対象物２１０や領域２４１にある物体（製品や設備）の位置や形状、高さなどの情報が含まれる。
【0035】
モザイクエリア情報１４０は、後記するモザイクエリア設定部１１３により生成される。モザイクエリア情報１４０には、ステップＳ１４（図２参照）において説明者が設定した、３次元マップ１３０におけるモザイクエリアの位置情報が含まれる。換言すればモザイクエリアは、領域２４１（図１参照）に対応するように説明者が設定した３次元マップ１３０内の領域である。
【0036】
アクションデータベース１５０は、アクション（質問・コメント・応答）に係る情報を記憶する。図９は、本実施形態に係るアクションデータベース１５０のデータ構成図である。アクションデータベース１５０は例えば表形式のデータであって、１つの行（レコード）は１つのアクションを示し、識別情報１５１（図９ではＩＤと記載）、対象位置１５２、先行１５３、受付時刻１５４、発信端末１５５、および内容１５６の列（属性）を含む。
【0037】
識別情報１５１は、アクションの識別情報である。対象位置１５２は、見学者が指定したアクションの起点となる対象物２１０の箇所の３次元マップ１３０における位置（３次元座標）である。先行１５３は、先行する（１つ前の）アクションの識別情報１５１である。
受付時刻１５４は、アクション処理サーバ１００がアクションを端末２３１～２３３からアクション（アクションに係る情報、アクション情報）を受信した時刻である。発信端末１５５は、説明者／見学者がアクションを入力した端末２３１～２３３の識別情報であり、アクション処理サーバ１００にアクション情報を送信した端末２３１～２３３を示す。内容１５６は、アクションのテキストであり、質問文・コメント文・応答文である。
受付時刻１５４は、アクション処理サーバ１００がアクションを端末２３１～２３３からアクション（アクションに係る情報、アクション情報）を受信した時刻である。発信端末１５５は、説明者／見学者がアクションを入力した端末２３１～２３３の識別情報であり、アクション処理サーバ１００にアクション情報を送信した端末２３１～２３３を示す。内容１５６は、アクションのテキストであり、質問文・コメント文・応答文である。
【0038】
識別情報１５１が「Ｍ０００１」であるレコード（アクション）は、アクションの起点となる対象物２１０の箇所が指定されて入力された質問である。このため先行するアクションがないので、先行１５３は「Ｎ／Ａ」となっている。
識別情報１５１が「Ｍ０００２」であるレコード（アクション）は、識別情報１５１が「Ｍ０００１」である質問に対する応答のアクションである。このため先行１５３が「Ｍ０００１」となり、対象物２１０の箇所が指定されていないので対象位置１５２は「Ｎ／Ａ」となっている。
識別情報１５１が「Ｍ０００２」であるレコード（アクション）は、識別情報１５１が「Ｍ０００１」である質問に対する応答のアクションである。このため先行１５３が「Ｍ０００１」となり、対象物２１０の箇所が指定されていないので対象位置１５２は「Ｎ／Ａ」となっている。
【0039】
図８に戻って、記憶部１２０の説明を続ける。事前見学コンテンツ１６０は、ステップＳ１５（図２参照）において説明者が制作した、事前見学用のビデオデータや資料である。プログラム１２８には、後記する制御部１１０に備わる機能部が実行する処理（表示制御処理、アクション処理）の手順の記述が含まれる。
【0040】
≪アクション処理サーバ：制御部≫
制御部１１０は、ＣＰＵ（Central Processing Unit）を含んで構成され、取得部１１１、３次元マップ生成部１１２、モザイクエリア設定部１１３、表示制御部１１４、およびアクション処理部１１５が備わる。
取得部１１１は、端末２３１、ステレオカメラ２２１、およびカメラ２２２から撮影画像や距離情報を取得する。
制御部１１０は、ＣＰＵ（Central Processing Unit）を含んで構成され、取得部１１１、３次元マップ生成部１１２、モザイクエリア設定部１１３、表示制御部１１４、およびアクション処理部１１５が備わる。
取得部１１１は、端末２３１、ステレオカメラ２２１、およびカメラ２２２から撮影画像や距離情報を取得する。
【0041】
≪制御部：３次元マップ生成部≫
３次元マップ生成部１１２は、ステレオカメラ２２１の距離情報を基づいて、３次元マップ１３０を生成する。なお３次元マップ生成部１１２は、ステレオカメラ２２１に限らずＬｉＤＡＲ（Light Detection and Ranging）のような３次元測距装置／３Ｄスキャナの出力情報を基に３次元マップ１３０を生成してもよい。
３次元マップ生成部１１２は、ステレオカメラ２２１の距離情報を基づいて、３次元マップ１３０を生成する。なお３次元マップ生成部１１２は、ステレオカメラ２２１に限らずＬｉＤＡＲ（Light Detection and Ranging）のような３次元測距装置／３Ｄスキャナの出力情報を基に３次元マップ１３０を生成してもよい。
【0042】
≪制御部：モザイクエリア設定部≫
モザイクエリア設定部１１３は、説明者の指示に従って３次元マップ１３０で示される工場２４０内の３次元空間にモザイクエリアを設定する。モザイクエリア設定部１１３は、３次元マップ１３０から工場２４０内の平面画像（平面地図）を生成して、当該平面地図で指定された２次元領域で示される３次元空間をモザイクエリアと設定してもよい。
モザイクエリア設定部１１３は、説明者の指示に従って３次元マップ１３０で示される工場２４０内の３次元空間にモザイクエリアを設定する。モザイクエリア設定部１１３は、３次元マップ１３０から工場２４０内の平面画像（平面地図）を生成して、当該平面地図で指定された２次元領域で示される３次元空間をモザイクエリアと設定してもよい。
【0043】
図１０は、本実施形態に係るモザイクエリア設定画面３３０である。モザイクエリア設定画面３３０には、工場２４０の天井から見た平面画像（平面地図）が表示されている。部分画像３３５は対象物２１０であり、部分画像３３１，３３２は領域２４１（図１参照）にある見学者には見せたくない製品・設備である。説明者は、モザイクエリア設定画面３３０上でモザイクエリア３３３を指定する。モザイクエリア３３３は平面画像内の２次元の領域と指定されるが、モザイクエリアは３次元マップ１３０内の３次元の領域である。
【0044】
このようにアクション処理サーバ１００は、対象物２１０および対象物２１０の周辺にある物体がある領域のなかの部分領域で、撮影画像に映る当該部分領域に相当する部分画像にモザイクが施される部分領域であるモザイクエリアを設定するモザイクエリア設定部１１３を備える。
【0045】
≪制御部：表示制御部≫
図８に戻って制御部の説明を続ける。表示制御部１１４は、画面３１０，３１０Ａ，３１０Ｂ，３１０Ｃ，３１０Ｄ（図３～図７参照）の表示データを生成して、端末２３１～２３３に送信する。撮影画像表示領域３１１の表示データは、カメラ２２２、および端末２３１が撮影した撮影画像にモザイクが施されて生成される。表示制御部１１４は、カメラ２２２または端末２３１の位置と撮影角度（向き）と３次元マップ１３０とに基づいて、撮影画像のなかでモザイクエリアの画像領域を特定し、当該画像領域にモザイクを施す。さらに表示制御部１１４は、アクションマーク３１７が表示されるように撮影画像を加工する（後記する図１１のステップＳ３４参照）。
図８に戻って制御部の説明を続ける。表示制御部１１４は、画面３１０，３１０Ａ，３１０Ｂ，３１０Ｃ，３１０Ｄ（図３～図７参照）の表示データを生成して、端末２３１～２３３に送信する。撮影画像表示領域３１１の表示データは、カメラ２２２、および端末２３１が撮影した撮影画像にモザイクが施されて生成される。表示制御部１１４は、カメラ２２２または端末２３１の位置と撮影角度（向き）と３次元マップ１３０とに基づいて、撮影画像のなかでモザイクエリアの画像領域を特定し、当該画像領域にモザイクを施す。さらに表示制御部１１４は、アクションマーク３１７が表示されるように撮影画像を加工する（後記する図１１のステップＳ３４参照）。
【0046】
端末２３１の位置と撮影角度とは、端末２３１に備わる加速度センサやジャイロセンサの測定値を基に端末２３１が算出して、撮影画像とともにアクション処理サーバ１００に送信されるものとする。ステレオカメラ２２１が取得した距離情報に含まれる端末２３１の情報を基に算出されてもよい。
カメラ２２２の位置と撮影角度については、カメラ２２２が固定カメラならばカメラ設置時（図２記載のステップＳ１２参照）に固定値としてアクション処理サーバ１００に設定されてもよい。カメラ２２２が見学者の指示により移動や撮影角度が変更可能なカメラであれば、端末２３１と同様にカメラ２２２が位置と撮影角度を算出して撮影画像とともにアクション処理サーバ１００に送信される。
カメラ２２２の位置と撮影角度については、カメラ２２２が固定カメラならばカメラ設置時（図２記載のステップＳ１２参照）に固定値としてアクション処理サーバ１００に設定されてもよい。カメラ２２２が見学者の指示により移動や撮影角度が変更可能なカメラであれば、端末２３１と同様にカメラ２２２が位置と撮影角度を算出して撮影画像とともにアクション処理サーバ１００に送信される。
【0047】
アクション領域３１２の表示データの１件目は、アクションデータベース１５０（図９参照）のなかのレコードで対象位置１５２を含み、受付時刻１５４が最新のレコードである。２件目の表示データは、当該レコードを先行１５３に含むレコードである。３件目の表示データは、当該レコードを先行１５３に含むレコードである。このようにして表示制御部１１４は、先行１５３を参照することで、対象位置１５２に係るアクションのレコードを特定して、アクション領域３１２の表示データを取得する。これらのアクションのレコードは、１件目のレコードの対象位置１５２で示される箇所に係る一連のアクションであり、スレッドとも記す。
【0048】
見取り図領域３１３の表示データについて、表示制御部１１４は３次元マップ１３０から工場２４０内を上から見た見取り図を生成する。さらに表示制御部１１４は、カメラ２２２、および端末２３１の位置情報および向きの情報を基に、生成した見取り図にカメラのアイコンを配置して、見取り図領域３１３の表示データを生成する。
【0049】
以上に説明したようにアクション処理サーバ１００は、対象物２１０上の箇所（３次元座標で示される位置）に対応する位置にアクションマーク３１７が付与された対象物２１０の撮影画像と、アクション情報とを端末２３１～２３３に送信する表示制御部１１４を備える。
またアクション処理サーバ１００が備える表示制御部１１４は、対象物２１０上の箇所に対応する位置にアクションマーク３１７が付与された対象物２１０の撮影画像と、アクション情報（質問）とに加えて、新たなアクション情報（当該質問に係る応答・コメント）とを端末２３１～２３３に送信する。なお、新たなアクション情報の送信は省略可能である。
他にもアクション処理サーバ１００が備える表示制御部１１４は、撮影画像のなかでモザイクエリアに相当する部分画像にモザイクを施す。
またアクション処理サーバ１００が備える表示制御部１１４は、対象物２１０上の箇所に対応する位置にアクションマーク３１７が付与された対象物２１０の撮影画像と、アクション情報（質問）とに加えて、新たなアクション情報（当該質問に係る応答・コメント）とを端末２３１～２３３に送信する。なお、新たなアクション情報の送信は省略可能である。
他にもアクション処理サーバ１００が備える表示制御部１１４は、撮影画像のなかでモザイクエリアに相当する部分画像にモザイクを施す。
【0050】
≪制御部：アクション処理部≫
アクション処理部１１５は、端末２３１～２３３から受信したアクションに係る情報をアクションデータベース１５０（図９参照）に格納する。受信するアクションには、撮影画像に写る対象物２１０の箇所を指定して入力された質問のアクション（図４参照）および質問のアクションに対する応答やコメントのアクション（図７参照）がある。
アクション処理部１１５は、端末２３１～２３３から受信したアクションに係る情報をアクションデータベース１５０（図９参照）に格納する。受信するアクションには、撮影画像に写る対象物２１０の箇所を指定して入力された質問のアクション（図４参照）および質問のアクションに対する応答やコメントのアクション（図７参照）がある。
【0051】
質問のアクションに係る情報には、撮影画像における箇所の位置（２次元座標）や質問文が含まれる。アクション処理部１１５は、撮影画像における箇所の位置、撮影画像を撮影したカメラ２２２または端末２３１の位置、向き（撮影角度）、および３次元マップ１３０に基づいて、指定された箇所である対象物２１０上の位置（３次元座標）を算出する。アクション処理部１１５は、アクションデータベース１５０にレコードを追加し、識別情報１５１には新たな識別情報を、対象位置１５２には算出した３次元座標を、先行１５３には「Ｎ／Ａ」を、受付時刻１５４にはアクションを受信した時刻を、発信端末１５５にはアクション情報を送信した端末２３１～２３３の識別情報を、内容１５６には質問文を格納する。
【0052】
このようにアクション処理サーバ１００は、対象物２１０の撮影画像上の指定された位置、および当該位置に関連したアクション情報を取得し、当該撮影画像上の指定された位置に対応する対象物２１０上の３次元空間における箇所を算出するアクション処理部１１５を備える。
またアクション処理サーバ１００が備えるアクション処理部１１５は、対象物２１０の撮影画像を撮影した撮影装置（カメラ２２２、端末２３１）の位置および向きを取得し、対象物２１０の撮影画像上の指定された位置、取得部１１１が取得した位置情報（取得部１１１が取得した距離情報に基づいて生成された３次元マップ１３０参照）、当該撮影装置の位置および向きに基づいて、当該撮影画像上の指定された位置（２次元座標）に対応する対象物２１０上の箇所（３次元座標）を算出する。
またアクション処理サーバ１００が備えるアクション処理部１１５は、対象物２１０の撮影画像を撮影した撮影装置（カメラ２２２、端末２３１）の位置および向きを取得し、対象物２１０の撮影画像上の指定された位置、取得部１１１が取得した位置情報（取得部１１１が取得した距離情報に基づいて生成された３次元マップ１３０参照）、当該撮影装置の位置および向きに基づいて、当該撮影画像上の指定された位置（２次元座標）に対応する対象物２１０上の箇所（３次元座標）を算出する。
【0053】
応答・コメントのアクションに係る情報には、先行する質問のアクションの識別情報や応答文・コメント文が含まれる。アクション処理部１１５は、アクションデータベース１５０にレコードを追加し、識別情報１５１には新たな識別情報を、対象位置１５２には「Ｎ／Ａ」を、先行１５３には先行する質問のアクションの識別情報１５１を、受付時刻１５４にはアクション情報を受信した時刻を、発信端末１５５にはアクションを送信した端末２３１～２３３の識別情報を、内容１５６には応答文・コメント文を格納する。
このようにアクション処理サーバ１００が備えるアクション処理部１１５は、アクション情報（質問）に関連した新たなアクション情報（応答・コメント）を端末２３１～２３３から取得する。
このようにアクション処理サーバ１００が備えるアクション処理部１１５は、アクション情報（質問）に関連した新たなアクション情報（応答・コメント）を端末２３１～２３３から取得する。
【0054】
≪表示制御処理とアクション処理≫
図１１は、本実施形態に係る表示制御処理およびアクション処理のフローチャートである。ステップＳ３１～Ｓ３７は、主に表示制御部１１４が実行する表示制御処理である。ステップＳ４１～Ｓ４４は、アクション処理部１１５が実行するアクション処理である。本見学中（図２のステップＳ２０～Ｓ２３参照）には、表示制御処理とアクション処理とが並行して同時に実行される。
図１１は、本実施形態に係る表示制御処理およびアクション処理のフローチャートである。ステップＳ３１～Ｓ３７は、主に表示制御部１１４が実行する表示制御処理である。ステップＳ４１～Ｓ４４は、アクション処理部１１５が実行するアクション処理である。本見学中（図２のステップＳ２０～Ｓ２３参照）には、表示制御処理とアクション処理とが並行して同時に実行される。
【0055】
ステップＳ３１において取得部１１１は、カメラ２２２および端末２３１から撮影画像を受信して取得する。
ステップＳ３２において表示制御部１１４は、撮影画像のなかのモザイクエリアが写る領域にモザイクを施す。
ステップＳ３３において表示制御部１１４は、アクションデータベース１５０からアクションの情報を取得する。
ステップＳ３２において表示制御部１１４は、撮影画像のなかのモザイクエリアが写る領域にモザイクを施す。
ステップＳ３３において表示制御部１１４は、アクションデータベース１５０からアクションの情報を取得する。
【0056】
ステップＳ３４において表示制御部１１４は、ステップＳ３３で取得したアクションに係る対象位置１５２（図９参照）に対応する撮影画像の位置にアクションマーク３１７を追加する。つまり表示制御部１１４は、撮影画像にアクションマーク３１７が重ねて（重畳して）表示されるように、ステップＳ３２で生成された撮影画像を加工する。
ステップＳ３５において表示制御部１１４は、見取り図領域３１３の表示データを生成する。
ステップＳ３５において表示制御部１１４は、見取り図領域３１３の表示データを生成する。
【0057】
ステップＳ３６において表示制御部１１４は、ステップＳ３２で生成したモザイクが施された撮影画像、ステップＳ３３で取得したアクションの情報、およびステップＳ３５で生成した見取り図領域３１３の表示データを含む画面データを端末２３１～２３３に送信する。
ステップＳ３７において表示制御部１１４は、説明者が利用する端末２３１から終了の指示があれば（ステップＳ３７→ＹＥＳ）表示制御処理を終了し、終了の指示がなれば（ステップＳ３７→ＮＯ）ステップＳ３１に戻る。
ステップＳ３７において表示制御部１１４は、説明者が利用する端末２３１から終了の指示があれば（ステップＳ３７→ＹＥＳ）表示制御処理を終了し、終了の指示がなれば（ステップＳ３７→ＮＯ）ステップＳ３１に戻る。
【0058】
ステップＳ４１においてアクション処理部１１５は、アクション（質問・応答・コメント）の情報を端末２３１～２３３から受信する。
ステップＳ４２においてアクション処理部１１５は、ステップＳ４１で受信したアクションが質問であって指定された撮影画像内の位置（２次元座標）が含まれていれば、対応する対象物２１０上の箇所（３次元座標）を算出する。
ステップＳ４２においてアクション処理部１１５は、ステップＳ４１で受信したアクションが質問であって指定された撮影画像内の位置（２次元座標）が含まれていれば、対応する対象物２１０上の箇所（３次元座標）を算出する。
【0059】
ステップＳ４３においてアクション処理部１１５は、アクションの情報をアクションデータベース１５０に格納する。
ステップＳ４４においてアクション処理部１１５は、説明者が利用する端末２３１から終了の指示があれば（ステップＳ４４→ＹＥＳ）アクション処理を終了し、終了の指示がなれば（ステップＳ４４→ＮＯ）ステップＳ４１に戻る。
ステップＳ４４においてアクション処理部１１５は、説明者が利用する端末２３１から終了の指示があれば（ステップＳ４４→ＹＥＳ）アクション処理を終了し、終了の指示がなれば（ステップＳ４４→ＮＯ）ステップＳ４１に戻る。
【0060】
ここまでに説明した表示制御処理とアクション処理とは、本見学中（図２のステップＳ２０～Ｓ２３参照）の処理である。事前見学中（ステップＳ１６～Ｓ１９参照）についても、ほぼ同様である。異なる点は以下のとおりである。
ステップＳ３１において取得部１１１は、カメラ２２２、端末２３１から撮影画像を取得するのではなく、事前見学コンテンツ１６０から撮影画像を取得する。
事前見学中の撮影画像は、撮影済みの画像であり、事前見学コンテンツ１６０の制作時にモザイクを施してもよく、ステップＳ３２はスキップできる。
このようにアクション処理サーバ１００が備える取得部１１１が取得する撮影画像は、対象物２１０の撮影済みのコンテンツ（事前見学コンテンツ１６０参照）に含まれる撮影画像であってもよい。
ステップＳ３１において取得部１１１は、カメラ２２２、端末２３１から撮影画像を取得するのではなく、事前見学コンテンツ１６０から撮影画像を取得する。
事前見学中の撮影画像は、撮影済みの画像であり、事前見学コンテンツ１６０の制作時にモザイクを施してもよく、ステップＳ３２はスキップできる。
このようにアクション処理サーバ１００が備える取得部１１１が取得する撮影画像は、対象物２１０の撮影済みのコンテンツ（事前見学コンテンツ１６０参照）に含まれる撮影画像であってもよい。
【0061】
≪オンライン見学システムの特徴≫
以上説明したように、アクションを通じて見学者と説明者との間で、質問や応答のやり取りが可能になる。さらに見学者間でのコメントのやり取りも可能になる。やり取りの際、質問の起点となった対象物２１０の箇所が、見学者と説明者間で共有されているため、説明者は質問者の質問を容易に把握でき、的確に回答することができる。また、質問者以外の見学者は、質問や回答の内容を明瞭に把握することができるようになる。
以上説明したように、アクションを通じて見学者と説明者との間で、質問や応答のやり取りが可能になる。さらに見学者間でのコメントのやり取りも可能になる。やり取りの際、質問の起点となった対象物２１０の箇所が、見学者と説明者間で共有されているため、説明者は質問者の質問を容易に把握でき、的確に回答することができる。また、質問者以外の見学者は、質問や回答の内容を明瞭に把握することができるようになる。
【0062】
また対象物２１０の箇所は、撮影画像上の位置ではなく、対象物２１０の３次元空間上の位置である。このため、撮影するカメラ２２２や端末２３１が切り替わったり、移動したり、撮影の向きが変わったりしても、対象物２１０上の同じ箇所を示しており（図５、図６記載のアクションマーク３１７，３１７Ａ参照）説明者や見学者が何処／何についてやり取り（議論）しているか混乱することはない。
【0063】
説明者は、見学者に見せたくない製品や設備があるエリアをモザイクエリアとして設定して（図２のステップＳ１４、図１０参照）、端末２３１～２３３に表示される撮影画像にモザイクをかけることができる。このため撮影画像に見せたくない製品や設備が写り込むことがないようにカメラ２２２や端末２３１の位置や向きを気にする必要がなくなる。特に端末２３１の撮影画像について、見学者は対象物２１０を説明するうえで適切な場所・向きから撮影することができる。延いては、見学者にとっても望ましい撮影画像を見ながら説明が受けられる。
【0064】
≪変形例：複数の箇所≫
上記した実施形態においてアクションの起点となる対象物２１０の箇所は１つであり、撮影画像表示領域３１１に表示されるアクションマーク３１７，３１７Ａは１つである（図５～図７参照）。同じ時間帯に複数の箇所に係るアクションが起こることを想定して、複数のアクションマークが表示されるようにしてもよい。
上記した実施形態においてアクションの起点となる対象物２１０の箇所は１つであり、撮影画像表示領域３１１に表示されるアクションマーク３１７，３１７Ａは１つである（図５～図７参照）。同じ時間帯に複数の箇所に係るアクションが起こることを想定して、複数のアクションマークが表示されるようにしてもよい。
【0065】
図１２は、本実施形態の変形例に係る複数のアクションマーク３１７，３１８が表示される画面３１０Ｅを説明するための図である。以下では、１つの箇所に係る連続するアクションをスレッドと記す。
アクションマーク３１７は、アクションマーク３１８より強調されて表示されており、アクション領域３１２に表示されるアクションは、アクションマーク３１７に係ることを示している。アクションマーク３１８は、アクション領域３１２にある質問のアクションを入力した見学者Ａとは異なる見学者Ｂが入力したアクションに係る対象物２１０の箇所を示している。アクションマーク３１８がタップされると、アクションマーク３１８（で示される対象物２１０の箇所）に係るアクションのスレッドがアクション領域３１２に表示される。
アクションマーク３１７は、アクションマーク３１８より強調されて表示されており、アクション領域３１２に表示されるアクションは、アクションマーク３１７に係ることを示している。アクションマーク３１８は、アクション領域３１２にある質問のアクションを入力した見学者Ａとは異なる見学者Ｂが入力したアクションに係る対象物２１０の箇所を示している。アクションマーク３１８がタップされると、アクションマーク３１８（で示される対象物２１０の箇所）に係るアクションのスレッドがアクション領域３１２に表示される。
【0066】
このような操作を実現するためにアクション処理部１１５は、アクションマーク３１８に係る２番目のアクションについて、１番目のアクションと同様に処理してアクションデータベース１５０に格納する。また表示制御部１１４は、アクションデータベース１５０にある対象位置１５２ごと（つまりはアクションのスレッドごと）に画面データを生成して（図１１記載のステップＳ３１～Ｓ３５参照）、利用者が指定したアクションマークに対応するアクションのスレッドを含む画面データを端末に送信するようにしてもよい。
【0067】
このようにアクション処理サーバ１００が備えるアクション処理部１１５は、対象物２１０の撮影画像上の新たに指定された位置（２次元座標）、および当該位置に関連した新たなアクション情報（２番目のアクション）を取得し、撮影画像上の新たに指定された位置に対応する対象物２１０上の箇所（３次元座標）を算出する。
またアクション処理サーバ１００が備える表示制御部１１４は、対象物２１０上の箇所に対応する位置、および対象物２１０の撮影画像上の新たに指定された位置にアクションマーク３１８が付与された対象物２１０の撮影画像を端末２３１～２３３に送信する。
またアクション処理サーバ１００が備える表示制御部１１４は、対象物２１０上の箇所に対応する位置、および対象物２１０の撮影画像上の新たに指定された位置にアクションマーク３１８が付与された対象物２１０の撮影画像を端末２３１～２３３に送信する。
【0068】
または、以下に示すような実現の手法であってもよい。アクションマーク３１８がタップされると端末は、撮影画像のタップされた位置（２次元座標）をアクション処理サーバ１００に送信する。表示制御部１１４は、撮影画像の位置から対象物２１０の箇所の位置（３次元座標）を算出する。次に表示制御部１１４は、アクションデータベース１５０のなかで対象位置１５２が、算出した位置であるアクション（アクションのスレッド）を抽出して、端末に送信する。端末は受信したアクションをアクション領域３１２に表示する。
【0069】
このようにアクション処理サーバ１００が備える表示制御部１１４は、端末２３１～２３３から対象物２１０の撮影画像上の位置を取得すると、当該位置に対応する対象物２１０上の箇所を算出し、当該対象物２１０上の箇所に関連したアクション情報を当該端末２３１～２３３に送信する。
このように複数の箇所・アクションのスレッドを扱うことで、説明者と見学者とは複数の観点から議論することができ、対象物２１０についてより理解を深めることができる。
このように複数の箇所・アクションのスレッドを扱うことで、説明者と見学者とは複数の観点から議論することができ、対象物２１０についてより理解を深めることができる。
【0070】
≪変形例：３次元マップ生成≫
上記した実施形態では、ステレオカメラ２２１から取得した距離情報を基に、３次元マップ生成部１１２が、３次元マップ１３０を生成している。ステレオカメラ２２１が、対象物２１０がある領域や領域２４１を含む領域の３次元情報（位置情報）を生成して、アクション処理サーバ１００に送信するようにしてもよい。
この場合、アクション処理サーバ１００は、対象物２１０の１つ以上の撮影画像と、対象物２１０および対象物２１０の周辺にある物体の３次元の位置情報とを取得する取得部１１１を備えることになる。
上記した実施形態では、ステレオカメラ２２１から取得した距離情報を基に、３次元マップ生成部１１２が、３次元マップ１３０を生成している。ステレオカメラ２２１が、対象物２１０がある領域や領域２４１を含む領域の３次元情報（位置情報）を生成して、アクション処理サーバ１００に送信するようにしてもよい。
この場合、アクション処理サーバ１００は、対象物２１０の１つ以上の撮影画像と、対象物２１０および対象物２１０の周辺にある物体の３次元の位置情報とを取得する取得部１１１を備えることになる。
【0071】
≪適用例≫
上記した実施形態では工場２４０で製作される製品を対象物２１０としているが、これに限らない。オンライン見学システム１０は、施設のオンライン見学やオンライン観光ツアー、住宅のオンラインでの内部見学（内見）などを含むオンライン見学（説明会）でも利用可能である。
上記した実施形態では工場２４０で製作される製品を対象物２１０としているが、これに限らない。オンライン見学システム１０は、施設のオンライン見学やオンライン観光ツアー、住宅のオンラインでの内部見学（内見）などを含むオンライン見学（説明会）でも利用可能である。
【0072】
≪その他変形例≫
なお、本明細書において、プログラム１２８を記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。上記した実施形態において表示制御部１１４は、モザイクが施された撮影画像、アクションの情報、および見取り図領域３１３の表示データを含む画面データを生成して端末２３１～２３３に送信する（図１１記載のステップＳ３１～Ｓ３６参照）。表示制御部１１４は、個々の端末２３１～２３３それぞれに応じた画面データを生成して、個々の端末２３１～２３３に送信するようにしてもよい。例えば、撮影画像表示領域３１１やアクション領域３１２の表示内容は、端末２３１～２３３によって異なる場合がある。表示制御部１１４は、個々の端末２３１～２３３それぞれに応じた画面データを生成することで、表示制御処理が単純になる。
なお、本明細書において、プログラム１２８を記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。上記した実施形態において表示制御部１１４は、モザイクが施された撮影画像、アクションの情報、および見取り図領域３１３の表示データを含む画面データを生成して端末２３１～２３３に送信する（図１１記載のステップＳ３１～Ｓ３６参照）。表示制御部１１４は、個々の端末２３１～２３３それぞれに応じた画面データを生成して、個々の端末２３１～２３３に送信するようにしてもよい。例えば、撮影画像表示領域３１１やアクション領域３１２の表示内容は、端末２３１～２３３によって異なる場合がある。表示制御部１１４は、個々の端末２３１～２３３それぞれに応じた画面データを生成することで、表示制御処理が単純になる。
【0073】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0074】
１０ オンライン見学システム
１００ アクション処理サーバ
１１１ 取得部
１１２ ３次元マップ生成部
１１３ モザイクエリア設定部
１１４ 表示制御部
１１５ アクション処理部
１３０ ３次元マップ
１４０ モザイクエリア情報
１５０ アクションデータベース
１６０ 事前見学コンテンツ（対象物の撮影済みのコンテンツ）
２１０ 対象物
２３１～２３３ 端末
３１７，３１７Ａ アクションマーク
３３３ モザイクエリア
１００ アクション処理サーバ
１１１ 取得部
１１２ ３次元マップ生成部
１１３ モザイクエリア設定部
１１４ 表示制御部
１１５ アクション処理部
１３０ ３次元マップ
１４０ モザイクエリア情報
１５０ アクションデータベース
１６０ 事前見学コンテンツ（対象物の撮影済みのコンテンツ）
２１０ 対象物
２３１～２３３ 端末
３１７，３１７Ａ アクションマーク
３３３ モザイクエリア
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】