IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

<>
  • -システム 図1
  • -システム 図2
  • -システム 図3
  • -システム 図4
  • -システム 図5
  • -システム 図6
  • -システム 図7
  • -システム 図8
  • -システム 図9
  • -システム 図10
  • -システム 図11
  • -システム 図12
  • -システム 図13
  • -システム 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2026085696
(43)【公開日】2026-05-25
(54)【発明の名称】システム
(51)【国際特許分類】
   G06Q 50/10 20120101AFI20260518BHJP
【FI】
G06Q50/10
【審査請求】未請求
【請求項の数】3
【出願形態】OL
(21)【出願番号】P 2024198491
(22)【出願日】2024-11-13
(71)【出願人】
【識別番号】591280485
【氏名又は名称】ソフトバンクグループ株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】星野 静
【テーマコード(参考)】
5L050
【Fターム(参考)】
5L050CC11
(57)【要約】
【課題】システムを提供する。
【解決手段】
地理データやリアルタイム天候情報を取得し、それに基づいて危険エリアを評価する手段と、
ユーザの位置をGPSによって常時監視し、カメラを通じて映像データを収集する手段と、
取得したデータを基にユーザの位置が危険エリアに接近、または侵入しているかを判定する手段と、
ユーザに対して危険エリアへの近接を視覚的および音声で警告する手段と、
ユーザに安全なルートと観光スポットを案内する手段、
を含むシステム。
【選択図】図1

【特許請求の範囲】
【請求項1】
地理データやリアルタイム天候情報を取得し、それに基づいて危険エリアを評価する手段と、
ユーザの位置をGPSによって常時監視し、カメラを通じて映像データを収集する手段と、
取得したデータを基にユーザの位置が危険エリアに接近、または侵入しているかを判定する手段と、
ユーザに対して危険エリアへの近接を視覚的および音声で警告する手段と、
ユーザに安全なルートと観光スポットを案内する手段、
を含むシステム。
【請求項2】
端末がカメラの映像データを用いて拡張現実技術により視覚的警告を提供する請求項1記載のシステム。
【請求項3】
管理者に対して危険エリアの状況をリアルタイムで監視できるダッシュボードを提供する請求項1記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の技術は、システムに関する。
【背景技術】
【0002】
特許文献1には、少なくとも一つのプロセッサにより遂行される、ペルソナチャットボット制御方法であって、ユーザ発話を受信するステップと、前記ユーザ発話を、チャットボットのキャラクターに関する説明と関連した指示文を含むプロンプトに追加するステップと前記プロンプトをエンコードするステップと、前記エンコードしたプロンプトを言語モデルに入力して、前記ユーザ発話に応答するチャットボット発話を生成するステップ、を含む、方法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2022-180282号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
観光中に電子機器に夢中になることで、周囲の危険に気づかず、思わぬ事故が発生するリスクが高まっている。この課題は、特に危険な地形や急激な天候変化にさらされる観光地において顕著である。従来の案内板や人員による警告では、リアルタイムでの即時対応が難しく、個々の観光客に即座に適切な警告を届ける手段が求められている。
【課題を解決するための手段】
【0005】
本発明は、地理データやリアルタイム天候情報を基に、観光客が危険エリアに接近した際に即座に警告を発するシステムを提供する。このシステムは、GPSを用いてユーザの位置を常時監視し、カメラから取得した映像データを解析する。さらに、拡張現実技術によって視覚的に警告を提供するとともに、音声を用いてユーザへ注意喚起を行う。また、観光客には安全なルートの案内を行う一方、管理者に対してはリアルタイムで危険エリアの状況を監視可能なダッシュボードを提供するものである。
【0006】
「地理データ」とは、観光地や周辺の地形、地物、道路、施設などの位置情報やその属性に関するデータである。
【0007】
「リアルタイム天候情報」とは、現在進行中の天候状況を示すデータであり、降水、気温、風速、湿度などを含む情報である。
【0008】
「危険エリア」とは、地形や環境により観光客にとって落下や滑落、その他の危険性があると判断される区域である。
【0009】
「GPS」とは、地理的位置を特定するために使用される全地球測位システムであり、衛星を利用して地上の特定地点の座標を取得するものである。
【0010】
「カメラ映像データ」とは、スマートフォンやその他のデバイスのカメラを用いて取得された視覚的なデジタル画像情報である。
【0011】
「拡張現実技術」とは、現実世界の映像にコンピュータ生成の情報を重ね合わせて表示する技術であり、ユーザに現実以上の情報を提供するものである。
【0012】
「視覚的警告」とは、ユーザが視認できる方法で、危険を知らせるために表示されるグラフィックや文字情報である。
【0013】
「音声による注意喚起」とは、ユーザに対して音声を使って警告や注意のメッセージを伝える方法である。
【0014】
「ダッシュボード」とは、管理者がリアルタイムでシステムデータや状況を監視できるように設計されたインターフェースである。
【図面の簡単な説明】
【0015】
図1】第1実施形態に係るデータ処理システムの構成の一例を示す概念図である。
図2】第1実施形態に係るデータ処理装置及びスマートデバイスの要部機能の一例を示す概念図である。
図3】第2実施形態に係るデータ処理システムの構成の一例を示す概念図である。
図4】第2実施形態に係るデータ処理装置及びスマート眼鏡の要部機能の一例を示す概念図である。
図5】第3実施形態に係るデータ処理システムの構成の一例を示す概念図である。
図6】第3実施形態に係るデータ処理装置及びヘッドセット型端末の要部機能の一例を示す概念図である。
図7】第4実施形態に係るデータ処理システムの構成の一例を示す概念図である。
図8】第4実施形態に係るデータ処理装置及びロボットの要部機能の一例を示す概念図である。
図9】複数の感情がマッピングされる感情マップを示す。
図10】複数の感情がマッピングされる感情マップを示す。
図11】実施例1におけるデータ処理システムの処理の流れを示すシーケンス図である。
図12】応用例1におけるデータ処理システムの処理の流れを示すシーケンス図である。
図13】感情エンジンを組み合わせた場合の実施例2におけるデータ処理システムの処理の流れを示すシーケンス図である。
図14】感情エンジンを組み合わせた場合の応用例2におけるデータ処理システムの処理の流れを示すシーケンス図である。
【発明を実施するための形態】
【0016】
以下、添付図面に従って本開示の技術に係るシステムの実施形態の一例について説明する。
【0017】
先ず、以下の説明で使用される文言について説明する。
【0018】
以下の実施形態において、符号付きのプロセッサ(以下、単に「プロセッサ」と称する)は、1つの演算装置であってもよいし、複数の演算装置の組み合わせであってもよい。また、プロセッサは、1種類の演算装置であってもよいし、複数種類の演算装置の組み合わせであってもよい。演算装置の一例としては、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、GPGPU(General-Purpose computing on Graphics Processing Units)、APU(Accelerated Processing Unit)等が挙げられる。
【0019】
以下の実施形態において、符号付きのRAM(Random Access Memory)は、一時的に情報が格納されるメモリであり、プロセッサによってワークメモリとして用いられる。
【0020】
以下の実施形態において、符号付きのストレージは、各種プログラム及び各種パラメータ等を記憶する1つ又は複数の不揮発性の記憶装置である。不揮発性の記憶装置の一例としては、フラッシュメモリ(SSD(Solid State Drive))、磁気ディスク(例えば、ハードディスク)、又は磁気テープ等が挙げられる。
【0021】
以下の実施形態において、符号付きの通信I/F(Interface)は、通信プロセッサ及びアンテナ等を含むインタフェースである。通信I/Fは、複数のコンピュータ間での通信を司る。通信I/Fに対して適用される通信規格の一例としては、5G(5th Generation Mobile Communication System)、Wi-Fi(登録商標)、又はBluetooth(登録商標)等を含む無線通信規格が挙げられる。
【0022】
以下の実施形態において、「A及び/又はB」は、「A及びBのうちの少なくとも1つ」と同義である。つまり、「A及び/又はB」は、Aだけであってもよいし、Bだけであってもよいし、A及びBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「及び/又は」で結び付けて表現する場合も、「A及び/又はB」と同様の考え方が適用される。
【0023】
[第1実施形態]
【0024】
図1には、第1実施形態に係るデータ処理システム10の構成の一例が示されている。
【0025】
図1に示すように、データ処理システム10は、データ処理装置12及びスマートデバイス14を備えている。データ処理装置12の一例としては、サーバが挙げられる。
【0026】
データ処理装置12は、コンピュータ22、データベース24、及び通信I/F26を備えている。コンピュータ22は、本開示の技術に係る「コンピュータ」の一例である。コンピュータ22は、プロセッサ28、RAM30、及びストレージ32を備えている。プロセッサ28、RAM30、及びストレージ32は、バス34に接続されている。また、データベース24及び通信I/F26も、バス34に接続されている。通信I/F26は、ネットワーク54に接続されている。ネットワーク54の一例としては、WAN(Wide Area Network)及び/又はLAN(Local Area Network)等が挙げられる。
【0027】
スマートデバイス14は、コンピュータ36、受付装置38、出力装置40、カメラ42、及び通信I/F44を備えている。コンピュータ36は、プロセッサ46、RAM48、及びストレージ50を備えている。プロセッサ46、RAM48、及びストレージ50は、バス52に接続されている。また、受付装置38、出力装置40、及びカメラ42も、バス52に接続されている。
【0028】
受付装置38は、タッチパネル38A及びマイクロフォン38B等を備えており、ユーザ入力を受け付ける。タッチパネル38Aは、指示体(例えば、ペン又は指等)の接触を検出することにより、指示体の接触によるユーザ入力を受け付ける。マイクロフォン38Bは、ユーザの音声を検出することにより、音声によるユーザ入力を受け付ける。制御部46Aは、タッチパネル38A及びマイクロフォン38Bによって受け付けたユーザ入力を示すデータをデータ処理装置12に送信する。データ処理装置12では、特定処理部290が、ユーザ入力を示すデータを取得する。
【0029】
出力装置40は、ディスプレイ40A及びスピーカ40B等を備えており、データをユーザ20が知覚可能な表現形(例えば、音声及び/又はテキスト)で出力することでデータをユーザ20に対して提示する。ディスプレイ40Aは、プロセッサ46からの指示に従ってテキスト及び画像等の可視情報を表示する。スピーカ40Bは、プロセッサ46からの指示に従って音声を出力する。カメラ42は、レンズ、絞り、及びシャッタ等の光学系と、CMOS(Complementary Metal-Oxide-Semiconductor)イメージセンサ又はCCD(Charge Coupled Device)イメージセンサ等の撮像素子とが搭載された小型デジタルカメラである。
【0030】
通信I/F44は、ネットワーク54に接続されている。通信I/F44及び26は、ネットワーク54を介してプロセッサ46とプロセッサ28との間の各種情報の授受を司る。
【0031】
図2には、データ処理装置12及びスマートデバイス14の要部機能の一例が示されている。
【0032】
図2に示すように、データ処理装置12では、プロセッサ28によって特定処理が行われる。ストレージ32には、特定処理プログラム56が格納されている。特定処理プログラム56は、本開示の技術に係る「プログラム」の一例である。プロセッサ28は、ストレージ32から特定処理プログラム56を読み出し、読み出した特定処理プログラム56をRAM30上で実行する。特定処理は、プロセッサ28がRAM30上で実行する特定処理プログラム56に従って特定処理部290として動作することによって実現される。
【0033】
ストレージ32には、データ生成モデル58及び感情特定モデル59が格納されている。データ生成モデル58及び感情特定モデル59は、特定処理部290によって用いられる。
【0034】
スマートデバイス14では、プロセッサ46によって受付出力処理が行われる。ストレージ50には、受付出力プログラム60が格納されている。受付出力プログラム60は、データ処理システム10によって特定処理プログラム56と併用される。プロセッサ46は、ストレージ50から受付出力プログラム60を読み出し、読み出した受付出力プログラム60をRAM48上で実行する。受付出力処理は、プロセッサ46がRAM48上で実行する受付出力プログラム60に従って、制御部46Aとして動作することによって実現される。
【0035】
次に、データ処理装置12の特定処理部290による特定処理について説明する。以下の説明では、データ処理装置12を「サーバ」と称し、スマートデバイス14を「端末」と称する。
【0036】
本発明は、観光中のユーザに対して、危険エリアを検知して警告を発し、安全性を確保するためのシステムである。システムは主に、サーバと端末(ユーザのスマートフォン)で構成される。以下、その詳細を説明する。
【0037】
サーバは、地理データベースから観光地や周辺の地理情報を取得し、適宜更新を行う。また、天候管理サービスからリアルタイムの天候情報を受信し、これをデータに統合する。この集約された情報を元に、サーバは危険エリアを動的に判断し、その情報を端末に送信する。
【0038】
端末ではGPSを使用して、常時ユーザの現在位置を特定する。これに加えて、端末のカメラを使って周囲の映像データを取得する。この映像データは、リアルタイムで端末内にインストールされたAIモデルにより解析され、視覚的な情報から危険エリアの特定が行われる。
【0039】
もしユーザが危険エリアに接近したとシステムが判断すると、端末はAR技術を用いてユーザの画面上に視覚的な警告を表示する。例えば、カメラの風景に重ねて「危険!」の文字や赤い枠をオーバーレイ表示する。同時に、音声で「危険な領域に近づいています」という警告をユーザに伝える。
【0040】
ユーザは、これらの警告に基づいて安全な観光エリアを維持できるほか、端末によって提供される安全な閲覧ルートを参考にすることができる。さらに、観光施設の管理者にとっては、サーバが提供するダッシュボードにより、観光地全体の危険エリアや天候状況をリアルタイムで監視できるため、的確な安全対応が可能となる。
【0041】
具体例として、ある観光地では、散策路に沿った崖が多く、予期せぬ滑落事故が懸念されている。このシステムにより、端末がユーザの位置を逐次監視し、崖に近づくと警告が表示されることで、事故を未然に防ぐことができる。また、天候が急変し落雷の危険がある場合でも、迅速に情報を受けてユーザに退避を促す通知を出すことができるため、安全な観光が支援される。
【0042】
以下に、処理の流れについて説明する。
【0043】
ステップ1:
【0044】
サーバは、地理データベースと天候管理サービスから、それぞれ地理情報とリアルタイムの天候情報を取得し、これらを照合して危険エリアのリストを生成する。
【0045】
ステップ2:
【0046】
端末は、GPSセンサを用いてユーザの現在位置を定期的に取得する。この情報は、端末内部で指定された更新間隔に従ってサーバにも送信される。
【0047】
ステップ3:
【0048】
端末は、カメラを使用して継続的に映像データを収集し、このデータを高性能なAIモデルでリアルタイムに解析する。AIモデルは、カメラで捉えた風景が危険エリアに含まれるかどうかを判定する。
【0049】
ステップ4:
【0050】
サーバは、ユーザの位置情報と危険エリアリストを比較し、ユーザが危険エリアに接近または侵入している場合、その情報を端末に送信する。
【0051】
ステップ5:
【0052】
端末は、サーバからの危険エリア通知またはAIモデルの解析結果に基づき、ユーザのスマートフォン画面に拡張現実(AR)を用いた視覚警告を表示する。これには、カメラの映像に「危険!」という警告や注意喚起のメッセージがオーバーレイされる。
【0053】
ステップ6:
【0054】
端末は、視覚警告とともに、音声出力でユーザに対し注意喚起を行う。音声で「危険な領域です、注意してください」といったメッセージを発する。
【0055】
ステップ7:
【0056】
ユーザが提示された警告に対応し、安全なルートや観光地を案内するための代替ルート情報を端末から受け取る。これにより、ユーザは危険を回避して観光を続けることができる。
【0057】
ステップ8:
【0058】
サーバは、施設管理者用のダッシュボードを更新し、観光地全体の危険状況やユーザの行動情報をリアルタイムで表示する。この情報に基づき、管理者は必要に応じて現場での対策を実施する。
【0059】
(実施例1)
【0060】
次に、実施例1について説明する。以下の説明では、データ処理装置12を「サーバ」と称し、スマートデバイス14を「端末」と称する。
【0061】
近年、観光地への訪問者の安全を確保することが重要視されているが、リアルタイムでの危険エリアの警告や、安全なルートの案内を自動的に提供する技術が不足している。特に、環境が変化しやすい自然の中では、天候の悪化や地形の危険性に対する対応が遅れがちで、事故の原因となる。この課題を解決するためには、観光地における利用者の安全を高める効率的かつ信頼性のあるシステムが求められている。
【0062】
実施例1におけるデータ処理装置12の特定処理部290による特定処理を、以下の各手段により実現する。
【0063】
この発明では、サーバは、位置情報データベースと気象情報サービスから地理情報および気象データを取得し、統合して危険区域を評価する手段と、利用者の位置を全地球測位システムによって継続的に特定し、撮影装置を通じて視覚データを取得する手段と、取得した位置データおよび視覚情報を基に利用者の位置が危険区域に接近または侵入しているかを判定する手段と、を含む。これにより、利用者に対してリアルタイムで安全な観光を促すことが可能となる。
【0064】
「位置情報データベース」とは、地理的な位置を示す情報を蓄積し、検索可能な形式で保存するシステムである。
【0065】
「気象情報サービス」とは、気象データをリアルタイムで提供するオンラインの情報プラットフォームである。
【0066】
「危険区域」とは、利用者の安全が脅かされる可能性がある場所を指し、動的に評価される領域である。
【0067】
「全地球測位システム」とは、衛星を利用して地球上の特定地点の位置を測定するシステムである。
【0068】
「撮影装置」とは、視覚データを取得するためのカメラやイメージセンサーなどの装置である。
【0069】
「視覚データ」とは、カメラなどで撮影された画像や映像情報を指す。
【0070】
「拡張現実技術」とは、現実世界の視覚情報にデジタル情報を重ね合わせ、表示する技術である。
【0071】
「統制パネル」とは、システムの状況を監視し、管理者が必要な操作を行うために用いるインターフェースである。
【0072】
この発明は、観光地における利用者の安全を確保するためのシステムである。このシステムは、主にサーバと端末から構成される。サーバは、位置情報データベースおよび気象情報サービスを用いて、地理情報と気象データを統合する。サーバは、これらのデータを基に危険区域を評価し、動的に更新する。サーバは、危険区域の情報を端末に送信する。
【0073】
端末は、全地球測位システムを利用して利用者の位置を継続的に特定する。また、撮影装置を用いて視覚データを取得し、端末に内蔵された生成AIモデルで解析を行う。この解析により、視覚データから危険要素を特定し、利用者が危険区域に近づいた際には警告を発することができる。警告は、拡張現実技術を用いて視覚的および音声で利用者に伝えられる。
【0074】
実施例として、観光地において急激に天候が悪化し、雷の危険が発生した場合、このシステムはサーバが即座に天候情報を取得し、危険区域を特定して端末に送信する。端末は、利用者がその区域に接近する前に警告を表示し、安全な迂回ルートを案内することができる。
【0075】
生成AIモデルは、リアルタイムで視覚データを解析する能力を有するため、環境の変化に迅速に対応できる。これにより、利用者の安全を常に最優先することが可能である。プロンプト文の例として、「ユーザが観光中に危険エリアに近づいた場合に警告を出すシステムについて説明してください。具体的には、サーバと端末がどのように連携してユーザの安全を確保するのかを詳細に述べてください。」が挙げられる。
【0076】
実施例1における特定処理の流れについて図11を用いて説明する。
【0077】
ステップ1:
【0078】
サーバは、位置情報データベースから観光地とその周辺の地理情報を取得する。入力は、地理データベースへの定期的なクエリであり、出力は最新の地理情報である。この情報には、観光名所、地形、道路ネットワークなどが含まれる。具体的な動作として、サーバはデータベースにアクセスし、必要なデータを選別して取得する。
【0079】
ステップ2:
【0080】
サーバは、気象情報サービスからリアルタイムの天候情報を受信する。入力は、外部の気象情報APIであり、出力は現在の気象データである。このデータには、雨、風速、気温情報などが含まれる。サーバは、APIを通じて気象情報をクエリし、実時間データを取得する動作を行う。
【0081】
ステップ3:
【0082】
サーバは、取得した地理情報と気象データを統合し、危険区域を評価する。入力は、ステップ1とステップ2で得たデータであり、出力は危険区域リストである。このリストは、天候条件や地形の危険性に基づいて動的に更新される。サーバはデータを処理し、リスクのあるエリアを特定するための演算を行う。
【0083】
ステップ4:
【0084】
端末は、全地球測位システムを利用してユーザの現在位置を特定する。入力はGPSシステムからの位置データであり、出力はユーザの正確な位置情報である。端末は、継続的に位置サービスを利用して経度と緯度を取得し、ユーザの移動に応じてデータを更新する。
【0085】
ステップ5:
【0086】
端末は、撮影装置を用いて周囲の視覚データを取得し、内蔵された生成AIモデルで解析を行う。入力はカメラで取得した映像データであり、出力は危険要素を含む視覚情報である。モデルは画像認識技術を使って特定のパターンや特徴を識別し、危険性を評価する。
【0087】
ステップ6:
【0088】
端末は、ユーザが危険区域に接近したと判断すると、拡張現実技術を用いて警告を表示する。入力は、ステップ3とステップ5で得たデータであり、出力は視覚的および音声による警告である。端末は、カメラ映像に「危険」の表示を重ね、音声で注意喚起を行う具体的な動作を含む。
【0089】
ステップ7:
【0090】
端末は、安全な閲覧ルートをユーザに案内する。入力はユーザの位置と危険区域情報であり、出力は安全なルート情報である。端末は、地図とナビゲーションシステムを用いて、危険区域を避けたルートを算出し、ユーザに提示する動作を行う。
【0091】
(応用例1)
【0092】
次に、応用例1について説明する。以下の説明では、データ処理装置12を「サーバ」と称し、スマートデバイス14を「端末」と称する。
【0093】
高度な自動運転技術が進展する中で、移動体が危険領域に接近することによる事故を未然に防ぎ、利用者の安全を確保することが重要である。しかし、リアルタイムで変化する地理情報や気象情報に迅速に対応し、適切な経路を選択することは難しい課題である。これにより、安全性の確保と安心な移動の実現が求められている。
【0094】
応用例1におけるデータ処理装置12の特定処理部290による特定処理を、以下の各手段により実現する。
【0095】
この発明では、サーバは、地理情報と気象情報を取得し、それに基づいて危険領域を計算する手段と、移動体の位置を衛星測位システムによって監視し、撮像装置を用いて映像情報を取得する手段と、取得した情報に基づいて移動体の位置が危険領域に接近または侵入しているかを判別する手段と、を含む。これにより、移動体の自動運転中に安全な経路を選択し、危険を未然に防ぐことが可能となる。
【0096】
「地理情報」とは、特定の地域に関する位置データや地形データを指し、移動体の安全な運行に必要な情報である。
【0097】
「気象情報」とは、天候や気象条件に関するデータであり、移動体の運行に影響を与える可能性のある情報である。
【0098】
「危険領域」とは、地理情報と気象情報に基づいて、移動体が進入することで事故やトラブルが生じる可能性のあるエリアである。
【0099】
「移動体」とは、自動的に移動する車両や機械を指し、特に自動運転技術を有するものを示す。
【0100】
「衛星測位システム」とは、人工衛星を利用して地球上の位置を高精度に特定する技術であり、移動体の位置を把握するために用いる。
【0101】
「撮像装置」とは、カメラやセンサーなど映像を取得するための装置であり、移動体周辺の状況を認識するために使用される。
【0102】
「拡張現実技術」とは、現実世界の映像にデジタル情報を重ねて表示させる技術であり、利用者に視覚的な情報を提供する手段である。
【0103】
「視覚および音声で警告する」とは、利用者に対して視覚的な表示や音を用いて注意を促し、危険を知らせる行為である。
【0104】
「経路を自動的に変更し安全経路を選択する」とは、移動体が危険領域を回避して、安全な移動を続けるために、システムが自動で新しい経路を計算し選択することを指す。
【0105】
「制御画面」とは、システムの状況や危険領域の情報を表示し、管理者がそれをリアルタイムで監視できるインターフェースである。
【0106】
この発明を実現するシステムは、サーバと移動体の端末とで構成されている。サーバは、地理情報システム(GIS)ソフトウェアと天候情報APIを活用して、地理情報と気象情報を取得し、それに基づいて危険領域をリアルタイムに計算する。取得した情報は、移動体の端末に送信される。
【0107】
移動体の端末は、衛星測位システム(GPS)を利用して、高精度に移動体の現在位置を特定し、撮像装置(カメラおよびセンサー)を用いて周囲の映像情報を取得する。これらのデータは、端末内にインストールされたTENSORFLOW(登録商標)を用いた生成AIモデルによりリアルタイムで解析される。この解析結果を基に、端末は移動体が危険領域に接近または侵入しているかどうかを判別する。
【0108】
もし危険が検知された場合、端末は拡張現実技術(AR技術)を用いて視覚的に「危険!」と表示し、音声で警告を発する。さらに、移動体の経路を自動調整し、安全経路を選択する制御を行う。この制御には、Google(登録商標) Maps APIまたはOpenStreetMapが活用される。
【0109】
また、サーバは、管理者向けに制御画面を提供し、危険領域の状態をリアルタイムで監視することを可能にしている。この制御画面では、移動体の位置情報や気象情報が一目で確認でき、必要に応じて速やかな安全対応が行える。
【0110】
具体例として、ある移動体が豪雨による冠水が発生している地域を通過しようとする場合、端末のセンサーが危険を検知し、安全な迂回経路を選択する。この結果、移動体は冠水リスクを回避し、安全に目的地に到達することが可能となる。
【0111】
プロンプト文の例としては、「現在の位置と天候情報をもとに、2km先の経路に危険があるかを判断し、安全なルートに変更してください。」が挙げられる。このプロンプトにより、生成AIモデルが迅速に適切な対応を図ることができる。
【0112】
応用例1における特定処理の流れについて図12を用いて説明する。
【0113】
ステップ1:
【0114】
サーバは地理情報システム(GIS)ソフトウェアと天候情報APIを使用して、地理情報と気象情報を取得する。取得した情報は、危険領域の計算に使用される。入力としてはGISデータベースからの位置データと天候APIからのリアルタイム気象データがあり、隣接領域での危険性を評価して危険領域情報を出力する。
【0115】
ステップ2:
【0116】
サーバは、計算された危険領域情報を移動体の端末に送信する。出力は危険領域を示すデータで、これが端末によって使用される。具体的には、危険度の高いエリアや経路の情報を端末へ送信する動作が行われる。
【0117】
ステップ3:
【0118】
端末は衛星測位システム(GPS)を利用して、移動体の現在位置を特定する。このステップでは、GPSデータを入力として受け取り、移動体の正確な位置座標を出力する。GPSセンサーが常時データを更新し、リアルタイムで位置情報を取得する動作を行う。
【0119】
ステップ4:
【0120】
端末は撮像装置(カメラおよびセンサー)を用いて、周囲の映像情報を取得する。取得した映像データは、AIモデルの入力として用いられる。具体的には、センサーから映像ストリームを取得し、環境の様子を取り込む動作が行われる。
【0121】
ステップ5:
【0122】
端末は取得した映像データをTensorFlowで構築された生成AIモデルに入力し、リアルタイムで解析する。入力は映像データであり、解析の結果、危険領域への接近または侵入が判別され、これを出力する。この結果、危険エリアに関する詳細情報がAIモデルによって生成される。
【0123】
ステップ6:
【0124】
端末は危険が検知された場合、拡張現実技術(AR技術)を用いて、ユーザに対して視覚的および音声で警告する。具体的には、危険な状況を知らせるオーバーレイ表示と音声アラートをユーザに提供する動作が行われる。
【0125】
ステップ7:
【0126】
端末は取得した情報を基に移動体の経路を自動で再評価し、安全経路を選択する。入力としてはユーザの現在位置と危険領域の情報があり、出力として安全経路の経路情報が導かれる。ナビゲーションシステムが新しい経路を計算し、その情報を表示する動作を行う。
【0127】
ステップ8:
【0128】
サーバは制御画面を通じて、管理者に危険領域の状態をリアルタイムで監視できる情報を提供する。管理者は現在の移動体の位置情報や気象条件を入力として受け取り、必要に応じて対応を行う。このステップでは、状況の変化に応じた情報を即時に表示し、指示を可能にする動作が行われる。
【0129】
更に、ユーザの感情を推定する感情エンジンを組み合わせてもよい。すなわち、特定処理部290は、感情特定モデル59を用いてユーザの感情を推定し、ユーザの感情を用いた特定処理を行うようにしてもよい。
【0130】
本発明は、観光地での安全性とユーザエクスペリエンスを向上させるために、ユーザの感情を認識する感情エンジンを組み込んだシステムである。このシステムは、ユーザの位置や周囲の危険状況をリアルタイムで監視し、ユーザの感情状態に応じて適切なフィードバックを提供する。
【0131】
サーバは、従来の地理データおよび天候情報の取得に加え、感情データベースおよびAIモデルを活用し、感情エンジンの動作をサポートする。このエンジンは、ユーザの表情解析や音声入力データをもとに、ユーザの感情状態をリアルタイムで評価する。
【0132】
端末はGPSとカメラを使用して、常にユーザの位置情報と映像データを取得する。おなじく、ユーザの音声や顔の表情を感情エンジンに送り、ユーザの感情状態を分析する。この分析結果に基づいて、感情エンジンはユーザの現在の感情状態を判定する。
【0133】
具体的な動作としては、ユーザが危険エリアに近づいていると感情エンジンが判定した際、ユーザがリラックスして楽しんでいる感情状態であれば、直線的な警告の代わりに写真撮影の良いスポットを提案し、楽しみを損なわないようにする。一方、ユーザが緊張やストレスを感じている場合は、優しい音声で適度に警告し、安心感を与えるよう操作する。このようにして、ユーザの個々の感情に対応したパーソナライズされたインタラクションを実現する。
【0134】
ユーザは、端末の感情フィードバックによって、自分の状態に最適化された注意喚起を受け、安全で快適に観光活動を行うことができる。これにより、従来の警告システムでは実現できなかった利便性と安全性の両立が可能となる。管理者にとっても、サーバにより得られたユーザの感情データは、観光地の改善点や新たなアトラクション企画の参考情報となる。
【0135】
以下に、処理の流れについて説明する。
【0136】
ステップ1:
【0137】
サーバは、地理データベースおよびリアルタイム天候情報サービスからデータを取得し、危険エリアを特定する。この情報は、端末に送信される。
【0138】
ステップ2:
【0139】
端末は、GPSセンサを用いてユーザの位置情報を定期的に取得し、サーバから受信した危険エリア情報と照合する。
【0140】
ステップ3:
【0141】
端末は、カメラを使用してユーザの表情を撮影し、マイクを使用して音声データを収集する。これらのデータは感情エンジンに入力される。
【0142】
ステップ4:
【0143】
端末上の感情エンジンは、表情解析と音声認識を行い、ユーザの感情状態をリアルタイムで評価する。この結果は即時に利用される。
【0144】
ステップ5:
【0145】
ユーザの感情状態と位置情報を基に、端末はユーザが危険エリアに接近しているかどうかを判断する。危険がある場合、感情状態に応じて警告の内容を決定する。
【0146】
ステップ6:
【0147】
端末は、ユーザがリラックスしている場合には、気軽なトーンで視覚的および音声警告を提供し、追加で楽しい観光スポットを推奨する。緊張している場合には、優しい声と柔らかな画面表示で警告を行う。
【0148】
ステップ7:
【0149】
ユーザは、端末から提供される警告とアドバイスを受けて、安全な行動を取りつつ、提示された新たなルートやオプションを選択して観光を楽しむ。
【0150】
ステップ8:
【0151】
サーバは、全てのユーザの感情データと行動データを集約し、統計的分析を行う。この情報は、管理者が観光地の安全性とユーザ体験の向上に役立てるために、ダッシュボードで提供される。
【0152】
(実施例2)
【0153】
次に、実施例2について説明する。以下の説明では、データ処理装置12を「サーバ」と称し、スマートデバイス14を「端末」と称する。
【0154】
観光地における移動体の安全性と利便性を向上させることは、観光体験の質を高めるための重要な課題である。しかし、従来の警告システムは、単純な警告しか提供できず、個々の移動体の状況や感情に応じた柔軟な対応ができないという問題がある。さらに、危険地域への接近についての警告において、過度のストレスを与えることなく効果的に注意喚起を行う手段が求められている。
【0155】
実施例2におけるデータ処理装置12の特定処理部290による特定処理を、以下の各手段により実現する。
【0156】
この発明では、サーバは、地理情報や気象情報を取得し、その情報に基づいて危険地域を評価する手段と、感情解析装置により移動体の感情状態を解析し、移動体の感情に応じたフィードバックを生成する手段と、移動体に安全な路線と見所を案内する手段と、を含む。これにより、移動体は、個々の感情状態に対応した安全かつ快適な観光体験を享受することが可能となる。
【0157】
「地理情報」とは、特定の地域に関する位置、境界、地形、施設配置などを含む情報であり、移動体のナビゲーションや位置判定に利用されるデータである。
【0158】
「気象情報」とは、特定の地域における天気、気温、降水量、風速などの気象条件に関する情報であり、外部環境の変動を把握するためのデータである。
【0159】
「危険地域」とは、特定の条件下で移動体に対して安全上のリスクをもたらす可能性のある地域であり、その評価は地理情報や気象情報を基に行われる。
【0160】
「移動体」とは、観光地などの地域内を移動する人や物を指し、その位置や状況がシステムで監視される対象である。
【0161】
「測定手段」とは、移動体の位置や動きを高精度で計測するための技術や装置であり、通常はGPS技術が用いられる。
【0162】
「画像記録手段」ととは、移動体の周囲の映像情報を取得するための装置や技術であり、一般的にはカメラが使用される。
【0163】
「感情解析装置」とは、移動体の感情状態を表情や音声データを利用して解析するための技術または装置であり、AIモデルが適用される。
【0164】
「フィードバック」とは、解析によって得られた情報を基に移動体に対して提供される助言や警告などの情報であり、感情状態に応じた形式で提示される。
【0165】
「通信装置」とは、データを端末間で送受信するための装置や技術であり、ネットワーク通信が可能な構成を持つ。
【0166】
「拡張現実技術」とは、現実世界の視覚情報にデジタル情報を重ね合わせる技術であり、視覚的な警告や案内をより直感的に提供することを目的とする。
【0167】
「管理装置」とは、システム全体の監視と制御を担当する装置であり、特に危険地域のリアルタイム状況を表示するための中枢的要素である。
【0168】
「表示装置」とは、管理装置からの情報を可視化して提示するための装置であり、通常はモニターやディスプレイが使用される。
【0169】
この発明は、観光地などで移動体の安全性とユーザエクスペリエンスを向上させるために構築されたシステムである。具体的には、移動体の位置情報、映像情報、および感情状態をリアルタイムで解析し、それに基づいた適切なフィードバックを提供する。
【0170】
端末は、ハードウェアとしてGPSとカメラを搭載している。GPSモジュールは移動体の位置情報を常時取得し、カメラは移動体の周囲の映像情報を記録する。これに加えて、マイクを用いて移動体の音声情報も取得する。これらのデータは、無線通信装置を通じてサーバに送信され、サーバでの解析が行われる。
【0171】
サーバは、受信したデータを用いて、生成AIモデル(例:TensorFlow)を駆使し、移動体の表情や音声データから感情を解析する。この際、感情解析装置がユーザのリアルタイムの感情状態を評価し、その結果を用いて最適なフィードバックを生成する。フィードバックは生成AIモデルを通じて自然言語処理されており、移動体の状態に応じた柔軟な案内を提供する。
【0172】
ユーザが危険地域に接近したとき、サーバはその移動体の感情状態を考慮に入れた警告を生成する。具体例として、ユーザがリラックスしている場合、危険を伝えるのではなく、代わりに「こちらで素晴らしい写真が撮れます」といった情報を提供する。そのためのプロンプト文を次のように設定することができる:
【0173】
「ユーザの感情状態が『リラックス』と判断された場合、写真撮影のおすすめスポットを表示するプロンプトを作成してください。」
【0174】
このようにして、システムは個々の感情に適したインタラクションを実現し、移動体が快適に観光体験を享受できるように支援する。また、管理装置は、危険地域の状況をリアルタイムで監視できるようになり、さらなる安全性の確保に貢献する。
【0175】
実施例2における特定処理の流れについて図13を用いて説明する。
【0176】
ステップ1:
【0177】
端末は、GPSモジュールを使用してユーザの位置情報を取得する。入力としては、衛星から受信する位置信号があり、これを解析することでリアルタイムの経度・緯度情報を出力する。さらに、カメラとマイクを用いてユーザの映像および音声データをそれぞれ取得する。これにより、ユーザの周囲状況や感情表現に関する生データが得られる。
【0178】
ステップ2:
【0179】
端末は、取得した位置情報、映像データ、音声データをパケットにまとめ、無線通信装置を通じてサーバに送信する。ここでの入力は、端末内で収集された各種データであり、出力はサーバへの安全で迅速なデータ転送である。この送信では、データが暗号化されているため、情報のセキュリティが確保される。
【0180】
ステップ3:
【0181】
サーバは、端末から受信したデータをデコードし、生成AIモデルを使用してこれを分析する。特に、音声と顔の表情データを感情解析装置に渡し、ユーザの感情状態を解析する。入力はサーバに送られた生データで、出力は『リラックス』や『緊張』といった定性的な感情評価である。
【0182】
ステップ4:
【0183】
サーバは、評価された感情状態とともに地理情報と気象情報を再評価し、危険地域の特定と警告戦略の策定を行う。この入力は解析結果と現地情報であり、出力は最適なフィードバック内容としてプロンプト文の形式で生成される。このプロンプト文は、利用する生成AIモデルによって自然言語に変換される。
【0184】
ステップ5:
【0185】
端末は、サーバから受け取ったプロンプトに基づき、ユーザにビジュアルまたは音声でフィードバックを表示する。ここでの入力はサーバからのプロンプト文であり、出力はユーザインタフェースを通じた案内情報である。たとえば、リラックスしているユーザには「こちらで素晴らしい写真が撮れます」といった視覚的な提案を行う。
【0186】
この一連のステップによって、システムはリアルタイムでユーザの感情に応じた安全かつ快適な観光体験を提供することが可能になる。
【0187】
(応用例2)
【0188】
次に、応用例2について説明する。以下の説明では、データ処理装置12を「サーバ」と称し、スマートデバイス14を「端末」と称する。
【0189】
本発明が解決しようとする課題は、観光地や実店舗において、訪問者の安全性とユーザエクスペリエンスを同時に向上させることである。従来の警告システムは一般的に一律の情報提供にとどまり、各利用者の感情に応じた個別対応が不足しており、訪問者が感じるストレスや不安を軽減することができていなかった。
【0190】
応用例2におけるデータ処理装置12の特定処理部290による特定処理を、以下の各手段により実現する。
【0191】
この発明では、サーバは、地理情報および気象データを取得して、危険地点を評価する手段と、ユーザの位置を位置情報技術により継続的に監視し、視覚データを収集する手段と、ユーザの感情を識別し、感情状態に基づいた適切なフィードバックを提供する手段と、を含む。これにより、訪問者一人一人の感情状態に応じた個別の警告や案内を自動的に提供することが可能となり、訪問者は安心して安全に目的地を楽しむことが可能となる。
【0192】
「地理情報」とは、特定の地域に関する位置、地形、ランドマークなどの関連情報を指し、位置の確定や経路の探索に用いられるデータである。
【0193】
「気象データ」とは、気温、降水量、風速、湿度といった大気の状態に関する情報であり、環境の現況を把握するために用いられるものである。
【0194】
「危険地点」とは、訪問者にとって安全性が脅かされる可能性のある場所を指し、事前に注意を喚起する必要があるエリアである。
【0195】
「位置情報技術」とは、GPSやその他のセンサを用いて物体や人物の現在地を特定するための技術であり、位置の追跡に用いられるものである。
【0196】
「視覚データ」とは、カメラやセンサを通じて得られる画像や映像情報であり、周囲の環境や動態を理解するために使用されるデータである。
【0197】
「感情の識別」とは、ユーザの表情、音声、身体の動きなどを解析し、現在の感情状態を推測するプロセスを指す。
【0198】
「フィードバック」とは、ユーザに提供される情報や指示、警告などの応答であり、システムが利用者の状態に基づいて動的に生成するものである。
【0199】
この発明を実施するためのシステムは、主に3つの構成要素を含む。具体的には、サーバ、端末、ユーザである。
【0200】
サーバは、地理情報と気象データを取得し、危険地点を評価する役割を担う。これにより、安全な観光やショッピング環境を確保する。また、ユーザの感情を識別し、その状態に基づいて個別のフィードバックを作成する機能も持つ。この作業には、AIモデルを活用し、データの解析および感情の判定を行う。
【0201】
端末には、主に位置情報技術と視覚データを収集するためのカメラやGPS機能が搭載される。これにより、ユーザの位置や周囲環境の情報をリアルタイムで把握することが可能である。さらに、端末はAIモデルを内蔵しており、カメラで取得した映像データと音声データからユーザの感情を解析する。解析した感情情報は、サーバに送信され、個別フィードバックの提供に役立てられる。
【0202】
ユーザが端末を使用することで、システムは彼らに安全な経路案内や観光スポットの提案を行う。例えば、ユーザが楽しんでいると判定された場合、関連する割引情報やプロモーション情報を表示することができる。逆に、困難や不安を感じている様子を検知した場合は、役立つアドバイスやヘルプを提供するためのオプションが表示されるようになっている。
【0203】
具体例としては、ユーザが店内で商品を選んでいるときにスマート眼鏡を使用した場合、その表情が笑顔であれば割引情報を視界に表示し、困った表情であれば製品のレビューや使い方のヒントを表示するようなインタラクションが可能である。この際のプロンプト文の例としては、「ユーザが微笑んでいる時、製品に関する割引情報を表示してください。」や「ユーザが困った表情をしている時、ヘルプを呼び出すかFAQを表示してください。」が挙げられる。
【0204】
この仕組みを通じて、ユーザはより安全で安心なショッピング体験や観光体験を得ることが可能であり、訪問した地域の状況に応じた適切な案内を受けることで利便性が大きく向上する。
【0205】
応用例2における特定処理の流れについて図14を用いて説明する。
【0206】
ステップ1:
【0207】
サーバは、地理情報および気象データを入力として取得する。取得した情報をもとにアルゴリズムを用いて危険地点を評価する。出力として、危険地点リストを生成し、後続の処理に備える。
【0208】
ステップ2:
【0209】
端末は、ユーザの位置を入力として位置情報技術(GPS)を利用してリアルタイムで監視し、カメラを通じて視覚データを収集する。これらのデータは、現時点でのユーザの具体的な位置と周囲の環境状況を提供し、出力としてサーバに送信される。
【0210】
ステップ3:
【0211】
サーバは、端末から送信された位置データと視覚データをもとに、ユーザが危険地点に近づいているかを判定する。この判断に利用するのは、ステップ1で生成された危険地点リストである。出力として、ユーザが危険地点に接近している場合はアラーム状態を生成し、端末に送信する。
【0212】
ステップ4:
【0213】
端末は、サーバから受け取ったアラーム状態や入力された視覚データをもとに、AIモデルを用いてユーザの感情をリアルタイムで分析する。データ処理には、表情認識技術と音声解析技術を用いて、感情状態を出力し、必要に応じてフィードバック内容を準備する。
【0214】
ステップ5:
【0215】
端末は、感情分析の結果に基づき、ユーザに適切なフィードバックを提供する。ユーザがリラックスしている場合はプロモーション情報を提供し、反対にストレスを感じている場合は優しく警告するなどの選択肢を提示し、出力として視覚・音声フィードバックをユーザに送信する。
【0216】
ステップ6:
【0217】
ユーザは、端末からの視覚・音声フィードバックを受け取り、案内に従って行動を調整する。これにより、ユーザはインタラクションの内容を理解し、具体的な行動を起こすことで、より安全で快適に目的地を楽しむことができる。
【0218】
特定処理部290は、特定処理の結果をスマートデバイス14に送信する。スマートデバイス14では、制御部46Aが、出力装置40に対して特定処理の結果を出力させる。マイクロフォン38Bは、特定処理の結果に対するユーザ入力を示す音声を取得する。制御部46Aは、マイクロフォン38Bによって取得されたユーザ入力を示す音声データをデータ処理装置12に送信する。データ処理装置12では、特定処理部290が音声データを取得する。
【0219】
データ生成モデル58は、いわゆる生成系AI(Artificial Intelligence)である。データ生成モデル58の一例としては、ChatGPT(登録商標)(インターネット検索<URL: https://openai.com/blog/chatgpt>)、Gemini(登録商標)(インターネット検索<URL: https://gemini.google.com/?hl=ja>)等の生成AIが挙げられる。データ生成モデル58は、ニューラルネットワークに対して深層学習を行わせることによって得られる。データ生成モデル58には、指示を含むプロンプトが入力され、かつ、音声を示す音声データ、テキストを示すテキストデータ、及び画像を示す画像データ等の推論用データが入力される。データ生成モデル58は、入力された推論用データをプロンプトにより示される指示に従って推論し、推論結果を音声データ及びテキストデータ等のデータ形式で出力する。ここで、推論とは、例えば、分析、分類、予測、及び/又は要約等を指す。
【0220】
上記実施形態では、データ処理装置12によって特定処理が行われる形態例を挙げたが、本開示の技術はこれに限定されず、スマートデバイス14によって特定処理が行われるようにしてもよい。
【0221】
[第2実施形態]
【0222】
図3には、第2実施形態に係るデータ処理システム210の構成の一例が示されている。
【0223】
図3に示すように、データ処理システム210は、データ処理装置12及びスマート眼鏡214を備えている。データ処理装置12の一例としては、サーバが挙げられる。
【0224】
データ処理装置12は、コンピュータ22、データベース24、及び通信I/F26を備えている。コンピュータ22は、本開示の技術に係る「コンピュータ」の一例である。コンピュータ22は、プロセッサ28、RAM30、及びストレージ32を備えている。プロセッサ28、RAM30、及びストレージ32は、バス34に接続されている。また、データベース24及び通信I/F26も、バス34に接続されている。通信I/F26は、ネットワーク54に接続されている。ネットワーク54の一例としては、WAN(Wide Area Network)及び/又はLAN(Local Area Network)等が挙げられる。
【0225】
スマート眼鏡214は、コンピュータ36、マイクロフォン238、スピーカ240、カメラ42、及び通信I/F44を備えている。コンピュータ36は、プロセッサ46、RAM48、及びストレージ50を備えている。プロセッサ46、RAM48、及びストレージ50は、バス52に接続されている。また、マイクロフォン238、スピーカ240、及びカメラ42も、バス52に接続されている。
【0226】
マイクロフォン238は、ユーザ20が発する音声を受け付けることで、ユーザ20から指示等を受け付ける。マイクロフォン238は、ユーザ20が発する音声を捕捉し、捕捉した音声を音声データに変換してプロセッサ46に出力する。スピーカ240は、プロセッサ46からの指示に従って音声を出力する。
【0227】
カメラ42は、レンズ、絞り、及びシャッタ等の光学系と、CMOS(Complementary Metal-Oxide-Semiconductor)イメージセンサ又はCCD(Charge Coupled Device)イメージセンサ等の撮像素子とが搭載された小型デジタルカメラであり、ユーザ20の周囲(例えば、一般的な健常者の視界の広さに相当する画角で規定された撮像範囲)を撮像する。
【0228】
通信I/F44は、ネットワーク54に接続されている。通信I/F44及び26は、ネットワーク54を介してプロセッサ46とプロセッサ28との間の各種情報の授受を司る。通信I/F44及び26を用いたプロセッサ46とプロセッサ28との間の各種情報の授受はセキュアな状態で行われる。
【0229】
図4には、データ処理装置12及びスマート眼鏡214の要部機能の一例が示されている。図4に示すように、データ処理装置12では、プロセッサ28によって特定処理が行われる。ストレージ32には、特定処理プログラム56が格納されている。
【0230】
特定処理プログラム56は、本開示の技術に係る「プログラム」の一例である。プロセッサ28は、ストレージ32から特定処理プログラム56を読み出し、読み出した特定処理プログラム56をRAM30上で実行する。特定処理は、プロセッサ28がRAM30上で実行する特定処理プログラム56に従って、特定処理部290として動作することによって実現される。
【0231】
ストレージ32には、データ生成モデル58及び感情特定モデル59が格納されている。データ生成モデル58及び感情特定モデル59は、特定処理部290によって用いられる。
【0232】
スマート眼鏡214では、プロセッサ46によって受付出力処理が行われる。ストレージ50には、受付出力プログラム60が格納されている。プロセッサ46は、ストレージ50から受付出力プログラム60を読み出し、読み出した受付出力プログラム60をRAM48上で実行する。受付出力処理は、プロセッサ46がRAM48上で実行する受付出力プログラム60に従って、制御部46Aとして動作することによって実現される。
【0233】
次に、データ処理装置12の特定処理部290による特定処理について説明する。以下の説明では、データ処理装置12を「サーバ」と称し、スマート眼鏡214を「端末」と称する。
【0234】
本発明は、観光中のユーザに対して、危険エリアを検知して警告を発し、安全性を確保するためのシステムである。システムは主に、サーバと端末(ユーザのスマートフォン)で構成される。以下、その詳細を説明する。
【0235】
サーバは、地理データベースから観光地や周辺の地理情報を取得し、適宜更新を行う。また、天候管理サービスからリアルタイムの天候情報を受信し、これをデータに統合する。この集約された情報を元に、サーバは危険エリアを動的に判断し、その情報を端末に送信する。
【0236】
端末ではGPSを使用して、常時ユーザの現在位置を特定する。これに加えて、端末のカメラを使って周囲の映像データを取得する。この映像データは、リアルタイムで端末内にインストールされたAIモデルにより解析され、視覚的な情報から危険エリアの特定が行われる。
【0237】
もしユーザが危険エリアに接近したとシステムが判断すると、端末はAR技術を用いてユーザの画面上に視覚的な警告を表示する。例えば、カメラの風景に重ねて「危険!」の文字や赤い枠をオーバーレイ表示する。同時に、音声で「危険な領域に近づいています」という警告をユーザに伝える。
【0238】
ユーザは、これらの警告に基づいて安全な観光エリアを維持できるほか、端末によって提供される安全な閲覧ルートを参考にすることができる。さらに、観光施設の管理者にとっては、サーバが提供するダッシュボードにより、観光地全体の危険エリアや天候状況をリアルタイムで監視できるため、的確な安全対応が可能となる。
【0239】
具体例として、ある観光地では、散策路に沿った崖が多く、予期せぬ滑落事故が懸念されている。このシステムにより、端末がユーザの位置を逐次監視し、崖に近づくと警告が表示されることで、事故を未然に防ぐことができる。また、天候が急変し落雷の危険がある場合でも、迅速に情報を受けてユーザに退避を促す通知を出すことができるため、安全な観光が支援される。
【0240】
以下に、処理の流れについて説明する。
【0241】
ステップ1:
【0242】
サーバは、地理データベースと天候管理サービスから、それぞれ地理情報とリアルタイムの天候情報を取得し、これらを照合して危険エリアのリストを生成する。
【0243】
ステップ2:
【0244】
端末は、GPSセンサを用いてユーザの現在位置を定期的に取得する。この情報は、端末内部で指定された更新間隔に従ってサーバにも送信される。
【0245】
ステップ3:
【0246】
端末は、カメラを使用して継続的に映像データを収集し、このデータを高性能なAIモデルでリアルタイムに解析する。AIモデルは、カメラで捉えた風景が危険エリアに含まれるかどうかを判定する。
【0247】
ステップ4:
【0248】
サーバは、ユーザの位置情報と危険エリアリストを比較し、ユーザが危険エリアに接近または侵入している場合、その情報を端末に送信する。
【0249】
ステップ5:
【0250】
端末は、サーバからの危険エリア通知またはAIモデルの解析結果に基づき、ユーザのスマートフォン画面に拡張現実(AR)を用いた視覚警告を表示する。これには、カメラの映像に「危険!」という警告や注意喚起のメッセージがオーバーレイされる。
【0251】
ステップ6:
【0252】
端末は、視覚警告とともに、音声出力でユーザに対し注意喚起を行う。音声で「危険な領域です、注意してください」といったメッセージを発する。
【0253】
ステップ7:
【0254】
ユーザが提示された警告に対応し、安全なルートや観光地を案内するための代替ルート情報を端末から受け取る。これにより、ユーザは危険を回避して観光を続けることができる。
【0255】
ステップ8:
【0256】
サーバは、施設管理者用のダッシュボードを更新し、観光地全体の危険状況やユーザの行動情報をリアルタイムで表示する。この情報に基づき、管理者は必要に応じて現場での対策を実施する。
【0257】
(実施例1)
【0258】
次に、実施例1について説明する。以下の説明では、データ処理装置12を「サーバ」と称し、スマート眼鏡214を「端末」と称する。
【0259】
近年、観光地への訪問者の安全を確保することが重要視されているが、リアルタイムでの危険エリアの警告や、安全なルートの案内を自動的に提供する技術が不足している。特に、環境が変化しやすい自然の中では、天候の悪化や地形の危険性に対する対応が遅れがちで、事故の原因となる。この課題を解決するためには、観光地における利用者の安全を高める効率的かつ信頼性のあるシステムが求められている。
【0260】
実施例1におけるデータ処理装置12の特定処理部290による特定処理を、以下の各手段により実現する。
【0261】
この発明では、サーバは、位置情報データベースと気象情報サービスから地理情報および気象データを取得し、統合して危険区域を評価する手段と、利用者の位置を全地球測位システムによって継続的に特定し、撮影装置を通じて視覚データを取得する手段と、取得した位置データおよび視覚情報を基に利用者の位置が危険区域に接近または侵入しているかを判定する手段と、を含む。これにより、利用者に対してリアルタイムで安全な観光を促すことが可能となる。
【0262】
「位置情報データベース」とは、地理的な位置を示す情報を蓄積し、検索可能な形式で保存するシステムである。
【0263】
「気象情報サービス」とは、気象データをリアルタイムで提供するオンラインの情報プラットフォームである。
【0264】
「危険区域」とは、利用者の安全が脅かされる可能性がある場所を指し、動的に評価される領域である。
【0265】
「全地球測位システム」とは、衛星を利用して地球上の特定地点の位置を測定するシステムである。
【0266】
「撮影装置」とは、視覚データを取得するためのカメラやイメージセンサーなどの装置である。
【0267】
「視覚データ」とは、カメラなどで撮影された画像や映像情報を指す。
【0268】
「拡張現実技術」とは、現実世界の視覚情報にデジタル情報を重ね合わせ、表示する技術である。
【0269】
「統制パネル」とは、システムの状況を監視し、管理者が必要な操作を行うために用いるインターフェースである。
【0270】
この発明は、観光地における利用者の安全を確保するためのシステムである。このシステムは、主にサーバと端末から構成される。サーバは、位置情報データベースおよび気象情報サービスを用いて、地理情報と気象データを統合する。サーバは、これらのデータを基に危険区域を評価し、動的に更新する。サーバは、危険区域の情報を端末に送信する。
【0271】
端末は、全地球測位システムを利用して利用者の位置を継続的に特定する。また、撮影装置を用いて視覚データを取得し、端末に内蔵された生成AIモデルで解析を行う。この解析により、視覚データから危険要素を特定し、利用者が危険区域に近づいた際には警告を発することができる。警告は、拡張現実技術を用いて視覚的および音声で利用者に伝えられる。
【0272】
実施例として、観光地において急激に天候が悪化し、雷の危険が発生した場合、このシステムはサーバが即座に天候情報を取得し、危険区域を特定して端末に送信する。端末は、利用者がその区域に接近する前に警告を表示し、安全な迂回ルートを案内することができる。
【0273】
生成AIモデルは、リアルタイムで視覚データを解析する能力を有するため、環境の変化に迅速に対応できる。これにより、利用者の安全を常に最優先することが可能である。プロンプト文の例として、「ユーザが観光中に危険エリアに近づいた場合に警告を出すシステムについて説明してください。具体的には、サーバと端末がどのように連携してユーザの安全を確保するのかを詳細に述べてください。」が挙げられる。
【0274】
実施例1における特定処理の流れについて図11を用いて説明する。
【0275】
ステップ1:
【0276】
サーバは、位置情報データベースから観光地とその周辺の地理情報を取得する。入力は、地理データベースへの定期的なクエリであり、出力は最新の地理情報である。この情報には、観光名所、地形、道路ネットワークなどが含まれる。具体的な動作として、サーバはデータベースにアクセスし、必要なデータを選別して取得する。
【0277】
ステップ2:
【0278】
サーバは、気象情報サービスからリアルタイムの天候情報を受信する。入力は、外部の気象情報APIであり、出力は現在の気象データである。このデータには、雨、風速、気温情報などが含まれる。サーバは、APIを通じて気象情報をクエリし、実時間データを取得する動作を行う。
【0279】
ステップ3:
【0280】
サーバは、取得した地理情報と気象データを統合し、危険区域を評価する。入力は、ステップ1とステップ2で得たデータであり、出力は危険区域リストである。このリストは、天候条件や地形の危険性に基づいて動的に更新される。サーバはデータを処理し、リスクのあるエリアを特定するための演算を行う。
【0281】
ステップ4:
【0282】
端末は、全地球測位システムを利用してユーザの現在位置を特定する。入力はGPSシステムからの位置データであり、出力はユーザの正確な位置情報である。端末は、継続的に位置サービスを利用して経度と緯度を取得し、ユーザの移動に応じてデータを更新する。
【0283】
ステップ5:
【0284】
端末は、撮影装置を用いて周囲の視覚データを取得し、内蔵された生成AIモデルで解析を行う。入力はカメラで取得した映像データであり、出力は危険要素を含む視覚情報である。モデルは画像認識技術を使って特定のパターンや特徴を識別し、危険性を評価する。
【0285】
ステップ6:
【0286】
端末は、ユーザが危険区域に接近したと判断すると、拡張現実技術を用いて警告を表示する。入力は、ステップ3とステップ5で得たデータであり、出力は視覚的および音声による警告である。端末は、カメラ映像に「危険」の表示を重ね、音声で注意喚起を行う具体的な動作を含む。
【0287】
ステップ7:
【0288】
端末は、安全な閲覧ルートをユーザに案内する。入力はユーザの位置と危険区域情報であり、出力は安全なルート情報である。端末は、地図とナビゲーションシステムを用いて、危険区域を避けたルートを算出し、ユーザに提示する動作を行う。
【0289】
(応用例1)
【0290】
次に、応用例1について説明する。以下の説明では、データ処理装置12を「サーバ」と称し、スマート眼鏡214を「端末」と称する。
【0291】
高度な自動運転技術が進展する中で、移動体が危険領域に接近することによる事故を未然に防ぎ、利用者の安全を確保することが重要である。しかし、リアルタイムで変化する地理情報や気象情報に迅速に対応し、適切な経路を選択することは難しい課題である。これにより、安全性の確保と安心な移動の実現が求められている。
【0292】
応用例1におけるデータ処理装置12の特定処理部290による特定処理を、以下の各手段により実現する。
【0293】
この発明では、サーバは、地理情報と気象情報を取得し、それに基づいて危険領域を計算する手段と、移動体の位置を衛星測位システムによって監視し、撮像装置を用いて映像情報を取得する手段と、取得した情報に基づいて移動体の位置が危険領域に接近または侵入しているかを判別する手段と、を含む。これにより、移動体の自動運転中に安全な経路を選択し、危険を未然に防ぐことが可能となる。
【0294】
「地理情報」とは、特定の地域に関する位置データや地形データを指し、移動体の安全な運行に必要な情報である。
【0295】
「気象情報」とは、天候や気象条件に関するデータであり、移動体の運行に影響を与える可能性のある情報である。
【0296】
「危険領域」とは、地理情報と気象情報に基づいて、移動体が進入することで事故やトラブルが生じる可能性のあるエリアである。
【0297】
「移動体」とは、自動的に移動する車両や機械を指し、特に自動運転技術を有するものを示す。
【0298】
「衛星測位システム」とは、人工衛星を利用して地球上の位置を高精度に特定する技術であり、移動体の位置を把握するために用いる。
【0299】
「撮像装置」とは、カメラやセンサーなど映像を取得するための装置であり、移動体周辺の状況を認識するために使用される。
【0300】
「拡張現実技術」とは、現実世界の映像にデジタル情報を重ねて表示させる技術であり、利用者に視覚的な情報を提供する手段である。
【0301】
「視覚および音声で警告する」とは、利用者に対して視覚的な表示や音を用いて注意を促し、危険を知らせる行為である。
【0302】
「経路を自動的に変更し安全経路を選択する」とは、移動体が危険領域を回避して、安全な移動を続けるために、システムが自動で新しい経路を計算し選択することを指す。
【0303】
「制御画面」とは、システムの状況や危険領域の情報を表示し、管理者がそれをリアルタイムで監視できるインターフェースである。
【0304】
この発明を実現するシステムは、サーバと移動体の端末とで構成されている。サーバは、地理情報システム(GIS)ソフトウェアと天候情報APIを活用して、地理情報と気象情報を取得し、それに基づいて危険領域をリアルタイムに計算する。取得した情報は、移動体の端末に送信される。
【0305】
移動体の端末は、衛星測位システム(GPS)を利用して、高精度に移動体の現在位置を特定し、撮像装置(カメラおよびセンサー)を用いて周囲の映像情報を取得する。これらのデータは、端末内にインストールされたTensorFlowを用いた生成AIモデルによりリアルタイムで解析される。この解析結果を基に、端末は移動体が危険領域に接近または侵入しているかどうかを判別する。
【0306】
もし危険が検知された場合、端末は拡張現実技術(AR技術)を用いて視覚的に「危険!」と表示し、音声で警告を発する。さらに、移動体の経路を自動調整し、安全経路を選択する制御を行う。この制御には、Google Maps APIまたはOpenStreetMapが活用される。
【0307】
また、サーバは、管理者向けに制御画面を提供し、危険領域の状態をリアルタイムで監視することを可能にしている。この制御画面では、移動体の位置情報や気象情報が一目で確認でき、必要に応じて速やかな安全対応が行える。
【0308】
具体例として、ある移動体が豪雨による冠水が発生している地域を通過しようとする場合、端末のセンサーが危険を検知し、安全な迂回経路を選択する。この結果、移動体は冠水リスクを回避し、安全に目的地に到達することが可能となる。
【0309】
プロンプト文の例としては、「現在の位置と天候情報をもとに、2km先の経路に危険があるかを判断し、安全なルートに変更してください。」が挙げられる。このプロンプトにより、生成AIモデルが迅速に適切な対応を図ることができる。
【0310】
応用例1における特定処理の流れについて図12を用いて説明する。
【0311】
ステップ1:
【0312】
サーバは地理情報システム(GIS)ソフトウェアと天候情報APIを使用して、地理情報と気象情報を取得する。取得した情報は、危険領域の計算に使用される。入力としてはGISデータベースからの位置データと天候APIからのリアルタイム気象データがあり、隣接領域での危険性を評価して危険領域情報を出力する。
【0313】
ステップ2:
【0314】
サーバは、計算された危険領域情報を移動体の端末に送信する。出力は危険領域を示すデータで、これが端末によって使用される。具体的には、危険度の高いエリアや経路の情報を端末へ送信する動作が行われる。
【0315】
ステップ3:
【0316】
端末は衛星測位システム(GPS)を利用して、移動体の現在位置を特定する。このステップでは、GPSデータを入力として受け取り、移動体の正確な位置座標を出力する。GPSセンサーが常時データを更新し、リアルタイムで位置情報を取得する動作を行う。
【0317】
ステップ4:
【0318】
端末は撮像装置(カメラおよびセンサー)を用いて、周囲の映像情報を取得する。取得した映像データは、AIモデルの入力として用いられる。具体的には、センサーから映像ストリームを取得し、環境の様子を取り込む動作が行われる。
【0319】
ステップ5:
【0320】
端末は取得した映像データをTensorFlowで構築された生成AIモデルに入力し、リアルタイムで解析する。入力は映像データであり、解析の結果、危険領域への接近または侵入が判別され、これを出力する。この結果、危険エリアに関する詳細情報がAIモデルによって生成される。
【0321】
ステップ6:
【0322】
端末は危険が検知された場合、拡張現実技術(AR技術)を用いて、ユーザに対して視覚的および音声で警告する。具体的には、危険な状況を知らせるオーバーレイ表示と音声アラートをユーザに提供する動作が行われる。
【0323】
ステップ7:
【0324】
端末は取得した情報を基に移動体の経路を自動で再評価し、安全経路を選択する。入力としてはユーザの現在位置と危険領域の情報があり、出力として安全経路の経路情報が導かれる。ナビゲーションシステムが新しい経路を計算し、その情報を表示する動作を行う。
【0325】
ステップ8:
【0326】
サーバは制御画面を通じて、管理者に危険領域の状態をリアルタイムで監視できる情報を提供する。管理者は現在の移動体の位置情報や気象条件を入力として受け取り、必要に応じて対応を行う。このステップでは、状況の変化に応じた情報を即時に表示し、指示を可能にする動作が行われる。
【0327】
なお、更に、ユーザの感情を推定する感情エンジンを組み合わせてもよい。すなわち、特定処理部290は、感情特定モデル59を用いてユーザの感情を推定し、ユーザの感情を用いた特定処理を行うようにしてもよい。
【0328】
本発明は、観光地での安全性とユーザエクスペリエンスを向上させるために、ユーザの感情を認識する感情エンジンを組み込んだシステムである。このシステムは、ユーザの位置や周囲の危険状況をリアルタイムで監視し、ユーザの感情状態に応じて適切なフィードバックを提供する。
【0329】
サーバは、従来の地理データおよび天候情報の取得に加え、感情データベースおよびAIモデルを活用し、感情エンジンの動作をサポートする。このエンジンは、ユーザの表情解析や音声入力データをもとに、ユーザの感情状態をリアルタイムで評価する。
【0330】
端末はGPSとカメラを使用して、常にユーザの位置情報と映像データを取得する。おなじく、ユーザの音声や顔の表情を感情エンジンに送り、ユーザの感情状態を分析する。この分析結果に基づいて、感情エンジンはユーザの現在の感情状態を判定する。
【0331】
具体的な動作としては、ユーザが危険エリアに近づいていると感情エンジンが判定した際、ユーザがリラックスして楽しんでいる感情状態であれば、直線的な警告の代わりに写真撮影の良いスポットを提案し、楽しみを損なわないようにする。一方、ユーザが緊張やストレスを感じている場合は、優しい音声で適度に警告し、安心感を与えるよう操作する。このようにして、ユーザの個々の感情に対応したパーソナライズされたインタラクションを実現する。
【0332】
ユーザは、端末の感情フィードバックによって、自分の状態に最適化された注意喚起を受け、安全で快適に観光活動を行うことができる。これにより、従来の警告システムでは実現できなかった利便性と安全性の両立が可能となる。管理者にとっても、サーバにより得られたユーザの感情データは、観光地の改善点や新たなアトラクション企画の参考情報となる。
【0333】
以下に、処理の流れについて説明する。
【0334】
ステップ1:
【0335】
サーバは、地理データベースおよびリアルタイム天候情報サービスからデータを取得し、危険エリアを特定する。この情報は、端末に送信される。
【0336】
ステップ2:
【0337】
端末は、GPSセンサを用いてユーザの位置情報を定期的に取得し、サーバから受信した危険エリア情報と照合する。
【0338】
ステップ3:
【0339】
端末は、カメラを使用してユーザの表情を撮影し、マイクを使用して音声データを収集する。これらのデータは感情エンジンに入力される。
【0340】
ステップ4:
【0341】
端末上の感情エンジンは、表情解析と音声認識を行い、ユーザの感情状態をリアルタイムで評価する。この結果は即時に利用される。
【0342】
ステップ5:
【0343】
ユーザの感情状態と位置情報を基に、端末はユーザが危険エリアに接近しているかどうかを判断する。危険がある場合、感情状態に応じて警告の内容を決定する。
【0344】
ステップ6:
【0345】
端末は、ユーザがリラックスしている場合には、気軽なトーンで視覚的および音声警告を提供し、追加で楽しい観光スポットを推奨する。緊張している場合には、優しい声と柔らかな画面表示で警告を行う。
【0346】
ステップ7:
【0347】
ユーザは、端末から提供される警告とアドバイスを受けて、安全な行動を取りつつ、提示された新たなルートやオプションを選択して観光を楽しむ。
【0348】
ステップ8:
【0349】
サーバは、全てのユーザの感情データと行動データを集約し、統計的分析を行う。この情報は、管理者が観光地の安全性とユーザ体験の向上に役立てるために、ダッシュボードで提供される。
【0350】
(実施例2)
【0351】
次に、実施例2について説明する。以下の説明では、データ処理装置12を「サーバ」と称し、スマート眼鏡214を「端末」と称する。
【0352】
観光地における移動体の安全性と利便性を向上させることは、観光体験の質を高めるための重要な課題である。しかし、従来の警告システムは、単純な警告しか提供できず、個々の移動体の状況や感情に応じた柔軟な対応ができないという問題がある。さらに、危険地域への接近についての警告において、過度のストレスを与えることなく効果的に注意喚起を行う手段が求められている。
【0353】
実施例2におけるデータ処理装置12の特定処理部290による特定処理を、以下の各手段により実現する。
【0354】
この発明では、サーバは、地理情報や気象情報を取得し、その情報に基づいて危険地域を評価する手段と、感情解析装置により移動体の感情状態を解析し、移動体の感情に応じたフィードバックを生成する手段と、移動体に安全な路線と見所を案内する手段と、を含む。これにより、移動体は、個々の感情状態に対応した安全かつ快適な観光体験を享受することが可能となる。
【0355】
「地理情報」とは、特定の地域に関する位置、境界、地形、施設配置などを含む情報であり、移動体のナビゲーションや位置判定に利用されるデータである。
【0356】
「気象情報」とは、特定の地域における天気、気温、降水量、風速などの気象条件に関する情報であり、外部環境の変動を把握するためのデータである。
【0357】
「危険地域」とは、特定の条件下で移動体に対して安全上のリスクをもたらす可能性のある地域であり、その評価は地理情報や気象情報を基に行われる。
【0358】
「移動体」とは、観光地などの地域内を移動する人や物を指し、その位置や状況がシステムで監視される対象である。
【0359】
「測定手段」とは、移動体の位置や動きを高精度で計測するための技術や装置であり、通常はGPS技術が用いられる。
【0360】
「画像記録手段」ととは、移動体の周囲の映像情報を取得するための装置や技術であり、一般的にはカメラが使用される。
【0361】
「感情解析装置」とは、移動体の感情状態を表情や音声データを利用して解析するための技術または装置であり、AIモデルが適用される。
【0362】
「フィードバック」とは、解析によって得られた情報を基に移動体に対して提供される助言や警告などの情報であり、感情状態に応じた形式で提示される。
【0363】
「通信装置」とは、データを端末間で送受信するための装置や技術であり、ネットワーク通信が可能な構成を持つ。
【0364】
「拡張現実技術」とは、現実世界の視覚情報にデジタル情報を重ね合わせる技術であり、視覚的な警告や案内をより直感的に提供することを目的とする。
【0365】
「管理装置」とは、システム全体の監視と制御を担当する装置であり、特に危険地域のリアルタイム状況を表示するための中枢的要素である。
【0366】
「表示装置」とは、管理装置からの情報を可視化して提示するための装置であり、通常はモニターやディスプレイが使用される。
【0367】
この発明は、観光地などで移動体の安全性とユーザエクスペリエンスを向上させるために構築されたシステムである。具体的には、移動体の位置情報、映像情報、および感情状態をリアルタイムで解析し、それに基づいた適切なフィードバックを提供する。
【0368】
端末は、ハードウェアとしてGPSとカメラを搭載している。GPSモジュールは移動体の位置情報を常時取得し、カメラは移動体の周囲の映像情報を記録する。これに加えて、マイクを用いて移動体の音声情報も取得する。これらのデータは、無線通信装置を通じてサーバに送信され、サーバでの解析が行われる。
【0369】
サーバは、受信したデータを用いて、生成AIモデル(例:TensorFlow)を駆使し、移動体の表情や音声データから感情を解析する。この際、感情解析装置がユーザのリアルタイムの感情状態を評価し、その結果を用いて最適なフィードバックを生成する。フィードバックは生成AIモデルを通じて自然言語処理されており、移動体の状態に応じた柔軟な案内を提供する。
【0370】
ユーザが危険地域に接近したとき、サーバはその移動体の感情状態を考慮に入れた警告を生成する。具体例として、ユーザがリラックスしている場合、危険を伝えるのではなく、代わりに「こちらで素晴らしい写真が撮れます」といった情報を提供する。そのためのプロンプト文を次のように設定することができる:
【0371】
「ユーザの感情状態が『リラックス』と判断された場合、写真撮影のおすすめスポットを表示するプロンプトを作成してください。」
【0372】
このようにして、システムは個々の感情に適したインタラクションを実現し、移動体が快適に観光体験を享受できるように支援する。また、管理装置は、危険地域の状況をリアルタイムで監視できるようになり、さらなる安全性の確保に貢献する。
【0373】
実施例2における特定処理の流れについて図13を用いて説明する。
【0374】
ステップ1:
【0375】
端末は、GPSモジュールを使用してユーザの位置情報を取得する。入力としては、衛星から受信する位置信号があり、これを解析することでリアルタイムの経度・緯度情報を出力する。さらに、カメラとマイクを用いてユーザの映像および音声データをそれぞれ取得する。これにより、ユーザの周囲状況や感情表現に関する生データが得られる。
【0376】
ステップ2:
【0377】
端末は、取得した位置情報、映像データ、音声データをパケットにまとめ、無線通信装置を通じてサーバに送信する。ここでの入力は、端末内で収集された各種データであり、出力はサーバへの安全で迅速なデータ転送である。この送信では、データが暗号化されているため、情報のセキュリティが確保される。
【0378】
ステップ3:
【0379】
サーバは、端末から受信したデータをデコードし、生成AIモデルを使用してこれを分析する。特に、音声と顔の表情データを感情解析装置に渡し、ユーザの感情状態を解析する。入力はサーバに送られた生データで、出力は『リラックス』や『緊張』といった定性的な感情評価である。
【0380】
ステップ4:
【0381】
サーバは、評価された感情状態とともに地理情報と気象情報を再評価し、危険地域の特定と警告戦略の策定を行う。この入力は解析結果と現地情報であり、出力は最適なフィードバック内容としてプロンプト文の形式で生成される。このプロンプト文は、利用する生成AIモデルによって自然言語に変換される。
【0382】
ステップ5:
【0383】
端末は、サーバから受け取ったプロンプトに基づき、ユーザにビジュアルまたは音声でフィードバックを表示する。ここでの入力はサーバからのプロンプト文であり、出力はユーザインタフェースを通じた案内情報である。たとえば、リラックスしているユーザには「こちらで素晴らしい写真が撮れます」といった視覚的な提案を行う。
【0384】
この一連のステップによって、システムはリアルタイムでユーザの感情に応じた安全かつ快適な観光体験を提供することが可能になる。
【0385】
(応用例2)
【0386】
次に、応用例2について説明する。以下の説明では、データ処理装置12を「サーバ」と称し、スマート眼鏡214を「端末」と称する。
【0387】
本発明が解決しようとする課題は、観光地や実店舗において、訪問者の安全性とユーザエクスペリエンスを同時に向上させることである。従来の警告システムは一般的に一律の情報提供にとどまり、各利用者の感情に応じた個別対応が不足しており、訪問者が感じるストレスや不安を軽減することができていなかった。
【0388】
応用例2におけるデータ処理装置12の特定処理部290による特定処理を、以下の各手段により実現する。
【0389】
この発明では、サーバは、地理情報および気象データを取得して、危険地点を評価する手段と、ユーザの位置を位置情報技術により継続的に監視し、視覚データを収集する手段と、ユーザの感情を識別し、感情状態に基づいた適切なフィードバックを提供する手段と、を含む。これにより、訪問者一人一人の感情状態に応じた個別の警告や案内を自動的に提供することが可能となり、訪問者は安心して安全に目的地を楽しむことが可能となる。
【0390】
「地理情報」とは、特定の地域に関する位置、地形、ランドマークなどの関連情報を指し、位置の確定や経路の探索に用いられるデータである。
【0391】
「気象データ」とは、気温、降水量、風速、湿度といった大気の状態に関する情報であり、環境の現況を把握するために用いられるものである。
【0392】
「危険地点」とは、訪問者にとって安全性が脅かされる可能性のある場所を指し、事前に注意を喚起する必要があるエリアである。
【0393】
「位置情報技術」とは、GPSやその他のセンサを用いて物体や人物の現在地を特定するための技術であり、位置の追跡に用いられるものである。
【0394】
「視覚データ」とは、カメラやセンサを通じて得られる画像や映像情報であり、周囲の環境や動態を理解するために使用されるデータである。
【0395】
「感情の識別」とは、ユーザの表情、音声、身体の動きなどを解析し、現在の感情状態を推測するプロセスを指す。
【0396】
「フィードバック」とは、ユーザに提供される情報や指示、警告などの応答であり、システムが利用者の状態に基づいて動的に生成するものである。
【0397】
この発明を実施するためのシステムは、主に3つの構成要素を含む。具体的には、サーバ、端末、ユーザである。
【0398】
サーバは、地理情報と気象データを取得し、危険地点を評価する役割を担う。これにより、安全な観光やショッピング環境を確保する。また、ユーザの感情を識別し、その状態に基づいて個別のフィードバックを作成する機能も持つ。この作業には、AIモデルを活用し、データの解析および感情の判定を行う。
【0399】
端末には、主に位置情報技術と視覚データを収集するためのカメラやGPS機能が搭載される。これにより、ユーザの位置や周囲環境の情報をリアルタイムで把握することが可能である。さらに、端末はAIモデルを内蔵しており、カメラで取得した映像データと音声データからユーザの感情を解析する。解析した感情情報は、サーバに送信され、個別フィードバックの提供に役立てられる。
【0400】
ユーザが端末を使用することで、システムは彼らに安全な経路案内や観光スポットの提案を行う。例えば、ユーザが楽しんでいると判定された場合、関連する割引情報やプロモーション情報を表示することができる。逆に、困難や不安を感じている様子を検知した場合は、役立つアドバイスやヘルプを提供するためのオプションが表示されるようになっている。
【0401】
具体例としては、ユーザが店内で商品を選んでいるときにスマート眼鏡を使用した場合、その表情が笑顔であれば割引情報を視界に表示し、困った表情であれば製品のレビューや使い方のヒントを表示するようなインタラクションが可能である。この際のプロンプト文の例としては、「ユーザが微笑んでいる時、製品に関する割引情報を表示してください。」や「ユーザが困った表情をしている時、ヘルプを呼び出すかFAQを表示してください。」が挙げられる。
【0402】
この仕組みを通じて、ユーザはより安全で安心なショッピング体験や観光体験を得ることが可能であり、訪問した地域の状況に応じた適切な案内を受けることで利便性が大きく向上する。
【0403】
応用例2における特定処理の流れについて図14を用いて説明する。
【0404】
ステップ1:
【0405】
サーバは、地理情報および気象データを入力として取得する。取得した情報をもとにアルゴリズムを用いて危険地点を評価する。出力として、危険地点リストを生成し、後続の処理に備える。
【0406】
ステップ2:
【0407】
端末は、ユーザの位置を入力として位置情報技術(GPS)を利用してリアルタイムで監視し、カメラを通じて視覚データを収集する。これらのデータは、現時点でのユーザの具体的な位置と周囲の環境状況を提供し、出力としてサーバに送信される。
【0408】
ステップ3:
【0409】
サーバは、端末から送信された位置データと視覚データをもとに、ユーザが危険地点に近づいているかを判定する。この判断に利用するのは、ステップ1で生成された危険地点リストである。出力として、ユーザが危険地点に接近している場合はアラーム状態を生成し、端末に送信する。
【0410】
ステップ4:
【0411】
端末は、サーバから受け取ったアラーム状態や入力された視覚データをもとに、AIモデルを用いてユーザの感情をリアルタイムで分析する。データ処理には、表情認識技術と音声解析技術を用いて、感情状態を出力し、必要に応じてフィードバック内容を準備する。
【0412】
ステップ5:
【0413】
端末は、感情分析の結果に基づき、ユーザに適切なフィードバックを提供する。ユーザがリラックスしている場合はプロモーション情報を提供し、反対にストレスを感じている場合は優しく警告するなどの選択肢を提示し、出力として視覚・音声フィードバックをユーザに送信する。
【0414】
ステップ6:
【0415】
ユーザは、端末からの視覚・音声フィードバックを受け取り、案内に従って行動を調整する。これにより、ユーザはインタラクションの内容を理解し、具体的な行動を起こすことで、より安全で快適に目的地を楽しむことができる。
【0416】
特定処理部290は、特定処理の結果をスマート眼鏡214に送信する。スマート眼鏡214では、制御部46Aが、スピーカ240に対して特定処理の結果を出力させる。マイクロフォン238は、特定処理の結果に対するユーザ入力を示す音声を取得する。制御部46Aは、マイクロフォン238によって取得されたユーザ入力を示す音声データをデータ処理装置12に送信する。データ処理装置12では、特定処理部290が音声データを取得する。
【0417】
データ生成モデル58は、いわゆる生成系AI(Artificial Intelligence)である。データ生成モデル58の一例としては、ChatGPT(インターネット検索<URL: https://openai.com/blog/chatgpt>)、Gemini(インターネット検索<URL: https://gemini.google.com/?hl=ja>)等の生成AIが挙げられる。データ生成モデル58は、ニューラルネットワークに対して深層学習を行わせることによって得られる。データ生成モデル58には、指示を含むプロンプトが入力され、かつ、音声を示す音声データ、テキストを示すテキストデータ、及び画像を示す画像データ等の推論用データが入力される。データ生成モデル58は、入力された推論用データをプロンプトにより示される指示に従って推論し、推論結果を音声データ及びテキストデータ等のデータ形式で出力する。ここで、推論とは、例えば、分析、分類、予測、及び/又は要約等を指す。
【0418】
上記実施形態では、データ処理装置12によって特定処理が行われる形態例を挙げたが、本開示の技術はこれに限定されず、スマート眼鏡214によって特定処理が行われるようにしてもよい。
【0419】
[第3実施形態]
【0420】
図5には、第3実施形態に係るデータ処理システム310の構成の一例が示されている。
【0421】
図5に示すように、データ処理システム310は、データ処理装置12及びヘッドセット型端末314を備えている。データ処理装置12の一例としては、サーバが挙げられる。
【0422】
データ処理装置12は、コンピュータ22、データベース24、及び通信I/F26を備えている。コンピュータ22は、本開示の技術に係る「コンピュータ」の一例である。コンピュータ22は、プロセッサ28、RAM30、及びストレージ32を備えている。プロセッサ28、RAM30、及びストレージ32は、バス34に接続されている。また、データベース24及び通信I/F26も、バス34に接続されている。通信I/F26は、ネットワーク54に接続されている。ネットワーク54の一例としては、WAN(Wide Area Network)及び/又はLAN(Local Area Network)等が挙げられる。
【0423】
ヘッドセット型端末314は、コンピュータ36、マイクロフォン238、スピーカ240、カメラ42、通信I/F44、及びディスプレイ343を備えている。コンピュータ36は、プロセッサ46、RAM48、及びストレージ50を備えている。プロセッサ46、RAM48、及びストレージ50は、バス52に接続されている。また、マイクロフォン238、スピーカ240、カメラ42、及びディスプレイ343も、バス52に接続されている。
【0424】
マイクロフォン238は、ユーザ20が発する音声を受け付けることで、ユーザ20から指示等を受け付ける。マイクロフォン238は、ユーザ20が発する音声を捕捉し、捕捉した音声を音声データに変換してプロセッサ46に出力する。スピーカ240は、プロセッサ46からの指示に従って音声を出力する。
【0425】
カメラ42は、レンズ、絞り、及びシャッタ等の光学系と、CMOS(Complementary Metal-Oxide-Semiconductor)イメージセンサ又はCCD(Charge Coupled Device)イメージセンサ等の撮像素子とが搭載された小型デジタルカメラであり、ユーザ20の周囲(例えば、一般的な健常者の視界の広さに相当する画角で規定された撮像範囲)を撮像する。
【0426】
通信I/F44は、ネットワーク54に接続されている。通信I/F44及び26は、ネットワーク54を介してプロセッサ46とプロセッサ28との間の各種情報の授受を司る。通信I/F44及び26を用いたプロセッサ46とプロセッサ28との間の各種情報の授受はセキュアな状態で行われる。
【0427】
図6には、データ処理装置12及びヘッドセット型端末314の要部機能の一例が示されている。図6に示すように、データ処理装置12では、プロセッサ28によって特定処理が行われる。ストレージ32には、特定処理プログラム56が格納されている。
【0428】
特定処理プログラム56は、本開示の技術に係る「プログラム」の一例である。プロセッサ28は、ストレージ32から特定処理プログラム56を読み出し、読み出した特定処理プログラム56をRAM30上で実行する。特定処理は、プロセッサ28がRAM30上で実行する特定処理プログラム56に従って、特定処理部290として動作することによって実現される。
【0429】
ストレージ32には、データ生成モデル58及び感情特定モデル59が格納されている。データ生成モデル58及び感情特定モデル59は、特定処理部290によって用いられる。
【0430】
ヘッドセット型端末314では、プロセッサ46によって受付出力処理が行われる。ストレージ50には、受付出力プログラム60が格納されている。プロセッサ46は、ストレージ50から受付出力プログラム60を読み出し、読み出した受付出力プログラム60をRAM48上で実行する。受付出力処理は、プロセッサ46がRAM48上で実行する受付出力プログラム60に従って、制御部46Aとして動作することによって実現される。
【0431】
次に、データ処理装置12の特定処理部290による特定処理について説明する。以下の説明では、データ処理装置12を「サーバ」と称し、ヘッドセット型端末314を「端末」と称する。
【0432】
本発明は、観光中のユーザに対して、危険エリアを検知して警告を発し、安全性を確保するためのシステムである。システムは主に、サーバと端末(ユーザのスマートフォン)で構成される。以下、その詳細を説明する。
【0433】
サーバは、地理データベースから観光地や周辺の地理情報を取得し、適宜更新を行う。また、天候管理サービスからリアルタイムの天候情報を受信し、これをデータに統合する。この集約された情報を元に、サーバは危険エリアを動的に判断し、その情報を端末に送信する。
【0434】
端末ではGPSを使用して、常時ユーザの現在位置を特定する。これに加えて、端末のカメラを使って周囲の映像データを取得する。この映像データは、リアルタイムで端末内にインストールされたAIモデルにより解析され、視覚的な情報から危険エリアの特定が行われる。
【0435】
もしユーザが危険エリアに接近したとシステムが判断すると、端末はAR技術を用いてユーザの画面上に視覚的な警告を表示する。例えば、カメラの風景に重ねて「危険!」の文字や赤い枠をオーバーレイ表示する。同時に、音声で「危険な領域に近づいています」という警告をユーザに伝える。
【0436】
ユーザは、これらの警告に基づいて安全な観光エリアを維持できるほか、端末によって提供される安全な閲覧ルートを参考にすることができる。さらに、観光施設の管理者にとっては、サーバが提供するダッシュボードにより、観光地全体の危険エリアや天候状況をリアルタイムで監視できるため、的確な安全対応が可能となる。
【0437】
具体例として、ある観光地では、散策路に沿った崖が多く、予期せぬ滑落事故が懸念されている。このシステムにより、端末がユーザの位置を逐次監視し、崖に近づくと警告が表示されることで、事故を未然に防ぐことができる。また、天候が急変し落雷の危険がある場合でも、迅速に情報を受けてユーザに退避を促す通知を出すことができるため、安全な観光が支援される。
【0438】
以下に、処理の流れについて説明する。
【0439】
ステップ1:
【0440】
サーバは、地理データベースと天候管理サービスから、それぞれ地理情報とリアルタイムの天候情報を取得し、これらを照合して危険エリアのリストを生成する。
【0441】
ステップ2:
【0442】
端末は、GPSセンサを用いてユーザの現在位置を定期的に取得する。この情報は、端末内部で指定された更新間隔に従ってサーバにも送信される。
【0443】
ステップ3:
【0444】
端末は、カメラを使用して継続的に映像データを収集し、このデータを高性能なAIモデルでリアルタイムに解析する。AIモデルは、カメラで捉えた風景が危険エリアに含まれるかどうかを判定する。
【0445】
ステップ4:
【0446】
サーバは、ユーザの位置情報と危険エリアリストを比較し、ユーザが危険エリアに接近または侵入している場合、その情報を端末に送信する。
【0447】
ステップ5:
【0448】
端末は、サーバからの危険エリア通知またはAIモデルの解析結果に基づき、ユーザのスマートフォン画面に拡張現実(AR)を用いた視覚警告を表示する。これには、カメラの映像に「危険!」という警告や注意喚起のメッセージがオーバーレイされる。
【0449】
ステップ6:
【0450】
端末は、視覚警告とともに、音声出力でユーザに対し注意喚起を行う。音声で「危険な領域です、注意してください」といったメッセージを発する。
【0451】
ステップ7:
【0452】
ユーザが提示された警告に対応し、安全なルートや観光地を案内するための代替ルート情報を端末から受け取る。これにより、ユーザは危険を回避して観光を続けることができる。
【0453】
ステップ8:
【0454】
サーバは、施設管理者用のダッシュボードを更新し、観光地全体の危険状況やユーザの行動情報をリアルタイムで表示する。この情報に基づき、管理者は必要に応じて現場での対策を実施する。
【0455】
(実施例1)
【0456】
次に、実施例1について説明する。以下の説明では、データ処理装置12を「サーバ」と称し、ヘッドセット型端末314を「端末」と称する。
【0457】
近年、観光地への訪問者の安全を確保することが重要視されているが、リアルタイムでの危険エリアの警告や、安全なルートの案内を自動的に提供する技術が不足している。特に、環境が変化しやすい自然の中では、天候の悪化や地形の危険性に対する対応が遅れがちで、事故の原因となる。この課題を解決するためには、観光地における利用者の安全を高める効率的かつ信頼性のあるシステムが求められている。
【0458】
実施例1におけるデータ処理装置12の特定処理部290による特定処理を、以下の各手段により実現する。
【0459】
この発明では、サーバは、位置情報データベースと気象情報サービスから地理情報および気象データを取得し、統合して危険区域を評価する手段と、利用者の位置を全地球測位システムによって継続的に特定し、撮影装置を通じて視覚データを取得する手段と、取得した位置データおよび視覚情報を基に利用者の位置が危険区域に接近または侵入しているかを判定する手段と、を含む。これにより、利用者に対してリアルタイムで安全な観光を促すことが可能となる。
【0460】
「位置情報データベース」とは、地理的な位置を示す情報を蓄積し、検索可能な形式で保存するシステムである。
【0461】
「気象情報サービス」とは、気象データをリアルタイムで提供するオンラインの情報プラットフォームである。
【0462】
「危険区域」とは、利用者の安全が脅かされる可能性がある場所を指し、動的に評価される領域である。
【0463】
「全地球測位システム」とは、衛星を利用して地球上の特定地点の位置を測定するシステムである。
【0464】
「撮影装置」とは、視覚データを取得するためのカメラやイメージセンサーなどの装置である。
【0465】
「視覚データ」とは、カメラなどで撮影された画像や映像情報を指す。
【0466】
「拡張現実技術」とは、現実世界の視覚情報にデジタル情報を重ね合わせ、表示する技術である。
【0467】
「統制パネル」とは、システムの状況を監視し、管理者が必要な操作を行うために用いるインターフェースである。
【0468】
この発明は、観光地における利用者の安全を確保するためのシステムである。このシステムは、主にサーバと端末から構成される。サーバは、位置情報データベースおよび気象情報サービスを用いて、地理情報と気象データを統合する。サーバは、これらのデータを基に危険区域を評価し、動的に更新する。サーバは、危険区域の情報を端末に送信する。
【0469】
端末は、全地球測位システムを利用して利用者の位置を継続的に特定する。また、撮影装置を用いて視覚データを取得し、端末に内蔵された生成AIモデルで解析を行う。この解析により、視覚データから危険要素を特定し、利用者が危険区域に近づいた際には警告を発することができる。警告は、拡張現実技術を用いて視覚的および音声で利用者に伝えられる。
【0470】
実施例として、観光地において急激に天候が悪化し、雷の危険が発生した場合、このシステムはサーバが即座に天候情報を取得し、危険区域を特定して端末に送信する。端末は、利用者がその区域に接近する前に警告を表示し、安全な迂回ルートを案内することができる。
【0471】
生成AIモデルは、リアルタイムで視覚データを解析する能力を有するため、環境の変化に迅速に対応できる。これにより、利用者の安全を常に最優先することが可能である。プロンプト文の例として、「ユーザが観光中に危険エリアに近づいた場合に警告を出すシステムについて説明してください。具体的には、サーバと端末がどのように連携してユーザの安全を確保するのかを詳細に述べてください。」が挙げられる。
【0472】
実施例1における特定処理の流れについて図11を用いて説明する。
【0473】
ステップ1:
【0474】
サーバは、位置情報データベースから観光地とその周辺の地理情報を取得する。入力は、地理データベースへの定期的なクエリであり、出力は最新の地理情報である。この情報には、観光名所、地形、道路ネットワークなどが含まれる。具体的な動作として、サーバはデータベースにアクセスし、必要なデータを選別して取得する。
【0475】
ステップ2:
【0476】
サーバは、気象情報サービスからリアルタイムの天候情報を受信する。入力は、外部の気象情報APIであり、出力は現在の気象データである。このデータには、雨、風速、気温情報などが含まれる。サーバは、APIを通じて気象情報をクエリし、実時間データを取得する動作を行う。
【0477】
ステップ3:
【0478】
サーバは、取得した地理情報と気象データを統合し、危険区域を評価する。入力は、ステップ1とステップ2で得たデータであり、出力は危険区域リストである。このリストは、天候条件や地形の危険性に基づいて動的に更新される。サーバはデータを処理し、リスクのあるエリアを特定するための演算を行う。
【0479】
ステップ4:
【0480】
端末は、全地球測位システムを利用してユーザの現在位置を特定する。入力はGPSシステムからの位置データであり、出力はユーザの正確な位置情報である。端末は、継続的に位置サービスを利用して経度と緯度を取得し、ユーザの移動に応じてデータを更新する。
【0481】
ステップ5:
【0482】
端末は、撮影装置を用いて周囲の視覚データを取得し、内蔵された生成AIモデルで解析を行う。入力はカメラで取得した映像データであり、出力は危険要素を含む視覚情報である。モデルは画像認識技術を使って特定のパターンや特徴を識別し、危険性を評価する。
【0483】
ステップ6:
【0484】
端末は、ユーザが危険区域に接近したと判断すると、拡張現実技術を用いて警告を表示する。入力は、ステップ3とステップ5で得たデータであり、出力は視覚的および音声による警告である。端末は、カメラ映像に「危険」の表示を重ね、音声で注意喚起を行う具体的な動作を含む。
【0485】
ステップ7:
【0486】
端末は、安全な閲覧ルートをユーザに案内する。入力はユーザの位置と危険区域情報であり、出力は安全なルート情報である。端末は、地図とナビゲーションシステムを用いて、危険区域を避けたルートを算出し、ユーザに提示する動作を行う。
【0487】
(応用例1)
【0488】
次に、応用例1について説明する。以下の説明では、データ処理装置12を「サーバ」と称し、ヘッドセット型端末314を「端末」と称する。
【0489】
高度な自動運転技術が進展する中で、移動体が危険領域に接近することによる事故を未然に防ぎ、利用者の安全を確保することが重要である。しかし、リアルタイムで変化する地理情報や気象情報に迅速に対応し、適切な経路を選択することは難しい課題である。これにより、安全性の確保と安心な移動の実現が求められている。
【0490】
応用例1におけるデータ処理装置12の特定処理部290による特定処理を、以下の各手段により実現する。
【0491】
この発明では、サーバは、地理情報と気象情報を取得し、それに基づいて危険領域を計算する手段と、移動体の位置を衛星測位システムによって監視し、撮像装置を用いて映像情報を取得する手段と、取得した情報に基づいて移動体の位置が危険領域に接近または侵入しているかを判別する手段と、を含む。これにより、移動体の自動運転中に安全な経路を選択し、危険を未然に防ぐことが可能となる。
【0492】
「地理情報」とは、特定の地域に関する位置データや地形データを指し、移動体の安全な運行に必要な情報である。
【0493】
「気象情報」とは、天候や気象条件に関するデータであり、移動体の運行に影響を与える可能性のある情報である。
【0494】
「危険領域」とは、地理情報と気象情報に基づいて、移動体が進入することで事故やトラブルが生じる可能性のあるエリアである。
【0495】
「移動体」とは、自動的に移動する車両や機械を指し、特に自動運転技術を有するものを示す。
【0496】
「衛星測位システム」とは、人工衛星を利用して地球上の位置を高精度に特定する技術であり、移動体の位置を把握するために用いる。
【0497】
「撮像装置」とは、カメラやセンサーなど映像を取得するための装置であり、移動体周辺の状況を認識するために使用される。
【0498】
「拡張現実技術」とは、現実世界の映像にデジタル情報を重ねて表示させる技術であり、利用者に視覚的な情報を提供する手段である。
【0499】
「視覚および音声で警告する」とは、利用者に対して視覚的な表示や音を用いて注意を促し、危険を知らせる行為である。
【0500】
「経路を自動的に変更し安全経路を選択する」とは、移動体が危険領域を回避して、安全な移動を続けるために、システムが自動で新しい経路を計算し選択することを指す。
【0501】
「制御画面」とは、システムの状況や危険領域の情報を表示し、管理者がそれをリアルタイムで監視できるインターフェースである。
【0502】
この発明を実現するシステムは、サーバと移動体の端末とで構成されている。サーバは、地理情報システム(GIS)ソフトウェアと天候情報APIを活用して、地理情報と気象情報を取得し、それに基づいて危険領域をリアルタイムに計算する。取得した情報は、移動体の端末に送信される。
【0503】
移動体の端末は、衛星測位システム(GPS)を利用して、高精度に移動体の現在位置を特定し、撮像装置(カメラおよびセンサー)を用いて周囲の映像情報を取得する。これらのデータは、端末内にインストールされたTensorFlowを用いた生成AIモデルによりリアルタイムで解析される。この解析結果を基に、端末は移動体が危険領域に接近または侵入しているかどうかを判別する。
【0504】
もし危険が検知された場合、端末は拡張現実技術(AR技術)を用いて視覚的に「危険!」と表示し、音声で警告を発する。さらに、移動体の経路を自動調整し、安全経路を選択する制御を行う。この制御には、Google Maps APIまたはOpenStreetMapが活用される。
【0505】
また、サーバは、管理者向けに制御画面を提供し、危険領域の状態をリアルタイムで監視することを可能にしている。この制御画面では、移動体の位置情報や気象情報が一目で確認でき、必要に応じて速やかな安全対応が行える。
【0506】
具体例として、ある移動体が豪雨による冠水が発生している地域を通過しようとする場合、端末のセンサーが危険を検知し、安全な迂回経路を選択する。この結果、移動体は冠水リスクを回避し、安全に目的地に到達することが可能となる。
【0507】
プロンプト文の例としては、「現在の位置と天候情報をもとに、2km先の経路に危険があるかを判断し、安全なルートに変更してください。」が挙げられる。このプロンプトにより、生成AIモデルが迅速に適切な対応を図ることができる。
【0508】
応用例1における特定処理の流れについて図12を用いて説明する。
【0509】
ステップ1:
【0510】
サーバは地理情報システム(GIS)ソフトウェアと天候情報APIを使用して、地理情報と気象情報を取得する。取得した情報は、危険領域の計算に使用される。入力としてはGISデータベースからの位置データと天候APIからのリアルタイム気象データがあり、隣接領域での危険性を評価して危険領域情報を出力する。
【0511】
ステップ2:
【0512】
サーバは、計算された危険領域情報を移動体の端末に送信する。出力は危険領域を示すデータで、これが端末によって使用される。具体的には、危険度の高いエリアや経路の情報を端末へ送信する動作が行われる。
【0513】
ステップ3:
【0514】
端末は衛星測位システム(GPS)を利用して、移動体の現在位置を特定する。このステップでは、GPSデータを入力として受け取り、移動体の正確な位置座標を出力する。GPSセンサーが常時データを更新し、リアルタイムで位置情報を取得する動作を行う。
【0515】
ステップ4:
【0516】
端末は撮像装置(カメラおよびセンサー)を用いて、周囲の映像情報を取得する。取得した映像データは、AIモデルの入力として用いられる。具体的には、センサーから映像ストリームを取得し、環境の様子を取り込む動作が行われる。
【0517】
ステップ5:
【0518】
端末は取得した映像データをTensorFlowで構築された生成AIモデルに入力し、リアルタイムで解析する。入力は映像データであり、解析の結果、危険領域への接近または侵入が判別され、これを出力する。この結果、危険エリアに関する詳細情報がAIモデルによって生成される。
【0519】
ステップ6:
【0520】
端末は危険が検知された場合、拡張現実技術(AR技術)を用いて、ユーザに対して視覚的および音声で警告する。具体的には、危険な状況を知らせるオーバーレイ表示と音声アラートをユーザに提供する動作が行われる。
【0521】
ステップ7:
【0522】
端末は取得した情報を基に移動体の経路を自動で再評価し、安全経路を選択する。入力としてはユーザの現在位置と危険領域の情報があり、出力として安全経路の経路情報が導かれる。ナビゲーションシステムが新しい経路を計算し、その情報を表示する動作を行う。
【0523】
ステップ8:
【0524】
サーバは制御画面を通じて、管理者に危険領域の状態をリアルタイムで監視できる情報を提供する。管理者は現在の移動体の位置情報や気象条件を入力として受け取り、必要に応じて対応を行う。このステップでは、状況の変化に応じた情報を即時に表示し、指示を可能にする動作が行われる。
【0525】
なお、更に、ユーザの感情を推定する感情エンジンを組み合わせてもよい。すなわち、特定処理部290は、感情特定モデル59を用いてユーザの感情を推定し、ユーザの感情を用いた特定処理を行うようにしてもよい。
【0526】
本発明は、観光地での安全性とユーザエクスペリエンスを向上させるために、ユーザの感情を認識する感情エンジンを組み込んだシステムである。このシステムは、ユーザの位置や周囲の危険状況をリアルタイムで監視し、ユーザの感情状態に応じて適切なフィードバックを提供する。
【0527】
サーバは、従来の地理データおよび天候情報の取得に加え、感情データベースおよびAIモデルを活用し、感情エンジンの動作をサポートする。このエンジンは、ユーザの表情解析や音声入力データをもとに、ユーザの感情状態をリアルタイムで評価する。
【0528】
端末はGPSとカメラを使用して、常にユーザの位置情報と映像データを取得する。おなじく、ユーザの音声や顔の表情を感情エンジンに送り、ユーザの感情状態を分析する。この分析結果に基づいて、感情エンジンはユーザの現在の感情状態を判定する。
【0529】
具体的な動作としては、ユーザが危険エリアに近づいていると感情エンジンが判定した際、ユーザがリラックスして楽しんでいる感情状態であれば、直線的な警告の代わりに写真撮影の良いスポットを提案し、楽しみを損なわないようにする。一方、ユーザが緊張やストレスを感じている場合は、優しい音声で適度に警告し、安心感を与えるよう操作する。このようにして、ユーザの個々の感情に対応したパーソナライズされたインタラクションを実現する。
【0530】
ユーザは、端末の感情フィードバックによって、自分の状態に最適化された注意喚起を受け、安全で快適に観光活動を行うことができる。これにより、従来の警告システムでは実現できなかった利便性と安全性の両立が可能となる。管理者にとっても、サーバにより得られたユーザの感情データは、観光地の改善点や新たなアトラクション企画の参考情報となる。
【0531】
以下に、処理の流れについて説明する。
【0532】
ステップ1:
【0533】
サーバは、地理データベースおよびリアルタイム天候情報サービスからデータを取得し、危険エリアを特定する。この情報は、端末に送信される。
【0534】
ステップ2:
【0535】
端末は、GPSセンサを用いてユーザの位置情報を定期的に取得し、サーバから受信した危険エリア情報と照合する。
【0536】
ステップ3:
【0537】
端末は、カメラを使用してユーザの表情を撮影し、マイクを使用して音声データを収集する。これらのデータは感情エンジンに入力される。
【0538】
ステップ4:
【0539】
端末上の感情エンジンは、表情解析と音声認識を行い、ユーザの感情状態をリアルタイムで評価する。この結果は即時に利用される。
【0540】
ステップ5:
【0541】
ユーザの感情状態と位置情報を基に、端末はユーザが危険エリアに接近しているかどうかを判断する。危険がある場合、感情状態に応じて警告の内容を決定する。
【0542】
ステップ6:
【0543】
端末は、ユーザがリラックスしている場合には、気軽なトーンで視覚的および音声警告を提供し、追加で楽しい観光スポットを推奨する。緊張している場合には、優しい声と柔らかな画面表示で警告を行う。
【0544】
ステップ7:
【0545】
ユーザは、端末から提供される警告とアドバイスを受けて、安全な行動を取りつつ、提示された新たなルートやオプションを選択して観光を楽しむ。
【0546】
ステップ8:
【0547】
サーバは、全てのユーザの感情データと行動データを集約し、統計的分析を行う。この情報は、管理者が観光地の安全性とユーザ体験の向上に役立てるために、ダッシュボードで提供される。
【0548】
(実施例2)
【0549】
次に、実施例2について説明する。以下の説明では、データ処理装置12を「サーバ」と称し、ヘッドセット型端末314を「端末」と称する。
【0550】
観光地における移動体の安全性と利便性を向上させることは、観光体験の質を高めるための重要な課題である。しかし、従来の警告システムは、単純な警告しか提供できず、個々の移動体の状況や感情に応じた柔軟な対応ができないという問題がある。さらに、危険地域への接近についての警告において、過度のストレスを与えることなく効果的に注意喚起を行う手段が求められている。
【0551】
実施例2におけるデータ処理装置12の特定処理部290による特定処理を、以下の各手段により実現する。
【0552】
この発明では、サーバは、地理情報や気象情報を取得し、その情報に基づいて危険地域を評価する手段と、感情解析装置により移動体の感情状態を解析し、移動体の感情に応じたフィードバックを生成する手段と、移動体に安全な路線と見所を案内する手段と、を含む。これにより、移動体は、個々の感情状態に対応した安全かつ快適な観光体験を享受することが可能となる。
【0553】
「地理情報」とは、特定の地域に関する位置、境界、地形、施設配置などを含む情報であり、移動体のナビゲーションや位置判定に利用されるデータである。
【0554】
「気象情報」とは、特定の地域における天気、気温、降水量、風速などの気象条件に関する情報であり、外部環境の変動を把握するためのデータである。
【0555】
「危険地域」とは、特定の条件下で移動体に対して安全上のリスクをもたらす可能性のある地域であり、その評価は地理情報や気象情報を基に行われる。
【0556】
「移動体」とは、観光地などの地域内を移動する人や物を指し、その位置や状況がシステムで監視される対象である。
【0557】
「測定手段」とは、移動体の位置や動きを高精度で計測するための技術や装置であり、通常はGPS技術が用いられる。
【0558】
「画像記録手段」ととは、移動体の周囲の映像情報を取得するための装置や技術であり、一般的にはカメラが使用される。
【0559】
「感情解析装置」とは、移動体の感情状態を表情や音声データを利用して解析するための技術または装置であり、AIモデルが適用される。
【0560】
「フィードバック」とは、解析によって得られた情報を基に移動体に対して提供される助言や警告などの情報であり、感情状態に応じた形式で提示される。
【0561】
「通信装置」とは、データを端末間で送受信するための装置や技術であり、ネットワーク通信が可能な構成を持つ。
【0562】
「拡張現実技術」とは、現実世界の視覚情報にデジタル情報を重ね合わせる技術であり、視覚的な警告や案内をより直感的に提供することを目的とする。
【0563】
「管理装置」とは、システム全体の監視と制御を担当する装置であり、特に危険地域のリアルタイム状況を表示するための中枢的要素である。
【0564】
「表示装置」とは、管理装置からの情報を可視化して提示するための装置であり、通常はモニターやディスプレイが使用される。
【0565】
この発明は、観光地などで移動体の安全性とユーザエクスペリエンスを向上させるために構築されたシステムである。具体的には、移動体の位置情報、映像情報、および感情状態をリアルタイムで解析し、それに基づいた適切なフィードバックを提供する。
【0566】
端末は、ハードウェアとしてGPSとカメラを搭載している。GPSモジュールは移動体の位置情報を常時取得し、カメラは移動体の周囲の映像情報を記録する。これに加えて、マイクを用いて移動体の音声情報も取得する。これらのデータは、無線通信装置を通じてサーバに送信され、サーバでの解析が行われる。
【0567】
サーバは、受信したデータを用いて、生成AIモデル(例:TensorFlow)を駆使し、移動体の表情や音声データから感情を解析する。この際、感情解析装置がユーザのリアルタイムの感情状態を評価し、その結果を用いて最適なフィードバックを生成する。フィードバックは生成AIモデルを通じて自然言語処理されており、移動体の状態に応じた柔軟な案内を提供する。
【0568】
ユーザが危険地域に接近したとき、サーバはその移動体の感情状態を考慮に入れた警告を生成する。具体例として、ユーザがリラックスしている場合、危険を伝えるのではなく、代わりに「こちらで素晴らしい写真が撮れます」といった情報を提供する。そのためのプロンプト文を次のように設定することができる:
【0569】
「ユーザの感情状態が『リラックス』と判断された場合、写真撮影のおすすめスポットを表示するプロンプトを作成してください。」
【0570】
このようにして、システムは個々の感情に適したインタラクションを実現し、移動体が快適に観光体験を享受できるように支援する。また、管理装置は、危険地域の状況をリアルタイムで監視できるようになり、さらなる安全性の確保に貢献する。
【0571】
実施例2における特定処理の流れについて図13を用いて説明する。
【0572】
ステップ1:
【0573】
端末は、GPSモジュールを使用してユーザの位置情報を取得する。入力としては、衛星から受信する位置信号があり、これを解析することでリアルタイムの経度・緯度情報を出力する。さらに、カメラとマイクを用いてユーザの映像および音声データをそれぞれ取得する。これにより、ユーザの周囲状況や感情表現に関する生データが得られる。
【0574】
ステップ2:
【0575】
端末は、取得した位置情報、映像データ、音声データをパケットにまとめ、無線通信装置を通じてサーバに送信する。ここでの入力は、端末内で収集された各種データであり、出力はサーバへの安全で迅速なデータ転送である。この送信では、データが暗号化されているため、情報のセキュリティが確保される。
【0576】
ステップ3:
【0577】
サーバは、端末から受信したデータをデコードし、生成AIモデルを使用してこれを分析する。特に、音声と顔の表情データを感情解析装置に渡し、ユーザの感情状態を解析する。入力はサーバに送られた生データで、出力は『リラックス』や『緊張』といった定性的な感情評価である。
【0578】
ステップ4:
【0579】
サーバは、評価された感情状態とともに地理情報と気象情報を再評価し、危険地域の特定と警告戦略の策定を行う。この入力は解析結果と現地情報であり、出力は最適なフィードバック内容としてプロンプト文の形式で生成される。このプロンプト文は、利用する生成AIモデルによって自然言語に変換される。
【0580】
ステップ5:
【0581】
端末は、サーバから受け取ったプロンプトに基づき、ユーザにビジュアルまたは音声でフィードバックを表示する。ここでの入力はサーバからのプロンプト文であり、出力はユーザインタフェースを通じた案内情報である。たとえば、リラックスしているユーザには「こちらで素晴らしい写真が撮れます」といった視覚的な提案を行う。
【0582】
この一連のステップによって、システムはリアルタイムでユーザの感情に応じた安全かつ快適な観光体験を提供することが可能になる。
【0583】
(応用例2)
【0584】
次に、応用例2について説明する。以下の説明では、データ処理装置12を「サーバ」と称し、ヘッドセット型端末314を「端末」と称する。
【0585】
本発明が解決しようとする課題は、観光地や実店舗において、訪問者の安全性とユーザエクスペリエンスを同時に向上させることである。従来の警告システムは一般的に一律の情報提供にとどまり、各利用者の感情に応じた個別対応が不足しており、訪問者が感じるストレスや不安を軽減することができていなかった。
【0586】
応用例2におけるデータ処理装置12の特定処理部290による特定処理を、以下の各手段により実現する。
【0587】
この発明では、サーバは、地理情報および気象データを取得して、危険地点を評価する手段と、ユーザの位置を位置情報技術により継続的に監視し、視覚データを収集する手段と、ユーザの感情を識別し、感情状態に基づいた適切なフィードバックを提供する手段と、を含む。これにより、訪問者一人一人の感情状態に応じた個別の警告や案内を自動的に提供することが可能となり、訪問者は安心して安全に目的地を楽しむことが可能となる。
【0588】
「地理情報」とは、特定の地域に関する位置、地形、ランドマークなどの関連情報を指し、位置の確定や経路の探索に用いられるデータである。
【0589】
「気象データ」とは、気温、降水量、風速、湿度といった大気の状態に関する情報であり、環境の現況を把握するために用いられるものである。
【0590】
「危険地点」とは、訪問者にとって安全性が脅かされる可能性のある場所を指し、事前に注意を喚起する必要があるエリアである。
【0591】
「位置情報技術」とは、GPSやその他のセンサを用いて物体や人物の現在地を特定するための技術であり、位置の追跡に用いられるものである。
【0592】
「視覚データ」とは、カメラやセンサを通じて得られる画像や映像情報であり、周囲の環境や動態を理解するために使用されるデータである。
【0593】
「感情の識別」とは、ユーザの表情、音声、身体の動きなどを解析し、現在の感情状態を推測するプロセスを指す。
【0594】
「フィードバック」とは、ユーザに提供される情報や指示、警告などの応答であり、システムが利用者の状態に基づいて動的に生成するものである。
【0595】
この発明を実施するためのシステムは、主に3つの構成要素を含む。具体的には、サーバ、端末、ユーザである。
【0596】
サーバは、地理情報と気象データを取得し、危険地点を評価する役割を担う。これにより、安全な観光やショッピング環境を確保する。また、ユーザの感情を識別し、その状態に基づいて個別のフィードバックを作成する機能も持つ。この作業には、AIモデルを活用し、データの解析および感情の判定を行う。
【0597】
端末には、主に位置情報技術と視覚データを収集するためのカメラやGPS機能が搭載される。これにより、ユーザの位置や周囲環境の情報をリアルタイムで把握することが可能である。さらに、端末はAIモデルを内蔵しており、カメラで取得した映像データと音声データからユーザの感情を解析する。解析した感情情報は、サーバに送信され、個別フィードバックの提供に役立てられる。
【0598】
ユーザが端末を使用することで、システムは彼らに安全な経路案内や観光スポットの提案を行う。例えば、ユーザが楽しんでいると判定された場合、関連する割引情報やプロモーション情報を表示することができる。逆に、困難や不安を感じている様子を検知した場合は、役立つアドバイスやヘルプを提供するためのオプションが表示されるようになっている。
【0599】
具体例としては、ユーザが店内で商品を選んでいるときにスマート眼鏡を使用した場合、その表情が笑顔であれば割引情報を視界に表示し、困った表情であれば製品のレビューや使い方のヒントを表示するようなインタラクションが可能である。この際のプロンプト文の例としては、「ユーザが微笑んでいる時、製品に関する割引情報を表示してください。」や「ユーザが困った表情をしている時、ヘルプを呼び出すかFAQを表示してください。」が挙げられる。
【0600】
この仕組みを通じて、ユーザはより安全で安心なショッピング体験や観光体験を得ることが可能であり、訪問した地域の状況に応じた適切な案内を受けることで利便性が大きく向上する。
【0601】
応用例2における特定処理の流れについて図14を用いて説明する。
【0602】
ステップ1:
【0603】
サーバは、地理情報および気象データを入力として取得する。取得した情報をもとにアルゴリズムを用いて危険地点を評価する。出力として、危険地点リストを生成し、後続の処理に備える。
【0604】
ステップ2:
【0605】
端末は、ユーザの位置を入力として位置情報技術(GPS)を利用してリアルタイムで監視し、カメラを通じて視覚データを収集する。これらのデータは、現時点でのユーザの具体的な位置と周囲の環境状況を提供し、出力としてサーバに送信される。
【0606】
ステップ3:
【0607】
サーバは、端末から送信された位置データと視覚データをもとに、ユーザが危険地点に近づいているかを判定する。この判断に利用するのは、ステップ1で生成された危険地点リストである。出力として、ユーザが危険地点に接近している場合はアラーム状態を生成し、端末に送信する。
【0608】
ステップ4:
【0609】
端末は、サーバから受け取ったアラーム状態や入力された視覚データをもとに、AIモデルを用いてユーザの感情をリアルタイムで分析する。データ処理には、表情認識技術と音声解析技術を用いて、感情状態を出力し、必要に応じてフィードバック内容を準備する。
【0610】
ステップ5:
【0611】
端末は、感情分析の結果に基づき、ユーザに適切なフィードバックを提供する。ユーザがリラックスしている場合はプロモーション情報を提供し、反対にストレスを感じている場合は優しく警告するなどの選択肢を提示し、出力として視覚・音声フィードバックをユーザに送信する。
【0612】
ステップ6:
【0613】
ユーザは、端末からの視覚・音声フィードバックを受け取り、案内に従って行動を調整する。これにより、ユーザはインタラクションの内容を理解し、具体的な行動を起こすことで、より安全で快適に目的地を楽しむことができる。
【0614】
特定処理部290は、特定処理の結果をヘッドセット型端末314に送信する。ヘッドセット型端末314では、制御部46Aが、スピーカ240及びディスプレイ343に対して特定処理の結果を出力させる。マイクロフォン238は、特定処理の結果に対するユーザ入力を示す音声を取得する。制御部46Aは、マイクロフォン238によって取得されたユーザ入力を示す音声データをデータ処理装置12に送信する。データ処理装置12では、特定処理部290が音声データを取得する。
【0615】
データ生成モデル58は、いわゆる生成系AI(Artificial Intelligence)である。データ生成モデル58の一例としては、ChatGPT(インターネット検索<URL: https://openai.com/blog/chatgpt>)、Gemini(インターネット検索<URL: https://gemini.google.com/?hl=ja>)等の生成AIが挙げられる。データ生成モデル58は、ニューラルネットワークに対して深層学習を行わせることによって得られる。データ生成モデル58には、指示を含むプロンプトが入力され、かつ、音声を示す音声データ、テキストを示すテキストデータ、及び画像を示す画像データ等の推論用データが入力される。データ生成モデル58は、入力された推論用データをプロンプトにより示される指示に従って推論し、推論結果を音声データ及びテキストデータ等のデータ形式で出力する。ここで、推論とは、例えば、分析、分類、予測、及び/又は要約等を指す。
【0616】
上記実施形態では、データ処理装置12によって特定処理が行われる形態例を挙げたが、本開示の技術はこれに限定されず、ヘッドセット型端末314によって特定処理が行われるようにしてもよい。
【0617】
[第4実施形態]
【0618】
図7には、第4実施形態に係るデータ処理システム410の構成の一例が示されている。
【0619】
図7に示すように、データ処理システム410は、データ処理装置12及びロボット414を備えている。データ処理装置12の一例としては、サーバが挙げられる。
【0620】
データ処理装置12は、コンピュータ22、データベース24、及び通信I/F26を備えている。コンピュータ22は、本開示の技術に係る「コンピュータ」の一例である。コンピュータ22は、プロセッサ28、RAM30、及びストレージ32を備えている。プロセッサ28、RAM30、及びストレージ32は、バス34に接続されている。また、データベース24及び通信I/F26も、バス34に接続されている。通信I/F26は、ネットワーク54に接続されている。ネットワーク54の一例としては、WAN(Wide Area Network)及び/又はLAN(Local Area Network)等が挙げられる。
【0621】
ロボット414は、コンピュータ36、マイクロフォン238、スピーカ240、カメラ42、通信I/F44、及び制御対象443を備えている。コンピュータ36は、プロセッサ46、RAM48、及びストレージ50を備えている。プロセッサ46、RAM48、及びストレージ50は、バス52に接続されている。また、マイクロフォン238、スピーカ240、カメラ42、及び制御対象443も、バス52に接続されている。
【0622】
マイクロフォン238は、ユーザ20が発する音声を受け付けることで、ユーザ20から指示等を受け付ける。マイクロフォン238は、ユーザ20が発する音声を捕捉し、捕捉した音声を音声データに変換してプロセッサ46に出力する。スピーカ240は、プロセッサ46からの指示に従って音声を出力する。
【0623】
カメラ42は、レンズ、絞り、及びシャッタ等の光学系と、CMOS(Complementary Metal-Oxide-Semiconductor)イメージセンサ又はCCD(Charge Coupled Device)イメージセンサ等の撮像素子とが搭載された小型デジタルカメラであり、ユーザ20の周囲(例えば、一般的な健常者の視界の広さに相当する画角で規定された撮像範囲)を撮像する。
【0624】
通信I/F44は、ネットワーク54に接続されている。通信I/F44及び26は、ネットワーク54を介してプロセッサ46とプロセッサ28との間の各種情報の授受を司る。通信I/F44及び26を用いたプロセッサ46とプロセッサ28との間の各種情報の授受はセキュアな状態で行われる。
【0625】
制御対象443は、表示装置、目部のLED、並びに、腕、手及び足等を駆動するモータ等を含む。ロボット414の姿勢や仕草は、腕、手及び足等のモータを制御することにより制御される。ロボット414の感情の一部は、これらのモータを制御することにより表現できる。また、ロボット414の目部のLEDの発光状態を制御することによっても、ロボット414の表情を表現できる。
【0626】
図8には、データ処理装置12及びロボット414の要部機能の一例が示されている。図8に示すように、データ処理装置12では、プロセッサ28によって特定処理が行われる。ストレージ32には、特定処理プログラム56が格納されている。
【0627】
特定処理プログラム56は、本開示の技術に係る「プログラム」の一例である。プロセッサ28は、ストレージ32から特定処理プログラム56を読み出し、読み出した特定処理プログラム56をRAM30上で実行する。特定処理は、プロセッサ28がRAM30上で実行する特定処理プログラム56に従って、特定処理部290として動作することによって実現される。
【0628】
ストレージ32には、データ生成モデル58及び感情特定モデル59が格納されている。データ生成モデル58及び感情特定モデル59は、特定処理部290によって用いられる。
【0629】
ロボット414では、プロセッサ46によって受付出力処理が行われる。ストレージ50には、受付出力プログラム60が格納されている。プロセッサ46は、ストレージ50から受付出力プログラム60を読み出し、読み出した受付出力プログラム60をRAM48上で実行する。受付出力処理は、プロセッサ46がRAM48上で実行する受付出力プログラム60に従って、制御部46Aとして動作することによって実現される。
【0630】
次に、データ処理装置12の特定処理部290による特定処理について説明する。以下の説明では、データ処理装置12を「サーバ」と称し、ロボット414を「端末」と称する。
【0631】
本発明は、観光中のユーザに対して、危険エリアを検知して警告を発し、安全性を確保するためのシステムである。システムは主に、サーバと端末(ユーザのスマートフォン)で構成される。以下、その詳細を説明する。
【0632】
サーバは、地理データベースから観光地や周辺の地理情報を取得し、適宜更新を行う。また、天候管理サービスからリアルタイムの天候情報を受信し、これをデータに統合する。この集約された情報を元に、サーバは危険エリアを動的に判断し、その情報を端末に送信する。
【0633】
端末ではGPSを使用して、常時ユーザの現在位置を特定する。これに加えて、端末のカメラを使って周囲の映像データを取得する。この映像データは、リアルタイムで端末内にインストールされたAIモデルにより解析され、視覚的な情報から危険エリアの特定が行われる。
【0634】
もしユーザが危険エリアに接近したとシステムが判断すると、端末はAR技術を用いてユーザの画面上に視覚的な警告を表示する。例えば、カメラの風景に重ねて「危険!」の文字や赤い枠をオーバーレイ表示する。同時に、音声で「危険な領域に近づいています」という警告をユーザに伝える。
【0635】
ユーザは、これらの警告に基づいて安全な観光エリアを維持できるほか、端末によって提供される安全な閲覧ルートを参考にすることができる。さらに、観光施設の管理者にとっては、サーバが提供するダッシュボードにより、観光地全体の危険エリアや天候状況をリアルタイムで監視できるため、的確な安全対応が可能となる。
【0636】
具体例として、ある観光地では、散策路に沿った崖が多く、予期せぬ滑落事故が懸念されている。このシステムにより、端末がユーザの位置を逐次監視し、崖に近づくと警告が表示されることで、事故を未然に防ぐことができる。また、天候が急変し落雷の危険がある場合でも、迅速に情報を受けてユーザに退避を促す通知を出すことができるため、安全な観光が支援される。
【0637】
以下に、処理の流れについて説明する。
【0638】
ステップ1:
【0639】
サーバは、地理データベースと天候管理サービスから、それぞれ地理情報とリアルタイムの天候情報を取得し、これらを照合して危険エリアのリストを生成する。
【0640】
ステップ2:
【0641】
端末は、GPSセンサを用いてユーザの現在位置を定期的に取得する。この情報は、端末内部で指定された更新間隔に従ってサーバにも送信される。
【0642】
ステップ3:
【0643】
端末は、カメラを使用して継続的に映像データを収集し、このデータを高性能なAIモデルでリアルタイムに解析する。AIモデルは、カメラで捉えた風景が危険エリアに含まれるかどうかを判定する。
【0644】
ステップ4:
【0645】
サーバは、ユーザの位置情報と危険エリアリストを比較し、ユーザが危険エリアに接近または侵入している場合、その情報を端末に送信する。
【0646】
ステップ5:
【0647】
端末は、サーバからの危険エリア通知またはAIモデルの解析結果に基づき、ユーザのスマートフォン画面に拡張現実(AR)を用いた視覚警告を表示する。これには、カメラの映像に「危険!」という警告や注意喚起のメッセージがオーバーレイされる。
【0648】
ステップ6:
【0649】
端末は、視覚警告とともに、音声出力でユーザに対し注意喚起を行う。音声で「危険な領域です、注意してください」といったメッセージを発する。
【0650】
ステップ7:
【0651】
ユーザが提示された警告に対応し、安全なルートや観光地を案内するための代替ルート情報を端末から受け取る。これにより、ユーザは危険を回避して観光を続けることができる。
【0652】
ステップ8:
【0653】
サーバは、施設管理者用のダッシュボードを更新し、観光地全体の危険状況やユーザの行動情報をリアルタイムで表示する。この情報に基づき、管理者は必要に応じて現場での対策を実施する。
【0654】
(実施例1)
【0655】
次に、実施例1について説明する。以下の説明では、データ処理装置12を「サーバ」と称し、ロボット414を「端末」と称する。
【0656】
近年、観光地への訪問者の安全を確保することが重要視されているが、リアルタイムでの危険エリアの警告や、安全なルートの案内を自動的に提供する技術が不足している。特に、環境が変化しやすい自然の中では、天候の悪化や地形の危険性に対する対応が遅れがちで、事故の原因となる。この課題を解決するためには、観光地における利用者の安全を高める効率的かつ信頼性のあるシステムが求められている。
【0657】
実施例1におけるデータ処理装置12の特定処理部290による特定処理を、以下の各手段により実現する。
【0658】
この発明では、サーバは、位置情報データベースと気象情報サービスから地理情報および気象データを取得し、統合して危険区域を評価する手段と、利用者の位置を全地球測位システムによって継続的に特定し、撮影装置を通じて視覚データを取得する手段と、取得した位置データおよび視覚情報を基に利用者の位置が危険区域に接近または侵入しているかを判定する手段と、を含む。これにより、利用者に対してリアルタイムで安全な観光を促すことが可能となる。
【0659】
「位置情報データベース」とは、地理的な位置を示す情報を蓄積し、検索可能な形式で保存するシステムである。
【0660】
「気象情報サービス」とは、気象データをリアルタイムで提供するオンラインの情報プラットフォームである。
【0661】
「危険区域」とは、利用者の安全が脅かされる可能性がある場所を指し、動的に評価される領域である。
【0662】
「全地球測位システム」とは、衛星を利用して地球上の特定地点の位置を測定するシステムである。
【0663】
「撮影装置」とは、視覚データを取得するためのカメラやイメージセンサーなどの装置である。
【0664】
「視覚データ」とは、カメラなどで撮影された画像や映像情報を指す。
【0665】
「拡張現実技術」とは、現実世界の視覚情報にデジタル情報を重ね合わせ、表示する技術である。
【0666】
「統制パネル」とは、システムの状況を監視し、管理者が必要な操作を行うために用いるインターフェースである。
【0667】
この発明は、観光地における利用者の安全を確保するためのシステムである。このシステムは、主にサーバと端末から構成される。サーバは、位置情報データベースおよび気象情報サービスを用いて、地理情報と気象データを統合する。サーバは、これらのデータを基に危険区域を評価し、動的に更新する。サーバは、危険区域の情報を端末に送信する。
【0668】
端末は、全地球測位システムを利用して利用者の位置を継続的に特定する。また、撮影装置を用いて視覚データを取得し、端末に内蔵された生成AIモデルで解析を行う。この解析により、視覚データから危険要素を特定し、利用者が危険区域に近づいた際には警告を発することができる。警告は、拡張現実技術を用いて視覚的および音声で利用者に伝えられる。
【0669】
実施例として、観光地において急激に天候が悪化し、雷の危険が発生した場合、このシステムはサーバが即座に天候情報を取得し、危険区域を特定して端末に送信する。端末は、利用者がその区域に接近する前に警告を表示し、安全な迂回ルートを案内することができる。
【0670】
生成AIモデルは、リアルタイムで視覚データを解析する能力を有するため、環境の変化に迅速に対応できる。これにより、利用者の安全を常に最優先することが可能である。プロンプト文の例として、「ユーザが観光中に危険エリアに近づいた場合に警告を出すシステムについて説明してください。具体的には、サーバと端末がどのように連携してユーザの安全を確保するのかを詳細に述べてください。」が挙げられる。
【0671】
実施例1における特定処理の流れについて図11を用いて説明する。
【0672】
ステップ1:
【0673】
サーバは、位置情報データベースから観光地とその周辺の地理情報を取得する。入力は、地理データベースへの定期的なクエリであり、出力は最新の地理情報である。この情報には、観光名所、地形、道路ネットワークなどが含まれる。具体的な動作として、サーバはデータベースにアクセスし、必要なデータを選別して取得する。
【0674】
ステップ2:
【0675】
サーバは、気象情報サービスからリアルタイムの天候情報を受信する。入力は、外部の気象情報APIであり、出力は現在の気象データである。このデータには、雨、風速、気温情報などが含まれる。サーバは、APIを通じて気象情報をクエリし、実時間データを取得する動作を行う。
【0676】
ステップ3:
【0677】
サーバは、取得した地理情報と気象データを統合し、危険区域を評価する。入力は、ステップ1とステップ2で得たデータであり、出力は危険区域リストである。このリストは、天候条件や地形の危険性に基づいて動的に更新される。サーバはデータを処理し、リスクのあるエリアを特定するための演算を行う。
【0678】
ステップ4:
【0679】
端末は、全地球測位システムを利用してユーザの現在位置を特定する。入力はGPSシステムからの位置データであり、出力はユーザの正確な位置情報である。端末は、継続的に位置サービスを利用して経度と緯度を取得し、ユーザの移動に応じてデータを更新する。
【0680】
ステップ5:
【0681】
端末は、撮影装置を用いて周囲の視覚データを取得し、内蔵された生成AIモデルで解析を行う。入力はカメラで取得した映像データであり、出力は危険要素を含む視覚情報である。モデルは画像認識技術を使って特定のパターンや特徴を識別し、危険性を評価する。
【0682】
ステップ6:
【0683】
端末は、ユーザが危険区域に接近したと判断すると、拡張現実技術を用いて警告を表示する。入力は、ステップ3とステップ5で得たデータであり、出力は視覚的および音声による警告である。端末は、カメラ映像に「危険」の表示を重ね、音声で注意喚起を行う具体的な動作を含む。
【0684】
ステップ7:
【0685】
端末は、安全な閲覧ルートをユーザに案内する。入力はユーザの位置と危険区域情報であり、出力は安全なルート情報である。端末は、地図とナビゲーションシステムを用いて、危険区域を避けたルートを算出し、ユーザに提示する動作を行う。
【0686】
(応用例1)
【0687】
次に、応用例1について説明する。以下の説明では、データ処理装置12を「サーバ」と称し、ロボット414を「端末」と称する。
【0688】
高度な自動運転技術が進展する中で、移動体が危険領域に接近することによる事故を未然に防ぎ、利用者の安全を確保することが重要である。しかし、リアルタイムで変化する地理情報や気象情報に迅速に対応し、適切な経路を選択することは難しい課題である。これにより、安全性の確保と安心な移動の実現が求められている。
【0689】
応用例1におけるデータ処理装置12の特定処理部290による特定処理を、以下の各手段により実現する。
【0690】
この発明では、サーバは、地理情報と気象情報を取得し、それに基づいて危険領域を計算する手段と、移動体の位置を衛星測位システムによって監視し、撮像装置を用いて映像情報を取得する手段と、取得した情報に基づいて移動体の位置が危険領域に接近または侵入しているかを判別する手段と、を含む。これにより、移動体の自動運転中に安全な経路を選択し、危険を未然に防ぐことが可能となる。
【0691】
「地理情報」とは、特定の地域に関する位置データや地形データを指し、移動体の安全な運行に必要な情報である。
【0692】
「気象情報」とは、天候や気象条件に関するデータであり、移動体の運行に影響を与える可能性のある情報である。
【0693】
「危険領域」とは、地理情報と気象情報に基づいて、移動体が進入することで事故やトラブルが生じる可能性のあるエリアである。
【0694】
「移動体」とは、自動的に移動する車両や機械を指し、特に自動運転技術を有するものを示す。
【0695】
「衛星測位システム」とは、人工衛星を利用して地球上の位置を高精度に特定する技術であり、移動体の位置を把握するために用いる。
【0696】
「撮像装置」とは、カメラやセンサーなど映像を取得するための装置であり、移動体周辺の状況を認識するために使用される。
【0697】
「拡張現実技術」とは、現実世界の映像にデジタル情報を重ねて表示させる技術であり、利用者に視覚的な情報を提供する手段である。
【0698】
「視覚および音声で警告する」とは、利用者に対して視覚的な表示や音を用いて注意を促し、危険を知らせる行為である。
【0699】
「経路を自動的に変更し安全経路を選択する」とは、移動体が危険領域を回避して、安全な移動を続けるために、システムが自動で新しい経路を計算し選択することを指す。
【0700】
「制御画面」とは、システムの状況や危険領域の情報を表示し、管理者がそれをリアルタイムで監視できるインターフェースである。
【0701】
この発明を実現するシステムは、サーバと移動体の端末とで構成されている。サーバは、地理情報システム(GIS)ソフトウェアと天候情報APIを活用して、地理情報と気象情報を取得し、それに基づいて危険領域をリアルタイムに計算する。取得した情報は、移動体の端末に送信される。
【0702】
移動体の端末は、衛星測位システム(GPS)を利用して、高精度に移動体の現在位置を特定し、撮像装置(カメラおよびセンサー)を用いて周囲の映像情報を取得する。これらのデータは、端末内にインストールされたTensorFlowを用いた生成AIモデルによりリアルタイムで解析される。この解析結果を基に、端末は移動体が危険領域に接近または侵入しているかどうかを判別する。
【0703】
もし危険が検知された場合、端末は拡張現実技術(AR技術)を用いて視覚的に「危険!」と表示し、音声で警告を発する。さらに、移動体の経路を自動調整し、安全経路を選択する制御を行う。この制御には、Google Maps APIまたはOpenStreetMapが活用される。
【0704】
また、サーバは、管理者向けに制御画面を提供し、危険領域の状態をリアルタイムで監視することを可能にしている。この制御画面では、移動体の位置情報や気象情報が一目で確認でき、必要に応じて速やかな安全対応が行える。
【0705】
具体例として、ある移動体が豪雨による冠水が発生している地域を通過しようとする場合、端末のセンサーが危険を検知し、安全な迂回経路を選択する。この結果、移動体は冠水リスクを回避し、安全に目的地に到達することが可能となる。
【0706】
プロンプト文の例としては、「現在の位置と天候情報をもとに、2km先の経路に危険があるかを判断し、安全なルートに変更してください。」が挙げられる。このプロンプトにより、生成AIモデルが迅速に適切な対応を図ることができる。
【0707】
応用例1における特定処理の流れについて図12を用いて説明する。
【0708】
ステップ1:
【0709】
サーバは地理情報システム(GIS)ソフトウェアと天候情報APIを使用して、地理情報と気象情報を取得する。取得した情報は、危険領域の計算に使用される。入力としてはGISデータベースからの位置データと天候APIからのリアルタイム気象データがあり、隣接領域での危険性を評価して危険領域情報を出力する。
【0710】
ステップ2:
【0711】
サーバは、計算された危険領域情報を移動体の端末に送信する。出力は危険領域を示すデータで、これが端末によって使用される。具体的には、危険度の高いエリアや経路の情報を端末へ送信する動作が行われる。
【0712】
ステップ3:
【0713】
端末は衛星測位システム(GPS)を利用して、移動体の現在位置を特定する。このステップでは、GPSデータを入力として受け取り、移動体の正確な位置座標を出力する。GPSセンサーが常時データを更新し、リアルタイムで位置情報を取得する動作を行う。
【0714】
ステップ4:
【0715】
端末は撮像装置(カメラおよびセンサー)を用いて、周囲の映像情報を取得する。取得した映像データは、AIモデルの入力として用いられる。具体的には、センサーから映像ストリームを取得し、環境の様子を取り込む動作が行われる。
【0716】
ステップ5:
【0717】
端末は取得した映像データをTensorFlowで構築された生成AIモデルに入力し、リアルタイムで解析する。入力は映像データであり、解析の結果、危険領域への接近または侵入が判別され、これを出力する。この結果、危険エリアに関する詳細情報がAIモデルによって生成される。
【0718】
ステップ6:
【0719】
端末は危険が検知された場合、拡張現実技術(AR技術)を用いて、ユーザに対して視覚的および音声で警告する。具体的には、危険な状況を知らせるオーバーレイ表示と音声アラートをユーザに提供する動作が行われる。
【0720】
ステップ7:
【0721】
端末は取得した情報を基に移動体の経路を自動で再評価し、安全経路を選択する。入力としてはユーザの現在位置と危険領域の情報があり、出力として安全経路の経路情報が導かれる。ナビゲーションシステムが新しい経路を計算し、その情報を表示する動作を行う。
【0722】
ステップ8:
【0723】
サーバは制御画面を通じて、管理者に危険領域の状態をリアルタイムで監視できる情報を提供する。管理者は現在の移動体の位置情報や気象条件を入力として受け取り、必要に応じて対応を行う。このステップでは、状況の変化に応じた情報を即時に表示し、指示を可能にする動作が行われる。
【0724】
なお、更に、ユーザの感情を推定する感情エンジンを組み合わせてもよい。すなわち、特定処理部290は、感情特定モデル59を用いてユーザの感情を推定し、ユーザの感情を用いた特定処理を行うようにしてもよい。
【0725】
本発明は、観光地での安全性とユーザエクスペリエンスを向上させるために、ユーザの感情を認識する感情エンジンを組み込んだシステムである。このシステムは、ユーザの位置や周囲の危険状況をリアルタイムで監視し、ユーザの感情状態に応じて適切なフィードバックを提供する。
【0726】
サーバは、従来の地理データおよび天候情報の取得に加え、感情データベースおよびAIモデルを活用し、感情エンジンの動作をサポートする。このエンジンは、ユーザの表情解析や音声入力データをもとに、ユーザの感情状態をリアルタイムで評価する。
【0727】
端末はGPSとカメラを使用して、常にユーザの位置情報と映像データを取得する。おなじく、ユーザの音声や顔の表情を感情エンジンに送り、ユーザの感情状態を分析する。この分析結果に基づいて、感情エンジンはユーザの現在の感情状態を判定する。
【0728】
具体的な動作としては、ユーザが危険エリアに近づいていると感情エンジンが判定した際、ユーザがリラックスして楽しんでいる感情状態であれば、直線的な警告の代わりに写真撮影の良いスポットを提案し、楽しみを損なわないようにする。一方、ユーザが緊張やストレスを感じている場合は、優しい音声で適度に警告し、安心感を与えるよう操作する。このようにして、ユーザの個々の感情に対応したパーソナライズされたインタラクションを実現する。
【0729】
ユーザは、端末の感情フィードバックによって、自分の状態に最適化された注意喚起を受け、安全で快適に観光活動を行うことができる。これにより、従来の警告システムでは実現できなかった利便性と安全性の両立が可能となる。管理者にとっても、サーバにより得られたユーザの感情データは、観光地の改善点や新たなアトラクション企画の参考情報となる。
【0730】
以下に、処理の流れについて説明する。
【0731】
ステップ1:
【0732】
サーバは、地理データベースおよびリアルタイム天候情報サービスからデータを取得し、危険エリアを特定する。この情報は、端末に送信される。
【0733】
ステップ2:
【0734】
端末は、GPSセンサを用いてユーザの位置情報を定期的に取得し、サーバから受信した危険エリア情報と照合する。
【0735】
ステップ3:
【0736】
端末は、カメラを使用してユーザの表情を撮影し、マイクを使用して音声データを収集する。これらのデータは感情エンジンに入力される。
【0737】
ステップ4:
【0738】
端末上の感情エンジンは、表情解析と音声認識を行い、ユーザの感情状態をリアルタイムで評価する。この結果は即時に利用される。
【0739】
ステップ5:
【0740】
ユーザの感情状態と位置情報を基に、端末はユーザが危険エリアに接近しているかどうかを判断する。危険がある場合、感情状態に応じて警告の内容を決定する。
【0741】
ステップ6:
【0742】
端末は、ユーザがリラックスしている場合には、気軽なトーンで視覚的および音声警告を提供し、追加で楽しい観光スポットを推奨する。緊張している場合には、優しい声と柔らかな画面表示で警告を行う。
【0743】
ステップ7:
【0744】
ユーザは、端末から提供される警告とアドバイスを受けて、安全な行動を取りつつ、提示された新たなルートやオプションを選択して観光を楽しむ。
【0745】
ステップ8:
【0746】
サーバは、全てのユーザの感情データと行動データを集約し、統計的分析を行う。この情報は、管理者が観光地の安全性とユーザ体験の向上に役立てるために、ダッシュボードで提供される。
【0747】
(実施例2)
【0748】
次に、実施例2について説明する。以下の説明では、データ処理装置12を「サーバ」と称し、ロボット414を「端末」と称する。
【0749】
観光地における移動体の安全性と利便性を向上させることは、観光体験の質を高めるための重要な課題である。しかし、従来の警告システムは、単純な警告しか提供できず、個々の移動体の状況や感情に応じた柔軟な対応ができないという問題がある。さらに、危険地域への接近についての警告において、過度のストレスを与えることなく効果的に注意喚起を行う手段が求められている。
【0750】
実施例2におけるデータ処理装置12の特定処理部290による特定処理を、以下の各手段により実現する。
【0751】
この発明では、サーバは、地理情報や気象情報を取得し、その情報に基づいて危険地域を評価する手段と、感情解析装置により移動体の感情状態を解析し、移動体の感情に応じたフィードバックを生成する手段と、移動体に安全な路線と見所を案内する手段と、を含む。これにより、移動体は、個々の感情状態に対応した安全かつ快適な観光体験を享受することが可能となる。
【0752】
「地理情報」とは、特定の地域に関する位置、境界、地形、施設配置などを含む情報であり、移動体のナビゲーションや位置判定に利用されるデータである。
【0753】
「気象情報」とは、特定の地域における天気、気温、降水量、風速などの気象条件に関する情報であり、外部環境の変動を把握するためのデータである。
【0754】
「危険地域」とは、特定の条件下で移動体に対して安全上のリスクをもたらす可能性のある地域であり、その評価は地理情報や気象情報を基に行われる。
【0755】
「移動体」とは、観光地などの地域内を移動する人や物を指し、その位置や状況がシステムで監視される対象である。
【0756】
「測定手段」とは、移動体の位置や動きを高精度で計測するための技術や装置であり、通常はGPS技術が用いられる。
【0757】
「画像記録手段」ととは、移動体の周囲の映像情報を取得するための装置や技術であり、一般的にはカメラが使用される。
【0758】
「感情解析装置」とは、移動体の感情状態を表情や音声データを利用して解析するための技術または装置であり、AIモデルが適用される。
【0759】
「フィードバック」とは、解析によって得られた情報を基に移動体に対して提供される助言や警告などの情報であり、感情状態に応じた形式で提示される。
【0760】
「通信装置」とは、データを端末間で送受信するための装置や技術であり、ネットワーク通信が可能な構成を持つ。
【0761】
「拡張現実技術」とは、現実世界の視覚情報にデジタル情報を重ね合わせる技術であり、視覚的な警告や案内をより直感的に提供することを目的とする。
【0762】
「管理装置」とは、システム全体の監視と制御を担当する装置であり、特に危険地域のリアルタイム状況を表示するための中枢的要素である。
【0763】
「表示装置」とは、管理装置からの情報を可視化して提示するための装置であり、通常はモニターやディスプレイが使用される。
【0764】
この発明は、観光地などで移動体の安全性とユーザエクスペリエンスを向上させるために構築されたシステムである。具体的には、移動体の位置情報、映像情報、および感情状態をリアルタイムで解析し、それに基づいた適切なフィードバックを提供する。
【0765】
端末は、ハードウェアとしてGPSとカメラを搭載している。GPSモジュールは移動体の位置情報を常時取得し、カメラは移動体の周囲の映像情報を記録する。これに加えて、マイクを用いて移動体の音声情報も取得する。これらのデータは、無線通信装置を通じてサーバに送信され、サーバでの解析が行われる。
【0766】
サーバは、受信したデータを用いて、生成AIモデル(例:TensorFlow)を駆使し、移動体の表情や音声データから感情を解析する。この際、感情解析装置がユーザのリアルタイムの感情状態を評価し、その結果を用いて最適なフィードバックを生成する。フィードバックは生成AIモデルを通じて自然言語処理されており、移動体の状態に応じた柔軟な案内を提供する。
【0767】
ユーザが危険地域に接近したとき、サーバはその移動体の感情状態を考慮に入れた警告を生成する。具体例として、ユーザがリラックスしている場合、危険を伝えるのではなく、代わりに「こちらで素晴らしい写真が撮れます」といった情報を提供する。そのためのプロンプト文を次のように設定することができる:
【0768】
「ユーザの感情状態が『リラックス』と判断された場合、写真撮影のおすすめスポットを表示するプロンプトを作成してください。」
【0769】
このようにして、システムは個々の感情に適したインタラクションを実現し、移動体が快適に観光体験を享受できるように支援する。また、管理装置は、危険地域の状況をリアルタイムで監視できるようになり、さらなる安全性の確保に貢献する。
【0770】
実施例2における特定処理の流れについて図13を用いて説明する。
【0771】
ステップ1:
【0772】
端末は、GPSモジュールを使用してユーザの位置情報を取得する。入力としては、衛星から受信する位置信号があり、これを解析することでリアルタイムの経度・緯度情報を出力する。さらに、カメラとマイクを用いてユーザの映像および音声データをそれぞれ取得する。これにより、ユーザの周囲状況や感情表現に関する生データが得られる。
【0773】
ステップ2:
【0774】
端末は、取得した位置情報、映像データ、音声データをパケットにまとめ、無線通信装置を通じてサーバに送信する。ここでの入力は、端末内で収集された各種データであり、出力はサーバへの安全で迅速なデータ転送である。この送信では、データが暗号化されているため、情報のセキュリティが確保される。
【0775】
ステップ3:
【0776】
サーバは、端末から受信したデータをデコードし、生成AIモデルを使用してこれを分析する。特に、音声と顔の表情データを感情解析装置に渡し、ユーザの感情状態を解析する。入力はサーバに送られた生データで、出力は『リラックス』や『緊張』といった定性的な感情評価である。
【0777】
ステップ4:
【0778】
サーバは、評価された感情状態とともに地理情報と気象情報を再評価し、危険地域の特定と警告戦略の策定を行う。この入力は解析結果と現地情報であり、出力は最適なフィードバック内容としてプロンプト文の形式で生成される。このプロンプト文は、利用する生成AIモデルによって自然言語に変換される。
【0779】
ステップ5:
【0780】
端末は、サーバから受け取ったプロンプトに基づき、ユーザにビジュアルまたは音声でフィードバックを表示する。ここでの入力はサーバからのプロンプト文であり、出力はユーザインタフェースを通じた案内情報である。たとえば、リラックスしているユーザには「こちらで素晴らしい写真が撮れます」といった視覚的な提案を行う。
【0781】
この一連のステップによって、システムはリアルタイムでユーザの感情に応じた安全かつ快適な観光体験を提供することが可能になる。
【0782】
(応用例2)
【0783】
次に、応用例2について説明する。以下の説明では、データ処理装置12を「サーバ」と称し、ロボット414を「端末」と称する。
【0784】
本発明が解決しようとする課題は、観光地や実店舗において、訪問者の安全性とユーザエクスペリエンスを同時に向上させることである。従来の警告システムは一般的に一律の情報提供にとどまり、各利用者の感情に応じた個別対応が不足しており、訪問者が感じるストレスや不安を軽減することができていなかった。
【0785】
応用例2におけるデータ処理装置12の特定処理部290による特定処理を、以下の各手段により実現する。
【0786】
この発明では、サーバは、地理情報および気象データを取得して、危険地点を評価する手段と、ユーザの位置を位置情報技術により継続的に監視し、視覚データを収集する手段と、ユーザの感情を識別し、感情状態に基づいた適切なフィードバックを提供する手段と、を含む。これにより、訪問者一人一人の感情状態に応じた個別の警告や案内を自動的に提供することが可能となり、訪問者は安心して安全に目的地を楽しむことが可能となる。
【0787】
「地理情報」とは、特定の地域に関する位置、地形、ランドマークなどの関連情報を指し、位置の確定や経路の探索に用いられるデータである。
【0788】
「気象データ」とは、気温、降水量、風速、湿度といった大気の状態に関する情報であり、環境の現況を把握するために用いられるものである。
【0789】
「危険地点」とは、訪問者にとって安全性が脅かされる可能性のある場所を指し、事前に注意を喚起する必要があるエリアである。
【0790】
「位置情報技術」とは、GPSやその他のセンサを用いて物体や人物の現在地を特定するための技術であり、位置の追跡に用いられるものである。
【0791】
「視覚データ」とは、カメラやセンサを通じて得られる画像や映像情報であり、周囲の環境や動態を理解するために使用されるデータである。
【0792】
「感情の識別」とは、ユーザの表情、音声、身体の動きなどを解析し、現在の感情状態を推測するプロセスを指す。
【0793】
「フィードバック」とは、ユーザに提供される情報や指示、警告などの応答であり、システムが利用者の状態に基づいて動的に生成するものである。
【0794】
この発明を実施するためのシステムは、主に3つの構成要素を含む。具体的には、サーバ、端末、ユーザである。
【0795】
サーバは、地理情報と気象データを取得し、危険地点を評価する役割を担う。これにより、安全な観光やショッピング環境を確保する。また、ユーザの感情を識別し、その状態に基づいて個別のフィードバックを作成する機能も持つ。この作業には、AIモデルを活用し、データの解析および感情の判定を行う。
【0796】
端末には、主に位置情報技術と視覚データを収集するためのカメラやGPS機能が搭載される。これにより、ユーザの位置や周囲環境の情報をリアルタイムで把握することが可能である。さらに、端末はAIモデルを内蔵しており、カメラで取得した映像データと音声データからユーザの感情を解析する。解析した感情情報は、サーバに送信され、個別フィードバックの提供に役立てられる。
【0797】
ユーザが端末を使用することで、システムは彼らに安全な経路案内や観光スポットの提案を行う。例えば、ユーザが楽しんでいると判定された場合、関連する割引情報やプロモーション情報を表示することができる。逆に、困難や不安を感じている様子を検知した場合は、役立つアドバイスやヘルプを提供するためのオプションが表示されるようになっている。
【0798】
具体例としては、ユーザが店内で商品を選んでいるときにスマート眼鏡を使用した場合、その表情が笑顔であれば割引情報を視界に表示し、困った表情であれば製品のレビューや使い方のヒントを表示するようなインタラクションが可能である。この際のプロンプト文の例としては、「ユーザが微笑んでいる時、製品に関する割引情報を表示してください。」や「ユーザが困った表情をしている時、ヘルプを呼び出すかFAQを表示してください。」が挙げられる。
【0799】
この仕組みを通じて、ユーザはより安全で安心なショッピング体験や観光体験を得ることが可能であり、訪問した地域の状況に応じた適切な案内を受けることで利便性が大きく向上する。
【0800】
応用例2における特定処理の流れについて図14を用いて説明する。
【0801】
ステップ1:
【0802】
サーバは、地理情報および気象データを入力として取得する。取得した情報をもとにアルゴリズムを用いて危険地点を評価する。出力として、危険地点リストを生成し、後続の処理に備える。
【0803】
ステップ2:
【0804】
端末は、ユーザの位置を入力として位置情報技術(GPS)を利用してリアルタイムで監視し、カメラを通じて視覚データを収集する。これらのデータは、現時点でのユーザの具体的な位置と周囲の環境状況を提供し、出力としてサーバに送信される。
【0805】
ステップ3:
【0806】
サーバは、端末から送信された位置データと視覚データをもとに、ユーザが危険地点に近づいているかを判定する。この判断に利用するのは、ステップ1で生成された危険地点リストである。出力として、ユーザが危険地点に接近している場合はアラーム状態を生成し、端末に送信する。
【0807】
ステップ4:
【0808】
端末は、サーバから受け取ったアラーム状態や入力された視覚データをもとに、AIモデルを用いてユーザの感情をリアルタイムで分析する。データ処理には、表情認識技術と音声解析技術を用いて、感情状態を出力し、必要に応じてフィードバック内容を準備する。
【0809】
ステップ5:
【0810】
端末は、感情分析の結果に基づき、ユーザに適切なフィードバックを提供する。ユーザがリラックスしている場合はプロモーション情報を提供し、反対にストレスを感じている場合は優しく警告するなどの選択肢を提示し、出力として視覚・音声フィードバックをユーザに送信する。
【0811】
ステップ6:
【0812】
ユーザは、端末からの視覚・音声フィードバックを受け取り、案内に従って行動を調整する。これにより、ユーザはインタラクションの内容を理解し、具体的な行動を起こすことで、より安全で快適に目的地を楽しむことができる。
【0813】
特定処理部290は、特定処理の結果をロボット414に送信する。ロボット414では、制御部46Aが、スピーカ240及び制御対象443に対して特定処理の結果を出力させる。マイクロフォン238は、特定処理の結果に対するユーザ入力を示す音声を取得する。制御部46Aは、マイクロフォン238によって取得されたユーザ入力を示す音声データをデータ処理装置12に送信する。データ処理装置12では、特定処理部290が音声データを取得する。
【0814】
データ生成モデル58は、いわゆる生成系AI(Artificial Intelligence)である。データ生成モデル58の一例としては、ChatGPT(インターネット検索<URL: https://openai.com/blog/chatgpt>)、Gemini(インターネット検索<URL: https://gemini.google.com/?hl=ja>)等の生成AIが挙げられる。データ生成モデル58は、ニューラルネットワークに対して深層学習を行わせることによって得られる。データ生成モデル58には、指示を含むプロンプトが入力され、かつ、音声を示す音声データ、テキストを示すテキストデータ、及び画像を示す画像データ等の推論用データが入力される。データ生成モデル58は、入力された推論用データをプロンプトにより示される指示に従って推論し、推論結果を音声データ及びテキストデータ等のデータ形式で出力する。ここで、推論とは、例えば、分析、分類、予測、及び/又は要約等を指す。
【0815】
上記実施形態では、データ処理装置12によって特定処理が行われる形態例を挙げたが、本開示の技術はこれに限定されず、ロボット414によって特定処理が行われるようにしてもよい。
【0816】
なお、感情エンジンとしての感情特定モデル59は、特定のマッピングに従い、ユーザの感情を決定してよい。具体的には、感情特定モデル59は、特定のマッピングである感情マップ(図9参照)に従い、ユーザの感情を決定してよい。また、感情特定モデル59は、同様に、ロボットの感情を決定し、特定処理部290は、ロボットの感情を用いた特定処理を行うようにしてもよい。
【0817】
図9は、複数の感情がマッピングされる感情マップ400を示す図である。感情マップ400において、感情は、中心から放射状に同心円に配置されている。同心円の中心に近いほど、原始的状態の感情が配置されている。同心円のより外側には、心境から生まれる状態や行動を表す感情が配置されている。感情とは、情動や心的状態も含む概念である。同心円の左側には、概して脳内で起きる反応から生成される感情が配置されている。同心円の右側には概して、状況判断で誘導される感情が配置されている。同心円の上方向及び下方向には、概して脳内で起きる反応から生成され、かつ、状況判断で誘導される感情が配置されている。また、同心円の上側には、「快」の感情が配置され、下側には、「不快」の感情が配置されている。このように、感情マップ400では、感情が生まれる構造に基づいて複数の感情がマッピングされており、同時に生じやすい感情が、近くにマッピングされている。
【0818】
これらの感情は、感情マップ400の3時の方向に分布しており、普段は安心と不安のあたりを行き来する。感情マップ400の右半分では、内部的な感覚よりも状況認識の方が優位に立つため、落ち着いた印象になる。
【0819】
感情マップ400の内側は心の中、感情マップ400の外側は行動を表すため、感情マップ400の外側に行くほど、感情が目に見える(行動に表れる)ようになる。
【0820】
ここで、人の感情は、姿勢や血糖値のような様々なバランスを基礎としており、それらのバランスが理想から遠ざかると不快、理想に近づくと快という状態を示す。ロボットや自動車やバイク等においても、姿勢やバッテリー残量のような様々なバランスを基礎として、それらのバランスが理想から遠ざかると不快、理想に近づくと快という状態を示すように感情を作ることができる。感情マップは、例えば、光吉博士の感情地図(音声感情認識及び情動の脳生理信号分析システムに関する研究、徳島大学、博士論文:https://ci.nii.ac.jp/naid/500000375379)に基づいて生成されてよい。感情地図の左半分には、感覚が優位にたつ「反応」と呼ばれる領域に属する感情が並ぶ。また、感情地図の右半分には、状況認識が優位にたつ「状況」と呼ばれる領域に属する感情が並ぶ。
【0821】
感情マップでは学習を促す感情が2つ定義される。1つは、状況側にあるネガティブな「懺悔」や「反省」の真ん中周辺の感情である。つまり、「もう2度とこんな想いはしたくない」「もう叱られたくない」というネガティブな感情がロボットに生じたときである。もう1つは、反応側にあるポジティブな「欲」のあたりの感情である。つまり、「もっと欲しい」「もっと知りたい」というポジティブな気持ちのときである。
【0822】
感情特定モデル59は、ユーザ入力を、予め学習されたニューラルネットワークに入力し、感情マップ400に示す各感情を示す感情値を取得し、ユーザの感情を決定する。このニューラルネットワークは、ユーザ入力と、感情マップ400に示す各感情を示す感情値との組み合わせである複数の学習データに基づいて予め学習されたものである。また、このニューラルネットワークは、図10に示す感情マップ900のように、近くに配置されている感情同士は、近い値を持つように学習される。図10では、「安心」、「安穏」、「心強い」という複数の感情が、近い感情値となる例を示している。
【0823】
以上、本開示に係るシステムをデータ処理装置12の機能を主として説明したが、本開示に係るシステムはサーバに実装されているとは限らない。本開示に係るシステムは、一般的な情報処理システムとして実装されていてもよい。本開示は、例えば、パーソナルコンピュータで動作するソフトウェアプログラム、スマートフォン等で動作するアプリケーションとして実装されてもよい。本開示に係る方法はSaaS(Software as a Service)形式でユーザに対して提供されてもよい。
【0824】
上記実施形態では、1台のコンピュータ22によって特定処理が行われる形態例を挙げたが、本開示の技術はこれに限定されず、コンピュータ22を含めた複数のコンピュータによる特定処理に対する分散処理が行われるようにしてもよい。例えば、データ生成モデル58が、データ処理装置12の外部装置に設けられ、当該外部装置において、入力データに応じたデータの生成を行うようにしてもよい。
【0825】
上記実施形態では、ストレージ32に特定処理プログラム56が格納されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、特定処理プログラム56がUSB(Universal Serial Bus)メモリなどの可搬型のコンピュータ読み取り可能な非一時的格納媒体に格納されていてもよい。非一時的格納媒体に格納されている特定処理プログラム56は、データ処理装置12のコンピュータ22にインストールされる。プロセッサ28は、特定処理プログラム56に従って特定処理を実行する。
【0826】
また、ネットワーク54を介してデータ処理装置12に接続されるサーバ等の格納装置に特定処理プログラム56を格納させておき、データ処理装置12の要求に応じて特定処理プログラム56がダウンロードされ、コンピュータ22にインストールされるようにしてもよい。
【0827】
なお、ネットワーク54を介してデータ処理装置12に接続されるサーバ等の格納装置に特定処理プログラム56の全てを格納させておいたり、ストレージ32に特定処理プログラム56の全てを記憶させたりしておく必要はなく、特定処理プログラム56の一部を格納させておいてもよい。
【0828】
特定処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、特定処理を実行するハードウェア資源として機能する汎用的なプロセッサであるCPUが挙げられる。また、プロセッサとしては、例えば、FPGA(Field-Programmable Gate Array)、PLD(Programmable Logic Device)、又はASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで特定処理を実行する。
【0829】
特定処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、又はCPUとFPGAとの組み合わせ)で構成されてもよい。また、特定処理を実行するハードウェア資源は1つのプロセッサであってもよい。
【0830】
1つのプロセッサで構成する例としては、第1に、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが、特定処理を実行するハードウェア資源として機能する形態がある。第2に、SoC(System-on-a-chip)などに代表されるように、特定処理を実行する複数のハードウェア資源を含むシステム全体の機能を1つのICチップで実現するプロセッサを使用する形態がある。このように、特定処理は、ハードウェア資源として、上記各種のプロセッサの1つ以上を用いて実現される。
【0831】
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の特定処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
【0832】
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
【0833】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【0834】
以上の実施形態に関し、更に以下を開示する。
【0835】
(請求項1)
【0836】
地理データやリアルタイム天候情報を取得し、それに基づいて危険エリアを評価する手段と、
【0837】
ユーザの位置をGPSによって常時監視し、カメラを通じて映像データを収集する手段と、
【0838】
取得したデータを基にユーザの位置が危険エリアに接近、または侵入しているかを判定する手段と、
【0839】
ユーザに対して危険エリアへの近接を視覚的および音声で警告する手段と、
【0840】
ユーザに安全なルートと観光スポットを案内する手段、
【0841】
を含むシステム。
【0842】
(請求項2)
【0843】
端末がカメラの映像データを用いて拡張現実技術により視覚的警告を提供する請求項1記載のシステム。
【0844】
(請求項3)
【0845】
管理者に対して危険エリアの状況をリアルタイムで監視できるダッシュボードを提供する請求項1記載のシステム。
【0846】
「実施例1」
【0847】
(請求項1)
【0848】
位置情報データベースと気象情報サービスから地理情報および気象データを取得し、統合して危険区域を評価する手段と、
【0849】
利用者の位置を全地球測位システムによって継続的に特定し、撮影装置を通じて視覚データを取得する手段と、
【0850】
取得した位置データおよび視覚情報を基に利用者の位置が危険区域に接近または侵入しているかを判定する手段と、
【0851】
利用者に対して危険区域への近接を視覚および音声により警告する手段と、
【0852】
利用者に安全な経路および観光地点を案内する手段、
【0853】
を含むシステム。
【0854】
(請求項2)
【0855】
端末が撮影装置の映像データを用いて拡張現実技術により視覚的警告を提供する請求項1記載のシステム。
【0856】
(請求項3)
【0857】
管理者に対して危険区域の状況をリアルタイムで監視できる統制パネルを提供する請求項1記載のシステム。
【0858】
「応用例1」
【0859】
(請求項1)
【0860】
地理情報と気象情報を取得し、それに基づいて危険領域を計算する手段と、
【0861】
移動体の位置を衛星測位システムによって監視し、撮像装置を用いて映像情報を取得する手段と、
【0862】
取得した情報に基づいて移動体の位置が危険領域に接近または侵入しているかを判別する手段と、
【0863】
利用者に対して危険領域への接近を視覚および音声で警告する手段と、
【0864】
利用者に安全な経路を案内する手段、
【0865】
移動体の経路を自動的に変更し安全経路を選択する手段、
【0866】
を含むシステム。
【0867】
(請求項2)
【0868】
移動体の制御システムが映像情報を用いて拡張現実技術により視覚的に警告を提供する請求項1記載のシステム。
【0869】
(請求項3)
【0870】
管理者に対して危険領域の状態をリアルタイムで監視できる制御画面を提供する請求項1記載のシステム。
【0871】
「感情エンジンを組み合わせた場合の実施例2」
【0872】
(請求項1)
【0873】
地理情報や気象情報を取得し、その情報に基づいて危険地域を評価する手段と、
【0874】
移動体の位置を測定手段により常時監視し、画像記録手段を通じて映像情報を収集する手段と、
【0875】
取得した情報を基に移動体の位置が危険地域に接近、または侵入しているかを判定する手段と、
【0876】
移動体に対して危険地域への近接を視覚的および音声で警告する手段と、
【0877】
移動体に安全な路線と見所を案内する手段と、
【0878】
感情解析装置により移動体の感情状態を解析し、移動体の感情に応じたフィードバックを生成する手段、
【0879】
を含むシステム。
【0880】
(請求項2)
【0881】
通信装置が画像記録手段の映像情報を用いて拡張現実技術により視覚的警告を提供する請求項1記載のシステム。
【0882】
(請求項3)
【0883】
管理装置に対して危険地域の状況をリアルタイムで監視できる表示装置を提供する請求項1記載のシステム。
【0884】
「感情エンジンを組み合わせた場合の応用例2」
【0885】
(請求項1)
【0886】
地理情報および気象データを取得して、危険地点を評価する手段と、
【0887】
ユーザの位置を位置情報技術により継続的に監視し、視覚データを収集する手段と、
【0888】
取得したデータを基にユーザの位置が危険地点に接近、または侵入しているかを判定する手段と、
【0889】
ユーザに対して危険地点への近接を視覚および音声で警告する手段と、
【0890】
ユーザの感情を識別し、感情状態に基づいた適切なフィードバックを提供する手段と、
【0891】
ユーザに安全な経路と対象地点を案内する手段、
【0892】
を含むシステム。
【0893】
(請求項2)
【0894】
携帯端末が画像データを用いて拡張実在技術により視覚的警告を提供し、ユーザの感情に応じて情報を表示する請求項1記載のシステム。
【0895】
(請求項3)
【0896】
管理者に対して危険地点の状況をリアルタイムで監視でき、ユーザの感情データを含む情報を提供するダッシュボードを提供する請求項1記載のシステム。
【符号の説明】
【0897】
10、210、310、410 データ処理システム
12 データ処理装置
14 スマートデバイス
214 スマート眼鏡
314 ヘッドセット型端末
414 ロボット

図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14