特許 7504201 情報通知システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-13

(45)【発行日】2024-06-21

(54)【発明の名称】情報通知システム

(51)【国際特許分類】

   G01C 21/26 20060101AFI20240614BHJP

   G08G 1/005 20060101ALI20240614BHJP

   G09G 5/00 20060101ALI20240614BHJP

   H04N 5/64 20060101ALI20240614BHJP

   G02B 27/02 20060101ALI20240614BHJP

   G08B 25/00 20060101ALI20240614BHJP

   G08B 25/04 20060101ALI20240614BHJP

   G08B 21/02 20060101ALI20240614BHJP

【ＦＩ】

G01C21/26 P

G08G1/005

G09G5/00 510Q

H04N5/64 511A

G02B27/02 Z

G08B25/00 510M

G08B25/04 K

G08B21/02

【請求項の数】 10

(21)【出願番号】P 2022521807

(86)(22)【出願日】2021-04-23

(86)【国際出願番号】 JP2021016518

(87)【国際公開番号】W WO2021230049

(87)【国際公開日】2021-11-18

【審査請求日】2022-08-16

(31)【優先権主張番号】P 2020083731

(32)【優先日】2020-05-12

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100121980

【弁理士】

【氏名又は名称】沖山 隆

(74)【代理人】

【識別番号】100128107

【弁理士】

【氏名又は名称】深石 賢治

(74)【代理人】

【識別番号】100183438

【弁理士】

【氏名又は名称】内藤 泰史

(72)【発明者】

【氏名】野村 貴則

【審査官】藤村 泰智

(56)【参考文献】

【文献】米国特許出願公開第２０１６／０２５３５６０（ＵＳ，Ａ１）

【文献】再公表特許第２０１４／１８８５６５（ＪＰ，Ａ１）

【文献】特開２０１４－０９６６６１（ＪＰ，Ａ）

【文献】特開２０１９－０６６５６４（ＪＰ，Ａ）

【文献】特開２０１５－１１８６６７（ＪＰ，Ａ）

【文献】特開２０１６－１８６７８６（ＪＰ，Ａ）

【文献】特表２０１７－５３６５９５（ＪＰ，Ａ）

【文献】特開２００７－１４８８３５（ＪＰ，Ａ）

【文献】特開２００９－１１００６５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｃ ２１／２６ ～ ２１／３６

Ｇ０８Ｇ １／００ ～ １／１６

Ｇ０９Ｇ ５／００

Ｈ０４Ｎ ５／６４

Ｈ０４Ｎ ７／１８

Ｇ０２Ｂ ２７／０２

Ｇ０８Ｂ ２５／００ ～ ２５／０４

Ｇ０８Ｂ ２１／０２

Ａ６１Ｈ ３／０６

(57)【特許請求の範囲】

【請求項1】

ユーザに装着された端末において撮像された、前記ユーザの周囲の領域に係る一又は複数の撮像画像を取得する取得部と、
前記一又は複数の撮像画像に基づいて、前記ユーザの周囲の領域にある物体を検出する検出部と、
前記検出部によって検出された結果に基づいて、前記検出部によって検出された前記物体が前記ユーザに接触する危険度を判定する判定部と、
前記危険度に基づいて、前記ユーザに危険であることを示す通知情報を生成する生成部と、
前記通知情報を前記端末に出力する出力部と、を備え、
前記通知情報は、前記端末が有する画面において前記危険度に応じた態様で表示される危険画像により通知される情報と、前記端末が有するスピーカーにおいて音により通知さ れる情報と、を含み、
前記生成部は、
前記危険度が高いほど前記ユーザが前記物体の接触の危険性を認知しやすくなるように、前記通知情報を生成し、
前記危険画像において前記危険度が高いほど前記物体に関する情報とは異なる情報を目立たせなくすることで前記物体に関する情報が目立つように、前記通知情報を生成し、
前記スピーカーにおいて前記物体の位置に対応する場所から前記危険度に応じた前記音 が発せられるように、前記通知情報を生成する、情報通知システム。

【請求項8】

前記生成部は、前記スピーカーにおいて前記物体の位置に対応する場所である、前記ユ ーザから見た前記物体の位置から前記音が発せられるように、前記通知情報を生成する、 請求項１～７のいずれか一項に記載の情報通知システム。

【請求項9】

前記音により通知される情報は、前記物体の位置、前記物体の名称、前記物体が接近し ている旨、及び前記物体が接近している態様の少なくともいずれかを含んでいる、請求項 １～８のいずれか一項に記載の情報通知システム。

【請求項10】

前記生成部は、前記通知情報以外の情報であって、前記検出部によって検出された前記 物体の位置及び名称を示す情報が、前記スピーカーにおいて前記物体の位置に対応する場 所から発せられるように、該情報を生成する、請求項１～９のいずれか一項に記載の情報 通知システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の一態様は、情報通知システムに関する。

【背景技術】

【0002】

ユーザに装着された端末によって、ユーザに接触する危険性のある物体についてユーザに通知する技術が知られている。特許文献１には、撮像された画像において物体像が注意喚起ラインから装着者側に進入すると、装着者が装着したイヤホン及び装着具の画像によって装着者に注意喚起が行われる歩行者用周辺監視装置が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１３－８３０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載された装置では、物体像が注意喚起ラインから装着者側に進入すると、一律にユーザに注意喚起が行われ、ユーザが当該注意喚起を煩わしく感じるおそれがある。一方で、ユーザに煩わしさを感じさせないために注意喚起を弱くすると、ユーザに接触する危険性が高い物体をユーザが認知しづらくなってしまう。

【0005】

本発明の一態様は上記実情に鑑みてなされたものであり、ユーザの危険度に応じて、ユーザに対して必要な情報を適切に通知することができる情報通知システムに関する。

【課題を解決するための手段】

【0006】

本発明の一態様に係る情報通知システムは、ユーザに装着された端末において撮像された、ユーザの周囲の領域に係る一又は複数の撮像画像を取得する取得部と、一又は複数の撮像画像に基づいて、ユーザの周囲の領域にある物体を検出する検出部と、検出部によって検出された結果に基づいて、検出部によって検出された物体がユーザに接触する危険度を判定する判定部と、危険度に基づいて、ユーザに危険であることを示す通知情報を生成する生成部と、通知情報を端末に出力する出力部と、を備え、生成部は、危険度が高いほどユーザが物体の接触の危険性を認知しやすくなるように、通知情報を生成する。

【0007】

本発明の一態様に係る情報通知システムでは、ユーザの周囲の領域に係る一又は複数の撮像画像に基づいてユーザに接近する物体が認識され、当該物体がユーザに接触する危険度が判定される。そして、本情報通知システムでは、危険度が高いほどユーザが物体の接触の危険性を認知しやすくなるように通知情報が生成され、当該通知情報が端末に出力される。このような構成によれば、ユーザに対して、物体が接触する危険性に応じた通知を行うことができる。具体的には、例えば、物体がユーザに接触する危険度が低い場合には、単にユーザに対して物体の接近を知らせる程度の通知情報が出力されることによって、判定された危険度に適さない過剰な通知がなされてユーザに煩わしさを感じさせることを抑制できる。また、例えば、物体がユーザに接触する危険度が高い場合には、ユーザに対して、危険が迫っていることを強調する通知情報が出力されることによって、物体とユーザとの接触を適切に回避することができる。以上のように、本発明の一態様に係る情報通知システムによれば、ユーザの危険度に応じて、ユーザに対して必要な情報を適切に通知することができる。

【発明の効果】

【0008】

本発明の一態様によれば、ユーザの危険度に応じて、ユーザに対して必要な情報を適切に通知することができる。

【図面の簡単な説明】

【0009】

【図1】図１は、本実施形態に係る情報通知システムの概要を説明する図である。

【図2】図２は、本実施形態に係る情報通知システムの機能構成を示すブロック図である。

【図3】図３は、通知情報について説明する図である。

【図4】図４は、物体がユーザに接触する危険度について説明する図である。

【図5】図５は、通信端末に表示される画像の一例を示す図である。

【図6】図６は、通信端末に表示される危険画像の一例を示す図である。

【図7】図７は、通信端末に表示される危険画像の一例を示す図である。

【図8】図８は、本実施形態に係る情報通知システムが実施する処理を示すフローチャートである。

【図9】図９は、本実施形態に係る情報通知システムが実施する処理を示すフローチャートである。

【図10】図１０は、本実施形態に係る情報通知システムに含まれる通信端末、物体検出サーバ、及び判定サーバのハードウェア構成を示す図である。

【発明を実施するための形態】

【0010】

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。図面の説明において、同一又は同等の要素には同一符号を用い、重複する説明を省略する。

【0011】

図１は、本実施形態に係る情報通知システム１の概要を説明する図である。図２は、本実施形態に係る情報通知システム１の機能構成を表すブロック図である。図１及び図２に示される情報通知システム１は、ユーザに危険であることを示す通知情報を含む種々の情報を通知するシステムである。情報通知システム１は、ユーザに装着された通信端末（端末）１０と、物体検出サーバ３０と、判定サーバ５０と、を備えている。

【0012】

情報通知システム１では、通信端末１０が撮像した複数の撮像画像が、物体検出サーバ３０に送信される。複数の撮像画像は、時間的に連続している（すなわち、連続した複数の時間において撮像された画像である）。以下、時間的に連続した複数の撮像画像を、単に「複数の撮像画像」という場合がある。図１では、通信端末１０において撮像された、時間的に連続した複数の撮像画像のうちの１枚である画像Ｐ１が例示されている。画像Ｐ１を含む複数の画像では、路上において正面からユーザに向かって走っている人物Ｈ１が物体として撮像されている。物体検出サーバ３０は、通信端末１０において撮像された複数の撮像画像について、撮像画像中の物体を検出し、検出した物体に関する情報を判定サーバ５０に送信する。図１に示される例では、物体検出サーバ３０は、画像Ｐ１を含む複数の撮像画像に基づいて、人物Ｈ１を物体として検出する。

【0013】

判定サーバ５０は、物体検出サーバ３０が検出した検出結果に基づいて、検出された物体がユーザに接触する危険度を判定する。そして、判定サーバ５０は、判定した危険度に基づいて、通知情報を生成する。通知情報は、ユーザに危険であることを示す情報である。判定サーバ５０は、危険度が高いほどユーザが物体の接触の危険性を認知しやすくなるように、通知情報を生成する。本実施形態では、通知情報は、音情報及び画像情報を含んでいる。音情報は、通信端末１０が有するスピーカーにおいて音により通知される情報であり、危険度が高いほどユーザが物体の接触の危険性を認知しやすくなる危険音に関する情報である。画像情報は、通信端末１０が有する画面において通知（表示）される情報であり、危険度が高いほどユーザが物体の接触の危険性を認知しやすくなる危険画像に関する情報である。画像情報及び音情報の詳細については後述する。そして、判定サーバ５０が通知情報を通信端末１０に出力すると、通信端末１０が有するスピーカーからは危険音が発せられ、通信端末１０が有する画面には危険画像が表示される。

【0014】

図１に示される例では、物体として検出された人物（物体）Ｈ１が正面からユーザに向かって走ってきており、人物Ｈ１がユーザに接触する危険性が高いと判定されるための所定の条件を満たすため、判定サーバ５０は、人物Ｈ１がユーザに接触する危険度を「高」であると判定し（詳細は後述）、ユーザが人物Ｈ１の接触の危険性を認知しやすくなるように通知情報を生成する。そして、判定サーバ５０が通知情報を通信端末１０に出力すると、図３に示されるように、通信端末１０が有するスピーカーからは、危険音Ｍ１が発せられ、通信端末１０が有する画面には、危険画像である画像Ｐ２が表示される。なお、危険音及び危険画像が出力されるとの態様はあくまでも一例であり、いずれか一方のみが出力されてもよいし、別の通知情報が出力されてもよい。

【0015】

以上の処理を行うことにより、情報通知システム１では、ユーザに危険であることを示す通知情報が通知される。なお、図１及び図２に示される通信端末１０の数は１台であるが、通信端末１０の数は複数であってもよい。

【0016】

ここで、図２を参照して、通信端末１０、物体検出サーバ３０、及び判定サーバ５０の機能的な構成要素について説明する。

【0017】

通信端末１０は、例えば、無線通信を行うよう構成された端末である。通信端末１０は、ユーザに装着される端末であって、例えば、ゴーグル型のウェアラブル機器である。通信端末１０では、例えばアプリケーションが実行されると、実装されたカメラによって、連続的に（時間的に連続した）複数の撮像画像が撮像される。そして、通信端末１０は、撮像された複数の撮像画像を物体検出サーバ３０に送信する。取得された複数の撮像画像は、物体検出サーバ３０による物体の検出等に用いられる。通信端末１０は、記憶部１１と、送信部１２と、出力部１３と、を有している。

【0018】

記憶部１１は、複数の撮像画像、判定サーバ５０から取得した通知情報等、種々の情報を記憶している。送信部１２は、撮像された複数の撮像画像を、物体検出サーバ３０及び判定サーバ５０に送信する。出力部１３は、記憶部１１が記憶している通知情報に基づいて、特定の出力を行う。具体的には、出力部１３は、通信端末１０が有するスピーカーから危険音を発してもよい。また、出力部１３は、通信端末１０が有する画面上に危険画像を表示してもよい。

【0019】

物体検出サーバ３０は、通信端末１０から取得した複数の撮像画像に基づいて、ユーザの周囲の領域にある物体を検出するサーバである。物体検出サーバ３０は、複数の撮像画像それぞれについて、物体の検出を行う。物体検出サーバ３０は、機能的な構成要素として、記憶部３１と、取得部３２と、検出部３３と、を有している。記憶部３１は、データ３００を記憶している。データ３００は、ユーザに対して接触し得る物体として予めリストアップされた各物体のテンプレートと当該物体の名称とが紐づけられたデータである。このようなデータ３００は、接触し得る物体として選別された限られたデータであってもよいし、何ら選別されたものではない様々な物体のデータであってもよい。また、記憶部３１は、物体検出サーバ３０の外部の構成であってもよい。すなわち、データ３００は、物体検出サーバ３０の外部のサーバに記憶されたデータであってもよい。

【0020】

取得部３２は、通信端末１０から、時間的に連続した複数の撮像画像を取得する。各撮像画像は、ユーザに装着された通信端末１０において撮像され、ユーザの周囲の領域に係る画像である。複数の撮像画像とは、後述する物体の移動、ユーザと物体との距離、及びユーザへの接近速度等が判定部５３によって推定されるのに十分な枚数の撮像画像であってもよい。

【0021】

検出部３３は、通信端末１０において撮像された複数の撮像画像と、記憶部３１に記憶されているデータ３００とに基づいて、ユーザの周囲の領域にある物体を検出する。具体的には、検出部３３は、データ３００のテンプレートのデータを用いた公知の画像認識処理によって、各撮像画像中に撮像された物体を検出する。そして、検出部３３は、検出結果として、検出した物体に関する情報である物体情報を判定サーバ５０に送信する。物体情報には、検出された物体の名称、各撮像画像中における物体の位置情報、及び撮像画像が撮像された時間情報等が含まれている。

【0022】

判定サーバ５０は、検出部３３によって検出された結果に基づいて、検出部３３によって検出された物体がユーザに接触する危険度を判定する。そして、判定サーバ５０は、危険度に基づいて、ユーザに危険であることを示す通知情報を生成し、生成した通知情報を通信端末１０に出力する。

【0023】

判定サーバ５０は、記憶部５１と、取得部５２と、判定部５３と、生成部５４と、出力部５５と、を備えている。

【0024】

記憶部５１は、危険度の判定等、判定サーバ５０によって実施される種々の処理に用いられる情報を記憶している。具体的には、記憶部５１は、通信端末１０から取得した複数の撮像画像、物体検出サーバ３０から取得した物体情報等を記憶している。

【0025】

取得部５２は、物体検出サーバ３０から物体情報を取得する。また、取得部５２は、通信端末１０から複数の撮像画像を取得する。複数の撮像画像は、後述する生成部５４による通知情報の生成に用いられる。

【0026】

判定部５３は、検出部３３によって検出された結果（物体情報）に基づいて、検出部３３によって検出された物体がユーザに接触する危険度を判定する。以下、判定部５３による危険度の判定方法について、図１に示される画像Ｐ１を含む複数の撮像画像を取得した場合の例を用いて説明する。判定部５３は、検出部３３によって検出された、複数の撮像画像における物体の位置に基づいて危険度を判定する。図４に示されるように、本実施形態では、危険度は、「高」、「中」、「低」、及び「無」の４つのランクに分類される。そして、本実施形態では、判定部５３は、接触可能性、ユーザと物体との距離、及びユーザに対する物体の接近速度のそれぞれを判定し、判定した結果に基づいて、「高」、「中」、「低」、及び「無」のうち最も適した危険度を判定する。接触可能性は、物体がユーザに接触する可能性であって、例えば、「接触」及び「非接触」のいずれかに分類される。

【0027】

ここで、判定部５３による接触可能性の判定方法について詳細に説明する。判定部５３は、正面判定と、移動ベクトル判定とを実施することによって、接触可能性を判定する。正面判定は、ユーザに対する物体の位置の判定である。移動ベクトル判定は、物体が移動すると予測される領域の判定である。

【0028】

判定部５３は、正面判定として、複数の撮像画像における物体の位置に基づいて、ユーザに対して物体が正面の領域に位置しているか否かの判定を行う。本実施形態では、判定部５３は、ユーザから正面前方に向かって所定の角度の領域に物体が位置しているか否かを判定する。所定の角度は、例えば、±１５°の角度である。つまり、本実施形態では、「正面の領域」は、鉛直方向から見た場合に、ユーザから正面前方に向かって±１５°の領域を意味する。判定部５３は、物体情報に含まれる物体の位置に基づいて、正面の領域に物体が位置しているか否かを判定する。判定部５３は、正面判定において、上述した±１５°の領域に物体が位置していると判定した場合、「正面」とし、上述した±１５°の領域に物体が位置していないと判定した場合、「非正面」とする。なお、正面の領域は、ユーザから正面前方に向かって±１５°の領域に限られず、他の角度の領域であってもよい。

【0029】

また、判定部５３は、物体情報に含まれる物体の位置に基づいて、物体の移動ベクトル判定を行う。具体的には、判定部５３は、連続する撮像画像同士において物体の位置の差分をとることによって、物体の移動ベクトルを算出する。一例として、判定部５３は、複数の画像のうちの一の画像（以下、「第１画像」という）における物体の位置と、複数の画像のうちの一の画像であって第１画像の次に撮像された第２画像における物体の位置との時間差分をとる。そして、判定部５３は、第２画像における物体の位置と、複数の画像のうちの一の画像であって第２画像の次に撮像された第３画像における物体の位置との時間差分をとる、といった処理を実施することによって、物体の移動ベクトルを算出する。そして、判定部５３は、算出した移動ベクトルに基づいて、物体が移動する範囲の判定を行う。具体的には、判定部５３は、移動ベクトルに基づいて、正面の領域にある物体については、当該物体が正面の領域内に留まって移動するか、或いは、正面の領域とは異なる領域に向かって移動するかを判定する。そして、判定部５３は、正面の領域とは異なる領域にある物体については、当該物体が正面の領域とは異なる領域内に留まって移動するか、或いは、正面の領域に向かって移動するかを判定する。このようにして、判定部５３は、複数の撮像画像における物体の位置から導出される物体の移動ベクトルに基づいて、物体が移動すると予測される領域の判定を行う。

【0030】

そして、判定部５３は、正面判定、及び移動ベクトル判定のそれぞれの結果に基づいて、接触判定を実施する。具体的には、判定部５３は、正面判定の結果が「正面」であって、移動ベクトル判定の結果が「正面の領域内に留まって移動する」である場合、接触判定を「接触」と判定する。これは、ユーザに対して正面の領域に位置し、且つ正面の領域内を移動する物体はユーザに接触する可能性が高いといえるからである。

【0031】

一方、判定部５３は、正面判定の結果が「正面」であっても、移動ベクトル判定の結果が「正面の領域とは異なる領域に向かって移動する」である場合、接触判定を「非接触」と判定する。これは、物体が正面の領域に位置している場合であっても、物体が正面の領域とは異なる領域に向かって移動する場合には、物体がユーザに接触する危険性は低いといえるからである。つまり、判定部５３は、物体がユーザに対して正面の領域に位置していると推定し且つ移動ベクトルに基づいて物体が正面の領域と異なる領域に移動すると推定した場合、物体が正面の領域内に留まって移動すると推定する場合と比較して、接触可能性を低く判定する。

【0032】

判定部５３は、正面判定の結果が「非正面」であって、移動ベクトル判定の結果が「正面の領域とは異なる領域内に留まって移動する」である場合、接触判定を「非接触」と判定する。これは、正面の領域とは異なる領域を移動する物体は、ユーザに接触する可能性が低いといえるからである。

【0033】

一方、判定部５３は、正面判定の結果が「非正面」であっても、移動ベクトル判定の結果が「正面の領域に向かって移動する」である場合、接触判定を「接触」と判定する。これは、正面の領域とは異なる領域を移動する物体が正面の領域に向かって移動する場合、物体が正面の領域とは異なる領域内に留まって移動する場合と比較して、物体がユーザと接触する危険性は高いといえるためである。つまり、判定部５３は、物体がユーザに対して正面の領域とは異なる領域に位置していると推定し且つ移動ベクトルに基づいて物体が正面の領域に向かって移動すると推定した場合、物体が正面の領域外に留まって移動すると推定する場合と比較して、接触可能性を高く判定する。

【0034】

次に、ユーザと物体との距離の判定について説明する。まず、判定部５３は、検出部３３によって検出された、複数の撮像画像における物体の位置に基づいて、ユーザと物体との距離を判定する。一例として、判定部５３は、例えば、物体情報に含まれる物体の位置情報及び時間情報に基づいて、ユーザと物体との距離を推定する。そして、判定部５３は、推定したユーザとの物体との距離が閾値（第２閾値）よりも小さいと判定した場合、ユーザと物体との距離が「近い（近）」と判定する。一方、判定部５３は、推定したユーザとの物体との距離が閾値（第２閾値）よりも小さくないと判定した場合、ユーザと物体との距離が「遠い（遠）」と判定する。当該閾値は、予め定められた値であって、一般的にユーザに物体が接触する危険性が低いとされるユーザと物体との距離の限界許容値である。

【0035】

次に、ユーザに対する物体の接近速度（以下、単に「接近速度」という）の判定について説明する。まず、判定部５３は、検出部３３によって検出された、複数の撮像画像における物体の位置に基づいて、接近速度を判定する。一例として、判定部５３は、例えば、物体情報に含まれる物体の位置情報及び時間情報に基づいて、接近速度を推定する。そして、判定部５３は、推定した接近速度が閾値（第１閾値）よりも大きいと判定した場合、接近速度が「速い（速）」と判定する。一方、判定部５３は、推定した接近速度が閾値（第１閾値）よりも大きくないと判定した場合、接近速度が「遅い（遅）」と判定する。当該閾値は、予め定められた値であって、一般的に、ユーザに物体が接触する危険性が低いとされる接近速度の限界許容値である。

【0036】

そして、判定部５３は、接触可能性、ユーザと物体との距離、及び接近速度を判定した結果に基づいて、危険度を判定する。まず、判定部５３は、接触可能性の接触判定において「接触」と判定し、且つユーザと物体との距離の判定において「近」と判定した場合、接近速度の判定結果にかかわらず、危険度が「高」であると判定する。

【0037】

また、判定部５３は、接触可能性の接触判定において「接触」と判定し、且つユーザと物体との距離の判定において「遠」と判定した場合、接近速度の判定も考慮して危険度を判定する。具体的には、判定部５３は、接触可能性の接触判定において「接触」、ユーザと物体との距離の判定において「遠」、且つ接近速度の判定において「速」と判定した場合、危険度が「中」であると判定する。一方、判定部５３は、接触可能性の接触判定において「接触」、ユーザと物体との距離の判定において「遠」、且つ接近速度の判定において「遅」と判定した場合、危険度が「低」であると判定する。また、判定部５３は、接触可能性の接触判定において「非接触」と判定した場合、ユーザと物体との距離、及び接近速度の判定結果にかかわらず、危険度が「無」であると判定する。

【0038】

以上のように、判定部５３は、接近速度が第１閾値よりも大きいと判定した場合、接近速度が第１閾値よりも大きくないと判定した場合と比較して、危険度を高く判定する。また、判定部５３は、ユーザと物体との距離が第２閾値よりも小さいと判定した場合、当該距離が第２閾値よりも小さくないと判定する場合と比較して、危険度を高く判定する。

【0039】

ここで、図１に示される画像Ｐ１の例を用いて、情報通知システム１において、複数の撮像画像の取得から危険度の判定までの一連の流れについて説明する。図１に示される画像Ｐ１を含む複数の撮像画像の例では、人物Ｈ１（物体）が撮像画像に含まれている。この場合、物体検出サーバ３０では、取得部３２が、画像Ｐ１を含む複数の画像を取得し、検出部３３が、検出結果として、検出した人物Ｈ１に関する情報（物体の名称（人）、各撮像画像における人物Ｈ１の位置情報及び時間情報）を判定サーバ５０に送信する。そして、判定サーバ５０では、取得部５２が、人物Ｈ１に関する情報を取得し、判定部５３が、危険度の判定を行う。まず、判定部５３は、接触可能性の判定（すなわち、接触判定）を行う。具体的には、判定部５３は、画像Ｐ１を含む複数の撮像における人物Ｈ１の位置に基づいて、例えば人物Ｈ１（物体）が正面前方に向かって±１５°の領域に位置している場合には、正面判定において「正面」（すなわち、人物Ｈ１が正面の領域に位置している）と判定する。また、図１に示される例では、人物Ｈ１は、正面の領域内に留まって移動する。したがって、判定部５３は、画像Ｐ１を含む複数の撮像画像における人物Ｈ１の位置から導出される人物Ｈ１の移動ベクトルに基づいて、正面の領域にある人物Ｈ１が正面の領域内に留まって移動すると判定する。その結果、判定部５３は、正面判定及び移動ベクトル判定の結果に基づいて、接触判定において「接触」と判定する。

【0040】

そして、判定部５３は、ユーザと人物Ｈ１との距離の判定、及び接近速度の判定を行う。図１に示される例では、画像Ｐ１を含む複数の撮像画像が撮像された時間において、ユーザと人物Ｈ１との距離は、閾値よりも小さくなく、人物Ｈ１は、閾値よりも大きい速度でユーザに接近しているとする。この場合、判定部５３は、画像Ｐ１を含む複数の撮像画像における人物Ｈ１の位置に基づいて、ユーザと物体との距離が「遠い」と判定し、接近速度が「速い」と判定する。

【0041】

そして、判定部５３は、上述した各判定の結果（接近可能性：「接触」、ユーザと人物Ｈ１との距離：「遠い」、及び接近速度：「速い」）に基づいて、人物Ｈ１がユーザに接触する危険度が「中」であると判定する（図４参照）。以上のように、図１に示される例における危険度が判定される。

【0042】

生成部５４は、判定部５３が判定した危険度に基づいて、ユーザに危険であることを示す通知情報を生成する。生成部５４は、危険度が高いほどユーザが物体の接触の危険性を認知しやすくなるように、通知情報を生成する。本実施形態では、通知情報は、音情報及び画像情報を含んでいる。

【0043】

音情報は、通信端末１０が有するスピーカーにおいて危険音が発せられるための情報である。生成部５４は、スピーカーにおいて物体の位置に対応する場所から危険音（危険度に応じた音）が発せられるように、音情報（通知情報）を生成する。

【0044】

「スピーカーにおいて物体の位置に対応する場所」は、例えば、通信端末１０がユーザに装着された状態のスピーカー（以下、単に「スピーカー」という）において、ユーザから見た物体の位置が反映された場所である。一例として、ユーザから見た物体の位置が、ユーザの正面前方且つ左側（以下、単に「正面左側」という）に位置している場合、スピーカーにおいてユーザの身体の左側に位置する場所が、スピーカーにおいて物体の位置に対応する場所である。生成部５４は、例えば、物体情報に含まれる物体の位置情報に基づいて、スピーカーにおいて、ユーザの左右方向における物体の位置を知らせる危険音が発せられるように通知情報を生成する。具体的には、例えば、ユーザから見た物体の位置が正面左側に位置している場合、生成部５４は、スピーカーにおいてユーザの左耳に近い場所から危険音が発せられるように通知情報を生成する。

【0045】

また、通信端末１０が有するスピーカーが３Ｄオーディオである場合、生成部５４は、当該スピーカーにおいて、３次元（すなわち、ユーザの左右及び前後方向）における物体の位置を知らせる危険音が発せられるように通知情報を生成してもよい。具体的には、例えば、ユーザから見た物体の位置が正面左側に位置している場合、生成部５４は、スピーカーにおいてユーザの左耳に近い場所から危険音が発せられ且つ正面左側の方向からユーザに危険音が聞こえるように、通知情報を生成する。

【0046】

危険音は、危険度に応じた音である。「危険度に応じた音」は、例えば、危険度が高いほど音量が大きい音、危険度が高いほど強い注意喚起を促す音等、危険度の高低に合わせて、音量、内容等が変化する音である。

【0047】

また、本実施形態では、生成部５４は、危険音として、物体の位置、物体の名称、物体が接近している旨、及び物体が接近している態様を伝える音を生成する。当該音は、例えば、物体情報に含まれる物体の名称、ユーザと物体との距離、及び接近速度に基づいて生成される。物体が接近している態様の例としては、例えば、物体が人物である場合、走っている、歩いている等の態様が挙げられる。図３に示される例では、物体である人物Ｈ１がユーザに対して正面前方５ｍ先から走って接近している。したがって、生成部５４は、正面前方５ｍ先から人物Ｈ１が走って接近している旨を伝える危険音Ｍ１を生成する。

【0048】

生成部５４は、通信端末１０が有する画面（以下、単に「画面」という）に、危険画像が表示されるように、画像情報（通知情報）を生成する。危険画像は、危険度が高いほどユーザが物体の接触の危険性を認知しやすくなる画像である。危険画像には、物体に関する情報が表示される。物体に関する情報は、例えば、取得部３２によって取得された撮像画像である。すなわち、危険画像とは、撮像画像に基づく画像である。また、危険画像には、危険度に応じて（具体的には危険度が低いほど）、物体とは異なる他の情報が含まれて（重畳されて）いてもよい。他の情報とは、例えば、ユーザに対するメール等のメッセージアプリケーションに係る情報、地図アプリケーションに係る情報等、物体とは異なる情報であって、例えば、他のサーバ（図示せず）から取得された情報である。生成部５４は、複数の撮像画像のそれぞれに対応して時間的に連続した危険画像が画面に表示されるように、画像情報を生成する。

【0049】

ここで、画像に関する情報の生成について、図５、図６、及び図７に示される例を用いて説明する。生成部５４は、ユーザの正面の領域に物体がない場合、或いは、判定部５３によって危険度が「無」であると判定された場合に、撮像画像に他の情報が重畳された通常画像を生成する。生成部５４は、複数の撮像画像のそれぞれに対応して時間的に連続した通常画像が画面に表示されるように、画像情報を生成する。図５に示される画像Ｐ３は、通常画像の一例であって、複数の撮像画像に含まれる一の画像Ｐｎに、他の情報（物体に関する情報とは異なる情報）Ｚであるメッセージ情報、天気情報、及び地図情報が重畳された画像である。画像Ｐ３において、他の情報Ｚは透けていない表示状態で画像Ｐｎに重畳されている。

【0050】

生成部５４は、判定部５３によって危険度が「低」であると判定された場合に、撮像画像に他の情報が重畳された危険画像を生成する。図６に示される画像（危険画像）Ｐ４は、危険度が「低」である場合の危険画像の一例であって、複数の撮像画像に含まれる一の画像Ｐｄに、他の情報Ｚが重畳された画像である。しかしながら、画像Ｐ４においては、画像Ｐｄ（物体に関する情報）が目立つように表示されている。

【0051】

具体的には、生成部５４は、他の情報の表示を予め定められた透明度にして危険画像を生成する。画像Ｐ３に含まれる他の情報Ｚは、透けていない表示状態であるのに対し、画像Ｐ４に含まれる他の情報Ｚは、半透明に表示されている。これにより、危険度が「低」であると判定された場合の画像情報の他の情報は、通常画像に含まれる他の情報Ｚと比較して目立たなくなるように（換言すれば、物体に関する情報である画像Ｐｄが目立つように）生成される。

【0052】

生成部５４は、判定部５３によって危険度が「中」であると判定された場合、及び「高」であると判定された場合に、撮像画像のみを危険画像として生成する。すなわち、判定部５３によって危険度が「中」であると判定された場合、及び「高」であると判定された場合に生成される危険画像は、撮像画像に他の情報が重畳されない点で、危険度が「低」であると判定された場合に生成される危険画像と異なる。図７に示される画像（危険画像）Ｐ２は、判定部５３によって危険度が「中」であると判定された場合、及び「高」であると判定された場合の危険画像の一例である。画像Ｐ２においては、物体に関する情報が目立つように表示されている。

【0053】

具体的には、生成部５４は、他の情報を非表示にして危険画像を生成する。危険度が「低」である場合に生成される画像Ｐ４には、他の情報Ｚは半透明に表示されているのに対し、画像Ｐ２には、他の情報Ｚは含まれていない。また、更に、画像Ｐ２においては、物体である人物Ｈ１の周りが囲む枠が表示されている。これにより、危険度が「中」であると判定された場合、及び「高」であると判定された場合の画像情報は、危険度が「低」であると判定された場合と比較して更に他の情報が目立たなくなるように（換言すれば、更に物体に関する情報（画像Ｐｄ）が目立つように）生成される。以上のように、生成部５４は、危険度が高いほどユーザが物体の接触の危険性を認知しやすいように、画像情報（通知情報）を生成する。

【0054】

出力部５５は、判定部５３によって生成された通知情報を出力する。出力された通知情報は、通信端末１０によって取得される。通知情報が通信端末１０によって取得されると、通信端末１０が有するスピーカーから危険音が発せられ、通信端末１０が有する画面上に危険画像が表示される。

【0055】

図１に示される画像Ｐ１を含む複数の画像が取得された例では、危険度が「高」であると判定され、危険度：「高」に対応した通知情報（音情報及び画像情報）が生成される。したがって、通信端末１０が有するスピーカーからは、危険音Ｍ１が発せられ、通信端末１０が有する画面には、危険画像である画像Ｐ２が表示される（図３参照）。具体的には、危険音Ｍ１は、スピーカーにおいて人物Ｈ１に対応する場所（ユーザの左右方向における中央の場所）から発せられる。また、危険音Ｍ１は、危険度「高」に応じた音として、危険度が「低」及び「中」であると判定された場合よりも大きい音量で発せられる。また、画像Ｐ２は、複数の撮像画像に対応する時間的に連続した各危険画像のうちの一の危険画像であって、画像Ｐ１に人物Ｈ１の周りを囲む枠が重畳された画像である。以上のように、情報通知システム１では、ユーザに危険であることを示す通知情報が通知される。

【0056】

次に、本実施形態に係る情報通知システム１が行う処理について、図８を参照して説明する。図８は、情報通知システム１が行う処理を示すフローチャートである。

【0057】

図８に示されるように、情報通知システム１では、物体検出サーバ３０において、ユーザに装着された通信端末１０から、時間的に連続した複数の撮像画像が取得される（ステップＳ１１）。具体的には、物体検出サーバ３０は、通信端末１０において撮像され、ユーザの周囲の領域に係る複数の撮像画像を取得する。

【0058】

続いて、物体検出サーバ３０において、ステップＳ１１で取得された複数の撮像画像と、物体検出サーバ３０に記憶されているデータ３００とに基づいて、ユーザの周囲の領域にある物体が検出される（ステップＳ１２）。そして、物体検出サーバ３０において、検出された物体情報が、判定サーバ５０に送信される。

【0059】

続いて、判定サーバ５０において、物体検出サーバ３０によって検出された結果（物体情報）に基づいて、検出された物体がユーザに接触する危険度が判定される（ステップＳ１３）。ステップＳ１３の処理については、図９のフローチャートを参照して詳細に説明する。

【0060】

まず、判定サーバ５０において、物体情報に基づいて、ユーザに対して物体が正面の領域に位置しているか否かが判定される（ステップＳ２１）。具体的には、判定部５３は、ユーザから正面前方に向かって±１５°の領域に物体が位置しているか否かを判定する。

【0061】

ユーザに対して物体が正面の領域に位置していると判定された場合（ステップＳ２１：ＹＥＳ）、判定サーバ５０において、物体の移動ベクトルに基づいて、物体が正面の領域とは異なる領域に向かって移動するか否かが判定される（ステップＳ２２）。具体的には、判定サーバ５０は、物体情報に含まれる物体の位置に基づいて、移動ベクトルを算出し、算出された移動ベクトルに基づいて、物体が移動すると予測される領域の判定を行う。物体が正面の領域とは異なる領域に向かって移動すると判定された場合（ステップＳ２２：ＹＥＳ）、判定サーバ５０において、危険度が「無」と判定され（ステップＳ２３）、図９に示される処理が終了する。一方、物体が正面の領域とは異なる領域に向かって移動しないと判定された場合（ステップＳ２２：ＮＯ）、処理がステップＳ２５に進む。

【0062】

ユーザに対して物体が正面の領域に位置していないと判定された場合（ステップＳ２１：ＮＯ）、判定サーバ５０において、物体の移動ベクトルに基づいて、物体が正面の領域に向かって移動するか否かが判定される（ステップＳ２４）。物体が正面の領域に向かって移動すると判定された場合（ステップＳ２４：ＹＥＳ）、処理がＳ２５に進む。一方、物体が正面の領域に向かって移動しないと判定された場合（ステップＳ２４：ＮＯ）、処理がステップＳ２３に進む。

【0063】

続いて、判定サーバ５０において、物体情報に含まれる物体の位置情報及び時間情報に基づいて推定したユーザと物体との距離が閾値（第２閾値）よりも小さいか否かが判定される（ステップＳ２５）。

【0064】

推定した距離が当該閾値よりも小さいと判定された場合（ステップＳ２５：ＹＥＳ）、判定サーバ５０において、危険度が「高」であると判定され（ステップＳ２６）、図９に示される処理が終了する。一方、推定した距離が当該閾値よりも大きくないと判定された場合（ステップＳ２５：ＮＯ）、判定サーバ５０において、物体情報に含まれる物体の位置情報及び時間情報に基づいて推定した接近速度が閾値（第１閾値）よりも大きいか否かが判定される（ステップＳ２７）。

【0065】

推定した接近速度が当該閾値よりも大きいと判定された場合（ステップＳ２７：ＹＥＳ）、判定サーバ５０において、危険度が「中」であると判定され（ステップＳ２８）、図９に示される処理が終了する。一方、推定した接近速度が当該閾値よりも大きくないと判定された場合（ステップＳ２７：ＮＯ）、判定サーバ５０において、危険度が「低」であると判定され（ステップＳ２９）、図９に示される処理が終了する。

【0066】

図８に示される処理のフローチャートの説明に戻る。判定サーバ５０において、危険度に基づいて、ユーザに危険であることを示す通知情報が生成される（ステップＳ１４）。具体的には、判定サーバ５０は、スピーカーにおいて物体の位置に対応する場所から危険音が発せられるように、音情報を生成し、通信端末１０が有する画面に、危険画像が表示されるように、画像情報を生成する。

【0067】

続いて、判定サーバ５０において、生成された通知情報が通信端末１０に出力される（ステップＳ１５）。これにより、通知情報が通信端末１０によって取得されると、通信端末１０が有するスピーカーから危険音が発せられ、通信端末１０が有する画面上に危険画像が表示される。

【0068】

次に、本実施形態に係る情報通知システム１の作用効果について説明する。

【0069】

本実施形態に係る情報通知システム１は、ユーザに装着された通信端末１０において撮像された、ユーザの周囲の領域に係る一又は複数の撮像画像を取得する取得部３２と、一又は複数の撮像画像に基づいて、ユーザの周囲の領域にある物体を検出する検出部３３と、検出部３３によって検出された結果に基づいて、検出部３３によって検出された物体がユーザに接触する危険度を判定する判定部５３と、危険度に基づいて、ユーザに危険であることを示す通知情報を生成する生成部５４と、通知情報を通信端末１０に出力する出力部５５と、を備えている。生成部５４は、危険度が高いほどユーザが物体の接触の危険性を認知しやすくなるように、通知情報を生成する。

【0070】

本実施形態に係る情報通知システム１では、ユーザの周囲の領域に係る複数の撮像画像に基づいてユーザに接近する物体が認識され、当該物体がユーザに接触する危険度が判定される。そして、情報通知システム１では、危険度が高いほどユーザが物体の接触の危険性を認知しやすくなるように通知情報が生成され、当該通知情報が通信端末１０に出力される。このような構成によれば、ユーザに対して、物体が接触する危険性に応じた通知を行うことができる。具体的には、例えば、物体がユーザに接触する危険度が低い場合には、単にユーザに対して物体の接近を知らせる程度の通知情報が出力されることによって、判定された危険度に適さない過剰な通知がなされてユーザに煩わしさを感じさせることを抑制できる。また、例えば、物体がユーザに接触する危険度が高い場合には、ユーザに対して、危険が迫っていることを強調する通知情報が出力されることによって、物体とユーザとの接触を適切に回避することができる。以上のように、情報通知システム１によれば、ユーザの危険度に応じて、ユーザに対して必要な情報を適切に通知することができる。また、情報通知システム１では、判定された危険度に適さない過剰な通知がなされることが抑制されるので、処理負荷を軽減することができるという技術的効果を奏する。

【0071】

取得部３２は、時間的に連続した複数の撮像画像を取得し、判定部５３は、検出部３３によって検出された、複数の撮像画像における物体の位置に基づいて、物体がユーザに接触する危険度を判定する。このことで、時間的に連続した複数の撮像画像間における物体の位置（例えば、当該複数の撮像画像間における物体の位置の変化）が考慮されることにより、物体がユーザに接触する危険度をより高精度に判定することができる。

【0072】

判定部５３は、複数の撮像画像における物体の位置に基づいて、物体がユーザに接触する可能性である接触可能性を判定し、接触可能性の判定結果に基づいて、危険度を判定し、ユーザに対して物体が正面の領域に位置しているか否か、及び、複数の撮像画像における物体の位置から導出される物体の移動ベクトルに基づいて、接触可能性を判定する。これにより、ユーザに対する物体の位置及び物体の移動方向に基づいて物体の接触可能性が判定される。そして、このようにして判定される物体の接触可能性の判定結果から危険度が判定されることにより、例えば物体が接触する可能性が高い場合に危険度を高くすることができ、危険度をより高精度に判定することができる。

【0073】

判定部５３は、物体がユーザに対して正面の領域とは異なる領域に位置していると推定し且つ移動ベクトルに基づいて物体が正面の領域に向かって移動すると推定した場合、物体が正面の領域とは異なる領域内に留まって移動すると推定する場合と比較して、接触可能性を高く判定する。

【0074】

一般的に、正面の領域とは異なる領域を移動する物体はユーザに接触する可能性が低いといえる。しかしながら、例えば、当該物体が正面の領域に向かって移動する場合、物体が正面の領域とは異なる領域内に留まって移動する場合と比較して、物体がユーザと接触する危険性は高いと考えられる。仮に、判定部５３がユーザに対する物体の位置のみに基づいて危険度を判定する場合、物体が正面の領域に向かって移動しても、接触可能性が低く判定されてしまい、その結果、ユーザに物体が接触するおそれがある。情報通知システム１では、正面の領域とは異なる領域に位置している物体が正面の領域に向かって移動するか否かを考慮して接触可能性を判定するため、危険度をより高精度に判定することができる。

【0075】

判定部５３は、物体がユーザに対して正面の領域に位置していると推定し且つ移動ベクトルに基づいて物体が正面の領域と異なる領域に移動すると推定した場合、物体が正面の領域内に留まって移動すると推定する場合と比較して、接触可能性を低く判定する。

【0076】

一般的に、正面の領域を移動する物体はユーザに接触する可能性が高いといえる。しかしながら、例えば、ユーザに接近する物体が正面の領域を移動しても、当該物体はユーザの前を横切るだけである場合、物体がユーザと接触する危険性は低いと考えられる。仮に、判定部５３がユーザに対する物体の位置のみに基づいて危険度を判定する場合、物体がユーザの前を横切るに過ぎなくても物体が正面の領域に位置していると接触可能性が高く判定されてしまい、その結果、判定された危険度に適さない過剰な通知がなされるおそれがある。情報通知システム１では、正面の領域に位置している物体が正面の領域とは異なる領域に向かって移動するか否かが考慮されて接触可能性が判定されるため、危険度をより高精度に判定することができる。

【0077】

判定部５３は、物体がユーザに接近する方向に移動する速度が第１閾値よりも大きいと判定した場合、速度が第１閾値よりも大きくないと判定した場合と比較して、危険度を高く判定する。

【0078】

物体がユーザに接触する危険性は、物体がユーザに接近する速度に応じて異なってくる。具体的には、例えば、物体が正面の領域内を移動する場合であっても、物体がユーザに対して低速で近づいてくる場合、ユーザと物体とが接触する危険性は低いと考えられる。情報通知システム１では、物体がユーザに接近する速度が考慮されて危険度が判定されるため、より高精度な危険度の判定が可能となる。

【0079】

判定部５３は、ユーザと物体との距離が第２閾値よりも小さいと判定した場合、距離が第２閾値よりも小さくないと判定した場合と比較して、危険度を高く判定する。

【0080】

物体がユーザに接触する危険性は、ユーザと物体との距離に応じて異なってくる。具体的には、例えば、物体がユーザに対して正面の領域内を移動している場合であっても、物体がユーザに対して遠くに位置する場合、物体がユーザに接触する危険性は低いといえる。情報通知システム１では、ユーザに対する物体の距離が考慮されて危険度が判定されるため、より高精度な危険度の判定が可能となる。

【0081】

情報通知システム１では、通信端末１０が有するスピーカーにおいて音により通知される情報を含み、生成部５４は、スピーカーにおいて物体の位置に対応する場所から危険度に応じた音が発せられるように、通知情報を生成する。これにより、例えば、視覚に障害があるユーザに対しても、ユーザの危険度に応じてユーザに必要な適切な通知を行うことができ、接触する危険度の高い物体の場所を当該ユーザが把握しやすくすることができる。

【0082】

情報通知システム１では、通知情報が、通信端末１０が有する画面において危険度に応じた態様で表示される危険画像により通知される情報を含み、生成部５４は、危険度が高いほど危険画像において物体に関する情報が目立つように、通知情報を生成する。特に、情報通知システム１では、生成部５４は、危険画像において危険度が高いほど他の情報を目立たせなくすることで、物体に関する情報が目立つように、通知情報を生成する。

【0083】

これにより、ユーザと物体とが接触する危険度が低い場合においては、例えば、受信したメッセージ情報、天気に関する情報等の他の情報をユーザが確認しやすく、危険度が高い場合においては、接触のおそれがある物体をユーザが認知しやすくなる。すなわち、情報通知システム１では、ユーザの危険度に応じて、物体に関する情報の表示と他の情報の表示とのバランスを調整することによって、ユーザに必要な情報を適切に通知することができる。

【0084】

次に、情報通知システム１に含まれた通信端末１０、物体検出サーバ３０、及び判定サーバ５０のハードウェア構成について、図１０を参照して説明する。上述の通信端末１０、物体検出サーバ３０、及び判定サーバ５０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

【0085】

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。通信端末１０、物体検出サーバ３０、及び判定サーバ５０のハードウェア構成は、図１０に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

【0086】

通信端末１０、物体検出サーバ３０、及び判定サーバ５０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信や、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。

【0087】

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインタフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成されてもよい。例えば、物体検出サーバ３０の検出部３３等の制御機能はプロセッサ１００１で実現されてもよい。

【0088】

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。

【0089】

例えば、物体検出サーバ３０の検出部３３等の制御機能は、メモリ１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１で実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

【0090】

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本発明の一実施の形態に係る無線通信方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

【0091】

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及び／又はストレージ１００３を含むデータベース、サーバその他の適切な媒体であってもよい。

【0092】

通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。

【0093】

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、ＬＥＤランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

【0094】

また、プロセッサ１００１やメモリ１００２などの各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。

【0095】

また、通信端末１０、物体検出サーバ３０、及び判定サーバ５０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。

【0096】

以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。

【0097】

例えば、情報通知システム１は、通信端末１０、物体検出サーバ３０、及び判定サーバ５０を含んで構成されているとして説明したが、これに限定されず、情報通知システム１の各機能が、通信端末１０のみによって実現されてもよい。

【0098】

また、上記実施形態では、物体検出サーバ３０が、取得部３２及び検出部３３を有し、判定サーバ５０が、判定部５３と、生成部５４と、出力部５５と、を有している構成を例示した。しかしながら、情報通知システム１では、例えば、他のサーバが各機能的構成要素の一部あるいは全部を備えていてもよく、また、例えば、通信端末１０が各機能的構成要素の一部を備えていてもよい。

【0099】

情報通知システム１では、ユーザに対して背面、右側面及び左側面の領域に位置している物体を対象に危険度が判定され、当該危険度に基づいて通知情報が生成されてもよい。

【0100】

また、上記実施形態では、通知情報は、音情報及び画像情報であったが、通知情報は、音情報のみ、或いは画像情報のみであってもよく、また、例えば通信端末１０が有するランプが点灯するための光情報等、他の情報であってもよい。

【0101】

取得部３２は、ユーザに装着された通信端末１０において撮像された、ユーザの周囲の領域に係る一の撮像画像を取得し、検出部３３は、一の撮像画像に基づいて、ユーザの周囲の領域にある物体を検出してもよい。

【0102】

判定部５３は、ユーザに対して物体が正面の領域に位置しているか否か、及び、複数の撮像画像における物体の位置から導出される物体の移動ベクトル、の一方に基づいて、接触可能性を判定してもよい。

【0103】

判定部５３は、検出部３３によって検出された結果に基づいて危険度を判定すればよい。一例として、判定部５３は、接触可能性のみに基づいて危険度を判定してもよく、また、接触可能性、ユーザと物体との距離、及び接近速度を総合的に考慮して判定する方法とは異なる方法を用いて危険度を判定してもよい。

【0104】

生成部５４は、危険画像において危険度が高いほど物体に関する情報が目立つように、通知情報を生成すればよい。一例として、生成部５４は、危険度が高いほど他の情報が小さく表示されるように通知情報を生成してもよい。

【0105】

情報通知システム１では、通知情報以外の情報がユーザに通知されてもよい。一例として、通信端末１０が有するスピーカーからは、通知情報以外の音に関する情報が発せられてもよい。

【0106】

例えば、図３に示されるように、検出部３３が、物体として、人物Ｈ１に加えて、路上に配置された看板である物体Ｈ２を検出し、生成部５４が、物体Ｈ２に関する情報に基づいて、物体の位置、物体の名称を伝える音が発せられるための情報を生成してもよい。物体Ｈ２は、ユーザに対して正面前方５ｍ且つ左１ｍ先に配置されている。したがって、生成部５４は、正面前方５ｍ且つ１ｍ先に看板がある旨を伝える音Ｍ２が発せられるための情報を生成する。また、例えば、図３に示されるように、検出部３３が、物体として、路上の店名が記載された看板である物体Ｈ３を検出し、生成部５４が、物体Ｈ３に関する情報に基づいて、物体Ｈ３の位置、及び物体Ｈ３が示す店の種類及び店の名称を伝える音Ｍ３が発せられるための情報を生成してもよい。この場合、店の種類及び店の名称は、例えば、物体検出サーバ３０のデータ３００に記憶されている。

【0107】

そして、出力部５５が、当該音が発せられるための情報を出力すると、スピーカーにおいて物体Ｈ２に対応する場所（通信端末１０がユーザに装着された状態のスピーカーにおいて左右方向における左側）、及び物体Ｈ３に対応する場所（通信端末１０がユーザに装着された状態のスピーカーにおいて左右方向における真ん中）から、上述したそれぞれの音Ｍ２及びＭ３が発せられる。

【0108】

本明細書で説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ－Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broad-band）、ＩＥＥＥ ８０２．１１（Ｗｉ－Ｆｉ）、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-Wide Band）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。

【0109】

本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。

【0110】

入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

【0111】

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

【0112】

本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

【0113】

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

【0114】

また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

【0115】

本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

【0116】

なお、本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。

【0117】

また、本明細書で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。

【0118】

通信端末１０は、当業者によって、移動通信端末、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、またはいくつかの他の適切な用語で呼ばれる場合もある。

【0119】

本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

【0120】

本明細書で「第１の」、「第２の」などの呼称を使用した場合においては、その要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１および第２の要素への参照は、２つの要素のみがそこで採用され得ること、または何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

【0121】

「含む（include）」、「含んでいる（including）」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。

【0122】

本明細書において、文脈または技術的に明らかに１つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。

【0123】

本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。

【符号の説明】

【0124】

１…情報通知システム、１０…通信端末（端末）、３２…取得部、３３…検出部、５３…判定部、５４…生成部、５５…出力部、Ｈ１…人物（物体）、Ｍ１…危険音（音）、Ｐ１…画像（撮像画像）、Ｐ２，Ｐ４…画像（危険画像）、Ｐｄ…画像（物体に関する情報）、Ｚ…他の情報（物体に関する情報とは異なる情報）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】