特開 2024-1718 表示システム、表示装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024001718

(43)【公開日】2024-01-10

(54)【発明の名称】表示システム、表示装置およびプログラム

(51)【国際特許分類】

   H04N 5/74 20060101AFI20231227BHJP

   G09G 5/00 20060101ALI20231227BHJP

   G09G 5/02 20060101ALI20231227BHJP

   G09G 5/10 20060101ALI20231227BHJP

   G09G 5/36 20060101ALI20231227BHJP

【ＦＩ】

H04N5/74 Z

G09G5/00 550C

G09G5/00 550X

G09G5/02 B

G09G5/10 B

G09G5/00 510Q

G09G5/36 520P

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022100564

(22)【出願日】2022-06-22

(71)【出願人】

【識別番号】000002369

【氏名又は名称】セイコーエプソン株式会社

(74)【代理人】

【識別番号】110003177

【氏名又は名称】弁理士法人旺知国際特許事務所

(72)【発明者】

【氏名】西岡 大毅

【テーマコード（参考）】

5C058

5C182

【Ｆターム（参考）】

5C058BA05

5C058BA35

5C058EA02

5C058EA26

5C058EA27

5C182AA02

5C182AA03

5C182AA04

5C182AA13

5C182AC02

5C182AC03

5C182BA14

5C182BA54

5C182BA75

5C182BC22

5C182BC25

5C182BC26

5C182CB12

5C182CB44

5C182CC26

5C182DA14

5C182DA19

(57)【要約】

【課題】表示画像による効果的な注意喚起を行う。
【解決手段】表示システムは、表示装置と第１撮像装置と記憶装置と処理装置とを備える。表示装置は、コンテンツ情報に基づく画像を表示位置に表示する。第１撮像装置は、表示位置を通過する前の人を撮像する。記憶装置は、表示位置を通過する前の人の行動の特徴量と、画像に用いるコンテンツ情報と、表示位置を通過した人の危険度と、の対応関係を機械学習した学習済モデルを記憶する。処理装置は、第１撮像装置の撮像結果に基づいて、表示位置を通過する前の人の行動の特徴量を示す通過前行動データを取得し、通過前行動データと学習済モデルとを用いて、画像に用いるコンテンツ情報を決定する。
【選択図】図２

【特許請求の範囲】

【請求項1】

コンテンツ情報に基づく画像を表示位置に表示する表示装置と、
第１撮像装置と、
前記第１撮像装置で撮像した前記表示位置を通過する前の人の行動の特徴量を示す通過前行動データと、前記画像に用いるコンテンツ情報と、前記表示位置を通過した前記人の危険度と、の対応関係を機械学習した学習済モデルを記憶する記憶装置と、
処理装置と、を備え、
前記処理装置は、
前記第１撮像装置を用いて前記表示位置を通過する前の第１の人を撮像した撮像結果に基づいて、前記表示位置を通過する前の前記第１の人の行動の特徴量を示す第１の通過前行動データを取得することと、
前記第１の通過前行動データと前記学習済モデルとを用いて、前記第１の通過前行動データに対応する第１の画像に用いる第１のコンテンツ情報を決定することと、を行う、
表示システム。

【請求項2】

前記対応関係は、前記通過前行動データと、前記コンテンツ情報と、前記危険度と、前記表示位置の周辺環境に関する環境データと、の関係を含み、
前記処理装置は、
前記表示位置を前記第１の人が通過した時の第１の環境データを取得することと、
前記第１の環境データと前記第１の通過前行動データと前記学習済モデルとを用いて、前記第１のコンテンツ情報を決定することと、を行う、
請求項１に記載の表示システム。

【請求項3】

前記処理装置は、
前記第１の通過前行動データと、前記学習済モデルと、を用いて、前記表示位置と、前記第１の画像の表示タイミングと、前記第１の画像の表示色または輝度と、のうちの少なくとも１つを決定することと、を行う、
請求項１に記載の表示システム。

【請求項4】

第２撮像装置をさらに備え、
前記処理装置は、
前記第２撮像装置を用いて前記表示位置を通過した前記第１の人を撮像した撮像結果に基づいて、前記表示位置を通過した前記第１の人の行動の特徴量を示す第１の通過後行動データに基づいた第１の危険度取得することと、
前記第１の危険度を用いて、前記学習済モデルを再学習することと、を行う、
請求項１に記載の表示システム。

【請求項5】

前記処理装置は、前記表示装置を用いて、前記第１のコンテンツ情報に基づいて前記第１の画像を前記表示位置に表示させる、
請求項１に記載の表示システム。

【請求項6】

前記第１の画像に用いる前記第１のコンテンツ情報は、画像データを含む、
請求項１に記載の表示システム。

【請求項7】

前記表示位置の周囲に放音する放音装置をさらに備え、
前記第１の画像に用いる前記第１のコンテンツ情報は、音声データを含み、
前記処理装置は、前記放音装置を用いて、前記第１のコンテンツ情報に基づく音を放音させる、ことを行う、
請求項６に記載の表示システム。

【請求項8】

前記第１の危険度は、前記表示位置を通過した後の前記人のあらかじめ設定された特徴量と、前記第１の通過後行動データの示す特徴量と、の差分で示される、
請求項４に記載の表示システム。

【請求項9】

前記第１の通過前行動データは、第１領域を通行する前記第１の人の行動の特徴量を示し、
前記第１の通過後行動データは、前記第１領域とは異なる第２領域を通行する前記第１の人の行動の特徴量を示し、
前記表示位置は、前記第１領域と前記第２領域との間に位置する、
請求項４に記載の表示システム。

【請求項10】

前記表示位置の周辺環境は、前記表示位置を含む領域における前記人の危険に関する環境である、
請求項２に記載の表示システム。

【請求項11】

コンテンツ情報に基づく画像を表示位置に表示する表示装置であって、
前記表示位置を通過する前の人の行動の特徴量を示す通過前行動データと、前記画像に用いるコンテンツ情報と、前記表示位置を通過した人の危険度と、の対応関係を機械学習した学習済モデルを記憶する記憶装置と、
処理装置と、を備え、
前記処理装置は、
前記表示位置を通過する前の第１の人を撮像した撮像結果に基づいて、前記表示位置を通過する前の前記第１の人の行動の特徴量を示す第１の通過前行動データを取得することと、
前記第１の通過前行動データと前記学習済モデルとを用いて、前記第１の通過前行動データに対応する第１の画像に用いる第１のコンテンツ情報を決定することと、を行う、
表示装置。

【請求項12】

第１のコンテンツ情報に基づく第１の画像の表示位置を通過する前の第１の人を撮像した撮像結果に基づいて、前記表示位置を通過する前の前記第１の人の行動の特徴量を示す第１の通過前行動データを取得することと、
前記表示位置を通過する前の人の行動の特徴量と、画像に用いるコンテンツ情報と、前記表示位置を通過した後の前記人の危険度と、の対応関係を機械学習した学習済モデルおよび前記第１の通過前行動データを用いて、前記第１の画像に用いる第１のコンテンツ情報を決定することと、をコンピューターに実行させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、表示システム、表示装置およびプログラムに関する。

【背景技術】

【0002】

従来、人の行動に応じた画像を表示する表示システムが知られている。例えば、特許文献１に記載のシステムは、表示装置と、対象人物を撮像するカメラと、カメラの撮像画像に基づいて、対象人物の今後の行動を予測し、予測結果に応じて生成した警告画像を表示装置に表示させるサーバーと、を備える。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４－１２３２７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載のシステムでは、警告表示による効果が十分に考慮されないため、対象人物に対して適切な注意喚起を行うことができない場合がある。

【課題を解決するための手段】

【0005】

本開示の一態様に係る表示システムは、コンテンツ情報に基づく画像を表示位置に表示する表示装置と、第１撮像装置と、前記第１撮像装置で撮像した前記表示位置を通過する前の人の行動の特徴量を示す通過前行動データと、前記画像に用いるコンテンツ情報と、前記表示位置を通過した前記人の危険度と、の対応関係を機械学習した学習済モデルを記憶する記憶装置と、処理装置と、を備え、前記処理装置は、前記第１撮像装置を用いて前記表示位置を通過する前の第１の人を撮像した撮像結果に基づいて、前記表示位置を通過する前の前記第１の人の行動の特徴量を示す第１の通過前行動データを取得することと、前記第１の通過前行動データと前記学習済モデルとを用いて、前記第１の通過前行動データに対応する第１の画像に用いる第１のコンテンツ情報を決定することと、を行う。

【0006】

本開示の一態様に係る表示装置は、コンテンツ情報に基づく画像を表示位置に表示する表示装置であって、前記表示位置を通過する前の人の行動の特徴量を示す通過前行動データと、前記画像に用いるコンテンツ情報と、前記表示位置を通過した人の危険度と、の対応関係を機械学習した学習済モデルを記憶する記憶装置と、処理装置と、を備え、前記処理装置は、前記表示位置を通過する前の第１の人を撮像した撮像結果に基づいて、前記表示位置を通過する前の前記第１の人の行動の特徴量を示す第１の通過前行動データを取得することと、前記第１の通過前行動データと前記学習済モデルとを用いて、前記第１の通過前行動データに対応する前記第１の画像に用いる第１のコンテンツ情報を決定することと、を行う。

【0007】

本開示の一態様に係るプログラムは、第１のコンテンツ情報に基づく第１の画像の表示位置を通過する前の第１の人を撮像した撮像結果に基づいて、前記表示位置を通過する前の前記第１の人の行動の特徴量を示す第１の通過前行動データを取得することと、前記表示位置を通過する前の人の行動の特徴量と、前記画像に用いるコンテンツ情報と、前記表示位置を通過した後の前記人の危険度と、の対応関係を機械学習した学習済モデルおよび前記第１の通過前行動データを用いて、前記第１の画像に用いる第１のコンテンツ情報を決定することと、をコンピューターに実行させる。

【図面の簡単な説明】

【0008】

【図1】第１実施形態に係る表示システムの概略図である。

【図2】第１実施形態に係る表示システムのブロック図である。

【図3】第１実施形態に係る表示システムの動作を示すフローチャートである。

【図4】第１実施形態における学習済モデルを説明するための図である。

【図5】第１実施形態における学習済モデルを生成する機械学習を説明するための図である。

【図6】第２実施形態に係る表示システムの概略図である。

【図7】第３実施形態に係る表示システムの概略図である。

【図8】第４実施形態に係る表示システムのブロック図である。

【図9】第４実施形態に係る表示システムの動作を示すフローチャートである。

【図10】第４実施形態における学習済モデルを説明するための図である。

【図11】第４実施形態における学習済モデルを生成する機械学習を説明するための図である。

【図12】通過前行動データに基づく行動ごとのスコアの一例を示す図である。

【発明を実施するための形態】

【0009】

以下、添付図面を参照しながら本開示に係る好適な実施形態を説明する。なお、図面において各部の寸法および縮尺は実際と適宜に異なり、理解を容易にするために模式的に示している部分もある。また、本開示の範囲は、以下の説明において特に本開示を限定する旨の記載がない限り、これらの形態に限られない。

【0010】

１．第１実施形態
１－１．表示システムの概要
図１は、第１実施形態に係る表示システム１の概略図である。表示システム１は、人Ｈの行動に応じた画像Ｇを表示位置ＰＤに表示することにより、人Ｈに対して注意喚起を行うシステムである。

【0011】

図１に示す例では、表示システム１が、通路ＡＬを通行する人Ｈに対して画像Ｇにより注意喚起を行う。ここで、床面ＦＦには、通路ＡＬの長さ方向での途中に段差ＳＴが設けられる。表示位置ＰＤは、段差ＳＴに対して人Ｈの進行方向ＤＲの後方で隣り合う位置で、床面ＦＦに設定される。図１では、人Ｈに対して段差ＳＴの注意を促す旨を表示する画像Ｇが例示される。進行方向ＤＲは、通路ＡＬの長さ方向に沿う一方向である。

【0012】

なお、通路ＡＬの幅または形状等の態様は、図１に示す例に限定されず、任意である。また、表示位置ＰＤは、図１に示す例に限定されず、例えば、段差ＳＴから離れた位置であってもよいし、通路ＡＬに設けられるスクリーン上の位置、通路ＡＬの左右の壁面上または天井の面上の位置でもよい。表示位置ＰＤは、例えば、画像Ｇの中心である。

【0013】

表示システム１は、表示装置１０と第１撮像装置２１と第２撮像装置２２と制御装置３０とを備える。以下、図１に基づいて、これらを簡単に説明する。

【0014】

表示装置１０は、制御装置３０による制御のもとで、表示位置ＰＤに画像Ｇを表示するプロジェクターである。なお、表示装置１０の詳細な構成については、後に図２に基づいて説明する。

【0015】

第１撮像装置２１は、表示位置ＰＤを通過する前の人Ｈを撮像するＣＣＤ（Charge Coupled Device）イメージセンサーまたはＣＭＯＳ（Complementary MOS）イメージセンサー等の撮像素子を有するカメラである。

【0016】

第２撮像装置２２は、表示位置ＰＤを通過した後の人Ｈを撮像するＣＣＤイメージセンサーまたはＣＭＯＳイメージセンサー等の撮像素子を有するカメラである。なお、第１撮像装置２１が第２撮像装置２２を兼ねていてもよい。

【0017】

制御装置３０は、第１撮像装置２１の撮像結果に基づいて、表示位置ＰＤを通過する前の人Ｈの行動に応じた画像Ｇの表示内容および表示方法を決定し、表示装置１０を用いて、決定した表示方法で、決定した表示内容の画像Ｇを表示位置ＰＤに表示する。ここで、画像Ｇの表示内容および表示方法の決定には、表示位置ＰＤを通過した人Ｈの危険度が最少となるように所定の対応関係を機械学習した後述の学習済モデルＰＪが用いられる。また、制御装置３０は、第２撮像装置２２の撮像結果を用いて、後述の学習済モデルＰＪの再学習を行う。なお、制御装置３０の詳細な構成については、後に図２に基づいて説明する。

【0018】

以上の概略の表示システム１では、表示位置ＰＤを通過した人Ｈの危険度が最少となるように所定の対応関係を機械学習した後述の学習済モデルＰＪを用いて、画像Ｇの表示内容および表示方法が決定されるので、画像Ｇによる効果的な注意喚起を行うことができる。

【0019】

１－２．表示システムの構成
図２は、第１実施形態に係る表示システム１のブロック図である。図２では、表示システム１の電気的な構成のほか、通路ＡＬを鉛直上方からみた図が併せて図示される。前述のように、表示システム１は、表示装置１０と第１撮像装置２１と第２撮像装置２２と制御装置３０とを備える。以下、図２に基づいて、表示システム１の各部を順に詳述する。

【0020】

表示装置１０は、図２に示すように、光学装置としての投射装置１１と、放音装置１２と、を備える。

【0021】

投射装置１１は、制御装置３０による制御のもと、画像Ｇを表示位置ＰＤに投射する機構である。図示しないが、投射装置１１は、例えば、画像処理回路と光源と光変調装置と投射光学系とを有する。

【0022】

投射装置１１の画像処理回路は、制御装置３０からのコンテンツ情報ＤＣ内の画像データを用いて、光変調装置を駆動するための画像信号を生成する回路である。具体的には、当該画像処理回路は、フレームメモリーを有し、コンテンツ情報ＤＣ内の画像データを当該フレームメモリーに展開して、解像度変換処理、リサイズ処理、歪み補正処理等の各種処理を適宜実行することにより、画像信号を生成する。

【0023】

投射装置１１の光源は、例えば、ハロゲンランプ、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）またはレーザー光源等を含む。当該光源は、例えば、白色の光を出射するか、または、赤色、緑色および青色の光をそれぞれ出射する。当該光源が白色の光を出射する場合、当該光源から出射される光は、図示しないインテグレーター光学系によって輝度分布のばらつきが低減され、その後、図示しない色分離光学系によって赤色、緑色および青色の光に分離されて投射装置１１の光変調装置に入射する。

【0024】

投射装置１１の光変調装置は、前述の赤色、緑色および青色に対応して設けられる３個の光変調素子を含む。当該３個の光変調素子のそれぞれは、例えば、透過型の液晶パネル、反射型の液晶パネルまたはＤＭＤ（デジタルミラーデバイス）等を含む。当該３個の光変調素子は、投射装置１１の画像処理回路からの画像信号に基づいて、当該赤色、緑色および青色の光をそれぞれ変調して各色の画像光を生成する。当該各色の画像光は、図示しない色合成光学系によって合成され、フルカラーの画像光となる。

【0025】

投射装置１１の投射光学系は、前述のフルカラーの画像光を投射面上に結像させて投射させる。当該投射光学系は、例えば、投射レンズを含む光学系である。なお、当該投射光学系は、投射レンズのほか、例えば、ズームレンズまたはフォーカスレンズ等を含んでもよい。

【0026】

放音装置１２は、制御装置３０からのコンテンツ情報ＤＣ内の音声データを用いて、表示位置ＰＤの周囲に放音するスピーカーである。放音装置１２は、当該音声データを再生するためのオーディオアンプ等の回路を含んでもよい。なお、放音装置１２は、表示装置１０の外部に表示装置１０とは別体として設けられてもよい。

【0027】

第１撮像装置２１は、第１領域ＲＥ１の人Ｈを撮像することにより、第１撮像データＤＳ１を生成する。第１撮像データＤＳ１は、静止画データであっても動画データであってもよいが、人Ｈの行動の特徴量を好適に抽出し得ることから、動画データであることが好ましい。第１撮像データＤＳ１の形式は、特に限定されず、任意であるが、例えば、公知の静止画または動画のデータ形式である。

【0028】

図２に示す例では、第１領域ＲＥ１が表示位置ＰＤに対して人Ｈの進行方向での後方で通路ＡＬの長さ方向に沿う所定範囲にわたる領域である。通路ＡＬの長さ方向に沿う第１領域ＲＥ１の長さは、第１撮像装置２１の撮像結果から人Ｈの行動の特徴量を抽出可能であればよく、例えば、１ｍ以上２ｍ以下である。

【0029】

第２撮像装置２２は、第１領域ＲＥ１とは異なる第２領域ＲＥ２の人Ｈを撮像することにより、第２撮像データＤＳ２を生成する。第２撮像データＤＳ２は、静止画データであっても動画データであってもよいが、人Ｈの行動の特徴量を好適に抽出し得ることから、動画データであることが好ましい。第２撮像データＤＳ２の形式は、特に限定されず、任意であるが、例えば、公知の静止画または動画のデータ形式である。

【0030】

図２に示す例では、第２領域ＲＥ２が表示位置ＰＤに対して人Ｈの進行方向ＤＲでの前方で通路ＡＬの長さ方向に沿う所定範囲にわたる領域である。通路ＡＬの長さ方向に沿う第２領域ＲＥ２の長さは、第２撮像装置２２の撮像結果から人Ｈの行動の特徴量を抽出可能であればよく、例えば、１ｍ以上２ｍ以下である。なお、第１撮像装置２１の撮像範囲が第１領域ＲＥ１および第２領域ＲＥ２の両方を包含する場合、第１撮像装置２１が第２撮像装置２２を兼ねてもよい。

【0031】

制御装置３０は、プログラムＰＧ１を実行するコンピューターである。制御装置３０は、図２に示すように、通信装置３１と記憶装置３２と処理装置３３とを備える。これらは、共通のバスを介して、互いに通信可能に接続される。

【0032】

通信装置３１は、表示装置１０、第１撮像装置２１および第２撮像装置２２のそれぞれと有線または無線により通信可能な装置である。具体的には、通信装置３１は、表示装置１０と通信するためのインターフェイス回路と、第１撮像装置２１と通信するためのインターフェイス回路と、第２撮像装置２２と通信するためのインターフェイス回路と、を有する。例えば、通信装置３１は、有線ＬＡＮ（Local Area Network）、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High Definition Multimedia Interface）等の有線通信装置、ＬＰＷＡ（Low Power Wide Area）、Ｗｉ－Ｆｉを含む無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ等の無線通信装置を含む。「Ｗｉ－Ｆｉ」、「ＨＤＭＩ」および「Ｂｌｕｅｔｏｏｔｈ」のそれぞれは、登録商標である。

【0033】

記憶装置３２は、処理装置３３により実行される各種プログラムと、処理装置３３により処理される各種情報と、を記憶する装置である。記憶装置３２は、例えば、ハードディスクドライブまたは半導体メモリーで構成される。なお、記憶装置３２に記憶される情報の一部または全部は、あらかじめ記憶されてもよいし、前述の通信装置３１を介して外部装置から取得されてもよい。

【0034】

記憶装置３２には、プログラムＰＧ１と学習済モデルＰＪと通過前行動データＤＡ１と通過後行動データＤＡ２と第１撮像データＤＳ１と第２撮像データＤＳ２とコンテンツ情報ＤＣとが記憶される。

【0035】

プログラムＰＧ１は、処理装置３３を後述の各機能部として機能させるためのプログラムである。

【0036】

通過前行動データＤＡ１は、表示位置ＰＤを通過する前の人Ｈの行動の特徴量を示すデータである。通過後行動データＤＡ２は、表示位置ＰＤを通過した後の人Ｈの行動の特徴量を示すデータである。

【0037】

コンテンツ情報ＤＣは、表示装置１０で画像Ｇとして表示されるコンテンツを示す画像データを含む。当該画像データは、人Ｈに対して注意喚起を促す画像を示すデータである。当該画像データの形式は、特に限定されないが、例えば、公知の動画データまたは静止画データの形式である。ここで、コンテンツ情報ＤＣには、画像データのほか、画像データを表示する位置、タイミング、色合いおよび輝度等の表示方法に関する情報が含まれる。

【0038】

本実施形態では、コンテンツ情報ＤＣは、画像データのほか、放音装置１２で再生される音声データを含む。当該画像データは、人Ｈに対して注意喚起を促す音を示すデータである。当該音声データの形式は、特に限定されないが、例えば、公知の音声データ形式である。

【0039】

学習済モデルＰＪは、表示位置ＰＤを通過した人Ｈの危険度が最少となるように、表示位置ＰＤを通過する前の人Ｈの行動の特徴量と、画像Ｇに用いるコンテンツ情報ＤＣと、表示位置ＰＤを通過した人Ｈの危険度と、の対応関係を機械学習した推定モデルである。

【0040】

処理装置３３は、制御装置３０の各部の動作を制御する機能、および各種データを処理する機能を有する処理装置である。処理装置３３は、例えば、ＣＰＵ（Central Processing Unit）等の１または複数のプロセッサーを含む。なお、処理装置３３の一部または全部を、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで実現してもよい。

【0041】

処理装置３３は、プログラムＰＧ１を実行することにより、取得部３３ａ、決定部３３ｂ、表示制御部３３ｃおよび再学習部３３ｄとして機能する。

【0042】

取得部３３ａは、第１撮像データＤＳ１に基づいて通過前行動データＤＡ１を取得したり、第２撮像データＤＳ２に基づいて通過後行動データＤＡ２を取得したりする。

【0043】

決定部３３ｂは、通過前行動データＤＡ１および学習済モデルＰＪを用いて、表示位置ＰＤを通過した人Ｈの危険度が最少となるように、コンテンツ情報ＤＣを決定する。

【0044】

表示制御部３３ｃは、決定部３３ｂで決定したコンテンツ情報ＤＣに基づく画像Ｇを表示装置１０に表示させる。

【0045】

再学習部３３ｄは、通過後行動データＤＡ２を用いて学習済モデルＰＪの再学習を行う。ここで、後述するように、通過後行動データＤＡ２から表示位置ＰＤを通過した後の人Ｈの危険度を算出することができる。このため、再学習部３３ｄは、通過後行動データＤＡ２、もしくは、通過後行動データＤＡ２から算出した危険度と、通過前行動データＤＡ１と、コンテンツ情報ＤＣと、の組を再学習に用いる。

【0046】

１－３．表示システムの動作
図３は、第１実施形態に係る表示システム１の動作を示すフローチャートである。表示システム１では、まず、図３に示すように、ステップＳ１において、取得部３３ａが第１撮像データＤＳ１を取得する。この取得した第１撮像データＤＳ１は、記憶装置３２に記憶される。

【0047】

次に、ステップＳ２において、取得部３３ａは、第１領域ＲＥ１に人Ｈが存在するか否かを判断する。この判断は、例えば、第１撮像データＤＳ１から人物を対象として物体認識する画像処理により行われる。第１領域ＲＥ１に人Ｈが存在しない場合（ステップＳ２：ＮＯ）、取得部３３ａは、ステップＳ１に戻る。第１領域ＲＥ１に存在する人Ｈは、第１の人に相当する。

【0048】

第１領域ＲＥ１に人Ｈが存在する場合（ステップＳ２：ＹＥＳ）、ステップＳ３において、取得部３３ａは、通過前行動データＤＡ１を取得する。この取得は、例えば、第１領域ＲＥ１に人Ｈが存在する期間における第１撮像データＤＳ１をそのまま通過前行動データＤＡ１として取得してもよいし、第１領域ＲＥ１に人Ｈが存在する期間における第１撮像データＤＳ１に対して学習済モデルＰＪへの適用に必要な適宜の処理を施すことにより取得してもよい。ステップＳ３で取得する通過前行動データＤＡ１は、第１の通過前行動データに相当する。

【0049】

次に、ステップＳ４において、決定部３３ｂは、通過前行動データＤＡ１および学習済モデルＰＪを用いて、コンテンツ情報ＤＣを決定する。この決定は、通過前行動データＤＡ１を入力データとし、学習済モデルＰＪの出力データとしてコンテンツ情報ＤＣを得ることにより行われる。なお、学習済モデルＰＪの出力データに適宜の後処理を行うことにより、コンテンツ情報ＤＣが決定されてもよい。ステップＳ４において決定されたコンテンツ情報ＤＣは、第１のコンテンツ情報に相当する。

【0050】

次に、ステップＳ５において、表示制御部３３ｃは、決定部３３ｂで決定されたコンテンツ情報ＤＣに基づく画像Ｇを表示装置１０に表示させる。

【0051】

次に、ステップＳ６において、取得部３３ａが第２撮像データＤＳ２を取得する。この取得した第２撮像データＤＳ２は、記憶装置３２に記憶される。

【0052】

次に、ステップＳ７において、取得部３３ａは、第２領域ＲＥ２に人Ｈが存在するか否かを判断する。この判断は、例えば、第２撮像データＤＳ２から人物を対象として物体認識する画像処理により行われる。第２領域ＲＥ２に人Ｈが存在しない場合（ステップＳ７：ＮＯ）、取得部３３ａは、ステップＳ６に戻る。

【0053】

第２領域ＲＥ２に人Ｈが存在する場合（ステップＳ７：ＹＥＳ）、ステップＳ８において、取得部３３ａは、通過後行動データＤＡ２を取得する。この取得は、例えば、第２領域ＲＥ２に人Ｈが存在する期間における第２撮像データＤＳ２をそのまま通過後行動データＤＡ２として取得してもよいし、第２領域ＲＥ２に人Ｈが存在する期間における第２撮像データＤＳ２に対して学習済モデルＰＪへの適用に必要な適宜の処理を施すことにより取得してもよい。

【0054】

次に、ステップＳ９において、再学習部３３ｄは、通過後行動データＤＡ２をこれに対応する通過前行動データＤＡ１およびコンテンツ情報ＤＣと対応付けて、履歴データとして記憶装置３２に記憶する。

【0055】

次に、ステップＳ１０において、再学習部３３ｄは、再学習が必要な否かを判断する。この判断は、例えば、履歴データが所定量に達したか否か、あるいは、履歴データの蓄積期間が所定期間に達したか否かにより行われる。また、一定期間ごとに直前の所定期間のデータを用いて、再学習を行ってもよい。これにより、人間の慣れによる効果の低減を防止することができる。例えば、ある学習済モデルＰＪを履歴データの蓄積期間である１週間の期間使用し、１週間の経過後に、再学習部３３ｄは、当該１週間で蓄積された通過後行動データＤＡ２をこれに対応する通過前行動データＤＡ１およびコンテンツ情報ＤＣと対応付けて、履歴データとして記憶装置３２に記憶してもよい。

【0056】

再学習が必要であると判断した場合（ステップＳ１０：ＹＥＳ）、ステップＳ１１において、再学習部３３ｄは、学習済モデルＰＪの再学習を行った後、ステップＳ１２に移行する。一方、再学習が必要でないと判断した場合（ステップＳ１０：ＮＯ）、再学習部３３ｄは、学習済モデルＰＪの再学習を行わずに、ステップＳ１２に移行する。

【0057】

ステップＳ１２において、処理装置３３は、終了指示の有無を判断し、終了指示がない場合（ステップＳ１２：ＮＯ）、前述のステップＳ１に戻り、一方、終了指示がある場合（ステップＳ１２：ＹＥＳ）、処理を終了する。

【0058】

１－４．学習済モデル
図４は、第１実施形態における学習済モデルＰＪを説明するための図である。学習済モデルＰＪは、通過前行動データＤＡ１の入力に応じてコンテンツ情報ＤＣを出力する推定モデルである。具体的には、学習済モデルＰＪは、通過前行動データＤＡ１からコンテンツ情報ＤＣを生成する演算を処理装置３３に実行させるプログラムと、当該演算に適用される複数の係数との組合せで実現される。当該プログラムは、例えば人工知能ソフトウェアを構成するプログラムモジュールである。当該複数の係数は、例えば、後述のデータセットＤＳＴを利用した深層学習により設定される。図４では、学習済モデルＰＪが入力層、出力層および中間層を有する深層ニューラルネットワーク等の数理モデルである場合が好適例として示される。なお、中間層の層数は、図４に示す例に限定されず、任意である。

【0059】

図５は、第１実施形態における学習済モデルＰＪを生成する機械学習を説明するための図である。学習済モデルＰＪの生成は、図５に示すように、学習処理部１００を有する学習装置での機械学習により行われる。この機械学習には、複数のデータセットＤＳＴが使用される。各データセットＤＳＴは、通過前行動データＤＡ１と、これに対応するコンテンツ情報ＤＣと、通過後行動データＤＡ２に基づく危険度と、を含む。データセットＤＳＴにおける通過前行動データＤＡ１およびコンテンツ情報ＤＣは、前述の制御装置３０とは別途の装置を用いて生成したものであってもよい。

【0060】

データセットＤＳＴには、表示位置ＰＤを通過した後の人Ｈの危険度ＤＡと、その際に表示したコンテンツ情報ＤＣと、これらに対応する通過前行動データＤＡ１との組が用いられる。表示位置ＰＤを通過した後の人Ｈの危険度ＤＡは、通過後行動データＤＡ２に基づいて算出可能である。例えば、当該危険度ＤＡは、表示位置ＰＤを通過した後の人Ｈの正常行動の特徴量と、通過後行動データＤＡ２の示す特徴量と、の差分で示される。当該差分が大きいほど、表示位置ＰＤを通過した後の人Ｈの危険度ＤＡが高い。正常行動とは、予め設定されている統計的に安全であるとされる行動データである。正常行動を設定する数は一つでもよいし複数でもよく、複数の正常行動の特徴量と通過後行動データＤＡ２の示す特徴量の差分をそれぞれ求め、当該差分のうち最も大きい値を、表示位置ＰＤを通過した後の人Ｈの危険度ＤＡとしてもよい。

【0061】

学習処理部１００は、複数のデータセットＤＳＴを利用した教師あり機械学習により学習済モデルＰＪの複数の係数を設定する。具体的には、学習処理部１００は、データセットＤＳＴにおける通過前行動データＤＡ１の入力に対して暫定的な学習済モデルＰＪが出力するコンテンツ情報ＤＣ１と、データセットＤＳＴに含まれる危険度が最小であるコンテンツ情報ＤＣとの相違が低減されるように、学習済モデルＰＪの複数の係数を更新する。例えば、学習処理部１００は、コンテンツ情報ＤＣとコンテンツ情報ＤＣ１との相違を表す評価関数が最小化されるように、誤差逆伝播法により学習済モデルＰＪの複数の係数を反復的に更新する。以上の機械学習後の学習済モデルＰＪは、複数のデータセットＤＳＴにおける通過前行動データＤＡ１とコンテンツ情報ＤＣと危険度ＤＡとの間に潜在する傾向のもとで、未知の通過前行動データＤＡ１に対して統計的に妥当なコンテンツ情報ＤＣを出力する。これにより、通過前行動データＤＡ１に応じて、コンテンツ情報ＤＣの画像データを変更したり、画像データに基づく画像Ｇを表示する位置、タイミング、輝度および色合い等の表示方法を変更したりすることができ、画像データに基づく画像Ｇを表示しない時よりも危険度が小さくなる。また、表示するコンテンツ情報を決定する際には、一定の割合でランダムな内容を表示することを行ってもよい。これにより、通過前行動データＤＡ１とコンテンツ情報ＤＣと危険度ＤＡとの間の関係をデータセットＤＳＴに追加することができ、設置場所または期間に応じて必要なデータを集めて、最適なコンテンツを選択することができる。

【0062】

以上のように、表示システム１は、表示装置１０と第１撮像装置２１と記憶装置３２と処理装置３３とを備える。表示装置１０は、コンテンツ情報ＤＣに基づく画像Ｇを表示位置ＰＤに表示する。記憶装置３２は、第１撮像装置２１で撮像した表示位置ＰＤを通過する前の人Ｈの行動の特徴量を示す通過前行動データＤＡ１と、画像Ｇに用いるコンテンツ情報ＤＣと、表示位置ＰＤを通過した人Ｈの危険度と、の対応関係を機械学習した学習済モデルＰＪを記憶する。処理装置３３は、第１撮像装置２１を用いて表示位置ＰＤを通過する前の第１の人Ｈを撮像した撮像結果に基づいて、表示位置ＰＤを通過する前の第１の人Ｈの行動の特徴量を示す第１の通過前行動データＤＡ１を取得することと、第１の通過前行動データＤＡ１と学習済モデルＰＪとを用いて、第１の通過前行動データＤＡ１に対応する第１の画像Ｇに用いる第１のコンテンツ情報ＤＣを決定することと、を行う。

【0063】

以上の表示システム１では、通過前行動データＤＡ１と学習済モデルＰＪとを用いて、表示位置ＰＤを通過した人Ｈの危険度が最少となるように、表示装置１０により表示される画像Ｇに用いるコンテンツ情報ＤＣが決定される。このため、画像Ｇによる効果的な注意喚起を行うことができる。ここで、学習済モデルＰＪでは、表示位置ＰＤを通過した人Ｈの危険度が最少となるように当該対応関係が機械学習される。このため、このような学習済モデルＰＪを用いることにより、表示位置ＰＤを通過した人Ｈの危険度が最少となるような効果的なコンテンツ情報ＤＣを決定することができる。この結果、表示位置ＰＤを通過する人Ｈに対して適切な注意喚起を行うことができる。

【0064】

前述のように、処理装置３３は、第１の通過前行動データＤＡ１と学習済モデルＰＪとを用いて、表示位置ＰＤと、第１の画像Ｇの表示タイミングと、第１の画像Ｇの表示色または輝度と、のうちの少なくとも１つを決定することを行う。例えば、コンテンツ情報ＤＣは、画像データだけでなく、表示位置ＰＤと、画像Ｇの表示タイミングと、画像Ｇの表示色または輝度と、のうちの少なくとも１つに関する設定情報を含んでおり、処理装置３３は、通過前行動データＤＡ１と学習済モデルＰＪとを用いて、コンテンツ情報ＤＣを決定することにより、表示位置ＰＤと、画像Ｇの表示タイミングと、画像Ｇの表示色または輝度と、のうちの少なくとも１つを決定する。このため、同一絵柄を示すコンテンツ情報ＤＣを用いても、コンテンツ情報ＤＣに基づく画像Ｇによる警告または注意等の効果を調整することができる。

【0065】

また、前述のように、表示システム１は、第２撮像装置２２をさらに備える。そして、処理装置３３は、第２撮像装置２２を用いて表示位置ＰＤを通過した第１の人Ｈを撮像した撮像結果に基づいて、表示位置ＰＤを通過した第１の人Ｈの行動の特徴量を示す第１の通過後行動データＤＡ２に基づいた第１の危険度ＤＡを取得することと、第１の危険度ＤＡを用いて、学習済モデルＰＪを再学習することと、を行う。このため、コンテンツ情報ＤＣに基づく画像Ｇによる警告または注意等の効果が人の慣れ等により低下することを低減することができる。

【0066】

さらに、前述のように、処理装置３３は、表示装置１０を用いて、第１のコンテンツ情報ＤＣに基づいて第１の画像Ｇを表示位置ＰＤに表示させる。このため、コンテンツ情報ＤＣに基づく画像Ｇによる警告または注意等の効果が得られる。

【0067】

また、前述のように、第１の画像Ｇに用いる第１のコンテンツ情報ＤＣは、画像データを含む。このため、表示装置１０を用いて、コンテンツ情報ＤＣに基づく画像Ｇを表示位置ＰＤに表示させることができる。

【0068】

さらに、前述のように、表示システム１は、表示位置ＰＤの周囲に放音する放音装置１２をさらに備える。また、第１の画像Ｇに用いる第１のコンテンツ情報ＤＣは、音声データを含む。そのうえで、処理装置３３は、放音装置１２を用いて、第１のコンテンツ情報ＤＣに基づく音を放音させることを行う。このため、コンテンツ情報ＤＣに基づく音による警告または注意等の効果が得られる。したがって、例えば、表示位置ＰＤを通過する前の人Ｈの目線が表示位置ＰＤから外れている場合でも、警告または注意等の効果が得られる。

【0069】

また、前述のように、第１の危険度ＤＡは、表示位置ＰＤを通過した後の人Ｈのあらかじめ設定された特徴量と、第１の通過後行動データＤＡ２の示す特徴量と、の差分で示される。このため、通過後行動データＤＡ２を用いて、学習済モデルＰＪを作成したり再学習したりすることができる。

【0070】

さらに、前述のように、第１の通過前行動データＤＡ１は、第１領域ＲＥ１を通行する第１の人Ｈの行動の特徴量を示す。一方、第１の通過後行動データＤＡ２は、第１領域ＲＥ１とは異なる第２領域ＲＥ２を通行する第１の人Ｈの行動の特徴量を示す。ここで、表示位置ＰＤは、第１領域ＲＥ１と第２領域ＲＥ２との間に位置する。したがって、第１領域ＲＥ１の人Ｈを撮像した結果に基づいて、通過前行動データＤＡ１を取得することができる。また、第２領域ＲＥ２の人Ｈを撮像した結果に基づいて、通過後行動データＤＡ２を取得することができる。

【0071】

また、前述のように、表示システム１は、プログラムＰＧ１を用いる。プログラムＰＧは、第１のコンテンツ情報ＤＣに基づく第１の画像Ｇの表示位置ＰＤを通過する前の第１の人Ｈを撮像した撮像結果に基づいて、表示位置ＰＤを通過する前の第１の人Ｈの行動の特徴量を示す第１の通過前行動データＤＡ１を取得することと、表示位置ＰＤを通過する前の人Ｈの行動の特徴量と、画像Ｇに用いるコンテンツ情報ＤＣと、表示位置ＰＤを通過した後の人Ｈの危険度と、の対応関係を機械学習した学習済モデルＰＪおよび第１の通過前行動データＤＡ１を用いて、第１の画像Ｇに用いる第１のコンテンツ情報ＤＣを決定することと、を制御装置３０に実行させる。制御装置３０は、「コンピューター」の一例である。このため、前述のような表示システム１を実現することができる。

【0072】

２．第２実施形態
以下、第２実施形態について説明する。第１実施形態と共通する構成には、当該構成と同じ符号を付し、その説明を省略する。なお、以下では、前述の第１実施形態と相違する事項を中心に説明し、同様の事項については、その説明を省略する。

【0073】

図６は、第２実施形態に係る表示システム１Ａの概略図である。表示システム１Ａは、設置場所が異なるとともに画像Ｇの表示内容が異なること以外は、前述の第１実施形態の表示システム１と同様に構成される。ここで、表示システム１Ａは、第１撮像装置２１および第２撮像装置２２に代えて撮像装置２０を備えるとともに、制御装置３０に代えて制御装置３０Ａを備えること以外は、前述の第１実施形態の表示システム１と同様に構成される。撮像装置２０は、第１領域ＲＥ１および第２領域ＲＥ２の両方を撮像すること以外は、第１撮像装置２１および第２撮像装置２２と同様に構成される。

【0074】

図６に示す例では、通路ＡＬ１および通路ＡＬ２が十字路をなしており、表示システム１Ａが、通路ＡＬ１を通行する人Ｈ＿ａに対して画像Ｇにより注意喚起を行う。ここで、表示位置ＰＤは、当該十字路の交差点付近に位置する。また、第１領域ＲＥ１は、表示位置ＰＤに対して人Ｈの進行方向での後方で通路ＡＬ１に設定される。第２領域ＲＥ２は、表示位置ＰＤに対して人Ｈの進行方向での前方で通路ＡＬ１に設定される。

【0075】

なお、通路ＡＬ１、ＡＬ２の幅または形状等の態様は、図６に示す例に限定されず、任意である。また、表示位置ＰＤは、図６に示す例に限定されず、例えば、通路ＡＬ１に設けられるスクリーン上の位置、通路ＡＬ１の左右の壁面上または天井の面上の位置でもよい。

【0076】

制御装置３０Ａは、第１領域ＲＥ１での人Ｈ＿ａが通路ＡＬ２の人Ｈ＿ｂにぶつかりそうな場合、画像Ｇを表示装置１０に表示させる。これにより、人Ｈ＿ａに対して注意喚起が行われる。図６では、人Ｈ＿ａに対して人Ｈ＿ｂとの衝突注意を促す旨を表示する画像Ｇが例示される。

【0077】

以上の第２実施形態によっても、表示位置ＰＤを通過する人Ｈ＿ａに対して適切な注意喚起を行うことができる。

【0078】

３．第３実施形態
以下、第３実施形態について説明する。第１実施形態と共通する構成には、当該構成と同じ符号を付し、その説明を省略する。なお、以下では、前述の第１実施形態と相違する事項を中心に説明し、同様の事項については、その説明を省略する。

【0079】

図７は、第３実施形態に係る表示システム１Ｂの概略図である。表示システム１Ｂは、設置場所が異なるとともに画像Ｇの表示内容が異なること以外は、前述の第１実施形態の表示システム１と同様に構成される。ここで、表示システム１Ｂは、第１撮像装置２１および第２撮像装置２２に代えて撮像装置２０を備えるとともに、制御装置３０に代えて制御装置３０Ｂを備えること以外は、前述の第１実施形態の表示システム１と同様に構成される。撮像装置２０は、第１領域ＲＥ１および第２領域ＲＥ２の両方を撮像すること以外は、第１撮像装置２１および第２撮像装置２２と同様に構成される。

【0080】

図７に示す例では、表示システム１Ｂが、曲がり角を有する通路ＡＬ３を通行する人Ｈ＿ａに対して画像Ｇにより注意喚起を行う。ここで、表示位置ＰＤは、当該曲がり角付近に位置する。また、第１領域ＲＥ１は、表示位置ＰＤに対して人Ｈの進行方向での後方で通路ＡＬ３に設定される。第２領域ＲＥ２は、表示位置ＰＤに対して人Ｈの進行方向での前方で通路ＡＬ３に設定される。

【0081】

なお、通路ＡＬ３の幅または形状等の態様は、図７に示す例に限定されず、任意である。また、表示位置ＰＤは、図７に示す例に限定されず、例えば、通路ＡＬ３に設けられるスクリーン上の位置、通路ＡＬ３の左右の壁面上または天井の面上の位置でもよい。

【0082】

制御装置３０Ｂは、第１領域ＲＥ１での人Ｈ＿ａが通路ＡＬ２の人Ｈ＿ｂにぶつかりそうな場合、画像Ｇを表示装置１０に表示させる。これにより、人Ｈ＿ａに対して注意喚起が行われる。図７では、通路ＡＬ３のセンターラインを越えて曲がり角を曲がろうとする人Ｈ＿ａに対して人Ｈ＿ｂとの右側通行を促す旨を表示する画像Ｇが例示される。

【0083】

以上の第３実施形態によっても、表示位置ＰＤを通過する人Ｈ＿ａに対して適切な注意喚起を行うことができる。

【0084】

４．第４実施形態
以下、第４実施形態について説明する。第１実施形態と共通する構成には、当該構成と同じ符号を付し、その説明を省略する。なお、以下では、前述の第１実施形態と相違する事項を中心に説明し、同様の事項については、その説明を省略する。

【0085】

図８は、第４実施形態に係る表示システム１Ｃのブロック図である。表示システム１Ｃは、プログラムＰＧ１に代えてプログラムＰＧ２を用いるとともに学習済モデルＰＪに代えて学習済モデルＰＪを用いること以外は、前述の第１実施形態の表示システム１と同様に構成される。

【0086】

処理装置３３は、プログラムＰＧ２を実行することにより、取得部３３ｅ、決定部３３ｆ、表示制御部３３ｃおよび再学習部３３ｇとして機能する。

【0087】

取得部３３ｅは、第１撮像データＤＳ１または第２撮像データＤＳ２に基づいて環境データＤＥを取得する機能を追加したこと以外は、第１実施形態の取得部３３ａと同様に機能する。環境データＤＥは、段差ＳＴの存在、床面ＦＦの濡れまたは凍結、暗闇等の表示位置ＰＤの周辺環境に関するデータである。取得部３３ｅは、第１撮像データＤＳ１または第２撮像データＤＳ２から物体認識する画像処理により、人Ｈの危険に関わる情報を環境データＤＥとして抽出する。

【0088】

決定部３３ｆは、通過前行動データＤＡ１および学習済モデルＰＪＣを用いて、表示位置ＰＤを通過した人Ｈの危険度が最少となるように、コンテンツ情報ＤＣを決定する。

【0089】

学習済モデルＰＪＣは、表示位置ＰＤを通過した人Ｈの危険度が最少となるように、表示位置ＰＤを通過する前の人Ｈの行動の特徴量と、画像Ｇに用いるコンテンツ情報ＤＣと、環境データＤＥと、の対応関係を機械学習した推定モデルである。

【0090】

表示制御部３３ｃは、決定部３３ｆで決定したコンテンツ情報ＤＣに基づく画像Ｇを表示装置１０に表示させる。

【0091】

再学習部３３ｇは、通過後行動データＤＡ２を用いて学習済モデルＰＪＣの再学習を行う。

【0092】

図９は、第４実施形態に係る表示システム１Ｃの動作を示すフローチャートである。表示システム１Ｃの動作は、ステップＳ１３を追加するとともに、ステップＳ４、Ｓ９、Ｓ１１に代えてステップＳ４Ａ、Ｓ９Ａ、Ｓ１１Ａを含むこと以外は、第１実施形態の表示システム１の動作と同様である。

【0093】

表示システム１Ｃでは、図９に示すように、ステップＳ３の後、ステップＳ１３において、取得部３３ｅが環境データＤＥを取得する。次に、ステップＳ４Ａにおいて、決定部３３ｆは、通過前行動データＤＡ１および学習済モデルＰＪＣを用いて、コンテンツ情報ＤＣを決定する。その後、ステップＳ５において、表示制御部３３ｃがコンテンツ情報ＤＣに基づく画像Ｇを表示装置１０に表示させる。

【0094】

また、ステップＳ８の後、ステップＳ９Ａにおいて、再学習部３３ｇは、通過後行動データＤＡ２をこれに対応する環境データＤＥ、通過前行動データＤＡ１およびコンテンツ情報ＤＣと対応付けて、履歴データとして記憶装置３２に記憶する。

【0095】

さらに、ステップＳ１０において再学習が必要であると判断した場合（ステップＳ１０：ＹＥＳ）、ステップＳ１１Ａにおいて、再学習部３３ｇは、学習済モデルＰＪＣの再学習を行った後、ステップＳ１２に移行する。一方、再学習が必要でないと判断した場合（ステップＳ１０：ＮＯ）、再学習部３３ｇは、学習済モデルＰＪＣの再学習を行わずに、ステップＳ１２に移行する。

【0096】

図１０は、第４実施形態における学習済モデルＰＪＣを説明するための図である。学習済モデルＰＪＣは、通過前行動データＤＡ１および環境データＤＥの入力に応じてコンテンツ情報ＤＣを出力する推定モデルである。具体的には、学習済モデルＰＪＣは、通過前行動データＤＡ１および環境データＤＥからコンテンツ情報ＤＣを生成する演算を処理装置３３に実行させるプログラムと、当該演算に適用される複数の係数との組合せで実現される。当該プログラムは、例えば人工知能ソフトウェアを構成するプログラムモジュールである。当該複数の係数は、例えば、後述のデータセットＤＳＴ１を利用した深層学習により設定される。図１０では、学習済モデルＰＪＣが入力層、出力層および中間層を有する深層ニューラルネットワーク等の数理モデルである場合が好適例として示される。なお、中間層の層数は、図１０に示す例に限定されず、任意である。

【0097】

図１１は、第４実施形態における学習済モデルＰＪＣを生成する機械学習を説明するための図である。学習済モデルＰＪＣの生成は、図１１に示すように、学習処理部１００Ｃを有する学習装置での機械学習により行われる。この機械学習には、複数のデータセットＤＳＴ１が使用される。各データセットＤＳＴ１は、通過前行動データＤＡ１と、これに対応する危険度ＤＡ、環境データＤＥおよびコンテンツ情報ＤＣと、を含む。データセットＤＳＴ１における危険度ＤＡ、環境データＤＥ、通過前行動データＤＡ１およびコンテンツ情報ＤＣは、前述の制御装置３０Ｃとは別途の装置を用いて生成したものであってもよい。

【0098】

データセットＤＳＴ１には、表示位置ＰＤを通過した後の人Ｈの危険度ＤＡと、その際に表示したコンテンツ情報ＤＣと、これらに対応する環境データＤＥおよび通過前行動データＤＡ１との組が用いられる。

【0099】

学習処理部１００Ｃは、複数のデータセットＤＳＴ１を利用した教師あり機械学習により学習済モデルＰＪＣの複数の係数を設定する。具体的には、学習処理部１００Ｃは、データセットＤＳＴ１における環境データＤＥおよび通過前行動データＤＡ１の入力に対して暫定的な学習済モデルＰＪＣが出力するコンテンツ情報ＤＣ１と、データセットＤＳＴ１に含まれる危険度ＤＡが最小であるコンテンツ情報ＤＣとの相違が低減されるように、学習済モデルＰＪＣの複数の係数を更新する。例えば、学習処理部１００Ｃは、コンテンツ情報ＤＣとコンテンツ情報ＤＣ１との相違を表す評価関数が最小化されるように、誤差逆伝播法により学習済モデルＰＪＣの複数の係数を反復的に更新する。以上の機械学習後の学習済モデルＰＪＣは、複数のデータセットＤＳＴ１における環境データＤＥと通過前行動データＤＡ１とコンテンツ情報ＤＣとの間に潜在する傾向のもとで、未知の環境データＤＥおよび通過前行動データＤＡ１に対して統計的に妥当なコンテンツ情報ＤＣを出力する。これにより、環境データＤＥおよび通過前行動データＤＡ１に応じて、コンテンツ情報ＤＣの画像データを変更したり、画像データに基づく画像Ｇを表示する位置、タイミング、輝度および色合い等の表示方法を変更したりすることができる。コンテンツ情報ＤＣの出力に用いる環境データＤＥは、第1の環境データに相当する。

【0100】

以上の第４実施形態によっても、表示位置ＰＤを通過する人Ｈに対して適切な注意喚起を行うことができる。本実施形態では、前述のように、学習済モデルＰＪＣの対応関係は、通過前行動データＤＡ１と、コンテンツ情報ＤＣと、危険度ＤＡと、表示位置ＰＤの周辺環境に関する環境データＤＥと、の関係を含む。処理装置３３は、表示位置ＰＤを第１の人Ｈが通過した時の第１の環境データＤＥを取得することと、第１の環境データＤＥと第１の通過前行動データＤＡ１と学習済モデルＰＪＣとを用いて、第１のコンテンツ情報ＤＣを決定することと、を行う。このため、周辺環境の変化に応じて適切なコンテンツ情報ＤＣを決定することができる。

【0101】

また、前述のように、表示位置ＰＤの周辺環境は、表示位置ＰＤを含む領域における人Ｈの危険に関する環境である。このため、当該領域を撮像した結果に基づいて、表示位置ＰＤの周辺環境に関する情報を取得することができる。

【0102】

５．第５実施形態
以下、第５実施形態について説明する。第１実施形態と共通する構成には、当該構成と同じ符号を付し、その説明を省略する。なお、以下では、前述の第１実施形態と相違する事項を中心に説明し、同様の事項については、その説明を省略する。

【0103】

図１２は、通過前行動データＤＡ１に基づく行動ごとのスコアの一例を示す図である。表示位置ＰＤの通過前に発生し得る行動を分類し、各行動に該当する通過前行動データＤＡ１と、対応する通過後行動データＤＡ２およびコンテンツ情報ＤＣとを用いて、学習済モデルＰＪを作成してもよい。これにより、図１２中の行動ａ、ｂ、ｃ、ｄ、ｅそれぞれに対して最適な学習済モデルＰＪを用いて警告表示を示すコンテンツ情報ＤＣを選択することができる。

【0104】

図１２中の行動ａ、ｂ、ｃ、ｄ、ｅ、…は、例えば、「速度違反」、「つまづき」、「スマホ歩き」、「ポケットハンド」、「衝突注意」等である。なお、分類する行動の数は、図１２に示す例に限定されず、任意である。

【0105】

６．変形例
以上に例示した各形態は多様に変形され得る。前述の各形態に適用され得る具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。

【0106】

６－１．変形例１
前述の各形態では、制御装置３０が表示装置１０は別体である構成が例示されるが、当該構成に限定されず、制御装置３０が表示装置１０の一部であってもよい。

【0107】

６－２．変形例２
前述の各形態では、表示装置に投射装置が用いられる構成が例示されるが、当該構成に限定されず、表示装置は、光学装置として、例えば、液晶表示パネル、有機ＥＬ（electro- luminescence）パネル等を表示面とする装置を用いてもよい。

【0108】

７．本開示のまとめ
以下、本開示のまとめを付記する。

【0109】

（付記１）コンテンツ情報に基づく画像を表示位置に表示する表示装置と、第１撮像装置と、前記第１撮像装置で撮像した前記表示位置を通過する前の人の行動の特徴量を示す通過前行動データと、前記画像に用いるコンテンツ情報と、前記表示位置を通過した前記人の危険度と、の対応関係を機械学習した学習済モデルを記憶する記憶装置と、処理装置と、を備え、前記処理装置は、前記第１撮像装置を用いて前記表示位置を通過する前の第１の人を撮像した撮像結果に基づいて、前記表示位置を通過する前の前記第１の人の行動の特徴量を示す第１の通過前行動データを取得することと、前記第１の通過前行動データと前記学習済モデルとを用いて、前記第１の通過前行動データに対応する第１の画像に用いる第１のコンテンツ情報を決定することと、を行う、表示システム。これにより、通過前行動データと学習済モデルとを用いて、表示位置を通過した人の危険度が最少となるように、表示装置により表示される画像に用いるコンテンツ情報が決定されるので、画像による効果的な注意喚起を行うことができる。このため、学習済モデルを用いることにより、第１の通過前行動データから、対応する第１のコンテンツ情報を決定することができる。この結果、表示位置を通過する人に対して適切な注意喚起を行うことができる。

【0110】

（付記２）前記対応関係は、前記通過前行動データと、前記コンテンツ情報と、前記危険度と、前記表示位置の周辺環境に関する環境データと、の関係を含み、前記処理装置は、前記表示位置を前記第１の人が通過した時の第１の環境データを取得することと、前記第１の環境データと前記第１の通過前行動データと前記学習済モデルとを用いて、前記第１のコンテンツ情報を決定することと、を行う、付記１の表示システム。これにより、周辺環境の変化に応じて適切なコンテンツ情報を決定することができる。

【0111】

（付記３）前記処理装置は、前記第１の通過前行動データと、前記学習済モデルと、を用いて、前記表示位置と、前記第１の画像の表示タイミングと、前記第１の画像の表示色または輝度と、のうちの少なくとも１つを決定することと、を行う、付記１または２の表示システム。これにより、同一絵柄を示すコンテンツ情報を用いても、コンテンツ情報に基づく画像による警告または注意等の効果を調整することができる。

【0112】

（付記４）第２撮像装置をさらに備え、前記処理装置は、前記第２撮像装置を用いて前記表示位置を通過した前記第１の人を撮像した撮像結果に基づいて、前記表示位置を通過した前記第１の人の行動の特徴量を示す第１の通過後行動データに基づいた第１の危険度取得することと、前記第１の危険度を用いて、前記学習済モデルを再学習することと、を行う、付記１から３のいずれか１つの表示システム。これにより、コンテンツ情報に基づく画像による警告または注意等の効果が人の慣れ等により低下することを低減することができる。

【0113】

（付記５）前記処理装置は、前記表示装置を用いて、前記第１のコンテンツ情報に基づいて前記第１の画像を前記表示位置に表示させる、付記１から４のいずれか１つの表示システム。これにより、コンテンツ情報に基づく画像による警告または注意等の効果が得られる。

【0114】

（付記６）前記第１の画像に用いる前記第１のコンテンツ情報は、画像データを含む、付記１から５のいずれか１つの表示システム。これにより、表示装置を用いて、コンテンツ情報に基づく画像を表示位置に表示させることができる。

【0115】

（付記７）前記表示位置の周囲に放音する放音装置をさらに備え、前記第１の画像に用いる前記第１のコンテンツ情報は、音声データを含み、前記処理装置は、前記放音装置を用いて、前記第１のコンテンツ情報に基づく音を放音させる、ことを行う、付記６の表示システム。これにより、コンテンツ情報に基づく音による警告または注意等の効果が得られる。したがって、例えば、表示位置を通過する前の人の目線が表示位置から外れている場合でも、警告または注意等の効果が得られる。

【0116】

（付記８）前記第１の危険度は、前記表示位置を通過した後の前記人のあらかじめ設定された特徴量と、前記第１の通過後行動データの示す特徴量と、の差分で示される、付記４の表示システム。これにより、通過後行動データを用いて、学習済モデルを作成したり再学習したりすることができる。

【0117】

（付記９）前記第１の通過前行動データは、第１領域を通行する前記第１の人の行動の特徴量を示し、前記第１の通過後行動データは、前記第１領域とは異なる第２領域を通行する前記第１の人の行動の特徴量を示し、前記表示位置は、前記第１領域と前記第２領域との間に位置する、付記４または８の表示システム。これにより、第１領域の人を撮像した結果に基づいて、通過前行動データを取得することができる。同様に、第２領域の人を撮像した結果に基づいて、通過後行動データを取得することができる。

【0118】

（付記１０）前記表示位置の周辺環境は、前記表示位置を含む領域における前記人の危険に関する環境である、付記２の表示システム。これにより、当該領域を撮像した結果に基づいて、表示位置の周辺環境に関する情報を取得することができる。

【0119】

（付記１１）コンテンツ情報に基づく画像を表示位置に表示する表示装置であって、前記表示位置を通過する前の人の行動の特徴量を示す通過前行動データと、前記画像に用いるコンテンツ情報と、前記表示位置を通過した人の危険度と、の対応関係を機械学習した学習済モデルを記憶する記憶装置と、処理装置と、を備え、前記処理装置は、前記表示位置を通過する前の第１の人を撮像した撮像結果に基づいて、前記表示位置を通過する前の前記第１の人の行動の特徴量を示す第１の通過前行動データを取得することと、前記第１の通過前行動データと前記学習済モデルとを用いて、前記第１の通過前行動データに対応する第１の画像に用いる第１のコンテンツ情報を決定することと、を行う、表示装置。これにより、表示位置を通過する人に対して適切な注意喚起を行うことができる。

【0120】

（付記１２）第１のコンテンツ情報に基づく第１の画像の表示位置を通過する前の第１の人を撮像した撮像結果に基づいて、前記表示位置を通過する前の前記第１の人の行動の特徴量を示す第１の通過前行動データを取得することと、前記表示位置を通過する前の人の行動の特徴量と、画像に用いるコンテンツ情報と、前記表示位置を通過した後の前記人の危険度と、の対応関係を機械学習した学習済モデルおよび前記第１の通過前行動データを用いて、前記第１の画像に用いる第１のコンテンツ情報を決定することと、をコンピューターに実行させる、プログラム。これにより、表示位置を通過する人に対して適切な注意喚起を行うことができる。

【符号の説明】

【0121】

１…表示システム、１Ａ…表示システム、１Ｂ…表示システム、１Ｃ…表示システム、１０…表示装置、１１…投射装置、１２…放音装置、２０…撮像装置、２１…第１撮像装置、２２…第２撮像装置、３０…制御装置（コンピューター）、３０Ａ…制御装置（コンピューター）、３０Ｂ…制御装置（コンピューター）、３０Ｃ…制御装置（コンピューター）、３１…通信装置、３２…記憶装置、３３…処理装置、３３ａ…取得部、３３ｂ…決定部、３３ｃ…表示制御部、３３ｄ…再学習部、３３ｅ…取得部、３３ｆ…決定部、３３ｇ…再学習部、１００…学習処理部、１００Ｃ…学習処理部、ＡＬ…通路、ＡＬ１…通路、ＡＬ２…通路、ＡＬ３…通路、ＤＡ…危険度、ＤＡ１…通過前行動データ、ＤＡ２…通過後行動データ、ＤＣ…コンテンツ情報、ＤＣ１…コンテンツ情報、ＤＥ…環境データ、ＤＲ…進行方向、ＤＳ１…第１撮像データ、ＤＳ２…第２撮像データ、ＤＳＴ…データセット、ＤＳＴ１…データセット、ＦＦ…床面、Ｇ…画像、Ｈ…人、Ｈ＿ａ…人、Ｈ＿ｂ…人、ＰＤ…表示位置、ＰＧ…プログラム、ＰＧ１…プログラム、ＰＧ２…プログラム、ＰＪ…学習済モデル、ＰＪＣ…学習済モデル、ＲＥ１…第１領域、ＲＥ２…第２領域、Ｓ１…ステップ、Ｓ１０…ステップ、Ｓ１１…ステップ、Ｓ１１Ａ…ステップ、Ｓ１２…ステップ、Ｓ１３…ステップ、Ｓ２…ステップ、Ｓ３…ステップ、Ｓ４…ステップ、Ｓ４Ａ…ステップ、Ｓ５…ステップ、Ｓ６…ステップ、Ｓ７…ステップ、Ｓ８…ステップ、Ｓ９…ステップ、Ｓ９Ａ…ステップ、ＳＴ…段差。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】