特許 7705674 イメージセンサデータ制御システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-07-02

(45)【発行日】2025-07-10

(54)【発明の名称】イメージセンサデータ制御システム

(51)【国際特許分類】

   G01S 17/89 20200101AFI20250703BHJP

   G06T 7/215 20170101ALI20250703BHJP

   G08G 1/16 20060101ALI20250703BHJP

   H04N 23/60 20230101ALI20250703BHJP

   H04N 23/54 20230101ALI20250703BHJP

   G16Y 10/40 20200101ALI20250703BHJP

   G16Y 20/20 20200101ALI20250703BHJP

   G16Y 40/10 20200101ALI20250703BHJP

   G01S 17/931 20200101ALI20250703BHJP

【ＦＩ】

G01S17/89

G06T7/215

G08G1/16 A

H04N23/60 300

H04N23/54

G16Y10/40

G16Y20/20

G16Y40/10

G01S17/931

【請求項の数】 13

(21)【出願番号】P 2023554465

(86)(22)【出願日】2022-10-06

(86)【国際出願番号】 JP2022037427

(87)【国際公開番号】W WO2023063208

(87)【国際公開日】2023-04-20

【審査請求日】2024-04-18

(31)【優先権主張番号】P 2021169461

(32)【優先日】2021-10-15

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】599016431

【氏名又は名称】学校法人 芝浦工業大学

(74)【代理人】

【識別番号】100114764

【弁理士】

【氏名又は名称】小林 正樹

(72)【発明者】

【氏名】新熊 亮一

【審査官】梶田 真也

(56)【参考文献】

【文献】特開２０２１－０４３４７５（ＪＰ，Ａ）

【文献】国際公開第２０２０／１９５９６５（ＷＯ，Ａ１）

【文献】特開２０１１－１１８５９１（ＪＰ，Ａ）

【文献】中国特許出願公開第１１１９６５６２７（ＣＮ，Ａ）

【文献】中国特許出願公開第１１２９８６９８２（ＣＮ，Ａ）

【文献】米国特許出願公開第２０１９／０３１１５４６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ １／７２ － １／８２

Ｇ０１Ｓ ３／８０ － ３／８６

Ｇ０１Ｓ ５／１８ － ５／３０

Ｇ０１Ｓ ７／５２ － ７／６４

Ｇ０１Ｓ １３／００ － １７／９５

Ｇ０１Ｂ １１／００ － １１／３０

Ｇ０１Ｃ ３／００ － ３／３２

Ｇ０５Ｄ １／０２

Ｇ０８Ｇ １／１６

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／２１５

(57)【特許請求の範囲】

【請求項1】

一ないし複数の端末装置とサーバ装置が通信可能な状態で接続され、各端末装置で取得されたイメージセンサデータをサーバ装置で制御するイメージセンサデータ制御システムであって、
前記端末装置は、
実空間における点群からなるイメージセンサデータを取得するセンサ部と、
前記センサ部により取得された実空間における点群からなるイメージセンサデータを前記サーバ装置に送信する端末側送信部とを備え、
前記サーバ装置は、
前記各端末装置から送信されてきた実空間における点群からなるイメージセンサデータを受信する受信部と、
前記受信部により受信された実空間における点群からなるイメージセンサデータを集約する集約部と、
前記集約部により集約された実空間における点群からなるイメージセンサデータに基づいて、実空間における各空間領域の静的物体または動的物体の移動に関する特徴を示すものとして、実空間における各空間領域のイメージセンサデータの移動特徴指標を学習する学習部と、
前記学習部により学習された実空間における各空間領域のイメージセンサデータの移動特徴指標に関する情報を記憶する移動特徴指標情報記憶部と、
前記移動特徴指標情報記憶部に記憶されている実空間における各空間領域のイメージセンサデータの移動特徴指標に関する情報に基づいて、実空間における各空間領域のイメージセンサデータの優先度を設定する制御部とを備え、
前記移動特徴指標は点群の個数、点群の密度また点群の分布のいずれかの時間的変化であることを特徴とするイメージセンサデータ制御システム。

【請求項2】

前記端末装置は、同一の実空間に対して異なる方向から点群からなるイメージセンサデータを取得するように複数設けられ、
前記集約部は、各端末装置で取得された点群からなるイメージセンサデータを時系列的に合成することにより集約する請求項１に記載のイメージセンサデータ制御システム。

【請求項3】

前記学習部は、実空間における各空間領域のイメージセンサデータの点群の個数を移動特徴指標とする請求項１に記載のイメージセンサデータ制御システム。

【請求項4】

前記学習部は、実空間における各空間領域のイメージセンサデータの移動特徴指標を学習することにより、静的物体または動的物体に係る空間領域を判断する請求項１に記載のイメージセンサデータ制御システム。

【請求項5】

前記学習部は、実空間における所定の空間領域のイメージセンサデータの移動特徴指標の偏差が所定の範囲内である場合、静的物体に係る空間領域であると判断する一方、該所定の空間領域のイメージセンサデータの移動特徴指標の偏差が所定の範囲外にある場合、動的物体に係る空間領域であると判断する請求項４に記載のイメージセンサデータ制御システム。

【請求項6】

前記学習部は、実空間における所定の空間領域のイメージセンサデータの移動特徴指標の平均が所定の閾値を超える場合、当該空間領域において移動する動的物体が多いと判断する一方、イメージセンサデータの移動特徴指標の平均が所定の閾値以下の場合、当該空間領域において移動する動的物体が少ないと判断する請求項４に記載のイメージセンサデータ制御システム。

【請求項7】

前記制御部は、前記学習部により動的物体であると判断された空間領域のイメージセンサデータの優先度を高く設定する一方、前記学習部により静的物体であると判断された空間領域のイメージセンサデータの優先度を低く設定する請求項４または請求項５に記載のイメージセンサデータ制御システム。

【請求項8】

前記制御部は、前記学習部により移動する動的物体が多いと判断された空間領域のイメージセンサデータの優先度を高く設定する一方、前記学習部により移動する動的物体が少ないと判断された空間領域のイメージセンサデータの優先度を低く設定する請求項６に記載のイメージセンサデータ制御システム。

【請求項9】

前記制御部は、端末装置においてリアルタイムに取得されたイメージセンサデータについて、実空間における所定の空間領域のイメージセンサデータの移動特徴指標の所定時間内の変化速度が所定の閾値を超える場合、当該空間領域における動的物体の移動速度が速いと判断して、当該空間領域のイメージセンサデータの優先度を高く設定する一方、実空間における所定の空間領域のメージセンサデータの移動特徴指標の所定時間内の変化速度が所定の閾値以下の場合、当該空間領域における動的物体の移動速度が遅いと判断して、当該空間領域のイメージセンサデータの優先度を低く設定する請求項１に記載のイメージセンサデータ制御システム。

【請求項10】

前記集約部の出力側にサーバ側送信部が設けられ、
前記制御部は、前記端末装置においてリアルタイムに取得されたイメージセンサデータについて、優先度が高く設定された空間領域のイメージセンサデータを所定の移動体に優先的に送信するように前記サーバ側送信部を制御する請求項１に記載のイメージセンサデータ制御システム。

【請求項11】

前記制御部は、前記端末装置においてリアルタイムに取得されたイメージセンサデータについて、優先度が高く設定された空間領域のイメージセンサデータを前記サーバ装置に優先的に送信するように前記端末側送信部を制御する請求項１に記載のイメージセンサデータ制御システム。

【請求項12】

前記端末側送信部は、前記サーバ装置から各空間領域のイメージセンサデータの優先度をあらかじめ受信し、優先度が高く設定された空間領域のイメージセンサデータを前記サーバ装置に優先的に送信する請求項１に記載のイメージセンサデータ制御システム。

【請求項13】

前記実空間は、空間領域として格子状に並んだ複数のセルから構成され、
前記制御部は、各セルごとにイメージセンサデータの優先度を設定する請求項１に記載のイメージセンサデータ制御システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、実空間において取得したイメージセンサデータを制御するイメージセンサデータ制御システムに関するものである。

【背景技術】

【0002】

近年、ＩＣＴ（Information and Communication Technology）を活用して生活の質の向上や新たな価値創出による経済循環を促進して、社会課題の解決を図るための都市づくりとしてスマートシティが注目されている。このスマートシティとは単なるデジタル化ではなく、携帯電話からスマートフォンへの革新と同様のトランスフォーメーションともいえる。そして、スマートシティを支えるサイバーフィジカルシステムとして、ロボット、ドローン、自動運転車といったリアルなマシンが３Ｄイメージなどの仮想情報を活用してタスクをこなす。

【0003】

例えば、本出願人の芝浦工業大学においても、スマートシティの一環として「ネクストユース型未来都市」の構想を進めている。この構想では、住民やワーカー、来街者などの多様のステークホルダーが存在し、成長途上にある東京都の豊洲エリアにおいて、先進的技術と都市ＯＳの活用により様々な分野でサービスソリューションを提供し、個々人の充足と満足度向上、街の課題を解決するとともに、多様な施設・個人が共存・共栄することを目指している。

【0004】

このようなスマートシティの実現に際して、上述の３Ｄイメージなどの仮想情報を取得するものとして、自動運転車には既にカメラ、ミリ波レーダーが搭載されている。例えば、カメラは、白線や標識、他の車両、周囲の環境など、運転に必要な情報のほとんどを検出することが可能であるが、対象物に対する距離を検出することは難しい。また、ミリ波レーダーは、ミリ波と呼ばれる周波数３０ＧＨｚ～３００ＧＨｚの電波を発射し、その反射を測定する装置であり、周囲を走る他の車両との相対速度を簡単に検出できるが、方位分解能があまり高くなく、樹木などの電波の反射率が低い物体を検出することが難しい。

【0005】

そこで、最近では、カメラやミリ波レーダーと並んで、ＬｉＤＡＲ（light detection and ranging）と呼ばれるセンサが注目されている。このＬｉＤＡＲは、レーザー光を使
ったセンサの一種であり、電波に比べて放射束の密度が高く、短い波長のレーザー光を対象物に走査しながら照射することにより、対象物までの距離のほか、対象物の位置や形状まで正確に検知する。このため、壁などの静的物体や自動車などの動的物体が存在する実空間においてＬｉＤＡＲを用いると、実空間の３次元情報をレーザー光の点群からなるイメージセンサデータとして取得することができる。しかも、自動運転者に搭載されたＬｉＤＡＲに加え、道路側の信号機や街頭などの周辺環境に配置されたＬｉＤＡＲを用いると、これらが自動運転車にイメージセンサデータを送信することにより道路の死角の状況や危険性を知らせることができる（例えば、非特許文献１参照）。

【先行技術文献】

【非特許文献】

【0006】

【文献】Shackleton, J., VanVoorst, B., & Hesch, J. (2010, August). Tracking people with a 360-degree lidar. In 2010 7th IEEE International Conference on Advanced Video and Signal Based Surveillance (pp. 420-426). IEEE.

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、ＬｉＤＡＲにより実空間の３次元情報をリアルタイムに取得すると、膨大なデータ容量となるため、壁、地面、天井といった時間的変化のない静的物体のイメージセンサデータを削減して、自動車や歩行者といった時間的変化のある動的物体のイメージセンサデータを優先することが、データの制御において有効である。特に複数のＬｉＤＡＲを用いることにより、死角をなくしてデータの点密度を増加させることで実空間の３次元情報の品質を向上することができるが、データ容量がさらに増えるため、ますます静的な物体の情報を削減することが有効になる。このような問題は、ＬｉＤＡＲに限定されるものではなく、点群からなるイメージセンサデータを取得する他のセンサにも同様に生じるものである。

【0008】

本出願人は、上述の技術的背景に鑑みてなされたものであり、実空間における静的物体と動的物体に係る各空間領域のイメージセンサデータの優先度を制御することができるイメージセンサデータ制御システムを提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明は、上記目的を達成するために、一ないし複数の端末装置とサーバ装置が通信可能な状態で接続され、各端末装置で取得されたイメージセンサデータをサーバ装置で制御するイメージセンサデータ制御システムであって、前記端末装置は、実空間における点群からなるイメージセンサデータを取得するセンサ部と、前記センサ部により取得された実空間における点群からなるイメージセンサデータを前記サーバ装置に送信する端末側送信部とを備え、前記サーバ装置は、前記各端末装置から送信されてきた実空間における点群からなるイメージセンサデータを受信する受信部と、前記受信部により受信された実空間における点群からなるイメージセンサデータを集約する集約部と、前記集約部により集約された実空間における点群からなるイメージセンサデータに基づいて、実空間における各空間領域の静的物体または動的物体の移動に関する特徴を示すものとして、実空間における各空間領域のイメージセンサデータの移動特徴指標を学習する学習部と、前記学習部により学習された実空間における各空間領域のイメージセンサデータの移動特徴指標に関する情報を記憶する移動特徴指標情報記憶部と、前記移動特徴指標情報記憶部に記憶されている実空間における各空間領域のイメージセンサデータの移動特徴指標に関する情報に基づいて、実空間における各空間領域のイメージセンサデータの優先度を設定する制御部とを備えることを特徴とする。

【0010】

また、前記端末装置は、同一の実空間に対して異なる方向から点群からなるイメージセンサデータを取得するように複数設けられ、前記集約部は、各端末装置で取得された点群からなるイメージセンサデータを時系列的に合成することにより集約してもよい。

【0011】

また、前記学習部は、実空間における各空間領域のイメージセンサデータの点群の個数を移動特徴指標としてもよい。

【0012】

また、前記学習部は、実空間における各空間領域のイメージセンサデータの移動特徴指標の時間的変化を学習することにより、静的物体または動的物体に係る空間領域を判断してもよい。

【0013】

また、前記学習部は、実空間における所定の空間領域のイメージセンサデータの移動特徴指標の偏差が所定の範囲内である場合、静的物体に係る空間領域であると判断する一方、該所定の空間領域のイメージセンサデータの移動特徴指標の偏差が所定の範囲外にある場合、動的物体に係る空間領域であると判断してもよい。

【0014】

また、前記学習部は、実空間における所定の空間領域のイメージセンサデータの移動特徴指標の平均が所定の閾値を超える場合、当該空間領域において移動する動的物体が多いと判断する一方、イメージセンサデータの移動特徴指標の平均が所定の閾値以下の場合、当該空間領域において移動する動的物体が少ないと判断してもよい。

【0015】

また、前記制御部は、前記学習部により動的物体であると判断された空間領域のイメージセンサデータの優先度を高く設定する一方、前記学習部により静的物体であると判断された空間領域のイメージセンサデータの優先度を低く設定してもよい。

【0016】

また、前記制御部は、前記学習部により移動する動的物体が多いと判断された空間領域のイメージセンサデータの優先度を高く設定する一方、前記学習部により移動する動的物体が少ないと判断された空間領域のイメージセンサデータの優先度を低く設定してもよい。

【0017】

また、前記制御部は、端末装置においてリアルタイムに取得されたイメージセンサデータについて、実空間における所定の空間領域のイメージセンサデータの移動特徴指標の所定時間内の変化速度が所定の閾値を超える場合、当該空間領域における動的物体の移動速度が速いと判断して、当該空間領域のイメージセンサデータの優先度を高く設定する一方、実空間における所定の空間領域のメージセンサデータの移動特徴指標の所定時間内の変化速度が所定の閾値以下の場合、当該空間領域における動的物体の移動速度が遅いと判断して、当該空間領域のイメージセンサデータの優先度を低く設定してもよい。

【0018】

また、前記集約部の出力側にサーバ側送信部が設けられ、前記制御部は、前記端末装置においてリアルタイムに取得されたイメージセンサデータについて、優先度が高く設定された空間領域のイメージセンサデータを所定の移動体に優先的に送信するように前記サーバ側送信部を制御してもよい。

【0019】

また、前記制御部は、前記端末装置においてリアルタイムに取得された所定時間内のイメージセンサデータについて、優先度が高く設定された空間領域のイメージセンサデータを所定の前記サーバ装置に優先的に送信するように前記端末側送信部を制御してもよい。

【0020】

また、前記端末側送信部は、前記サーバ装置から各空間領域のイメージセンサデータの優先度をあらかじめ受信し、優先度が高く設定された空間領域のイメージセンサデータを前記サーバ装置に優先的に送信してもよい。

【0021】

また、前記実空間は、空間領域として格子状に並んだ複数のセルから構成され、前記制御部は、各セルごとにイメージセンサデータの優先度を設定してもよい。

【発明の効果】

【0022】

本発明によれば、実空間において取得した点群からなるイメージセンサデータの移動特徴指標を学習することによって、実空間における静的物体または動的物体に係る各空間領域のイメージセンサデータの優先度を設定することができる。このため、イメージセンサデータの優先度が高く設定された空間領域（主として動的物体に係る空間領域）については、リアルタイムのイメージセンサデータを移動体等に優先的に送信する一方、イメージセンサデータの優先度が低く設定された空間領域（主として静的物体に係る空間領域）については、リアルタイムのイメージセンサデータの移動体に送信しないか、あるいは遅れて送信することができる。よって、実空間における各空間領域のイメージセンサデータの優先度に応じて、端末装置においてリアルタイムに取得したイメージセンサデータを各空間領域ごとに移動体等に送信することができ、移動体等に道路の死角の状況や危険性を迅速に知らせることが可能となる。

【図面の簡単な説明】

【0023】

【図1】本システムの実施形態に係るイメージセンサデータ制御システムの構成を示すブロック図である。

【図2】図１のサーバ装置の構成を示すブロック図である。

【図3】仮想の３次元の実空間を示す図である。

【図4】ＬｉＤＡＲ（ａ）によるイメージセンサデータの一例を示す図である。

【図5】ＬｉＤＡＲ（ｂ）によるイメージセンサデータの一例を示す図である。

【図6】ＬｉＤＡＲ（ａ）によるイメージセンサデータとＬｉＤＡＲ（ｂ）によるイメージセンサデータを合成した一例を示す図である。

【図7】ＬｉＤＡＲ（ａ）によるイメージセンサデータの点群の個数の時間的変化を示すグラフである。

【図8】ＬｉＤＡＲ（ａ）によるイメージセンサデータとＬｉＤＡＲ（ｂ）によるイメージセンサデータを合成した点群の個数の時間的変化を示すグラフである。

【図9】本システムによるイメージセンサデータの学習時の流れを示すフローチャートである。

【図10】本システムによるイメージセンサデータの優先度設定時の流れを示すフローチャートである。

【図11】本発明の実施例１に係る仮想の実空間を示すである。

【図12】本発明の実施例２に係る仮想の実空間を示すである。

【図13】本発明の実施例３に係る仮想の実空間を示すである。

【図14】本発明の実施例３に係る仮想の実空間における各空間領域のイメージセンサデータの移動特徴指標の傾向を示す表である。

【発明を実施するための形態】

【0024】

次に、本発明の実施形態に係るイメージセンサデータ制御システム（以下、本システムという）について図１～図１０を参照しつつ説明する。

【0025】

［全体構成］
本システムは、図１に示すように、複数の端末装置１と、各端末装置１と所定の通信路を介して接続されたサーバ装置２とを備え、各端末装置１で取得された実空間におけるイメージセンサデータをサーバ装置２で制御し、実空間の各空間領域におけるリアルタイムのイメージセンサデータを移動体３（例えば、自動運転車等）にネットワーク等を介して送信するものとなされている。

【0026】

なお、実空間とは、道路、街頭、建物、屋内、河川、山岳など、社会生活あるいは環境に関する実在する主に３次元の空間をいう。また、実空間における空間領域とは、実空間を立方体などの任意の形状で複数に分割した領域のことをいう。

【0027】

［端末装置１の構成］
前記端末装置１は、道路の信号機、街頭、防犯カメラ装置や交通カメラ装置などに設置され、図１に示すように、実空間における点群からなるイメージセンサデータを取得するセンサ部１１と、センサ部１１により取得された実空間における点群からなるイメージセンサデータをサーバ装置２に送信する端末側送信部１２とを備える。

【0028】

前記センサ部１１は、いわゆるＬｉＤＡＲ（light detection and ranging）と呼ばれ
るセンサである。このＬｉＤＡＲは、レーザー光を使ったセンサの一種であり、電波に比べて放射束の密度が高く、短い波長のレーザー光を対象物に走査しながら照射することにより、実空間における点群からなるイメージセンサデータを取得し、対象物までの距離のほか、対象物の位置や形状まで正確に検知する。

【0029】

このＬｉＤＡＲとしては、複数のレーザー光を発光する発光器を回転させることにより３６０度の全方位のイメージセンサデータを取得する方式や、レーザー光を所定の光照射角度の範囲内でそのまま照射してイメージセンサデータを取得する方式などが挙げられる。また、レーザー光を発光する発光器の個数が多いほどイメージセンサデータの精度が高くなるが、それだけ高額になるため、発光器の個数が少ない安価なＬｉＤＡＲが用いられてもよい。

【0030】

ここでＬｉＤＡＲによって実空間における点群からなるイメージセンサデータを取得する例について説明すると、図３に示すように、四方を壁に囲まれるとともに、所定の机、椅子、本棚が各箇所に配置され、中央に手を振る人が配置された某部屋の内部を３次元の実空間として、図３の左側中央の壁にＬｉＤＡＲ（ａ）を設置し、図３の右下側の壁にＬｉＤＡＲ（ｂ）を設置する。そして、ＬｉＤＡＲ（ａ）から部屋の内部に対して所定の照射角度でレーザー光を走査しながら照射すると、ＬｉＤＡＲ（ａ）は図４に示すような点群からなるイメージセンサデータを取得して、中央に人を認識するとともに、周りの壁、机、椅子、本棚も認識するほか、右側に人の影も認識し得る。一方、ＬｉＤＡＲ（ｂ）から部屋の内部に対して所定の照射角度でレーザー光を走査しながら照射すると、ＬｉＤＡＲ（ｂ）は図５に示すような点群からなるイメージセンサデータを取得して、右側中央に人を認識するとともに、周りの壁、机、椅子、本棚も認識するほか、中央には人の影も認識し得る。このように人の影ができるのは、照射するレーザー光の指向性が高いことにより、人に照射されたレーザー光が人の後側の壁まで到達しないためである。

【0031】

このような３次元の実空間において、壁、机、椅子、本棚のように移動しない又はほとんど移動しないものが存在する空間領域は静的物体に係る空間領域となる一方、手を振る人のように移動するものが存在する空間領域は動的物体に係る空間領域となる。そして、実空間におけるイメージセンサデータにおいて、後述するように、静的物体に係る空間領域のイメージセンサデータは優先度が低くなる一方、動的物体に係る空間領域のイメージセンサデータは優先度が高くなるため、実空間において静的物体に係る空間領域と動的物体に係る空間領域を区別して判断することは重要である。

【0032】

なお、一つのＬｉＤＡＲによりイメージセンサデータを取得した場合、上述のように動的物体の影が生じてしまい、当該影が生じている空間領域は空白となって、静的物体に係る空間領域と動的物体に係る空間領域を区別して判断することが難しい場合がある。そこで、例えばＬｉＤＡＲ（ａ）による図４に示す点群からなるイメージセンサデータと、ＬｉＤＡＲ（ｂ）による図５に示す点群からなるイメージセンサデータを合成することにより、図６に示すような点群からなるイメージセンサデータを得ると、動的物体の影の影響を低減させることができる。このため、端末装置１は、同一の実空間に対して異なる方向から点群からなるイメージセンサデータを取得するように複数設けられるのが好ましい。

【0033】

なお、本実施形態では、センサ部１１としてＬｉＤＡＲを用いるものとしたが、点群からなるイメージセンサデータを取得し得るものであれば、その他のセンサであってもよい。

【0034】

［サーバ装置２の構成］
前記サーバ装置２は、端末装置１側の近い場所に配置され、図２に示すように、各端末装置１から送信されてきた実空間における点群からなるイメージセンサデータを受信する受信部２１と、実空間における点群からなるイメージセンサデータを集約する集約部２２と、実空間における各空間領域のイメージセンサデータの移動特徴指標を学習する学習部２３と、実空間における各空間領域のイメージセンサデータの移動特徴指標に関する情報を記憶する移動特徴指標情報記憶部２４と、実空間における各空間領域のイメージセンサデータの優先度を制御する制御部２５と、実空間における優先度の高い空間領域のイメージセンサデータを移動体３に送信するサーバ側送信部２６とを備える。なお、本実施形態では、実空間における各空間領域のイメージセンサデータの点群の個数を移動特徴指標として説明する。

【0035】

前記集約部２２は、前記受信部２１により受信された実空間における点群からなるイメージセンサデータを集約するものであり、本実施形態では各端末装置１から送信されてきた実空間における点群からなるイメージセンサデータを時系列的に合成することにより集約する。

【0036】

具体的に説明すると、図７は、図３に示す３次元の実空間における２つの空間領域（壁／人）について、ＬｉＤＡＲ（ａ）により取得されたイメージセンサデータの点群の個数（移動特徴指標）を縦軸とし、時間（撮影フレーム数）を横軸としたイメージセンサデータの点群の個数（移動特徴指標）の時間的変化を示すグラフである。このうち上側のグラフは、イメージセンサデータの個数が時間的にほとんど変化していないことから、静的物体に係る空間領域であると判断することができる。一方、下側のグラフは、イメージセンサデータの個数が時間的に多少変化していることから、動的物体に係る空間領域と判断することができる。

【0037】

なお、静的物体に係る空間領域のイメージセンサデータの点群の個数と、動的物体に係る空間領域のイメージセンサデータの点群の個数との時間的変化を比較すると、フレーム番号が５００～１８００付近の範囲において点群の個数に差が生じているが、その点群の個数の差が比較的小さいために、静的物体に係る空間領域と動的物体に係る空間領域を区別しにくい場合がある。

【0038】

これに対して、図８に示すように、２つのＬｉＤＡＲ（ａ）（ｂ）により取得されたイメージセンサデータの点群の個数を時系列的に合成した場合、静的物体（壁（×２））に係る空間領域のイメージセンサデータの点群の個数は時間的にさほど変化していないのに対して、動的物体（人（×２））に係る空間領域のイメージセンサデータの個数は時間的に大きく変化することから、静的物体に係る空間領域と動的物体に係る空間領域の点群の個数に時間的に大きな差が生じるため、静的物体に係る空間領域と動的物体に係る空間領域を明確に区別し易くなる。このため、集約部２２は、各端末装置１において取得した実空間における点群からなるイメージセンサデータを時系列的に合成することにより集約するのが好ましい。

【0039】

なお、前記集約部２２は、前記受信部２１により受信された実空間における点群からなるイメージセンサデータを集約する際、イメージセンサデータの点群の平滑化処理を行ってもよい。

【0040】

前記学習部２３は、前記集約部２２により集約された実空間における点群のイメージセンサデータに基づいて、実空間における各空間領域の静的物体または動的物体の移動に関する特徴を示すものとして、実空間における各空間領域のイメージセンサデータの点群の個数（移動特徴指標）の時間的変化を学習する。

【0041】

具体的に説明すると、上述のように動的物体に係る空間領域のイメージセンサデータの点群の個数は時間的に大きく変化する一方、静的物体に係る空間領域のイメージセンサデータの点群の個数は時間的にあまり変化しないため、学習部２３は実空間における各空間領域ごとにイメージセンサデータの点群の個数の時間的変化を機械学習（例えば、Random
Forest、XGBoost）を用いながら大量に学習することにより、各空間領域が静的物体に係る空間領域であるのか、あるいは動的物体に係る空間領域であるかを判断する。

【0042】

この際、前記学習部２３は、実空間における所定の空間領域のイメージセンサデータの点群の個数の偏差（例えば、図８の静的物体（壁）の空間領域のイメージセンサデータの最高値Ｐ１と最低値Ｐ２の差）が所定の範囲内にある場合、静的物体に係る空間領域であると判断する一方、該所定の空間領域のイメージセンサデータの移動特徴指標の偏差（例えば、図８の動的物体物体（人）の空間領域のイメージセンサデータの最高値Ｐ３と最低値Ｐ４の差）が所定の範囲外にある場合、動的物体に係る空間領域であると判断してもよい。

【0043】

また、前記学習部２３は、実空間における所定の空間領域のイメージセンサデータの点群の個数の時間的な平均を算出して、イメージセンサデータの点群の個数の時間的な平均が所定の閾値を超える場合、当該空間領域において移動する動的物体が多いと判断する一方、イメージセンサデータの点群の個数の時間的な平均が所定の閾値以下の場合、当該空間領域において移動する動的物体が少ないと判断してもよい。

【0044】

また、前記学習部２３は、実空間における各空間領域のイメージセンサデータの移動特徴指標の偏差および平均を組み合わることによって、静的物体または動的物体に係る空間領域を判断してもよい。

【0045】

前記移動特徴指標情報記憶部２４は、前記学習部２３により学習された実空間における各空間領域のイメージセンサデータの点群の個数（移動特徴指標）に関する情報を記憶する。このとき各空間領域のイメージセンサデータの点群の個数（移動特徴指標）に関する情報としては、イメージセンサデータの点群の個数そのもののほか、上述のように動的物体または静的物体に係る空間領域の判断に関する情報や、空間領域において移動する動的物体の多少に関する情報なども含まれる。

【0046】

前記制御部２５は、前記移動特徴指標情報記憶部２４に記憶されている実空間における各空間領域のイメージセンサデータの点群の個数（移動特徴指標）に関する情報に基づいて、実空間における各空間領域のイメージセンサデータの優先度を設定する。

【0047】

具体的に説明すると、前記制御部２５は、学習部２３によりイメージセンサデータの点群の個数の時間的変化が小さいことにより静的物体に係る空間領域であると判断された空間領域のイメージセンサデータの優先度を低く設定する一方、学習部２３によりイメージセンサデータの点群の個数の時間的変化が大きいことにより動的物体に係る空間領域と判断された空間領域のイメージセンサデータの優先度を高く設定する。

【0048】

また、前記制御部２５は、学習部２３により動的物体に係る空間領域と学習された空間領域のうち、さらに移動する動的物体が多いと学習された空間領域のイメージセンサデータの優先度をさらに高く設定する一方、移動する動的物体が少ないと学習された空間領域のイメージセンサデータの優先度を些か低く設定してもよい。

【0049】

また、前記制御部２５は、端末装置１においてリアルタイムに取得された所定時間内のイメージセンサデータについて、実空間における所定の空間領域（特に動的物体に係る空間領域）のイメージセンサデータの点群の個数の所定時間内の変化速度が所定の閾値を超える場合、当該空間領域における動的物体の移動速度が速いと判断して、当該空間領域のイメージセンサデータの優先度を高く設定する一方、イメージセンサデータの点群の個数の所定時間内の変化速度が所定の閾値以下の場合、当該空間領域における動的物体の移動速度が遅いと判断して、当該空間領域のイメージセンサデータの優先度を低く設定してもよい。

【0050】

而して、前記集約部２２がリアルタイムに所定時間内のイメージセンサデータを集約した際、前記制御部２５は、イメージセンサデータの優先度が高く設定された空間領域（主として動的物体に係る空間領域）については、リアルタイムのイメージセンサデータを移動体３に優先的に送信するようにサーバ側送信部２６を制御する一方、イメージセンサデータの優先度が低く設定された空間領域（主として静的物体に係る空間領域）については、リアルタイムのイメージセンサデータの移動体３に送信しないか、あるいは遅れて送信するようにサーバ側送信部２６を制御する。このように実空間における各空間領域ごとにイメージセンサデータの優先度を設定すれば、優先度が高く設定された空間領域（特に動的物体に係る空間領域）のリアルタイムのイメージセンサデータを移動体３に優先的に送信することができる。

【0051】

［本システムによるイメージセンサデータの学習時の流れ］
まず、本システムにより実空間における各空間領域のイメージセンサデータの移動特徴指標に関して学習する時の流れについて、図９を参照しつつ説明する。なお、以下の説明において、「ステップ」を「Ｓ」と略記することとする。

【0052】

まず、各端末装置１において、前記センサ部１１が実空間に対してレーザー光を走査しながら照射することにより、実空間における点群からなるイメージセンサデータを取得する（Ｓ１）。

【0053】

そして、前記端末側送信部１２が、センサ部１１により取得された実空間における点群からなるイメージセンサデータをサーバ装置２に送信する（Ｓ２）。

【0054】

次に、サーバ装置２において、前記受信部２１が、各端末装置１から送信されてきた実空間における点群からなるイメージセンサデータを受信する（Ｓ３）。

【0055】

そして、前記集約部２２が、受信部２１により受信された実空間における点群からなるイメージセンサデータを集約する（Ｓ４）。本実施形態では、各端末装置１から送信されてきた実空間における点群からなるイメージセンサデータを時系列的に合成することにより集約する。

【0056】

そして、前記学習部２３が、前記集約部２２により集約された実空間における点群のイメージセンサデータに基づいて、実空間における静的物体または動的物体に係る複数の空間領域のイメージセンサデータの点群の個数（移動特徴指標）の時間的変化を学習する（Ｓ５）。

【0057】

そして、前記移動特徴指標記憶部２４が、前記学習部２３により学習された実空間における各空間領域のイメージセンサデータの点群の個数（移動特徴指標）に関する情報を記憶する（Ｓ６）。

【0058】

而して、本システムにおいて、上記Ｓ１～Ｓ６の処理を繰り返すことにより、実空間における各空間領域のイメージセンサデータの点群の個数（移動特徴指標）の時間的変化が大量に学習されるため、実空間における各空間領域のイメージセンサデータの点群の個数（移動特徴指標）に関する情報を移動特徴指標情報記憶部２４に蓄積することができる。

【0059】

［本システムによるイメージセンサデータの送信時の流れ］
次に、本システムより実空間における各空間領域のイメージセンサデータの所定の移動体に送信するときの流れについて、図１０を参照しつつ説明する。

【0060】

まず、各端末装置１において、前記センサ部１１が実空間に対してレーザー光を走査しながら照射することにより、実空間におけるリアルタイムの点群からなるイメージセンサデータを取得する（Ｓ１１）。

【0061】

そして、前記端末側送信部１２が、センサ部１１により取得された実空間におけるリアルタイムの点群からなるイメージセンサデータをサーバ装置２に送信する（Ｓ１２）。

【0062】

次に、サーバ装置２において、前記受信部２１が、各端末装置１から送信されてきた実空間におけるリアルタイムの点群からなるイメージセンサデータを受信する（Ｓ１３）。

【0063】

そして、前記集約部２２が、受信部２１により受信された実空間におけるリアルタイムの点群からなるイメージセンサデータを集約する（Ｓ１４）。

【0064】

そして、前記制御部２５が、前記移動特徴指標情報記憶部２４に記憶されている実空間における各空間領域のイメージセンサデータの点群の個数（移動特徴指標）に関する情報に基づいて、実空間における各空間領域のイメージセンサデータの優先度を設定する（Ｓ１５）。なお、前記制御部は、上述の学習時等において実空間における各空間領域のイメージセンサデータの優先度をあらかじめ設定してもよい。

【0065】

そして、前記制御部２５が、イメージセンサデータの優先度が高く設定された空間領域（主として動的物体に係る空間領域）については、リアルタイムのイメージセンサデータを移動体３に優先的に送信するようにサーバ側送信部２６を制御する一方、イメージセンサデータの優先度が低く設定された空間領域（主として静的物体に係る空間領域）については、リアルタイムのイメージセンサデータの移動体３に送信しないか、あるいは遅れて送信するようにサーバ側送信部２６を制御する（Ｓ１６）。

【0066】

而して、実空間における各空間領域のイメージセンサデータの優先度に応じて、端末装置１においてリアルタイムに取得したイメージセンサデータを各空間領域ごとに移動体３等に送信することができ、移動体３等に道路の死角の状況や危険性を迅速に知らせることが可能となる。

【0067】

なお、本実施形態では、実空間における空間領域のイメージセンサデータの移動特徴指標として点群の個数を用いたが、点群の密度や分布など、点群に関するその他の指標を用いてもよい。

【0068】

また、制御部２５は、イメージセンサデータの優先度が高く設定された空間領域（主として動的物体に係る空間領域）については、リアルタイムのイメージセンサデータを移動体３に優先的に送信するようにサーバ装置２のサーバ側送信部２６を制御する一方、イメージセンサデータの優先度が低く設定された空間領域（主として静的物体に係る空間領域）については、リアルタイムのイメージセンサデータの移動体３に送信しないか、あるいは遅れて送信するようにサーバ装置２のサーバ側送信部２６を制御するものとしたが、これに限定されるものではない。例えば、制御部２５は、イメージセンサデータの優先度が高く設定された空間領域（主として動的物体に係る空間領域）については、リアルタイムのイメージセンサデータをサーバ装置２に送信するように端末装置１の端末側送信部１２を制御する一方、イメージセンサデータの優先度が低く設定された空間領域（主として静的物体に係る空間領域）については、リアルタイムのイメージセンサデータをサーバ装置２に送信しないか、あるいは遅れて送信するように端末装置１の端末側送信部１２を制御するものとしてもよい。

【0069】

また、前記端末側送信部１２は、サーバ装置２から各空間領域のイメージセンサデータの優先度をあらかじめ受信し、イメージセンサデータの優先度が高く設定された空間領域（主として動的物体に係る空間領域）については、イメージセンサデータをサーバ装置２に送信する一方、イメージセンサデータの優先度が低く設定された空間領域（主として静的物体に係る空間領域）については、イメージセンサデータをサーバ装置２に送信しないか、あるいは遅れて送信してもよい。

【0070】

また、端末装置１は、センサ１１と端末側送信部１２を一体的に構成したが、別体に構成してもよい。

【実施例】

【0071】

次に本発明の実施例１～３について図１１～図１３を参照しつつ説明する。

【0072】

各実施例１～３のいずれについても、端末装置１は、仮想の実空間の所定個所に複数設置され、同一の仮想の実空間における点群からなるイメージセンサデータを複数の方向から取得するようになっている。

【0073】

また、サーバ装置２は、各端末装置１から送信されてきた仮想の実空間全体における点群からなるイメージセンサデータを集約したあと、各空間領域（本実施形態では２次元で格子状に並んだ複数のセル）の点群の個数（移動特徴指標）の時間的変化を学習してデータベース的に記憶するとともに、各空間領域のイメージセンサデータの点群の個数（移動特徴指標）に関する情報に基づいて、実空間における各空間領域のイメージセンサデータの優先度を設定する。なお、本実施形態では２次元のセルで説明するが、３次元のセルなどであってもよい。

【0074】

＜実施例１＞
実施例１では、本システムによって移動体３（自動運転車）の出会い頭の事故を回避する場合について説明する。

【0075】

図１１に示すように、縦が４個のセル、横が５個のセルからなる仮想の実空間において、左側の太枠で囲まれた２個のセルが移動体３が右側に向けて走行する動的物体に係る空間領域Ａ、右側の太枠で囲まれた２個のセルは移動体３が左側に向けて走行する動的物体に係る空間領域Ｂ、左下および右下の着色した各４個のセルは壁などの静的物体に係る空間領域Ｃとして、空間領域Ｃの間を走行する移動体３に対して仮想の実空間におけるリアルタイムのイメージセンサデータを送信する場合を想定する。なお、各空間領域Ａ，Ｂ、Ｃにおけるイメージセンサデータの点群の個数（移動特徴指標）の平均、変化速度は図１１の各表に示すとおりである。

【0076】

この仮想の実空間において、図１１に示すように、空間領域Ｃのイメージセンサデータの点群の個数（移動特徴指標）の偏差「１０」が小さいため、サーバ装置２において該空間領域Ｃは静的物体に係る空間領域であると判断する。また、空間領域Ａ、Ｂのイメージセンサデータの点群の個数（移動特徴指標）の偏差「１００」「５００」が高いため、サーバ装置２において該空間領域Ａ，Ｂは動的物体に係る空間領域であると判断する。このため、サーバ装置２は、動的物体に係る空間領域Ａ、Ｂのイメージセンサデータの優先度を高く設定する一方、静的物体に係る空間領域Ｃのイメージセンサデータの優先度を低く設定するため、優先度が高く設定された空間領域Ａ、Ｂのリアルタイムのイメージセンサデータを移動体３に優先的に送信することができる。

【0077】

また、動的物体に係る空間領域と判断した空間領域Ａと空間領域Ｂについて、イメージセンサデータの点群の個数（移動特徴指標）の時間的な平均を比較すると、空間領域Ａの方が空間領域Ｂよりもイメージセンサデータの点群の個数の時間的な平均が大きいため（Ａ：５００＞Ｂ：１００）、空間領域Ａの方が空間領域Ｂよりも移動体３の交通量が多いと判断する。このため、サーバ装置２は、通常時では動的物体に係る空間領域Ａ、Ｂのうち、特に空間領域Ａのイメージセンサデータの優先度を高く設定して、特に優先度が高く設定された空間領域Ａのリアルタイムのイメージセンサデータを移動体３に優先的に送信することができる。

【0078】

また、動的物体に係る空間領域と判断した空間領域Ａと空間領域Ｂについて、リアルタイムのイメージセンサデータの点群の個数（移動特徴指標）の変化速度を比較すると、空間領域Ｂの方が空間領域Ａよりもイメージセンサデータの点群の個数の変化速度が大きいため（Ｂ：５００＞Ａ：５０）、空間領域Ｂの方が空間領域Ａよりも現在走行している移動体３の移動速度が速いと判断することができる。このため、サーバ装置２は、緊急時では動的物体に係る空間領域Ａ、Ｂのうち、特に空間領域Ｂのイメージセンサデータの優先度を高く設定して、特に優先度が高く設定された空間領域Ｂのリアルタイムのイメージセンサデータを移動体３に優先的に送信することができる。

【0079】

而して、端末装置１で取得した実空間における各空間領域のイメージセンサデータの優先度に応じて、主として優先度が高く設定された空間領域Ａ、Ｂのリアルタイムのイメージセンサデータを移動体３に優先的に送信することによって、空間領域Ｃの間を走行する移動体３と空間領域Ａ、Ｂを走行する移動体３との出会い頭の衝突を回避することが可能となる。

【0080】

＜実施例２＞
実施例２では、本システムによって移動体３（自動運転シニアカー）と駐車バイクの接触事故を回避する場合について説明する。

【0081】

図１２に示すように、縦が４個のセル、横が５個のセルからなる仮想の実空間において、右上の太枠で囲まれた４個のセルはバイクが駐車されている動的物体に係る空間領域Ａとして、仮想の実空間を移動する移動体３に対して仮想の実空間におけるリアルタイムのイメージセンサデータを送信する場合を想定する。

【0082】

本実施例では、図１２に示すように、空間領域Ａのイメージセンサデータの点群の個数（移動特徴指標）の時間的な平均「１０」が小さいため、サーバ装置２において該空間領域Ａは通常では静的物体に係る空間領域であって駐車場ではないと判断するが、空間領域Ａのイメージセンサデータの点群の個数（移動特徴指標）の偏差「１０００」と大きいため、該空間領域Ａは移動体３（バイク）が低頻度で駐車されていると判断する。このため、サーバ装置２は、空間領域Ａのイメージセンサデータの優先度を高く設定して、該空間領域Ａのリアルタイムのイメージセンサデータを移動体３に優先的に送信することができ、移動体３と駐車バイクの接触事故を回避することが可能となる。

【0083】

＜実施例３＞
実施例３では、本システムによって移動体３（施設内を掃除やパトロールを行う移動ロボット）が人や障害物を回避しながら移動する場合について説明する。

【0084】

図１３に示すように、縦が４個のセル、横が５個のセルからなる仮想の実空間において、各セルの随所に人や障害物が存在する空間領域（セル）があり、仮想の実空間を移動する移動体３に対して仮想の実空間におけるリアルタイムのイメージセンサデータを送信する場合を想定する。

【0085】

例えば、図１４に示すように、歩行者が飛び出す空間領域、車が飛び出す空間領域、駐車車両が急発進する空間領域、駐車バイクが転倒する空間領域、人混みが多い空間領域、高速車両が頻繁に通過する空間領域において、各空間領域のイメージセンサデータの点群の個数（移動特徴指標）の平均、偏差、変化速度の傾向を表示しており、サーバ装置２はこれらのイメージセンサデータの点群の個数（移動特徴指標）の傾向に基づいてイメージセンサデータの優先度を設定する。このため、サーバ装置２は、各空間領域のイメージセンサデータの優先度に応じて、優先度が高く設定された空間領域のリアルタイムのイメージセンサデータを移動体３（ロボット）に優先的に送信することができ、移動体３（ロボット）が人や障害物を避けながら掃除やパトロールを行うことが可能となる。

【0086】

なお、図１４に示すように、サーバ装置２が空間領域のイメージセンサデータの移動特徴を学習する際、空間領域の占有率の大小、空間領域におけるイメージセンサデータの移動特徴指標の周期性の有無の要素を考慮してもよい。また、サーバ装置２が空間領域のイメージセンサデータの移動特徴を学習する際、教師なしの機械学習による異常予測を行ってもよいし、あるいは教師ありの機械学習による異常予測を行ってもよい。

【0087】

以上、図面を参照して本発明の実施形態を説明したが、本発明は、図示した実施形態のものに限定されない。図示された実施形態に対して、本発明と同一の範囲内において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。

【符号の説明】

【0088】

１…端末装置
１１…センサ部
１２…端末側送信部
２…サーバ装置
２１…受信部
２２…集約部
２３…学習部
２４…移動特徴指標情報記憶部
２５…制御部
２６…サーバ側送信部
３…移動体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】