特開 2024-111470 通信システム及び通信方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024111470

(43)【公開日】2024-08-19

(54)【発明の名称】通信システム及び通信方法

(51)【国際特許分類】

   H04B 10/116 20130101AFI20240809BHJP

   H04B 10/077 20130101ALI20240809BHJP

【ＦＩ】

H04B10/116

H04B10/077

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023015992

(22)【出願日】2023-02-06

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和４年度、国立研究開発法人科学技術振興機構、戦略的創造研究推進事業（個人型研究（さきがけ））「データ量低減による持続可能なＩｏＴ」委託研究、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】504132881

【氏名又は名称】国立大学法人東京農工大学

(74)【代理人】

【識別番号】100090398

【弁理士】

【氏名又は名称】大渕 美千栄

(74)【代理人】

【識別番号】100090387

【弁理士】

【氏名又は名称】布施 行夫

(72)【発明者】

【氏名】中山 悠

(72)【発明者】

【氏名】小野寺 幸仁

【テーマコード（参考）】

5K102

【Ｆターム（参考）】

5K102AA01

5K102AH26

5K102AL23

5K102AL28

5K102KA01

5K102LA04

5K102LA11

5K102LA32

5K102LA52

5K102MA02

5K102MB13

5K102MH03

5K102MH14

5K102PB02

5K102PH31

5K102RD28

(57)【要約】

【課題】自己位置推定と通信を並行して行うことが可能な通信システム等を提供すること。
【解決手段】通信システムは、送信対象とするデータを変調して光信号を生成し、生成した光信号に基づいて光源を発光させる発光装置と、カメラと、カメラによって撮影された撮影画像から光源に対応する領域を抽出し、抽出した領域の情報を復調してデータを取得するデータ取得部と、撮影画像における光源の座標に基づいて、カメラ又は光源の位置を推定する位置推定部とを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

送信対象とするデータを変調して光信号を生成し、生成した光信号に基づいて光源を発光させる発光装置と、
カメラと、
前記カメラによって撮影された撮影画像から前記光源に対応する領域を抽出し、抽出した前記領域の情報を復調して前記データを取得するデータ取得部と、
前記撮影画像における前記光源の座標に基づいて、前記カメラ又は前記光源の位置を推定する位置推定部とを含むことを特徴とする通信システム。

【請求項2】

請求項１において、
駆動部を備えた駆動装置を更に含み、
前記カメラは前記駆動装置に備えられ、
前記駆動装置は、
前記データ取得部によって取得された前記データと、前記位置推定部によって推定された前記カメラの位置とに基づいて、前記駆動部を駆動させることを特徴とする通信システム。

【請求項3】

請求項１において、
前記発光装置は、
前記光源の位置情報を変調して前記光信号を生成し、
前記データ取得部は、
抽出した前記領域の情報を復調して前記位置情報を取得し、
前記位置推定部は、
前記データ取得部によって取得された前記位置情報と前記撮影画像における前記光源の座標とに基づいて、前記カメラの位置を推定することを特徴とする通信システム。

【請求項4】

請求項３において、
前記発光装置は複数あり、
前記データ取得部は、
複数の前記発光装置のそれぞれの前記光源に対応する領域を抽出し、抽出した前記領域の情報を復調して複数の前記発光装置のそれぞれの前記光源の前記位置情報を取得し、
前記位置推定部は、
前記データ取得部によって取得された複数の前記発光装置のそれぞれの前記光源の前記位置情報と前記撮影画像における複数の前記発光装置のそれぞれの前記光源の座標とに基づいて、前記カメラの位置を推定することを特徴とする通信システム。

【請求項5】

請求項３において、
前記位置推定部は、
前記撮影画像における前記光源の大きさに基づいて、前記光源と前記カメラとの距離を求め、前記光源と前記カメラとの距離と前記撮影画像における前記光源の座標とに基づいて、前記光源を原点とした前記カメラの座標を求め、前記光源を原点とした前記カメラの座標と前記データ取得部によって取得された前記位置情報とに基づいて、前記カメラの位置を推定することを特徴とする通信システム。

【請求項6】

請求項５において、
前記位置推定部は、
前記撮影画像における前記光源の大きさを求める際に、ブルーミング効果を除去することを特徴とする通信システム。

【請求項7】

送信対象とするデータを変調して光信号を生成し、生成した光信号に基づいて光源を発光させる発光ステップと、
カメラによって撮影された撮影画像から前記光源に対応する領域を抽出し、抽出した前記領域の情報を復調して前記データを取得するデータ取得ステップと、
前記撮影画像における前記光源の座標に基づいて、前記カメラ又は前記光源の位置を推定する位置推定ステップとを含むことを特徴とする通信方法。

【請求項8】

送信対象とするデータを変調して光信号を生成し、生成した光信号に基づいて複数の光源を発光させる発光ステップと、
カメラによって撮影された撮影画像から複数の前記光源に対応する複数の領域を抽出し、抽出した複数の前記領域の情報を復調して複数の前記データを取得するデータ取得ステップと、
前記撮影画像における複数の前記光源の座標に基づいて、前記カメラの位置を推定する位置推定ステップとを含むことを特徴とする通信方法。

【請求項9】

請求項８において、
前記カメラに備わる駆動部を駆動させて前記カメラを移動し、前記カメラによって複数の前記光源を撮影する撮影ステップを更に含むことを特徴とする通信方法。

【請求項10】

請求項７又は８において、
前記位置推定ステップでは、
前記撮影画像における前記光源の座標及び大きさに基づいて前記カメラの位置を推定し、前記撮影画像における前記光源の大きさを求める際に、ブルーミング効果を除去することを特徴とする通信方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、通信システム及び通信方法に関する。

【背景技術】

【0002】

光信号を用いる通信の中でも、光空間通信（或いは光無線通信）は光信号の伝送媒体として光ファイバではなく空間を用いるため、柔軟性に優れている。これは、電波を用いる無線通信の代替技術でもあり、周波数資源の逼迫が課題となっている昨今、ＩｏＴなどにおける活用が期待されている。従来のレーザなどを用いた光空間通信に加えて、近年ではＬＥＤを用いた可視光通信が盛んに検討されるようになった。ＬＥＤのような可視光を用いることで、低コスト化のほか、天井照明などの照明用途との複合的な利用など、柔軟な運用が可能になるメリットがある。

【0003】

可視光による光空間通信の一手法として、光カメラ通信（ＯＣＣ：Optical Camera Communication）がある。ＯＣＣとは、送信機にＬＥＤやディスプレイのような光源、受信機にカメラを用いた可視光通信のことである。送信機として３色ＬＥＤを用い、データを光信号へと変調して送信するのが、最も一般的な適用形態といえる。受信側の動作としては、カメラで撮影した動画像の中から光源の占めるピクセルを抽出し、抽出した領域のＲＧＢ値などから信号を復調する。

【0004】

ＯＣＣの適用により、スマートフォン等をはじめとしたＬＥＤライトやカメラを搭載したスマートデバイスのほか、照明やＷｅｂカメラなど既存のデバイスを用いて通信を行えるようになる。すなわち、スマートフォン等を用いた日常生活での簡易的な通信に加え、室内灯などを用いた照明機能と通信機能の両立、自動運転などをサポートするＶ２Ｘ通信など、様々な場面での応用が可能となる。

【0005】

ＯＣＣの関連技術として、Blooming effect（ブルーミング効果）と呼ばれる光の拡散による干渉を回避する手法（非特許文献１参照）がある。ＯＣＣでは、ＣＭＯＳイメージセンサを用いて光信号を受光し、画像内で光源に該当する領域の画素ごとのＲＧＢ値を用いて信号の復調を行う。このとき、複数の光源が画像上で重なっていれば光の重なり、或いは光源そのものの遮蔽により干渉が起こる。そして機種や環境によっては更に、Blooming effectと呼ばれる光の拡散現象による干渉が生じる。この課題に対して非特許文献１の技術では、カメラと物体の座標と近似的なサイズに加えて、画素数やＣＭＯＳイメージセンササイズ、画角などカメラのパラメータを考慮し、透視変換などの数学的手法により画像上での干渉条件を理論的に定式化した。更に、Blooming effectを考慮した画像上での光の減衰を表す近似式を用いて、光源間の干渉を回避することが可能である。

【0006】

また、ＯＣＣの通信レート向上技術として、ローリングシャッターを用いた手法（非特許文献２参照）がある。スマートフォンなどのカメラを含め、近年はローリングシャッターを採用したカメラデバイスが多く存在する。ローリングシャッターは、イメージセンサを構成する画素について、縦又は横方向に順番に露光及び読み取りを行う手法である。ＯＣＣに対してローリングシャッターを適用することで、グローバルシャッターを用いた場合と比較して、大幅な転送レートの向上が可能となる。

【0007】

人間の活動の支援や代替のために産業用ロボットやサービスロボットなどが注目されている。どちらのロボットも、基本的な機能として自己位置推定と通信の機能を備えることが一般的である。自己位置推定はＬｉＤＡＲなどを用いて事前にＳＬＡＭ（Simultaneous
Localization and Mapping）を行い、マッピングされた地図をもとに自己位置を推定す
る。通信に関してはＷｉ－Ｆｉ（登録商標）やモバイル回線を用いた無線通信やイーサネット（登録商標）ケーブルやＵＳＢなどを用いた有線通信があり、ロボットの制御や異常探知を行う。

【先行技術文献】

【非特許文献】

【0008】

【非特許文献1】Yukito Onodera, Hiroki Takano, Daisuke Hisano, Yu Nakayama, "Avoiding Inter-Light Sources Interference in Optical Camera Communication", IEEE Global Telecommunications Conference (GLOBECOM), Madrid, Spain, Dec. 2021.

【非特許文献2】T. Nguyen, C. H. Hong, N. T. Le, and Y. M. Jang, “Highspeed asynchronous optical camera communication using LED and rolling shutter camera,” in 2015 Seventh International Conference on Ubiquitous and Future Networks. IEEE, 2015, pp. 214-219.

【発明の概要】

【発明が解決しようとする課題】

【0009】

従来のロボットは、自己位置推定と通信にそれぞれ専用のモジュールを使用する必要がある。従来のシステム構成では、自己位置推定の高精度化や道路状況の把握にＬｉＤＡＲを、Ｗｉ－Ｆｉ（登録商標）やモバイル回線など接続する回線が増えるほど通信モジュールを増加させる必要があり、コストや故障率が増加する課題があった。また、ロボットに異常や故障があった際には、通信で伝える又は事前に備わっている光源の点灯や音で知らせるしかないという課題もあった。しかし、このような機能を統合するシステムや発明はこれまでになかった。

【0010】

本発明は、以上のような課題に鑑みてなされたものであり、その目的とするところは、自己位置推定と通信を並行して行うことが可能な通信システム等を提供することになる。

【課題を解決するための手段】

【0011】

（１）本発明は、送信対象とするデータを変調して光信号を生成し、生成した光信号に基づいて光源を発光させる発光装置と、カメラと、前記カメラによって撮影された撮影画像から前記光源に対応する領域を抽出し、抽出した前記領域の情報を復調して前記データを取得するデータ取得部と、前記撮影画像における前記光源の座標に基づいて、前記カメラ又は前記光源の位置を推定する位置推定部とを含むことを特徴とする通信システムに関する。

【0012】

また本発明は、送信対象とするデータを変調して光信号を生成し、生成した光信号に基づいて光源を発光させる発光ステップと、カメラによって撮影された撮影画像から前記光源に対応する領域を抽出し、抽出した前記領域の情報を復調して前記データを取得するデータ取得ステップと、前記撮影画像における前記光源の座標に基づいて、前記カメラ又は前記光源の位置を推定する位置推定ステップとを含むことを特徴とする通信方法に関する。

【0013】

本発明によれば、カメラの撮影画像から光源を抽出し、撮影画像内の光源の座標からカメラや光源の位置を測位するとともに、光信号として変調されたデータをＯＣＣにより受信することで、これまで別の機構で行っていた自己位置推定と通信を並行して行うことが可能となる。

【0014】

（２）また本発明に係る通信システムでは、駆動部を備えた駆動装置を更に含み、前記カメラは前記駆動装置に備えられ、前記駆動装置は、前記データ取得部によって取得された前記データと、前記位置推定部によって推定された前記カメラの位置とに基づいて、前
記駆動部を駆動させてもよい。

【0015】

また本発明に係る通信方法では、前記カメラは駆動部を備えた駆動装置に備えられ、前記データ取得部によって取得された前記データと、前記位置推定部によって推定された前記カメラの位置とに基づいて、前記駆動部を駆動させる駆動ステップを更に含んでもよい。

【0016】

（３）また本発明に係る通信システムでは、前記発光装置は、前記光源の位置情報を変調して前記光信号を生成し、前記データ取得部は、抽出した前記領域の情報を復調して前記位置情報を取得し、前記位置推定部は、前記データ取得部によって取得された前記位置情報と前記撮影画像における前記光源の座標とに基づいて、前記カメラの位置を推定してもよい。

【0017】

また本発明に係る通信方法では、前記発光ステップでは、前記光源の位置情報を変調して前記光信号を生成し、前記データ取得ステップでは、抽出した前記領域の情報を復調して前記位置情報を取得し、前記位置推定ステップでは、前記データ取得ステップによって取得された前記位置情報と前記撮影画像における前記光源の座標とに基づいて、前記カメラの位置を推定してもよい。

【0018】

（４）また本発明に係る通信システムでは、前記発光装置は複数あり、前記データ取得部は、複数の前記発光装置のそれぞれの前記光源に対応する領域を抽出し、抽出した前記領域の情報を復調して複数の前記発光装置のそれぞれの前記光源の前記位置情報を取得し、前記位置推定部は、前記データ取得部によって取得された複数の前記発光装置のそれぞれの前記光源の前記位置情報と前記撮影画像における複数の前記発光装置のそれぞれの前記光源の座標とに基づいて、前記カメラの位置を推定してもよい。

【0019】

（５）また本発明に係る通信システムでは、前記位置推定部は、前記撮影画像における前記光源の大きさに基づいて、前記光源と前記カメラとの距離を求め、前記光源と前記カメラとの距離と前記撮影画像における前記光源の座標とに基づいて、前記光源を原点とした前記カメラの座標を求め、前記光源を原点とした前記カメラの座標と前記データ取得部によって取得された前記位置情報とに基づいて、前記カメラの位置を推定してもよい。

【0020】

また本発明に係る通信方法では、前記位置推定ステップでは、前記撮影画像における前記光源の大きさに基づいて、前記光源と前記カメラとの距離を求め、前記光源と前記カメラとの距離と前記撮影画像における前記光源の座標とに基づいて、前記光源を原点とした前記カメラの座標を求め、前記光源を原点とした前記カメラの座標と前記データ取得ステップによって取得された前記位置情報とに基づいて、前記カメラの位置を推定してもよい。

【0021】

（６）また本発明に係る通信システムでは、前記位置推定部は、前記撮影画像における前記光源の大きさを求める際に、ブルーミング効果を除去してもよい。

【0022】

また本発明に係る通信方法では、前記位置推定ステップでは、前記撮影画像における前記光源の大きさを求める際に、ブルーミング効果を除去してもよい。

【0023】

（７）本発明は、送信対象とするデータを変調して光信号を生成し、生成した光信号に基づいて複数の光源を発光させる発光ステップと、カメラによって撮影された撮影画像から複数の前記光源に対応する複数の領域を抽出し、抽出した複数の前記領域の情報を復調して複数の前記データを取得するデータ取得ステップと、前記撮影画像における複数の前記光源の座標に基づいて、前記カメラの位置を推定する位置推定ステップとを含むことを
特徴とする通信方法に関する。

【0024】

（８）また本発明に係る通信方法では、前記カメラに備わる駆動部を駆動させて前記カメラを移動し、前記カメラによって複数の前記光源を撮影する撮影ステップを更に含んでもよい。

【0025】

（９）また本発明に係る通信方法では、前記位置推定ステップでは、前記撮影画像における前記光源の座標及び大きさに基づいて前記カメラの位置を推定し、前記撮影画像における前記光源の大きさを求める際に、ブルーミング効果を除去してもよい。

【図面の簡単な説明】

【0026】

【図1】第１の実施形態に係る通信システムの構成の一例を示す図。

【図2】発光装置の機能ブロック図の一例を示す図。

【図3】端末装置の機能ブロック図の一例を示す図。

【図4】端末装置のカメラで撮影した撮影画像からのデータの取得について説明するための図。

【図5】駆動装置の機能ブロック図の一例を示す図。

【図6】カメラの座標の量子化誤差を示す図。

【図7】第１の実施形態の通信システムの処理の流れを示すフローチャート。

【図8】第２の実施形態の構成例を示す図。

【図9】第３の実施形態の構成例を示す図。

【図10】第４の実施形態の構成例を示す図。

【発明を実施するための形態】

【0027】

以下、本発明の実施形態について説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

【0028】

（第１の実施形態）
図１は、第１の実施形態に係る通信システムの構成の一例を示す図である。通信システム１は、１つ又は複数の発光装置１０と、カメラ（撮影部）を備え、データ取得部及び位置推定部として機能する端末装置２０と、駆動装置３０とを含む。

【0029】

発光装置１０は、送信対象とするデータを変調して光信号を生成し、生成した光信号（発光パターン）に基づいて光源を発光させる。

【0030】

端末装置２０は、カメラによって発光装置１０を撮影し、撮影画像から光源に対応する領域の情報（発光パターン）を復調して送信対象のデータを取得する。端末装置２０は駆動装置３０に備わるものであるが、カメラは、駆動装置３０が備えるカメラであってもよいし、監視カメラ等の固定カメラや、スマートフォンなどのモバイルデバイスが備えるカメラであってもよい。また、端末装置２０は、撮影画像における光源の座標に基づいて、カメラの位置（自己位置）を推定する。また、端末装置２０は、取得したデータを、通信部を用いて他の装置に送信してもよい。

【0031】

駆動装置３０は、駆動部（アクチュエータ）を備えた装置であり、例えば、ドローンや自走ロボット、人型ロボット等の移動ロボットや自動車等の移動体であってもよいし、アーム型ロボットや産業用ロボット等の固定ロボットであってもよい。駆動装置３０は、端末装置２０で取得されたデータと推定された位置とに基づいて駆動部を駆動させる。

【0032】

図２は、発光装置１０の機能ブロック図の一例である。発光装置１０は、処理部１００
、センサ部１１０、発光部１２０、記憶部１３０を含む。

【0033】

センサ部１１０は、何らかのデータをセンシングするセンサであり、例えば人感センサや温度センサである。センサ部１１０は、複数のセンサを含んでもよい。センサ部１１０でセンシングされたデータは処理部１００に伝送される。

【0034】

発光部１２０は、光源であり、単色光源であってもよいし、多色光源であってもよい。また、発光部１２０は、単光源に限られず、複数光源を１つのアレイ光源のように扱ってもよい。例えば、ＬＥＤパネルや液晶ディスプレイ、デジタルサイネージ、天井灯や街灯などを発光部１２０として利用してもよい。

【0035】

記憶部１３０は、処理部１００の各部としてコンピュータを機能させるためのプログラムや各種データを記憶するとともに、処理部１００のワーク領域として機能し、その機能はハードディスク、実装メモリなどにより実現できる。また、記憶部１３０は、発光装置１０（光源）の位置情報（座標）を発光装置１０のＩＤに関連付けて記憶する。

【0036】

処理部１００の機能は各種プロセッサ（ＣＰＵ、ＤＳＰ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。処理部１００は、信号生成部１０１を含む。

【0037】

信号生成部１０１は、送信対象とする（端末装置２０に伝えるデータ）を符号化・変調して光信号を生成する。送信対象とするデータは、センサ部１１０でセンシングされたデータ或いは当該データに基づき生成した制御信号（駆動装置３０を駆動させるための制御信号）と、記憶部１３０に記憶された発光装置１０のＩＤ及び位置情報である。信号生成部１０１で生成された光信号は発光部１２０に伝送され、発光部１２０は光信号に基づいて発光する。データの符号化及び変調方式としては何を用いてもよい。例えば、データの変調方式として、光のＯＮ／ＯＦＦやＲＧＢの３色光源等の各光源のＯＮ／ＯＦＦを用いてビットを表現する手法を用いてもよいし、光色によってビットを表現するＣＳＫ（Color Shift Keying）等の手法を用いてもよい。また、一般的なカメラに用いられるローリングシャッター機構を応用した変調方式を用いてもよい。いずれにしても、データの送受信を行う両者（発光装置１０と端末装置２０）の間で合意がとれていればデータの符号化及び変調方式はどのようなものが用いられてもよい。また、光空間変調や時空間多重を行うことも可能である。また、複数光源を１つの光源として扱う場合、複数光源の全てを同じ色で発光させてもよいし、複数光源の一部をデータの送信用として用いてもよい。後者の場合、複数光源の一部を検出用のマーカとして用いて、他の光源をデータの送信用として用いてもよい。また、ある時間に、センサ部１１０でセンシングされたデータや制御信号を送信し、他の時間に、発光装置１０のＩＤと位置情報を送信するなど、時間ごとに送信するデータが変わるようにしてもよい。

【0038】

図３は、端末装置２０の機能ブロック図の一例である。端末装置２０は、処理部２００、カメラ２１０、通信部２２０、記憶部２３０を含む。

【0039】

通信部２２０は、駆動装置３０や他のデバイスと通信を行うための各種制御を行うものであり、その機能は、各種プロセッサ又は通信用ＡＳＩＣなどのハードウェアや、プログラムなどにより実現できる。

【0040】

記憶部２３０は、処理部２００の各部としてコンピュータを機能させるためのプログラムや各種データを記憶するとともに、処理部２００のワーク領域として機能し、その機能はハードディスク、実装メモリなどにより実現できる。

【0041】

処理部２００の機能は各種プロセッサ（ＣＰＵ、ＤＳＰ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。処理部２００は、データ取得部２０１、位置推定部２０２を含む。なお、カメラ２１０と処理部２００を同一端末内に実装することを想定するが、カメラ２１０と処理部２００を別の端末として実装してもよい。この場合、カメラ２１０と処理部２００をネットワークにより接続し、ストリーミング通信などによって撮影画像（動画像）を伝送する形態が考えられる。また、カメラ２１０により撮影された動画像をまず記憶部２３０に保存し、それを処理部２００が読み出す方法も考えられる。

【0042】

データ取得部２０１は、カメラ２１０によって撮影された撮影画像（動画像）から、発光装置１０の光源に対応する領域（光信号領域）を抽出する。光信号領域の抽出手法としては、撮影画像の二値化処理やパターン認識、特徴量抽出や物体検出アルゴリズム等を用いた機械学習など、光源を検出できればどのような手法を用いてもよい、また、Blooming
effectのような画像のぼやけを考慮してもよい。いずれの方法を用いる場合でも、光信号領域を抽出した結果は、撮影画像内のピクセルの範囲として特定される。なお、撮影画像から光信号領域を切り出して記憶部２３０に記憶してもよいし、しなくてもよい。

【0043】

データ取得部２０１は、光信号領域の情報に基づいて、光信号の復号化及び復調を行うことでデータ（センサ部１１０でセンシングされたデータや制御信号、発光装置１０のＩＤと位置情報）を取得する。この具体的な手法は、発光装置１０におけるデータの符号化及び変調方式に依存する。例えば、光信号領域内に複数の異なる光源がある場合には、光信号領域を更に複数の領域に分割し、分割した各領域において、各ピクセルのＲＧＢの平均値に基づいて復調を行う手法や、ピクセル毎のＲＧＢの分布に基づいて復調を行う手法などを用いる。データ取得部２０１によって取得されたデータは、駆動装置３０に送信される。なお、発光装置１０が複数ある場合、データ取得部２０１は、複数の発光装置１０のそれぞれの光源に対応する光信号領域を抽出し、抽出した複数の光信号領域の情報を復号化・復調して複数のデータを取得する。

【0044】

図４は、端末装置２０のカメラ２１０で撮影した撮影画像からのデータの取得について説明するための図である。データ取得部２０１は、光信号領域を抽出し、これを領域ｋ（ｋ＝１，２，…）とする。データ取得部２０１は、各領域ｋについて、ＲＧＢ値を集計し、集計した値（ＲＧＢ値の平均値、ピクセル毎のＲＧＢ値の分布）に基づいてデータの復調を行う。図４に示す例では、撮影画像から、１つの発光装置１０に対応する「領域１」と他の発光装置１０に対応する「領域２」のそれぞれの情報を復調してデータを取得している。

【0045】

位置推定部２０２は、撮影画像における光源（光信号領域）の座標と、データ取得部２０１によって取得されたデータ（発光装置１０の位置情報）とに基づいて、カメラ２１０（すなわち、カメラ２１０が備わる駆動装置３０）の位置（自己位置）を推定する。自己位置の推定手法の詳細については後述する。位置推定部２０２によって推定された位置のデータは、駆動装置３０に送信される。なお、発光装置１０が複数ある場合、位置推定部２０２は、撮影画像における複数の発光装置１０のそれぞれの光源の座標と、データ取得部２０１によって取得された複数の発光装置１０のそれぞれの位置情報とに基づいて、カメラ２１０の位置を推定する。

【0046】

図５は、駆動装置３０の機能ブロック図の一例である。駆動装置３０は、処理部３００、通信部３１０、駆動部３２０、記憶部３３０を含む。

【0047】

通信部３１０は、端末装置２０や他のデバイスと通信を行うための各種制御を行うものであり、その機能は、各種プロセッサ又は通信用ＡＳＩＣなどのハードウェアや、プログ
ラムなどにより実現できる。

【0048】

記憶部３３０は、処理部３００の各部としてコンピュータを機能させるためのプログラムや各種データを記憶するとともに、処理部３００のワーク領域として機能し、その機能はハードディスク、実装メモリなどにより実現できる。

【0049】

処理部３００の機能は各種プロセッサ（ＣＰＵ、ＤＳＰ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。処理部３００は、データ取得部３０１、制御部３０２を含む。

【0050】

データ取得部３０１は、駆動部３２０の状態に関する情報（モータの回転数や現在位置など、駆動部３２０のパラメータ）を取得する。

【0051】

制御部３０２は、端末装置２０のデータ取得部２０１によって取得されたデータ（センサ部１１０でセンシングされたデータや制御信号）、位置推定部２０２によって推定された位置（自己位置）、データ取得部３０１で取得された情報、及び、記憶部３３０に記憶されたプログラムやデータ等に基づいて、駆動部３２０を駆動させる制御を行う。制御部３０２は、データ取得部２０１によって取得された制御信号を駆動部３２０に伝えるか否かを、駆動部３２０の状態や推定された自己位置などに基づいて判断してもよい。駆動部３２０を駆動させるための制御信号はどのようなものであってもよい。例えば、駆動装置３０がドローンや移動ロボットである場合、制御信号は、「進め」、「止まれ」、「高度を上げる／下げる」、「移動速度を上げる／下げる」のような指令信号であってもよいし、駆動装置３０が次に進むべき座標を指定する信号であってもよい。例えば、制御部３０２は、所定の場所（交差点など）に配置された発光装置１０から端末装置２０を介して、所定の場所に人がいることを検知した旨の信号を受信した場合、駆動部３２０を停止させる制御や、地図データ及び自己位置に基づき所定の退避場所まで駆動装置３０を移動させる制御を行う。また、駆動装置３０が産業用ロボットである場合、制御信号は、組み立てを指示する信号や組み立てを停止させる信号であってもよい。なお、制御部３０２は、駆動装置３０に備わるカメラ２１０による撮影に先立って、駆動部３２０を駆動させて、１つ又は複数の発光装置１０の光源を撮影可能な位置までカメラ２１０を移動させるようにしてもよい。

【0052】

次に、自己位置の推定手法の詳細について説明する。端末装置２０は、１つ又は複数の発光装置１０を撮影した撮影画像（動画像）から発光装置１０（光源）に対応する領域を抽出して、それぞれの発光装置１０のＩＤと位置情報（座標）を特定し、撮影画像上の光源の座標（位置）及び大きさをもとに自己位置を測位する。

【0053】

まず、Blooming effectを考慮した画像上の光減衰モデルについて説明する。Blooming effectとは、光源を撮影したときに撮影画像上で発生する光の拡散やボケのことである。Blooming effectを考慮せず物体検出アルゴリズム等を利用した半径を用いると理論値より撮影画像上の光源の大きさが大きくなるため、計算誤差も比例的に大きくなる。そこで、Blooming effectを除去した撮影画像上の光源の真の大きさを取得する必要がある。画像上のｉ番目の光源の中心からある画素までの距離をδ_ｉ、ある画素の画像上の座標を（ｕ，ｖ）、ｉ番目の光源の中心の座標を（ｕ_ｉ，ｖ_ｉ）とすると、δ_ｉは、次式で表すことができる。

【0054】

【数1】

ｉ番目の光源の画像上での輝度（光源の明るさ）をｂ_ｉ、画像上の理論上の半径の大きさをｐ_ｉとしたとき、ある距離δ_ｉでの明るさｆ（δ）を、次式で計算することとする。

【0055】

【数2】

ここで、α、β、γは、条件によって変わるパラメータであり、次式を満たすように決定する。

【0056】

【数3】

ここで、Ｃは、予め設定された閾値である。画素を光源と判断する明るさの閾値をｂ_ｉｈと定義する。ある画素において設定したｂ_ｉｈよりも明るさが大きい場合を光源とすることで、Blooming effectを除去した光源の大きさｒ_ｐを、次式のように求めることができる。

【0057】

【数4】

以下、自己位置の測位について説明する。ｉ番目の発光装置１０の座標（データ取得部２０１で取得した位置情報）を（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）とする。ｉ番目の発光装置１０の光源の大きさをｒ_ｉとし、ｉ番目の発光装置１０の光源の撮影画像上の大きさをｒ_ｐ，ｉ（Blooming effectを除去した光源の大きさ）とし、端末装置２０のカメラ２１０とｉ番目の発光装置１０との距離ｚ’_ｉを次式により計算する。

【0058】

【数5】

ここで、ｆは、カメラ２１０の焦点距離、ρは、カメラ２１０に内蔵されているＣＭＯＳイメージセンサの大きさである。

【0059】

次に、発光装置１０を原点としたカメラ２１０の座標を求める。ｘ軸、ｙ軸、ｚ軸を基準とした回転角度をそれぞれ（θ_ｘ，θ_ｙ，θ_ｚ）としたとき、カメラ２１０の回転行列Ｒは、次式のように表すことができる。

【0060】

【数6】

カメラ２１０の画角を（ｆｏｖ_ｘ，ｆｏｖ_ｙ）、解像度を（ｐｉｘｅｌ_ｘ，ｐｉｘｅｌ_ｙ）としたとき、内部パラメータＫは、次式で定義することができる。

【0061】

【数7】

ｉ番目の発光装置１０の光源の撮影画像上の座標を（ｕ_ｉ，ｖ_ｉ）とする。ｉ番目の発光装置１０を原点としたカメラ２１０の座標（ｘ_ｉ，ｃ，ｙ_ｉ，ｃ，ｚ_ｉ，ｃ）は、ｉ番目の発光装置１０とカメラ２１０との距離ｚ’_ｉと、撮影画像におけるｉ番目の発光装置１０の光源の座標（ｕ_ｉ，ｖ_ｉ）と、カメラ２１０の回転行列Ｒ及び内部パラメータＫとに基づいて、次式で求めることができる。

【0062】

【数8】

この座標を、次式のようにｉ番目の発光装置１０の座標（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）に加算することで世界座標に変換することができる。

【0063】

【数9】

座標（ｘ’_ｉ，ｃ，ｙ’_ｉ，ｃ，ｚ’_ｉ，ｃ）は、撮影画像上に存在している光源の数だけ計算する。実際は、イメージセンサで受光するため光源の大きさが量子化され誤差が生じてしまう。量子化誤差ε_ｉは、次式で表される。

【0064】

【数10】

そして、図６に示すように、ｉ（ｉ＝１，２，３）番目の発光装置１０の光源から求めたカメラ２１０の座標（ｘ’_ｉ，ｃ，ｙ’_ｉ，ｃ，ｚ’_ｉ，ｃ）と量子化誤差ε_ｉから、次式により、誤差が最も重なり合う部分の中心の座標(ｘ，ｙ，ｚ)を、カメラ２１０の座標（自己位置）の推測値として求める。

【0065】

【数11】

図７は、本実施形態に係る通信システムの処理の流れを示すフローチャートである。まず、発光装置１０の信号生成部１０１は、送信対象とするデータ（センサ部１１０でセンシングされたデータ、制御信号、発光装置１０のＩＤと位置情報）を符号化・変調して光信号を生成し発光部１２０に出力する（ステップＳ１０）。

【0066】

次に、端末装置２０のデータ取得部２０１は、発光装置１０を撮影した撮影画像をカメラ２１０から取得し（ステップＳ１１）、取得した撮影画像から光信号領域を抽出し（ステップＳ１２）、抽出した光信号領域の情報を復号化・復調してデータを取得する（ステップＳ１３）。また、位置推定部２０２は、撮影画像における光源の位置・大きさ（光信号領域の座標）と発光装置１０の位置情報とに基づいて自己位置を推定する（ステップＳ１４）。

【0067】

次に、駆動装置３０の制御部３０２は、データ取得部２０１で取得されたデータと、位置推定部２０２で推定された自己位置と、駆動部３２０の状態とに基づいて、制御信号を用いて駆動部３２０を動作させるか否かを決定するなどして、駆動部３２０の動作を制御する（ステップＳ１５）。

【0068】

本実施形態によれば、カメラ２１０の撮影画像から光源を抽出し画像上の座標からカメラ２１０の位置（自己位置）を測位するとともに、光信号として変調されたデータをＯＣＣにより受信する。これにより、同一の光源及びカメラを用いて自己位置推定と通信とを並行して行うことが可能となり、ＬｉＤＡＲなどの自己位置を推定する機構を不要とし、低コスト化や簡素化によるメンテナンス容易化などを実現することができる。

【0069】

（第２の実施形態）
図８は、第２の実施形態の構成例を示す図である。第２の実施形態は、発光装置１０の通信データをセンサデータだけでなく、サーバ装置４０からも与えられる点で第１の実施形態と異なる。発光装置１０は、通信部を備え、ネットワークを介してサーバ装置４０に接続される。発光装置１０は、サーバ装置４０から制御信号等のデータを受信し、受信したデータを符号化・変調して光信号を生成する。サーバ装置４０が生成するデータはどのようなデータでもよい。サーバ装置４０は、事前に送信データをスケジューリングしておき、一定の間隔でデータを発光装置１０に送信してもよいし、サーバ装置４０が送信したいときにデータを送信してもよい。第２の実施形態によれば、端末装置２０は、インターネットやＬＡＮなどのネットワークに直接接続することなく必要な情報を受け取ることが可能となる、また、ローカルなセンサデータだけでなく、サーバ装置４０から受信したデータに基づいて駆動装置３０を制御することが可能となる。これにより、センシングされたデータのみでは不足する情報を補足し、駆動装置３０をより最適に動作させることが実現する。

【0070】

（第３の実施形態）
図９は、第３の実施形態の構成例を示す図である。第３の実施形態は、発光装置１０が駆動装置３０に備えられ、発光装置１０でセンシングされたデータや駆動装置３０で取得
された駆動部３２０の状態を、端末装置２０を介してサーバ装置４０に送信する点、端末装置２０において発光装置１０（光源）の位置を推定する点で、第１の実施形態と異なる。各端末装置２０は、カメラ２１０により発光装置１０の光源を撮影し、撮影画像における光源に対応する領域の座標及び大きさと、端末装置２０（カメラ２１０）の既知の位置情報（座標）とに基づいて、発光装置１０（光源）の位置を推定する。複数の端末装置２０を用いることで、位置測位の誤差を小さくすることができる。駆動装置３０はなくてもよいが、発光装置１０を駆動装置３０に備えることで、駆動装置３０の位置を特定することが可能となる。

【0071】

（第４の実施形態）
図１０は、第４の実施形態の構成例を示す図である。上記の実施形態は片方向の通信であるが、第４の実施形態では、発光装置１０と端末装置２０を両方向に配置することで、双方向通信を可能としている。それぞれの発光装置１０と端末装置２０は、単一でもよいし複数でもよい。ここでは２つのネットワークしか示していないが複数のネットワークで通信してもよい。サーバ装置４０はなくてもよく、駆動装置３０に発光装置１０と端末装置２０が直接接続されていてもよい。また、駆動装置３０はなくてもよく、Ｄ２Ｄ（端末間通信）のような使い方をしてもよい。端末装置２０は、発光装置１０’を撮影して、撮影画像における発光装置１０’の光源に対応する領域からデータを取得するとともに、当該領域の座標から自己位置又は発光装置１０’の位置を推定する。同様に、端末装置２０’は、発光装置１０を撮影して、撮影画像における発光装置１０の光源に対応する領域からデータを取得するとともに、当該領域の座標から自己位置又は発光装置１０の位置を推定する。

【0072】

なお、本発明は、上述の実施の形態に限定されるものではなく、種々の変更が可能である。本発明は、実施の形態で説明した構成と実質的に同一の構成（例えば、機能、方法及び結果が同一の構成、あるいは目的及び効果が同一の構成）を含む。また、本発明は、実施の形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施の形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施の形態で説明した構成に公知技術を付加した構成を含む。

【符号の説明】

【0073】

１…通信システム、１０…発光装置、２０…端末装置、３０…駆動装置、４０…サーバ装置、１００…処理部、１０１…信号生成部、１１０…センサ部、１２０…発光部、１３０…記憶部、２００…処理部、２０１…データ取得部、２０２…位置推定部、２１０…カメラ、２２０…通信部、２３０…記憶部、３００…処理部、３０１…データ取得部、３０２…制御部、３１０…通信部、３２０…駆動部、３３０…記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】