(58)【調査した分野】(Int.Cl.,DB名)
可視光信号を受信する動画カメラを有する情報受信装置と、上記動画カメラのフレーム周波数の整数m分の1の波形の基本周波数をもつ変調信号で変調された可視光信号を送信する光源を有する情報送信装置とを備えた情報伝送システムのための情報送信装置であって、
上記情報送信装置は、上記変調信号で変調された可視光信号が上記動画カメラに入力されたときに上記動画カメラから出力されるm個のフレーム出力信号をフーリエ変換して得られる仮想正弦波を用いて、入力されるデジタルデータ信号に従って直交振幅変調することにより、上記変調信号を発生する変調手段を備えたことを特徴とする情報送信装置。
上記復調手段は、上記フレーム出力信号に基づいて同期タイミング信号を発生し、上記同期タイミング信号に基づいて上記デジタルデータ信号を復調することを特徴とする請求項6記載の情報受信装置。
上記復調手段は、上記フレーム出力信号を復調するときに、上記動画カメラのシャッター開度に従って補正されたフレーム出力信号の参照信号を用いることを特徴とする請求項6又は7記載の情報受信装置。
請求項1〜5のうちのいずれか1つに記載の情報送信装置を既知の位置に複数設置し、既知の固有情報を送信させ、当該固有情報を請求項6〜10のうちのいずれか1つに記載の情報受信装置で受信し、当該受信内容から上記情報送信装置を識別しつつ光学的に上記各情報送信装置の見かけの幾何学的配置を知ることで、上記情報受信装置の存在位置を測位することを特徴とする測位システム。
【発明を実施するための形態】
【0024】
以下、本発明に係る各実施形態について図面を参照して説明する。なお、以下の各実施形態において、同様の構成要素については同一の符号を付している。
【0025】
実施形態1.
本発明に係る実施形態1の概要.
LED(Light Emitting Diode)と動画カメラを使った可視光通信に代表される光学的通信技術の発明である。スマートフォンなどの可搬型情報端末に内蔵される動画カメラを信号検出に利用して、その撮影フレームレートを超える速度での情報伝送を実現する。LEDは屋内外の照明や交通信号機、自動車のライトなどに普及しており、高速で精密な光強度変調をかけることが可能である。また動画カメラを内蔵した可搬型情報端末も普及している。両者で可視光線を主とした光学的情報伝送を行えば、見通し距離内だけの通信方式として、臨場性を前提とした、ラジオ波無線通信にない特徴をもつ通信応用が可能となる。
【0026】
このような応用に、高速通信のために専用受光素子や高速フレームレートのカメラを使用して数メガビット/秒以上の通信を実現した例がある。しかし、スマートフォンなど市販モバイル機器に内蔵される市販動画カメラのフレームレートは60フレーム/秒(60fps)程度であって、それを使った場合は10ビット/秒(10bps)程度の通信しか実用例はなかった。そのため可視光通信の用途はごく限られたものであった。
【0027】
一方、そのような動画カメラは通信用には低速であるが広く普及しているので、市販動画カメラでフレームレートに一致する、ないしそれを超えるビットレートの通信をできれば、市民生活の場で広く可視光通信が使用されるようになると期待される。具体的には発光型ポスター、デジタルサイネージ(掲示板)、信号機などからの情報伝達、自動車テールランプを使った車車間通信などである。
【0028】
本発明に係る実施形態1は、低速な市販の動画カメラを使う可視光通信に関するものである。例えば60fpsのカメラにより、LEDの1光源あたり100bps以上の通信を可能とする。高効率な復調アルゴリズムの採用により、光源を複数配置することで、例えば100LEDの信号源クラスターを形成してスマートフォンのソフトウェア復調で10kbps超の通信を行える。
【0029】
動画カメラの撮影時パラメータには電子シャッターと称する撮影フレームごとの光積分時間に関するものがある。このシャッター開度を小さくとると(フレームごとの光積分時間を短く設定すると)速く動く被写体をはっきりと撮影できるので、特別な撮影時にそのように使用される。可視光通信でもその特性を利用し、通信の受信時はシャッター開度を10パーセント以下に小さく設定し、高速な光信号変化を検出することで通信速度を上げようとする技術があった。
【0030】
しかし、シャッター開度を小さくすると、映像に雑音が増え、また得られる画像は暗くなるという欠点を生じる。それで一般の撮影ではシャッター開度は100パーセントに近い、大きな値で使用されるのが通常である。通信のためにシャッター開度を小さくとった場合、それは一般撮影のカメラ設定条件と両立しないという欠点があった。本発明の実施形態1では、シャッター開度ごとに検出アルゴリズムを適合させ、情報を補正する。このため通常の撮影では条件である100パーセントにシャッター開度でも高速通信を実施でき、雑音が少なく、また高感度であり、一般の撮影画像に部分的に写りこんだ光源を使っても可視光通信をできるという特徴をもつ。
【0031】
本発明の実施形態1は、動画カメラのフレームレートに同期させた点光源を用いるという意味で、インテルの方式に似ている。しかし、動画カメラの電子シャッター開度(以下、シャッター開度という。)ηを100パーセント近くに設定し(好ましくは0.5≦η≦0.99、より好ましくは0.9≦η≦0.99)、通常の撮影動作と同じ状態でも実施できる点に特色がある。シャッター開度ηを大きくとることで動画カメラの受光素子の信号雑音比を改善できる。また、通常の撮影状態に同じ動画カメラ設定で可視光通信の使用できるので、その利用機会をより広くとることができる。既知の方法では高速信号(高速変調)を受信するため、特に小さいシャッター開度(例えば、0.02〜0.03)を設定している。これに対して、本発明の実施形態1では、シャッター開度による波形変形を予測し符号照合することで、大きいシャッター開度のままで高速信号の受信を可能としている。
【0032】
シャッター開度を小さくして使うと、カメラは信号の一部を切り取り受信するだけで、多くの部分を捨ててしまう。小さいシャッター開度を前提とする通信方式の送信信号は、どの部分を受信されてもいいように、同一内容を繰り返し、冗長に送信している。シャッター開度を大きくとる本発明の実施形態1に係る手法では、信号に冗長な部分は少なく、通信速度を効率よく高速化できるほか、変調信号にフリッカー低減など各種の付加的機能を盛り込むこともできる。
【0033】
本発明の実施形態1の手法の説明.
動画カメラの1フレームの撮影時間をTp(秒)とする。その逆数はビデオフレームレートfpであり、fp=1/Tpの関係となる。多くの市販のデジタル動画カメラ、もしくはスマートフォンのデジタル動画カメラではfp=60(60フレーム/秒)が採用されている。
【0034】
LEDから時間的に輝度変調(振幅変調、位相変調を含む直交振幅変調(以下、QAM変調という)、直流分バイアス変調)させた発光を行い、発光信号を動画カメラで受光することで情報を伝送する。ここで、LEDから伝送する情報の単位をシンボルと呼ぶ。1シンボルは10ビットほどの複数情報ビットに対応する。シンボル発生レートfqは、ビデオフレームレートと同期させ、シンボル発生周期Tqをビデオフレーム周期Tpのm倍にとる。すなわち、次式で表される。
【0036】
ここで、mは1以上の整数、すなわち自然数である。周波数ではfq=fp/mの関係となる。mは1以上の任意の整数として情報伝送は可能であるが、本発明の実施形態1の効果をよりよく発揮するにはm≧3に選ぶとよい。特に、m=3にとった場合、本発明の実施形態1に係る特徴的な性質を各種得ることができ、この動作は詳細後述することとし、ひきつづき一般のm(m≧1)について情報送受信の原理を以下に説明する。
【0037】
送信波形.
送信者は情報送信装置を用いて、Tq=mTpを基本時間単位として、LEDを変調波形で駆動し、発光させる。ここで、変調信号をb(t)とする。変調信号b(t)はTqを基本時間単位としていることから、この周期で繰り返しているものと想定すれば、複素フーリエ係数β
kの系列に展開できる。kは整数の添え字で、0,±1,±2,…の値をとる。変調信号b(t)から次式によりfq=1/Tqを基本周波数とする複素フーリエ係数に変換できる。
【0039】
受信信号の特性.
受信者は情報受信装置を用いて、fp=1/Tpのフレームレートの動画カメラ(ただしシャッター開度η)を使ってこれを受信する。動画カメラの受光素子はTpの全体にわたり光を取り入れているわけではなく、所定範囲のシャッター開度η(0<η<1;ただし、本実施形態1では、好ましくは0.5≦η≦0.99)によりηTpと表せる時間だけ、光変換セルからの信号を積分する。受光とアナログ/デジタル変換(以下、AD変換という。)及びデータ伝送を交番で行うため、シャッター開度ηは1にはできないが、その最大値を0.99(99パーセント)程度まで設定できる。動画カメラのシャッター開度ηを1に近い値に設定すると、撮像素子の雑音を低減でき、また感度も向上するので、一般撮影ではそれに近い値で動作させている。一方で高速で動く被写体をはっきり撮影したい場合には、シャッター開度ηを短くするとよい。そのため多くの動画カメラでは、撮影条件にあわせ、シャッター開度ηを各種の値に設定できるようになっていて、撮影の都度、適当な値で使用される。
【0040】
受信された信号は距離や光学系に起因する強度変化、あるいは周辺光や受光素子に起因する雑音の重畳を無視したとして、次の2種類の改変を受ける。
【0041】
(1)受光素子が0≦t≦ηTpの時間で光源の光を積分していることにより、受信波形は送信波形に比べ変化を生じる。
(2)積分結果はTpごとにAD変換され、離散信号として出力される。ビデオフレーム周期Tpの逆数fpは信号変化のサンプリング周波数とみなすことができるが、それは信号源の基本周波数のたかだかm倍である。このため変調信号のうちナイキスト周波数を超える成分、すなわち変調波形の高調波β
kのうち、k≧m/2となる成分はサンプリングの結果、折り返し雑音となり、検出信号を変化させる。
【0042】
本発明に係る実施形態1は、両者の影響を精密に追跡し、それを補正しつつ信号検出をすることを特徴としている。両者の補正について詳しく見る。
【0043】
積分動作による信号変化の補正.
動画カメラの受光素子は信号源の波形b(t+δTq)を時間幅0≦t≦ηTpで積分しているとみなすことができる。上記時間幅だけ信号を切り取り、積分することは、数式的には時間幅ηTpの矩形窓を信号波形に乗じて畳み込むことにほかならない。ここで、0≦δ<1は送信信号と受信する動画カメラ動作の開始時間差つまり動作位相差であり、動画カメラが少し遅れる場合を正の値にとるものとしている。光源と動画カメラ動作の間に何らかの同期化機構を置くとδ=0とできるが、そうでない場合は非零のδが存在する。
【0044】
光源はカメラフレームのm倍の周期で動作していることから、カメラ受光素子からは光源の明るさについて、データ信号c
1,c
2,…c
mのmフレーム分の情報を得ることになる。このデータ信号c
1,c
2,…,c
mをTq=mTpを基本周期としてフーリエ変換したものは、このあとで述べる折り返し雑音による改変を無視すれば、その係数B
kは次式で表される。
【0046】
上式は、動画カメラの撮像素子の積分動作が時間幅ηTpの矩形窓の畳み込みであり、それはフーリエ変換した式上では時間窓をフーリエ変換したもの
【数3】
ともとの波形のフーリエ級数β
kの乗算となること、及び信号源の遅延δTpは遅延因子
【数4】
の乗算であることから理解できる。光源と動画カメラの間に同期化機構を導入し、δ=0とすれば、この式は次式と簡略化できる。
【0048】
光源と動画カメラの動作位相の問題は、上記乗算因子の有無であり、数式に大きな差異はない。そこで以下の考察では簡単のため、δ=0が成立していると仮定して行う。そうでない場合の考察は詳細後述する。
【0049】
係数B
kからあらためてその積分された時間波形B(t)を次式の逆フーリエ変換により再構成できる。
【0051】
動画カメラの撮影フレームにmフレームにわたり記録された光源の明るさ(データ信号の強度)c
1,c
2,…,c
mは次式で表される。
【0052】
c
i=B((i−1)Tp);i=1,2,…,m
【0053】
時間波形B(t)から光変調信号の波形b(t)を完全に復元できれば、原信号のすべての情報を得られる。しかし、式(4)はsinc(πηk/m)の因子を含み、この関数はkの絶対値の増大とともに値を減じる。あるいはηk/mが整数値ないしはその近傍の値となっても、零ないし小さな値となる。その際、原信号情報の一部は失われてしまい、変調信号b(t)の復元は困難ないし不可能となる。よって、ここでいう補正とは、必ずしも原信号の完全な復元ではなく、シャッター開度ηの積分動作により信号がどのような改変を受けるかを式(2)ないし式(3)により正確に知りつつ、復号プロセスでそれを利用して行う通信システムを提供することにある。
【0054】
折り返し雑音の補正.
Tq=mTpを基本周期とする光源の変調波形は、動画カメラによりデータ信号c
1,c
2,…,c
mのm個の出力値に変換される。動画カメラ動作をサンプルレートfp=1/Tpの信号サンプリングと見なせば、データ信号c
1,c
2…の系列は実信号である変調信号b(t)の積分により改変された時間波形B(t)が、さらに動画カメラのビデオフレームによりサンプリングされたものである。ここで想定しているビデオフレームレートは光源の変調基本周波数にごく近いことから、フレーム出力は折り返し雑音の影響を強く受ける。
【0055】
ここで、時間波形B(t)はfq=1/Tqを基本周波数とする繰り返し波形で線スペクトルになっている。時間波形B(t)を構成する調波成分の一部はビデオフレームレートのナイキスト周波数±fp/2の外側にあり、また基本周波数をフレームレートの整数分の1に選んでいることから、ナイキスト周波数の外側の調波成分はサンプリングにより折り返し、折り返した線スペクトルは、ナイキスト周波数±fp/2の範囲内にある線スペクトルとすべて重なりあい、新しい有限個(たかだかm個)の線スペクトル系列に変換される。
【0056】
積分動作による変調信号b(t)から時間波形B(t)への変換が非可逆であったように、この折り返し雑音による情報改変も非可逆過程であり、調波情報の欠落を伴う。よって、上述の「積分動作による信号変化の補正」で指摘したように、意図するのは、残留した情報の性質を正しく理解し、それを情報伝送通信に役立てることである。
【0057】
ここで、c(t)という仮想正弦波を導入する。それはその周波数成分がナイキスト周波数−fp/2≦f≦fp/2の範囲にすべて収まっており、次式の関係を満たす関数とする。
【0058】
c
i=B((i−1)Tp)=c((i−1)Tp)
【0059】
時間波形B(t)は一般にフレームレートのナイキスト周波数を超える周波数成分をもつため、仮想正弦波c(t)はこれとは異なるものである。時間波形B(t)と仮想正弦波c(t)の関係を以下で考える。
【0060】
まず、折り返し雑音の関係を整理すると、次のような対応になることが理解される。
【0061】
(正負の)整数kをmで割れば、商であるqと、0,1,2,…m−1の剰余rを得る。負の整数kにおいても剰余は正にとり、k=qm+r、ただし剰余r≧0の関係式を満たすものとする。すると、折り返し雑音の影響を考慮した有限個のスペクトル値s
r(r=0,1,2,…,m−1)は次式で表される。
【0063】
ここで、さらに、スペクトル値s
rと仮想正弦波c(t)のスペクトルの複素フーリエ係数C
kの関係について述べる。
【0064】
(A)mが奇数の場合:r=0のスペクトル値s
0はC
0(直流分)である。また、1からr<m/2までのスペクトル値s
rはC
rに対応する。さらに、m/2を超え、m−1までのスペクトル値s
rは、複素フーリエ係数C
r−mの負の周波数成分に対応する。
【0065】
(B)mが偶数の場合:スペクトル値s
rと複素フーリエ係数C
kとの対応は奇数の場合に準じるが、そのほかにr=m/2のスペクトル値s
rが生じる。これはC
m/2かつC
−m/2の成分であり、ナイキスト周波数と一致しているため、同じスペクトル値となる。
【0066】
フレームの観測系列からのフーリエ係数C
kの抽出.
フーリエ係数C
kは発光波形のフーリエ変換を撮像素子の特性とサンプリングの折り返し雑音から得る方法のほか、m個の連続する動画フレームで観測した光源の明るさの観測値c
1,c
2,…,c
mから次式によっても得られる。
【0068】
ただし、添え字kはゼロを含む正負の整数であり、−m/2≦k≦m/2を満たすものである。これは、m点の離散フーリエ変換(以下、DFTという。)として知られている演算であり、その記号を使い、次式と表すことができる。
【0070】
ここで、仮想正弦波c(t)はその周波数スペクトルがすべて±fp/2の中に入っている時間波形であり、t=0,Tp,2Tp,…,(m−1)Tpのm点において、仮想正弦波値c
iと一致するものである。すなわち、仮想正弦波値c
i=c((i−1)Tp)である。任意のc
1,c
2,…,c
mを指定するとこのような仮想正弦波c(t)が唯一に定まることはサンプリング定理の教えるところである。
【0071】
情報送信装置が送る変調波形b(t)は積分による改変を受け、またビデオフレームのサンプリングによる影響を受け、その形では情報受信装置に届かない。しかし、情報送信装置は、情報受信装置が使用するシャッター開度ηについて知識があると仮定すれば、それが仮想正弦波値c
1,c
2,…,c
mとしてどう情報受信装置に伝わるか予想することができる。特に、仮想正弦波値c
1,c
2,…,c
mから再構成される仮想正弦波c(t)は、実在しない波形であるが、以下で述べるように有限個の正弦波の重ね合わせ(重複)である。
【0072】
本実施形態1に係る情報送信装置はb(t)を送り出すのではなく、「仮想正弦波c(t)を送信情報で変調して送り出す」と考えれば、それは完全な形で情報受信装置に届く。これが本発明の実施形態1の骨子である。c(t)は正弦波的性質をもつため仮想正弦波と呼ぶことにする。またこれは、通常の正弦波搬送波とみなし、変調をかけることができるため、その用途では「仮想正弦キャリア」と呼ぶことにする。
【0073】
仮想正弦波.
−m/2≦k≦m/2の範囲にあるm個のフーリエ係数C
kを使い、c(t)を次式の関係式により求めることができる。
【0075】
式(7)はm点の逆離散フーリエ変換として知られている操作であり、次式として表すことができる。
【0077】
実数の観測系列(仮想正弦波値)c
1,c
2,…,c
mから構成したフーリエ係数C
kは複素数であるが、必ずC
−i=C
i*の関係にある。ただし、*は複素共役を表す。その性質から、非負の添え字をもつフーリエ係数のみを使い、逆離散フーリエ変換は次式のごとく表現してもよい。
【0080】
ただし、ここで[m/2]はm/2を超えない整数であり、また、|C
k|、∠C
kはそれぞれ、複素数C
kの絶対値及び偏角である。C
0、及びmの偶数のとき存在するC
m/2は必ず実数である。実数信号による仮想正弦波c(t)は、直流分と、[m/2]個の正弦波と、ナイキスト周波数成分の和に唯一に分解できる。
【0081】
仮想正弦波の変調及び復調.
仮想正弦波c(t)は光源の変調信号b(t)から、それが動画カメラの撮像素子で受ける「積分による波形変化」、「折り返し雑音の結果」として理論的に求めることができる。また、実際に変調波形を撮像素子の連続するm個のフレーム出力(仮想正弦波値)c
1,c
2,…,c
mからDFT(Discrete Fourier Transformation)演算により求めることもできる。雑音等の影響を無視すれば両者は一致する。
【0082】
仮想正弦波は振幅、位相などの性質を持った正弦搬送波と考えることができる。光源に対する変調は、(実波形でなく)仮想正弦波に対する振幅ないし位相の変調と考えることができる。そして、それ(仮想正弦波に対する振幅及び位相の変調)は受信したフレーム列c
1,c
2,…,c
mをDFT演算することで、フーリエ係数から復調することができる。
【0083】
仮想正弦波c(t)を構成するスペクトルの振幅、位相成分は、直流分及びナイキスト周波数成分の振幅まで含めるとm種類あり、直交する軸として独立である。光を使った通信では、変調により情報をこれらm種類の軸に同時に乗せて行うことができる。
【0084】
次いで、本発明の実施形態1の具体的構成方法について以下に説明する。
【0085】
3周期法.
本発明に係る実施形態1により可視光通信を行う場合の具体的手法を説明する。デジタル情報の伝送はシンボルの伝送により行われ、1シンボルは10ビットほどのデジタル情報に対応するものとする。また、情報伝送はシンボルの集まりであるパケットにより行われる。
【0086】
図1は本発明の実施形態1に係る情報伝送システムにおいて用いるパケットの構成例を示す図である。
図1において、1つのパケットは、0〜数10シンボルのプリアンブル51と、任意長のデータ52と、オプションのフレームチェックシーケンス(以下、FCSという。)53とから構成される。
【0087】
プリアンブル51は、あらかじめ決まっているシンボルの系列であり、多くの場合、同一シンボルを繰り返し送出する。情報受信装置の受信感度を補正し、また情報送信装置の光源の発光と情報受信装置の同期をとるために付加される。動画カメラには信号源からの信号のほか、背景光もあわせて受信されるが、その強度もプリアンブルにより確認して補正できる。データ52のシンボルを情報受信装置のバッファメモリにおいて一定量蓄積し、そこにある既知のシンボルを解析することによっても同期をとることができるため、そのような手法を用いる場合はプリアンブルを省略できる。データ52は任意長のシンボルからなり、実質的な伝送データを担う。FCS53は例えば誤り検出/訂正のための付加情報で、その必要のある場合のみ付加される。
【0088】
LED光源からの変調信号b(t)は
図1のパケット構造に沿って生成される。
【0089】
図2Aは実施形態1に係る情報伝送システムにおいて用いる変調信号b(t)の波形例を示す波形図である。変調信号b(t)の一例を
図2Aに示すが、プリアンブル51のシンボルは直流分を変えながら生成していて、これにより情報送信装置と情報受信装置間で通信に必要なシンボル同期を確立し、また背景光のレベルを確認しつつ、また、情報送受信装置間で感度補正を行うことができる。プリアンブルを受信した後の受信側の動画カメラから出力されるフレーム出力信号c
1,c
2,c
3は、プリアンブルで得られた情報にもとづき背景光レベル補正、受信感度補正が実施されているものとする。
【0090】
ここで、動画カメラのフレーム周期と発光の基本タイミング周期は1:mの比をもって同期しているものとする。mは1以上の任意の整数としてよいが、m=1では実数の直流分しか伝送できず、またm=2では直流に加えてナイキスト周波数成分(これも実数)しか伝送できず、いずれもフーリエ係数は実数であるため、位相変調をかけられない。よって本発明の効果を十分に発揮するには位相振幅変調を可能とする仮想正弦波を含むようm≧3に選ぶとよく、その一番簡単な場合として以下にm=3の例を示す。3フレーム単位でシンボル伝送をするため、これを「3周期法」と呼ぶことにする。
【0091】
図3Aは実施形態1に係る情報伝送システムにおいて完全同期動作時の変調信号b(t)と動画カメラのシャッター動作のタイミングとの関係を示すタイミングチャートである。また、
図3Bは実施形態1に係る情報伝送システムにおいて部分同期動作時の変調信号b(t)と動画カメラのシャッター動作のタイミングとの関係を示すタイミングチャートである。ここで、発光と動画カメラの同期動作については、以下の2つの場合を想定する。
(
図3A)完全同期動作;
(
図3B)部分同期動作。
【0092】
完全同期動作は、発光の切り替わりタイミングと動画フレームのシャッタータイミングが位相を含めて一致している場合である。情報フレームのプリアンブルを使用して発光とシャッターの位相差を検出し、それによりシャッタータイミングを調整することでこの同期を達成できるが、シャッターリリース時刻の調整機構をもつ動画カメラを使用しなければならない。
【0093】
部分同期動作においては、発光周期とカメラフレーム周期は1:mで同期しているが、その動作に位相差δだけを伴う。発光周期とカメラフレーム周期がそうなっていて、しかし、シャッターリリース時刻の調整機構のない動画カメラでその発光を記録したとすれば、部分同期動作による記録となる。部分同期動作の場合には、一般に記録されるフレームの中にシンボルの切り替えタイミングで撮影されるものがある。それはシンボルの記録としては壊れたフレームとなり、復号を困難にする。その対策は詳細後述する。以下、簡単のため完全同期動作の場合で説明する。
【0094】
完全同期動作ないし部分同期動作において、ある時点で情報送信装置と情報受信装置間のタイミングずれを確認して補正できたとしても、両者の動作クロック周波数にわずかなオフセット(ずれ)があると、長い間にはオフセットが蓄積し、タイミングずれ量がさらに変化してくる。しかし、この発明の可視光通信では、数秒程度の継続時間の短い通信パケットを想定しているので、オフセットの蓄積は軽微であり、そのような場合、特にそれを補正する同期機構は使用しなくてよい。
【0095】
fp=60(60フレーム/秒)の市販の動画カメラで、fq=fp/m=60/3=20Hzの矩形波の発光を撮影するものとする。この矩形波は20Hzを基本周波数として、その奇数次高調波及び直流からなるものである。
【0096】
図2Bは実施形態1に係る情報伝送システムにおいて用いる矩形波の変調信号b(t)の波形例を示す波形図である。また、
図2Cは実施形態1に係る情報伝送システムにおいて用いる時間波形B(t)及び仮想正弦波c(t)の波形例を示す波形図である。
【0097】
図2Bの矩形波b(t)を撮影すると、動画カメラの撮像素子の積分動作の影響を受け、記録される信号変化の時間波形B(t)は
図2Cに示すものになる(
図2Cの折れ線)。ここでは仮にシャッター開度η=1にとった。時間波形B(t)の一周期分を示している。ビデオフレーム3フレーム分に相当する、20Hzの繰り返し波形である。また実際のフレーム出力はこの波形の3点、B(0)、B(Tp)、B(2Tp)をサンプリングすると得られ、それらをそれぞれ以下、c
1,c
2,c
3と表す。
【0098】
図2Cにおいて、積分の影響を受けた時間波形B(t)と、それをビデオフレームごとにサンプリングした仮想正弦波値c
1,c
2,c
3を図示しており、
図2Cの点線は仮想正弦波値c
1,c
2,c
3を通る仮想正弦波c(t)を表す。
図2Cにおいて、情報送信装置の光源から動画カメラの撮影動作までの時間遅延はないものとし、つまり「完全同期動作」であるとして、δ=0で示した。「部分同期動作」で、δ≠0の遅延時間をもつ場合は、
図2Cの時間波形B(t)を位相差δ(
図3B参照)だけ周回的に左シフトして考えればよい。
【0099】
動画カメラは基本周期20Hzを有する時間波形B(t)をサンプル周波数60Hzでサンプリングしていると考えてよい。サンプリングのナイキスト周波数は60/2=30Hzである。従って、動画カメラから出力されるフレーム出力信号における各フレーム先頭値のデータ信号(仮想正弦波値)c
1,c
2,c
3は時間波形B(t)でなく、そのスペクトルが、0(直流)、20Hz、−20Hzの3つの周波数において周波数成分であるスペクトル値s
0,s
1,s
2を有するデータ信号c(t)として表すことができる。従って、時間波形B(t)をフーリエ変換したフーリエ係数B
kから次式として求めることができる。ここで、qは整数である。
【0103】
あるいはこれらのスペクトル値s
0,s
1,s
2は、動画カメラのフレーム出力信号であるデータ信号(仮想正弦波値)c
1,c
2,c
3から次式を用いて求めることができる。
【0105】
ここで、
【数16】
【数17】
であり、1,ω,ω
2は3次の円周等分方程式z
3=1の3根である。ω
2=ω
*(複素共役)なので、情報受信装置における実数の観測値c
1,c
2,c
3について、次式が成り立つ。
【0107】
情報受信装置において、実数の観測値s
0,s
1,s
2を時間波形に逆離散フーリエ変換し、仮想正弦波c(t)を求めることができる。
図2Cには仮想正弦波(点線)も重ねて表示しているが、少なくとも時刻0,Tp,2Tpの3点で時間波形B(t)と一致している。ただし、ここで送信に使用した矩形波では、波形の対称性から一致点はもう3点ある。複素フーリエ係数B
kから理論的に求めた、及び動画カメラから出力されたデータ信号から求めたスペクトル値ないし仮想正弦波c(t)は雑音等の影響を除けば一致することになるので、この原理により光源の矩形波に振幅位相変調をかけ、これを仮想正弦波(s
1ないしs
2成分)への振幅位相変調と読み替えることで、仮想正弦波を介在した情報伝送を行うことができる。
【0108】
まず、以上の3周期法を用いて情報通信する情報伝送システムについて以下に説明する。
【0109】
図4Aは実施形態1に係る情報伝送システム300の構成例を示すブロック図である。また、
図4Bは
図4Aの情報送信装置100の構成例を示すブロック図である。さらに、
図4Cは
図4Aの情報受信装置200の構成例を示すブロック図である。
【0110】
図4Aにおいて、実施形態1に係る情報伝送システムは、情報送信装置100と、情報受信装置200を備えた例えばスマートフォン400とを備えて構成される。情報送信装置100は、送信信号処理回路110と、駆動回路13と、LED14とを備える。送信信号処理回路110は、伝送情報データのデジタル信号に基づいて変調信号b(t)を発生して、駆動回路13に出力する。駆動回路13は変調信号b(t)を増幅してそれを駆動信号としてLED14に印加することで、LED14を変調信号b(t)に従って発光させる。発光された可視光信号は、スマートフォン400の動画カメラ21により撮像される。
【0111】
スマートフォン400は、動画カメラ21と、受信信号処理回路210と、ディスプレイ410とを備える。動画カメラ21は、上記可視光信号を受光して撮像して、フレーム出力信号c
1,c
2,c
3を受信信号処理回路210に出力する。受信信号処理回路210は入力されるフレーム出力信号c
1,c
2,c
3に対して上述の復調処理を行うことで元の伝送情報データのデジタル信号を復調してディスプレイ410に出力して表示する。
【0112】
図4Bの情報送信装置100は、送信信号処理回路110と、駆動回路13と、LED14とを備えて構成される。ここで、送信信号処理回路110は、ビット分割回路11と、変調回路12とを備える。ビット分割回路11は、入力される伝送情報データであるデジタルデータ信号のビット列から以下の3つのビットデータ群を取り出し、ひとつのシンボルとする。
(1)直流分バイアス変調のためのビットデータ(例えば、3ビット);
(2)振幅変調のためのビットデータ(例えば、4ビット);
(3)位相変調のためのビットデータ(例えば、4ビット)。
【0113】
この動作を繰り返すことで伝送ビット列はシンボルを構成するビット列、すなわちシンボル列に変換される。入力ビット列の末端についても、必要なら適当な空白ビットを補うことで、シンボル列として完結させる。
【0114】
変調回路12は入力されるシンボルのビットデータに従って、上記3周期法に基づいて直流分バイアス変調、振幅変調、位相変調(なお、後者の2つの変調を合わせてQAM変調という。)を行って変調信号b(t)を発生して駆動回路13に出力する。ビット分割回路11はシンボルのエンコーダであり、その出力の{直流バイアス値、振幅値、位相値}の組をもって、伝送するシンボルを唯一に特徴づける。駆動回路13は変調信号b(t)を増幅してそれを駆動信号としてLED14に印加することで、LED14を変調信号b(t)に従って発光させて、発光された可視光信号をスマートフォン400の動画カメラ21に放射する。
【0115】
図4Cの情報受信装置200は、動画カメラ21と、DFT演算回路22と、信号分離回路23と、符号語ROM24と、シャッター開度補正回路25と、照合回路26とを備えて構成される。動画カメラ21は入射される可視光信号を受信して撮像処理を行うことで、フレーム出力信号及びシャッター開度を示すシャッター開度信号を発生してそれぞれ、DFT演算回路22、シャッター開度補正回路25及び符号語ROM24に出力する。DFT演算回路22は入力されるフレーム出力信号c
1,c
2,c
3に対してDFT演算を行ってスペクトルに変換してスペクトル値s
0,s
1,s
2を演算して信号分離回路23に出力する。信号分離回路23は入力されるスペクトル値s
0,s
1,s
2を、以下のデータ値に変換し、照合回路26に出力する。
(1)直流分バイアス変調値に対応するフーリエ係数C
0;
(2)20Hzキャリアの振幅変調分に対応するフーリエ係数の絶対値|C
1|;
(3)20Hzキャリアの位相変調分に対応するフーリエ係数の位相値∠C
1。
【0116】
符号語ROM24は、情報送信装置100で送信可能な、例えば11ビットデータに相当する2048種の全部のシンボルの変調信号b(t)に基づく仮想正弦波値c
1,c
2,c
3に対応するフーリエ係数等C
0,|C
1|,∠C
1を予め格納しておき、信号分離完了のタイミングでこれらの参照信号のデータを、信号分離回路23からの読み出し駆動タイミング信号(詳細後述)に応答してシャッター開度補正回路25に出力する。シャッター開度補正回路25は現在設定されているシャッター開度ηに対応して、符号語ROM24に格納されたフーリエ係数等C
0,|C
1|,∠C
1に対して式(2)ないし式(3)に基づき補正して、それぞれ補正後のフーリエ係数等C
0’,|C
1|’,∠C
1’として照合回路26に出力する。照合回路26は、受信した可視光信号のフーリエ係数等C
0,|C
1|,∠C
1を補正後のフーリエ係数等C
0’,|C
1|’,∠C
1’と照合することでシンボルを特定し、情報送信装置100のビット分割回路11の行ったエンコード動作の逆動作により復調デジタルデータとして出力する。
【0117】
なお、
図4Cの受信信号処理回路210(後述する実施形態1及び変形例を含む)の処理を、例えばスマートフォンなどの電子機器のCPU又はコンピュータにより実行されるプログラムとして実現して、当該プログラムを実行してもよい。
【0118】
本発明者らの実験では、情報送信装置100は送信シンボルをビット分解し、交流の位相振幅にσ
1=8ビット(256区画)、直流レベルにσ
0=3ビット(8レベル)を割りあてて送信する。変調波形は基本周期が20Hzの既知のスペクトルを持つものなら何でもよいが、例として矩形波を使用する。情報受信装置200のカメラフレーム周波数は60fpsで、シャッター開度をη=0.5に固定して撮影する。3つの連続フレームから、式(7)で離散フーリエ変換することで、スペクトルを得る。矩形波のスペクトルは既知で、またそれがシャッター開度η=0.5で積分される場合のスペクトル変化は式(2)ないし式(3)からわかるので、それを補正した符号語と照合すると、情報を複号できる。
【0119】
図5は実施例1に係る送信信号処理回路110Aの構成例を示すブロック図である。
図4B及び
図4Cでは、伝送ビットに対応して時間領域でb(t)の波形を生成していたが、それを周波数領域で行うとすれば
図5のようになる。
【0120】
図5において、送信信号処理回路110Aは、直流分バイアス変調器31と、QAM変調器32と、加算器33と、逆フーリエ変換器34と、低域通過フィルタ35とを備えて構成される。ビット分割回路11は、入力されるデジタルデータ信号から、直流分バイアス変調のためのビットデータ(σ
0ビット)と、QAM変調のためのビットデータ(σ
1ビット)とにビット分離してそれぞれ、直流分バイアス変調器31及びQAM変調器32に出力する。直流分バイアス変調器31は入力されるビットデータ(σ
0ビット)を、バイアス変調に相当するフーリエ係数β
0と読み替えて加算器33に出力する。QAM変調器32は入力されるビットデータ(σ
1ビット)に従って、周波数fp/3を有するキャリアを用いてQAM変調を行って、変調信号を加算器33に出力する。ここで、QAM変調とは、たとえば波形として基本周波数20Hz、振幅1の矩形波に相当する複素フーリエ係数列β
kを用意しておき(調波の最大次数は矩形波波形を十分に表現できる範囲でとる)、振幅変調分だけ絶対値を増減し、位相変調分だけ調波次数に応じて偏角を増減する処理である。加算器33は入力される2つの信号を加算して逆フーリエ変換器34に出力する。逆フーリエ変換器34は入力される調波信号に対して逆離散フーリエ変換を行って離散的な時間領域信号に変換し、変換後の信号を、変調で扱ったフーリエ係数β
kの最大調波成分を通過させ、それ以外の周波数を阻止する低域通過ろ波する低域通過フィルタ35を通過させることで連続な変調信号b(t)を得る。
【0121】
図6は実施例2に係る送信信号処理回路110Bの構成例を示すブロック図である。情報シンボルの種類は有限なので、
図6に示すように、変調回路12Aの逆フーリエ変換器34で生成されるべき変調信号b(t)の波形をあらかじめ計算し、変調波形ROM41に蓄積しておいて、送信時はそれをDA変換により再生することでも同様の波形を作ることができる。
【0122】
図6において、変調回路12Bは、クロック発生器40と、変調波形ROM41と、DA変換器42と、低域通過フィルタ35とを備えて構成される。ビット分割回路11は入力されるデジタルデータ信号を所定のシンボルに対応する所定のビット長に分割し、パラレルデータの形で、ROM読み出しのベースアドレスとして変調波形ROM41に出力する。変調波形ROM41は、クロック発生器40からのクロックに応答してアドレスをインクリメントさせ、Tq時間分の時系列デジタルデータ信号として変調波形値(デジタル値)を読み出してDA変換器42及び低域通過フィルタ35に通過させる変調信号b(t)を発生する。
【0123】
図7は
図4Cの情報受信装置200により実行される情報受信処理を示すフローチャートである。
図7において、ステップS1でバックグラウンドの直流バイアス電圧を検出し、ステップS2において信号検出用プリアンブルを検出したか否かが判断され、YESのときはステップS3に進む一方、NOのときはステップS1に戻る。ステップS3において、部分同期動作のときはプリアンブルに基づいて位相差δを検出し、ステップS4において受信したデータ信号を復号し、ステップS5において受信したFCSに基づいてオプションの誤り検出/訂正処理を行う。さらに、ステップS6で復号データを出力する。ここで、ステップS2〜S5を通じて、受信で使用したシャッター開度ηを参照しながら、式(2)ないし式(3)に基づいてシャッター開度補正をほどこす。
【0124】
図7の情報受信処理のステップS3の、プリアンブルからの位相差δの抽出について詳述する。プリアンブルでは基本的に同一シンボルを繰り返し送信している。情報送信装置100からのプリアンブルを、位相差δをともなって受信した場合、動画カメラ21からの3フレームずつのフレーム出力信号c
1,c
2,c
3も同一内容の繰り返しとなる。それを
図7の情報受信処理にもとづいて受信処理すれば、受信信号処理回路210の信号分離回路23から出力される角度∠C1は、既知のプリアンブルシンボルの角度∠C
1の情報である角度∠P
1を2πδだけ移動させたものとなっている。よって位相差δを次式で求めることができる。
【0126】
この式でδ<0となってしまった場合は、δ’=δ+1により、0≦δ<1の範囲に修正する。δは情報送信装置100と情報受信装置200のタイミングずれに相当するが、それを補正することで部分同期動作でも同期通信が可能となる。受信信号処理回路210の信号分離回路23からの出力信号のうち、毎シンボルについて出力角度∠C1を、∠C1−2πδと修正したのちに照合回路26で照合処理を行うことで、情報送信装置100と情報受信装置200との間のタイミングずれδを補正し、タイミング同期をとりつつ受信できる。もし動画カメラ21の撮像素子が、外部信号でシャッターリリース時刻を修正できる機構を持っていれば、このように検出した位相差δを動画カメラ21にフィードバックし、パケットのデータ部を完全同期動作で受信することができる。
【0127】
図8は
図4Bの変調回路12により水平面8ビット及び垂直軸3ビットでQAM変調された変調信号(m=3)の3次元コンステレーションを示す斜視図である。すなわち、
図8はこれに沿って、実験的に本システムで可視光通信の送受信実験をした結果をシンボルのコンステレーションで表示したもので、20Hzの仮想正弦キャリアに対し行った256QAMの信号を完全に復号できている。さらに、直流分の軸方向にも3ビット8レベルの変調をかけているので、256QAMが8層に積層したm=3次元のコンステレーションになっている。総合してシンボルあたり11ビットの伝送を誤りなく実行できていることがわかる。1/20秒で1シンボルの伝送をしており、またシンボルあたり2048値つまり11ビットの伝送をしているので、伝送速度は20×11=220bpsである。これは従来報告されているものより格段に高性能である。
【0128】
一般のm周期法による通信.
m=4すなわち偶数の4周期法では2fqに相当するスペクトル成分が加わるが、ナイキスト周波数は直流と同様に実数分のみもつスペクトルとなって、コンステレーションを4次元空間に配置できることになる。さらに一般のm周期法では、m次元空間にシンボルの情報ビットを配置できる。
【0129】
交流キャリアの位相と振幅に情報を乗せるのは無線通信で行われるOFDM(Orthogonal Frequency Division Multiplexing)の原理であるが、その場合、独立に使用できる軸の数はキャリア数の2倍であった。光学通信ではそれに加え、直流軸及び(mが偶数の場合生じる)ナイキスト周波数軸にも情報を乗せることができる。いま例として解説している完全同期動作の可視光通信では、仮想正弦波を使う通信で、m次元の全数のスペクトルに情報を乗せ、最も効率のよい通信を実施できる。
【0130】
ただ、「部分同期動作」の通信システムでは、ナイキスト周波数の軸の使用は注意を要する。ナイキスト周波数軸は直流軸と似て、実数値をとり、そのキャリアに振幅変調をかけることができる。しかし送受信機の間で、発光タイミングとシャッタータイミングに位相差δがあると、ナイキスト周波数キャリアの信号は位相差δの影響を受け、その値を増減させる。これは直流キャリアに乗せた情報は位相差δの影響を受けないのと対照的である。位相差δの値によっては、ナイキスト周波数キャリアの検出が困難となる場合もある。よって部分同期動作のシステムにおいてはナイキスト周波数キャリアを情報伝送に積極的に使用するのは得策でない。ただしナイキスト周波数キャリアは位相差δに反応する性質はタイミング同期に有用である。それをパケットのプリアンブルに配置すれば、
図7のフローチャートのS3において、復号されたナイキスト周波数キャリアの信号レベルを調べることにより、容易に位相差δを検出することができる。
【0131】
図9は実施例3に係る送信信号処理回路110Cの構成例を示すブロック図である。
図9は、多数キャリアを使う場合の変調波形生成について説明するための図であって、逆フーリエ変換を使って、周波数領域で波形合成する場合の構成図である。
図9において、送信信号処理回路110Cは、ビット分割回路11と、変調回路12Cとを備えて構成される。ここで、変調回路12Cは、直流分バイアス変調器31と、QAM変調器32−1〜32−((m−1)/2)と、振幅変調器32−(m/2)と、加算器33と、逆フーリエ変換器34と、低域通過フィルタ35とを備えて構成される。ここで、振幅変調器32−(m/2)はmが偶数であるときに設けられる。
【0132】
図9において、ビット分割回路11は入力されるデジタルデータ信号をビット分解することで、使用する周波数スペクトルの位相、振幅及び直流と、必要ならナイキスト周波数軸に情報ビットデータを割り振る。そのビット数はσ
0,σ
1,σ
2,…,σ
m/2であり、シンボルあたりσ(=σ
0+σ
1+σ
2+…+σ
m/2)ビットの情報を伝達する。直流分バイアス変調器31は入力されるビットデータ(σ
0ビット)に従ってバイアス変調を行って加算器33に出力する。QAM変調器32−1は入力されるビットデータ(σ
1ビット)に従って、
図5のQAM変調器32の動作と同様に、周波数fp/mのキャリアを用いてQAM変調を行って変調信号を加算器33に出力する。QAM変調器32−2は入力されるビットデータ(σ
2ビット)に従って、周波数2fp/mのキャリアを用いて、
図5のQAM変調器32の動作と同様に、QAM変調を行って変調信号を加算器33に出力する。QAM変調器32−3〜((m−1)/2)は以下同様にQAM変調を行って変調信号を加算器33に出力する。mが偶数のときに設けられる振幅変調器32―(m/2)は入力されるビットデータ(σ
m/2ビット)に従って、周波数(m/2)fp/mのキャリアを用いてQAM変調を行って変調信号を加算器33に出力する。
【0133】
図9においては、変調器31〜32−(m/2)により得られた周波数領域の変調信号を逆フーリエ変換で時間空間に変換し、低域通過フィルタ35で補間することで、変調信号b(t)を得て、LED14を変調して送信する。符号シンボルの種類が有限個であれば、あらかじめその計算を行い、十分高いサンプリング周波数でサンプリングし、変調波形ROMに格納してもよい。その場合、この情報送信装置はROMから信号の時間波形を読み取り、DA変換して送信することになる。情報受信装置は照合するスペクトルの種類は増加するが、基本的にm=3の場合であった
図2と同様の動作でよい。
【0134】
ガードフレームの挿入(3+1周期法).
これまでの動作の説明は、光源の変化と動画カメラのシャッターリリース時刻の一致している「完全同期動作」で行った。しかし、市販の動画カメラはシャッターリリース時刻の微調整機能をもたないものが一般で、両者の動作位相は一致させることは困難で、「部分同期動作」を考慮しなければならない。例えばm=3の部分同期動作で3フレーム長の信号を受信すると、発光とシャッターの位相差δ≠0の影響で、撮影3フレーム目の途中でシンボル符号が切り替わってしまう。3フレーム目は2種のシンボルの複合したものを撮影しており、つまり信号切り替わりを撮影した破損フレームとなり、これを使っては正常な復号はできなくなる。
【0135】
これを避けるため、m=3にもかかわらず、4フレーム目に相当する信号を送出する。その冗長な4フレーム目をガードフレームと呼ぶことにする。ガードフレームには、変調信号b(t)として第1フレーム目の時間区間に送信したものと同じ波形を繰り返して送信する。部分同期動作の4フレーム目では、依然としてシンボルの切り替わりを撮影してしまい、破損フレームとなる。しかしそれは廃棄しても、受信者は正常な3フレームを得られる。こうすれば符号切り替わりの破損フレームを避け、必ず正常な3フレームを選出し、復号できる。これを「3+1周期法」と名付ける。
【0136】
ガードフレームは情報伝送には冗長であり、その挿入により、3周期法の実施例での情報伝送速度220bpsは、その3/4である165bpsに低下する。
【0137】
ガードフレームは、無線のOFDM通信システムにおいて、符号切り替わり部がマルチパスの重畳で壊れているのを避けるため挿入しているガードインターバルと同様の機能をもつため、それにちなむ命名である。ガードフレーム挿入により、3周期法は3+1周期法へと修正される。ガードフレーム挿入は光源とカメラを「部分同期動作」で使うのに適当な手法で、新規な発明である。
【0138】
ガードフレームを使用する場合のパケットのプリアンブルについて補足する。プリアンブルは通常同一シンボルの連続送信であるため、その中でシンボルの切り替わりは生じず、破損したフレームを受信することはない。そのため3+1周期法のガードフレーム挿入は、パケットのデータ52とFCS53(
図1)に対してのみ行い、プリアンブルは3周期法のまま送出してよい。上述した手法(
図7)で情報送信装置と情報受信装置間のタイミング位相差δを検出できる。あるいは、プリアンブルにもあえて3+1周期法を適用することもできる。この場合、連続シンボル送出をしているプリアンブル部のみ、4周期波形として扱うことができ、偶数周期なのでナイキスト周波数キャリアが検出される。そこで上述のナイキスト周波数キャリアにもとづくタイミング位相差の検出(
図7)を実施できる。
【0139】
フリッカーの低減.
可視光通信は光源の強度を変化させて行うが、場合によるとその強度変化を肉眼でも見ることになる。デジタルサイネージなどでこの発明による可視光通信を行う際は、通信の信号光源面積は小さくてよく、フリッカーはあまり問題とならないが、部屋の主照明にこのような変調をかけて可視光通信を行うと、現場にいる人はたいへん不愉快なフリッカーを経験することになる。仮想正弦波の性質を使うと、フリッカーを低減した変調を行うことができる。
【0140】
疲労試験のフリッカーテストの結果を援用すれば、フリッカーとして肉眼に見てとれるのは、おおむね50Hz以下の周波数成分である。仮想正弦波の通信は、変調光源のスペクトルを、折り返しノイズの効果で低い周波数に変換したものである。よって、物理的な低周波成分を含まない変調光で、肉眼でフリッカーを確認できないものでも、仮想正弦波として直流を含む情報搬送波を得られるよう、変調信号を合成できる。フリッカーを低減しつつ、大きなシャッター開度で感度よく、ノイズの少ない状態でカメラを使って可視光通信できることも、本発明に係る実施形態1のもたらす特有の効果である。
【0141】
フレームレート60fpsのm=3の通信では、仮想正弦波として、直流成分のフーリエ係数C
0と交流周波数20Hzのフーリエ係数C
1というスペクトル成分を使い、通信する。これらは直接送信すれば、いずれもフリッカーとして肉眼に見えるものとなる。しかし本発明に係る実施形態1の通信は、高い周波数成分がビデオフレームのサンプリングで周波数変換されることを前提としているので、送信は物理的に高い周波数キャリアで行い、フリッカーを認知させないようにしておいて、受信はそれが折り返し雑音で変換された直流成分のフーリエ係数C
0と交流周波数20Hzのフーリエ係数C
1で行うことができる。
【0142】
情報送信装置で使用するスペクトル値は例えばζ
0(直流)、ζ
1(120Hz)、ζ
2(140Hz)であるものとする。スペクトル値ζ
0とζ
1はフレーム周波数60Hzの整数倍であるので、情報送信装置にとっては、いずれも直流として検出される。スペクトル値ζ
2の周波数は60で割ると20Hz余る周波数であるので、情報受信装置にとってはフーリエ係数C
1の20Hzスペクトルとして検出される。
【0143】
情報伝送はスペクトル値ζ
1とζ
2を直流及び20Hzキャリアとして扱い、これを情報ビットで変調して行う。ただし、LEDの発光は負の値にはできないため、全符号語について、その振幅値が負になることのないよう、一定のバイアス値ζ
0を加える。このバイアス値ζ
0は送信の全過程で一定値なので、フリッカーにならない。また、スペクトル値ζ
1とζ
2は、正常な人のフリッカー検出限界を超える周波数なので、フリッカーにならない。よって、このように設計した符号語を使えば、フリッカーを軽減した通信を実現できる。
【0144】
以上の実施形態1において、スマートフォン400について説明しているが、本発明はこれに限らず、スマートフォン400に代えて、パーソナルコンピュータなどの電子機器に適用してもよい。
【0145】
実施形態2.
実施形態2に係る発明について、実施形態2の一部の構成を実施形態3及び4において用いるためにここに開示する(例えば、特許文献7参照)。実施形態2では、市販の一般的なCMOSカメラを使用しつつ、従来技術に比較して短時間でしかも高精度で同期タイミングを検出することができる同期タイミング検出システム等を開示する。まず、本発明に係る実施形態2が解決しようとする問題点及び目的について以下に説明する。
【0146】
電波や音波を使用し、移動端末と位置のわかったビーコンとの間の伝搬遅延時間を測定すれば、伝搬速度を既知として距離がわかり、多点測量により移動端末の座標値を決定できる。屋外ではマイクロ波を使用し、衛星をビーコンとしたGNSS(Global Navigation Satellite System:GPSに代表される衛星測位システム)の利用が普及しているが、その電波の届かない屋内では、音波を使用したシステムの使われることが多い。音波としては非可聴の超音波や、利用者に不快感を与えない高域可聴音などの使用が提唱されている。
【0147】
近年、スマートフォンやタブレット端末のようなスマート端末(多機能端末)の一般化により、屋内においてその位置を精密に計測し、建物内の案内など、位置に依存するサービスを提供したいという要望が多い。それらスマート端末は可聴音域のマイクロホンを装備していることから、15kHz〜22kHz程度の高域可聴音の音波を使うと、特に付加装備なしに、また測定音響で使用者を煩わせることなしに、多点測量による測位を実施できる。
【0148】
伝搬遅延に基づく多点測量の原理にはTDoA(Time Difference of Arrival)とToA(Time of Arrival)の2種がある。TDoA計測はビーコン系と被計測スマート端末の間に時刻同期の成立していない場合に採用される方式で、三次元計測なら、その三次元座用(x,y,z)に加え、時刻tも未知数として扱う。そのため未知数の総数に対応し最低4台のビーコンを使用する。また、ToA計測は両者の時刻同期の成立している場合に採用される方式である。全システム要素は共通の時計をもち、スマート端末はビーコンからいつ音波が発信されるかを既知とする。よって音波到着の時刻からその伝搬時間を直接に抽出でき、三次元計測には未知数(x,y,z)と同数の3台のビーコンがあればよい。
【0149】
TDoAとToAの計測性能上の優劣は、単に必要ビーコン数だけではない。計測原理から、TDoAではスマート端末の位置を、固定ビーコンを焦点とする双曲線の交点として求める。それに対しToAでは固定ビーコンを中心とする円の交点として求める。両者の幾何学的性質の違いから、TDoA計測は計測精度が計測信号源の方向(距離方向)で劣化する現象が知られている。TDoA計測を行っているGNSSを使うカーナビで、経度緯度情報は比較的良好だが、高度情報は対して大きな誤差を伴うことは周知である。
【0150】
発明者の予備実験では、17kHz程度の高域可聴音を使ったスマート端末の測位で、ビーコンから数メートルの距離において、ビーコンの横方向(アジマス方向)では2.5cm程度であった計測精度が、ビーコンに対する距離方向(レンジ方向)では20cm程度と10倍ほど悪化した。もしスマート端末とビーコンで時刻同期が成立していれば、ToAによる計測をでき、同一の条件で、レンジ方向においてもアジマス方向と同程度の精度での計測を実施できたものと考えられる。
【0151】
ToA計測を実施するためには、スマート端末とビーコンシステムの間の時刻同期機能を準備するが、時刻同期精度が悪いと位置計測精度はそれに起因してかえって劣化する。もし測位システムとしての精度目標を数センチメートルにとり、同期精度はそれに大きな影響を与えない数ミリメートル程度に抑えようとすれば、空気中の音速と勘案して、時刻同期機能は10マイクロ秒内外の精度で時刻同期を行わなければならない。
【0152】
発明者らはかつて、その精度要求を満たす測位用同期システムとして、PC間の時刻同期プロトコルを利用したNTP方式を提案した(特許文献4参照)。しかし、NTP方式では移動端末のクロック周波数を通信により推定し、それをシステム側と合わせる処理を行うため、同期成立まで、数分間〜数10分間の同期通信を行う必要があった。また割り込みの伴うソフトウェア処理をするため、情報処理の時間遅れに不定さが伴い、精度を劣化させる。それを低減するためにも一定時間の通信による統計的平均化を必要とした。これらのことから、スマート端末のような、その場ですぐ計測を開始する要求のある場合には使用が困難であった。
【0153】
図10は本発明の実施形態2に係る測位システムの構成を示すブロック図である。
図10において、実施形態2に係る測位システムは、送信装置600と受信装置700とを備えて構成される。ここで、送信装置600は、変調光源501と、変調光源501の近傍において(実質的に同一の位置において)互いに所定の距離だけ離隔された例えば3個のスピーカS501,S502,S503と、変調光源501及びスピーカS501〜S503の動作を制御する計測コントローラ502とを備えて構成される。受信装置700は、ローリングシャッター効果を有するCMOSビデオカメラ(なお、ローリングシャッター効果を有するビデオカメラであれば、CMOSカメラでなくてもよい)504及びマイクロホン505を備えた被測定スマート端末装置503(例えば、スマートフォンである)を備えて構成される。実施形態2に係る測位システムは、変調光源501からの変調光と、スピーカS501〜S503からの音響信号に基づいて、被測定スマート端末装置503によりそれらを受信して同期タイミングを検出した後、各スピーカS501〜S503から被測定スマート端末装置503までの距離を測距し、それらの距離に基づいて被測定スマート端末装置503の位置を測位することを特徴としている。すなわち、実施形態2に係る測位システムは、同期タイミング検出システム及び測距システムを含む。
【0154】
本発明の実施形態2では、前記のTDoA方式における問題点を回避するため、変調光源501から変調光を生成し、それを被測定スマート端末装置503のCMOSビデオカメラ504で観測することにより当該システムの時刻同期を行うものである。被測定スマート端末装置503は動画撮影用の一般的なCMOSビデオカメラ504を備えており、当該CMOSビデオカメラ504を用いて光学的手法による時刻同期をすることが期待できる。また、CMOSビデオカメラ504は音響計測と同時に使用できるため、ToA計測にもとづく測位を付加機構なく実施するのに適している。その一方で、CMOSビデオカメラ504の撮像素子は、毎秒60フレームなどの速度で動画を記録するので、単にフラッシュ的な発光を使用したのでは、フレーム周期である16ミリ秒程度の時間分解能しか得られず、測位に必要な10マイクロ秒程度の同期精度は達成できなかった。
【0155】
実施形態2では、撮像素子のフレーム周期を超える時間分解能を得るため、撮像素子のローリングシャッター歪みを利用する。近年、スマート端末を含め民生用のビデオカメラの撮像素子にはCMOS撮像素子が広く採用されている。感度特性や解像度、コストなどで有利なためであるが、高速で動く物体を撮影した場合、ローリングシャッター歪みという現象が発生することが知られている(例えば、特許文献5参照)。これは、CMOS撮像素子はフォトダイオードを横方向のライン毎に駆動し、上下のラインで駆動タイミングをわずかにずらしているため、4角形の水平移動物体を撮影したとき、ライン毎にずれた時刻で記録され、平行四辺形にゆがんだ形で撮影されてしまう現象である。実施形態2はこのCMOS撮像素子固有の特性を逆に利用し、特定の波形で強度変調した照明光を用い、高精度な時刻動機を得ることを特徴としている。
【0156】
変調光源をフレームレートf
p(フレーム周期T
p=1/f
p)、ライン数Nのローリングシャッター方式のCMOS撮像素子で録画した場合、画面に記録される画像(濃淡)について説明する。説明では簡単のため広い領域で均一に発光する面光源が所定のタイミングで変調されており、それを撮像素子の全記録領域で記録した場合について記載する。
【0157】
光源は撮像素子のフレームレートのm倍の周期で周期的に発光しているとし、その時間波形をb(t)とする。またその複素フーリエ係数をβ
kとする。すなわち、次式を得る。ただし、mは2以上の整数である。
【0159】
ここでは、b(t)の周期性を仮定しているが、mを大きくとることで広い範囲のb(t)に対応できる。
【0160】
この光源を上記の撮像素子で撮影した場合、光源は十分大きいという仮定により、撮像素子の像の各ラインは横方向で濃淡の差はなく、縦方向でのみローリングシャッター効果で生じる濃淡変化がある。変調光源の周期性の仮定から、記録される画像はmフレームを周期にくりかえすので、mフレーム分の画像を縦につなぎ、M=mNラインの撮像素子であるかのように考える。Mラインの記録画像のμライン目の明るさをCμと書くことにする。
【0161】
現在市販されている撮像素子のように、Nが十分大きければ、そしてその結果Mが十分大きければ、x=(μ−1)/Mなるパラメータで画素
の縦方向は連続的として表記してもよく、するとCμを連続化したC(x)は複素フーリエ級数γ
kに展開でき、すなわち次式を得る。
【0163】
ここで、aはカメラや撮像素子の感度を表現する係数である。また、C(x)は変調光源b(t)の輝度変化について、それをローリングシャッター効果を介して記録しており、両者の関係は複素フーリエ係数により次式を得る。
【0165】
この関係を用いて、変調光源b(t)の波形の特徴部を、カメラに記録された濃淡Cμの対応する特徴部として抽出でき、変調光源の特定の波形送出タイミングを撮像素子に記録された濃淡から抽出できる。これが変調光源とローリングシャッター効果をもつ撮像素子を利用したタイミング検出システムの原理である。
【0166】
以上、十分大きな面光源を変調光源とした場合について説明したが、領域の限られた光源、あるいは面光源を複数の点光源で構成した場合についても、Cμの空間分布にそれに対応するマスクがかかったものと考えると、同様に複素フーリエ係数の関係が成立し、本実施形態2に係る方式のタイミング検出を実行できる。光源の変調パターンはスペクトルが既知であればよく、送信装置と受信装置は一体で設計されたものでも、独立に設計されたものでもよい。なお、変調光源はシステム外部のものであってもよい。
【0167】
実施形態2では位相同期ループ(PLL)ないしそれに伴う位相比較・シーク動作を用いておらず、従って変調光の用い方もそのようなシステムとは異なっている。特許文献6の発明では、システム全体のクロックの持続的同期を目的としているが、実施形態2は測位のための音波発生の単一タイミングをとることを目的としており、同期の意味が異なる。特許文献4の発明では、同期の信号波形のみからは音波発生の特定タイミングを知ることはできない。また、特許文献6は同期手法としてPLLを用いる関係で、ループ中にローパスフィルタ(LPF)を持ち、同期成立のセトリング時間を長引かせる。実施形態2ではPLLを使わず、代わってCMOSビデオカメラの撮像素子のローリングシャッター機構に時間分解を行わせることで、汎用品の低速撮像素子を使っても迅速で正確な同期を成立させる。PLLの場合、長時間の同期維持をしても、依然としてループゲインに対応する残留位相誤差を持つ。またその誤差を減らそうとしてループゲインを上昇させるとループ安定性の確保が困難となる。実施形態2は観測時間の延長によって、統計処理により理論上いくらでも同期誤差を低減させることができる。また、特許文献6の発明では、持続同期のためフレームレートを変化させられる特殊撮像機構を想定するが、実施形態2ではそのようなものは必要ない。
【0168】
次いで、実施形態2に係るシステムを音響測位システムとして使用する場合の構成及び動作について以下詳述する。
【0169】
図10において、送信装置500の計測コントローラ502は、特定のクロックによるタイミングに基づき、変調光源501及び例えば3個のスピーカS501〜S503の動作をあわせて制御する。ここで、スピーカS501〜S503は変調光源501の実質的に同一の位置であって互いに所定の距離だけ離隔されて配置される。被測定スマート端末装置503は、本測位システムによりその座標位置を求めようとする移動端末装置であり、通常、利用者が携行しつつ送信システム付近に持ち込むことを想定している。これは同時に複数あってもよい。被測定スマート端末装置503はローリングシャッター動作をするCMOSビデオカメラ504とマイクロホン505を備えており、また測位処理のための信号処理機能を有する。
【0170】
被測定スマート端末装置503は以下に述べるアルゴリズムにより、変調光をビデオカメラ504で観測することで、スピーカS501〜S503から複数の音響信号の送出されたタイミングを知る(タイミング同期)ことができる。また、マイクロホン505により、伝搬してきた複数の音響信号の受信された時刻を知り、その時間差から各音響信号の伝搬時間を得る。これに音響信号(音波)の伝搬速度を乗じることでスピーカS501〜S503と被測定スマート端末装置503との間の距離を得る(
図13の計測処理部508)。座標位置を既知とする3台のスピーカS501〜S503からの各距離を計測することで、(x,y,z)の3未知数の方程式を解くことができ、被測定スマート端末装置503の3次元位置を求められる(
図13の計測処理部508)。
【0171】
なお、座標位置を既知とする2台のスピーカからの各距離を計測することで、(x,y)の2未知数の方程式を解くことができ、被測定スマート端末装置503の2次元位置を求めてもよい。
【0172】
また、変調光によるタイミング同期を行うことで、到来時間(ToA)に基づく測位が可能となる。スピーカ数を4台とすれば、当該システムのタイミング同期をとることなく、到来時間差(TDoA)による測位をできるが、余剰なスピーカS501〜S503の設置を必要とし、また一般にTDoA測位は、音源への距離方向において計測精度の悪化する欠点をもつ。実施形態2に係る測位システムは変調光源のタイミング同期機能を導入することで、その欠点を回避している。
【0173】
図11は
図10の計測コントローラ502の構成を示すブロック図である。
図11において、計測コントローラ502は、タイミング制御回路515と、発光駆動信号派生ROM510と、3個の音響信号発生ROM511,512,513と、4個のDA変換/ドライバ520,521,522,523とを備えて構成される。計測コントローラ502は、複数のLEDが例えば格子形状で配列されてなる変調光源501と、3個のスピーカS501〜S503との動作を制御する。変調光源501の発光駆動信号の変調パターンは発光駆動信号発生ROM510に格納されており、音響信号の各波形は音響信号発生ROM511〜513に格納されており、タイミング制御回路515からのクロックに基づいて各ROM510〜513から周期的に読み出されて発光駆動信号及び音響信号が発生される。発光駆動信号発生ROM510からの発光駆動信号は例えばパルス形状を有し、DA変換/ドライバ520によりDA変換及び増幅された後、変調光源501に入力され、変調光源501を駆動する。これにより、変調光源501から変調光が放射される。また、音響信号発生ROM511〜513からの各音響信号はそれぞれ例えば所定の時間期間であって各周波数(後述するFDM方式では、3つの異なる周波数f1,f2,f3;TDM方式のときは例えば同一の周波数f0)を有し、DA変換/ドライバ521〜523によりDA変換及び増幅された後、スピーカS501〜S503に入力され、スピーカS501〜S503を駆動する。これにより、スピーカS501〜S503から所定の音響信号が放射される。
【0174】
図12は
図11の計測コントローラ502の動作を示す各信号のタイミングチャートである。
図12は変調光と音響信号の放射タイミングの一例を示しており、この例では変調光は簡単のためONとOFFの2状態のみを使用し、矩形波で駆動している。t1,t2,…,t8が基本タイミングであり、当該基本タイミングt1〜t8の1セットが繰り返して発生し、各基本タイミングt1〜t8からの所定の周期Tp(各基本タイミング間の時間期間をいう。なお、実施形態2において、発光駆動信号の周期はm=2にとり2Tpとしている(
図12及び
図14参照))を被測定スマート端末装置503のビデオフレームレートに等しく選んで設定される。ビデオカメラ504で一般的なフレームレートは59.94Hz(周期Tp=16.683ms)なので、例えばそのように設定する。また、各音響信号は変調光のタイミングにあわせ、例えば基本タイミングt1の立ち上がりで発生させる。被測定スマート端末装置503では、スピーカS501〜S503からの周波数が異なる各音響信号を例えばバンドパスフィルタ(BPF)を用いて弁別する必要があるが、例えばFDM(周波数分割多重)方式で、異なる周波数f1,f2,f3の音響信号を各スピーカS501〜S503から送出する。
【0175】
なお、変形例では、TDM(時分割多重)方式で、同一の周波数f0を有する音響信号を、基本タイミングt1,t3,t5などの立ち上がりにあわせて各スピーカS501〜S503を駆動してもよい。
【0176】
変調光の明滅を複数回行うことで、あるいは音響信号の生成を繰り返すことで、被測定スマート端末装置503において、統計処理により同期タイミング検出精度を向上させ、また距離検出精度を向上させることができる。そのためこの例では、基本タイミングt1〜t8の動作を所定の周期で繰り返して行わせている。なお、基本タイミングt7,t8で明滅パターンを変更しているのは、繰り返しのフレーム構造(音響生成タイミング)をスマート端末装置503に伝達するためであるが、必要なければこの変更を置かなくてもよい。
【0177】
図13は
図10の被測定スマート端末装置503の構成を示すブロック図であり、
図14は
図13の被測定スマート端末装置503の動作を示す各信号のタイミングチャートである。
図13において、被測定スマート端末装置503は、CMOSビデオカメラ504と、マイクロホン505と、AD変換器506と、同期タイミング抽出処理部507と、計測処理部508と、ディスプレイ509とを備えて構成される。なお、同期タイミング抽出処理部507及び計測処理部508は、例えば被測定スマート端末装置503のCPU(コンピュータの制御装置)により実行されるアプリケーションプログラムで構成される。
【0178】
図13において、CMOSビデオカメラ504は変調光源501からの変調光を受信し、受信した変調光に基づいて、ビデオフレームを走査線数Nラインでスキャンしたビデオストリーム信号と、ラインスキャンの繰り返しタイミング(垂直同期信号)を示すフレームストローブ信号Fとを発生し、前者のビデオストリーム信号を同期タイミング抽出処理部507に出力し、後者のフレームストローブ信号Fを計測処理部508に出力する。
図14に示すように、フレームストローブ信号Fの立ち上がりtfは、走査ライン1の測光開始タイミングtv1と一致しているものとする。同期タイミング抽出処理部507は、ビデオストリーム信号を解析することで、基本タイミングt1,t2,…,t8の立ち上がりタイミングと一致した測光開始タイミングtvkをもつ走査ラインkを求めることができ、その測光開始タイミングts(=tvk)を計測処理部508に伝える。
【0179】
スピーカS501〜S503からの各音響信号はマイクロホン505により受信されて電気信号に変換された後、AD変換器506によりAD変換された後、AD変換後のオーディオストリーム信号は計測処理部508に入力される。ここで、フレームストローブFの立ち上がりタイミングtfから時間期間Sだけ遅れたタイミングtsで送出されたことがわかることで計測処理部508により同期タイミングを検出でき、当該検出タイミングtsとマイクロホン505でとらえた各音響信号(タイミングtsよりも遅延して到着する)を比較し、音響信号の伝搬遅延時間を算出することができる。
【0180】
同期タイミング抽出処理の原理を示す
図14において、CMOSビデオカメラ504のCMOSイメージセンサは、各走査ラインの測光開始タイミングが走査ライン毎にずれた、ローリングシャッター動作をしているものとする。ライン1〜Nの撮像素子でとらえられた変調光源501の明るさ(画素値)は、撮像素子の変調光源501のオン/オフタイミングの位相により決定する。そのうちで、k番目の走査ラインの測光開始タイミングtvkが、変調光源501の明滅位相の開始タイミングtsと完全に合致すれば、このラインで観測した変調光の明るさは一番明るく(オンタイミング)、ないし暗く(オフタイミング)なる。計測処理部508は、上述のように各音響信号毎に各スピーカS501〜S503と被測定スマート端末装置503との間の距離を計測することで、(x,y,z)の3未知数の方程式を解くことができ、被測定スマート端末装置503の3次元位置を求められる。求めた3次元の位置は位置情報としてディスプレイ509に表示される。
【0181】
図15は
図13の被測定スマート端末装置503のCMOSビデオカメラ504により測定される変調光源501の明るさを示す画素値の時間波形を示す波形図である。
図15に示すように、ビデオフレームでとらえた変調光源501の明るさは、ライン位置に応じて、k番目のラインを頂点とする三角波の形状となる。
【0182】
直感的にわかりやすいよう、変調光源に矩形波を使用し、それが撮像素子では三角波として記録されることを説明したが、式(14)により複素フーリエ級数の関係で計算しても同様の結果を得られ、またそれを利用すれば、変調光源には特徴点を備えたより広い範囲の変調波形を採用できる。
【0183】
矩形波による説明に戻ると、その立ち上がりタイミングを特徴点として使用することで、それが三角波の折り返しタイミングすなわちk番目のラインの開始タイミングに対応させている。それは、フレームストローブ信号Fの立ち上がりタイミングtfにtvkまでの遅延時間Sを加えたタイミングであり、Sは(tvk−tf)で計算でき、ビデオのフレームレートTpに基づいて次式で表される。
【0185】
ここで、Nはビデオストリーム信号の最大ライン数である。kは整数値であるが、SN比の高い計測をすることで、あるいは統計処理により実効SN比を向上させることで、ラインごとの離散的な観測による明暗の三角波を連続的な直線で補間し、kを小数部をもつ実数値として求めることもできる。これは計測精度向上に寄与する。
【0186】
CMOSビデオカメラ504の動作モードによっては、
図15に示すように、フレームスキャンの測光動作で、ラインNとライン1の測光開始時刻の間にデッドタイムDが生じる場合がある。その時もデットタイムDは既知なので次式の修正式を用いればよい。
【0188】
ラインkの位置は、CMOSビデオカメラ504からの出力画像データに対し、三角波に対応する直線をフィッティングし、その交点として求めることができる。あるいは三角波を時刻方向にずらしながら乗じて相関処理し、その相関値のピークとして求めることができる。
【0189】
以上のように構成された実施形態2に係る測位システムによれば、従来技術に比較して短時間でしかも高精度で同期タイミングを検出することができる。また、上記同期タイミング検出システムを用いて、従来技術に比較して、短時間でしかも高精度で測距できる測距システムを提供できる。さらに、上記測距システムを用いて、従来技術に比較して、短時間でしかも高精度で測位できる測位システムを提供できる。
【0190】
以上の実施形態2では、同期タイミング抽出処理部507は、ビデオストリーム信号Fから上記光信号の立ち上がりタイミング又は立ち上がりタイミングを検出して当該検出タイミングを出力し、計測処理部508は、当該出タイミングをビデオストリーム信号Fの各ラインと比較することで、フレームストローブ信号Fを基準とする上記検出タイミングの時刻を、受信した音響信号の同期タイミングとして検出している。しかし、本発明はこれに限らず、音響信号を送受信せずに、計測処理部508は、当該出タイミングをビデオストリーム信号Fの各ラインと比較することで、フレームストローブ信号Fを基準とする上記検出タイミングの時刻を、例えば2つのカメラ間で光信号を送受信してシャッター同期のための同期タイミングなどの所定の同期タイミングとして検出してもよい。
【0191】
以上の実施形態2に係る発明の開示は、上述のように、実施形態2の一部の構成を実施形態3及び4において用いるために行った(例えば、特許文献7参照)。
【0192】
実施形態3.
次に、本発明に係る実施形態1の情報伝送システムを音響測位システムの一環として使用し、スマートフォン等の動画カメラ21で可視光通信を行いつつ、マイクロホンで音響測位信号を受信し、高精度な端末位置情報を同時に得る実施形態3について述べる。
【0193】
本発明の実施形態1に係る通信方式は部分同期動作では、情報送信装置と情報受信装置間の時刻差を検出し、時刻差が0になるように修正することで時刻同期をとることにより通信を行う。これにより情報伝達が可能となるが、その通信の成立した状態では、送受信装置間に高精度な時刻同期が得られている。
【0194】
一方で、位置のわかった複数のスピーカから音響を発生し、スマートフォン等のマイクロホンで受音して音響の伝搬遅延を計測することで、スマートフォンの位置を計測する音響測位応用がある。その際、音響発生の絶対時刻がわかっていれば、いいかえれば送受信装置間で時刻同期がとれていれば、そうでない場合に比べ少ない数のスピーカで測位を実施でき、また一般に高い精度の測位を行うことができる。スマートフォンなど最近の可搬端末は動画カメラとマイクロホンを備え、また動画撮影時にはマイクロホンも同時に動作させるため、音響と光学手法を併用する計測方法は合理的に実施できる。光学的な同期手法を併用することで音響計測精度を向上させる発明として、実施形態2に係る発明があった(例えば、特許文献7参照)。
【0195】
実施形態2に係る発明では時刻同期の発光はその目的のみに実施される形態であり、任意の情報を伝達する機能はなかった。また変調光源501の形態は面光源のみであり、実施形態1のような点光源(LED14)は使えなかった。しかし、実施形態1に係る発明によれば、送受信機間の情報伝達の成立した時点で両者の時刻同期も得られているため、通信を行いつつ音響測位を同時に実施して、実施形態2に係る発明に準じた高精度な測位を達成できる。また変調光源に面光源のみならず、点光源を用いる形態も許容される。
【0196】
実施形態2に係る可視光通信は光源を見通せる限られた空間がサービス対象であり、また音響測位もその音響の伝達する限られた空間を対象としていて、実施形態1に対して類似性がある。両者を同時に行えれば、複合的な、きめ細かい位置依存サービスを実行できる。
【0197】
図16は実施形態1に係る情報伝送システムにおいて同期通信を行ったときの同期精度を示すグラフである。
図16において、各測定箇所は実験室内、蛍光灯照明の室内などを含み、
図16から明らかなように、実施形態1に係る通信方式で通信を実施したとき、実験室内でも、また蛍光灯照明の室内でも、±50μs以内の同期精度が得られている。これは、空間音響の伝搬速度で換算した場合、伝搬遅延による距離計測原点を±15mm程度以内の精度で伝達できたことになり、多くの位置依存サービスにおいて十分な精度の基準点を与えることができる。
【0198】
図17は本発明の実施形態3に係る情報伝送システムの構成例を示すブロック図である。実施形態3に係る情報伝送システムは、実施形態1に係る情報伝送システムと、実施形態2に係る測位システムとを組み合わせた情報伝送システムであって、
図17に示すように、
図10の実施形態2に係る情報伝送システムに比較して以下の点が異なることを特徴としている。
(1)
図10の送信装置600に代えて、
図19の可視光通信音響測位コントローラ502Aを有する送信装置600Aを備える。ここで、
図19の変調光源501に代えて、例えば点光源である変調光源501Aを備える。
(2)
図10の受信装置700に代えて、
図20の受信装置700Bを備える。ここで、
図10のCMOSビデオカメラ504に代えて
図4Aの動画カメラ21を備える。実施形態2では、ローリングシャッター効果をもつCMOSセンサビデオカメラ504でのみ有効であったが、実施形態3ではカメラの種類は問わず、すべての動画カメラ12を使用できる。
これにより、同期通信方式の可視光通信と音響測位とを同時に実行する情報伝送システムを構成する。
【0199】
図17において、送信装置600Aの中央部に例えば点光源である変調光源501Aが設けられ、変調光源501Aを用いて同期通信方式の可視光通信を行う。変調光源501Aの周囲には、3次元測位を意図した場合の3台の測位用スピーカS501,S502,S503が設けられ、各スピーカS501〜S503の位置は既知とし、あるいはその座標情報を可視光通信により伝達してもよい。ここで、変調光源501A及びスピーカS501〜S503は可視光通信音響測位コントローラ502Aにより制御される。
【0200】
図18Aは
図17の情報伝送システムの送信装置600Aの動作を示すタイミングチャートであり、
図18Bは
図17の情報伝送システムの受信装置700Bの動作を示すタイミングチャートである。
【0201】
送信装置600Aは
図18Aのように、実施形態1に係るプリアンブル、データ及びFCSからなる可視光通信パケットを同期信号であるプリアンブルに同期して受信装置700Bに向けて送信し、また、送信装置600Aの可視光通信音響測位コントローラ502Aは実施形態2と同様に各スピーカS501〜S503を駆動し、測位用の音響信号を受信装置700Bに向けて送信する。
図18Aでは簡単化のため、音響信号の送信はパケットのプリアンブルと同時刻で送信するものとした。各スピーカS501〜S503からの音響信号は異なった周波数f1〜f3の搬送波を使い、受信時に周波数分割多重方式で識別する。なお、各スピーカS501〜S503からの音響信号の送信は可視光通信のパケットに対し既知の時間オフセットを伴って実行してもよく、その際、スピーカS501〜S503毎に別の時間オフセットを設定することで、時間分割多重により各スピーカS501〜S503からの音響信号の音波を識別してもよい。
【0202】
周波数分割多重方式を用いる場合、各スピーカS501〜S503からの音響信号は受信装置700Bのマイクロホン505には
図18Bのように受信される。すなわち、可視光通信の光信号は3×10
8m/sで伝搬するため、遅延なく到達するとみなしてよいが、音響信号はおおむね340m/sの速度で伝搬するため、相応の遅延時間を伴って受信される。光信号により確認した各スピーカS501〜S503からの音響信号の送信時刻からの遅延時間を(d
1,d
2,d
3)とした場合、音響信号の伝搬速度をcとして、各スピーカS501〜S503からの距離は(L
1,L
2,L
3)=c(d
1,d
2,d
3)である。スピーカS501〜S503の位置ベクトルをr
1,r
2,r
3とすれば、受信装置700Bの位置ベクトルRは理論上は次式の方程式の解である。
【0203】
|R−r
1|=d
1
|R−r
2|=d
2
|R−r
3|=d
3
【0204】
しかし、一般に計測距離は誤差を含むため、受信装置700Bの位置は次式の関係式
|R−r
1|=d
1+ε
1
|R−r
2|=d
2+ε
2
|R−r
3|=d
3+ε
3
(15)
において、誤差ε
2=ε
12+ε
22+ε
32を最小とするRとして求められる。ここで、|R−r
k|(k=1,2,3)は受信装置700Bの位置ベクトルRと各スピーカS501〜S503の位置ベクトルr
k(k=1,2,3)間のユークリッド距離である。
【0205】
図19は
図17の送信装置600Aの構成例を示すブロック図である。
図19において、送信装置600Aの可視光通信音響測位コントローラ502Aは、実施形態2に係る
図11の計測コントローラ502に比較して、発光駆動信号発生ROM510を、
図4Aの送信信号処理回路110で置き換えたことを特徴とする。その他の構成は
図11と同様である。
【0206】
図20は
図17の受信装置700Bの構成例を示すブロック図である。
図20において、受信装置700Bは、
(1)実施形態1に係る
図4Cの情報受信装置200(動画カメラ21及び受信信号処理回路210とを備える)と、
(2)実施形態2に係る
図13のマイクロホン505、計測処理部508及びディスプレイ509(位置情報の出力装置としては、プリンタ又は音声合成装置などの出力装置であってもよい)とを備えたことを特徴とする。
【0207】
図20において、音響信号の計測処理部508は動画カメラ201からのフレームストローブ信号のタイミングを、照合回路26からのカメラ(シャッター)位相差δ(フレームストローブ信号とプリンブル又は情報信号との位相差)で補正して音響信号の送信時刻を知り、それと受信信号のタイミングから遅延時間d
1,d
2,d
3を求め、式(15)により現在の受信装置700Bの位置を算出して表示する。従って、計測処理部508は、動画カメラ21からのフレームストローブ信号と、上記フレームストローブ信号と上記可視光信号内の信号との位相差δに基づいて上記受信された音響信号の同期タイミングを発生し、上記同期タイミングと,上記受信された音響信号の受信タイミングとの時間差から上記音響信号の伝搬時間を計算し、当該伝搬時間に音響信号の伝搬速度を乗算することにより、上記送信装置と上記受信装置との間の距離を計算する。
【0208】
ここで、実施形態3のための時刻同期効果をもたらす可視光通信方式として実施形態1を引用して説明したが、一般に同期式通信を採用する可視光通信方式であれば、内部クロックから見た受信タイミングのずれを位相差δとして送受信機間の時刻同期を得られ、実施形態3を実現できることがわかる。
【0209】
なお、フリッカーについては、実施形態1の「フリッカーの低減」の節で記述した方法を使うことにより、変調光源501Aの変調周波数を高い周波数に移行させて、可視光通信の際のちらつきを知覚されないようにすることが可能である。そうすることで変調光源として部屋の主照明器具なども使用できる。
【0210】
図21Aは
図17の送信装置600Aの構成例である、天井900から吊り下げられた直接照明器具901の構成例を示す斜視図である。
図21Aに示すように、例えば部屋の天井900から吊り下げられた照明器具901に複数のスピーカS501〜S503を組み込んで、可視光通信と音響測位を同時に実行させることができる。
【0211】
建物の照明器具は天井900に設置される場合があるが、その際、
図21Aのごとく天井900に設置し、受信装置700Bの被測定スマート端末装置503で音響測位させたのでは、被測定スマート端末装置503のカメラ機構を上方に向けさせることとなり、困難が伴う場合もある。これを解決するために、
図21Bの構成例を示す。
【0212】
図21Bは
図17の送信装置600Aの構成例である間接照明システム902の構成例を示す斜視図である。
図21Bに示すように、天井900から吊り下げられた変調光源501Aからの見通し範囲に反射拡散器501Rを置き、天井照明器具である変調光源501Aからの変調光を、反射拡散器501Rにより例えば概ね水平方向に反射させ、その反射光を被測定スマート端末装置503により撮影することで、ここで述べた可視光通信と音響測位の同時におこなうサービス形態をとってもよい。この形態の場合、反射拡散器501RはスピーカS501〜S503を埋め込んだ壁面などで代用してもよい。なお、反射拡散器501Rは反射機能と拡散機能の少なくとも一方の機能を有すればよい。
【0213】
以上の実施形態3においては、実施形態2の周波数分割多重方式を用いて音響信号を送信しているが、本発明はこれに限らず、実施形態2の時分割多重方式を用いて音響信号を送信してもよい。
【0214】
図21A及び
図21Bにおいては、照明器具901、照明システム902として説明しているが、本発明はこれに限らず、特に照明装置に限らず、その他の用途の装置にも適用してもよい。
【0215】
以上の実施形態3においては、点光源の変調光源501Aを用いているが、本発明はこれに限らず、
図10の面光源の変調光源501を用いてもよい。
【0216】
実施形態4.
図22は本発明の実施形態4に係る情報伝送システム800の構成例を示すブロック図である。
図22において、実施形態4に係る情報伝送システム800は、
図4Aの情報伝送システム300に比較して、以下の点が異なることを特徴としている。
(1)情報送信装置100として、例えば4個である複数個の情報送信装置100−1〜100−4を備える。
(2)複数個の情報送信装置100−1〜100−4に伝送情報データを出力する伝送情報データ発生回路801を備える。
以上の構成により、情報送信装置100−1〜100−4の光源であるLED14から実施形態1に係る情報伝送方式でそれぞれ識別用IDを送信し、受信装置であるスマートフォン400の動画カメラ21により撮影された画像に基づいて各光源の幾何学的配置の3次元位置を例えば数mm程度の測位精度で測位し、それに基づき撮影座標位置を決定することを特徴としている。以下、まず、3次元の位置と姿勢を推定して測定する測定原理について以下に説明する。
【0217】
同一平面上の既知の3次元位置を有する4つのLED光が観察された場合、カメラの3次元の位置及び姿勢の3次元位置を求めることができる(例えば、非特許文献2参照)。例えば4個のLEDiが測定点p
i=(x
i,y
i,z
i)(i=1,2,3,4)に配置されていることを仮定する。z
i=0は一般性を失うことなく仮定することができる。このとき次式を得る。
【0219】
ここで、sはスケーリングパラメータであり、(u
i,v
i)はカメラの画像平面上の測定点p
iに対応する点である。Aは、カメラの固有行列である。R=(r
1,r
2,r
3)は回転行列であり、tは並進ベクトルであり、Hは、ホモグラフィ行列である。オープンCVライブラリを使用することにより、Aはカメラの校正プロセスにおいて固定される。次いで、カメラの3次元位置と姿勢はR及びtを介して取得される。
【0220】
次いで、実施形態4の実験とその結果について以下に説明する。
【0221】
以下の2つの概念検証実験が行われた。
[実験1]3次元位置と姿勢の推定。
[実験2]データ転送エラーレート。
【0222】
実験に用いた装置構成を
図22に示す。LED14アレイのLEDとして、OptoSupply製OSB56A5111A型LEDを用いた。また、情報送信装置100−1〜100−4及び伝送情報データ発生回路801を、3個のNF社製WF1948型関数発生器で構成した。各LEDは識別のため、そのIDを通信情報に含めて送信している。送信する信号は実施形態1で、m=4にとったものにガードフレームを加えて、5ビデオフレームで1シンボルとなるように調整した。
【0223】
図23は
図22のLED14アレイの配置例を示す正面写真画像である。
図23に示すように、各LED14はその照明拡散を形成するために卓球ボールの中心に固定し、0.3mの正方形の各角部に配置した。動画カメラ21をポイントグレー製Flea3型カメラ(USB3.0、60fps、解像度1280×1024画素、グローバルシャッター)で構成した。さらに、受信信号処理回路210をパーソナルコンピュータで構成し、実験に必要なプログラムもインストールすることで、各LED14からの開始フレームを特定し、遅延時間を推定し、各LED14から転送されたデータを復号化した。
【0224】
図24は
図22の情報伝送システム800の実験例における複数の測定点P1〜P9とカメラ姿勢とを示す平面図である。また、
図25は実施形態4の実験結果である、各測定点P1〜P9における3次元位置及び姿勢の推定の平均誤差値と標準偏差を示す表である。
【0225】
図24及び
図25に示すように9個のカメラを測定点P1〜P9に配置した。LED14アレイは、床面から1.5mの高さで壁面に取り付け、その中心を座標原点に設定された。測定点P1,P4,P7のカメラはその撮影面が壁面に対して対向するように設けられた。残りの測定点P2,P3,P5,P6,P8,P9に配置されたカメラの姿勢は、
図24に示すように、その画角内にすべてのLED14が入るように設定された。
【0226】
カメラの3次元位置と姿勢は実験1で測定点当たり100回の測定を行った。実験2では、ランダムに生成されたNビットの整数について、測定点ごとに5120回データ転送を行い。ここで、Nは、8、9、10に設定した。データ転送性能は、式(16)を使用してカメラまでの遅延時間から正しい復号化の回数を計数することにより評価した。
【0227】
次いで、
図25〜
図27を参照して実験結果について以下に説明する。
【0228】
図25は3次元位置の誤差平均値と標準偏差を示し、提案する
図22の情報伝送システムによって姿勢を推定した。ここで、各軸での位置推定の絶対誤差平均値は0.165から42.7mmの範囲であったが、最大標準偏差は3.11mmであった。そのため、システム誤差を除去するための校正を行うことにより、位置決め性能を向上させることができる。1.98度未満であった姿勢の推定結果は誤差絶対値を意味する。また、標準偏差は0.0889度であり、ほとんどの屋内位置の認識アプリケーションのための許容可能であると考えられる。
【0229】
図26は実施形態4の実験結果である、3次元位置の推定誤差の累積分布関数を示すグラフである。
図26から明らかなように、3次元位置の推定の90パーセントの誤差が12.4から50.6mmの範囲であることが確認された。その実験結果から、カメラの位置や角度を推定性能にどのように影響するかを判断することは困難であると考えられる。
【0230】
図27は実施形態4の実験結果である、異なる測定点P1〜P9における符号化エラーレートを示すグラフである。
図27では、測定点を変更したときの符号化エラーレートを示している。提案する
図22の情報伝送システムは、常に、そのエラーレートが1.95×10
−4だった測定点P9を除いて8ビットの整数を受け取ることに成功した。
【0231】
ビット数を増加させることにより、誤りレートも増加した。エラーレートがカメラの位置及び姿勢に関連していることが
図27から明らかである。LED14アレイとカメラとの距離が長くなるか、それらがまっすぐに直面していなかった場合にはデータ転送性能が劣化すると考えられる。提案する
図22の情報伝送システムはほとんどエラーなしで8ビットの整数データを復号化ができるので、60fpsのカメラの5画像フレームと1個のLED14を用いたときのデータ転送速度は60/5×8=96bpsである。実施形態1の可視光通信方式としての高速性を活用し、既存のシステムよりも迅速な光学的測位を実現することができる。
【0232】
以上説明したように、実施形態4によれば、LED照明を使用して3次元位置の屋内測位と迅速なデータ転送のためのシステムを提案した。具体的には、情報送信装置100を既知の位置に複数設置し、既知の固有情報を送信させ、当該固有情報を情報受信装置であるスマートフォン400で受信し、当該受信内容から上記情報送信装置100を識別しつつ光学的に上記各情報送信装置100の見かけの幾何学的配置を知ることで、上記情報受信装置の存在位置を測位する。ここで、カメラ内蔵のスマートフォンと同様の性能を有するカメラを使用して、概念の実証実験を通じて、提案する情報伝送システムは、5画像フレームを用いたLED当たり8ビットのデータ転送を行って、最大3.11mmの標準偏差で90パーセントで12.4mm〜50.6mmの3次元測位の推定誤差を達成することが確認された。もし1シンボルで識別できる個数のLEDを使うなら、5ビデオフレームすなわち83ミリ秒で測位を行うことができ、動画カメラを用いた既存の測位システムより格段に高速である。この方式は純光学手法によるモバイルデバイスへの屋内位置認識サービスに展開可能である。
【0233】
実施形態のまとめ.
本発明に係る実施形態の要旨は以下のようにまとめられる。
(1)本発明に係る実施形態によれば、一定のフレーム周波数で撮影する動画カメラと、そのフレーム周波数の整数m分の1の波形の基本周波数をもつ変調発光光源からなる情報伝送システムにおいて、カメラで検出される信号にはm次元の直交する位相振幅の情報軸のあることを利用して行う光学的情報伝送システムを提供することができる。
(2)本発明に係る実施形態によれば、一定のフレーム周波数で撮影する動画カメラと、そのフレーム周波数の整数分の1の波形の基本周波数をもつ変調発光光源からなる情報伝送システムにおいて、受信に使用するカメラのシャッター開度に対応して、伝送信号の調波変化を予想し、復号条件を補正することで、広い撮影条件での情報伝送を可能とする光学的情報伝送システムを提供することができる。
(3)本発明に係る実施形態によれば、一定のフレーム周期で撮影する動画カメラと、そのフレーム周期の1以上奇数倍の時間に波形の基本周期をもつ変調発光光源からなる情報伝送システムにおいて、動画フレーム周期でサンプリングされた検出信号の交流の位相振幅に加え、直流成分にも伝送情報を付加して行う光学的情報伝送システムを提供することができる。
(4)本発明に係る実施形態によれば、一定のフレーム周期で撮影する動画カメラと、そのフレーム周期の2以上偶数倍の時間に波形の基本周期をもつ変調発光光源からなる情報伝送システムにおいて、動画フレーム周期でサンプリングされた検出信号の交流の位相振幅に加え、直流成分及びフレーム周期の1/2にあたるナイキスト周波数成分にも伝送情報を付加して行う光学的情報伝送システムを提供することができる。
(5)本発明に係る実施形態によれば、一定のフレーム周期で撮影する動画カメラと、そのフレーム周期のm倍の時間に波形の基本周期をもつ変調発光光源からなる情報伝送システムにおいて、発光とカメラの動作位相が一致していない場合、発光を基本周期mフレーム分にさらに1フレーム時間を付加し、第1フレーム時間目の伝送情報を繰り返させることにより、情報受信装置において送信波形の伝送シンボル切り替えタイミングを含むフレームを破棄しつつm個の有効受信フレームを確保する
ことができる。
(6)本発明に係る実施形態によれば、一定のフレーム周波数で撮影する動画カメラと、そのフレーム周波数の整数分の1の基本周波数をもつ変調発光光源からなる情報伝送システムにおいて、光源から生成されるフレーム周波数の整数倍の高調波成分は直流分と等価のものとして検出されることを利用し、通信にかかる物理的な直流分を一定とし、その高調波成分に直流で伝送すべき情報を分担させることで視覚的ちらつきを低減しつつ行う光学的情報伝送システムを提供することができる。
(7)本発明に係る実施形態によれば、同期式可視光通信と音響測位を併用して同時に実行するシステムが可能となる。
(8)本発明に係る実施形態によれば、光源から実施形態1に係る情報伝送方式でそれぞれ識別用IDを送信し、受信装置であるスマートフォンの動画カメラにより撮影された画像に基づいて各光源の幾何学的配置の3次元位置を例えば数mm程度の測位精度で測位し、それに基づき撮影座標位置を決定することができる。