特許 6183802 可視光受信方法及びその装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6183802

(24)【登録日】2017年8月4日

(45)【発行日】2017年8月23日

(54)【発明の名称】可視光受信方法及びその装置

(51)【国際特許分類】

   H04B 10/116 20130101AFI20170814BHJP

   H04B 10/67 20130101ALI20170814BHJP

   H04N 5/225 20060101ALI20170814BHJP

【ＦＩ】

   H04B10/116

   H04B10/67

   H04N5/225

【請求項の数】16

【全頁数】24

(21)【出願番号】特願2013-185386(P2013-185386)

(22)【出願日】2013年9月6日

(65)【公開番号】特開2015-15693(P2015-15693A)

(43)【公開日】2015年1月22日

【審査請求日】2016年7月14日

(31)【優先権主張番号】特願2013-118240(P2013-118240)

(32)【優先日】2013年6月4日

(33)【優先権主張国】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】513055539

【氏名又は名称】ユニバーリンク株式会社

(74)【代理人】

【識別番号】100076473

【弁理士】

【氏名又は名称】飯田 昭夫

(74)【代理人】

【識別番号】100112900

【弁理士】

【氏名又は名称】江間 路子

(74)【代理人】

【識別番号】100136995

【弁理士】

【氏名又は名称】上田 千織

(74)【代理人】

【識別番号】100163164

【弁理士】

【氏名又は名称】安藤 敏之

(72)【発明者】

【氏名】六車 博

【審査官】 後澤 瑞征

(56)【参考文献】

【文献】 特開２００９−１７１３９７（ＪＰ，Ａ）

【文献】 国際公開第２０１２／１２７４３９（ＷＯ，Ａ１）

【文献】 特開２０１４−２１２５０３（ＪＰ，Ａ）

【文献】 特表２０１４−５１５８９２（ＪＰ，Ａ）

【文献】 特開２０１３−２２３０４７（ＪＰ，Ａ）

【文献】 Christos Danakis 他，「Using a CMOS Camera Sensor for Visible Light Communication」，2012 IEEE Globecom Workshops，米国，２０１２年１２月 ３日，pp. 1244 - 1248

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｂ１０／００−１０／９０

Ｈ０４Ｊ１４／００−１４／０８

Ｈ０４Ｎ ５／２２５

(57)【特許請求の範囲】

【請求項1】

可視光通信用に照射される可視光を、撮像素子を有するカメラにより撮影し、該カメラが撮影した該撮像素子の画像データに基づき、該可視光に重畳して送信された情報信号を受信する可視光受信方法において、
前記カメラは、画素アンプ順次出力式撮像素子上に、該可視光を入射させて、光拡散画像を撮影し、
該画素アンプ順次出力式撮像素子は、画素の行または列ごとのタイミングで該行の画素または該列の画素に電荷を蓄積し、該各画素に蓄積された電荷に基づく信号を、各画素の画素アンプから各画素ごとのタイミングで順に出力し、
該撮影された光拡散画像中に、情報信号に基づく縞模様を、該画素の行方向または列方向に生じさせ、該縞模様の発生状態に基づき該情報信号を抽出し、且つ、該情報信号をフレーム単位で画像処理し、１フレーム内で複数サンプルの該情報信号を抽出し復調することを特徴とする可視光受信方法。

【請求項2】

可視光通信用に照射される可視光を、撮像素子を有するカメラにより撮影し、該カメラが撮影した該撮像素子の画像データに基づき、該可視光に重畳して送信された情報信号を受信する可視光受信方法において、
前記カメラは、画素アンプ順次出力式撮像素子上に、該可視光を入射させて、光拡散画像を撮影し、
該画素アンプ順次出力式撮像素子は、各画素ごとのタイミングで電荷を蓄積し、該各画素に蓄積された電荷に基づく信号を、各画素の画素アンプから各画素ごとのタイミングで順に出力し、
該撮影された光拡散画像中に、情報信号に基づき断続する断続模様を、該画素の行方向または列方向に生じさせ、該断続模様の発生状態に基づき該情報信号を抽出し、且つ、該情報信号をフレーム単位で画像処理し、１フレーム内で複数サンプルの該情報信号を抽出し復調することを特徴とする可視光受信方法。

【請求項3】

前記カメラは、画素アンプ順次出力式撮像素子上に、光拡散フィルターを通して可視光を入射させ、該可視光の光拡散画像を撮影することを特徴とする請求項１または２記載の可視光受信方法。

【請求項4】

前記光拡散フィルターとして、印加電圧に応じて光拡散と光透過を切り替えるフィルム液晶を使用することを特徴とする請求項１または２記載の可視光受信方法。

【請求項5】

前記カメラは、可視光の光路から集光用の光学系を外して、該画素アンプ順次出力式撮像素子上に、光拡散画像を入射させて該画像を撮影することを特徴とする請求項１または２記載の可視光受信方法。

【請求項6】

前記カメラの前記画素アンプ順次出力式撮像素子として、ＣＭＯＳイメージセンサーが使用されることを特徴とする請求項１または２記載の可視光受信方法。

【請求項7】

前記カメラで撮像され出力されるカラーの画像信号は、グレースケール変換を行ない、モノクロの画像信号に変換して輝度成分を抽出することを特徴とする請求項６記載の可視光受信方法。

【請求項8】

前記カメラで撮像され出力されるカラーの画像信号は、色信号毎に輝度成分が抽出されることを特徴とする請求項６記載の可視光受信方法。

【請求項9】

前記撮像素子の行方向に沿った各行線の画素から出力される輝度成分の平均値を算出して該各行線の輝度データを生成し、該輝度データを二値化して受信情報信号を抽出することを特徴とする請求項８記載の可視光受信方法。

【請求項10】

可視光通信用に照射される可視光を、撮像素子を有するカメラにより撮影し、該カメラが撮影した該撮像素子の画像データに基づき、該可視光に重畳して送信された情報信号を受信する可視光受信装置において、
該撮像素子の各画素で発生する電荷を各々の画素アンプで増幅し、該各画素アンプから順に信号を出力する画素アンプ順次出力式撮像素子と、
該可視光を拡散光に変えて該カメラの撮像素子に入射させ、該撮像素子上に縞模様を生じさせる光拡散フィルターと、
該光拡散フィルターを通して該撮像素子上に生じた可視光の縞模様を撮影する撮影手段と、を備え、
該撮影された光拡散画像中に、受信した該情報信号に応じた縞模様を、該画素の該行方向または列方向に生じさせ、該縞模様の発生状態に基づき該情報信号を抽出し復調することを特徴とする可視光受信装置。

【請求項11】

可視光通信用に照射される可視光を、撮像素子を有するカメラにより撮影し、該カメラが撮影した該撮像素子の画像データに基づき、該可視光に重畳して送信された情報信号を受信する可視光受信装置において、
該撮像素子の各画素で発生する電荷を各々の画素アンプで増幅し、該各画素ごとに該各画素アンプから順に信号を出力する画素アンプ順次出力式撮像素子と、
該可視光を拡散光に変えて該カメラの撮像素子に入射させ、該撮像素子上に断続模様を生じさせる光拡散フィルターと、
該光拡散フィルターを通して該撮像素子上に生じた可視光の断続模様を撮影する撮影手段と、を備え、
該撮影された光拡散画像中に、受信した該情報信号に応じて断続する該断続模様を、該画素の行内または列内に生じさせ、該行内または列内に生じる該断続模様の発生状態に基づき該情報信号を抽出し復調することを特徴とする可視光受信装置。

【請求項12】

前記光拡散フィルターとして、印加電圧に応じて光拡散と光透過を切り替えるフィルム液晶を使用することを特徴とする請求項１０または１１記載の可視光受信装置。

【請求項13】

前記カメラの前記画素アンプ順次出力式撮像素子として、ＣＭＯＳイメージセンサーが設けられたことを特徴とする請求項１０または１１記載の可視光受信装置。

【請求項14】

前記カメラで撮像され出力されるカラーの画像信号は、グレースケール変換を行ない、モノクロの画像信号に変換して輝度成分を抽出することを特徴とする請求項１３記載の可視光受信装置。

【請求項15】

前記カメラで撮像され出力されるカラーの画像信号は、色信号毎に輝度成分が抽出されることを特徴とする請求項１３記載の可視光受信装置。

【請求項16】

前記撮像素子の行方向に沿った各行線の画素から出力される輝度成分の平均値を算出して該各行線の輝度データを生成し、該輝度データを二値化して受信情報信号を抽出することを特徴とする請求項１４または１５記載の可視光受信装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、可視光通信に使用される可視光受信方法およびその装置に関し、特に、携帯情報端末、携帯電話機などのカメラ（デジタルカメラ或いはビデオカメラ）を備えた携帯端末などで好適に使用可能な可視光受信方法とその装置に関する。

【背景技術】

【0002】

近年、可視光を通信媒体として用いる可視光通信が開発され、下記特許文献１などにおいて、照明光などの可視光を使用して可視光通信を行なう可視光通信装置が提案されている。

【0003】

この従来の可視光通信装置は、可視光に送信信号を重畳して送信する可視光送信装置が、送信する情報信号（パルス信号）を、４値ＰＰＭ方式による変調（パルス位置変調）を行って送信信号を生成し、ＬＥＤを使用した光源に、送信信号を印加してＬＥＤを駆動し、ＬＥＤの照射する可視光に送信信号を重畳して送信するように動作する。

【0004】

また、この可視光通信装置では、通常使用される照明用光源を、可視光送信装置の光源として有効に使用するために、照明用のＬＥＤ光源にＰＰＭ信号を印加する際、比較的長いデジタル値「０」の期間にＬＥＤを連続点灯させ、時間の短いデジタル値「１」の期間に、サブキャリアの搬送波信号によって、ＬＥＤをより短い周波数で点滅動作させ、これにより、可視光通信の送信時に、照明用として必要な照度を確保するようにしている。

【0005】

一方、近年、携帯電話機などの携帯端末の普及が著しく、殆どの人々が携帯端末を携帯して日常生活を行なうようになっており、またこの種の携帯端末には、通常、動画撮影が可能なデジタルカメラが搭載されるため、使用者は、あらゆる機会で、カメラ撮影が可能な環境で日常を過ごしている。

【0006】

そこで、従来、可視光通信を行なう可視光送信装置の光源となる照明用光源から照射される可視光、つまり送信される情報信号を重畳した可視光通信用の照明光を、携帯端末などのカメラで撮影し、その撮影された画像データを解析して、画像データに含まれるデータビット列を抽出し、データビット列から送信された情報信号データを復調する可視光通信装置が、下記特許文献２で提案されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００８−２８３４４６号公報

【特許文献2】特開２０１１−５５２８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかし、上記可視光通信装置は、例えば照明用光源を可視光源とする可視光通信装置の光源を、デジタルカメラ或いはビデオカメラで撮影し、照明用光源から照射される明るい可視光（光源の光）をカメラで直接撮影するため、必然的に、カメラの露光が画面全体で自動調整される。このために、撮影画像上の光源像は真っ白となり、白飛び状態となって撮影されてしまう。

【0009】

このため、カメラで撮影された画像データは、画像処理を行なったとしても、白飛び状態の画像データ中に含まれる可視光送信データを正確に抽出することは、例え高速で動作するマイクロコンピュータの画像処理技術を使用したとしても、非常に難しい。

【0010】

また、可視光を撮影したとき、撮影画像が白飛び状態とならない場合であっても、画像の輪郭線などが可視光送信データのノイズとして含まれるため、画像データから可視光送信データを正確に抽出することは困難である。

【0011】

しかも、汎用のデジタルカメラ或いはビデオカメラは、毎秒当たり１６フレーム〜３０フレームで動画を撮影し、各フレームの画像データについてその輝度値を算出し、輝度値データをフレーム番号ごとの時系列データとして捉え、さらに、算出した輝度値データの最大輝度値と最小輝度値を算出し、予め設定された閾値に基づき、受信データのデータビット列を抽出する。

【0012】

このため、１／１６秒から１／３０秒という非常に時間軸の長い或いは長い時間間隔で画像データを撮影し、各フレーム毎の輝度値データに基づき、送信データのデータビット列を抽出することとなる。このため、仮に３０フレーム／秒の速度で可視光画像を撮影した場合、１フレームに対し１サンプルのデータを取得し、１サンプルデータを約３３ｍ秒かけて抽出し、受信データの抽出は非常に低速となる。

【0013】

可視光通信装置は、通常、送信信号を、例えば４値ＰＰＭ変調などの多値ＰＰＭ変調を行なって送信信号を生成し、その送信信号をＬＥＤが照射する可視光に重畳させて送信するが、この場合、ＰＰＭ変調により生成される送信パルス信号の周波数は、例えばデータ転送速度が４．８ｋｂｐｓの場合、約９．６ＫＨｚとなり、データビット列の単一のパルス幅は、約０．１ミリ秒という非常に短い時間軸の信号となる。このパルス幅は、カメラが撮影する画像の各フレーム時間に比して非常に短い時間である。

【0014】

このため、従来のカメラを使用した可視光受信装置では、カメラが撮影した被写体の輪郭線などを含む画像、或いは白飛び状態の画像データから画像処理により、受信データを抽出することが非常に難しいことに加え、可視光通信で送信される送信データ（例えばデータ転送速度４．８ｋｂｐｓの場合、約９．６ＫＨｚの周波数信号）を、１フレーム対１サンプルの速度で取得するため、受信したデータを高速で抽出することはできない。

【0015】

本発明は、上述の課題を解決するものであり、汎用のカメラを備えた携帯端末等を使用して、可視光通信用の可視光を撮影し、可視光通信の情報信号を受信することができる可視光受信方法及び可視光受信装置を提供することを目的とする。

【課題を解決するための手段】

【0016】

上記の課題を解決する本発明の可視光受信方法は、
可視光通信用に照射される可視光を、撮像素子を有するカメラにより撮影し、該カメラが撮影した該撮像素子の画像データに基づき、該可視光に重畳して送信された情報信号を受信する可視光受信方法において、
前記カメラは、画素アンプ順次出力式撮像素子上に、該可視光を入射させて、光拡散画像を撮影し、
該画素アンプ順次出力式撮像素子は、画素の行または列ごとのタイミングで該行の画素または該列の画素に電荷を蓄積し、該各画素に蓄積された電荷に基づく信号を、各画素の画素アンプから各画素ごとのタイミングで順に出力し、
該撮影された光拡散画像中に、情報信号に基づく縞模様を、該画素の行方向または列方向に生じさせ、該縞模様の発生状態に基づき該情報信号を抽出し、且つ、該情報信号をフレーム単位で画像処理し、１フレーム内で複数サンプルの該情報信号を抽出し復調することを特徴とする。
また、他の可視光受信方法は、
可視光通信用に照射される可視光を、撮像素子を有するカメラにより撮影し、該カメラが撮影した該撮像素子の画像データに基づき、該可視光に重畳して送信された情報信号を受信する可視光受信方法において、
前記カメラは、画素アンプ順次出力式撮像素子上に、該可視光を入射させて、光拡散画像を撮影し、
該画素アンプ順次出力式撮像素子は、各画素ごとのタイミングで電荷を蓄積し、該各画素に蓄積された電荷に基づく信号を、各画素の画素アンプから各画素ごとのタイミングで順に出力し、
該撮影された光拡散画像中に、情報信号に基づき断続する断続模様を、該画素の行方向または列方向に生じさせ、該断続模様の発生状態に基づき該情報信号を抽出し、且つ、該情報信号をフレーム単位で画像処理し、１フレーム内で複数サンプルの該情報信号を抽出し復調することを特徴とする。

【0017】

なお、「結像しない画像」とは、カメラが捉える被写体の像がカメラの撮像素子上で結像しない、という意味であり、例えば、拡散フィルターを通る光の被写体画像、ピントをずらしたデフォーカス画像、集光用の光学系を通らない光の被写体画像などが「結像しない画像」である。また、カメラで拡散フィルターを通して或いは白色系のスクリーン状反射面を介して光源を撮影する場合、拡散フィルター或いはスクリーン状反射面に焦点が合った場合であっても、被写体となる光源は「結像しない画像」となる。

【0018】

この発明によれば、１フレームの画像データに含まれる情報信号の複数サンプルを１回の処理で抽出することができるので、従来に比べ、高速で送信データを受信することができる。また、撮像素子は光拡散画像を撮影するため、通常のカメラがレンズで被写体を結像して被写体画像を撮影する場合と比べ、結像画像の輪郭線などのノイズの影響を受けず、受信データを正確に抽出することができる。

【0019】

また、現在、汎用のカメラには、画素アンプ順次出力式撮像素子が使用されるので、汎用のカメラを搭載する携帯電話機などの携帯端末であれば、可視光通信用の可視光を受光するための専用の受光素子を設ける必要がなく、汎用の携帯端末を使用して、可視光通信の情報信号を簡単に受信することができる。

【0021】

カメラを搭載する携帯端末などにおいて、カメラが、撮像素子により光拡散画像を撮影すると、画像中に、情報信号に応じた縞模様が行方向または列方向に明確に発生し、縞模様は、時間軸とともに変化する、送信された可視光の輝度の明暗変化、つまり送信された情報信号を含むから、縞模様の発生状態に基づき、可視光通信で送信された情報信号を抽出することができる。

【0023】

カメラを搭載する携帯端末などにおいて、カメラが、撮像素子により光拡散画像を撮影すると、画素アンプ順次出力式撮像素子が、各画素ごとのタイミングで電荷を蓄積し、各画素に蓄積された電荷に基づく信号を、各画素の画素アンプから各画素ごとのタイミングで順に出力し、これにより、撮影された光拡散画像中に、情報信号に基づき断続する断続模様が、画素の行内または列内に生じ、この断続模様は、時間軸とともに変化する、送信された可視光の輝度の明暗変化、つまり送信された情報信号を含むから、断続模様の発生状態に基づき、可視光通信で送信された情報信号を抽出することができる。

【0024】

またここで、上記光拡散フィルターとして、印加電圧に応じて光拡散と光透過を切り替えるフィルム液晶を使用することができる。これによれば、カメラの光路にフィルム液晶は配設し、カメラを通常の写真撮影に使用する場合、フィルム液晶のフィルターを光透過状態とし、カメラを可視光通信の受信装置として使用する場合には、フィルム液晶を光拡散状態に、簡単に切り替えて使用することができる。

【0027】

またここで、上記可視光受信方法において、上記カメラは、可視光の光路から集光用の光学系を外して、画素アンプ順次出力式撮像素子上に、光拡散画像を入射させて該画像を撮影し、画素アンプ順次出力式撮像素子が、画素の行または列ごとのタイミングで該行の画素または該列の画素に電荷を蓄積し、該各画素に蓄積された電荷に基づく信号を、各画素の画素アンプから各画素ごとのタイミングで順に出力し、該撮影された画像中に、該情報信号に基づく縞模様を、該画素の行方向または列方向に生じさせ、該縞模様の発生状態に基づき該情報信号を抽出し復調することもできる。

【0028】

さらに、上記可視光受信方法において、上記カメラは、可視光の光路から集光用の光学系を外して、画素アンプ順次出力式撮像素子上に、光拡散画像を入射させて該画像を撮影し、該画素アンプ順次出力式撮像素子は、各画素ごとのタイミングで電荷を蓄積し、該各画素に蓄積された電荷に基づく信号を、各画素の画素アンプから各画素ごとのタイミングで順に出力し、該撮影された画像中に、情報信号に基づき断続する断続模様を、該画素の行内または列内に生じさせ、該行内または列内に生じる該断続模様の発生状態に基づき該情報信号を抽出し復調することもできる。

【0029】

またここで、上記カメラの画素アンプ順次出力式撮像素子として、ＣＭＯＳイメージセンサーを使用することができる。ＣＭＯＳイメージセンサーは、各画素で発生した電荷を各々の画素アンプで増幅し、各画素アンプから順に信号を出力するように動作させることができるため、画像データの１フレーム中に生じる縞模様に、送信された情報信号を包含させ、各行方向または列方向に発生する縞模様、或いは画素の行内または列内に生じる断続模様に基づき、送信された情報信号を高速で抽出することができる。

【0030】

さらに、上記カメラで撮像され出力されるカラーの画像信号は、グレースケール変換を行ない、モノクロの画像信号に変換して、輝度成分を抽出することができる。また、カメラで撮像され出力されるカラーの画像信号は、色信号毎に輝度成分を抽出するように構成することができる。

【0031】

また、上記情報信号に基づく縞模様を、該撮像素子の行方向に生じさせ、該縞模様の発生状態に基づき該情報信号を抽出し復調する可視光受信方法においては、画素の行方向に沿った各行線の画素から出力される輝度成分の平均値を算出して該各行線の輝度データを生成し、該輝度データを二値化して受信情報信号を抽出することができる。

【0032】

一方、本発明の可視光受信装置は、可視光通信用に照射される可視光を、撮像素子を有するカメラにより撮影し、該カメラが撮影した該撮像素子の画像データに基づき、該可視光に重畳して送信された情報信号を受信する可視光受信装置において、該撮像素子の各画素で発生する電荷を各々の画素アンプで増幅し、該各画素アンプから順に信号を出力する画素アンプ順次出力式撮像素子と、該可視光を拡散光に変えて該カメラの撮像素子に入射させ、該撮像素子上に縞模様を生じさせる光拡散フィルターと、該光拡散フィルターを通して該撮像素子上に生じた可視光の縞模様を撮影する撮影手段と、を備え、該撮影された光拡散画像中に、受信した該情報信号に応じた縞模様を、該画素の該行方向または列方向に生じさせ、該縞模様の発生状態に基づき該情報信号を抽出し復調することを特徴とする。

【0033】

この発明の可視光受信装置によれば、カメラに光拡散フィルターを装着して、撮像素子によりその光拡散画像を撮影すると、光拡散画像中に、情報信号に応じた縞模様が行方向または列方向に発生する。この撮影画像に含まれる縞模様の発生状態は、可視光通信により送信された情報信号を含み、この縞模様から情報信号を抽出するので、汎用のカメラを搭載する携帯電話機などの携帯端末であれば、可視光通信用の可視光を受光するための専用の受光素子を設ける必要がなく、汎用の携帯端末を使用して、可視光通信の情報信号を簡単に受信することができる。

【0034】

また、上記可視光受信装置においては、該可視光を拡散光に変えて該カメラの撮像素子に入射させ、該撮像素子上に断続模様を生じさせる光拡散フィルターと、該光拡散フィルターを通して該撮像素子上に生じた可視光の断続模様を撮影する撮影手段と、を備え、該撮影された光拡散画像中に、受信した該情報信号に応じて断続する断続模様を、該画素の行内または列内に生じさせ、該行内または列内に生じる該断続模様の発生状態に基づき該情報信号を抽出し復調するように構成することができる。

【発明の効果】

【0037】

本発明の可視光受信方法及び可視光受信装置によれば、汎用のカメラを使用して、可視光通信用の可視光を撮影し、可視光通信用に送信された情報信号を簡単且つ高速で受信することができる。

【図面の簡単な説明】

【0038】

【図1】本発明の一実施形態を示す可視光受信装置の構成ブロック図である。

【図2】画素アンプ順次出力式撮像素子の概略構成ブロック図である。

【図3】画素の回路構成説明図である。

【図4】可視光受信装置の受信処理のフローチャートである。

【図5】各画素の電荷の蓄積タイミングと各画素の信号出力タイミングを示す説明図である。

【図6】撮像素子の画像信号をグレースケール変換し、モノクロの画像信号に変換して、輝度成分を抽出した画像説明図である。

【図7】撮像素子の行方向に沿った各行線の画素から出力される輝度成分の平均値を算出して、各行線の輝度データをグラフ化した輝度平均値グラフである。

【図8】各行の画素の輝度平均値を二値化した輝度平均値二値化グラフである。

【図9】他の実施形態を示す画素アンプ順次出力式撮像素子の概略構成ブロック図である。

【図10】同実施形態の画素の回路構成説明図である。

【図11】各画素の電荷の蓄積タイミングと各画素の信号出力タイミングを示す説明図である。

【図12】同実施形態の可視光受信装置の受信処理のフローチャートである。

【発明を実施するための形態】

【0039】

以下、本発明の一実施形態を図面に基づいて説明する。図１は可視光通信用の可視光を受信する可視光受信装置を備えた、携帯端末１の概略構成ブロック図を示している。

【0040】

携帯端末１は、携帯電話機などのカメラ（デジタルカメラ）１０を搭載した端末機器であり、携帯端末１のカメラモードにおいて、ファンクションスイッチなどを操作して、スチル画像または動画を撮影する。このスチル画像または動画の撮影時に、可視光通信用に送信される可視光の情報信号を受信する。

【0041】

図１に示すように、カメラ１０の光入射部に、結像用のレンズ１３が配設され、レンズ１３の内側に絞り機能を有するアイリス１４が配置され、アイリス（虹彩絞り機構）１４の内側に撮像素子１１が配設され、レンズ１３、アイリス１４を通して撮影した画像の可視光を入射させる。アイリス１４は、ＮＤフィルター（減光フィルター）に代えて絞り機構とすることもできる。

【0042】

レンズ１３の前には、可視光通信用に送信される可視光信号を受信するために、光拡散フィルター１２が配置され、被写体からの光を拡散させてカメラ１０に入射させ、拡散光でぼかした状態として可視光を撮影する。これにより、被写体の拡散光がカメラ１０内に入射され、可視光通信用の可視光を投光する可視光送信機の投光器がスポットライトのような照明器具であったとしても、投光器の光源像が白飛びすることなく、さらに、被写体の明暗や輪郭線が縞模様の抽出に悪影響（ノイズ）を与えることなく、可視光通信用の可視光を撮影することができ、その画像中に縞模様、断続模様を明確に発生させることができる。

【0043】

光拡散フィルター１２は、スリガラス或いは光拡散フィルム等の光拡散層を有する板ガラス或いはフィルムシートから構成され、可視光受信を行なう際、携帯端末１の外部に露出したレンズ１３の外面に貼着して使用することができる。また、光拡散フィルター１２は、携帯端末１内に移動可能に配設し、可視光受信を行なう際、スイッチ操作などにより、光拡散フィルター１２が入射光路に入るように移動させ、カメラを通常の写真撮影に使用する際は、光拡散フィルター１２を光路から外すように動かす構造とすることもできる。

【0044】

また、光拡散フィルター１２は、印加電圧に応じて光拡散と光透過を切り替えるフィルム液晶から構成することもできる。フィルム液晶は、重ね合わせたフィルム内に例えばＴＮ液晶を充填した薄く軽量化された液晶フィルターであり、通常時には、液晶を光透過状態とし、通常のカメラとしての使用を可能とし、可視光受信時には、印加電圧に応じて液晶を乳白色などの光拡散状態とする。このようなフィルム液晶は、光拡散と光透過を切り替え可能な光拡散フィルター１２として、簡便に使用することができる。

【0045】

カメラ１０の撮像素子１１として、各画素２１で発生する電荷を各々の画素アンプ２２で増幅し、各画素アンプ２２から順に撮像信号を出力する画素アンプ順次出力式の撮像素子１１が携帯端末１内に内蔵される。画素アンプ順次出力式撮像素子としては、ＣＭＯＳイメージセンサーが、画素で発生する電荷を各々の画素アンプで増幅し、各画素アンプから順に撮像信号を出力する撮像素子であるため、好適に使用することができる。画素アンプ順次出力式の撮像素子１１は、図２に示すように構成され、その走査デバイスは、行方向に走査する行走査デバイス１６と列方向に走査する列走査デバイス１７とから構成される。

【0046】

ＣＭＯＳイメージセンサーからなる画素アンプ順次出力式の撮像素子１１は、図２に示す如く、多数の画素２１が行列のマトリックス状に配置される。図３に示すように、各画素２１は、受光素子と受光素子に生じた電荷を蓄積するコンデンサ部を有し、切替スイッチ２８の切替動作に応じて、露光時に発生した電荷の蓄積と、蓄積した電荷に基づく画素信号の出力とを切り替えるように構成される。

【0047】

各画素２１の露光タイミングつまり電荷の蓄積動作は、図５に示すように、同一の行内の画素２１は、同一の蓄積タイミングで、電荷の蓄積を行うように、画素２１の各行についてシャッター信号線３０が配設され、シャッター信号線３０からの信号に基づき、各行の画素２１が各々の行ごとにおいて同一タイミングで電荷の蓄積を行うようになっている。各行に沿って配設されたシャッター信号線３０には行選択スイッチ３２が接続され、図５に示す如く、画素２１の各行は、行ごとに順にずらしたタイミングで電荷の蓄積つまり露光動作を行い、電荷蓄積後の信号の出力は、電荷を蓄積した行の画素２１から順に、電荷に基づく信号を出力し、全ての画素２１から画素信号を順に出力する。

【0048】

図２に示す如く、各画素２１の出力側に各々画素アンプ２２が設けられ、画素アンプ２２の出力側は画素選択スイッチ２３を介して垂直信号線２５に接続される。行走査デバイス１６は、マトリックス状に配置された各々の画素２１の電荷を、画素アンプ２２で増幅し、画素選択スイッチ２３を通して、その出力側に接続された列方向の各垂直信号線２５に送り、各行の各画素２１の電荷に基づく信号を、各垂直信号線２５を通して、順次出力させるように接続される。

【0049】

列走査デバイス１７は、各垂直信号線２５の出力側に接続された列選択スイッチ２４を１本の水平信号線２６に接続して構成され、各列選択スイッチ２４のオンオフ制御により、列方向の垂直信号線２５を選択し、各垂直信号線２５の画素２１からその荷重に基づく信号を、１本の水平信号線２６を通して出力する。このために、各垂直信号線２５が列方向に沿って配置され、各行方向に配置された各行線の画素２１の出力側が画素アンプ２２と画素選択スイッチ２３を介して垂直信号線２５に接続される。垂直信号線２５は、列方向に向けて延設され、マトリックス状の各列上に配置される多数の画素２１に沿った列と平行に配置される。各垂直信号線２５の下端には、第２アンプ２７が接続され、第２アンプ２７の出力側は列選択スイッチ２４を介して１本の水平信号線２６に接続される。

【0050】

一方、行走査デバイス１６には、上記の如く、画素２１の各行に沿って、シャッター信号線３０が配設され、同一行内の各画素２１は、カメラのシャッター操作時、このシャッター信号線からの信号に基づく露光タイミングで、同時に電荷の蓄積を行なうようになっている。画素２１からの出力信号は、電荷の蓄積後の切替スイッチ２８の切替動作と画素選択スイッチ２３の動作に基づき出力されるように接続され、図５に示すように、撮影時、各行列の全画素２１から画素信号が順に出力される。

【0051】

これにより、カメラ１０のシャッターをオンして、可視光を撮影したとき、画素アンプ順次出力式の撮像素子１１は、各行の画素２１において、同一行の各画素２１は同一のタイミングで電荷の蓄積を行い、電荷の蓄積後、全画素２１からは、蓄積された電荷に基づく信号が順に出力され、画素アンプ２２で増幅された後、画素選択スイッチ２３のスイッチング動作と列選択スイッチ２４のスイッチング動作に基づき、垂直信号線２５に送出され、水平信号線２６を通して出力される。

【0052】

つまり、送信された可視光をカメラ１０で撮影すると、撮像素子１１は、図２において、最上段のシャッター信号線３０の行選択スイッチ３２がオンし、最上段の画素２１で電荷の蓄積が同時に行われ、次に、２番目の行のシャッター信号線３０の行選択スイッチ３２がオンし、２段目の行の画素２１において、電荷の蓄積が行われる。この後、３段目、４段目と順に最後の行の画素２１まで順に電荷の蓄積が行われ、各行ごとの露光（電荷の蓄積）が各行ごとに順にずらした露光タイミングで電荷の蓄積が行なわれる。一方、電荷の蓄積を行った後、図５に示すように、各行の画素２１は、最上段の画素２１から、電荷に基づく画素信号が順に出力される。

【0053】

このとき、図２に示す撮像素子１１では、先ず、左端の垂直信号線２５に接続された最上段の画素選択スイッチ２３がオンし、且つ水平信号線２６に接続された左端の列選択スイッチ２４がオンし、これにより、最上段左端の画素２１から信号が出力され、次に、同じ行の左端から２番目の画素２１の画素選択スイッチ２３がオンし、且つ２番目の垂直信号線２５に接続された列選択スイッチ２４がオンし、これにより、同一行の２番目の画素２１から信号が出力される。このようにして、先ず、最上段の行の画素２１から蓄積された電荷に基づく信号が順に出力され、次に、２段目の行の左端の画素２１から順に信号が出力され、このような動作がこの後、３段目、４段目と続き、最終的に最下段の行の画素２１から順に信号が出力される。

【0054】

上記の如く、図２の撮像素子１１では、撮影時、最上段のシャッター信号線３０から順にその行選択スイッチ３２がオンし、最上段の画素２１で電荷の蓄積が同時に行われ、次に２段目の行のシャッター信号線３０の行選択スイッチ３２がオンして、２段目の行の画素２１で電荷の蓄積が行われるように、露光動作が行なわれ、電荷の蓄積の後、各行の画素２１は、最上段の画素２１から、図５に示すように、電荷に基づく画素信号が順に出力される。これにより、最終的に右端の垂直信号線２５を通して最下段の行の画素２１から信号が出力され、１フレームの画像信号が取り込まれる。

【0055】

図５に示すように、撮像素子１１では画素２１の各行における電荷の蓄積動作つまり露光タイミングが順にずれて行われ、最上段から２段目、３段目の行の画素における露光タイミングは順にずれるため、例えば１フレームの画像信号を取り込む時間が、カメラのフレームレート（例えば１／３０秒〜１／６０秒）とされ、送信データが重畳された可視光に時間的な明暗がある場合、１フレーム中の各行列の画素から出力される信号には、１フレーム中の画素が露光する時間に可視光の送信データが含まれる。

【0056】

このため、可視光通信を行なう可視光送信装置の投光器（照明器具）から可視光通信規格（ＣＰ１２２２）に基づき、例えば４値ＰＰＭ変調された可視光が４．８Ｋｂｐｓで送信される場合、可視光に重畳される送信パルス信号の１サンプルを示す時間は約０．５ｍ秒となり、この送信パルス信号を含む可視光の輝度の明暗変化が縞模様として撮像素子１１の撮影画像中に発生する。これにより、撮像素子１１により可視光通信用の可視光を撮影すると、情報信号を含む縞模様がその１フレーム中に撮像され、その画像信号が走査デバイスを通して画像処理装置に送出される。

【0057】

汎用の携帯電話機に内蔵されるカメラ１０は、通常、画素アンプ順次出力式の撮像素子（ＣＭＯＳイメージセンサ）１１を内蔵し、その画素数を例えば１２００万画素とする場合、例えば３０００行×４０００列で画素が配列され、それが１フレームを構成する。撮像素子１１の１フレーム分の各画素から信号を取り込む時間がカメラ１０のフレームレートとなるから、例えば１／３０秒のフレームレートで撮影する場合、１フレームの時間は約３３ｍ秒であり、上記可視光通信規格に基づく可視光通信用の情報信号の１ｂｐｓの時間は約０．２５ｍ秒となるから、１フレームの撮影により、複数サンプルの情報信号がカメラ１０を使用する可視光受信装置において可能となる。

【0058】

なお、この実施形態の可視光受信装置では、カメラ１０で撮像され出力されるカラーの画像信号は、グレースケール変換を行ない、モノクロの画像信号に変換して、輝度成分を抽出するが、カメラで撮像され出力されるカラーの画像信号について、色信号毎に輝度成分を抽出することもできる。

【0059】

また、この実施形態では、図示しない可視光通信用の可視光送信機からＩＤ情報を含む可視光を送信する例を説明するが、その場合には、複数の可視光送信機に各々、固有のＩＤ情報が割り当てられて設定され、それらのＩＤ情報は１フレームの画像データ中に充分に含ませることができる。

【0060】

また、カメラ１０は、単一のスチル画像を撮影し、縞模様を含む画像データに基づき、可視光送信され送信データ信号を復調して再生或いは表示するように使用されるが、可視光通信を行なう可視光送信装置の投光器（照明器具）を被写体として動画を撮影し、複数フレームの画像データを取り込み、それらに含まれる縞模様から送信データ信号を取り出すこともできる。

【0061】

さらに、上記実施形態では、図２に示す如く、シャッター信号線３０を画素２１の行方向（図２の水平横方向）に沿って配設し、各行の画素２１について同時に且つ行ごとに順にずれたタイミングで電荷の蓄積つまり露光動作を行うように構成したが、シャッター信号線を画素２１の列方向（図２の縦方向）に沿って配設し、各列の画素２１について同時に且つ列ごとに順にずれたタイミングで電荷の蓄積を行うように構成することもできる。

【0062】

この場合、撮影画像の１フレーム中に撮像され、送信された可視光に含まされる情報信号を含む縞模様は、画素２１の列方向に生じることとなる。つまり、上述したように、各行の画素２１について同時に且つ行ごとに順にずれたタイミングで電荷の蓄積を行った場合、行方向に沿った縞模様（横縞模様）が撮影画像中に生じるところ、各列の画素２１について同時に且つ列ごとに順にずれたタイミングで電荷の蓄積を行った場合、列方向に沿った縞模様（縦縞模様）が撮影画像中に生じるが、その縞模様には送信された送信データが含まれるため、当該縞模様に基づき送信されたデータを抽出することができる。

【0063】

撮影画像信号を処理する画像処理装置は、図１に示すように、ＡＤコンバータ１８と画像処理ＬＳＩ１９を備え、ＡＤコンバータ１８を通して画像信号をデジタル信号に変換し、そのデジタル信号を画像処理ＬＳＩ１９に取り込み、画像処理を行なうように構成される。画像処理ＬＳＩ１９は、カラー情報と輝度情報を含む画像デジタル信号を取り込むと、輝度情報のみを取り出して、例えば０〜２５５階調のグレースケールデータに変換し、信号の輝度成分つまり縞模様成分を抽出し、図１に示すように、その抽出データをマイクロプロセッサ４８に送出する。このような１フレームの撮影画像の縞模様は、図６に示すように、横方向の縞模様として撮影画像中に発生し、横方向の各縞の発生状態に、可視光通信用の情報信号が含まれることとなる。

【0064】

携帯端末１は、上記の如くカメラ１０を内蔵するとともに、無線ＬＡＮに接続可能なＰＤＡ、タブレット型端末、或いは携帯電話通信網や無線ＬＡＮに接続可能な携帯電話機から構成され、無線ＬＡＮなどを通してインターネット等のネットワークに接続される。

【0065】

また、携帯端末１は、図１に示すように、マイクロプロセッサ４８を主要部として構成され、ＲＡＭ，ＲＯＭ等からなる記憶部５０、及び入出力回路等を含む周辺インターフェイス５３が含まれる。携帯端末１は、各種機能スイッチ入力用のタッチ入力が可能で、且つ動画、静止画、テキスト等を表示するタッチ感知ディスプレイ５７、タッチ感知ディスプレイ５７の制御を行なうディスプレイコントローラ５６等を備える。さらに、携帯端末１は、無線ＬＡＮに或いは携帯電話通信網に接続するためのＲＦ回路５４を備え、周辺インターフェイス５３及びＲＦ回路５４を通して、無線ＬＡＮに或いは携帯電話通信網に接続可能である。

【0066】

携帯端末１の記憶部５０には、ブラウザソフト、音声再生ソフト、及び可視光受信処理ソフトなどが予め記憶される。携帯端末１のマイクロプロセッサ４８は、上記構成のカメラ１０によって撮影された可視光通信用の送信データ信号（画像データ）を取り込み、行方向の輝度成分の平均値を算出し、さらに平均化された各行の輝度データを二値化し、二値化したデータから受信したＰＰＭ信号（ＰＰＭ変調）された信号）を抽出し、当該ＰＰＭ信号を復調し、可視光送信機から送信された音声データ或いは画像データ等の送信情報を取得し、再生する処理或いは表示する処理を行なう。また、可視光により送信された情報信号が可視光送信機の固有のＩＤ情報である場合、当該ＩＤ情報に対応したコンテンツ情報を再生し或いは表示する。

【0067】

このために、携帯端末１には、音声信号を再生するためのオーディオ回路４６及び画像や文字を表示する上記のディスプレイ５７が設けられ、オーディオ回路４６の出力側には、スピーカー５２が接続され、入力側にはマイク５１が接続される。携帯端末１のマイクロプロセッサ４８は、上記のように、カメラ１０によって撮影された可視光通信用の光源（照明器具）の縞模様を含む画像データから、可視光送信機のＩＤ情報を抽出し受信処理を行う。

【0068】

さらに、マイクロプロセッサ４８は、受信したＩＤ情報に基づき、予め記憶するコンテンツ情報の音声データを読み出し、アナログ信号に変換した後、その音声信号をオーディオ回路４６に出力する。オーディオ回路４６は音声信号を増幅しスピーカー５２を駆動して音声が再生される。受信した受信データ或いはコンテンツ情報が画像データ或いは文字データの場合、ディスプレイコントローラ５６を通してタッチ感知ディスプレイ５７でそれらを表示するように構成される。

【0069】

図１に示す携帯端末１のＲＦ（Radio Frequency）回路５４は、アンテナシステムやチューナーを含み、ＲＦ信号を送信或いは受信し、インターネット等に接続される無線ＬＡＮのアクセスポイント或いは携帯電話通信網の基地局との間で、電波による通信を行うように構成される。

【0070】

次に、上記構成の可視光受信装置の使用態様とその動作を、図４のフローチャートを参照して説明する。

【0071】

可視光受信装置を内蔵する携帯端末１は、例えば美術館、博物館などにおいて、展示物の解説コンテンツ（音声ガイド）を視聴するために使用される。この場合、その施設等における展示物の近傍などの、解説コンテンツ（音声ガイド）を提供する場所に、図示しない可視光送信機（例えば照明器具兼用の投光器を有する可視光送信装置）が設置される。各可視光送信機には異なるＩＤ情報が割り当てられて設定され、各々のＩＤ情報に対応するコンテンツ情報は携帯端末１の記憶部５０に記憶される。

【0072】

美術館、博物館のように、展示物の解説用機器として携帯端末１を利用者に貸し出して使用する場合、それらの携帯端末１には、予め各ＩＤ情報（各展示物に対応するＩＤ）に対応して解説コンテンツ情報が取り込まれ、記憶部５０に記憶されるが、これらのコンテンツ情報は、例えばネットワーク上のコンテンツサーバ内に予めＩＤ情報とともに格納されており、展示開催の際、携帯端末１を操作して、ネットワークを介してコンテンツサーバにアクセスし、携帯端末１にコンテンツ情報をダウンロードし、使用することができる。これにより、新たな展示会を美術館、博物館などで開催する場合、開始時に予めその解説用のコンテンツをダウンロードし、携帯端末１の記憶部５０に格納しておけば、その展示会の開催中は、携帯端末１をネットワークに接続することなく、そのまま使用することができる。

【0073】

各可視光送信機の投光器は、美術館などの施設における照明器具を兼用し、その投光部からの光は、展示物を照明するとともに、その展示物解説用のコンテンツを示すＩＤ情報がＰＰＭ変調され可視光に重畳して照射されている。

【0074】

携帯端末１の使用者は携帯端末１のカメラ１０のレンズ１３面に光拡散フィルター１２を装着し、または光路内に光拡散フィルター１２を位置させ、若しくは光拡散フィルター１２を光透過状態から光拡散状態に変え、入射光を拡散させて撮像素子１１に入射させるようにし、展示物を照明する可視光を撮影する（ステップ１００）。このとき、可視光送信機の投光器つまり光源にカメラ１０を向けて光源を撮影してもよく、カメラ１０を投光器の光源により照明される展示物に向けて、或いは可視光が照射される壁面などにカメラを向けて撮影してもよい。この場合、投光器の光源はカメラ１０の撮像素子１１上に結像されず、撮像素子１１は結像しない画像を撮影する。

【0075】

カメラ１０のシャッターがオンされて、撮像素子１１が可視光を受光すると、各行の画素２１は、シャッター信号線３０からの信号に基づき、図５に示すように、画素２１の行ごとに同一のタイミングで、電荷の蓄積を行う。各行の画素２１は、行ごとに順にずらしたタイミングで電荷の蓄積を行い、その後、電荷を蓄積した行の画素２１から順に電荷に基づく画素信号が出力されて、画素アンプ２２で増幅され、全ての画素２１から画素信号が順に出力される。

【0076】

このとき、撮像素子１１は、画素選択スイッチ２３のスイッチング動作と列選択スイッチ２４のスイッチングの動作に基づき、先ず、最上段の行の左端の画素２１から順に垂直信号線２５、水平信号線２６を通して、画素２１からの信号の取り込みが行なわれる。次に、２段目の行の左端の画素２１から右端の画素２１について信号の取り込みが行なわれ、同様に、３段目の行、４段目の行の画素２１からの信号の読み出しが順に行なわれ、最終的に最下段の行の右端の画素２１から信号が出力される。これにより、撮像素子１１の全画素２１から１フレーム分の画像信号が取り出され、ＡＤコンバータ１８を通して画像処理装置に送出される。

【0077】

すなわち、撮像素子１１は、各画素２１において、各行ごとの露光タイミングで、蓄積された電荷に基づく信号を、画素アンプ２２を通して順に出力させて取り込むように動作する。このとき、先ず、図２の左端の垂直信号線２５に接続された最上段の画素選択スイッチ２３をオンさせ、且つ水平信号線２６に接続された左端の列選択スイッチ２４をオンさせ、図２の最上段の左端に位置する画素２１の信号を出力させる。次に、同じ行の左端から２番目の垂直信号線２５に接続された最上段の画素選択スイッチ２３をオンさせ、且つ水平信号線２６に接続された左端から２段目の列選択スイッチ２４をオンさせ、図２の最上段の行の左から２段目に位置する画素２１の画素信号が出力される。

【0078】

このように、撮像素子１１は、画素選択スイッチ２３と列選択スイッチ２４をオンオフ制御して、先ず最上段の行の全画素２１について、左端から右端まで全ての画素２１から順に信号が出力され、その後、同様に上から２段目の行の画素２１について、蓄積された電荷に基づく信号が垂直信号線２５及び水平信号線２６を通して出力され、これらの信号が、左端から順に右端の画素まで順に画素信号が出力される。その後、同様に３段目、４段目の行の画素２１について、垂直信号線２５、水平信号線２６を通して各画素２１の信号が出力されて取り込まれ、さらに撮像素子１１は最終的に右端の垂直信号線２５を通して最下段の行の画素２１から信号が出力される。

【0079】

これにより、撮像素子１１の各行ごとの画素２１において、露光され蓄積された電荷に基づく画素信号が、画素アンプ２２で増幅され、垂直信号線２５、水平信号線２６を通して、図５に示すように、全画素２１から順に且つ各行の配列順に出力される。

【0080】

撮像素子１１の全画素２１では、上記のように、各行ごとに露光が行なわれることとなり、送信された可視光に送信データが重畳されて可視光に時間的な明暗が生じている場合、その送信データを含む画素信号には行方向に沿って明暗に基づく縞模様（図６に示すような横縞模様）が生じる。撮像素子１１の各画素２１から出力されるこのような縞模様を含む画素信号は、ＡＤコンバータ１８でデジタル信号に変換され、画像処理ＬＳＩ１９に送られる。画像処理ＬＳＩ１９は１フレーム分の画像信号を取り込み、そこに含まれる輝度情報を取り出すための画像処理を行なう（ステップ１１０）。

【0081】

例えば、可視光送信機の投光器から、可視光通信規格に基づき４値ＰＰＭ変調された可視光が４．８Ｋｂｐｓで送信される場合、可視光に重畳される送信パルス信号の１サンプルを示す時間は約０．５ｍ秒となり、この送信パルス信号を含む可視光の輝度の明暗変化が、縞模様として撮像素子１１の撮影画像中に発生する。縞模様は図６に示すように、撮像素子１１の行方向に生じる。

【0082】

画像処理ＬＳＩ１９は、カラー情報と輝度情報を含むデジタルの画像信号を取り込むと、輝度情報のみを取り出して、例えば０〜２５５階調のグレースケールデータに変換し、信号の輝度成分つまり縞模様成分を抽出し、その抽出データをマイクロプロセッサ４８に送出する（ステップ１２０）。

【0083】

マイクロプロセッサ４８は、撮影した可視光に含まれる縞模様成分の抽出データを取り込むと、各行方向の輝度成分の平均値を算出する（ステップ１３０）。図７の輝度平均値グラフに示すように、各行方向の輝度成分の平均値は、縞模様が生じる部分で、各行方向の横軸（時間軸）に応じて大きく変化する。

【0084】

さらに、マイクロプロセッサ４８は、平均化された各行の輝度データを二値化する（ステップ１４０）。二値化処理は、予め設定された輝度の閾値を基準にして行なわれ、図８の輝度平均値二値化グラフに示すように、各行方向の輝度成分の平均値二値化データは、縞模様が生じる部分で、各行方向の横軸（時間軸）に応じて大きく変化する。

【0085】

次に、マイクロプロセッサ４８は、上記のように二値化した二値化データから、受信したＰＰＭ信号（４値ＰＰＭ変調された信号）を抽出する（ステップ１５０）。

【0086】

次に、マイクロプロセッサ４８は、抽出されたＰＰＭ信号を復調し、可視光送信機から送信されたＩＤ情報を取り出す（ステップ１６０）。或いは、送信された可視光送信データが音声データ或いは画像文字データの場合、それらを再生する処理或いは表示する処理を行なう。可視光により送信された情報信号が可視光送信機の固有のＩＤ情報である場合、当該ＩＤ情報に対応したコンテンツ情報（音声案内等）を記憶部５０から読み出し、スピーカー５２を通して再生し或いはディスプレイ５７に表示する。

【0087】

このように、本発明の可視光受信装置によれば、汎用のカメラ１０を搭載する携帯端末１において、カメラ１０に光拡散フィルター１２を装着して、或いは通常時に光透過状態の光拡散フィルター１２を光拡散状態として、画素アンプ順次出力式の撮像素子１１によりその光拡散画像を撮影し、光拡散画像中に、情報信号に応じた縞模様を行方向または列方向に生じさせ、情報信号を撮影画像中に捕捉する。このとき撮影画像に含まれる縞模様は、時間軸とともに変化する情報信号（送信される可視光の輝度の明暗変化）を含み、その縞模様の発生状態に、可視光通信で送信された情報信号が含まれる。この縞模様から情報信号を抽出することにより、汎用のカメラ１０を搭載する携帯電話機などの携帯端末１であれば、可視光通信用の可視光を受光するための専用の受光素子を設ける必要がなく、汎用の携帯端末１を使用して、可視光通信の情報信号を簡単に受信することができる。

【0088】

また、１フレームの画像データに含まれる情報信号の複数サンプルを１回の処理で抽出することができるので、従来に比べ、高速で送信データを受信することができる。また、撮像素子１１は結像しない画像を撮影するため、通常のカメラがレンズで被写体を結像して被写体画像を撮影する場合と比べ、結像画像によるノイズの影響を受けず、受信データを正確に抽出することができる。

【0089】

なお、上記実施形態では、カメラ１０に光拡散フィルター１２を装着して、光拡散画像を画素アンプ順次出力式の撮像素子１１により撮影したが、光拡散フィルターに代えて、フォーカスをずらした画像、つまり結像しないデフォーカス画像を撮影し、デフォーカス画像中に縞模様を生じさせることもできる。この場合、撮像素子１１には、焦点がずれて結像しないデフォーカス画像を入射させて、そのデフォーカス画像を撮影し、撮像素子１１上に生じたデフォーカス画像中に縞模様を発生させる。これによれば、デフォーカス画像であるため、被写体の輪郭線などが縞模様にノイズとして悪影響を与えることはなく、縞模様の発生状態に基づき情報信号を抽出し復調することができる。

【0090】

また、カメラ１０に入射する可視光の光路から、レンズ１３等の集光用光学系を外し、撮像素子１１には、可視光を光学系で集光させずにそのまま入射させ、結像しない画像を撮像素子１１で撮影するように構成することもできる。この場合、レンズ１３等の光学系は、カメラを可視光受信に使用する際、移動機構により、カメラに入射する可視光の光路から自動的に或いは手動で外すように構成することができる。これによっても、被写体が撮像素子上で結像しないため、被写体の輪郭線などが縞模様にノイズとして悪影響を与えることはなく、縞模様の発生状態に基づき情報信号を抽出し復調することができる。

【0091】

さらに、上述したように、シャッター信号線を画素２１の列方向（図２の縦方向）に沿って配設し、各列の画素２１について同時に且つ列ごとに順にずれたタイミングで電荷の蓄積を行い、各列の画素２１で蓄積された電荷に基づく信号を、各列の順に全ての画素２１から信号を順に出力するように構成することもできる。

【0092】

この場合、先ず、図２の左端の垂直信号線２５に接続された、左端列の全画素２１に対しシャッター用の信号を印加して各画素２１内の切替スイッチ電荷の蓄積側に切り替え、左端列の全画素２１の電荷蓄積を行なう。その後、蓄積された電荷に基づく信号を、以下のように、各列の画素２１から各列ごとに順に出力させる。つまり、先ず、図２の左端の垂直信号線２５に接続された最上部の画素選択スイッチ２３のみをオンさせ、且つ水平信号線２６に接続された左端の列選択スイッチ２４のみをオンさせ、図２の最上段の左端に位置する画素２１の信号を出力させる。次に、図２の左端の垂直信号線２５に接続された上から２番目の画素選択スイッチ２３のみをオンさせ、且つ水平信号線２６に接続された左端の列選択スイッチ２４のみをオンさせ、図２の上から２番目に位置する画素２１の信号を出力させる。このようにして、撮像素子１１は、画素選択スイッチ２３と列選択スイッチ２４のオンオフを制御して、左端の垂直信号線２５に接続された左端の列の画素２１について順に上段から信号を出力され、その後、同様に左から２列目の垂直信号線２５を通して左から２列目に配置された画素２１について、順に上段から順に信号を出力させ、その後、同様に３列目、４列目の垂直信号線２５を通して各行列の画素２１の信号を出力させて取り込み、さらに撮像素子１１は最終的に右端の垂直信号線２５を通して各行列の画素２１の信号を出力させる。これにより、撮影画像の１フレーム中に撮像され、送信された可視光に含まされる情報信号を含む縞模様は、画素２１の列方向に生じる。

【0093】

このように、各列の画素２１について同時に且つ列ごとに順にずれたタイミングで電荷の蓄積を行った場合、列方向に沿った縞模様（縦縞模様）が撮影画像中に生じることとなり、その縦縞模様に、送信された送信データが含まれるため、列方向に沿った縞模様に基づき、送信されたデータを抽出することができる。

【0094】

図９〜１２は他の実施形態の可視光受信装置を示し、この例の可視光受信装置では、上記の縞模様に代えて、撮像素子４１の画素２１の行内または列内で断続する断続模様を生じさせ、その断続模様に基づき、送信された可視光の情報信号を受信する。図９はカメラの撮像素子４１の構成を、図１０は画素２１の接続状態を示している。なお、上記カメラ１０の撮像素子１１と同様の部分については図９、１０に上記と同じ符号を付してその説明は省略する。

【0095】

このカメラの撮像素子４１は、各画素２１で発生する電荷を各々の画素アンプ２２で増幅し、各画素アンプ２２から順に撮像信号を出力する画素アンプ順次出力式の撮像素子であり、上記と同様に、携帯端末１内に内蔵される。画素アンプ順次出力式撮像素子である撮像素子４１にはＣＭＯＳイメージセンサーが使用され、撮像素子４１の走査デバイスは、図９に示すように、行方向に走査する行走査デバイス４２と、列方向に走査する列走査デバイス４３とから構成される。

【0096】

ＣＭＯＳイメージセンサーからなる画素アンプ順次出力式の撮像素子４１は、図９に示す如く、多数の画素２１が行列のマトリックス状に配置され、各画素２１の出力側には各々画素アンプ２２が設けられ、画素アンプ２２の出力側は画素選択スイッチ２３を介して垂直信号線２５に接続される。行走査デバイス４２は、マトリックス状に配置された各々の画素２１の電荷の信号を、画素アンプ２２で増幅し、画素選択スイッチ２３を通して、その出力側に接続された列方向の各垂直信号線２５に送り、各行の各画素２１の電荷に基づく信号を、各垂直信号線２５を通して、順次出力させるように構成される。図１０に示すように、各画素２１には、露光時に生じる電荷を蓄積する電荷蓄積状態と、蓄積した電荷に基づき信号を出力する状態を切り替える切替スイッチ２８が設けられる。

【0097】

また、列走査デバイス４３は、各垂直信号線２５の出力側に接続された列選択スイッチ２４を１本の水平信号線２６に接続して構成され、各列選択スイッチ２４をオンオフ制御して、列方向の垂直信号線２５を選択し、各垂直信号線２５の画素２１からその電荷に基づく信号を、１本の水平信号線２６を通して出力するように構成される。つまり、各垂直信号線２５は、列方向に沿って配置され、各行方向に配置された各行線の画素２１の出力側が画素アンプ２２と画素選択スイッチ２３を介して垂直信号線２５に接続される。

【0098】

垂直信号線２５は、列方向に向けて延設され、マトリックス状の各列上に配置される多数の画素２１に沿った列と平行に配置される。各垂直信号線２５の下端には、第２アンプ２７が接続され、第２アンプ２７の出力側は列選択スイッチ２４を介して１本の水平信号線２６に接続される。

【0099】

さらに、図９に示すように、行走査デバイス４２には、各行方向に配列された各画素２１の各行について、シャッター信号線３０が行方向に沿って配設される。このシャッター信号線３０はカメラ１０のシャッター動作、つまり各画素２１に対し画像信号を出力させる信号を発生させるラインであり、各行の各シャッター信号線３０には、行選択スイッチ３２が直列に接続され、各シャッター信号線３０と各画素２１との間には画素選択スイッチ３１が接続される。

【0100】

撮像素子４１は、上記構成により、カメラ１０のシャッター操作時、全画素２１について、最上段の行から最下段の行にかけて順に電荷の蓄積を行い、且つ、電荷の蓄積を行った各画素２１は、その蓄積電荷に基づき、信号の出力を順に行うように構成される。このような全ての画素２１について順に行なわれる電荷の蓄積と信号の出力の動作は、カメラ１０のコントローラにより、画素選択スイッチ２３、画素選択スイッチ３１、行選択スイッチ３２、及び列選択スイッチ２４をオンオフ制御して行なわれ、全ての画素２１から、各々の画素２１ごとに、画素アンプ２２を通して信号を順に出力させ、垂直信号線２５、水平信号線２６を通してＡＤコンバータに送出するように制御される。

【0101】

例えば、行ごとに全画素２１を走査して信号を出力させる場合、先ず、図９において、最上行のシャッター信号線３０の信号線スイッチ３２をオンし、最上行の左端の画素２１から順に信号を取り出すために、最上行左端の画素２１の画素選択スイッチ３１をオンし、且つ図１０の切替スイッチ２８を電荷の蓄積側として、先ず、電荷の蓄積を行い、その後、切替スイッチ２８を電荷の蓄積から信号の出力側に切り替え、画素アンプ２２を通して信号を増幅し、さらに出力側の画素選択スイッチ２３をオンして信号を垂直信号線２５に出力させる。

【0102】

これにより、図１１のように、先ず、最上行左端の画素２１で電荷の蓄積が行われ、次に蓄積された電荷に基づく信号が左端の垂直信号線２５を通して出力され、第２アンプ２７及び列選択スイッチ２４を通して、画像信号が１本の水平信号線２６に出力され、画像処理ＬＳＩ１９に取り込まれる。このような画素２１おける電荷の蓄積と信号の出力は、上記の如く、先ず最上行の画素２１について、左から右に順に行なわれ、次に同様の動作が２段目の行の各画素２１について実施され、２段目の行の各画素２１から順に信号が画素選択スイッチ２３を通して垂直信号線２５に出力され、同様に、３段目の行の画素２１、４段目の行の各画素２１についても、同様に電荷の蓄積と信号の出力が行なわれ、各画素２１から順に信号が画素選択スイッチ２３を通して垂直信号線２５に出力される。そして、垂直信号線２５上の信号は第２アンプ２７及び列選択スイッチ２４を通して、水平信号線２６に出力される。

【0103】

上記動作は、全て行の画素２１について繰り返され、各々の画素２１から順に画像信号が、画素アンプ２２及び画素選択スイッチ２３を通して、垂直信号線２５に出力され、信号は、各列の垂直信号線２５、第２アンプ２７及び列選択スイッチ２４を通して、１本の水平信号線２６に出力され、画像処理ＬＳＩ１９に取り込まれるように構成される。画像処理ＬＳＩ１９では、各画素２１ごとにその画像信号が１サンプルとして処理されるように動作する。

【0104】

次に、図１１のタイミング説明図及び図１２のフローチャートを参照して上記可視光受信装置の動作を説明する。

【0105】

携帯端末１の使用者は携帯端末１のカメラ１０のレンズ１３面に光拡散フィルター１２を装着し、或いは内蔵する光拡散フィルター１２を通して入射光を撮像素子４１に入射させるようにし、展示物を照明する可視光を撮影する（ステップ２００）。

【0106】

このとき、可視光送信機の投光器つまり光源にカメラ１０を向けて光源を撮影してもよく、カメラ１０を投光器の光源により照明される展示物に向けて、或いは可視光が照射される壁面などにカメラを向けて撮影してもよい。この場合、投光器の光源はカメラ１０の撮像素子４１上に結像されず、撮像素子４１は結像しない画像を撮影する。

【0107】

このとき、画素アンプ順次出力式の撮像素子４１は、シャッターがオンされると、各行のシャッター信号線３０の行選択スイッチ３２が最上段の行から順にオンし、且つ各行において、各列の画素選択スイッチ３１が順にオン動作する。これにより、可視光を受光する画素２１は、先ず最上段の行において、各画素２１が順に露光動作した後、図１０の切替スイッチ２８が電荷の蓄積から信号の出力に切り替わり、これにより、各行の各画素２１において、蓄積された電荷に基づく信号が各画素２１から順に出力され、信号は各画素２１の画素アンプ２２で増幅され、各画素２１から順次、画像信号が出力され、各垂直信号線２５、第２アンプ２７、列選択スイッチ２４を通して画像処理装置に送出され（ステップ２１０）、各画素２１の受光信号が１サンプルのデータとして処理される。

【0108】

このような撮像素子４１の画素２１の動作は、図１１に示すようなタイミングで、例えば最上段の行から最下段の行まで順に行なわれ、全ての画素２１から信号が順に出力される。つまり、撮像素子４１は、先ず、図９の最上段のシャッター信号線３０の行選択スイッチ３２がオンし、その左端の画素選択スイッチ３１がオンし、図１０の切替スイッチ２８が電荷の蓄積側に切り替わると、最上段左端の画素２１に電荷が蓄積され、その後、切替スイッチ２８が信号の出力側に切り替わり、信号が画素アンプ２２で増幅されて出力される。出力された信号は、画素選択スイッチ２３のオン動作により、左端の垂直信号線２５に出力され、垂直信号線２５の信号は、第２アンプ２７、列選択スイッチ２４を通して水平信号線２６に出力され、この最上段左端の画素信号は、画像処理ＬＳＩ１９に取り込まれる（ステップ２１０）。

【0109】

次に、図９の最上段のシャッター信号線３０の２番目の行選択スイッチ３２がオンし、且つ最上段左端から２番目の画素選択スイッチ３１がオンし、それにより、最上段左端から２番目の画素２１に電荷が蓄積された後、電荷に基づく信号が当該画素２１から出力され、画素アンプ２２で増幅され、画素選択スイッチ２３のオンにより、その画素信号が左端から２番目の垂直信号線２５に出力される。２番目の垂直信号線２５の画素信号は、第２アンプ２７、列選択スイッチ２４を通して上記と同様に水平信号線２６に出力され、この最上段左端から２番目の画素信号も、１サンプル用の画素信号として、画像処理ＬＳＩ１９に入力される。

【0110】

これにより、撮像素子４１は、最上段の各画素２１から順に信号が出力され、それらの画素信号が各垂直信号線２５を通して、且つ各垂直信号線２５の第２アンプ２７及び列選択スイッチ２４から水平信号線２６を通して、最上段の各画素２１からの画素信号が順に出力される。

【0111】

次に、２番目の行のシャッター信号線３０の行選択スイッチ３２がオンし、上記と同様に、２番目の行の左端の画素２１の電荷が画素アンプ２２で増幅されて出力され、画素選択スイッチ２３のオン動作により、その画素信号が垂直信号線２５に出力され、第２アンプ２７及び列選択スイッチ２４から水平信号線２６を通して、２番目の左端の画素２１からの画素信号が出力され、この２番目の左端の画素信号も、１サンプル用の画素信号として、画像処理ＬＳＩ１９に入力される。

【0112】

このようにして、撮像素子４１の各画素２１に蓄積された信号電荷が画素アンプ２２で増幅された状態で、各画素２１ごとに出力される。これにより、撮像素子４１では、各画素２１ごとに露光が行なわれることとなり、各画素２１の信号が順に出力される。撮像素子４１の各画素２１から出力される画素信号は、ＡＤコンバータ１８でデジタル信号に変換され、画像処理ＬＳＩ１９に送られ、画像データが取り込まれる（ステップ２１０）。

【0113】

画像処理ＬＳＩ１９は、１フレーム分の画像信号を取り込むが、撮像素子４１においては、各画素２１ごとの画像信号が１サンプルとして入力され処理されるので、画像処理ＬＳＩ１９は非常に高速で画像信号をサンプリングし、そこに含まれる輝度情報を取り出すことができる。

【0114】

例えば、可視光送信機の投光器から、可視光通信規格に基づき４値ＰＰＭ変調された可視光が４．８Ｋｂｐｓで送信される場合、可視光に重畳される送信パルス信号の１サンプルを示す時間は約０．５ｍ秒となり、この送信パルス信号を含む可視光の輝度の明暗変化が、行内で断続する断続模様として撮像素子４１の撮影画像中に発生する。断続する断続模様は、撮像素子４１の行方向に生じ、このような断続模様は各画素２１の画素信号に含まれる情報信号に応じて発生する。

【0115】

次に、画像処理ＬＳＩ１９は、カラー情報と輝度情報を含む上記画像信号を取り込むと、輝度情報のみを取り出して、例えば０〜２５５階調のグレースケールデータに変換し、信号の輝度成分つまり断続する縞模様成分を抽出し、その抽出データをマイクロプロセッサ４８に送出する（ステップ２２０）。

【0116】

マイクロプロセッサ４８は、各画素２１ごとの輝度データを二値化する（ステップ２３０）。二値化処理は、予め設定された輝度の閾値を基準にして行なわれ、各画素２１の輝度成分の二値化データは、断続縞模様が生じる部分で、各行方向の横軸（時間軸）に応じて大きく変化するとともに、縞模様が断続する時間に応じて変化する。そして、マイクロプロセッサ４８は、上記のように二値化した二値化データから、受信したＰＰＭ信号（４値ＰＰＭ変調された信号）を抽出する（ステップ２４０）。

【0117】

次に、マイクロプロセッサ４８は、抽出されたＰＰＭ信号を復調し、可視光送信機から送信されたＩＤ情報を取り出す（ステップ２５０）。或いは、送信された可視光送信データが音声データ或いは画像文字データの場合、それらを再生する処理或いは表示する処理を行なう。可視光により送信された情報信号が可視光送信機の固有のＩＤ情報である場合、当該ＩＤ情報に対応したコンテンツ情報（音声案内等）を記憶部５０から読み出し、スピーカー５２を通して再生し或いはディスプレイ５７に表示する。

【0118】

なお、上記実施形態では、図９に示す如く、シャッター信号線３０を画素２１の行方向（図９の水平横方向）に沿って配設し、各行の画素２１について順にずれたタイミングで電荷の蓄積及びその後の信号出力を行うように構成したが、シャッター信号線を画素２１の列方向（図２の縦方向）に沿って配設し、各列の画素２１について列方向に順にずれたタイミングで電荷の蓄積を行い、その後、信号の出力を行なうように構成することもできる。

【0119】

この場合、撮影画像の１フレーム中に撮像され、送信された可視光に含まされる情報信号を含む断続模様は、画素２１の列方向に生じる。つまり、各列の画素２１について列ごとに順にずれたタイミングで電荷の蓄積を行い、これにより、列方向に沿った断続模様を撮影画像中に生じさせる。その後、各列の画素２１について蓄積された電荷に基づく信号を出力させることにより、列方向に沿った断続模様を撮影画像中に生じさせ、その断続模様に含まれる送信データを抽出することができる。

【0120】

このように、携帯端末１のカメラは、画素アンプ順次出力式の撮像素子４１によりその光拡散画像を撮影し、光拡散画像中に、情報信号に応じた断続模様を行方向または列方向に生じさせ、情報信号を撮影画像中に捕捉する。このとき撮影画像に含まれる断続する断続模様は、時間軸とともに変化する情報信号（送信される可視光の輝度の明暗変化）を含み、その断続する断続模様の発生状態に、可視光通信で送信された情報信号が含まれる。この断続する断続模様から情報信号を抽出することにより、汎用のカメラ１０を搭載する携帯電話機などの携帯端末１であれば、可視光通信用の可視光を受光するための専用の受光素子を設ける必要がなく、汎用の携帯端末１を使用して、可視光通信の情報信号を簡単に受信することができる。

【0121】

また、各画素２１ごとに得られる情報信号を１サンプルとしてサンプリングを高速で行なって抽出することができるので、従来に比べ、高速で送信データを受信することができる。また、撮像素子４１は結像しない画像を撮影するため、上記と同様に、通常のカメラがレンズで被写体を結像して被写体画像を撮影する場合と比べ、結像画像によるノイズの影響を受けず、受信データを正確に抽出することができる。

【符号の説明】

【0122】

１ 携帯端末
１０ カメラ
１１ 撮像素子
１２ 光拡散フィルター
１３ レンズ
１４ アイリス
１６ 行走査デバイス
１７ 列走査デバイス
１８ ＡＤコンバータ
２１ 画素
２２ 画素アンプ
２３ 画素選択スイッチ
２４ 列選択スイッチ
２５ 垂直信号線
２６ 水平信号線
２７ 第２アンプ
２８ 切替スイッチ
３０ シャッター信号線
３１ 画素選択スイッチ
３２ 行選択スイッチ
４１ 撮像素子
４２ 行走査デバイス
４３ 列走査デバイス
４６ オーディオ回路
４８ マイクロプロセッサ
５０ 記憶部
５１ マイク
５２ スピーカー
５３ 周辺インターフェイス
５４ ＲＦ回路
５６ ディスプレイコントローラ
５７ ディスプレイ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】