特許 6763622 同期データ結合装置及び同期データ分離装置及び保存装置及び再生装置並びにコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6763622

(24)【登録日】2020年9月14日

(45)【発行日】2020年9月30日

(54)【発明の名称】同期データ結合装置及び同期データ分離装置及び保存装置及び再生装置並びにコンピュータプログラム

(51)【国際特許分類】

   H04N 21/436 20110101AFI20200917BHJP

   H04N 21/43 20110101ALI20200917BHJP

   H04N 21/435 20110101ALI20200917BHJP

   G11B 20/10 20060101ALI20200917BHJP

   G11B 27/00 20060101ALI20200917BHJP

【ＦＩ】

   H04N21/436

   H04N21/43

   H04N21/435

   G11B20/10 301Z

   G11B27/00 D

【請求項の数】9

【全頁数】15

(21)【出願番号】特願2019-197519(P2019-197519)

(22)【出願日】2019年10月30日

【審査請求日】2019年11月1日

【早期審査対象出願】

(73)【特許権者】

【識別番号】506360402

【氏名又は名称】株式会社ネットビジョン

(74)【代理人】

【識別番号】100109014

【弁理士】

【氏名又は名称】伊藤 充

(74)【代理人】

【識別番号】100141988

【弁理士】

【氏名又は名称】松本 浩一郎

(74)【代理人】

【識別番号】100182154

【弁理士】

【氏名又は名称】吉田 淳一

(72)【発明者】

【氏名】國府 博

【審査官】 山▲崎▼ 雄介

(56)【参考文献】

【文献】 特開２００７−２６７１４６（ＪＰ，Ａ）

【文献】 特開２００３−０３２６２７（ＪＰ，Ａ）

【文献】 国際公開第２００８／１４３３１５（ＷＯ，Ａ１）

【文献】 特開２００１−０１３９５１（ＪＰ，Ａ）

【文献】 特開２００８−１０９６００（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ２１／００−２１／８５８

Ｇ１１Ｂ ２０／１０−２０／１６

Ｇ１１Ｂ ２７／００−２７／０６

(57)【特許請求の範囲】

【請求項1】

映像データと、前記映像データと同時に発生したデータであって前記映像データと同時に取得した同期データと、を結合させて結合ファイルを生成する装置であって、
前記映像データを入力する第１ビデオインターフェースと、
前記第１ビデオインターフェースが入力した映像データのビット幅を規定のビット幅に変換し、さらに、前記映像データのクロックを規定の周波数のドットクロックに変換する第１変換部と、
前記同期データを入力する第１同期データインターフェースと、
前記第１同期データインターフェースが入力した前記同期データを、サンプルクロックでサンプリングするサンプリング部と、
前記第１変換部が変換した変換後の映像信号と、前記サンプリング部がサンプリングした同期データとを結合させ、結合した結合ファイルを生成するマージ部と、
を備え、前記ドットクロックとサンプルクロックとは、同一の周波数であることを特徴とする同期データ結合装置。

【請求項2】

前記同期データは、前記映像データより低速の信号であることを特徴とする請求項１記載の同期データ結合装置。

【請求項3】

前記ドットクロックと前記サンプルクロックとは、同位相のクロック信号であることを特徴とする請求項１又は２記載の同期データ結合装置。

【請求項4】

前記ドットクロックと前記サンプルクロックとは同一のクロック信号であり、前記サンプルクロックを生成するクロック生成部、
を、さらに備えることを特徴とする請求項１から３のいずれか１項に記載の同期データ結合装置。

【請求項5】

請求項１から４のいずれか１項に記載の同期データ結合装置が生成した結合ファイルを分離する同期データ分離装置であって、
前記結合ファイルから映像信号データを抽出して出力すると共に、前記結合ファイルから同期データを取り出して出力する分離部と、
前記分離した映像データビット幅を元のビット幅に変換し、さらに、前記映像データのドットクロックを元の映像データのクロックに変換する第２変換部と、
前記第２変換部が変換した前記映像データを出力する第２ビデオインターフェースと、
前記分離した同期データを、出力する第２同期データインターフェースと、
を備え、前記結合ファイルから、結合前の前記映像データと、結合前の前記同期データを分離して抽出する同期データ分離装置。

【請求項6】

請求項１から４のいずれか１項に記載の同期データ結合装置が生成した結合ファイルを保存する保存装置であって、
前記結合ファイル中の前記映像データを取り出して所定のディスプレイに表示する映像データ表示部と、
前記結合ファイル中の前記同期データを取り出して所定のディスプレイに表示する同期データ表示部と、
前記映像データの１６進数ダンプ表示を行うダンプ表示部と、
操作者の指示によって前記結合ファイルを、所定の記録装置に記録する記録部と、
を備えることを特徴とする保存装置。

【請求項7】

コンピュータを、請求項６記載の保存装置として動作させるコンピュータプログラムであって、
前記コンピュータに、
前記結合ファイル中の前記映像データを取り出して所定のディスプレイに表示する映像データ表示手順と、
前記結合ファイル中の前記同期データを取り出して所定のディスプレイに表示する同期データ表示手順と、
前記映像データの１６進数ダンプ表示を行うダンプ表示手順と、
操作者の指示によって前記結合ファイルを、所定の記録装置に記録する記録手順と、
を実行させることを特徴とするコンピュータプログラム。

【請求項8】

請求項１から４のいずれか１項に記載の同期データ結合装置が生成した結合ファイルを再生する再生装置であって、
前記結合ファイル中の前記映像データを取り出して所定のディスプレイに表示する映像データ表示部と、
前記結合ファイル中の前記同期データを取り出して所定のディスプレイに表示する同期データ表示部と、
前記映像データの１６進数ダンプ表示を行うダンプ表示部と、
前記結合ファイル中の映像データ及び前記同期データの双方の波形データを所定のディスプレイに表示する波形データ表示部と、
を備え、
操作者が、表示された前記映像データ上の所定の箇所を指示した場合、前記波形データ表示部は、その指示された場所に対応する波形データを表示することを特徴とする再生装置。

【請求項9】

コンピュータを、請求項８記載の再生装置として動作させるコンピュータプログラムであって、
前記コンピュータに、
前記結合ファイル中の前記映像データを取り出して所定のディスプレイに表示する映像データ表示手順と、
前記結合ファイル中の前記同期データを取り出して所定のディスプレイに表示する同期データ表示手順と、
前記映像データの１６進数ダンプ表示を行うダンプ表示手順と、
前記結合ファイル中の映像データ及び前記同期データの双方の波形データを所定のディスプレイに表示する波形データ表示手順と、
を実行させ、
操作者が、表示された前記映像データ上の所定の箇所を指示した場合、前記波形データ表示手順は、その指示された場所に対応する波形データを表示する手順であることを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デジタル画像処理を実行する装置、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ボード（ＰＣＢ）に関する。また、ボード、所定の画像処理装置の検査技術に関する。特に、検査に役立つ映像データとその映像データと同時に発生した同期データとを結合（合成）する技術、結合（合成）したファイルを再生する技術等に関する。

【背景技術】

【0002】

画像処理装置は様々な分野で使用されているが、いずれも画像データのみを単独で処理する装置である場合が多い。
しかし、様々な場所にカメラが設置されている現代においては、画像データと同時にその周囲の情報も同時に処理する必要がある。例えば、画像データを撮影している際の周囲の騒音や気候情報等、画像と関連付けて処理する必要がある場合も多い。
また、自動運転技術の向上とともに、車両の車載カメラの映像データと、当該車両の様々な運行情報とを同時に処理する必要が生じてきた。例えばミリ波レーダーの観測情報や、車両の車軸の情報、音声情報、車両の位置情報、等が挙げられる。これらのデータは、映像データの伝送や保存とは別に、ＣＡＮ（Controller Area Network）規格や、ＬＡＮ（Local Area Network）規格等で伝送され、また、別途保存されてきた。
そして、映像データと、例えばＣＡＮデータとを同時に検査することや、同時に試験する必要がある場合は、複数種類の信号を別々の再生装置から再生させて各種の処理を行っていた。場合によっては、すべてコンピュータの上でのシミュレーションで行わざるを得ない場合も生じた。
このように、映像データと、それに関連するデータ（以下、「同期データ」と呼ぶ）とを統合して検査したい場合等においては、その検査装置が複雑なものとなる傾向にあった。 なお、本文において、「同期データ」とは、映像データと同時に発生しており、映像データと同時に取得するデータをいい、種類は問わないものとする。
従来の検査装置は、蓄積されたデジタル画像データを、専用ハードウェアを介して画像処理装置に出力する画像のみを検査するものが多い。他の例では、蓄積されたデジタル画像データを、専用ハードウェアを介して動作周波数を可変とし、画像処理装置に出力する、いわゆる動作周波数検査が知られている。
以上の２種の装置が、従来から、主に使用されてきた装置である。これらの検査装置は、デジタル画像データのタイミング波形のみ表示する方法で検査を行う画像検査装置である。
先行特許文献
後述する特許文献１（特開２０１９−６２３４８号公報）には、映像データを他の種類の映像データ（解像度が異なる映像データ）と同時に表示する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９−６２３４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来、映像データと、他のデータとを同時に用いて検査しようとすれば、上記のような手法をとる必要があった。つまり、デジタル画像データと、タイミング波形のみを表示する技術しか利用することができなかった。したがって、どのような同期データが流れているのかをリアルタイムに判断することは困難であった。
特に映像データは、そのドットクロック（ピクセルクロック）が１００ＭＨｚ前後になる場合も多く、そのような精度で、どのような種類の同期データが流れているのかを知ることは、困難であった。
従来の技術は、要するに、映像データと、同期データとを個別に保存しておき、タイミングを合わせて同期再生しているが、高い精度でタイミングを合わせることは困難である。
これに関して、ソフトウェアによってシミュレーションを行って検査や試験を行うという手法がある。この手法によればある程度の整合性が得られるが、実時間において完全に再現することは依然として困難である。特に、画像が大規模化し、同期データの種類が増えてくると、タイミングを完全にあわせることはますます困難となっていく。
本発明は、係る課題に鑑みなされたものであり、その目的は、映像データと、その映像データと関連する同期データを同期データと、をより高い精度で同期して表現できるような仕組みを実現することである。

【課題を解決するための手段】

【0005】

（１）本発明は、上記課題を解決するために、映像データと、前記映像データと同時に発生したデータであって前記映像データと同時に取得した同期データと、を結合させて結合ファイルを生成する装置であって、前記映像データを入力する第１ビデオインターフェースと、前記ビデオインターフェースが入力した映像データのビット幅を規定のビット幅に変換し、さらに、前記映像データのクロックを規定の周波数のドットクロックに変換する第１変換部と、前記同期データを入力する第１同期データインターフェースと、
前記同期データインターフェースが入力した前記同期データを、サンプルクロックでサンプリングするサンプリング部と、前記変換部が変換した変換後の映像信号と、前記サンプリング部がサンプリングした同期データとを結合させ、結合した結合ファイルを生成するマージ部と、を備え、前記ドットクロックとサンプルクロックとは、同一の周波数であることを特徴とする同期データ結合装置である。

【0006】

（２）また、本発明は、前記同期データは、前記映像データより低速の信号であることを特徴とする（１）記載の同期データ結合装置である。

【0007】

（３）また、本発明は、前記ドットクロックと前記サンプルクロックとは、同位相のクロック信号であることを特徴とする（１）又は（２）記載の同期データ結合装置である。

【0008】

（４）また、本発明は、前記ドットクロックと前記サンプルクロックとは同一のクロック信号であり、前記サンプルクロックを生成するクロック生成部を、さらに備えることを特徴とする（１）から（３）のいずれか１項に記載の同期データ結合装置である。

【0009】

（５）本発明は、上記課題を解決するために、（１）から（４）のいずれか１項に記載の同期データ結合装置が生成した結合ファイルを分離する同期データ分離装置であって、前記結合ファイルから映像信号データを抽出して出力すると共に、前記結合ファイルから同期データを取り出して出力する分離部と、前記分離した映像データビット幅を元のビット幅に変換し、さらに、前記映像データのドットクロックを元の映像データのクロックに変換する第２変換部と、前記第２変換部が変換した前記映像データを出力する第２ビデオインターフェースと、前記分離した同期データを、出力する第２同期データインターフェースと、を備え、前記結合ファイルから、結合前の前記映像データと、結合前の前記同期データを分離して抽出する同期データ分離装置である。

【0010】

（６）また、本発明は、上記課題を解決するために、（１）から（４）のいずれか１項に記載の同期データ結合装置が生成した結合ファイルを保存する保存装置であって、前記結合ファイル中の前記映像データを取り出して所定のディスプレイに表示する映像データ表示部と、前記結合ファイル中の前記同期データを取り出して所定のディスプレイに表示する同期データ表示部と、前記映像データの１６進数ダンプ表示を行うダンプ表示部と、 操作者の指示によって前記結合ファイルを、所定の記録装置に記録する記録部と、
を備えることを特徴とする保存装置である。

【0011】

（７）本発明は、コンピュータを、（６）記載の保存装置として動作させるコンピュータプログラムであって、前記コンピュータに、前記結合ファイル中の前記映像データを取り出して所定のディスプレイに表示する映像データ表示手順と、前記結合ファイル中の前記同期データを取り出して所定のディスプレイに表示する同期データ表示手順と、前記映像データの１６進数ダンプ表示を行うダンプ表示手順と、操作者の指示によって前記結合ファイルを、所定の記録装置に記録する記録手順と、を実行させることを特徴とするコンピュータプログラムである。

【0012】

（８）本発明は、（１）から（４）のいずれか１項に記載の同期データ結合装置が生成した結合ファイルを再生する再生装置であって、前記結合ファイル中の前記映像データを取り出して所定のディスプレイに表示する映像データ表示部と、前記結合ファイル中の前記同期データを取り出して所定のディスプレイに表示する同期データ表示部と、前記映像データの１６進数ダンプ表示を行うダンプ表示部と、前記結合ファイル中の映像データ及び前記同期データの双方の波形データを所定のディスプレイに表示する波形データ表示部と、を備え、操作者が、表示された前記映像データ上の所定の箇所を指示した場合、前記波形データ表示手順は、その指示された場所に対応する波形データを表示する手順であることを特徴とする再生装置である。

【0013】

（９）本発明は、コンピュータを、（８）記載の再生装置として動作させるコンピュータプログラムであって、前記コンピュータに、前記結合ファイル中の前記映像データを取り出して所定のディスプレイに表示する映像データ表示手順と、前記結合ファイル中の前記同期データを取り出して所定のディスプレイに表示する同期データ表示手順と、前記映像データの１６進数ダンプ表示を行うダンプ表示手順と、前記結合ファイル中の映像データ及び前記同期データの双方の波形データを所定のディスプレイに表示する波形データ表示手順と、を実行させ、操作者が、表示された前記映像データ上の所定の箇所を指示した場合、前記波形データ表示手順は、その指示された場所に対応する波形データを表示する手順であることを特徴とするコンピュータプログラムである。

【発明の効果】

【0014】

本発明によれば、映像データと、その映像データと関連する同期データを同期データと、高い精度で結合させて結合ファイルを生成している。したがって、映像データと同期データとのタイミングをより高い精度で保存することができ、かつ、再生することができる。

【図面の簡単な説明】

【0015】

【図1】本実施形態に係る同期データ結合装置１０の利用態様を表す説明図である。

【図2】本実施形態に係る同期データ結合装置１０の構成図である。

【図3】本実施形態に係るコンピュータ８のディスプレイの様子を示す図である。

【図4】本実施形態２に係る同期データ分離装置１００の利用態様を表す説明図である。

【図5】本実施形態２に係る同期データ分離装置１００の構成図である。

【図6】本実施形態２に係るコンピュータ８のディスプレイの様子を示す図である。

【発明を実施するための形態】

【0016】

１．実施形態１
以下、本発明の好適な実施形態を図面に基づいて説明する。
図１は、本実施形態１に係る同期データ結合装置１０の利用態様を表す説明図である。この図で示す例では、車両上の映像データと、その映像データと関連する同期データ（例えばＣＡＮデータ）とを結合させて、結合ファイルを生成する例を説明する。
まず、車載カメラ等から得られるプログレッシブ画像４は、映像データの一種であり、ＬＶＤＳ（Low Voltage Differential Signaling）を通じて同期データ結合装置１０に供給されている。

【0017】

一方、その車両の種々の走行データは、ＣＡＮを通じて同期データ結合装置１０に供給されている。本実施形態１では、同期データ（ＣＡＮ信号）が、例えば車両の走行データである場合を例として説明する。同期データは他のデータを利用してもよい。ＬｉＤＥＲ（Light Detection and Ranging）のデータでもよいし、ＣＡＮ以外の通信路を通じて供給されるデータでもよい。
ここで、ＣＡＮ信号は、いわゆるｋＨｚオーダーの信号であり、映像データに比べると低速の信号である。本実施形態における同期データとは、ＣＡＮ信号のように、映像データより低速のデータであることを前提としている。
同期データ結合装置１０は、本実施形態において特徴的な構成であり、その車両における車載カメラの画像（映像データ）と、その車両の走行データ（同期データ）とを、結合して、両者のタイミングがより高精度でそろっているような結合ファイルを生成する。

【0018】

同期データ結合装置１０は、この生成した結合ファイルをコンピュータ８に出力する。コンピュータ８は、例えばＵＳＢ３．０で同期データ結合装置１０と接続されている。同期データ結合装置１０は、ＵＳＢ３．０を介して、結合ファイルをコンピュータ８に送信することができる。そして、コンピュータ８は受信した結合ファイルを、コンピュータ８に備え付けられているディスプレイ上に映していわゆるモニターをすることができる。
さらに、コンピュータ８は、結合ファイルを内部の記憶手段に保存することができる。

【0019】

同期データ結合装置１０の詳細
図２には、同期データ結合装置１０の構成図が示されている。
ビデオインターフェース１２は、車載カメラ等の映像データであるプログレッシブ画像４を入力する。この際、プログレッシブ画像４のピクセルクロック（９９ＭＨｚ）も同時に入力する。ビデオインターフェース１２は、ＬＶＤＳ上の信号を、ＶＳＹＮＣ、ＨＳＹＮＣ、ＶＩＤＥＯの３種に分けてそれぞれ出力する。この例では、それぞれ８ビットのデータである（図２参照）。これらの信号は、変換部１４に供給される。ビデオインターフェース１２は、請求の範囲の第１ビデオインターフェースの好適な一例に相当する。

【0020】

変換部１４は、供給されてきたＶＳＹＮＣ、ＨＳＹＮＣ、ＶＩＤＥＯの３種の信号を所望の値にビット幅変換し、クロック変換する。実際の具体的な値は結合ファイルのビット数（ビット幅）やクロック周波数に依存するが、用途に応じて任意の値を採用してよい。
本実施形態において、クロック変換のためのドットクロックが１００ＭＨｚである。よって、９９ＭＨｚから１００ＭＨｚにクロック変換されている。
このようにして、ビット幅変換、クロック変換されたＶＳＹＮＣ、ＨＳＹＮＣ、ＶＩＤＥＯは、マージ回路１６に供給される。

【0021】

ＣＡＮインターフェース１８は、同期データであるＣＡＮ信号（ｋＨｚ）を受信するインターフェースであり、ＣＡＮ信号をデジタル信号に変換し、サンプリング回路２２に供給する。このＣＡＮインターフェース１８は、請求の範囲の第１同期データインターフェースの好適な一例に相当する。なお、第１同期データインターフェースとしては、他のインターフェースでもよく、例えば、ＬＡＮ（Local Area Network）インターフェース２０でもよい（図２参照）。ＬＡＮインターフェース２０は他の種類の同期データを、ＬＡＮ上から受信してよい。例えばＬｉＤＥＲのデータを受信してもよい。なお、第１同期データインターフェースは、何種類でも、何個でもよい。

【0022】

サンプリング回路２２は、ＣＡＮ信号をサンプリングする。このとき使用するサンプルクロックは、クロック発生回路２４によって発生されるドットクロックと同じクロックをサンプルクロックとして用いている。
本実施形態において特徴的なことは、映像データ側のクロック変換に用いたクロックと同じクロックを、同期データ（ＣＡＮ信号）側におサンプルクロックとして用いたことである。これによって、クロック変換後の映像データと、サンプリング後の同期データとのビットレートをあわせることができ、両者を高い精度で同期させたデータとして得ることができる。このように、ビットレートが合致しているので、それぞれのデータを単に並べて（マージして）データファイルを構成していけば、最終的な結合ファイルが完成する。サンプリング回路２２は、サンプリングしたＣＡＮ信号をマージ回路１６に送信する。なお、サンプリング回路２２は、請求の範囲のサンプリング部の好適な一例に相当する。

【0023】

マージ回路１６は、ビット変換・クロック変換されたプログレッシブ画像と、サンプリングされたＣＡＮ信号と、をマージして、結合ファイルを生成する。マージ回路１６はその結合ファイルと、１００ＭＨｚのドットクロックとを出力する。結合ファイルの構成の一例としては、画像信号（ＶＩＤＥＯ）：８ビット、ＰＣＬＫ：１ビット、ＨＳＹＮＣ：１ビット、ＶＳＹＮＣ：１ビット、ＣＡＮ信号：５ビット（ＣＡＮ信号に対して０詰め（０padding）して５ビットに拡張している。
ここで、ＰＣＬＫは、ピクセルクロック信号を意味し、ＨＳＹＮＣは水平同期信号、ＶＳＹＮＣは、垂直同期信号、をそれぞれ表す。
本実施形態の結合ファイルは、１データがこのように合計１６ビット幅のデータとなっている。この１６ビット幅のデータが、１００ＭＨｚクロックで連なったものが、結合ファイルである。なお、マージ回路１６は、請求の範囲のマージ部の好適な一例に相当する。

【0024】

このように、本実施形態においては、クロック変換のドットクロックと、サンプリングのためのサンプルクロックとがクロック発生回路２４から出力される同じクロックであるので、同一周波数、同一位相である。なお、少なくとも周波数のみ一致している場合でも、プログレッシブ画像４と、ＣＡＮ信号とのレートを合わせることができるので、結合ファイルを形成することが可能である。クロック発生回路２４は、請求の範囲のクロック生成部の好適な一例に相当する。
特に、プログレッシブ画像４と、ＣＡＮ信号とは、そのビットレートが大幅に異なり、それのタイミングを合わせることはこれまでの技術では大変困難である。本実施形態では同一周波数のクロックで映像データをクロック変換し、同期データをサンプリングしたので、両者のレートをあわせることができ、非常に高い精度でマージすることが容易になったものである。本実施形態の例では、プログレッシブ画像４は９９ＭＨｚのクロック信号を有する非常に高いレートの信号である。これに対してＣＡＮ信号はそのクロック信号がｋＨｚ程度の低いレートの信号であるので、両者をマージすると言う発想がこれまで生じなかったものと思われる。このように、本実施形態は、同期データが、映像データよりレートが低く遅い場合に特に有効である。

【0025】

モニター機能
なお、同期データ結合装置１０が出力する結合ファイルは、コンピュータ８に保存されるが、コンピュータ８はそれをモニターする機能が備えられている。この機能は、コンピュータ８上で稼働するプログラムによって実現されている。このプログラムは、コンピュータ８の記憶装置にインストールされており、コンピュータ８のＣＰＵがこのプログラムを実行することによって下記のような動作を実行する。なお、プログラムは、請求の範囲のコンピュータプログラムの好適な一例に相当する。また、当該プログラムが稼働しているコンピュータ８は、請求の範囲の保存装置の好適な一例に相当する。

【0026】

まず、同期データ結合装置１０が出力する結合ファイルを受信すると、当該プログラムはＣＰＵによって実行されることによって、下記の処理動作が遂行される。
結合ファイル中から、映像データ（プログレッシブ画像４）を取り出し、ディスプレイに表示する。この様子が図３に示されている。この図３はコンピュータ８のディスプレイの様子を示したものである。図３に示すように、画像表示エリア３０にはプログレッシブ画像４が表示される。
このようなプログレッシブ画像４の表示動作は、請求の範囲の映像データ表示手順の好適な一例に相当する。また、表示を行うためのディスプレイ等のハードウェア（画像表示エリア３０）と、ＣＰＵが実行する上記プログラムは、請求の範囲の映像データ表示部の好適な一例に相当する。

【0027】

コンピュータ８においては、当該プログラムはＣＰＵによって実行されている。この状態のコンピュータ８は、同期データ結合装置１０が出力する結合ファイルを受信すると、下記の処理動作を遂行する。
結合ファイル中から、ＣＡＮ信号（同期データ）を取り出し、ディスプレイに表示する。この様子も図３に示されている。この図３はコンピュータ８のディスプレイの様子を示したものである。図３に示すように、ＣＡＮ情報表示ウィンドウ３２にはＣＡＮ信号のＣＡＮ情報４が表示される。
このようなプログレッシブ画像４の表示動作は、請求の範囲の同期データ表示手順の好適な一例に相当する。また、表示を行うためのディスプレイ等のハードウェア（ＣＡＮ情報表示ウィンドウ３２）と、ＣＰＵが実行する上記プログラムは、請求の範囲の同期データ表示部の好適な一例に相当する。

【0028】

次に、同期データ結合装置１０が出力する結合ファイルを受信すると、当該プログラムはＣＰＵによって実行されることによって、下記の処理動作が遂行される。
次に、コンピュータ８において、結合ファイルを受信すると、上記プログラム（を実行したＣＰＵ）は、結合ファイル中から、プログレッシブ画像４（映像データ）を取り出し、その１６進ダンプをディスプレイに表示する。この様子も図３に示されている。この図３に示すように、ダンプ表示ウィンドウ３４には、プログレッシブ画像４と、ＣＡＮ信号の内容が１６進数表記でダンプされて表示される。
このようなプログレッシブ画像４の１６進ダンプの表示動作は、請求の範囲のダンプ表示手順の好適な一例に相当する。また、表示を行うためのディスプレイ等のハードウェア（ダンプ表示ウィンドウ３４）と、ＣＰＵが実行する上記プログラムは、請求の範囲のダンプ表示部の好適な一例に相当する。

【0029】

また、当該プログラムはＣＰＵによって実行されることによって、コンピュータ８は、次の動作を実行する。すなわち、コンピュータ８は、同期データ結合装置１０が出力する結合ファイルを受信すると、そのときの操作者の指示に基づいて、結合ファイルを所定の記録装置に記録する。
この記録動作は結合ファイルを保存する動作である。この動作は、操作者の指示によって実行される動作であるが、自動的に記録するように操作者が予め設定しておいてもよい。
このような結合ファイルが所定の記録装置に記録される動作は、請求の範囲の記録手順の好適な一例に相当する。また、記録装置に記録する動作を実行するＣＰＵや、当該ＣＰＵが実行するプログラムは、請求の範囲の記録部の好適な一例に相当する。
以上説明したプログラムは、記録アプリケーションと呼ぶ。

【0030】

以上説明したように、本実施形態１によれば、プログレッシブ画像４（映像データ）のクロック変換と、ＣＡＮ信号（同期データ）のサンプリングクロックを同一の周波数にしたので、双方のレートを合わせることができた。その結果、両データをマージして０−辞して結合ファイルを生成することができる。このようにして生成した結合ファイルによれば、プログレッシブ画像４（映像データ）のクロック変換と、ＣＡＮ信号（同期データ）の同期をより一層正確に記録することができる。

【0031】

２．実施形態２
実施形態１では、結合ファイルの生成について説明した。以下、本発明の好適な実施形態２である、結合ファイルの分離や再生について図面に基づいて説明する。

【0032】

図４は、本実施形態１に係る同期データ分離装置１００の利用態様を表す説明図である。この図で示す例では、コンピュータ８中に保存されている結合ファイルが、ＵＳＢ３．０の経路を通じて、同期データ分離装置１００に供給される。
同期データ分離装置１００は、結合ファイル中から元の映像データ（プログレッシブ画像４）を抽出して、外部に出力する。例えば、車両のＥＣＵ（Engine Control Unit）がプログレッシブ画像４をＬＶＤＳを通じて受信してよい。

【0033】

また、同期データ分離装置１００は、結合ファイル中から元の同期データ（ＣＡＮ情報）を抽出して、外部に出力する。例えば、車両の速度や、車両のステアリングの舵角度等の同期データがＣＡＮを通じて外部に出力される。なお、既に説明したように、同期データは何種類あってもよい。図４に示すように、ＬｉＤＥＲのデータを出力してもよい。
このように、これらの結合する前の元の映像データ、同期データを、例えばＥＣＵに出力することによって、そのＥＣＵを、あたかも走行している車両の情報を受信しているかのような状況に置くこともできる。その結果、当該ＥＣＵの動作テストを高い精度で実行することができる。

【0034】

従来は、映像データと、映像データと同時に発生する他の同期データとを高い精度で結合することができなかったので、実際の車両の走行状態を正確に再現することが困難であった。そのため、ＥＣＵのテストを十分にすることができない場合も想定された。
これに対して本実施形態２によれば、映像データと同時に発生する他の同期データとを高い精度で再現することができるので、ＥＣＵのテストや、その他の車両のテストを非常に高精度に実行することが可能である。

【0035】

同期データ分離装置１００の詳細
図５には、同期データ分離装置１００の構成図が示されている。
分離回路１０６は、供給されてきた結合ファイルを元の各信号に分離する。本実施形態２の場合は、分離後の信号は、ビット幅変換・クロック変換されたプログレッシブ画像と、サンプリングされたＣＡＮ信号と、に分離される。プログレッシブ画像は変換回路１０４に供給される。また、ＣＡＮ信号は、ＣＡＮインターフェース１０８に供給される。
図２でも説明したように、結合ファイル中には、同期データは複数存在していてもよい。分離回路１０６は、請求の範囲の分離部の好適な一例に相当する。

【0036】

ＣＡＮインターフェース１０８は、ＣＡＮ信号を受信すると、その信号をＣＡＮに載せることができる電気レベルに変換してから外部に出力する。これによって、外部には、元のＣＡＮ信号（ｋＨｚ）がより正確に再現される。ＣＡＮインターフェース１０８は、請求の範囲の第２同期データインターフェースの好適な一例に相当する。なお、第２同期データインターフェースとしては、他のインターフェースでもよく、例えば、ＬＡＮ（Local Area Network）インターフェース１１０でもよい（図５参照）。ＬＡＮインターフェース１１０は他の種類の同期データを、ＬＡＮ上に送出してよい。例えばＬｉＤＥＲのデータを送出してもよい。なお、第２同期データインターフェースは、何種類でも、何個でもよい。

【0037】

変換部１０４は、供給されてきたＶＳＹＮＣ、ＨＳＹＮＣ、ＶＩＤＥＯの３種の信号を元の値にビット幅変換し、クロック変換する。この結果、ビット幅や、クロックはもとの値に戻ることになる。実際の具体的な値は、実際に用いる映像データのビット数（ビット幅）やクロック周波数に依存するので、用途や用いる映像データの値に応じて任意の値を採用してよい。変換部１０４は、請求の範囲の第２変換部の好適な一例に相当する。
なお、クロック変換に用いるピクセルクロック（もとの９９ＭＨｚ）は、クロック発生回路１１４が出力している。出力したクロックは、変換部１０４と、ビデオインターフェース１０２とに供給されている。
このように、本実施形態２においては、結合ファイル中では、ドットクロックが１００ＭＨｚであったが、これが元の９９ＭＨｚに変換されて、元の映像データが再現される。再現された元の映像データは、ビデオインターフェース１０２に供給される。

【0038】

ビデオインターフェース１０２は、供給されてきた映像データを、車載カメラ等の映像データであるプログレッシブ画像４に電気レベル等を変換して外部に出力する。この際、プログレッシブ画像４のピクセルクロック（９９ＭＨｚ）も同時に出力する。なお、このピクセルクロック（９９ＭＨｚ）は、クロック発生回路１１４が出力して、ビデオインターフェース１０２と、変換部１０４とに供給する。ビデオインターフェース１０２は、請求の範囲の第２ビデオインターフェースの好適な一例に相当する。

【0039】

本実施形態２において特徴的なことは、結合ファイル中に収容されていた映像データを元のクロック周波数にクロック変換していることである。これによって、元の映像データ（御プログレッシブ画像）をより正確に再現することができる。
また、ＣＡＮ信号（同期データ）は、映像データに比べてビットレートが低い（ｋＨｚ）ので、元のクロックにクロック変換せずにそのままＣＡＮインターフェース１０８に供給しているが、十分に正確な信号の再現を行うことができる。

【0040】

このように、本実施形態２においては、結合ファイル中のプログレッシブ画像４（映像データ）と、ＣＡＮ信号（同期データ）とをより正確なタイミングで再現することができる。したがって、信号のタイミングが非常に重要なＥＣＵのテスト等に、本実施形態２で再現したデータを適用すれば、より実践的なテストを行うことができ、車両のＥＣＵやその他各種情報プロセッサをより正確にテストすることができる。

【0041】

モニター機能
なお、本実施形態２においても、結合ファイルは、コンピュータ８に保存されている。コンピュータ８は、結合ファイルを同期データ分離装置１００に供給しながら、その内容をモニターする機能が備えられている。この機能は、コンピュータ８上で稼働するプログラムによって実現されている。このプログラムは、コンピュータ８の記憶装置にインストールされており、コンピュータ８のＣＰＵがこのプログラムを実行することによって次のような動作を実行する。なお、プログラムも、請求の範囲のコンピュータプログラムの好適な一例に相当する。また、このプログラムが稼働しているコンピュータ８は、請求の範囲の再生装置の好適な一例に相当する
なお、このモニター機能は、コンピュータ８が、結合ファイルを同期データ分離装置１００に供給しない場合に実行してもよい。

【0042】

まず、コンピュータ８（のＣＰＵ）は、結合ファイル中から、映像データ（プログレッシブ画像４）を取り出し、ディスプレイに表示する。この様子が図６に示されている。この図６は、図３と同様に、コンピュータ８のディスプレイの様子を示したものである。図６に示すように、画像表示エリア１３０にはプログレッシブ画像４が表示される。これは、コンピュータ８上で稼働する上記プログラムが、結合ファイル中から、映像データを取り出し、それをソフトウェアでディスプレイ上の画像として表示している。
このようなプログレッシブ画像４の表示動作は、請求の範囲の映像データ表示手順の好適な一例に相当する。また、表示を行うためのディスプレイ等のハードウェア（画像表示エリア１３０）と、ＣＰＵが実行する上記プログラムは、請求の範囲の映像データ表示部の好適な一例に相当する。

【0043】

次に、同期データ分離装置１００が出力する結合ファイルを受信すると、当該プログラムはＣＰＵによって実行されることによって、コンピュータ８は、下記の処理動作が遂行される。
結合ファイル中から、ＣＡＮ信号（同期データ）を取り出し、ディスプレイに表示する。この様子も図６に示されている。この図６はコンピュータ８のディスプレイの様子を示したものである。図６に示すように、ＣＡＮ情報表示ウィンドウ１３２にはＣＡＮ信号のＣＡＮ情報が表示される。
このようなプログレッシブ画像４の表示動作は、請求の範囲の同期データ表示手順の好適な一例に相当する。また、表示を行うためのディスプレイ等のハードウェア（ＣＡＮ情報表示ウィンドウ３２）と、ＣＰＵが実行する上記プログラムは、請求の範囲の同期データ表示部の好適な一例に相当する。

【0044】

次に、コンピュータ８において、上記プログラム（を実行したＣＰＵ）は、コンピュータ８が保存している結合ファイル中から、プログレッシブ画像４（映像データ）を取り出し、その１６進ダンプをディスプレイに表示する。この様子も図３に示されている。この図３に示すように、ダンプ表示ウィンドウ１３４には、プログレッシブ画像４と、ＣＡＮ信号の内容が１６進数表記でダンプされて表示される。
このようなプログレッシブ画像４の１６進ダンプの表示動作は、請求の範囲のダンプ表示手順の好適な一例に相当する。また、表示を行うためのディスプレイ等のハードウェア（ダンプ表示ウィンドウ１３４）と、ＣＰＵが実行する上記プログラムは、請求の範囲のダンプ表示部の好適な一例に相当する。

【0045】

次に、コンピュータ８において、上記プログラム（を実行したＣＰＵ）は、コンピュータ８が保存している結合ファイル中から、所定の箇所（範囲）のプログレッシブ画像４や、ＣＡＮ信号を取り出し、その波形をディスプレイに表示する。この様子も図６に示されている。この図６に示すように、波形表示ウィンドウ１３６には、プログレッシブ画像４と、ＣＡＮ信号の内容が波形表示される。
このとき、操作者はカーソル等を用いて、像表示エリア１３０上のいずれかの箇所を指示する。すると、コンピュータ８は、結合ファイルの中から、その維持された箇所（範囲）のプログレッシブ画像４の波形データ、ＨＳＹＮＣ、ＶＳＹＮＣの波形データ等が波形表示ウィンドウ１３６で表示される。この結果、操作者は画像の任意の位置の各種の信号の波形データを直接観察することができる。
このような、操作者の指示による波形データの表示は、請求の範囲の波形データ表示手順の好適な一例に相当する。また、波形データを表示する動作を実行するＣＰＵや、当該ＣＰＵが実行するプログラムは、請求の範囲の波形データ表示部の好適な一例に相当する。
以上説明したプログラムは、再生アプリケーションと呼ぶ。

【0046】

以上説明したように、本実施形態２によれば、結合ファイルに基づき、元のデータをより正確に再現することができるので、ＥＣＵ等の車両のテストをより正確に実行することができる。また、プログレッシブ画像４（映像データ）が表示されている画面上で所定の箇所を指示することによって、その箇所のプログレッシブ画像４（映像データ）や、ＣＡＮ信号（同期データ）の波形をみることができるので、ＥＣＵ等の試験の際の問題点を迅速に洗い出すことができる。

【0047】

３．その他
また、以上説明した実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は本実施形態の態様に限定されるものではない。例えば、映像データとしてプログレッシブ画像４を例として説明したが、他の映像データでもよい。同期データとして、ＣＡＮ情報を例として説明したが、その内容は、走行情報やエンジンの情報等、様々なものであってよい。また、ＣＡＮ情報以外の他の種類のデータを同期データとしてもよい。

【符号の説明】

【0048】

４ プログレッシブ画像
６ 同期データ
８ コンピュータ
１０ 同期データ結合装置
１２、１０２ ビデオインターフェース
１４、１０４ 変換回路
１６ マージ回路
１８、１０８ ＣＡＮインターフェース
２０、１１０ ＬＡＮインターフェース
２２ サンプリング回路
２４、１１４ クロック発生回路
３０、１３０ 画像表示エリア
３２、１３２ ＣＡＮ情報表示ウィンドウ
３４、１３４ ダンプ表示ウィンドウ
１００ 同期データ分離装置
１０６ 分離回路
１３６ 波形表示ウィンドウ

【要約】

【課題】映像データ以外の同期データを、映像データと結合させて、映像データと映像データ以外の同期データとを含むデータファイルを作成する
【解決手段】映像データと、映像データと同時に発生した同期データと、を結合させて結合ファイルを生成する装置であって、映像データを入力する第１ビデオインターフェースと、映像データのクロックを規定の周波数のドットクロックに変換する第１変換部と、同期データを入力する第１同期データインターフェースと、同期データをサンプルクロックでサンプリングするサンプリング部と、変換後の映像信号と、同期データとを結合させ、結合ファイルを生成するマージ部と、を備え、ドットクロックとサンプルクロックとは、同一の周波数であることを特徴とする同期データ結合装置。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】