特許 7024658 処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-02-15

(45)【発行日】2022-02-24

(54)【発明の名称】処理装置

(51)【国際特許分類】

   H04Q 9/00 20060101AFI20220216BHJP

   H04Q 9/02 20060101ALI20220216BHJP

【ＦＩ】

H04Q9/00 301B

H04Q9/02 C

【請求項の数】 6

(21)【出願番号】P 2018150205

(22)【出願日】2018-08-09

(65)【公開番号】P2020027956

(43)【公開日】2020-02-20

【審査請求日】2021-02-26

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(72)【発明者】

【氏名】舟木 正紀

【審査官】白井 亮

(56)【参考文献】

【文献】特開２０１５－１７４１５５（ＪＰ，Ａ）

【文献】特開２００７－２７６０５２（ＪＰ，Ａ）

【文献】特開２０１８－１０６６７６（ＪＰ，Ａ）

【文献】特開２０１８－１１６３８５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｑ ９／００

Ｈ０４Ｑ ９／０２

(57)【特許請求の範囲】

【請求項1】

遠隔地の操作者の指示を示す操作信号に応じた制御信号を生成し、出力する被操作機器の処理装置であって、
前記被操作機器の周辺情報に基づいて前記操作者が次に出す指示を予測し、予測に基づく予測操作信号を生成する予測回路と、
前記操作信号または前記予測操作信号に基づく前記制御信号を生成する制御信号生成回路と
を備え、
前記予測操作信号の前記操作信号に対する誤差が第１の範囲内にある時には、前記制御信号生成回路が前記操作信号を受け取る前に前記予測操作信号に基づいて生成した第１の制御信号を出力することを特徴とする処理装置。

【請求項2】

前記予測操作信号の前記操作信号に対する誤差が第１の範囲よりも大きく第２の範囲内にあるときには、当該誤差に応じて前記第１の制御信号を補正した第２の制御信号を生成し出力する、請求項１に記載の処理装置。

【請求項3】

前記予測回路は、複数の予測結果を出力し、前記制御信号生成回路は前記複数の予測結果のそれぞれに応じた制御信号を複数生成することを特徴とする請求項１記載の処理装置。

【請求項4】

前記周辺情報に含まれる映像情報を取得する撮像手段を有することを特徴とする請求項１から３に記載の処理装置。

【請求項5】

前記撮像手段は、映像情報からの認識結果を前記周辺情報の一部として出力することを特徴とした請求項４に記載の処理装置。

【請求項6】

前記被操作機器は、前記制御信号に基づく制御を実行する駆動部を有し、
前記第１の制御信号が指定する前記駆動部に対し予め駆動する準備を指示することを特徴とする、請求項１から５に記載の処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遠隔操作における処理装置に関する。

【背景技術】

【0002】

通信を介して遠隔操作をする場合、操作機器と被操作機器の間に遅延が生じ、操作性が悪くなるという問題が生じる。従来、この遅延は通信にかかる遅延が問題とされていた。例えば、特許文献１は、通信にかかる遅延が操作性にあたえる問題を解決する宇宙用ロボット操作支援システムに関する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平１－９７５９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

遠隔操作においては、特許文献１で示されたような通信にかかる遅延だけでなく、操作機器からの操作指示が被操作機器の処理装置を介して駆動部を制御実行するまでに要する時間という遅延がある。つまり、操作機器からの操作信号が被操作機器に届き、非操作機器内の処理装置を介して駆動部を制御する制御信号を生成し、この制御信号により駆動部の制御が実行されるまでの遅延である。この遅延が遠隔操作の操作性を悪化させるため、解決が望まれる。

【0005】

本発明は、遠隔操作において、操作信号が届いてから被操作機器が実行するまでにかかる遅延を減らし、操作性を改善する処理装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明は、遠隔地の操作者の指示を示す操作信号に応じた制御信号を生成し、出力する被操作機器の処理装置であって、被操作機器の周辺情報に基づいて操作者が次に出す指示を予測し、予測に基づく予測操作信号を生成する予測回路と、操作信号または予測操作信号に基づく制御信号を生成する制御信号生成回路とを備え、予測操作信号の操作信号に対する誤差が第１の範囲内にある時には、制御信号生成回路が操作信号を受け取る前に予測操作信号に基づいて生成した第１の制御信号を出力することを特徴とする処理装置、を提供する。

【発明の効果】

【0007】

本発明の処理装置によれば、従来よりも遠隔操作の処理速度・効率を向上させることにより操作性を高めることができる。

【図面の簡単な説明】

【0008】

【図1】本発明の処理装置を備える遠隔操作システムを示すブロック図である。

【図2】本発明の処理装置を備える遠隔操作システムの操作側機器の詳細ブロック図である。

【図3】本発明の処理装置を備える被操作機器の詳細ブロック図である。

【図4】本発明の処理装置のブロック図である。

【図5】従来の処理の流れを示す図である。

【図6】本発明の処理装置の予測回路を使った処理の流れを示す図である。

【図7】本発明による処理装置の予測装置が利用するために好適な撮像装置のブロック図である。

【図8】本発明による処理装置の予測装置が利用するために好適な撮像装置の詳細ブロック図である。

【図9】本発明の処理装置の予測回路が利用する周辺情報を出力する撮像装置が画像認識する内容を説明するための図である。

【発明を実施するための形態】

【0009】

以下、本発明の一実施形態の処理装置について説明する。

【0010】

図１は本発明の処理装置を備える遠隔操作システムを示すブロック図である。操作機器１と本発明の処理装置を備えた被操作機器２は、通信網３を介して接続している。操作機器１の図示しない操作者は、操作機器１に被操作機器２への指示を入力する。操作機器１は、入力された指示内容に基づいて操作信号を生成し、通信網３を通じて被操作機器２に送る。被操作機器２は、送られた操作信号を処理して、指示内容を実行する。被操作機器２は、被操作機器２の周辺情報を取得する手段を備えており、当該手段によって取得された周辺情報の一部は通信網３を通じて操作機器１に送られる。

【0011】

操作機器１、被操作機器２と通信網３との接続は、有線でも無線でもよい。また、通信網３は、不特定多数が使う公衆通信網であってもよいし、専用の通信線でもよい。更に、通信網３は、携帯電話の通信網でもよいし、インターネットプロトコルを用いたインターネット通信網でもよい。

【0012】

図２に操作機器１のブロック図を示す。

【0013】

操作機器１は、図示しない操作者が被操作機器２への指示を入力するためのユーザインターフェイス（ＵＩ）１１、ユーザインターフェイス１１に入力された内容に基づいて操作信号を生成する操作信号生成回路１２、通信網３を通じて被操作機器２と通信を行う通信回路１３、被操作機器２から送られる周辺情報に含まれる映像信号を表示する表示装置１４、被操作機器２から送られる周辺情報に含まれる音声信号を音声にするスピーカ１５を含む。

【0014】

ユーザインターフェイス１１は、操作者が指示内容を入力するための入力装置であり、たとえばジョイスティック、ハンドル、レバー、ボタン、数値入力装置、あるいはこれらの組み合わせ等からなる。これらの入力装置は、操作者が直感的に操作できるようになっている。操作者が入力する入力信号は、多くの場合、電圧値などのアナログの信号である。ユーザインターフェイス１１は、アナログの入力信号を図示しないＡＤ変換器などでデジタル化し、デジタル化された入力信号として操作信号生成回路１２に供給する。

【0015】

操作信号生成回路１２は、ユーザインターフェイス１１から送られた入力信号に基づいて、所定のプロトコルに従った操作信号を生成する。例えば、入力信号に所定のヘッダを加えたり、複数の入力装置からの信号を所定の順序に配列したりする。つまり、操作信号生成回路１２は、操作者の入力した指示内容を被操作機器２が理解できる形式に整える。操作信号生成回路１２は、生成した操作信号を通信回路１３に供給する。

【0016】

通信回路１３は、通信網３を通じて、所定の通信プロトコルにしたがって、操作信号を被操作機器２に送る。また、通信回路１３は、被操作機器２から被操作機器２の周辺情報信号を受け取る。周辺情報信号には、映像信号や音声信号が含まれており、通信回路１３は、受け取った周辺情報信号を、信号の種類ごとにそれを処理する装置に夫々供給する。

【0017】

表示装置１４は、周辺情報信号に含まれる映像信号を表示する。またスピーカ１５は、周辺情報信号に含まれる音声信号を音に変換する。

【0018】

図示しない操作者は、表示装置１４の映像、スピーカ１５の音声から被操作機器２の周辺情報を得て、それをもとに被操作機器２への指示を決定し、ユーザインターフェイス１１を用いて指示内容を入力する。

【0019】

なお、被操作機器２の周辺情報は、映像信号と音声信号に限定されるわけではない。たとえば、被操作機器２がレーダを持っている場合には、その情報を操作機器１に送るようにし、操作機器１の表示装置１４に表示するようにしてもよい。被操作機器２が温度計を持っている場合には、温度を表示装置１４に表示してもよいし、スピーカ１５から音声で操作者に伝えるようにしてもよい。

【0020】

図３に被操作機器２のブロック図を示す。

【0021】

被操作機器２は、通信網３を介して操作機器１との通信を行う通信回路２１、被操作機器２内の情報処理を行う処理装置２２、周辺情報信号を処理装置２２に供給する周辺情報取得回路２３、処理装置２２が情報を保存するメモリ２４、バス２５０を介して駆動部を制御する制御回路２５、制御回路２５が情報を保存するメモリ２６とからなる。

【0022】

また、被操作機器２は、例えばバス２３０を介して撮像装置３００、マイク２３２、温度計２３３、レーザレーダ２３４、ミリ波レーダ２３５などのセンサからの情報を取得する。これらのセンサが取得した情報は周辺情報取得回路２３に供給される。周辺情報処理回路２３は供給された信号を整理して、周辺情報信号として処理装置２２に供給する。

【0023】

制御回路２５は、例えば、バス２５０を介して、複数の駆動部２５１～２５３を制御する。駆動部の数は被操作機器２の機能によって変わる。駆動部２５１～２５３は、例えば電気モータやアクチュエータ、変速機などである。また制御回路２５は、メモリ２６に駆動部２５１～２５３の制御にかかわる情報を保存する。その情報には、駆動部２５１～２５３の現在の状態に関するものが含まれ、例えば駆動部２５１～２５３のそれぞれがオン状態かスリープ状態かを表す情報が含まれる。

【0024】

図４に処理装置２２のブロック図を示す。処理装置２２は、例えば、処理回路２２１、制御信号生成回路２２２、予測回路２２３を含む。端子２２４は、通信回路２１と接続しており、端子２２５は周辺情報取得回路２３と接続しており、端子２２６はメモリ２４と接続しており、端子２２７は制御回路２５と接続している。

【0025】

処理回路２２１は、入力された信号に応じて通信回路２１、周辺情報取得回路２３、メモリ２４、制御信号生成回路２２２、予測回路２２３、制御回路２５との間で処理されるべき信号を割り振る。また信号に基づく計算も行う。

【0026】

制御信号生成回路２２２は、通信回路２１から端子２２４を介して処理回路２２２が取り出した操作信号に基づいて制御信号を生成する。操作信号には、例えば、被操作機器２が次にどちらの方向へどのような速度で移動する、といった指示内容が記述されている。制御信号生成回路２２２は、このような指示内容を実行するため、どのようなタイミングでどのような駆動力を出すかなどの、駆動部２５１～２５３の具体的な動きを計算し、これら駆動部の制御信号を生成する。

【0027】

予測回路２２３は、周辺情報取得回路２３が供給する周辺情報信号に基づいて、操作者が次のどのような指示を出すかを予測する。予測結果は１つではなく、複数でもよい。予測回路２２３は、予測した結果に基づいて、操作信号と同じ形式の信号である予測操作信号を生成する。予測操作信号は操作信号生成回路１２の生成する操作信号と同じ形式で記述されている。したがって、この予測操作信号を制御信号生成回路２２２に供給すると、制御信号生成回路２２２は、操作信号の場合と同じように制御信号を生成する。

【0028】

予測回路２２３は、例えば、ニューラルネットワークにより予測を行う。ニューラルネットワークには、ディープラーニングにより予め学習されたパラメータを用いる。学習に使われるデータは、不特定多数の操作者のものでもよいし、特定の操作者に限定したデータを使うようにしてもよい。特定の操作者に限定したデータを使った場合、その操作者に特有の癖などを学習することができる。

【0029】

次に、遠隔操作の処理の流れについて説明する。まず本発明の予測回路２２３がない場合について、図５を用いて説明する。図５においては、左から右に向かって時間が進むものとする。

【0030】

処理４０：被操作機器２の周辺情報取得回路２３が撮像装置３００、センサ２３２～２３５からの周辺情報を取得し、周辺情報信号を処理装置２２に供給する。
処理４１：処理装置２２は周辺情報信号の一部、または全てを通信回路２１に供給し、情報網３を通して、操作機器１に送る。
処理４２：受信回路１３で受信された周辺情報が表示装置１４、スピーカ１５により操作者に伝えられると、操作者は、次の動作を判断する。操作者はユーザインターフェイス１１を用いて指示を入力し、操作信号生成回路１２が操作信号を生成する。
処理４３：操作信号が通信網３を通して被操作機器２に伝えられる。
処理４４：処理装置２２において、処理回路２２１が制御信号生成回路２２２に操作信号を供給すると、制御信号生成回路２２２は制御信号を生成する。
処理４５：処理装置２２は、制御回路２５に制御信号を供給する。制御回路２５は制御信号をメモリ２６に保存し、制御を実行する。

【0031】

図５の処理の流れにおいて、制御信号生成回路２２２が制御信号を生成するのに時間がかかると、処理４４において制御回路２５の実行が遅れてしまう。この遅れにより遠隔操作における操作性が悪くなる。したがって制御信号の生成はなるべく短時間で終了するのが望ましい。

【0032】

次に本発明の予測回路２２３がある場合の遠隔操作の流れについて、図６を用いて説明する。図５の場合と同様に、左から右へと時間が進んでいるものとする。

【0033】

処理５０：被操作機器２の周辺情報取得回路２３が撮像装置３００、センサ２３２～２３５からの周辺情報を取得し、周辺情報信号を処理装置２２に供給する。
処理５１：処理装置２２は周辺情報信号の一部、または全てを通信回路２１、情報網３を通して、操作機器１に送る。
処理５２：表示装置１４、スピーカ１５により、周辺情報が操作者に伝えられると、操作者は、次の動作を判断する。操作者はユーザインターフェイス１１を用いて指示を入力する。操作信号生成回路１２が操作信号を生成する。
処理５３：操作信号が通信網３を通して被操作機器２に伝えられる。

【0034】

処理５０～５３までは、上述した処理４０～４３と同じ内容である。処理５０～５３が行われている間、被操作機器２では処理５６～５９が実行されている。これらについて説明する。

【0035】

処理５６：処理回路２２１は端子２２５を介して周辺情報取得回路２３からの周辺情報信号を予測回路２２３に供給する。予測回路２２３は、供給された周辺情報信号に基づいて、操作者が次にどのような指示をするかについて、１つ以上の予測を行う。その後、予測に基づいて予測操作信号を生成し、処理回路２２１に供給する。処理回路２２１は予測操作信号を、端子２２６を介してメモリ２４に保存する。
処理５７：処理回路２２１は予測回路２２３が生成した予測操作信号を制御信号生成回路２２２に供給する。制御信号生成回路２２２は、予測操作信号に基づいて第１の制御信号を生成し、処理回路２２１に供給する。処理回路２２１はそれを、端子２２６を介してメモリ２４に保存する。
処理５８：処理回路２２１は制御回路２５を通じて駆動部２５１～２５３の状態について確認する。上述の通り、制御回路２５はメモリ２６に保存してある、駆動部２５１～２５３の状態に関する情報を、端子２２７を介して処理回路２２１に供給する。処理回路２２１は、処理５７において得られた予測操作信号に基づいて生成された第１の制御信号と、駆動部２５１～２５３の状態に関する情報とを比較する。
処理５９：処理回路２２１は、処理５８における比較の結果、処理５７において生成された制御信号をすぐに実行できない状態の駆動部があれば、駆動部の準備をするように制御回路２５に指示を出す。

【0036】

処理５９において、制御信号をすぐに実行できない状態には、当該駆動部の電源がオンになっていない、スリープ状態の場合が含まれる。スリープ状態の駆動部を動かす場合、すでにオン状態の場合に比べて動作開始までに時間がかかり、その分遅延が発生する。したがって使う可能性のある駆動部については、予め電源を供給しオン状態にするよう制御回路２５に指示を出す。

【0037】

なお、処理５６～５９は、処理５０から、操作機器１から操作信号が送られてくる処理５３の時間までには終了している。次に処理５３以降の処理の流れについて説明する。

【0038】

処理５４：処理回路２２１は、例えば、通信網３と通信回路２１を通じて端子２２４を介して操作機器１から送られてきた操作信号とメモリ２４に保存された予測操作信号とを比較し、もっとも近い第１の予測信号を選択する。操作信号と第１の予測操作信号の誤差が、例えば第１の誤差範囲内にある場合には、処理回路２２１は第１の制御信号を制御回路２５に供給する。この誤差範囲が、例えば第１の誤差範囲よりも大きいが第２の誤差範囲内にある場合には、処理回路２２１は補正計算を行い、第１の制御信号を補正した第２の制御信号を生成し、第２の制御信号を制御回路２５に供給する。この誤差範囲が、例えば第２の誤差範囲よりも大きい場合には、処理回路２２１は、操作信号を制御信号生成回路２２２に供給し、この操作信号に基づいて制御信号生成回路２２２が生成した第３の制御信号を制御回路２５に供給する。なお、第１と第２の誤差範囲は、予め設定されているものとする。
処理５５：制御回路２５は得られた第１～第３の制御信号のいずれかに従って、駆動部２５１～２５３を制御する。

【0039】

以上説明したように、本発明の処理装置２２は、操作者の指示を予測し、予測に従って予め第１の制御信号を用意しておき、第１の制御信号を制御回路２５に供給するので、予測が正しかった場合には、実行までの時間を短くすることができ、遠隔操作の操作性を改善することができる。

【0040】

また、本発明の処理装置２２は、操作信号と予測操作信号とを比較し、上述のように近似している場合には、補正計算を行い、第１の制御信号を補正した第２の制御信号を生成し、第２の制御信号を制御回路２５に供給するので、操作信号から制御信号を最初から生成する場合よりも制御信号を生成して実行するまでの時間を短くでき、遠隔操作の操作性を改善することができる。

【0041】

また処理装置２２は、予測に基づいて生成された第１の制御信号と、駆動部２５１～２５３の状態を比較し、駆動部２５１～２５３がすぐに第１の制御信号を実行できるように準備をするよう制御回路２５に指示するので、実行までの時間を短くすることができ、操作性を改善できる。ここで、第２の制御信号について考えると、第２の制御信号は第１の制御信号を補正したものであり、実行内容が似ている。したがってこの処理装置２２の第１の制御信号に基づいて行う制御回路２５への準備の指示は、第２の制御信号を実行する場合にも効果が大きい、と考えられる。

【0042】

ところで、予測回路２２３が正しく予測処理を行うためには、正確かつ適切な周辺情報が必要であり、映像から周辺状況を認識する方法が有効である。映像から認識された周辺情報を認識結果として周辺情報取得回路２３を介して予測回路２２３に供給することが望ましい。そこで、単に映像を取得するだけでなく画像認識を行う撮像装置３００について説明する。

【0043】

図７は本発明による処理装置の予測装置が利用するために好適な撮像装置３００の構成を示している。

【0044】

撮像装置３００は、レンズ３０１と、撮像素子３０２と、映像信号処理部３３０と、画像認識部３４０とを備える。撮像素子３０２はＣＣＤまたはＣＭＯＳセンサであり、図示されないＡＤＣ（Analog to Digital Convertor）を備え、１フレーム内に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の画素が所定の配列で配置されたデジタルのＲＡＷデータを複数フレーム出力する。撮像素子３０２が出力するＲＡＷデータは映像信号処理部３３０と画像認識部３４０とにそれぞれ供給される。

【0045】

映像信号処理部３３０は、人間の目で見て不自然とならないよう調整した映像を生成することを目的として設けられている。映像信号処理部３３０は、表示用の映像信号としてＹＵＶ信号を、バス２３０に出力する。

【0046】

画像認識部３４０は、ＲＡＷデータから後述する情報を得ることを目的として設けられている。具体的には、画像認識部３４０は、画像における所定の特徴を抽出し、画像として表示されていない部分を推定し、また数フレーム後の状態を推定する。つまり、画像認識部３４０は、撮像装置３００内で映像信号処理部３３０による映像信号処理と並行して画像における特徴を抽出し、その特徴に関する情報を認識し、認識した結果をバス２３０に出力する。

【0047】

図８を用いて、撮像装置３００についてさらに詳細に説明する。

【0048】

映像信号処理部３３０は、例えば、白傷補正回路３３１、シェーディング補正回路３３２、デモザイク回路３３３、補正回路３３４、色空間処理回路３３５を有する。映像信号処理部３３０は、撮像素子３０２から供給されたＲＡＷデータを所定の順に処理し、画像信号を生成する。

【0049】

白傷補正回路３３１は、例えば、注目画素の信号レベルが周辺画素レベルよりも格段に大きい場合に、注目画素が白傷であると判断して、その画素の信号レベルを周辺の画素信号から補間する。

【0050】

シェーディング補正回路３３２は、例えば、主にレンズなどの光学的な特性により平坦な輝度の被写体を撮影しても画像周辺部の信号レベルが中央付近の信号レベルと異なっている場合に、信号レベルが画像全体で平坦になるように信号レベルを補正する。

【0051】

デモザイク回路３３３は、例えば、カラーフィルタが所定の規則で並んでいる場合に、１フレーム内で各色信号を全画素に割り当てた画像信号を生成する。カラーフィルタの配列は、例えば、一般的にはＲ、Ｇ、Ｂのカラーフィルタを用いたベイヤ配列になっている。またカラーフィルタを持たず、可視光から近赤外まで感度を持つ画素を含む配列になっていることもある。このような画素は、後述する通り白（ホワイト）と呼ばれることがある。

【0052】

補正回路３３４は画像の各種特性を補正する。この補正には、例えば、ホワイトバランス、輪郭補正、ガンマ補正が含まれる。ホワイトバランスとは、白の被写体においてＲ、Ｇ、Ｂの各信号が同じ大きさになるように調整することである。輪郭補正とは、解像感を改善するために輪郭部の信号を強調することである。ガンマ補正とは、例えば、映像表示部２００等のモニタで表示するときの輝度レベルが線形になるように、予めモニタ特性に合わせて補正しておくことである。

【0053】

色空間処理回路３３５は、例えば、Ｒ、Ｇ、Ｂの３色の信号を輝度（Ｙ）と色差信号に変換する。この後、色相を調整するために、色差信号が補正されることもある。

【0054】

また、色空間処理回路３３５はノイズリダクション処理を行うこともある。例えば複数フレームの画像を加算して、ノイズを減らすなどの処理を行う。このような複数フレームを用いた処理をする場合には、色空間処理回路３３５は、使用する複数フレームが全て色空間処理回路３３５に入力されるのを待ってから処理を行う。

【0055】

さらに、色空間処理回路３３５は色差信号を圧縮してＵ信号及びＶ信号を生成し、ＹＵＶ信号を生成する。このような処理を経て得られたＹＵＶ信号は端子３５０から映像信号として出力される。

【0056】

撮像素子３０２のＲＡＷデータは画像認識部３４０にも供給される。画像認識部３４０は、例えば、輝度画像生成部３４１、静的フィルタ部３４２、輝度情報メモリ３４３及び３４４、動的フィルタ部３４５、輝度画像認識部３４６、色画像認識部３４７、認識結果送信部３４８を含む。

【0057】

画像認識部３４０の構成のうち輝度画像生成部３４１から輝度画像認識部３４６は、輝度信号を処理する。画像認識部３４０では処理のほとんどが輝度情報をもとに行われる。色画像認識部３４７は色空間処理回路３３５からの映像信号に基づいて色画像を判断する。認識結果送信部３４８は輝度画像認識部３４６と色画像認識部３４７の認識結果に基づいて認識結果信号を生成する。認識結果信号は端子３５１から出力される。

【0058】

輝度画像生成部３４１について述べる。輝度画像生成部３４１はＲＡＷデータから輝度情報を取り出す。もっとも単純な輝度画像生成方法として、例えば、ベイヤ配列の場合、Ｇのカラーフィルタのついた画素の信号だけを用いるという方法がある。あるいは、ホワイトと呼ばれるカラーフィルタがない画素は純粋に輝度のみを扱っているので、ホワイトの画素信号を用いるという方法もある。

【0059】

ここでは撮像素子３０２がベイヤ配列であり、Ｇの画素信号を用いる場合を説明する。通常、デモザイク処理における輝度信号はＧだけでなくＲ及びＢの画素信号も用いて生成されるので、解像度は本来の解像度の０．７～０．８倍程度ある。しかしながら、Ｇのみの画素信号では、Ｒ及びＢの画素信号を用いることができず、解像度は０．５倍程度に劣化する。

【0060】

人間が見るための映像であれば、このような解像度劣化は映像品質に大きな影響を与えるので重大な問題となる。しかしながら画像認識をすることが目的の場合には、解像度劣化が必ずしも重要な問題とは限らないので、影響が少ない。その理由については後述する。

【0061】

上述の通り、ベイヤ配列のＧの画素信号だけを用いるとＲ及びＢの画素には信号がなくなってしまうので輝度画像生成部３４１は、抜けた画素部分の周辺の４つのＧの画素信号を単純平均して画素を補間する。

【0062】

また上述したように白傷があれば、白傷補正回路３３１はこれを補正する。通常は見た目を重視するのでＧだけでなくＲ及びＢの画素信号も用いて白傷補正が行われるがここでは輝度画像生成部３４１は隣接するＧの画素信号のみを使って補正する。このように輝度画像生成部３４１は通常より少ない輝度信号の情報を用いることによって処理が高速になる。即ち、解像度よりもこの信号処理の速さを重視して単純な処理で輝度画像を生成する。

【0063】

輝度画像生成部３４１が生成した輝度画像は静的フィルタ部３４２と輝度情報メモリ３４３に供給される。

【0064】

静的フィルタ部３４２について説明する。静的フィルタ部３４２は、動きのない１フレームの輝度画像から特徴を抽出するためのフィルタ処理を行う。ここで行うフィルタ処理とは主に畳み込み処理やプーリング処理である。畳み込み処理とは画像を滑らかにしたりシャープにしたりする処理である。プーリング処理とはこのような畳み込みを行った結果を再サンプリングする処理である。

【0065】

このような処理は抽出すべき特徴だけを残して情報を削っていくことに相当する。このように情報を削っていく処理を含んでいるので、輝度画像が持つ情報量がある程度少なくても、静的フィルタ部３４２による特徴抽出にあまり影響を与えない。したがって輝度画像生成部３４１は、輝度画像の生成に解像度の劣化を伴う単純な方法が使える。

【0066】

また静的フィルタ部３４２は抽出する特徴ごとに異なるフィルタを有し、それらを並列で動作させる。それらの異なるフィルタは、例えばニューラルネットワークのディープラーニングにより予め学習済みで、パラメータがチューニングされている。

【0067】

静的フィルタ部３４２により抽出された結果は、輝度情報メモリ３４３と輝度画像認識部３４６にそれぞれ供給される。

【0068】

なお、撮像装置３００では、フィルタのパラメータの再チューニング（再学習）は行わない。もし再チューニングを行うと、複数の撮像装置３００があった場合、個々の撮像装置３００の特性が時間とともに変化し、定常の状態から乖離していくからである。フィルタのパラメータは、バージョンアップという形で外部から与えられる場合のみ変化する。

【0069】

静的フィルタ部３４２では例えば次のような特徴を抽出する。
・形状抽出：特定の形状を抽出する。形状には、縦線、横線、斜め線、角度、鋭角のピーク、四角、丸、三角、などが含まれる。
・重要物体抽出：人体、車、動物、標識などの重要物体を抽出する。本実施形態によれば、全体が見えていなくても部分が見えているだけで特徴の抽出は可能である。
・文字、記号抽出：文字または記号があるかどうかを抽出する。
・静的輪郭抽出：静的画像で輝度が急激に変わるところを抽出する。
・消失点抽出：遠近を比較するために用いられる。

【0070】

輝度情報メモリ３４３には輝度画像生成部３４１からの最新の輝度画像と静的フィルタ部３４２の抽出結果とが書き込まれる。書き込まれた最新の輝度画像及び抽出結果は次のフレームの輝度画像及び抽出結果が輝度情報メモリ３４３に書き込まれる前に輝度情報メモリ３４４に移される。こうして輝度情報メモリ３４４には少なくとも１フレーム前の情報が記憶されている。

【0071】

なお、静的フィルタ部３４２による輝度画像からの特徴の抽出は、輝度画像生成部３４１から輝度画像の供給が完了するのを待ってから行う必要はなく、輝度画像を供給中でも、すでに供給された輝度画像の一部分に対して行うことが可能である。

【0072】

動的フィルタ部３４５は、輝度情報メモリ３４３からの情報と輝度情報メモリ３４４からの少なくとも１フレーム前の情報とを比較することで、動きに関連する特徴を抽出する。このような動きに関連した特徴抽出は例えば次のようなものである。
・塊抽出：同じような動きをする画素の集まりを抽出する。
・動的輪郭抽出：塊抽出でひとつの塊を抽出したときに塊の境界を輪郭として抽出する。動的輪郭抽出は、背景と塊が同じような輝度を持っている場合、静的画像から輪郭を抽出しにくい場合に有効である。
・動き方向抽出：塊の動く方向を抽出する。
・動き方特徴抽出：特定の動き方を抽出する。例えば、動的フィルタ部３４５は、回転運動、人が歩いている動き、ボールが弾んで転がる動き、鳥が飛ぶ動きなど、特定の特徴ある動きがあるかどうかを抽出する。

【0073】

動的フィルタ部３４５は、例えば、ニューラルネットワークのディープラーニングにより予め学習済みの、パラメータがチューニングされたフィルタを用いる。また、動的フィルタ部３４５は、抽出する特徴ごとに異なるフィルタを有し、それらを並列で動作させる。

【0074】

静的フィルタ部３４２または動的フィルタ部３４５で抽出された特徴は、輝度画像認識部３４６に供給される。輝度画像認識部３４６は抽出された複数の特徴をまとめ、輝度画像の内容を認識する。例えば、静的フィルタ部３４２で人と抽出された物体が、動的フィルタ部３４５の抽出した結果においてひと塊の物体として動いているか、動き方の特徴が人特有の動き方であるかなど、複数の特徴が一致しているかを確認し、輝度画像認識部３４６はその物体を人と認識する。このように、複数の特徴から確認することで、輝度画像認識部３４６は認識の確からしさを高め、例えば人形を人間と誤認識する確率を下げる。

【0075】

また輝度画像認識部３４６は様々な推定作業を行う。輝度画像認識部３４６は例えば次のような推定を行う。
・前後関係の推定：ある塊の物体同士がどのような前後関係にあるのかを推定する。
・自分の動きの推定：自分が動いているかどうかなどの周囲との相対関係について推定する。
・塊の前後方向（奥行き方向）の動きの推定。
・隠れている部分の推定：例えば直線状のものが隠れている場合、見えている部分が延長されていると推定する。認識している対象が一時的に隠れて見えなくなった場合でも、対象がそこにあると推定する。
・未来の状態の推定（予測）：動きの推定結果から数フレーム後にどのような位置関係になっているかを推定する。また、輝度画像認識部３４６は数フレーム後の位置関係が推定結果通りになっているか確認する。

【0076】

上述したような推定をすることで、輝度画像認識部３４６は、例えば次のような認識が可能になる。物体Ａが移動して物体Ｂの陰に隠れて見えなくなった場合、物体Ａが見えてはいないが物体Ｂの陰にあると認識する。また、一定時間後に物体Ａが物体Ｂの反対側から出てくると推定し、そして実際に出てくるかどうかを確認する。

【0077】

次に色情報の認識について説明する。色情報の認識とは、例えば交通信号機の発する色に関する認識である。静的フィルタ部３４２が信号機を抽出したとしても、何色の信号が光っているかは輝度画像からは分からないので、色情報の認識が必要な場合がある。しかしながら色情報を通常の映像信号の処理のように高速で処理する必要性は輝度情報に比べて低いので、本実施形態では色空間処理回路３３５の結果を待って色情報を処理する構成としている。

【0078】

もちろん、色情報にフレーム遅れがあると問題になる場合には、輝度信号の場合と同様に、映像信号処理と並列処理を行ってもよい。その場合はデモザイク処理などを行わず、直接各色（通常はＲ、Ｇ、Ｂの３色）のＲＡＷデータから特徴を抽出する構成とすることが好ましい。

【0079】

輝度画像認識部３４６と色画像認識部３４７の認識結果は、認識結果送信部３４８に送られ、予め決められたプロトコルにしたがって端子３５１から認識結果信号として送信される。輝度画像認識部３４６と色画像認識部３４７からは膨大な認識結果が送られてくるので、認識結果送信部３４８は認識結果を選択し、送信の順序を設定する。

【0080】

認識結果送信部３４８での認識結果の選択の方法または基準は、制御すべき機器の特徴に合わせればよい。

【0081】

なお、端子３５０及び３５１はシリアルバス端子でもパラレルバス端子でもよい。

【0082】

次に、輝度画像認識部３４６が画像をどのように認識しているかの例を示す。図９は撮像装置３００が端子３５０から出力する映像信号のある１フレームの画像６０である。この画像６０について輝度画像認識部３４６の認識結果は例えば次の通りである。

【0083】

静的フィルタ部３４２は物体６２と物体６６から人間の特徴を抽出し輝度画像認識部３４６に報告している。一方、動的フィルタ部３４５は物体６２及び６６がひと塊として動いていることを輝度画像認識部３４６に報告しており、また動き方も人間の歩き方であると報告している。すべての報告に矛盾がないので、輝度画像認識部３４６は物体６２及び６６が人間であると認識する。

【0084】

静的フィルタ部３４２は消失点６５を抽出しており、この消失点６５から輝度画像認識部３４６は物体６２及び６６の遠近に関する位置関係を認識している。また動的フィルタ部３４５の報告する物体６２及び６６の移動速度、移動方向から、輝度画像認識部３４６は物体６２及び６６の現在と将来のおおよその位置関係を推定している。

【0085】

さらには、輝度画像認識部３４６は、物体６６と物体６８の前後関係の推定から、物体６６が物体６８の背後にあることを認識している。また、輝度画像認識部３４６は、移動方向の認識から、物体６６が物体６８から出てきていることを認識している。また、輝度画像認識部３４６は、物体６６が人間であると認識しているので、物体６８の陰に見えていない人体の一部６７があることも認識しており、一定時間後に人体の一部６７が見えるであろうことを予測している。

【0086】

道路の端を示す線６４は一部が物体６２の陰に隠れているが、輝度画像認識部３４６は見えないところにも線が続いていると仮定するので、破線６３が存在すると推定しており、物体６２の移動にともなって破線６３が実際に現れることを推定している。

【0087】

また、静的フィルタ部３４２は物体６１から物体６１の形状の特徴を抽出するとともに、標識としての特徴抽出も行っているので、輝度画像認識部３４６はそのような認識結果を認識結果送信部３４８に送る。標識の場合は色情報が重要である場合が多いので、認識結果送信部３４８は、輝度画像認識部３４６の結果と一緒に、色画像認識部３４７の認識した物体６１の各部の色を、バス２３０を介して周辺情報取得回路２３に報告している。

【0088】

このように撮像装置３００は映像信号処理と並行して画像認識の処理を実行し、映像信号と認識結果信号とを略同時に出力することを特徴としている。

【0089】

周辺情報取得回路２３は、映像信号と認識結果信号を含めて周辺情報信号を生成し、処理回路２２に供給する。したがって、予測回路２２３は、処理回路２２１を介して供給された撮像装置３００から映像信号と同時に認識結果信号を受け取り、予測に活用する。予測回路２２３は、映像信号の認識処理を行わなくても済むので、映像信号だけを受け取る場合より予測を終了するまでの時間を短くできる。あるいは、同じ処理時間でもより正確な予測ができる。したがって、撮像装置３００を使用することにより、遠隔操作の操作性をさらに改善することができる。

【0090】

なお、本発明の処理装置２２は、ハードウェアの回路で構成してもよいし、ＣＰＵなどを用いたコンピュータにソフトウェアで実行させてもよい。またハードウェアとソフトウェアを適宜組み合わせて同様の処理を行ってもよい。

【符号の説明】

【0091】

１ 操作機器
２ 被操作機器
３ 通信網
１１ ユーザインターフェイス
１２ 操作信号生成回路
１３、２１ 通信回路
１４ 表示装置
２２ 処理装置
２２１ 処理回路
２２２ 制御信号生成回路
２２３ 予測回路
２３ 周辺情報取得回路
２４、２６ メモリ
２５ 制御回路
２５１、２５２、２５３ 駆動部
３００ 撮像装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】