特開 2024-50768 農業機械の作業プロセスを観察するための方法、デジタルビデオシステム、および農業機械

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024050768

(43)【公開日】2024-04-10

(54)【発明の名称】農業機械の作業プロセスを観察するための方法、デジタルビデオシステム、および農業機械

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240403BHJP

   A01D 33/00 20060101ALI20240403BHJP

【ＦＩ】

H04N7/18 D

H04N7/18 V

A01D33/00

【審査請求】有

【請求項の数】1

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024014851

(22)【出願日】2024-02-02

(62)【分割の表示】P 2021576700の分割

【原出願日】2020-06-24

(31)【優先権主張番号】102019116961.5

(32)【優先日】2019-06-24

(33)【優先権主張国・地域又は機関】DE

(71)【出願人】

【識別番号】520134865

【氏名又は名称】グリメ ラントマシーネンファブリーク ゲー・エム・ベー・ハー ウント コー． カー・ゲー

【氏名又は名称原語表記】Ｇｒｉｍｍｅ Ｌａｎｄｍａｓｃｈｉｎｅｎｆａｂｒｉｋ ＧｍｂＨ ＆ Ｃｏ． ＫＧ

【住所又は居所原語表記】Ｈｕｎｔｅｂｕｒｇｅｒ Ｓｔｒａｓｓｅ ３２， ４９４０１ Ｄａｍｍｅ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】マークス ヴィッテ

(72)【発明者】

【氏名】ヴォルフラム シュトロートマン

(72)【発明者】

【氏名】アクセル ショーマッカー

(57)【要約】      （修正有）

【課題】農業機械、とりわけ収穫機の収穫物を加工および／または処理する作業プロセスの監視を改善する方法を提供する。
【解決手段】農業機械、とりわけ収穫機２は、複数のデジタル画像捕捉ユニット４と、少なくとも１つの表示ユニット３と、好ましくはスイッチ７として構成された少なくとも１つのネットワーク結合要素とを有するデジタルビデオシステムを有し、デジタル画像捕捉ユニット４は、ネットワーク結合要素を介してトラクタ１の表示ユニットに接続されており、とりわけビデオストリームの複数の画像のうちの少なくとも１つは、少なくとも部分的に、とりわけ複数の構成可能なシェイプのうちの１つのシェイプ内で再生され、シェイプは、好ましくはパネルＰＣ８として構成されたＥＤＰユニットの、とりわけタッチスクリーンとして構成された表示ユニットの１つまたは複数の画像再生領域を含む。
【選択図】図３

【特許請求の範囲】

【請求項1】

農業機械、とりわけ収穫機（２）の収穫物を加工および／または処理する作業プロセスを観察するための方法であって、
前記農業機械、とりわけ前記収穫機（２）は、複数のデジタル画像捕捉ユニット（４）と、少なくとも１つの表示ユニット（３）と、好ましくはスイッチ（７）として構成された少なくとも１つのネットワーク結合要素とを有するデジタルビデオシステムを有し、
前記画像捕捉ユニット（４）は、前記ネットワーク結合要素を介して前記表示ユニット（３）に接続されており、
前記画像捕捉ユニット（４）は、とりわけビデオストリームの複数の画像のための画像データを記録し、
とりわけ前記ビデオストリームの前記複数の画像のうちの少なくとも１つは、少なくとも部分的に、とりわけ複数の構成可能なシェイプのうちの１つのシェイプ内で再生され、
前記シェイプは、好ましくはパネルＰＣ（８）として構成されたＥＤＰユニットの、とりわけタッチスクリーンとして構成された前記表示ユニット（３）の１つまたは複数の画像再生領域（１９）を含む、
方法。

【請求項2】

前記複数の画像捕捉ユニット（４）のうちの１つの画像捕捉ユニット（４）の複数の画像は、少なくともそれぞれ部分的に、１つのシェイプの複数の画像再生領域（１９）内で同時に再生され、
とりわけ、前記画像捕捉ユニット（４）の複数の異なる関心領域が事前に定義され、それぞれ独自の画像再生領域（１９）内で再生される、
請求項１記載の方法。

【請求項3】

前記画像捕捉ユニット（４）の画像は、１つのシェイプのそれぞれの前記画像再生領域（１９）の内部で、とりわけ２本の指の入力を介してズーム可能である、請求項２記載の方法。

【請求項4】

それぞれの前記画像再生領域（１９）の内部で選択された画像または画像区域は、メモリユニットに保存される、請求項１から３までのいずれか１項記載の方法。

【請求項5】

好ましくは揮発性のまたは半永続的なバッファメモリに一時保存された画像捕捉ユニットのビデオストリームの画像が、少なくとも１つの画像再生領域（１９）内で減速されて再生され、
とりわけ、同一のシェイプの別の画像再生領域（１９）内の同一のビデオストリームは、再生されないか、またはさもなければ減速されて再生される、
請求項１から４までのいずれか１項記載の方法。

【請求項6】

少なくとも２つの画像再生領域（１９）内で、減速されたビデオストリームが再生される、請求項５記載の方法。

【請求項7】

１つまたは複数の画像再生領域（１９）および／または画像捕捉ユニット（４）の、とりわけビデオストリームとして構成された画像は、とりわけ追加的なスイッチ（７）を介して接続された通信ユニットによってワイヤレスでモバイル端末（１７）に伝送される、
請求項１から６までのいずれか１項記載の方法。

【請求項8】

１つのシェイプの１つまたは複数の画像再生領域（１９）、とりわけ全ての画像再生領域（１９）の画像は、とりわけ、ハードウェアインターフェースを介して前記システムに接続されたポータブル媒体上に保存され、
好ましくは設定可能な長さを有するそれぞれ連続するクリップが生成される、請求項１から７までのいずれか１項記載の方法。

【請求項9】

画像再生領域（１９）のための構成ステップにおいて、複数の相前後して接続されたスイッチ（７）を介して互いに接続されている最大で少なくとも２４個の画像捕捉ユニット（４）のうちの１つが選択される、請求項１から８までのいずれか１項記載の方法。

【請求項10】

機械制御装置によって検出された通常動作からの逸脱に応じて、機械機能の起動に応じて、かつ／または操作端末を介した機械設定の変更時に、対応する画面信号が以前の画像再生領域に重畳されるように画像化され、かつ／または少なくとも１つの対応する機械要素が画像再生領域（１９）内で画像化される、請求項１から９までのいずれか１項記載の方法。

【請求項11】

通常動作からの逸脱時、機械機能の起動時、かつ／または機械設定の変更時に、１つまたは複数のビデオストリームからこのために構成されたシェイプへの自動切り替えが実施される、請求項１から１０までのいずれか１項記載の方法。

【請求項12】

前記複数の画像のうちの少なくともいくつかの画像にタイムスタンプが付されるか、または前記システムの複数の異なるコンポーネントにおいてそれぞれの画像を受信した時間が記録され、
これにより、時間遅延が長すぎる場合には、対応する画像再生領域（１９）に目印が付けられる、
請求項１から１１までのいずれか１項記載の方法。

【請求項13】

前記画像再生領域（１９）のうちの１つを構成するために、まず始めに、アクティブな画像再生領域（１９）を縮小された形態で表示するポップアップダイアログが開かれる、請求項１から１２までのいずれか１項記載の方法。

【請求項14】

前記シェイプは、少なくとも１つの、好ましくは最大８つの、とりわけ長方形の画像再生領域（１９）を有し、
好ましくは、前記画像再生領域（１９）の配置が、作物の流れにおける前記画像捕捉ユニット（４）の選択された関心領域および／または位置に依存して、前記ＥＤＰユニット上で利用可能なアルゴリズムを用いて提案される、
請求項１から１３までのいずれか１項記載の方法。

【請求項15】

複数のシェイプが、とりわけ事前定義可能な時間間隔で自動的に切り替えられる、請求項１から１４までのいずれか１項記載の方法。

【請求項16】

道路走行、農耕作業、および逆向き走行の動作状態のために機械制御装置によって伝送される信号に依存して、事前定義されたシェイプが使用される、請求項１から１５までのいずれか１項記載の方法。

【請求項17】

好ましくは前記ＥＤＰユニット上でホストされる前記デジタルビデオシステムのウェブページを介して、リモートのユーザ端末（１７）のための、とりわけ構成可能なシェイプが提供され、
好ましくは、前記画像再生領域（１９）は、構成可能である、
とりわけ請求項１から１６までのいずれか１項記載の方法。

【請求項18】

少なくとも１つの画像捕捉ユニット（４）の画像は、リモート接続を介してウェブビデオストリームとして表示される、請求項１から１７までのいずれか１項記載の方法。

【請求項19】

前記システムは、機械制御のためには構成されていない、請求項１から１８までのいずれか１項記載の方法。

【請求項20】

農業機械、とりわけ収穫機（２）の収穫物を加工および／または処理する作業プロセスを観察するためのデジタルビデオシステムであって、
当該デジタルビデオシステムは、複数のデジタル画像捕捉ユニット（４）と、とりわけパネルＰＣ（８）として構成されたＥＤＰユニットの、とりわけタッチスクリーンとして構成された少なくとも１つの表示ユニット（３）と、好ましくはスイッチ（７）として構成されたネットワーク結合要素とを有し、
前記デジタル画像捕捉ユニット（４）は、前記ネットワーク結合要素を介して前記表示ユニット（３）に接続されており、
当該システムは、請求項１から１９までのいずれか１項記載の方法を実施するように構成されている、
デジタルビデオシステム。

【請求項21】

複数のスイッチ（７）が設けられており、
少なくとも１つの画像捕捉ユニット（４）は、直列にネットワーク化された前記スイッチ（７）を介して前記ＥＤＰユニットに接続されている、
請求項２０記載のデジタルビデオシステム。

【請求項22】

前記ＥＤＰユニットに直接的に接続されている前記スイッチ（７）は、ＣＡＮ－ＢＵＳのためのインターフェースおよび／または通信ユニットに接続されている、請求項２０または２１記載のデジタルビデオシステム。

【請求項23】

請求項２０から２２までのいずれか１項記載のデジタルビデオシステムが設けられている、農業用作業機械、とりわけ収穫機（２）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、農業機械の作業プロセスを観察するための方法と、農業機械の作業プロセスを観察するためのデジタルビデオシステムと、農業用作業機械とに関する。

【0002】

農業機械の、とりわけ、好ましくはジャガイモまたはビートを収穫するための牽引式または自走式の収穫機の、収穫物を加工および／または処理する作業プロセスを観察するために、何年もの間、機械操縦者のための支援システムとしてアナログビデオシステムが使用されてきた。このようなビデオシステムの特徴は、常にモニタ上には、そのモニタに対応付けられたカメラが撮影したまさにそのビデオ画像が表示されるということである。カメラの配置によっては、運転者にとって関係のない機械部分も表示される。ユーザが画像区域をより大きく表示させたい場合は、このために手間をかけてカメラを新たに位置決めしなければならない。さらに現在では、種々の製造業者が、１つのモニタにつき最大４つのカメラを接続して同時に表示させることもできるビデオシステムを提供している。これらのカメラの場合にも、それぞれの機械領域をより詳細に観察するためには、それぞれのカメラを新たに位置決めする必要がある。

【0003】

さらに、欧州特許出願公開第３４３７９２９号明細書からは、トラクタを中心とした近接範囲に位置する関連領域の、運転状況に基づく視界／視野の挿入画像が操作担当者のモニタ上に表示されるような、車両のための視覚システムが公知である。

【0004】

このような背景に鑑みて、本発明の課題は、収穫機の作業プロセスの監視を改善することである。

【0005】

上記の課題は、請求項１、２０、および２３の対象によって解決される。本発明の有利な実施形態は、これらの請求項を引用する従属請求項および以下の説明から見て取ることができる。

【0006】

農業機械、とりわけ収穫機の収穫物を加工および／または処理する作業プロセスを観察するための本発明による方法であって、農業機械、とりわけ収穫機は、複数のデジタル画像捕捉ユニットと、少なくとも１つの表示ユニットと、好ましくはスイッチとして構成された少なくとも１つのネットワーク結合要素とを有するデジタルビデオシステムを有し、画像捕捉ユニットは、ネットワーク結合要素を介して表示ユニットに接続されている、本発明による方法において、画像捕捉ユニットは、とりわけビデオストリームの複数の画像のための画像データを記録する。とりわけビデオストリームの複数の画像のうちの少なくとも１つは、少なくとも部分的に、とりわけ複数の構成可能なシェイプ(Shape)のうちの１つのシェイプ内で再生され、シェイプは、好ましくはパネルＰＣとして構成されたＥＤＰユニットの、とりわけタッチスクリーンとして構成された表示ユニット上に１つまたは複数の画像再生領域を含む。画像データは、それぞれの画像捕捉ユニットからスイッチを介して、とりわけイーサネットスイッチを介してＥＤＰユニットに伝送される。デジタルビデオシステムのそれぞれの要素は、とりわけネットワークケーブル（イーサネットケーブル）を介して接続されている。したがって、画像捕捉ユニットと、少なくとも１つの表示ユニットとの物理的な接続は、表示ユニットが接続されているＥＤＰユニットを介して、または表示ユニットを有するＥＤＰユニットを介して間接的に実施される。したがって、表示ユニットは、少なくとも１つのディスプレイと、これに付属する電子機器とを含む。

【0007】

この場合、画像捕捉ユニットは、収穫物を加工および／または処理する機械の作業プロセスに向けられており、ひいてはとりわけ、収穫物を搬送するコンベヤベルトまたは選別落下段(Fallstufe)などのような機械要素に向けられている。個々のカメラを、例えば、収穫物と石または土のような混入物とを分離するための分離機、または選別落下段に向けてもよい。デジタル画像捕捉ユニットを、例えば、収穫物の収集領域（バンカー）、移送領域、または収容領域に向けてもよい。画像捕捉ユニットは、とりわけ、個別画像を例えばＲＡＷ形式で出力するか、または既に圧縮された完全なビデオストリームをＭＰＥＧまたはその他のビデオ形式でシステムに送信もするデジタルビデオカメラである。好ましくは、少なくとも１２８０×７２０画素、好ましくは少なくとも１２８０×８００画素のセンサ解像度を有する高解像度カメラであり、とりわけ少なくとも、例えば少なくとも１２８０×１０２４画素（ピクセル）の１．３メガピクセルのセンサである。

【0008】

ビデオストリームの画像のためのデータを、以前に伝送された画像からの差異としてのみ提供することも可能である。これらのデータは、上述のようにとりわけケーブル接続により、好ましくはイーサネットスイッチとして構成されたネットワーク結合要素に転送され、このネットワーク結合要素が、画像捕捉ユニットのデータを、１つまたは複数のネットワーク結合要素を介して、データを処理するＥＤＰユニットに、好ましくはパネルＰＣに転送する。ＥＤＰユニットにおいて、データは、表示ユニットのための構成に従って提供され、この構成は、操作者によって事前に設定可能であるか、またはプログラム側で標準化されて事前に設定可能であってもよい。ビデオストリームの複数の画像のための画像データは、とりわけパネルＰＣとして構成されたＥＤＰユニットの、とりわけタッチスクリーンとして構成された表示ユニット上に、より詳しく言えば、定義されたシェイプのそれぞれの画像再生領域内で再生可能となるように、ＥＤＰユニットにおいて処理される。シェイプとは、表示ユニットの利用可能な画面上の１つまたは複数の画像再生領域の配置を意味する。

【0009】

接続ケーブルは、とりわけ、例えば十分なデータ量を伝送する１００ＢＡＳＥ－ＴＸ線路または１０００ＢＡＳＥ－ＴＸ線路の形態のイーサネット線路である。ビデオシステムの個々のコンポーネント、とりわけイーサネットスイッチおよびＥＤＰユニットには、好ましくは、処理されるべきデータの量をできるだけ効率的に伝送するためにギガビットイーサネットインターフェースが設けられている。

【0010】

１つのシェイプの複数の再生領域は、同一の画像、すなわち同一のビデオストリームを再生するように構成可能である。合計で、１つのシェイプの中に、好ましくは最大８つの画像再生領域を表示することができ、すなわち、最大８つのビデオストリームを同時に再生することができる。このためにＥＤＰユニットには、とりわけ、対応する高性能のグラフィックスプロセッサおよび／またはマイクロプロセッサが設けられている。さらに、ＥＤＰユニットは、データを保存および処理するための一般的な手段、とりわけ、メインメモリならびにデータメモリ、コントローラ、ネットワークインターフェース、および必要に応じて通信インターフェースを有する。ＥＤＰユニットのさらなる可能な詳細は、以下、本発明によるそれぞれの発展形態においてさらに説明されている。

【0011】

シェイプおよび画像再生領域の構成は、ＥＤＰユニットに保存可能であり、かつ相応に呼出可能であるように構成されており、したがって、表示ユニットの、好ましくは少なくとも１２インチのサイズの可視領域を、機械操縦者、サービス技術者、または他の操作担当者のために個人的に構成することが可能である。

【0012】

本発明の１つの発展形態では、スイッチにも、さらにはＥＤＰユニットにも接続可能である機械制御装置とのインターフェースを介して、機械の種類に関する情報を伝送することができる。これにより、事前に構成して保存しておくことができる対応するシェイプが、事前に選択または提供されるようになる。ＥＤＰユニットに保存されていない未知の種類の機械のために、標準化されたシェイプを提供することもできる。ＥＤＰユニットに設けられたインターフェースを介して、ポータブル記憶媒体を使用して個々のシェイプ構成を読み出すこと、またはこの記憶媒体上にエクスポートすることも可能である。

【0013】

ここで本発明によれば、操作担当者は、とりわけ表示ユニット上またはそのディスプレイ上に縦長判および横長判の表示を有する多数の可能なウィンドウ配置から、自分が見たいビデオ画像を正確に表示させることができる。したがって、機械操縦者は、とりわけ土壌条件が種々異なる場合に、作業プロセスの観察に関してそれぞれ異なる重点を設定することができる。例えば、重く湿った土壌条件の場合には、目詰まりしやすい収穫機の領域を、狙いを定めて監視することができ、その一方で、比較的細かく乾燥した軽い土壌条件の場合には、例えば、収穫物を種々異なるロットサイズに分離することに重点を置くことができる。

【0014】

このような重点の設定により、操作担当者は、より迅速に、危機的な機械状態を認識し、その後、とりわけデジタルビデオシステムに接続されていない機械制御装置を介して修正することができる。これにより、デジタルビデオシステムを既存の機械により簡単に後付けすることが可能となる。

【0015】

デジタルビデオシステムによって観察されるプロセスは、とりわけ機械の「内部」で実施されるプロセスであり、したがって、機械の外部環境のみに向けられた画像捕捉ユニットではなく、収穫物を処理および加工する機械要素に向けられた画像捕捉ユニットである。機械のバンカーでの貯蔵も、収穫物の処理であると理解される。

【0016】

好ましくは、複数の画像捕捉ユニットのうちの１つの画像捕捉ユニットの複数の画像は、少なくともそれぞれ部分的に、１つのシェイプの複数の画像再生領域内で同時に再生され、画像捕捉ユニットの複数の異なる関心領域を事前に定義し、このシェイプのそれぞれ独自の再生領域内で再生することができる。従前は、ビデオストリームは、常に、画面の１つの再生領域内でしか再生できなかった。そこで、ＥＤＰユニット内の多数の加入者にデータパケットを同時に配信（マルチキャスト）することにより、データが少なくとも２つの再生領域に提供される。この場合、ビデオストリームを、さらなる高性能の画像処理ユニットにおいてさらに処理することができる。

【0017】

本発明によれば、ビデオストリームの再生されるべき領域の定義を、システムの動作中にタッチスクリーンを使用して、または構成マスクにおいて静止画像に基づいて実施することができる。例えば、携帯電話に関して知られているように、１本または２本の指のジェスチャによって所定の画像領域を関心領域として選択することができ、この関心領域としての画像領域が、その後、とりわけ独自の画像再生領域内で表示される。

【0018】

対応する区域が同一の画像再生領域内で表示されるべき場合、システムは、技術的に、選択された画像区域（関心領域）が拡大されて表示されるように構成されている。したがって、１つのシェイプのそれぞれの画像再生領域の内部において、画像捕捉ユニットの画像（または画像捕捉ユニットの表示）をズームすることができる。次に、関心領域の選択は、とりわけ２本の指での入力を介してそれぞれの画像区域をズームインすることに伴って実施される。このようにして、種々異なるビデオストリームを、狙いを定めて、必要に応じて区域ごとに拡大して表示することができ、これにより、特に危機的な作業領域をさらにより良好に観察することが可能となる。例えば、全体として分離段に向けて画像捕捉する場合には、入口領域および出口領域を、狙いを定めてズームインして、同一のシェイプ内でそれぞれ拡大して、合計３つの画像再生領域（全体ビュー、入口領域、出口領域）において表示することができる。

【0019】

好ましくは、それぞれの画像再生領域の内部で選択された画像または画像区域は、メモリユニットに保存可能である。このメモリユニットは、ＥＤＰユニット内にローカルに、例えば揮発性の永続メモリの形態で存在していてよく、ＥＤＰユニットの対応するインターフェースを介して接続可能であるポータブル記憶媒体であってもよい。

【0020】

さらに、システムは、好ましくは、タッチスクリーンの入力によって、対応する画像再生領域上に選択メニューを表示するように構成されており、選択メニューを介して、それぞれ表示されている（とりわけ、ズームされてもいて、したがって部分的に表示されている）ビデオストリームの保存を開始することができる。これに代えてまたはこれに加えて、このプロセスを、任意のサブメニューを有する一般的な設定メニューを介して開始することもできる。

【0021】

さらに、システムは、好ましくは、２つ以上の画像再生領域、とりわけ全ての画像再生領域と、これらの画像再生領域に表示されているビデオストリームとを同時に、好ましくはさらに画面上で可視の配置で、とりわけポータブル媒体上に保存するように構成されており、これにより、機械の複数の異なる場所で同時に行われる作業プロセスを、後からでも同時に観察することが可能となり、このために別々のビデオストリームを同時に並行して再生することに留意しなくてよくなる。したがって、ＥＤＰユニットは、表示ユニット上に表示されている内容に基づいて、共通のビデオストリームを快適に作成することを提供する。「ポータブル媒体」とは、一時的にハードウェアインターフェースを介してＥＤＰユニットに接続可能である記憶媒体であって、ＥＤＰユニットの動作のためには不要であり、とりわけデータ転送のためだけに使用される記憶媒体であると理解される。例えば、ＵＳＢスティックである。しかしながら、好ましくは機械の製造業者によって提供されて、機械および／またはトラクタのインターフェースを介して利用可能となるクラウドメモリであってもよい。

【0022】

とりわけ、好ましくは揮発性のまたは半永続的なバッファメモリに一時保存された画像捕捉ユニットのビデオストリームの画像が、少なくとも１つの画像再生領域内で減速されて再生され、とりわけ、同一のシェイプの別の画像再生領域内で、同一のビデオストリームが、全体的にまたはズームされて、再生されないか、またはさもなければ減速されて再生される場合には、作業プロセスの観察および監視が改善される。この場合、着信したビデオストリームは、とりわけ実時間の２５％にまで減速され、とりわけ所定の時間の後、例えば４秒後に、その時点の現在の画像へと再生がジャンプし、その後、後続のビデオストリームが、相応に再び減速されて再生される。これにより、とりわけ高速で運動する、とりわけ回転する機械部品を非常に良好に監視することが可能になる。

【0023】

とりわけ、システムは、１つのシェイプの少なくとも２つの画像再生領域内で、減速されたビデオストリームが再生されるように構成されている。

【0024】

好ましくは、１つまたは複数の画像再生領域および／または画像捕捉ユニットの、とりわけビデオストリームとして構成された画像は、とりわけ追加的なスイッチ、例えばイーサネットスイッチを介して接続された通信ユニットによってワイヤレスで、リモートの、とりわけモバイルの端末またはユーザ端末に伝送される。したがって、画像をトラクタ内または自走式キャビン内のモニタ上または表示ユニット上に伝送することに加えて、ビデオ画像をモバイル端末上に伝送することが可能である。このために端末ユーザは、好ましくは機械の通信ユニットを介して提供されるＷＬＡＮに、自身のモバイル端末を接続する。その後、端末ユーザは、モバイル端末上で開始するプログラムにおいて、複数の画像捕捉ユニットのうちの１つの画像捕捉ユニットの少なくとも１つのビデオストリームを有する、その端末に適合された個々のシェイプを表示させることができる。あるいは、端末ユーザは、好ましくはＥＤＰユニット上でホストされるデジタルビデオシステムのウェブページにアクセスすることができ、このウェブページを介して、リモートの、とりわけモバイルのユーザ端末のための、とりわけ構成可能なシェイプが提供され、好ましくは、画像再生領域も、サーバ側で事前定義されており、かつ／または構成可能である。

【0025】

これにより、例えば収集車の運転者にとって、バンカーの充填物のビデオストリームを示している画像再生区域をシェイプ内に表示することが容易になる。これによって、ジャガイモ収穫機の場合にも、収穫中に選別テーブルで作業している選別担当者に対する作業安全性および快適性を、ハーベスタ上において選別テーブルからは視認することができない分離機のビデオ画像をこの選別担当者に表示することによって、向上させることができる。その後、操作担当者によって選別テーブルの操作端末から直接的に任意の設定を実施することができ、調整の結果をモバイルのユーザ端末上で直接的に視認することが可能になる。したがって、運転者は、監視タスクおよび制御タスクから解放され、これによってハーベスタの運転に集中することができる。例えば農場の管理者は、収穫中に機械に乗り込む必要なしに、機械の機能をチェックすることも可能になる。リモートの、とりわけモバイルのユーザ端末上での再生は、とりわけ、運転台にある表示ユニット上での再生を邪魔することなく実施される。

【0026】

有利には、１つのシェイプの１つまたは複数の画像再生領域、とりわけ全ての画像再生領域の画像は、好ましくは設定可能な長さを有するそれぞれ連続するクリップが作成または保存されるように保存される。好ましくは自動的に名前にタイムスタンプが付される、作成されるクリップのサイズがこれに伴って制限されることにより、特定の、例えば危機的な時点に作成された個々のクリップを、後から簡単に処理および閲覧することが可能となる。

【0027】

言うまでもなく、上記および下記の方法ステップは、ＥＤＰユニットのメインメモリで実行されるコンピュータプログラムによって実現可能である。同一のＥＤＰユニット上で、またはＥＤＰユニットの、例えばＣＰＵおよびＧＰＵの同一のメモリまたは異なるメモリにおいて実行される、複数の相互に関連したプログラムであってもよい。

【0028】

好ましくは、画像再生領域のための構成ステップにおいて、複数の相前後して接続されたスイッチを介して互いに接続されている最大で少なくとも２４個の(bis zu zumindest 24)画像捕捉ユニット、とりわけデジタルカメラ、好ましくは最大４８個までの画像捕捉ユニットのうちの１つが選択される。それぞれのスイッチ上に少なくとも１つのさらなるスイッチのための対応するポートが空いている場合には、スイッチをカスケード接続することによってシステムを拡張することができ、とりわけ、後からでも簡単に拡張することができる。伝送線路上でのデータのボトルネックを回避するために、デジタルビデオシステムのネットワークにおいて必要とされる帯域幅が、好ましくは、現在アクティブなシェイプ内に表示されているカメラだけをストリーミングすることによっても低減される。

【0029】

好ましくは、機械制御装置によって検出された通常動作からの逸脱に応じて、機械機能の起動に応じて、かつ／または操作端末を介した機械設定の変更時に、対応する画面信号が以前の画像再生領域に重畳されるように画像化され、かつ／または少なくとも１つの対応する機械要素が画像再生領域内で再生されるように画像化される。このために、シェイプを自動的に変更することができる。この方法の場合にも、イーサネットスイッチを介して、さらなるイーサネットスイッチを介して、またはＥＤＰユニットとの直接的な接続を介しても提供される、機械制御装置とのインターフェースが必要である。とりわけ、それぞれの画面信号を、その画面信号のためだけに構成されたシェイプ内で再生することができる。操作端末は、典型的には運転室にあり、例えば、ジャガイモ収穫機の選別テーブルにある。

【0030】

したがって、好ましくは、通常動作からの逸脱時、機械機能の起動時、かつ／または機械設定の変更時に、１つまたは複数のビデオストリームからこのために構成されたシェイプへの自動切り替えが実施される。その後、このシェイプ内に１つまたは複数の画像区域が、好ましくは１つまたは複数のビデオストリームの関心領域の形態で表示され、これにより、操作担当者は、場合によって生じる危機的な状況に関して狙いを定めて通知され、この通知に基づいて対抗措置または点検を開始することができる。好ましくは、とりわけ、通常動作からの逸脱時、または危機的な動作状態時、例えば、個々の領域に過度に負荷がかかっている場合には、カラーでの強調表示が同時に実施される。とりわけ高速で運動または回転する機械部品の場合には、そのようなシェイプ内で、関連するビデオストリームを減速して再生することもできる。本発明によれば、以前のビューまたは以前のシェイプに戻るために、とりわけスワイプ動作の形態での画面入力によって、シェイプのそのような重畳画像または表現を再びフェードアウトさせることができる場合にも有利である。

【0031】

ビデオストリームは、カメラレンズから表示ユニットまでできるだけ短い待ち時間（遅延時間）で表示されなければならない。１００ｍｓ未満の遅延時間が望ましい。好ましくは、このために個々の画像に所定の時間が対応付けられている。このために、１つのコンポーネントにおいて複数の画像のうちの少なくともいくつかの画像にタイムスタンプを付して、（デジタルビデオ）システムのさらなるコンポーネントにおいて時間を記録することができ、かつ／またはシステムの複数の異なるコンポーネントにおいて再識別可能な画像を受信した時間が記録され、これにより、時間遅延が長すぎる場合には、対応する画像再生領域に目印が付けられ、例えば黒色にされ、かつ／または赤色の感嘆符が付される。

【0032】

好ましくは、システムが正常に動作しており、停止（凍結）状態にないことを認識するために、同時に操作ユニットでもある表示ユニット上に、アニメーショングラフィック（例えば、回転する歯車）が挿入されている。

【0033】

有利には、好ましくは設定が実施可能となる前に、画像再生領域のうちの１つを構成するために、まず始めに、アクティブな画像再生領域を縮小された形態で表示するポップアップダイアログも開かれる。このことは、誤って他の画像再生領域を構成してしまわないように、実施されるべき所望の変更を再確認およびチェックするために役立つ。したがって、農耕作業中に頻繁に発生する振動が、タッチスクリーンとして構成された表示ユニット上での不所望な入力をもたらすことはないか、またはさほどもたらさない。

【0034】

本発明のさらなる有利な実施形態によれば、シェイプは、少なくとも１つの、好ましくは最大８つの、とりわけ長方形の画像再生領域を有し、好ましくは、画像再生領域の配置が、収穫物の作物の流れにおける画像捕捉ユニットの選択された関心領域の寸法および形状および／または位置に依存して、ＥＤＰユニット上で利用可能なアルゴリズムを用いて提案される。これは、使用可能なスペースの最適な利用および配置を、操作担当者がシステムに一任することを希望した場合に実施するための、簡単な最適化問題である。

【0035】

複数のシェイプが存在する場合には、複数の異なる機械領域での連続的なビューを得るために、複数のシェイプが、とりわけ事前定義可能な時間間隔で自動的に切り替えられると、本発明のさらなる実施例にとって有利である。

【0036】

有利にはさらに、道路走行、農耕作業、および逆向き走行の動作状態のために機械制御装置によって伝送される信号に依存して、事前定義されたシェイプが使用される。したがって、例えば道路走行時には、場合によって行われる機械部品の折り畳みまたは持ち上げのビューを示すシェイプを表示することができ、その一方で、農耕作業時には、相応にして作物の流れを変化させる所望の作業プロセスが考慮される。同様のことが、逆向き走行時のシェイプビューにも当てはまる。

【0037】

有利には、少なくとも１つの画像捕捉ユニットの画像は、リモート接続を介してウェブビデオストリームとしても表示され、とりわけ、シェイプビューの解像度、またはリフレッシュレートが、例えばモバイル端末によって通知される接続帯域幅に適合される。操作担当者を邪魔することを回避するために、このシステムを、表示ユニット上の表示とは完全に独立してＥＤＰユニット上に実現することもできる。

【0038】

とりわけ、システムは、機械制御のためには構成されていない。すなわち、システムは、機械の制御には介入せず、プロセスの監視のためだけに使用される。

【0039】

冒頭で述べた課題は、農業機械、とりわけ収穫機の収穫物を加工および／または処理する作業プロセスを観察するためのデジタルビデオシステムであって、当該デジタルビデオシステムは、複数のデジタル画像捕捉ユニットと、とりわけパネルＰＣとして構成されたＥＤＰユニットの、タッチスクリーンとして構成された少なくとも１つの表示ユニットとを有し、当該デジタルビデオシステムには、好ましくはスイッチ、とりわけイーサネットスイッチとして構成されたネットワーク結合要素が設けられており、画像捕捉ユニットは、ネットワーク結合要素を介して表示ユニットに接続されている、デジタルビデオシステムによっても解決される。この場合、当該システムは、上述のように１つまたは複数のコンピュータプログラムを用いて、先行する請求項のいずれか１項記載の方法を実施するように構成されている。

【0040】

システムのスケーラビリティのために、当該システムには、好ましくは、（イーサネット）スイッチの形態の複数のネットワーク結合要素が設けられており、少なくとも１つの画像捕捉ユニットは、直列にネットワーク化されたスイッチを介してＥＤＰユニットに接続されている。

【0041】

好ましくは、カメラを交換する際、とりわけオリジナル部品の交換である場合には、このことがシステムによって自動的に認識され、構成され、再稼働される。

【0042】

とりわけ、ＥＤＰユニットに直接的に接続されているスイッチが、ＣＡＮ－ＢＵＳのためのインターフェースおよび／または機械の通信ユニットに接続されている場合には、機械制御装置の所望の信号の伝送を、改善して実現することが可能である。あるいは、ＣＡＮ－ＢＵＳまたは通信ユニットを、対応するインターフェースが設けられている場合にはＥＤＰユニットに直接的に接続してもよい。

【0043】

冒頭で述べた課題は、上記または下記のビデオシステムを有する農業用作業機械、とりわけ収穫機によっても解決される。

【0044】

本発明のさらなる利点および詳細は、以下の図面の説明から見て取ることができる。

【図面の簡単な説明】

【0045】

【図1】牽引式の収穫機の形態の、本発明による対象を示す図である。

【図2】図１による本発明による対象のコンポーネントを示す図である。

【図3】本発明によるさらなる対象を示す図である。

【図4】シェイプの９つの変形例を示す図である。

【図5】本発明による方法を可能にするコンピュータプログラムのプログラムレベルを示す図である。

【図6】さらなるシェイプを示す図である。

【図7】図６によるシェイプのための対応する構成ビューである。

【0046】

以下に記載される実施例の個々の技術的特徴は、上で説明した実施例、および独立請求項ならびに任意のさらなる請求項の特徴と組み合わせても、本発明による対象を形成することができる。有意義である限り、機能的に同じ働きを有する要素には同一の参照符号が付される。

【0047】

図１によれば、本発明による装置は、トラクタ１によって牽引され、ジャガイモ収穫機として構成された収穫機２として構成されている。本発明による収穫機２に所属するＥＤＰユニットは、タッチスクリーンとして構成された表示ユニット３と共に、トラクタ１の運転室５内に配置されている。このＥＤＰユニットは、図示されていないイーサネットケーブルを介して収穫機側のスイッチに接続されている。表示ユニット３上では、デジタル画像捕捉ユニット４によって記録された画像データが再生され、これらのデジタル画像捕捉ユニット４は、本明細書では概略的に、収穫物のための個々の処理段階に対応付けられている。

【0048】

画像捕捉ユニット４は、デジタルカメラであり、これらのデジタルカメラは、一般的に本発明によるシステムでは、イーサネットケーブル６を介して、イーサネットスイッチとして構成されたスイッチ７にデータを伝送する。その後、データは、画像捕捉ユニット４から、好ましくはここでもイーサネットケーブル６を介して、パネルＰＣ８として構成されたＥＤＰユニットに伝送される。オプションとして、さらなるパネルＰＣ８を接続することができ、このさらなるパネルＰＣ８の表示ユニット上にも、一連の構成可能なシェイプを表示することができる。その後、メインパネルＰＣ（マスタ）の対応する構成プログラムにおいて、このメインパネルＰＣ上にどのカメラが表示されるか、また、下位のオプションのパネルＰＣ（スレーブ、破線のイーサネットケーブル６の形態のデータ線路を介して接続されている）上にどのカメラが表示されるかを選択することができる。

【0049】

ＣＡＮ・ツー・イーサネット・ゲートウェイ９の形態の、機械制御のためのインターフェースも設けられている。これにより、ＷＬＡＮへのアクセスと、ＣＡＮ－ＢＵＳ線路１１を介して接続された機械制御ユニット１２へのアクセスとが提供されている。これとは並列に、例えばさらに、ＩＳＯ－ＢＵＳ線路１３（破線で図示）を介して、対応するバスシステムにアクセスすることができる。この場合には、ゲートウェイ９は、対応するＩＳＯ－ＢＵＳインターフェースをさらに含む。

【0050】

図２の実施例によれば、デジタル画像捕捉ユニット４は、好ましくは牽引式の収穫機２において収穫機側に配置されているただ１つのイーサネットスイッチ７に接続されているが、その一方で、図３による変形例は、合計４つのスイッチ７を有しており、これらのスイッチのうち、図面の上側にあるスイッチ７は、トラクタ１に対応付けられており、その一方で、デジタル画像捕捉ユニット４に直接的に接続されているスイッチ７は、収穫機２の側に配置されている。破線１４は、図面ではボックスとして図示されているトラクタ１と収穫機２との分離を示唆している。

【0051】

したがって、図３では右側にある収穫機側のスイッチ７に配置されている光学式の画像捕捉ユニット４は、合計４つのスイッチ７を介して、図面では左側にあるマスタパネルＰＣ８と、図面では右隣に位置するさらなるパネルＰＣ（スレーブ）８とに接続されている。この実施例では、ＩＳＯ－ＢＵＳインターフェース１５がさらに設けられている。ＩＳＯ－ＢＵＳインターフェース１５を介して機械信号または制御信号が受信され、この機械信号または制御信号は、信号の種類に応じて、機械操縦者の注意を喚起するシェイプの自動呼び出しをもたらし、この自動呼び出しを介して、その制御信号に対応する光学式の画像捕捉ユニット４のビデオストリームが表示ユニット上に表示される。同じことが、ＣＡＮ・ツー・イーサネット・ゲートウェイ１０にも当てはまる。このことは、ＥＤＰユニット上で実行されるプログラムの設定に保存されている。

【0052】

ゲートウェイ１０を介して接続可能であるルータは、リモートのモバイルのユーザ端末１７へのＷＬＡＮ接続１６を提供し、このユーザ端末１７上でも、シェイプを構成することができるか、またはマスタパネルＰＣ８上で実行されるウェブサーバを介してシェイプを呼び出すことができる。さらに、診断インターフェース１８と、制御信号を伝送する１つまたは複数のさらなる機器２０とを、トラクタ側のイーサネットスイッチ７に接続することができる。

【0053】

構成プログラムの１つのセクション、すなわち、マスタパネルＰＣ８上で実行されるソフトウェアプログラムの設定において、例えば、図４に描かれている９つのシェイプを構成することができる。したがって、１～８個の画像再生領域１９に、光学式の画像処理ユニット４のビデオストリームを付与することができる。

【0054】

図５の実施例では、図示の実施例について、対応するコンピュータプログラムのレベルが示されている。左上には、それぞれのシェイプのための作業ビュー２１が位置しており、ボックス２２によれば、この作業ビュー２１から個々の画像再生領域１９を処理することができる。さらに、作業ビュー２１にはタッチスクリーン上の入力手段が対応付けられており、この入力手段を介して操作担当者は、設定レベル２３に到達することができ、この設定レベル２３から、シェイプ管理２４、カメラ管理２５、シーケンス管理２６、ウェブサーバ管理２７、およびユーザ設定２８に到達することができる。

【0055】

シェイプ管理２４では、シェイプが構成される。カメラ管理２５では、存在する限り、画像捕捉ユニット４の設定、例えば色彩、圧縮、または解像度の設定を実施することができる。シーケンス管理２６は、個々の画像再生区域１９の保存、または個々のビデオストリームの管理を可能にする。ウェブサーバ管理２７では、相応にして個々のシェイプについてのウェブページ表示が構成され、とりわけ、これによってアクセス管理を構成することができ、このアクセス管理によって第三者は、好ましくはモバイルの、しかしながら少なくとも収穫機からリモートにあるユーザ端末から、パスワードで保護された状態でのみＥＤＰユニットのウェブサーバにログインすることが可能となる。最後に、ユーザ管理２８では、ユーザプロファイルを保存するまたは呼び出すことができる。システムを常に、最後に使用されたユーザプロファイルと共に開始させるか、または標準構成と共に開始させるかを設定することも可能である。

【0056】

図６による実施例によれば、５つのビデオストリームを再生するための１つのシェイプが、５つの画像再生領域１９に基づいて形成されている。相応に割り当てられたアイコン２９を用いて、シェイプの対応する構成画面を直接的に呼び出すことができる。図７でも、差し当たり、独自の画像再生領域１９が形成されており、これらの画像再生領域１９は、縮小されてはいるが、その他の点については図６の画像再生領域１９に相当する。例えば、最上部の画像再生領域１９は、図６の左上の画像再生領域のビデオストリームを縮小して示し、この画像再生領域の下で、図７の２行目に位置する画像再生領域１９は、図６の上側の行の左から２番目のビデオストリームを示す、などである。画像再生領域１９には、指を介して操作可能なフィールド３１を介して、利用可能な光学式の画像捕捉ユニット４が割り当てられる。このフィールドまたはさらなるフィールド３１をタップすると、ドロップダウンリストが表示され、その後、このドロップダウンリストを介して、システムで把握しているカメラを選択することができる。タッチスクリーンのうちの図７の左下に位置する領域は、以前のダイアログに戻るためのボタン（ボタン３２）、ヘルプボタン３３、および情報ボタン３４である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【手続補正書】

【提出日】2024-03-01

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

農業機械、とりわけ収穫機（２）の収穫物を加工および／または処理する作業プロセスを、機械操縦者によって観察するための方法であって、
前記農業機械、とりわけ前記収穫機（２）は、複数の画像捕捉ユニット（４）と、少なくとも１つの表示ユニット（３）と、好ましくはスイッチ（７）として構成された少なくとも１つのネットワーク結合要素とを有するデジタルビデオシステムを有し、
前記画像捕捉ユニット（４）は、前記ネットワーク結合要素を介して前記表示ユニット（３）に接続されており、
前記画像捕捉ユニット（４）は、とりわけビデオストリームの複数の画像のための画像データを記録し、
とりわけ前記ビデオストリームの前記複数の画像のうちの少なくとも１つは、少なくとも部分的に、１つの構成可能なシェイプまたは複数の構成可能なシェイプのうちの１つのシェイプ内で再生され、
前記シェイプは、好ましくはパネルＰＣ（８）として構成されたＥＤＰユニットの、とりわけタッチスクリーンとして構成された前記表示ユニット（３）の１つまたは複数の画像再生領域（１９）を含み、
前記シェイプは、前記表示ユニットの利用可能な画面上の１つまたは複数の画像再生領域の配置である、
方法。

【外国語明細書】