DE4127831A1

DE4127831A1 - Image processing system mounted on moving vehicle, e.g. for aerial photography - has scanner output receiver directly by pre-processing and by memory for on and off line processing

Info

Publication number: DE4127831A1
Application number: DE19914127831
Authority: DE
Inventors: Wilfried Heinisch; Wilhelm Janning; Andre Hof; Rolf Ruether; Georg Schulz; Ingo Milkus
Original assignee: MSG MARINE und SONDERTECHNIK G
Current assignee: STN Systemtechnik Nord GmbH
Priority date: 1991-08-22
Filing date: 1991-08-22
Publication date: 1993-05-27
Anticipated expiration: 2011-08-23
Also published as: DE4127831C2

Abstract

The system includes a scanner coupled to an interface, whose output signals are fed to a controller (1) via a general system controller (2) and computer (3). The output from the controller is received by a data memory (4) or by a TV image preprocessing circuit (5). Outputs from the memory and preprocessor are received by a main TV image processor (6) coupled to a D/A converter (7). The system may operate on line or off line. In the off line mode data is stored in the memory for a specific interval. A specific object can be identified on a monitor screen and can be examined using a zoom facility. ADVANTAGE - Direct evaluation of image section on screen.

Description

Die Erfindung bezieht sich auf eine Schaltungsanordnung zur Auf bereitung von Bildsignalen, insbesondere zur direkten Bildauswer tung an Bord eines Trägerfahrzeuges, mit einer eine zu überwa chende Szene beobachtenden Abtasteinrichtung, deren Bildsignale einer Auswerteeinrichtung zugeleitet sind.The invention relates to a circuit arrangement for Preparation of image signals, especially for direct image evaluation tion on board a carrier vehicle, with one to be monitored the scene observing the scanning device, its image signals are fed to an evaluation device.

Zur Aufnahme von Luftbildern ist es bekannt Zeilenabtastsysteme zu benutzen und die erfaßten Abtastinformationen auf Filmen für eine nachfolgende Auswertung am Boden zu speichern. Es ist aber auch schon vorgeschlagen worden, die erfaßten Abtastinformationen mit einer drahtlosen Übertragungsstrecke zu einer Bodenstation zu senden und dort direkt auszuwerten oder für eine nachfolgende Auswertung zu speichern. Diese Auswertungsart ist unbefriedigend, weil eine direkte Auswertung an Bord des Trägerfahrzeuges bzw. Flugzeuges die sonst zwischen Bildaufnahme und Bildauswertung liegende Zeitverzögerung vermeiden würde.Line scanning systems are known for taking aerial photographs to use and the captured scanning information on films for save a subsequent evaluation on the ground. But it is have already been proposed, the acquired scanning information with a wireless transmission link to a ground station send and evaluate there directly or for a subsequent one Save evaluation. This type of evaluation is unsatisfactory, because a direct evaluation on board the carrier vehicle or Aircraft the otherwise between image acquisition and image evaluation would avoid lying time delay.

Der Erfindung liegt daher die Aufgabe zugrunde eine Schaltungsan ordnung zur Aufbereitung von Bildsignalen zu schaffen, welche ei ne direkte Auswertung der erfaßten Bildsignale bei der Aufnahme an Bord des Trägerfahrzeuges oder nach einer Übertragung zu einer Bo denstation ermöglicht. Diese Aufgabe ist erfindungsgemäß dadurch gelöst, daß die Bildsignale der Abtasteinrichtung über eine Schnittstelle einer durch eine Systemsteuerstufe und einen System rechner gesteuerten Abtaststeuerstufe zugeleitet sind, deren Aus gangssignale parallel auf eine vom Systemrechner beeinflußbare Bilddatenvorverarbeitungsstufe und einen Datenspeicher geleitet sind, und daß die Ausgangssignale dieser Stufen über eine Bildda tenaufbereitungsstufe und eine Wandlerstufe einer Auswerteeinheit zur visuellen Auswertung zugeführt sind.The invention is therefore based on the object of a circuit create order for the processing of image signals, which egg ne direct evaluation of the captured image signals when recording On board the carrier vehicle or after a transfer to a Bo denstation enables. This object is achieved according to the invention solved that the image signals of the scanner via a Interface one through a system control level and a system Computer-controlled sampling control stage are supplied, the off gear signals in parallel to one that can be influenced by the system computer Image data preprocessing stage and a data memory and that the outputs of these stages via a picture da preparation stage and a converter stage of an evaluation unit are supplied for visual evaluation.

Die erfindungsgemäße Maßnahme ist in der Lage Abtastsignale von Zeilenabtastsystemen z. B. sog. CCD-Systemen, die üblicherweise eine erheblich höhere Auflösung als genormte Fernsehsignale haben für eine Auswertung ohne Informationsverlust zu verarbeiten. Da bei ist es für die Verarbeitung der Abtastsignale unwichtig, ob diese Signale von einem Sensor mit starrer Sensorelementenanord nung stammen, wie CCD-Sensoren oder von Sensoren mit beweglichen Elementen, wie Abtasteinrichtungen mit rotierenden Spiegeln. Die erfindungsgemäße Schaltungsanordnung gestattet es, die erfaßten Abtastsignale elektronisch aufzubereiten und eine unmittelbare Auswertung vorzunehmen.The measure according to the invention is capable of scanning signals from Line scanning systems e.g. B. so-called. CCD systems, usually have a significantly higher resolution than standard television signals for an evaluation without loss of information. There it is unimportant for the processing of the scanning signals whether arranges these signals from a sensor with rigid sensor elements such as CCD sensors or sensors with movable ones Elements such as scanners with rotating mirrors. The Circuit arrangement according to the invention allows the detected Prepare scanning signals electronically and an immediate Make evaluation.

Weiterbildungen und vorteilhafte Ausgestaltungen der Erfindung sind den Ansprüchen 2 bis 15 zu entnehmen.Further developments and advantageous refinements of the invention can be found in claims 2 to 15.

Die Erfindung wird anhand der beiliegenden Zeichnung näher erläutert.The invention will become more apparent from the accompanying drawing explained.

Die Zeichnung zeigt ein Blockschaltbild, bei dem eine Abtaststeu erstufe 1 Abtastsignale von einem nicht dargestellten Sensor über eine Schnittstelle erhält. Diese Abtaststeuerstufe 1 wird von ei ner Systemsteuerstufe 2 und einem Systemrechner 3 gesteuert. Die Ausgangssignale der Abtaststeuerstufe 1, deren Ausgang eine Wandlerschaltung (Interface) bildet, gelangen dann entweder auf einen Datenspeicher 4 oder eine Bilddatenvorverarbeitungsstufe 5. Beide Stufen werden ebenfalls von der Systemsteuerstufe 2 und dem Systemrechner 3 beeinflußt. Der Bilddatenvorverarbeitungsstufe 5 und dem parallelen Datenspeicher 4 ist eine Bilddatenaufberei tungsstufe 6 und dieser eine Wandlerstufe 7 zur Ansteuerung ei nes Monitors nachgeschaltet.The drawing shows a block diagram in which a scanning control stage receives 1 scanning signals from a sensor, not shown, via an interface. This sampling control stage 1 is controlled by a system control stage 2 and a system computer 3 . The output signals of the scan control stage 1 , the output of which forms a converter circuit (interface), then arrive at either a data memory 4 or an image data preprocessing stage 5 . Both levels are also influenced by the system control level 2 and the system computer 3 . The image data preprocessing stage 5 and the parallel data memory 4 is an image data preparation stage 6 and this is followed by a converter stage 7 for controlling a monitor.

Beim Betrieb der erfindungsgemäßen Schaltungsanordnung ist eine "on-Line"-Datenverarbeitung möglich. Beim "on-Line"-Betrieb wer den zunächst die erfaßten Abtastsignale in einer Übersicht darge stellt, d. h. die vom Sensor stammende Bildstreifenbreite wird we gen der erheblich größeren Zahl der erfaßten aber nicht abbildba ren Bildpunkte durch eine Bildpunktreduktion komprimiert. Die Informationen der reduzierten Bildpunkte stehen aber in dem als Ringspeicher arbeitenden Datenspeicher 4 abrufbar zur Verfügung. Bei Bedarf ist es somit möglich diese Informationen als Teilaus schnitte eines Bildes mit höherer Auflösung auf einem Monitor darzustellen. Dies kann dadurch realisiert werden, daß in dem betreffenden Bildausschnitt die Bildpunktreduktion rückgängig gemacht wird. Mit Systembedienungselementen, wie z. B. einer Roll kugel ist es dabei möglich den gewünschten Teilausschnitt zu be stimmen.When operating the circuit arrangement according to the invention, "on-line" data processing is possible. In "on-line" mode, who initially presents the detected scanning signals in an overview, ie the image strip width originating from the sensor is compressed because of the considerably larger number of detected but non-reproducible pixels by a pixel reduction. However, the information of the reduced pixels is available in the data memory 4, which works as a ring memory. If necessary, it is possible to display this information as partial sections of an image with a higher resolution on a monitor. This can be achieved by reversing the pixel reduction in the relevant image section. With system controls, such as. B. a rolling ball, it is possible to vote for the desired partial section.

Neben dem "on-Line"-Betrieb ist es auch möglich die Bilddatenaus wertung im "off-Line"-Betrieb vorzunehmen. Dazu speichert der als Ringspeicher ausgelegte Datenspeicher 4 die Abtastdaten für ein bestimmtes Zeitintervall durch Überschreiben der jeweils ältesten Information. Ein Beobachter eines Monitores kann dann bei der Feststellung eines relevanten Objektes, diesen Speicherinhalt durch Eingabe eines Befehls dauerhaft speichern. Dies kann mit Hilfe einer auf den Systemrechner 3 einwirkenden Dateneingabe z. B. einer Rollkugel oder einer Multifunktionstaste erfolgen, wo bei bestimmte Bildausschnitte in einem Monitorbild definierbar sind und ein Umschalten auf andere Zoom-Faktoren möglich ist. Wenn ein relevantes Bild im Monitor festgestellt ist, dann kann eine Klassifizierung und Vermessung durchgeführt werden.In addition to "on-line" operation, it is also possible to carry out the image data evaluation in "off-line" operation. For this purpose, the data memory 4 designed as a ring memory stores the scanning data for a specific time interval by overwriting the oldest information in each case. When observing a relevant object, an observer of a monitor can then permanently save this memory content by entering a command. This can be done using a data input acting on the system computer 3, e.g. B. a trackball or a multi-function button, where certain image sections can be defined in a monitor image and a switch to other zoom factors is possible. If a relevant image is found in the monitor, classification and measurement can be carried out.

Die einzelnen Schaltstufen der Schaltungsanordnung erfüllen im Einsatz folgende Funktionen:
Die Abtaststeuerstufe ist eine Funktionseinheit, welche den Sen sor mit den erforderlichen Steuersignalen wie Zeilen-Sync, Bild punktschiebetakt, etc. versorgt. Für den Fall, daß der Sensor in tern selbst diese Signale erzeugt, wird eine Synchronisation mit dem Sensorsignal realisiert. Neben diesen Funktionen wird auch eine analog/digital-Wandlung der Abtastsignale durchgeführt. Die se Funktionseinheit wird vom System-Rechner 3 gesteuert und die digitalisierten Abtastsignale werden der Bilddatenvorverarbei tungsstufe 5 und dem Daten-Speicher 4 übergeben.The individual switching stages of the circuit arrangement fulfill the following functions in use:
The scanning control stage is a functional unit which supplies the sensor with the necessary control signals such as line sync, pixel shift clock, etc. In the event that the sensor internally generates these signals, synchronization with the sensor signal is realized. In addition to these functions, an analog / digital conversion of the scanning signals is also carried out. This functional unit is controlled by the system computer 3 and the digitized scanning signals are transferred to the image data preprocessing stage 5 and the data memory 4 .

Die Bilddatenverarbeitungsstufe 5 enthält zwei Zeilen-Speicher für jeweils acht komplette Sensor-Zeilen. Diese Zeilen-Speicher werden alternierend von dem Interface der Abtaststeuerstufe mit Bildsignalen von acht Sensor-Zeilen versorgt. Wenn einer der Zei len-Speicher geladen wird, dann werden die Daten des anderen vom System-Rechner 3 gemäß dem eingestellten Zoom-Faktor in die Bild aufbereitungsstufe 6 transferiert. Die Transfergeschwindigkeit kann hierbei auch für schnellere Sensoren durch eine spezielle Hardware-Einheit gesteigert werden.The image data processing stage 5 contains two line memories for eight complete sensor lines each. These line memories are alternately supplied with image signals from eight sensor lines by the interface of the scan control stage. If one of the line memories is loaded, the data of the other are transferred from the system computer 3 to the image processing stage 6 in accordance with the zoom factor set. The transfer speed can also be increased for faster sensors using a special hardware unit.

Der Datenspeicher 4 dient zum Speichern der digitalisierten Ab tastdaten über eine große Anzahl von Zeilen und damit für ein Zeitintervall von mehreren Sekunden. Der Speicher wird daher di rekt vom Interface der Abtaststufe 1 mit den Zeilen-Daten gela den. Im "on-Line"-Betrieb arbeitet der Speicher als Ringspeicher, indem jeweils die ältere Zeile mit der jüngsten Zeileninformation überschrieben wird. Im "off-Line"-Betrieb wird der Speicherinhalt eingefroren. Ein Beobachter kann daher auf Anforderung einen Bildausschnitt aus diesem Speicher abrufen. Dies geschieht in Ab hängigkeit vom ausgewählten Zoom-Faktor durch Übertragung der Bilddaten aus dem Speicher 4 in die Bilddatenaufbereitungsstufe 6 in Abhängigkeit vom System-Rechner 1.The data memory 4 is used to store the digitized sample data over a large number of lines and thus for a time interval of several seconds. The memory is therefore loaded directly from the interface of sampling stage 1 with the line data. In "on-line" mode, the memory works as a ring memory, in that the older line is overwritten with the most recent line information. In "off-line" mode, the memory content is frozen. An observer can therefore call up an image section from this memory on request. This is done depending on the selected zoom factor by transferring the image data from the memory 4 to the image data preparation stage 6 as a function of the system computer 1 .

Die Bilddatenaufbereitungsstufe 6 setzt die darzustellenden Sen sordaten in ein normgerechtes Videosignal um, das dann auf einem Monitor als Bild dargestellt werden kann. Diese Funktionseinheit besteht aus einem Bildspeicher, aus Eingabe/Ausgabe-Adreß-Multi plexern und einer Ringspeicher-Adressierung. Der Bildspeicher wird jeweils während der Bild-Austastzeiten mit der neu eingelau fenen Abtast-Information von der Bilddaten-Vorverarbeitungsstufe 5 oder dem Datenspeicher 4 geladen. Durch die Ringspeicher-Adres sierung ergibt sich die Möglichkeit, das Bild oben, unten, rechts und links mit neuen Zeilen aufzufüllen, wodurch sich die Möglich keit in jeder Bewegungsrichtung ein durchlaufendes Bild zu erzeu gen, ergibt. Während der aktiven Bildzeit wird der Bildspeicher so ausgelesen, daß ein normgerechtes Bild-Signal erzeugt werden kann.The image data processing stage 6 converts the sensor data to be displayed into a standard-compliant video signal, which can then be displayed on a monitor as an image. This functional unit consists of an image memory, input / output address multiplexers and ring memory addressing. The image memory is loaded with the newly arrived scanning information from the image data preprocessing stage 5 or the data memory 4 during the image blanking times. Due to the ring memory addressing, there is the possibility of filling the picture above, below, right and left with new lines, which results in the possibility of generating a continuous picture in every direction of movement. During the active picture time, the picture memory is read out in such a way that a picture signal conforming to standards can be generated.

Die Wandlerstufe 7. enthält als wesentliche Elemente eine Funk tionsschaltung und einen digital/analog Converter womit eine ein fache digitale Signalwerttransformation erfolgt. Damit können die Signal-Informationen in Echtzeit auf gewünschte Ausgangswerte um gesetzt werden. Die Wandlerstufe 7 kann sowohl als schwarz/weiß als auch als Farbversion ausgelegt sein.The converter stage 7 . contains the essential elements of a function circuit and a digital / analog converter which enables a simple digital signal value transformation. This enables the signal information to be converted to the desired output values in real time. The converter stage 7 can be designed both as a black / white and a color version.

Der Wandler dieser Stufe wandelt die von der Funktionsschaltung ausgegebenen Werte in ein analoges Video-Signal um, indem u. a. die notwendigen Synchronisationsimpulse hinzugefügt werden. Die Wandlerstufe 7 kann optional auch um einen Graphik-Speicher er weitert werden.The converter of this stage converts the values output by the functional circuit into an analog video signal by, among other things, adding the necessary synchronization pulses. The converter stage 7 can optionally also be expanded by a graphics memory.

Der Graphik-Speicher wird vom System-Rechner 3 mit alphanumeri schen Zeichen und graphischen Symbolen geladen. Er ist doppelt aufgebaut und wird alternierend vom System-Rechner geladen bzw. fersehbildgerecht ausgelesen. Die Graphik-Information wird dann über einen digitalen Mischer dem von der Bilddatenaufbereitungs stufe 6 zur Verfügung gestellten Video-Bild überlagert.The graphics memory is loaded by the system computer 3 with alphanumeric characters and graphic symbols. It has a double structure and is alternately loaded by the system computer or read out in accordance with the television screen. The graphic information is then superimposed on the video image provided by the image data processing stage 6 via a digital mixer.

Der System-Rechner 3 steuert alle Funktionseinheiten des Systems. Er lädt die Abtaststeuerstufe 1 und das Interface Modul mit den erforderlichen Parametern, realisiert den Bild-Daten-Tranfer von der Bildvorverarbeitungsstufe 5 und dem Datenspeicher 4 in die Bilddatenaufbereitungsstufe 6 und generiert die alphanumerischen und graphischen Symbole im Graphik-Speicher der Wandlerstufe 7. An den Systemrechner 3 ist für die menügeführte Bedienung des Systems eine Rollkugel oder alternativ ein Multifunktionstaster angeschlossen. The system computer 3 controls all functional units of the system. It loads the scan control stage 1 and the interface module with the required parameters, implements the image data transfer from the image preprocessing stage 5 and the data store 4 to the image data preparation stage 6 and generates the alphanumeric and graphic symbols in the graphics memory of the converter stage 7 . A trackball or alternatively a multi-function button is connected to the system computer 3 for the menu-driven operation of the system.

Die Systemsteuerstufe 2 erzeugt die erforderlichen System-Takte. Ferner werden hier die für eine bildgerechte Darstellung der Bildspeicher- bzw. Graphikspeicher-Inhalte erforderlichen Zeilen- und Spaltenadressen erzeugt. System control level 2 generates the required system clocks. Furthermore, the row and column addresses required for an image-correct representation of the image memory or graphics memory contents are generated here.

BezugszahlenReference numbers

1 Abtaststeuerstufe
2 Systemsteuerstufe
3 Systemrechner
4 Datenspeicher
5 Bilddatenvorverarbeitungsstufe
6 Bilddatenaufbereitungsstufe
7 Wandlerstufe 1 sampling control stage
2 system control level
3 system computers
4 data memories
5 image data preprocessing stage
6 image processing level
7 converter stage

Claims

1. Circuit arrangement for processing image signals, in particular for direct image evaluation on board a carrier vehicle, with a scene to be monitored, a scanning device whose image signals are fed to an evaluation device, characterized in that the image signals of the scanning device via an interface through a system control stage ( 2 ) and a system computer ( 3 ) control th scan control stage ( 1 ) are fed, the output signals of which are passed in parallel to an image data preprocessing stage ( 5 ) which can be influenced by the system computer ( 3 ) and a data memory ( 4 ), and that the output signals thereof Stages ( 4 , 5 ) via an image data preparation stage ( 6 ) and a converter stage ( 7 ) are fed to an evaluation unit for visual evaluation.

2. Circuit arrangement according to claim 1, characterized ge indicates that for the evaluation unit on board the carrier vehicle-mounted monitor for immediate evaluation is provided by an on-board observer.

3. Circuit arrangement according to claim 1, characterized ge indicates that for the evaluation unit one in a fixed Ground station arranged supplied via a data connection Monitor for evaluation by a ground observer is provided.

4. Circuit arrangement according to one of claims 1 to 3, characterized in that the output signals of the scanning control stage ( 1 ) in the number of pixels for "on-line" evaluation are reduced with a monitor, and that the information is reduced Pixels in the data memory ( 4 ) working as a ring memory are available for retrieval.

5. Circuit arrangement according to one of claims 1 to 3, characterized in that the data memory designed as a ring memory ( 4 ) stores the output signals of the scanning control stage ( 1 ) for a certain time interval by overwriting the oldest information, and that the memory content for detecting a in the detected image signals detectable rele vant object by a command can be stored permanently.

6. Circuit arrangement according to one of claims 1 to 5, characterized in that the scanning control stage ( 1 ) supplies the scanning device from with control signals such as line sync pulses, pixel shift clock ..., and that the scanning control stage ( 1 ) one from the system computer ( 3rd ) influenceable converter circuit (interface) has, for converting the received analog scanning signals into digital image signals.

7. Circuit arrangement according to one of claims 1 to 6, characterized in that the scan control stage ( 1 ) downstream image preprocessing stage ( 5 ) has two line memories for image data of eight complete sensor lines each, which alternately by the converter circuit (interface) Scanning control stage ( 1 ) can be supplied.

8. A circuit arrangement according to claim 7, characterized in that the image data stored during the loading of a line memory in the other line memory can be forwarded to the image preparation stage ( 6 ) by a command which can be input into the system computer ( 3 ).

9. Circuit arrangement according to one of claims 1 to 8, characterized in that the data memory ( 4 ) can be controlled by commands which can be entered into the system computer ( 3 ) for transmitting the stored image data to the image data preparation stage ( 6 ).

10. Circuit arrangement according to one of claims 1 to 9, characterized in that the image data processing stage ( 6 ) retrieves the supplied image data with an address multiplexer and egg ner ring memory addressing, and an image memory for the formation of a standard-compliant analog video signal.

11. The circuit arrangement according to one of claims 1 to 10, characterized in that the image memory of the image data processing stage (6) during the period of Bildaustastzeiten with new image information from the image data processing step (5) or the data memory (4) is loaded.

12. Circuit arrangement according to one of claims 1 to 11, characterized in that with the data of the image preparation stage ( 6 ) supplied converter stage ( 7 ) this image data depending on a functional circuit in analog image signals and for display on a monitor with the required Synchronization signals provided.

13. Circuit arrangement according to one of claims 1 to 12, characterized in that the converter stage ( 7 ) has a from the system computer ( 3 ) with data for alphanumeric characters and graphical symbols graphic memory, the data th supplied via a digital mixer Image signals are superimposed.

14. Circuit arrangement according to one of claims 1 to 13, characterized in that the system computer ( 3 ) controls the switching stages of the entire circuit arrangement and receives commands via a data input (trackball or multifunction button).

15. Circuit arrangement according to one of the preceding claims, characterized in that the system control stage ( 2 ) generates the required system clocks (line clock, column clock) for an image-correct representation of the image memory contents or the graphic memory contents.