EP2503522A1

EP2503522A1 - Method related to the operation of pattern recognition devices, in particular load scales

Info

Publication number: EP2503522A1
Application number: EP12159242A
Authority: EP
Inventors: Gerhard Schatz; Günther Falter
Original assignee: Bizerba SE and Co KG
Current assignee: Bizerba SE and Co KG
Priority date: 2011-03-21
Filing date: 2012-03-13
Publication date: 2012-09-26
Also published as: DE102011014562A1

Abstract

The method involves managing the object data sets of devices by a network, where the image recognition rates of the devices are detected by the central location. The object data assigned to the detected objects is replaced by the network or the central location. A respective object assigned object data is transmitted to the central location or to the device.

Description

Die vorliegende Erfindung betrifft ein Verfahren betreffend den Betrieb von selbstständigen bilderkennenden Geräten zur Objekterkennung mit einem jeweiligen der Bilderkennung zugrunde liegenden Objektdatensatz.The present invention relates to a method concerning the operation of independent image-recognizing devices for object recognition with a respective object data record underlying the image recognition.

Aus der europäischen Patentschrift EP 0 443 419 B 1 sind bilderkennende Selbstbedienungswaagen und ohne Wägefunktionalität ausgestattete Terminals zur Objekterkennung bekannt, die im Einzelhandel eingesetzt werden und es ermöglichen, Waren über Videokameras zu identifizieren. Hierzu werden mittels einer jeweiligen Videokamera von den Waren aktuell aufgenommene Bilder mit in einem Bildspeicher hinterlegten Warenbildern verglichen. Die hinterlegten Warenbilder bilden einen Warendatensatz, der der Bilderkennung zugrunde gelegt wird.From the European patent EP 0 443 419 B 1 For example, self-service image-recognition scales and object-recognition terminals equipped with weighing functionality are known, which are used in retail stores and make it possible to identify goods via video cameras. For this purpose, by means of a respective video camera of the goods currently recorded images are compared with stored in an image memory product images. The stored goods images form a goods data record, which is used as the basis for image recognition.

Üblicherweise wird bei einer erstmaligen Inbetriebnahme der Selbstbedienungswaage bzw. des Terminals ein Standard-Warendatensatz hinterlegt. Im laufenden Betrieb kann der hinterlegte Standard-Warendatensatz dann über einen Lernvorgang ("Teaching") erweitert werden, um auch Waren erkennen zu können, zu denen bislang keine Warenbilder verfügbar waren. Alternativ können Warenbilder zu neu hinzukommenden Waren aus einer Bibliothek oder dergleichen eingelesen werden. Warenbilder zu nicht mehr benötigten Waren können gelöscht oder überschrieben werden.Usually, when a standard commissioning of the self-service scale or the terminal a standard goods record is deposited. During operation, the stored standard goods record can then be extended via a learning process ("teaching") in order to be able to recognize goods for which no goods images were previously available. Alternatively, goods images can be imported to newly added goods from a library or the like. Goods images for goods no longer required can be deleted or overwritten.

Aus der europäischen Patentanmeldung EP 2 199 779 A1 ist es bekannt, bei einem Terahertz-Scanner für eine Warenerkennung erforderliche Vergleichsbilder auf einem Server zu speichern, wobei jedes Mal, wenn eine Ware erkannt werden soll, ein Serverzugriff erforderlich ist.From the European patent application EP 2 199 779 A1 It is known in a terahertz scanner for a goods identification required comparison images to store on a server, requiring server access each time a commodity is to be discovered.

Der vorliegenden Erfindung liegt die Aufgabe zugrunde, eine Möglichkeit anzugeben, die Bilderkennungsrate bilderkennender Geräte zu erhöhen.The present invention has for its object to provide a way to increase the image recognition rate of image-detecting devices.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des unabhängigen Anspruchs 1 gelöst, und insbesondere durch ein Verfahren betreffend den Betrieb von mit einer zentralen Stelle vernetzten selbstständigen bilderkennenden Geräten zur Objekterkennung mit einem jeweiligen der Bilderkennung zugrunde liegenden Objektdatensatz, bei dem die Objektdatensätze der Geräte über ein Netzwerk zentral verwaltet werden.This object is achieved by a method having the features of independent claim 1, and in particular by a method relating to the operation of self-contained image-recognizing apparatuses linked to a central location with an individual object data record on which the object data records of the apparatus are based a network can be managed centrally.

Insbesondere handelt es sich bei den Geräten um Geräte eines Einzelhandelsunternehmens, die jeweils mit einer Bildaufnahmeeinrichtung ausgestattet sind, um eine Warenerkennung, wie sie eingangs erläutert ist, durchführen zu können. Insbesondere handelt es sich bei den Objekten um Waren. Bei der Bildaufnahmeeinrichtung handelt es sich bevorzugt um wenigstens eine Kamera, insbesondere Videokamera. Bei den Geräten handelt es sich bevorzugt um Waagen, insbesondere Ladenwaagen und/oder Selbstbedienungswaagen, Informationsterminals und/oder sonstige Terminals zur Warenerkennung. Die Datenpflege der einzelnen Objektdatensätze kann - insbesondere auch - von der zentralen Stelle erfolgen. Insbesondere sind in einem Objektdatensatz von dem jeweiligen Gerät zu erkennenden Objekten zugeordnete Objektdaten in Form von Objektbildern enthalten. Insbesondere handelt es sich bei den jeweiligen der Bilderkennung zugrunde liegenden Objektdatensätze der Geräte um lokale Objektdatensätze. Durch die zentrale Verwaltung können die Objektdatensätze der Geräte aufeinander abgestimmt werden.In particular, the devices are devices of a retail company, which are each equipped with an image recording device in order to carry out a goods recognition, as explained above. In particular, the objects are goods. The image recording device is preferably at least one camera, in particular a video camera. The devices are preferably balances, in particular retail scales and / or self-service scales, information terminals and / or other terminals for goods identification. The data maintenance of the individual object data sets can - in particular - be done by the central office. In particular, object data associated with objects to be recognized in the object data record are contained in the form of object images. In particular, the respective object data records on which the image recognition is based are local object data records. The central administration allows the object data sets of the devices to be coordinated with each other.

Die Bilderkennung dient insbesondere der Bedienungserleichterung bei einer Waage oder einem Informationsterminal. Ein Kunde kann über das bilderkennende Gerät zusätzliche Information über eine Ware erhalten, indem er die Ware in den Erfassungsbereich des bilderkennenden Gerätes bringt. Daraufhin kann die Bilderkennung des Gerätes automatisch oder manuell gestartet ablaufen. Das Gerät erkennt die Ware, sucht in einer Warendatenbank nach Information, die der Ware zugeordnet ist, und zeigt diese Information auf einem Display an.The image recognition serves in particular to facilitate the operation of a balance or an information terminal. A customer can receive additional information about a product via the image-recognizing device by bringing the goods into the detection range of the image-recognizing device. The image recognition of the device can then start automatically or manually. The device recognizes the goods, searches in a goods database for information associated with the goods, and displays this information on a display.

Insbesondere kann es sich bei dem bilderkennenden Gerät um eine Ladenwaage handeln, die über Bilderkennung die zu wiegende Ware identifiziert und den Grundpreis der Ware aus einer Preisdatenbank, vorzugsweise eines Warenwirtschaftssystems, automatisch ausliest. Die Bilderkennung der Ware ermöglicht einem Benutzer der Waage eine einfache Bedienung, indem die Waage die Ware automatisch erkennt und eine manuelle Eingabe einer PLU ("Price Lookup Code") entfallen kann.In particular, the image-recognizing device may be a retail scale which identifies the goods to be weighed via image recognition and automatically reads the basic price of the goods from a price database, preferably an ERP system. The image recognition of the goods allows a user of the balance a simple operation by the scale automatically recognizes the goods and manual input of a PLU ("Price Lookup Code") can be omitted.

Insbesondere werden bei der Bilderkennung die von der Videokamera aufgenommenen Bilder anhand der Objektdaten erkannt. Die Objektdaten können anhand von Vergleichsbildern ermittelt werden, beispielsweise indem aus einem Bild relevante Merkmale oder Muster extrahiert werden und diese mit einem entsprechenden datenreduzierenden Verfahren oder Filterverfahren bearbeitet und als Objektdaten abgespeichert werden. Durch den Vergleich der Objektdaten mit entsprechend aufbereiteten Daten eines aktuell aufgenommenen Produkt- bzw. Warenbildes kann dann eine automatische Erkennung der Produkte oder Waren erfolgen.In particular, in the case of image recognition, the images recorded by the video camera are recognized on the basis of the object data. The object data can be determined on the basis of comparative images, for example by extracting from a picture relevant features or patterns and processing them with a corresponding data-reducing method or filtering method and storing them as object data. By comparing the object data with correspondingly prepared data of a currently recorded product or product image, an automatic recognition of the products or goods can take place.

Von Vorteil ist, wenn das bilderkennende Gerät die lokal vorhandenen Objektdaten ändert bzw. ändern oder anpassen kann. Diese Änderung oder Anpassung kann im Rahmen eines kontinuierlichen Lernprozesses während der Bilderkennung erfolgen. Wenn beispielsweise eine automatische Bilderkennung fehlschlägt und eine manuelle Korrektur der automatischen Auswahl erfolgt, kann das bilderkennende Gerät seine lokalen Objektdaten so ändern, dass die Datenqualität verbessert wird. Beispielsweise kann an einem Display eine Auswahl an möglichen Treffern angezeigt werden, und ein Bediener wählt manuell den richtigen Treffer aus. Auf Basis der Daten einer richtigen Zuordnung kann das bilderkennende Gerät nun die Daten des aktuellen Produktbildes mit den Objektdaten verknüpfen bzw. verrechnen. So können z.B. Einflüsse von veränderten Beleuchtungsbedingungen ausgeglichen werden. Es entsteht also ein kontinuierlicher qualitätssteigernder Prozess, der mit steigender Anzahl an Produktbilderkennungen die automatische Bilderkennungsrate verbessert.It is advantageous if the image-recognizing device can change or modify or adapt the locally existing object data. This change or adaptation can be part of a continuous learning process take place during the image recognition. For example, if automatic image recognition fails and a manual automatic selection correction occurs, the image-aware device may change its local object data to improve data quality. For example, a selection of possible matches may be displayed on a display, and an operator may manually select the correct match. Based on the data of a correct assignment, the image-recognizing device can now link or calculate the data of the current product image with the object data. For example, influences of changed lighting conditions can be compensated. Thus, a continuous quality-increasing process is created, which improves the automatic image recognition rate with increasing number of product image identifications.

Es kann auch vorgesehen sein, dass eine automatische Anpassung der lokalen Objektdaten von der zentralen Stelle gesteuert, insbesondere gesperrt oder freigegeben, werden kann. Die zentrale Stelle kann insbesondere für ein einzelnes bilderkennendes Gerät oder für eine Gruppe von bilderkennenden Geräten die automatische Anpassung der lokalen Objektdaten freigeben oder sperren. Wenn beispielsweise die Erkennungsrate eines Gerätes nahe dem Optimum liegt, kann die automatische Anpassung gesperrt werden, um beispielsweise eine gesteigerte Verarbeitungsgeschwindigkeit zu erhalten oder um beispielsweise zur Qualitätssicherung auf mehreren Geräten immer einheitliche Objektdaten zu verwenden.It can also be provided that an automatic adaptation of the local object data can be controlled, in particular blocked or released, by the central location. The central office may, in particular, enable or disable the automatic adaptation of the local object data for a single image-aware device or for a group of image-aware devices. For example, if the detection rate of a device is close to the optimum, the automatic adaptation can be disabled, for example, to obtain an increased processing speed or, for example, to use consistent object data for quality assurance on multiple devices.

Bilderkennungsraten der Geräte können insbesondere für ein jeweiliges Objekt von der zentralen Stelle erfasst und bevorzugt auch ausgewertet werden. Geräte mit hohen Fehlerraten bei der Bilderkennung können daher erkannt und gezielt gewartet werden. Die Bilderkennungsraten können für jedes Gerät dokumentiert werden.Image recognition rates of the devices can be detected in particular for a respective object from the central location and preferably also evaluated. Devices with high error rates in image recognition can therefore be recognized and systematically maintained. The image recognition rates can be documented for each device.

Zusätzlich oder alternativ können insbesondere zwischen den Geräten und/oder zwischen der zentralen Stelle und den Geräten zu erkennenden Objekten zugeordnete Objektdaten über das Netzwerk und/oder die zentrale Stelle ausgetauscht werden.Additionally or alternatively, object data assigned in particular between the devices and / or between the central point and the devices for objects to be detected can be exchanged via the network and / or the central point.

Insbesondere können an einem Gerät beispielsweise durch Teaching erzeugte, einem jeweiligen Objekt zugeordnete Objektdaten - insbesondere für den Fall, dass mit diesen Objektdaten eine hohe Bilderkennungsrate verbunden ist - an die zentrale Stelle und/oder - insbesondere über die zentrale Stelle - an wenigstens ein anderes Gerät übermittelt werden. Es können also die Objektdaten des Geräts mit den höchsten Erkennungsraten allen anderen Geräten zur Verfügung gestellt werden.In particular, object data generated on a device, for example by teaching, associated with a respective object can be sent to the central location and / or, in particular via the central location, to at least one other device, in particular in the case where a high image recognition rate is associated with these object data be transmitted. Thus, the object data of the device with the highest detection rates can be made available to all other devices.

Vorzugsweise werden oder sind in wenigstens einer gegebenenfalls verteilten Objektdatenbank des Netzwerks, insbesondere der zentralen Stelle, zu erkennenden Objekten zugeordnete Objektdaten gespeichert. Dem jeweiligen Gerät können dann der jeweilige Objektdatensatz - insbesondere bei einer erstmaligen Inbetriebnahme - oder ein Teil hiervon - insbesondere im Rahmen einer Aktualisierung oder eines Updates - von der wenigstens einen Objektdatenbank übermittelt werden. Bei einem Update werden insbesondere Objektdaten übermittelt, die hohe oder maximale Bilderkennungsraten liefern.Preferably, at least one optionally distributed object database of the network, in particular the central location, object data associated with objects to be detected is or are stored. The respective device data record can then be transmitted from the at least one object database, in particular during a first startup, or a part thereof, in particular as part of an update or an update. In the case of an update, in particular object data are transmitted which deliver high or maximum image recognition rates.

Bevorzugt umfasst der jeweilige, insbesondere übermittelte Objektdatensatz zu sämtlichen oder lediglich ausgewählten in der wenigstens einen Objektdatenbank gespeicherten Objekten zugeordnete Objektdaten. Insbesondere sind nicht ausgewählten Objekten zugeordnete Objektdaten in der wenigstens einen Objektdatenbank gespeichert. Die wenigstens eine Objektdatenbank kann mit einer Datenbasis verknüpft werden oder sein, um Objektdaten bestimmter Objekte zu sperren.The respective, in particular transmitted, object data record preferably comprises object data associated with all or only selected objects stored in the at least one object database. In particular, object data associated with non-selected objects is stored in the at least one object database. The at least one object database can be linked to a database or be to block object data of specific objects.

Nicht ausgewählten Objekten zugeordnete Objektdaten können an das jeweilige Gerät nicht übermittelt, aus dem jeweiligen Objektdatensatz gelöscht und/oder in dem jeweiligen Objektdatensatz deaktiviert werden. In einem Objektdatensatz befindliche deaktivierte Objektdaten sind dann nicht mehr Bestandteil des Objektdatensatzes im Sinne der vorliegenden Erfindung. Deaktivierte Objektdaten können beispielsweise mit einem Flag versehen sein. Hierdurch können Daten von beispielsweise Saisonartikeln oder nicht oder nicht mehr im Programm befindliche Artikeln gezielt gesperrt werden. Eine geringere Anzahl an Objektdaten in einem Objektdatensatz führt bei der Bilderkennung zu einer höheren Verarbeitungsgeschwindigkeit und - da zumindest aktuell nicht im Sortiment befindliche Artikel nicht falsch erkannt werden können - zu geringeren Fehlerraten.Object data assigned to non-selected objects can not be transmitted to the respective device, deleted from the respective object data set and / or deactivated in the respective object data record. Deactivated object data located in an object data record are then no longer part of the object data record in the sense of the present invention. For example, disabled object data may be flagged. As a result, data from, for example, seasonal articles or articles that are no longer or no longer in the program can be selectively blocked. A lower number of object data in an object data record leads to a higher processing speed in the image recognition and - since at least currently not in the assortment items can not be detected incorrectly - to lower error rates.

Nach einer Ausbildung der Erfindung werden die Objektdatensätze der Geräte regelmäßig von der zentralen Stelle und/oder in dem Netzwerk gesichert. Nach einem Defekt eines Geräts, bei dem der jeweilige Objektdatensatz verloren geht, kann dann zumindest die zuletzt gesicherte Version des jeweiligen Objektdatensatzes wieder aufgespielt werden. Dies ermöglicht, das Gerät mit dem zu dem letzten Sicherungszeitpunkt vorliegenden Wägedatensatz weiter zu betreiben. Bei dem Defekt kann es sich beispielsweise um einen Festplattencrash handeln. Die Zeitabstände zwischen den Zeitpunkten, zu denen die Objektdatensätze gesichert werden, können variieren.According to an embodiment of the invention, the object data sets of the devices are regularly backed up from the central location and / or in the network. After a defect of a device in which the respective object data set is lost, then at least the last saved version of the respective object data set can be re-loaded. This makes it possible to continue operating the device with the weighing data set available at the last backup time. The defect can be, for example, a hard disk crash. The intervals between the times the object records are saved may vary.

Nach einer anderen Ausbildung der Erfindung werden oder sind die Geräte klassifiziert und werden gemeinsam klassifizierten Geräten gleiche Objektdaten - insbesondere von der wenigstens einen Objektdatenbank - übermittelt. Insbesondere enthält die wenigstens eine Objektdatenbank für zumindest einen Teil der zu erkennenden Objekte jeweils, d.h. für jedes Objekt, voneinander verschiedene, unterschiedlich klassifizierte Objektdaten, und werden dem jeweiligen Gerät entsprechend klassifizierte Objektdaten übermittelt. Zu den Objektdaten können also noch Klassifikationsdaten, z.B. Wurstabteilung/Käseabteilung, Filiale, Ländergesellschaft und/oder Beleuchtungssituation, abgespeichert sein. Mehrere ähnliche Geräte oder Geräte mit ähnlichen Klassifikationsdaten, z.B. Beleuchtung, Warenangebot und Aufstellungsort, können zu einer Gruppe von Geräten zusammengefasst werden und mit denselben oder den der Klassifikation entsprechenden Objektdaten versorgt werden. Hierdurch kann der Installationsaufwand verringert und die Erkennungsrate verbessert werden.According to another embodiment of the invention, the devices are or are classified and are shared object devices same object data - in particular from the at least one object database - transmitted. In particular, the at least one object database contains at least a part of the objects to be recognized respectively, ie for each object, mutually different, differently classified object data, and are transmitted to the respective device classified object data. Classification data, eg sausage division / cheese department, store, country company and / or lighting situation, can thus also be stored for the object data. Several similar devices or devices with similar classification data, eg lighting, product range and site, can be grouped together and provided with the same or the classification data corresponding to the object data. This can reduce the installation effort and improve the recognition rate.

Durch die vorliegende Erfindung kann die Erkennungsrate bei der Bilderkennung signifikant erhöht werden. Grundsätzlich kann die Erfindung ganz allgemein für optische Kontrollgeräte mit Bilderkennung verwendet werden, insbesondere auch in der Fertigung oder Qualitätssicherung.By the present invention, the recognition rate in the image recognition can be significantly increased. In principle, the invention can be used very generally for optical control devices with image recognition, in particular also in production or quality assurance.

Claims

Method for the operation of self-contained image-recognizing devices linked to a central point for object recognition with a respective object data record on which the image recognition is based, in which the object data sets of the devices are centrally managed via a network.

Method according to claim 1,
characterized,
that image recognition rates of the devices are detected from the central location.

Method according to claim 1 or 2,
characterized,
that associated with objects to be recognized object data over the network and / or the central body to be replaced.

Method according to at least one of the preceding claims, characterized
that object data generated on a device and associated with a respective object are transmitted to the central location and / or to at least one other device.

Method according to at least one of the preceding claims, characterized
that in at least one object database of the network to be recognized Object data associated with objects are stored.

Method according to claim 5,
characterized,
that the respective device the respective object data set or a part thereof is transmitted from the at least one object database.

Method according to claim 5 or 6,
characterized,
that the respective object data set to all or only selected assigned in an object database stored object data includes at least objects.

Method according to claim 7,
characterized,
that object data not assigned to selected objects is not transmitted to the respective device, deleted from the respective object data record and / or deactivated in the respective object data record.

Method according to at least one of the preceding claims,
characterized,
that the object records of the devices are backed up regularly from the central office and / or in the network.

Method according to at least one of the preceding claims,
characterized,
that the devices classified and shared device classified same object data are transmitted, preferably at least an object database for at least a part of the objects to be recognized in each case contains mutually different, differently classified object data, and the respective device correspondingly classified object data are transmitted.