WO2005031549A2 - Parallel data processing device - Google Patents

Parallel data processing device Download PDF

Info

Publication number
WO2005031549A2
WO2005031549A2 PCT/CH2004/000603 CH2004000603W WO2005031549A2 WO 2005031549 A2 WO2005031549 A2 WO 2005031549A2 CH 2004000603 W CH2004000603 W CH 2004000603W WO 2005031549 A2 WO2005031549 A2 WO 2005031549A2
Authority
WO
WIPO (PCT)
Prior art keywords
data processing
processing device
vertical
deflector
horizontal
Prior art date
Application number
PCT/CH2004/000603
Other languages
German (de)
French (fr)
Other versions
WO2005031549A3 (en
Inventor
Ben Moore
Joachim Stadel
Original Assignee
Universität Zürich
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universität Zürich filed Critical Universität Zürich
Publication of WO2005031549A2 publication Critical patent/WO2005031549A2/en
Publication of WO2005031549A3 publication Critical patent/WO2005031549A3/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/18Packaging or power distribution
    • G06F1/183Internal mounting support structures, e.g. for printed circuit boards, internal connecting means
    • G06F1/184Mounting of motherboards
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/18Packaging or power distribution
    • G06F1/183Internal mounting support structures, e.g. for printed circuit boards, internal connecting means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/20Cooling means
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00Constructional details common to different types of electric apparatus
    • H05K7/20Modifications to facilitate cooling, ventilating, or heating
    • H05K7/20709Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
    • H05K7/20718Forced ventilation of a gaseous coolant
    • H05K7/20736Forced ventilation of a gaseous coolant within cabinets for removing heat from server blades

Definitions

  • the invention relates to a parallel data processing device, i.e. a device with a multiplicity of similar data processing units.
  • a supercomputer is a computer whose performance is significantly higher than that of conventional workstations or workstations and which is optimized for handling very computing-intensive tasks.
  • Supercomputers are generally characterized by a special architecture, which differs from the architecture of conventional workstations.
  • a construction principle that has become almost completely established in recent years is the use of a large number of central microprocessors (Central Processing Units or CPUs).
  • CPUs Central Processing Units
  • the high computing power results from the simultaneous (“parallel") use of many CPUs.
  • parallel There are a number of different types of computer, such as shared memory parallel computers (SMP), message passing parallel computers (MPP) or other architectures.
  • SMP shared memory parallel computers
  • MPP message passing parallel computers
  • a parallel computer is to be understood as any computer that has a plurality of CPUs, for example more than four CPUs, and means for exchanging data between the CPUs.
  • Beowulf cluster contains a large number of commercially available computing units, as are used in conventional workstation computers.
  • the computing units which are usually mounted on a single motherboard (often referred to as a motherboard or mainboard), are usually installed in a specially manufactured frame. They are often cooled with a special ventilation arrangement.
  • the individual computing units are connected to each other and to a central server via a fast network. Linux is often used as the operating system.
  • An advantage of such a Beowulf cluster is that largely commercial components are used which are used in the mass market and are therefore available at low cost.
  • U.S. Patent 5,150,279 to Collins et al. proposed an annular arrangement of computer boards.
  • the cooling air is fed axially into the interior of the ring, where a structure with a plurality of cooling plates is attached, each of which deflects part of the cooling air flow in a radial direction towards horizontal plates.
  • the horizontal boards only contain memory modules and modules for data transfer.
  • the CPUs on the other hand, are attached to their own, vertically arranged boards on the outer edge of the ring. This structure is relatively complex and cannot be transferred to the construction of a cluster of independent computing units.
  • a plurality of independent data processing units are available, each of which has a (main) circuit board with at least one of its own CPUs mounted thereon or its own memory unit.
  • main main circuit board
  • CPUs central processing units
  • main memory unit main memory unit
  • further components will be arranged on each of the main boards.
  • the boards are aligned horizontally. You are so arranged that in each case a number of data processing units are located essentially in the same horizontal plane; these form a horizontal group.
  • the arrangement of the data processing units within a horizontal group is essentially ring-shaped, ie the data processing units are arranged in such a way that they define, enclose and leave a central, vertical opening.
  • Several horizontal groups of data processing units are arranged one above the other and are usually oriented in the same way.
  • the central openings of the horizontal groups come to lie one above the other and form a vertical shaft. This is used to supply or remove air that can be used to cool the data processing units.
  • means for connecting at least one network cable are provided on each data processing unit. In order to ensure easy accessibility, these means, usually network cards, are arranged on the outside of the parallel data processing device.
  • a cooling air flow can be fed centrally and can be divided equally among the horizontal groups of data processing units.
  • the arrangement of the network cards on the outside enables easy access to the network connections.
  • the invention comprises a parallel data processing unit with the features of claim 8 and a deflector with the features of claim 9.
  • a deflector with a continuously expanding shape, ie a deflector whose horizontal one Cross-sectional area increases steadily in a vertical direction, this enables a uniform deflection of air supplied from the vertical shaft into the horizontal groups of data processing units or a uniform suction of air from the data processing units into the shaft.
  • the invention further comprises a method with the features of claim 10 for operating a parallel data processing unit with a vertical shaft.
  • cooling air is fed into the vertical shaft from below, which enables particularly efficient cooling.
  • a parallel data processing device is to be understood here to mean any data processing device in which a plurality of similar data processing units are used, which are connected to one another in such a way that they can exchange data with one another.
  • this term should be understood to mean: parallel computers and parallel storage devices.
  • Fig. 1 shows a schematic side sectional view of a parallel computer
  • Fig. 2 is a schematic perspective view of a Shows part of a parallel computer
  • FIG. 3 shows a schematic perspective view of a parallel computer
  • Fig. 5 shows three possible profiles of a deflector.
  • the parallel computer 1 shows a parallel data processing device in the form of a parallel computer 1 in a schematic sectional side view.
  • the parallel computer 1 is set up on a floor 2 with floor plates 21.
  • the floor 2 is a blind floor, ie there is a cavity under the floor 2 through which cables and air inlets can run.
  • the parallel computer 1 comprises a frame 11 on which a plurality of horizontally arranged frames 12 are attached as holding means. In the present embodiment, there are forty-eight such frames 12.
  • a base plate 13 can be inserted into each frame 12.
  • Each base plate 13 carries three computing units (data processing units) 14. A total of one hundred and forty-four computing units are therefore present in the parallel computer 1.
  • Each computing unit 14 comprises a main circuit board 140, as is also used in a similar form in commercially available workstation computers.
  • the parallel computer 1 further comprises a housing 18, which is arranged at least on the sides of the computer for protection purposes.
  • the housing 18 is essentially formed by perforated sheet metal plates 181, which vertical supports 183 are attached from angle profiles and allow air to flow through from the inside of the housing into the surrounding outside space, and to which handles 182 for attaching and removing the sheet metal plates 181 are attached.
  • the housing is not critical for the function of the parallel computer, and so any other material can be used instead of perforated sheet metal plates, which ensures the outflow of air.
  • Perforated sheet metal has the advantage that it is suitable for shielding electromagnetic interference by acting as a Faraday cage.
  • An inner part of the frame 11 extends into an opening 22 of the floor 2.
  • the inner part is essentially formed from four vertical square tubes 111 on the vertical edges of a tower and a plurality of horizontal square tubes 112 which connect the vertical square tubes 111.
  • the interior of the frame 11 leaves a vertical shaft 16 free.
  • the shaft is open at the bottom and has a plurality of openings 113 on the sides, which are delimited by the vertical and horizontal square tubes 111, 112.
  • a deflector 17 is arranged, which has the shape of a straight, regular, four-sided pyramid with a square base standing on top. The deflector 17 closes the shaft 16 towards the top. It serves to divide a cooling air flow 3 fed to the shaft 16 from below and to divert it in the direction of the computing units 14.
  • FIG. 2 shows a part of the parallel computer 1 in a schematic perspective illustration, which enables the structure to be recognized more clearly.
  • Parts of the frame 11, the housing 18, the deflector 17 and a number of frames 12 with base plates 13 and computing units 14 have been omitted for the sake of clarity.
  • the same parts are provided with the same reference numbers as in FIG. 1.
  • the frame 11 and the shaft 16 running in its interior can be seen, in which the deflector (not shown in FIG. 2) is inserted.
  • the individual frames 12 can be seen, each holding a base plate 13 with three computing units 14 each.
  • a network card 142 is mounted in each computing unit 14 on the outward-facing side of the computing unit 14.
  • a network connection is understood to mean any connection that is suitable for data transmission between the computing units.
  • a network connection can be a connection in which electrical signals are transmitted or a connection in which optical signals are transmitted.
  • a network cable can be a suitable electrical cable or a suitable optical fiber cable.
  • Hybrid forms of data transmission are also conceivable.
  • Each computing unit is connected to the next two computing units, which lie in the same horizontal plane, by a network cable 151 or 152, which is connected to the network card of the computing unit.
  • each computing unit 14 is connected to every other computing unit 14 in the same horizontal plane.
  • all computing units are ten, which are vertically one above the other, connected to one another by a second, vertical ring of network cables 153, 154.
  • This vertical ring follows the following scheme: The lowest computing unit of a stack of computing units lying vertically one above the other is connected to the second lowest computing unit via a short vertical network cable 153. The bottom computing unit is also connected to the third bottom computing unit via a longer vertical network cable 154. Similarly, the top computing unit is connected to the second and third uppermost computing units via two vertical network cables.
  • Each network card provides an interface between the internal data bus (eg PCI bus) of the computing unit and one or several network cables.
  • a preferred protocol for the operation of the network connections is the so-called SCI (scalable coherent interface) protocol. This has been available since approx. 1992 and is standardized under the ANSl / lEEE standard 1596.
  • a single network card per computing unit allows the connection of both the horizontal and the vertical network cables, i.e. there are at least four connections for network cables available per network card; however, there may also be several network cards, in particular two network cards, e.g. one network card is responsible for communication with the computing units in the same horizontal plane and another network card for communication with the computing units within the same vertical stack.
  • the network connections between the computing units must be able to transmit the largest possible amounts of data per unit of time.
  • Various systems are available on the market for fast data transmission. All systems have in common that their latency increases with the distance over which data is transmitted. This is due to physical reasons, since the data can be transmitted at the maximum at the respective group speed of the transmission medium, at the maximum at the vacuum light speed. As far as systems are concerned in which electrical signals are transmitted, these systems also have the problem in common that the distances over which data can be transmitted become shorter with increasing transmission rate or bandwidth. To ensure a short latency and high bandwidth of data transmission, the connections must be as short as possible being held. This requirement is well met in the present parallel computer.
  • connection lengths between the computing units which are mounted on the same base plate are essentially identical to the width of a computing unit.
  • the shorter horizontal network cables 151 are used for connection.
  • Longer horizontal network cables 152 are required for connections to the next base plate.
  • the shorter and longer horizontal cables can be of the same type or of a different type.
  • a major advantage of the present structure is that no network cables are required that are considerably longer than the average cable length. However, this cannot be avoided with many other types of parallel computers.
  • the central server preferably comprises a so-called Ethernet switch, which is able to control the one hundred and forty-four individual network connections to the computing units and thus to enable communication between the server and each computing unit.
  • a second network card for the network connection of every computing unit with the central server, a second network card, not shown in the drawings, is present on each computing unit. This is also preferably arranged on the outside in order to ensure easy access.
  • FIG 3 shows the entire parallel computer again in a highly schematic, perspective representation.
  • the sheet metal plates 181 of the housing 18 are shown transparently.
  • further vertical supports 113 of the frame 11 can be seen on the outer edges of the parallel computer 1, which increase the stability and stability.
  • An important feature of the present parallel computer is the vertical shaft 16. This serves for the supply of cooled air, which is supplied to the computing units 14 for cooling through the side openings of the frame 11.
  • a circulating air cooler can be provided, which is installed in the same or an adjacent room as the parallel computer. Cold air is led through the blind floor 2 from the circulating air cooler to the shaft 16 and blown into it as a primary air stream 3.
  • the deflector 17 is provided. In Fig. 1, the deflector has the shape of a straight, regular, four-sided pyramid standing on the top. An important feature of the deflector is its continuous shape.
  • the primary air flow 3 is divided by the deflector and deflected evenly onto the horizontal levels of computing units.
  • Each arithmetic unit 14 is thereby affected by a partial air flow 31 flowed through and cooled.
  • the exhaust air radially leaves the computing units 14 and passes through the permeable housing 18 into the exterior of the parallel computer 1. Here it can be sucked in again by the circulating air cooler, filtered and cooled again.
  • the deflector 17 can be made of any suitable material, for example plastic, metal sheet, wood or cardboard. However, the material preferably has a low thermal conductivity in order to avoid heat losses from the outside.
  • the cooling air flow directed through the shaft onto the computing units has a number of advantages.
  • the most important advantage is that no active devices are required to divert air from the primary air flow 3 into the individual computing units.
  • electrically driven fans are provided for this purpose, but they can often fail and thus cause local overheating.
  • the maintenance of such computers cooled with active devices is relatively complex.
  • the cooling components inside the present parallel computer do not require any maintenance.
  • Another advantage is that clean, filtered air can be supplied to the shaft 16 from the cooler.
  • the uniform air flow from the inside to the outside, which flows through the parallel computer 1, prevents the ingress of dust from the outside, so that no dust can be deposited in the computer that could impair the operation of the computer. Dust protection measures in the housing 18, as are common in other computers of the prior art, are thus unnecessary.
  • the cooling capacity in the present arrangement of air flows within the surrounding space as well as the temperature in the surrounding space is going independent.
  • each CPU will have its own CPU fan, which generates a directed air flow to the CPU.
  • the present parallel computer offers further advantages. For example, due to the construction with a frame on which frames are arranged, in each of which a base plate is inserted, due to the external network cables, and due to the double toroidal cabling, a single base plate 13 with three computing units 14 is made for maintenance purposes to remove the parallel computer. For this purpose, even other parts of the parallel computer can remain in operation almost unaffected.
  • the parallel computer shown was set up and tested in the laboratory. One hundred and forty-four computing units were used. The width of each computing unit was little more than the standard width of a motherboard, i.e. less than 35 cm. The vertical distance between two computing units was approx. 3 standard rack units, ie around 14 cm. Due to the relatively large vertical distance, standard power supplies and fans could be used; In addition, the network cards could be mounted directly on the boards of the computing units without an adapter. Furthermore, the relatively large distance ensures a good flow of cooling air. The square cross section of the vertical shaft 16 had an edge length of approximately 35 cm. This turned out to be perfectly adequate to achieve sufficient airflow. The deflector 17 had the pyramidal shape shown in Fig. 1 and was made of cardboard.
  • the parallel computer has dimensions of approx. 175 2 175 cm 2 at a height of approx. 190 cm.
  • Each processing unit had two CPUs. A total of two hundred and eighty-eight CPUs with a clock frequency of 1.8 GHz were thus used.
  • Each computing unit had 1 GB of RAM space. In total there was an additional 11.5 TB hard disk capacity.
  • the network between the computing units reached a transfer rate of 4 GBit per second with a latency of 5 microseconds.
  • a computing power of 0.57 Tflops (5.7 x 10 11 floating point operations per second) was achieved in the so-called Linpack benchmark (a widely used performance test).
  • the parallel computer generated a thermal output of approx. 45 IkW during operation. Two circulating air coolers were used for cooling. The heat generated was easily dissipated, despite the ambient room temperature of up to 32 ° C.
  • FIG. 4 shows a graphical representation of the temperatures T (in ° C.) in the CPUs of the individual horizontal groups of computing units.
  • T in ° C.
  • the temperature of each CPU was measured, and the temperatures determined in this way were in each case averaged over a horizontal group (i.e. plane).
  • the illustration shows this average temperature (horizontal axis) depending on the level N (vertical axis). It can be seen that the temperature distribution is relatively uniform, with the highest temperatures occurring in the third and fourth lowest levels. None of the temperatures exceed 60 ° C. The CPUs remain functional up to approx. 75 ° C.
  • the profile (ie the shape of a central longitudinal section) of the deflector can be changed.
  • 5 shows three possible profiles 501, 502 and 503.
  • slope ie, the increase in horizontal width in relation to a height unit
  • the optimal shape can easily be adjusted empirically. All deflectors with such profiles have in common with the pyramid shape that the width of the deflector increases steadily in a vertical direction.
  • a deflector is also conceivable that has a different type, e.g. has a round or polygonal base, e.g. a deflector in the form of a cone. It is important that this does not affect the ability of the deflector to evenly distribute the air supplied to the levels of the parallel computer. It is also not absolutely necessary for the deflector to have a tip at one end.
  • a shape e.g. of a truncated pyramid can be particularly advantageous if the horizontal dimensions of the parallel computer are larger than in the case described here, in particular if the cross-sectional width of the shaft increases, e.g. goes beyond 40 cm or 50 cm. In this case, it may be advantageous to divide the primary air flow into a number of partial air flows before the supply to the deflector, which preferably corresponds to the number of side surfaces of the deflector.
  • the number of computing units and processors can be easily scaled up or down without having to change the construction principle.
  • the frame 12 other suitable holding means for the base plates can also be used 13 are used.
  • these can also be more or fewer computing units, for example two or four.
  • the base plates 13 can also be omitted entirely, and instead one computing unit 14 can be held individually by a holding means.
  • an arrangement with a square plan an arrangement with a triangular, pentagonal or polygonal plan is also conceivable.
  • a horizontal group of computing units can also include more or fewer computing units.
  • the deflector will then be adjusted accordingly.
  • the frame can also be made of other materials instead of square tubes, as long as it allows a radial flow from the shaft to the computing units.
  • the flow of cooling air can take place in the opposite direction.
  • a deflector is used, which widens from top to bottom and closes the shaft 16 at the lower end. Air is actively drawn off at the top of the shaft. This creates a flow through the computing units radially from the outside inwards. The radial air flow is deflected upwards by the deflector and discharged.
  • This variant is suitable e.g. when there is no blind floor available and therefore an air supply from below is difficult.
  • measures may be necessary to prevent dirt or dust from entering the computing units.
  • the computing units 14 it is not absolutely necessary that the computing units close the vertical shaft u. It is therefore also possible for the computing units 14 to be mounted in longitudinally aligned racks, as is the case in normal so-called rack-mount systems (as shown, for example, in principle in US Pat. No. 6,374,627). Two such racks are arranged in parallel, and the space between the racks is closed at the ends of the racks with suitable means (for example, by a vertical wall). The two frames together with the two end means form a shaft. In this a deflector is attached, which widens horizontally along a vertical direction.
  • the deflector has the shape of a straight prism, that is to say a rectangular plan and a cross section in the form of an isosceles triangle when cut along a plane perpendicular to the longitudinal direction of the frames.
  • the deflector can also have the cross sections 501, 502 or 503 shown there or other suitable shapes.
  • a parallel computer of the Beowulf class can also be understood and used as such a "parallel memory", since a standard hard disk is normally available on each main board. With a hard disk capacity of 80 Gbytes per main board, such a parallel memory achieves a storage capacity of 11.5 TB (Terabyte) A multiple of these is easily conceivable, especially if several hard disk drives are installed per motherboard.

Abstract

The invention relates to a parallel data processing device (1) consisting of a great number of data processing units (14) Each data processing unit is provided with a horizontally oriented plate (140) and at least one CPU or a store unit mounted thereon. Several processing units form a horizontal group (4), wherein data processing units of each horizontal group are disposed substentially on the same horizontal plane and surround a vertical opening. Several of said horizontal groups (4) of the date processing units (14) are superimposed in such away that said vertical openings form a vertical air guiding hole (16). Each date processing unit (14) is provided with means (142) for connecting at least one network cable (151, 152, 153, 154) disposed on the external surfaces of the data processing arrangement (1). A deflector (17) for deviating air is also disclosed.

Description

Parallele Datenverarbeitungseinrichtung Parallel data processing device
Technisches GebietTechnical field
Die Erfindung betrifft eine parallele Datenverarbeitungseinrichtung, d.h., eine Einrichtung mit einer Vielzahl gleichartiger Datenverarbeitungseinheite .The invention relates to a parallel data processing device, i.e. a device with a multiplicity of similar data processing units.
Hintergrund der ErfindungBackground of the Invention
In den letzten Jahren hat die Computertechnologie eine dramatische Entwicklung erfahren. Computer, insbesondere auch Ar- beitsplatzrechner, mit hoher Leistung sind heute für einen verhältnismässig geringen Betrag kommerziell erhältlich. Dies hatte und hat auch Auswirkungen auf die Entwicklung von so genannten Supercomputern. Unter einem Supercomputer versteht man einen Computer, dessen Leistungsfähigkeit erheblich über dem von üblichen Arbeitsplatzrechnern oder Workstations liegt und der für die Bewältigung von sehr rechenintensiven Aufgaben optimiert ist .Computer technology has experienced a dramatic development in recent years. High-performance computers, in particular workstation computers, are commercially available today for a relatively small amount. This has had an impact on the development of so-called supercomputers. A supercomputer is a computer whose performance is significantly higher than that of conventional workstations or workstations and which is optimized for handling very computing-intensive tasks.
Supercomputer zeichnen sich, im allgemeinen durch eine spezielle Architektur aus, welche sich von der Architektur üblicher Arbeitsplatzrechner unterscheidet. Ein Bauprinzip, das sich in den letzten Jahren fast vollständig durchgesetzt hat, ist der Einsatz einer Vielzahl von zentralen Mikroprozessoren (engl. Central Processing Units oder CPUs) . Die hohe Rechenleistung ergibt sich durch den gleichzeitigen („parallelen") Einsatz vieler CPUs. Im Bereich dieser so genannten Parallel- rechner unterscheidet man wiederum eine Reihe verschiedener Bauformen, z.B. so genannte Shared-Memory-Parallelrechner (SMP) , Message-Passing-Parallelrechner (MPP) oder weitere Architekturen. Im Rahmen dieser Beschreibung ist unter einem Parallelrechner jeder Rechner zu verstehen, der eine Mehrzahl von CPUs, z.B. mehr als vier CPUs, sowie Mittel zum Austausch von Daten zwischen den CPUs aufweist .Supercomputers are generally characterized by a special architecture, which differs from the architecture of conventional workstations. A construction principle that has become almost completely established in recent years is the use of a large number of central microprocessors (Central Processing Units or CPUs). The high computing power results from the simultaneous ("parallel") use of many CPUs. In the area of these so-called parallel There are a number of different types of computer, such as shared memory parallel computers (SMP), message passing parallel computers (MPP) or other architectures. In the context of this description, a parallel computer is to be understood as any computer that has a plurality of CPUs, for example more than four CPUs, and means for exchanging data between the CPUs.
Eine Klasse, sie sich in den letzten Jahren vermehrt durchsetzt, sind die so genannten Beowulf-Cluster. Diese enthalten eine Vielzahl von kommerziell erhältlichen Recheneinheiten, wie sie in üblichen Arbeitsplatzrechnern Verwendung finden. Die Recheneinheiten, die üblicherweise jeweils auf einer einzelnen Hauptplatine (häufig als Motherboard oder Mainboard bezeichnet) montiert sind, werden in der Regel in ein eigens dafür hergestelltes Gestell eingebaut. Häufig werden sie mit einer speziellen Lüftungsanordnung gekühlt. Die einzelnen Recheneinheiten sind durch ein schnelles Netzwerk untereinander sowie mit einem zentralen Server verbunden. Als Betriebssystem wird häufig Linux verwendet. Ein Vorteil eines solchen Beowulf-Clusters besteht darin, dass weitgehend kommerzielle Komponenten verwendet werden, die im Massenmarkt Verwendung finden und daher kostengünstig erhältlich sind.One class that has become increasingly popular in recent years is the so-called Beowulf cluster. These contain a large number of commercially available computing units, as are used in conventional workstation computers. The computing units, which are usually mounted on a single motherboard (often referred to as a motherboard or mainboard), are usually installed in a specially manufactured frame. They are often cooled with a special ventilation arrangement. The individual computing units are connected to each other and to a central server via a fast network. Linux is often used as the operating system. An advantage of such a Beowulf cluster is that largely commercial components are used which are used in the mass market and are therefore available at low cost.
Bei der Konstruktion eines Beowulf-Clusters, aber auch bei der Konstruktion eines beliebigen anderen Parallelrechners, stellen sich verschiedene Probleme. Eines dieser Probleme hängt mit der Kühlung der Wärmeleistung abgebenden Komponenten zusammen, insbesondere der Mikroprozessoren. Wegen der hohen Zahl und Dichte solcher Komponenten in einem Parallel- rechner kann eine sehr erhebliche Leistungsdichte der Wärmeabgabe resultieren. Die Wärme muss folglich effizient abgeführt werden. Hierfür wird häufig eine Vielzahl von einzelnen Lüftern eingesetzt, welche Luft durch jede einzelne Recheneinheit hindurch blasen oder saugen. Eine solche Anordnung wird zum Beispiel in der US-Patentschrift 6,374,627 an Schumacher et al. vorgeschlagen. Eine Vielzahl von Recheneinheiten sind in mehreren Reihen von geraden Gestellen angeordnet. Jeweils zwischen zwei Gestellreihen wird kalte Luft vom Boden her nach oben zugeführt. Mit Hilfe einer Vielzahl von einzeln elektrisch betriebenen Lüftern wird die kalte Luft umgelenkt und an den Wärme erzeugenden Teilen vorbei geführt. Dies führt bei einer grossen Zahl von Recheneinheiten jedoch zu Problemen, weil schon der Ausfall eines einzelnen Lüfters zu Betriebsstörungen führen kann.There are various problems when designing a Beowulf cluster, but also when designing any other parallel computer. One of these problems is related to the cooling of the heat emitting components, particularly the microprocessors. Because of the high number and density of such components in a parallel computer, a very high power density of the heat emission can result. The heat must therefore be dissipated efficiently. A large number of individual is often used for this Fans are used which blow or suck air through each individual computing unit. Such an arrangement is described, for example, in US Pat. No. 6,374,627 to Schumacher et al. proposed. A large number of computing units are arranged in several rows of straight frames. Between two rows of frames, cold air is supplied upwards from the floor. With the help of a large number of individually electrically operated fans, the cold air is redirected and led past the heat-generating parts. However, this leads to problems with a large number of computing units, because even the failure of a single fan can lead to malfunctions.
Es sind daher verschiedene Anordnungen vorgeschlagen worden, die dieses und andere Probleme umgehen sollen. So wird in der US-Patentschrift 5,150,279 an Collins et al . eine ringförmige Anordnung von Computerplatinen vorgeschlagen. Die Kühlluft wird axial in das Innere des Rings zugeführt, wo eine Struktur mit einer Vielzahl von Kühlblechen angebracht ist, die jeweils einen Teil des Kühlluftstromes in eine radiale Richtung hin zu horizontalen Platinen ablenken. Die horizontalen Platinen enthalten nur Speicherbausteine und Bausteine zur Datenweiterleitung. Die CPUs sind dagegen am ausseren Rand des Rings auf eigenen, vertikal angeordneten Platinen angebracht. Diese Struktur ist relativ komplex und nicht auf den Aufbau eines Clusters von unabhängigen Recheneinheiten übertragbar .Various arrangements have therefore been proposed to avoid this and other problems. For example, U.S. Patent 5,150,279 to Collins et al. proposed an annular arrangement of computer boards. The cooling air is fed axially into the interior of the ring, where a structure with a plurality of cooling plates is attached, each of which deflects part of the cooling air flow in a radial direction towards horizontal plates. The horizontal boards only contain memory modules and modules for data transfer. The CPUs, on the other hand, are attached to their own, vertically arranged boards on the outer edge of the ring. This structure is relatively complex and cannot be transferred to the construction of a cluster of independent computing units.
Ein weiteres Problem betrifft die Vernetzung der einzelnen Recheneinheiten. Um eine schnelle Datenübertragung zu gewährleisten, ist es wünschenswert, die Verbindungen zwischen den Recheneinheiten möglichst kurz zu halten. Um dieses Problem zu lösen, ist zum Beispiel in der US-Patentschrift 6,327,143 vorgeschlagen worden, eine Mehrzahl von Recheneinheiten entlang eines Kreisbogens anzuordnen. Die Verbindung zwischen den Recheneinheiten erfolgt mittels Kabeln auf der Innenseite des Kreisbogens. Hierdurch wird gegenüber einer linearen Anordnung eine Verkürzung der Kabellängen gewährleistet. Ein Nachteil einer solchen Anordnung ist jedoch die schlechte Zugänglichkeit der Netzwerkkabel .Another problem concerns the networking of the individual computing units. In order to ensure fast data transmission, it is desirable to keep the connections between the computing units as short as possible. To solve this problem, for example, is in US Pat. No. 6,327,143 have been proposed to arrange a plurality of computing units along an arc. The connection between the computing units is made using cables on the inside of the circular arc. This ensures a shortening of the cable lengths compared to a linear arrangement. A disadvantage of such an arrangement is the poor accessibility of the network cables.
Ähnliche Probleme bestehen auch bei anderen parallelen Datenverarbeitungseinrichtungen, insbesondere bei parallelen Speichereinrichtungen, bei denen eine Vielzahl gleichartiger Speichereinheiten vorhanden sind, Wärme produzieren und miteinander vernetzt werden müssen.Similar problems also exist with other parallel data processing devices, in particular with parallel storage devices in which there are a large number of similar storage units, produce heat and have to be networked with one another.
Zusammenfassung der ErfindungSummary of the invention
Es stellt sich daher die Aufgabe, eine parallele Datenverarbeitungseinrichtung mit einer Mehrzahl von Datenverarbeitungseinheiten zu schaffen, die eine effiziente Kühlung ohne die genannten Nachteile ermöglicht, die einfach aufgebaut ist, eine einfache Zugänglichkeit der Datenverarbeitungseinheiten aufweist, und die eine gut zugängliche Vernetzung der einzelnen Datenverarbeitungseinheiten ermöglicht .It is therefore the task of creating a parallel data processing device with a plurality of data processing units, which enables efficient cooling without the disadvantages mentioned, which is simple in structure, has simple accessibility to the data processing units, and which enables the individual data processing units to be easily accessible for networking ,
Die Aufgabe wird gelöst durch eine parallele Datenverarbeitungseinrichtung mit den Merkmalen des Anspruchs 1.The object is achieved by a parallel data processing device having the features of claim 1.
Demgemäss ist eine Mehrzahl von unabhängigen Datenverarbeitungseinheiten vorhanden, die jeweils über eine (Haupt-) Platine mit mindestens einer eigenen, darauf montierten CPU oder eine eigene Speichereinheit verfügen. In der Regel werden auf jeder der Hauptplatinen noch weitere Komponenten angeordnet sein. Die Platinen sind horizontal ausgerichtet. Sie sind so angeordnet, dass sich jeweils eine Anzahl von Datenverarbeitungseinheiten im wesentlichen in der selben horizontalen Ebene befinden; diese bilden ein horizontale Gruppe. Die Anordnung der Datenverarbeitungseinheiten innerhalb einer horizontalen Gruppe ist im wesentlichen ringförmig, d.h., die Datenverarbeitungseinheiten sind so angeordnet, dass sie eine zentrale, vertikale Öffnung definieren, umschliessen und frei lassen. Mehrere horizontale Gruppen von Datenverarbeitungs- einheiten sind übereinander angeordnet und dabei in der Regel auch gleich orientiert . Die zentralen Öffnungen der horizontalen Gruppen kommen auf diese Weise übereinander zu liegen und bilden einen vertikalen Schacht. Dieser dient zur Zuführung oder Abführung von Luft, die zur Kühlung der Dateήverar- beitungseinheiten eingesetzt werden kann. Um die einzelnen Datenverarbeitungseinheiten miteinander zu vernetzen, sind auf jeder Datenverarbeitungseinheit Mittel zum Anschluss mindestens eines Netzwerkkabels vorhanden. Um eine leichte Zugänglichkeit zu gewährleisten, sind diese Mittel, in der Regel Netzwerkkarten, an den Aussenseiten der parallelen Datenverarbeitungseinrichtung angeordnet .Accordingly, a plurality of independent data processing units are available, each of which has a (main) circuit board with at least one of its own CPUs mounted thereon or its own memory unit. As a rule, further components will be arranged on each of the main boards. The boards are aligned horizontally. You are so arranged that in each case a number of data processing units are located essentially in the same horizontal plane; these form a horizontal group. The arrangement of the data processing units within a horizontal group is essentially ring-shaped, ie the data processing units are arranged in such a way that they define, enclose and leave a central, vertical opening. Several horizontal groups of data processing units are arranged one above the other and are usually oriented in the same way. In this way, the central openings of the horizontal groups come to lie one above the other and form a vertical shaft. This is used to supply or remove air that can be used to cool the data processing units. In order to network the individual data processing units with one another, means for connecting at least one network cable are provided on each data processing unit. In order to ensure easy accessibility, these means, usually network cards, are arranged on the outside of the parallel data processing device.
Durch den erfindungsgemässen Aufbau kann ein Kühlluftstrom zentral zugeführt werden und gleichmässig auf die horizontalen Gruppen von Datenverarbeitungseinheiten aufgeteilt werden. Die Anordnung der Netzwerkkarten an der Aussenseite ermöglicht eine einfache Zugänglichkeit der Netzwerkverbindungen.Due to the construction according to the invention, a cooling air flow can be fed centrally and can be divided equally among the horizontal groups of data processing units. The arrangement of the network cards on the outside enables easy access to the network connections.
Weiterhin umfasst die Erfindung eine parallele Datenverarbeitungseinheit mit den Merkmalen des Anspruchs 8 sowie einen Deflektor mit den Merkmalen des Anspruchs 9. Indem ein De- flektor mit kontinuierlicher, sich stetig aufweitender Form vorgesehen wird, d.h., ein Deflektor, dessen horizontale Querschnittsfläche in einer vertikalen Richtung stetig zunimmt, ermöglicht dieser eine gleichmässige Umlenkung von dem vertikalen Schacht zugeführter Luft in die horizontalen Gruppen von Datenverarbeitungseinheiten oder eine gleichmässige Absaugung von Luft aus den Datenverarbeitungseinheiten in den Schacht .Furthermore, the invention comprises a parallel data processing unit with the features of claim 8 and a deflector with the features of claim 9. By providing a deflector with a continuously expanding shape, ie a deflector whose horizontal one Cross-sectional area increases steadily in a vertical direction, this enables a uniform deflection of air supplied from the vertical shaft into the horizontal groups of data processing units or a uniform suction of air from the data processing units into the shaft.
Die Erfindung umfasst ferner ein Verfahren mit den Merkmalen des Anspruchs 10 zum Betrieb einer parallelen Datenverarbeitungseinheit mit einem vertikalen Schacht . In diesem Verfahren wird Kühlluft dem vertikalen Schacht von unten her zugeführt, was eine besonders effiziente Kühlung ermöglicht.The invention further comprises a method with the features of claim 10 for operating a parallel data processing unit with a vertical shaft. In this process, cooling air is fed into the vertical shaft from below, which enables particularly efficient cooling.
Unter einer parallelen Datenverarbeitungseinrichtung ist dabei jede Datenverarbeitungseinrichtung zu verstehen, bei der eine Mehrzahl von gleichartigen Datenverarbeitungseinheiten zum Einsatz kommt, die miteinander so verbunden sind, dass sie untereinander Daten austauschen können. Insbesondere sind unter diesem Begriff zu verstehen: Parallelrechner und parallele Speichereinrichtungen.A parallel data processing device is to be understood here to mean any data processing device in which a plurality of similar data processing units are used, which are connected to one another in such a way that they can exchange data with one another. In particular, this term should be understood to mean: parallel computers and parallel storage devices.
Vorteilhafte Ausführungsformen ergeben sich aus den abhängigen Ansprüchen.Advantageous embodiments result from the dependent claims.
Kurze Beschreibung der ZeichnungenBrief description of the drawings
Die Erfindung wird im folgenden anhand von bevorzugten Aus- führungsformen mit Bezugnahme auf die Zeichnungen näher erläutert, in denenThe invention is explained in more detail below on the basis of preferred embodiments with reference to the drawings, in which
Fig. 1 eine schematische seitliche Schnittdarstellung eines Parallelrechners zeigt; Fig. 2 eine schematische perspektivische Ansicht eines Teils eines Parallelrechners zeigt;Fig. 1 shows a schematic side sectional view of a parallel computer; Fig. 2 is a schematic perspective view of a Shows part of a parallel computer;
Fig. 3 eine schematische perspektivische Ansicht eines Parallelrechners zeigt;3 shows a schematic perspective view of a parallel computer;
Fig. 4 ein Temperaturprofil durch den Parallelrechner zeigt; sowie4 shows a temperature profile through the parallel computer; such as
Fig. 5 drei mögliche Profile eines Deflektors zeigt.Fig. 5 shows three possible profiles of a deflector.
Ausführliche Beschreibung der ErfindungDetailed description of the invention
Fig. 1 zeigt eine parallele Datenverarbeitungseinrichtung in Form eines Parallelrechners 1 in einer schematischen seitlichen Schnittdarstellung. Der Parallelrechner 1 ist auf einem Fussboden 2 mit Bodenplatten 21 aufgestellt. Der Fussboden 2 ist ein Blindboden, d.h., unter dem Fussboden 2 befindet sich ein Hohlraum, durch den Kabel und LuftZuführungen verlaufen können. Der Parallelrechner 1 umfasst ein Gestell 11, an dem eine Vielzahl von horizontal angeordneten Rahmen 12 als Haltemittel angebracht sind. In der vorliegenden Ausführungsform sind achtundvierzig solche Rahmen 12 vorhanden. In jeden Rahmen 12 kann eine Basisplatte 13 eingeschoben werden. Jede Basisplatte 13 trägt drei Recheneinheiten (Datenverarbeitungs- einheiten) 14. Insgesamt sind also einhundertvierundvierzig Recheneinheiten im Parallelrechner 1 vorhanden. Jede Recheneinheit 14 umfasst eine Hauptplatine 140, wie sie in ähnlicher Form auch in handelsüblichen Arbeitsplatzrechnern eingesetzt wird. Auf jeder Hauptplatine 140 sind verschiedene Komponenten der Recheneinheit 14 montiert, unter anderem zwei CPUs, Speicherbausteine, ein Netzteil 141, sowie eine Netzwerkkarte 142. Somit sind insgesamt zweihundertachtundachtzig CPUs vorhanden. Der Parallelrechner 1 umfasst des weiteren ein Gehäuse 18, welches wenigstens an den Seiten des Rechners zu Schutzzwecken angeordnet ist. Das Gehäuse 18 wird im wesentlichen von gelochten Blechplatten 181 gebildet, die an vertikalen Stützen 183 aus Winkelprofilen befestigt sind und die ein Durchströmen von Luft vom Inneren des Gehäuses in den umgebenden Aussenraum zulassen, und an denen Handgriffe 182 zum Anbringen und Abnehmen der Blechplatten 181 angebracht sind. Das Gehäuse ist jedoch nicht kritisch für die Funktion des Parallelrechners, und so kann z.B. anstelle von gelochten Blechplatten ein beliebiges anderes Material verwendet werden, welches das Ausströmen von Luft gewährleistet. Gelochtes Blech hat den Vorteil, dass es geeignet ist, elektromagnetische Störungen durch die Wirkung als Faradayscher Käfig abzuschirmen.1 shows a parallel data processing device in the form of a parallel computer 1 in a schematic sectional side view. The parallel computer 1 is set up on a floor 2 with floor plates 21. The floor 2 is a blind floor, ie there is a cavity under the floor 2 through which cables and air inlets can run. The parallel computer 1 comprises a frame 11 on which a plurality of horizontally arranged frames 12 are attached as holding means. In the present embodiment, there are forty-eight such frames 12. A base plate 13 can be inserted into each frame 12. Each base plate 13 carries three computing units (data processing units) 14. A total of one hundred and forty-four computing units are therefore present in the parallel computer 1. Each computing unit 14 comprises a main circuit board 140, as is also used in a similar form in commercially available workstation computers. Various components of the computing unit 14 are mounted on each main board 140, including two CPUs, memory modules, a power supply unit 141 and a network card 142. A total of two hundred and eighty-eight CPUs are thus present. The parallel computer 1 further comprises a housing 18, which is arranged at least on the sides of the computer for protection purposes. The housing 18 is essentially formed by perforated sheet metal plates 181, which vertical supports 183 are attached from angle profiles and allow air to flow through from the inside of the housing into the surrounding outside space, and to which handles 182 for attaching and removing the sheet metal plates 181 are attached. However, the housing is not critical for the function of the parallel computer, and so any other material can be used instead of perforated sheet metal plates, which ensures the outflow of air. Perforated sheet metal has the advantage that it is suitable for shielding electromagnetic interference by acting as a Faraday cage.
Ein innerer Teil des Gestells 11 erstreckt sich in eine Öffnung 22 des Fussbodens 2 hinein. Der innere Teil wird im wesentlichen aus vier vertikalen Vierkantrohren 111 an den vertikalen Kanten eines Turmes sowie einer Vielzahl von horizontalen Vierkantrohren 112 gebildet, die die vertikalen Vierkantrohre 111 verbinden. Das Innere des Gestells 11 lasst einen vertikalen Schacht 16 frei. Der Schacht ist nach unten hin offen und besitzt zu den Seiten hin eine Vielzahl von Öffnungen 113, die von den vertikalen und horizontalen Vierkantrohren 111, 112 begrenzt sind. In diesem Schacht 16 ist ein Deflektor 17 angeordnet, welcher die Form einer auf der Spitze stehenden geraden, regulären, vierseitigen Pyramide mit quadratischer Grundfläche aufweist. Der Deflektor 17 schliesst den Schacht 16 nach oben hin ab. Er dient dazu, einen dem Schacht 16 von unten zugeführten Kühlluftstrom 3 aufzuteilen und in Richtung auf die Recheneinheiten 14 umzulenken.An inner part of the frame 11 extends into an opening 22 of the floor 2. The inner part is essentially formed from four vertical square tubes 111 on the vertical edges of a tower and a plurality of horizontal square tubes 112 which connect the vertical square tubes 111. The interior of the frame 11 leaves a vertical shaft 16 free. The shaft is open at the bottom and has a plurality of openings 113 on the sides, which are delimited by the vertical and horizontal square tubes 111, 112. In this shaft 16, a deflector 17 is arranged, which has the shape of a straight, regular, four-sided pyramid with a square base standing on top. The deflector 17 closes the shaft 16 towards the top. It serves to divide a cooling air flow 3 fed to the shaft 16 from below and to divert it in the direction of the computing units 14.
In Fig. 2 ist ein Teil des Parallelrechners 1 in einer schematischen perspektivischen Darstellung gezeigt, die ein klareres Erkennen des Aufbaus ermöglicht. Teile des Gestells 11, das Gehäuse 18, der Deflektor 17 sowie eine Anzahl von Rahmen 12 mit Basisplatten 13 und Recheneinheiten 14 wurden zwecks klarerer Darstellung weggelassen. Gleiche Teile sind mit den selben Bezugsziffern wie in der Fig. 1 versehen. Man erkennt insbesondere das Gestell 11 und den in seinem Inneren verlaufenden Schacht 16, in welchen der in Fig. 2 nicht dargestellte Deflektor eingesetzt wird. Des weiteren erkennt man die einzelnen Rahmen 12, die jeweils eine Basisplatte 13 mit je drei Recheneinheiten 14 halten. Eine Netzwerkkarte 142 ist in jeder Recheneinheit 14 an der nach aussen zeigenden Seite der Recheneinheit 14 montiert.FIG. 2 shows a part of the parallel computer 1 in a schematic perspective illustration, which enables the structure to be recognized more clearly. Parts of the frame 11, the housing 18, the deflector 17 and a number of frames 12 with base plates 13 and computing units 14 have been omitted for the sake of clarity. The same parts are provided with the same reference numbers as in FIG. 1. In particular, the frame 11 and the shaft 16 running in its interior can be seen, in which the deflector (not shown in FIG. 2) is inserted. Furthermore, the individual frames 12 can be seen, each holding a base plate 13 with three computing units 14 each. A network card 142 is mounted in each computing unit 14 on the outward-facing side of the computing unit 14.
Ebenfalls ist exemplarisch in der Fig. 2 das Konzept der Netzwerkverbindungen zwischen den Recheneinheiten gezeigt . Unter einer Netzwerkverbindung ist in dieser Anmeldung jede Verbindung zu verstehen, die zur Datenübertragung zwischen den Recheneinheiten geeignet ist. Dasselbe gilt für den Begriff Netzwerkkabel und andere auf ein Netzwerk bezogene Begriffe. Insbesondere kann es sich bei einer Netzwerkverbindung um eine Verbindung handeln, bei der elektrische Signale übertragen werden, oder um eine Verbindung, bei der optische Signale übertragen werden. Dementsprechend kann es sich bei einem Netzwerkkabel um ein geeignetes elektrisches Kabel oder ein geeignetes optisches Lichtwellenleiter-Kabel handeln. Auch hybride Datenübertragungsformen sind denkbar. Jede Recheneinheit ist mit den beiden nächsten Recheneinheiten, die in der selben horizontalen Ebene liegen, durch ein Netzwerkkabel 151 oder 152 verbunden, welches an der Netzwerkkarte der Recheneinheit angeschlossen ist. Dadurch ist in jeder horizontalen Ebene ein geschlossener horizontaler Ring von Netzwerkkabeln 151, 152 vorhanden, über den jede Recheneinheit 14 mit jeder anderen Recheneinheit 14 in der selben horizontalen Ebene verbunden ist. Zudem sind alle Recheneinhei- ten, die vertikal übereinander liegen, durch einen zweiten, vertikalen Ring von Netzwerkkabeln 153, 154 miteinander verbunden. Dieser vertikale Ring folgt dem folgenden Schema: Die jeweils unterste Recheneinheit eines Stapels von vertikal übereinander liegenden Recheneinheiten ist mit der zweituntersten Recheneinheit über ein kurzes vertikales Netzwerkkabel 153 verbunden. Ebenfalls ist die unterste Recheneinheit mit der drittuntersten Recheneinheit über ein längeres vertikales Netzwerkkabel 154 verbunden. In ähnlicher Weise ist die oberste Recheneinheit über zwei vertikale Netzwerkkabel mit der zweit- und drittobersten Recheneinheit verbunden. Alle weiteren Recheneinheiten sind mit der jeweils übernächsten Recheneinheit in vertikaler Richtung sowohl nach unten als auch nach oben verbunden. Insgesamt ergibt sich so ein geschlossener vertikaler Ring. Da in der gezeigten Anordnung zwölf vertikale Stapel von je zwölf Recheneinheiten vorhanden sind, bilden die vertikalen Ringe von Netzwerkkabeln zusammen einen Torus von Netzwerkkabeln. Zusammen mit den zwölf horizontalen Ringen spricht man von einem doppel-toroidalen Schema der Verkabelung. Es versteht sich, dass die Darstellung in der Fig. 2 nur schematisch ist, insbesondere, dass zwischen allen und nicht nur zwischen den gezeigten Recheneinheiten Netzwerkverbindungen bestehen. Auch sind andere Netzwerktopo- logien möglich, wie eine Kommunikation über einen einzigen zentralen Switch oder eine Vernetzung von mehreren unabhängigen doppel-toroidalen Anordnungen. Auch sind dreidimensional- toroidale Vernetzungen beschrieben worden. Im vorliegenden Fall widerspiegelt jedoch das hier beschriebene doppel- toroidale Schema des Datenaustausches das physikalische Bauprinzip des Parallelrechners besonders gut.The concept of network connections between the computing units is also shown by way of example in FIG. 2. In this application, a network connection is understood to mean any connection that is suitable for data transmission between the computing units. The same applies to the term network cable and other terms related to a network. In particular, a network connection can be a connection in which electrical signals are transmitted or a connection in which optical signals are transmitted. Accordingly, a network cable can be a suitable electrical cable or a suitable optical fiber cable. Hybrid forms of data transmission are also conceivable. Each computing unit is connected to the next two computing units, which lie in the same horizontal plane, by a network cable 151 or 152, which is connected to the network card of the computing unit. As a result, there is a closed, horizontal ring of network cables 151, 152 in each horizontal plane, via which each computing unit 14 is connected to every other computing unit 14 in the same horizontal plane. In addition, all computing units are ten, which are vertically one above the other, connected to one another by a second, vertical ring of network cables 153, 154. This vertical ring follows the following scheme: The lowest computing unit of a stack of computing units lying vertically one above the other is connected to the second lowest computing unit via a short vertical network cable 153. The bottom computing unit is also connected to the third bottom computing unit via a longer vertical network cable 154. Similarly, the top computing unit is connected to the second and third uppermost computing units via two vertical network cables. All other computing units are connected to the computing unit after next in the vertical direction both downwards and upwards. Overall, this results in a closed vertical ring. Since there are twelve vertical stacks of twelve computing units each in the arrangement shown, the vertical rings of network cables together form a torus of network cables. Together with the twelve horizontal rings, one speaks of a double toroidal wiring diagram. It goes without saying that the illustration in FIG. 2 is only schematic, in particular that network connections exist between all and not only between the computing units shown. Other network topologies are also possible, such as communication via a single central switch or networking of several independent double toroidal arrangements. Three-dimensional toroidal networks have also been described. In the present case, however, the double toroidal scheme of data exchange described here reflects the physical construction principle of the parallel computer particularly well.
Jede Netzwerkkarte stellt eine Schnittstelle zwischen dem internen Datenbus (z.B. PCI-Bus) der Recheneinheit und einem oder mehreren Netzwerkkabeln her. Ein bevorzugtes Protokoll für den Betrieb der Netzwerkverbindungen ist das sog. SCI (scalable coherent interface) -Protokoll. Dieses steht seit ca. 1992 zur Verfügung und ist unter der ANSl/lEEE-Norm 1596 standardisiert .Each network card provides an interface between the internal data bus (eg PCI bus) of the computing unit and one or several network cables. A preferred protocol for the operation of the network connections is the so-called SCI (scalable coherent interface) protocol. This has been available since approx. 1992 and is standardized under the ANSl / lEEE standard 1596.
In der vorliegenden Ausführungsform erlaubt eine einzige Netzwerkkarte pro Recheneinheit den Anschluss sowohl der horizontalen als auch der vertikalen Netzwerkkabel, d.h., es stehen pro Netzwerkkarte mindestens vier Anschlüsse für Netz- werkkabel zur Verfügung; es können jedoch auch mehrere Netzwerkkarten, insbesondere zwei Netzwerkkarten vorhanden sein, wobei z.B. eine Netzwerkkarte für die Kommunikation mit den Recheneinheiten in der selben horizontalen Ebene und eine weitere Netzwerkkarte für die Kommunikation mit den Recheneinheiten innerhalb des selben vertikalen Stapels zuständig ist.In the present embodiment, a single network card per computing unit allows the connection of both the horizontal and the vertical network cables, i.e. there are at least four connections for network cables available per network card; however, there may also be several network cards, in particular two network cards, e.g. one network card is responsible for communication with the computing units in the same horizontal plane and another network card for communication with the computing units within the same vertical stack.
Die Netzwerkverbindungen zwischen den Recheneinheiten müssen möglichst grosse Datenmengen pro Zeiteinheit übertragen können. Für die schnelle Datenübertragung sind verschiedene Systeme auf dem Markt erhältlich. Alle Systeme haben gemeinsam, dass ihre Latenzzeit mit der Wegstrecke, über die Daten übertragen werden, zunimmt. Dies ist physikalisch bedingt, da die Daten maximal mit der jeweiligen Gruppengeschwindigkeit des Übertragungsmediums, maximal mit der Vakuumlichtgeschwindigkeit, übertragen werden können. Sofern es sich um Systeme handelt, bei denen elektrische Signale übertragen werden, haben diese Systeme ferner das Problem gemeinsam, dass die Wegstrecken, über die Daten übertragen werden können, mit zunehmender Übertragungsrate oder Bandbreite kürzer werden. Um eine kurze Latenzzeit und hohe Bandbreite der Datenübertragung zu gewährleisten, müssen die Verbindungen also möglichst kurz gehalten werden. Diese Anforderung ist beim vorliegenden Parallelrechner gut erfüllt. Zwischen den Recheneinheiten, die auf der selben Basisplatte montiert sind (hier jeweils drei Stück) sind die Verbindungslängen im wesentlichen mit der Breite einer Recheneinheit identisch. Zur Verbindung dienen die kürzeren horizontalen Netzwerkkabel 151. Für die Verbindungen zur jeweils nächsten Basisplatte sind längere horizontale Netzwerkkabel 152 erforderlich. Die kürzeren und längeren horizontalen Kabel können von der selben Bauart oder von unterschiedlicher Bauart sein. Ein grosser Vorzug des vorliegenden Aufbaus ist, dass keine Netzwerkkabel notwendig sind, die erheblich grössere Längen als die durchschnittliche Kabellänge aufweisen. Dies lässt sich bei vielen anderen Bauarten von Parallelrechnern dagegen nicht vermeiden.The network connections between the computing units must be able to transmit the largest possible amounts of data per unit of time. Various systems are available on the market for fast data transmission. All systems have in common that their latency increases with the distance over which data is transmitted. This is due to physical reasons, since the data can be transmitted at the maximum at the respective group speed of the transmission medium, at the maximum at the vacuum light speed. As far as systems are concerned in which electrical signals are transmitted, these systems also have the problem in common that the distances over which data can be transmitted become shorter with increasing transmission rate or bandwidth. To ensure a short latency and high bandwidth of data transmission, the connections must be as short as possible being held. This requirement is well met in the present parallel computer. The connection lengths between the computing units which are mounted on the same base plate (here three each) are essentially identical to the width of a computing unit. The shorter horizontal network cables 151 are used for connection. Longer horizontal network cables 152 are required for connections to the next base plate. The shorter and longer horizontal cables can be of the same type or of a different type. A major advantage of the present structure is that no network cables are required that are considerably longer than the average cable length. However, this cannot be avoided with many other types of parallel computers.
Eine weitere, nicht in den Zeichnungen gezeigte Netzwerkverbindung besteht zwischen jeder Recheneinheit und einem zentralen Server oder Switch (ebenfalls nicht dargestellt) . Bei diesen Verbindungen handelt es sich bevorzugt um handelsübliche Ethernet-Verbindungen, z.B. 100 Mbit oder 1 Gbit- Ethernet-Verbindungen. Die dafür benötigten Komponenten (insbesondere Netzwerkkarten und Kabel) finden auch im Massenmarkt Verwendung und sind dadurch kostengünstig erhältlich. Die Leistungsfähigkeit dieser Verbindungen ist nicht von kritischer Bedeutung, da während der Berechnungen in der Regel ein Grossteil der Kommunikation, soweit diese nötig ist, zwischen den Recheneinheiten über das schnelle doppel-toroidale Netzwerk des Parallelrechners stattfindet. Der zentrale Server umfasst bevorzugt einen sog. Ethernet-Switch, der dazu in der Lage ist, die einhundertvierundvierzig einzelnen Netzwerkverbindungen zu den Recheneinheiten zu steuern und so eine Kommunikation zwischen dem Server und jeder Recheneinheit zu ermöglichen. Für die Netzwerkverbindung jeder Rechenein- heit mit dem zentralen Server ist auf jeder Recheneinheit eine zweite, in den Zeichnungen nicht dargestellte Netzwerkkarte vorhanden. Auch diese ist bevorzugt aussen angeordnet, um eine leichte Zugänglichkeit zu gewährleisten.Another network connection, not shown in the drawings, exists between each computing unit and a central server or switch (likewise not shown). These connections are preferably commercially available Ethernet connections, for example 100 Mbit or 1 Gbit Ethernet connections. The components required for this (especially network cards and cables) are also used in the mass market and are therefore available at low cost. The performance of these connections is not of critical importance, since during the calculations, as a rule, a large part of the communication, as far as this is necessary, takes place between the computing units via the fast double-toroidal network of the parallel computer. The central server preferably comprises a so-called Ethernet switch, which is able to control the one hundred and forty-four individual network connections to the computing units and thus to enable communication between the server and each computing unit. For the network connection of every computing unit with the central server, a second network card, not shown in the drawings, is present on each computing unit. This is also preferably arranged on the outside in order to ensure easy access.
Die Fig.3 zeigt den gesamten Parallelrechner nochmals in einer stark schematischen, perspektivischen Darstellung. Um die einzelnen Teile des Rechners sichtbar zu machen, sind die Blechplatten 181 des Gehäuses 18 transparent dargestellt. Man erkennt insbesondere weitere vertikale Stützen 113 des Gestells 11 an den Aussenkanten des Parallelrechners 1, welche die Stabilität und Standsicherheit erhöhen.3 shows the entire parallel computer again in a highly schematic, perspective representation. In order to make the individual parts of the computer visible, the sheet metal plates 181 of the housing 18 are shown transparently. In particular, further vertical supports 113 of the frame 11 can be seen on the outer edges of the parallel computer 1, which increase the stability and stability.
Ein wichtiges Merkmal des vorliegenden Parallelrechners ist der vertikale Schacht 16. Dieser dient zur Zuführung von gekühlter Luft, die durch die seitlichen Öffnungen des Gestells 11 den Recheneinheiten 14 zur Kühlung zugeführt wird. Hierzu kann z.B. ein Umlaufluftkühler vorgesehen werden, der im selben oder einem benachbarten Raum wie der Parallelrechner aufgestellt wird. Durch den Blindboden 2 wird kalte Luft vom Umlaufluftkühler zum Schacht 16 geführt und in diesen als Pri- märluftstrom 3 eingeblasen. Um eine gleichmässige Verteilung der Luft vom Schacht in die Recheneinheiten der verschiedenen horizontalen Ebenen zu gewährleisten, ist der Deflektor 17 vorgesehen. In der Fig. 1 weist der Deflektor die Form einer auf der Spitze stehenden geraden, regulären, vierseitigen Pyramide auf. Ein wichtiges Merkmal des Deflektors ist seine kontinuierliche Form. Es sind keine hervorstehenden Teile, z.B. Ablenkbleche, am Deflektor angeordnet. Dies ermöglicht eine einfache und elegante Konstruktion. Der Primärluftstrom 3 wird durch den Deflektor aufgeteilt und gleichmässig auf die horizontalen Ebenen von Recheneinheiten abgelenkt. Dadurch wird jede Recheneinheit 14 von einem Teilluftstrom 31 durchströmt und gekühlt. Die Abluft verlässt radial die Recheneinheiten 14 und gelangt durch das durchlässige Gehäuse 18 in den Aussenraum des Parallelrechners 1. Hier kann sie vom Umlaufluftkühler wieder angesaugt, gefiltert und erneut gekühlt werden. Der Deflektor 17 kann aus jedem geeigneten Material hergestellt sein, z.B. Kunststoff, Metallblectα, Holz oder Pappe. Bevorzugt weist das Material aber eine niedrige Wärmeleitfähigkeit auf, um Wärmeverluste vom Aussenraum zu vermeiden.An important feature of the present parallel computer is the vertical shaft 16. This serves for the supply of cooled air, which is supplied to the computing units 14 for cooling through the side openings of the frame 11. For this purpose, for example, a circulating air cooler can be provided, which is installed in the same or an adjacent room as the parallel computer. Cold air is led through the blind floor 2 from the circulating air cooler to the shaft 16 and blown into it as a primary air stream 3. In order to ensure a uniform distribution of the air from the shaft into the computing units of the different horizontal levels, the deflector 17 is provided. In Fig. 1, the deflector has the shape of a straight, regular, four-sided pyramid standing on the top. An important feature of the deflector is its continuous shape. There are no protruding parts, eg baffles, on the deflector. This enables a simple and elegant construction. The primary air flow 3 is divided by the deflector and deflected evenly onto the horizontal levels of computing units. Each arithmetic unit 14 is thereby affected by a partial air flow 31 flowed through and cooled. The exhaust air radially leaves the computing units 14 and passes through the permeable housing 18 into the exterior of the parallel computer 1. Here it can be sucked in again by the circulating air cooler, filtered and cooled again. The deflector 17 can be made of any suitable material, for example plastic, metal sheet, wood or cardboard. However, the material preferably has a low thermal conductivity in order to avoid heat losses from the outside.
Der durch den Schacht auf die Recheneinheiten gerichtete Kühlluftstrom weist eine Reihe von Vorteilen auf. Als wohl wichtigster Vorteil ist zu nennen, dass keine aktiven Geräte erforderlich sind, um Luft aus dem Primärluftström 3 in die einzelnen Recheneinheiten umzuleiten. In vielen Parallelrechnern des Standes der Technik sind dazu beispielsweise elektrisch angetriebene Ventilatoren vorgesehen, die jedoch häufig ausfallen können und so lokale Überhitzungen verursachen können. Zudem ist die Wartung von derlei mit aktiven Geräten gekühlten Rechnern verhältnismässig aufwändig. Demgegenüber benötigen die im Innern des vorliegenden Parallelrechners vorhandenen Komponenten zur Kühlung keinerlei Wartung. Als weiterer Vorteil ist zu nennen, dass vom Kühler her saubere, gefilterte Luft dem Schacht 16 zugeführt werden kann. Durch den gleichmässigen Luftstrom von innen nach aussen, der den Parallelrechner 1 durchströmt, wird das Eindringen von Staub auch von aussen verhindert, so dass sich keinerlei Staub im Rechner ablagern kann, der den Betrieb des Rechners beeinträchtigen könnte. Staubschutzmassnahmen im Gehäuse 18, wie sie in anderen Rechnern des Standes der Technik üblich sind, erübrigen sich so. Des weiteren ist die Kühlleistung bei der vorliegenden Anordnung von Luftströmungen innerhalb des umgebenden Raums wie auch der Temperatur im umgebenden Raum weit- gehend unabhängig.The cooling air flow directed through the shaft onto the computing units has a number of advantages. The most important advantage is that no active devices are required to divert air from the primary air flow 3 into the individual computing units. In many parallel computers of the prior art, for example, electrically driven fans are provided for this purpose, but they can often fail and thus cause local overheating. In addition, the maintenance of such computers cooled with active devices is relatively complex. In contrast, the cooling components inside the present parallel computer do not require any maintenance. Another advantage is that clean, filtered air can be supplied to the shaft 16 from the cooler. The uniform air flow from the inside to the outside, which flows through the parallel computer 1, prevents the ingress of dust from the outside, so that no dust can be deposited in the computer that could impair the operation of the computer. Dust protection measures in the housing 18, as are common in other computers of the prior art, are thus unnecessary. Furthermore, the cooling capacity in the present arrangement of air flows within the surrounding space as well as the temperature in the surrounding space is going independent.
Selbstverständlich können zusätzlich in den einzelnen Recheneinheiten dennoch aktive Lüfter vorgesehen sein. So wird im Regelfall jede CPU einen eigenen CPU-Lüfter aufweisen, der einen gerichteten Luftstrom auf die CPU erzeugt . Im Falle eines Ausfalls eines solchen Lüfters, wie auch bei sonstigen Fehlern, bietet der vorliegende Parallelrechner- weitere Vorteile. So ist es aufgrund der Konstruktion mit einem Gestell, an dem Rahmen angeordnet sind, in denen je eine Basisplatte eingeschoben ist, aufgrund der aussen liegenden Netzwerkkabel, und aufgrund der doppel-toroidalen Verkabelung einfach, eine einzelne Basisplatte 13 mit drei Recheneinheiten 14 für Wartungszwecke aus dem Parallelrechner zu entfernen. Hierzu können sogar andere Teile des Parallelrechners fast unbeein- trächtigt in Betrieb bleiben.Of course, active fans can nevertheless also be provided in the individual computing units. As a rule, each CPU will have its own CPU fan, which generates a directed air flow to the CPU. In the event of such a fan failing, as well as in the case of other errors, the present parallel computer offers further advantages. For example, due to the construction with a frame on which frames are arranged, in each of which a base plate is inserted, due to the external network cables, and due to the double toroidal cabling, a single base plate 13 with three computing units 14 is made for maintenance purposes to remove the parallel computer. For this purpose, even other parts of the parallel computer can remain in operation almost unaffected.
Der gezeigte Parallelrechner wurde im Labor aufgebaut und getestet. Es wurden einhundertvierundvierzig Recheneinheiten eingesetzt. Jede Recheneinheit wies in der Breite wenig mehr als die Standardbreite einer Hauptplatine, also weniger als 35 cm auf. Der vertikale Abstand zwischen zwei Recheneinheiten betrug ca. 3 Standard-Rack-Units, d.h. rund 14 cm. Durch den relativ grossen vertikalen Abstand konnten Standard- Netzteile und -Lüfter eingesetzt werden; zudem konnten die Netzwerkkarten direkt, ohne Zwischenadapter, auf den Platinen der Recheneinheiten montiert werden. Weiterhin stellt der relativ grosse Abstand eine gute Durchstrδmung mit Kühlluft sicher. Der quadratische Querschnitt des vertikalen Schachts 16 wies eine Kantenlänge von ca. 35 cm auf. Dies erwies sich als vollkommen angemessen, um einen ausreichenden Luftstrom zu erreichen. Der Deflektor 17 hatte die in Fig. 1 gezeigte pyramidale Form und wurde aus Pappe gefertigt. Insgesamt wies der Parallelrechner Abmessungen von ca. 175 2 175 cm2 bei einer Höhe von ca. 190 cm auf. Jede Recheneinheit verfügte über zwei CPUs. Somit wurden insgesamt zweihundertundachtundacht- zig CPUs, mit einer Taktfrequenz von 1,8 GHz, eingesetzt. Jede Recheneinheit verfügte über 1 GByte RAM-Speicherplatz. Insgesamt waren zusätzlich 11,5 TByte Festplattenkapazität vorhanden. Das Netzwerk zwischen den Recheneinheiten erreichte eine Übertragungsrate von 4 GBit pro Sekunde mit einer Latenzzeit von 5 Mikrosekunden. Insgesamt wurde so eine Rechenleistung von 0,57 Tflops (5,7 x 1011 Gleitkommaoperationen pro Sekunde) beim sog. Linpack-Benchmark (ein. weit verbreiteter Leistungstest) erreicht. Im Betrieb erzeugte der Parallelrechner eine Wärmeleistung von ca. 45 IkW. Zur Kühlung dienten zwei Umlaufluftkühler. Die erzeugte Wärme konnte problemlos abgeführt werden, trotz einer umgebenden Raumtemperatur von bis zu 32 °C.The parallel computer shown was set up and tested in the laboratory. One hundred and forty-four computing units were used. The width of each computing unit was little more than the standard width of a motherboard, i.e. less than 35 cm. The vertical distance between two computing units was approx. 3 standard rack units, ie around 14 cm. Due to the relatively large vertical distance, standard power supplies and fans could be used; In addition, the network cards could be mounted directly on the boards of the computing units without an adapter. Furthermore, the relatively large distance ensures a good flow of cooling air. The square cross section of the vertical shaft 16 had an edge length of approximately 35 cm. This turned out to be perfectly adequate to achieve sufficient airflow. The deflector 17 had the pyramidal shape shown in Fig. 1 and was made of cardboard. Overall pointed the parallel computer has dimensions of approx. 175 2 175 cm 2 at a height of approx. 190 cm. Each processing unit had two CPUs. A total of two hundred and eighty-eight CPUs with a clock frequency of 1.8 GHz were thus used. Each computing unit had 1 GB of RAM space. In total there was an additional 11.5 TB hard disk capacity. The network between the computing units reached a transfer rate of 4 GBit per second with a latency of 5 microseconds. Overall, a computing power of 0.57 Tflops (5.7 x 10 11 floating point operations per second) was achieved in the so-called Linpack benchmark (a widely used performance test). The parallel computer generated a thermal output of approx. 45 IkW during operation. Two circulating air coolers were used for cooling. The heat generated was easily dissipated, despite the ambient room temperature of up to 32 ° C.
Fig. 4 zeigt eine graphische Darstellung der Temperaturen T (in °C) in den CPUs der einzelnen horizontalen Gruppen von Recheneinheiten. Hierzu wurde die Temperatur jeder CPU gemessen, und die so ermittelten Temperaturen wurden jeweils über eine horizontale Gruppe (d.h. Ebene) gemittelt. Die Darstellung zeigt diese gemittelte Temperatur (horizontale Achse) in Abhängigkeit von der Ebene N (vertikale Ach.se) . Man sieht, dass eine relativ gleichförmige Temperatui verteilung vorliegt, wobei die höchsten Temperaturen in der dritt- und viertuntersten Ebene auftreten. Keine der Temperaturen übersteigt 60 °C. Die CPUs bleiben bis ca. 75 °C funktionsfähig.4 shows a graphical representation of the temperatures T (in ° C.) in the CPUs of the individual horizontal groups of computing units. For this purpose, the temperature of each CPU was measured, and the temperatures determined in this way were in each case averaged over a horizontal group (i.e. plane). The illustration shows this average temperature (horizontal axis) depending on the level N (vertical axis). It can be seen that the temperature distribution is relatively uniform, with the highest temperatures occurring in the third and fourth lowest levels. None of the temperatures exceed 60 ° C. The CPUs remain functional up to approx. 75 ° C.
Um die Gleichförmigkeit der Temperaturverteilung weiter zu verbessern, kann das Profil (d.h. die Form eines mittigen Längsschnittes) des Deflektors verändert werden. In der Fig. 5 sind drei mögliche Profile 501, 502 und 503 gezeigt. Durch ein solches Profil, dessen Steigung (d.h. , Zunahme der horizontalen Weite bezogen auf eine Höheneinheit) im unteren Bereich grösser ist als im oberen Bereich, wird erreicht, dass eine grössere Luftmenge in die unteren Ebenen von Recheneinheiten abgelenkt wird und diese dadurch stärker gekühlt werden. Die optimale Form kann leicht empirisch angepasst werden. Alle Deflektoren mit solchen Profilen haben mit der Pyramidenform gemeinsam, dass die Weite des Deflektors in einer vertikalen Richtung stetig zunimmt .In order to further improve the uniformity of the temperature distribution, the profile (ie the shape of a central longitudinal section) of the deflector can be changed. 5 shows three possible profiles 501, 502 and 503. By Such a profile, whose slope (ie, the increase in horizontal width in relation to a height unit) is greater in the lower area than in the upper area, ensures that a larger amount of air is deflected into the lower levels by computing units and these are thereby cooled more. The optimal shape can easily be adjusted empirically. All deflectors with such profiles have in common with the pyramid shape that the width of the deflector increases steadily in a vertical direction.
Statt eines Deflektors mit quadratischer Grundfläche ist auch ein Deflektor denkbar, der eine andersartige, z.B. runde oder mehreckige Grundfläche aufweist, z.B. ein Deflektor in Form eines Kegels. Wichtig ist, dass dadurch nicht die Fähigkeit des Deflektors beeinträchtigt wird, zugeführte Luft gleich- massig in die Ebenen des Parallelrechners zu verteilen. Ebenso ist es nicht zwingend nötig, dass der Deflektor an einem Ende eine Spitze aufweist. Eine Form z.B. eines Pyramidenstumpfes kann insbesondere dann vorteilhaft sein, wenn die horizontalen Abmessungen des Parallelrechners grösser sind als im hier dargelegten Fall, insbesondere, wenn die Querschnittsbreite des Schachtes zunimmt, z.B. über 40 cm oder 50 cm hinausgeht. In diesem Fall kann es vorteilhaft sein, den Primärluftström schon vor der Zuführung zum Deflektor in eine Anzahl von Teilluftströmen aufzuteilen, die bevorzugt der Zahl der Seitenflächen des Deflektors entspricht.Instead of a deflector with a square base, a deflector is also conceivable that has a different type, e.g. has a round or polygonal base, e.g. a deflector in the form of a cone. It is important that this does not affect the ability of the deflector to evenly distribute the air supplied to the levels of the parallel computer. It is also not absolutely necessary for the deflector to have a tip at one end. A shape e.g. of a truncated pyramid can be particularly advantageous if the horizontal dimensions of the parallel computer are larger than in the case described here, in particular if the cross-sectional width of the shaft increases, e.g. goes beyond 40 cm or 50 cm. In this case, it may be advantageous to divide the primary air flow into a number of partial air flows before the supply to the deflector, which preferably corresponds to the number of side surfaces of the deflector.
Selbstverständlich sind diverse Änderungen am Aufbau des Parallelrechners möglich, ohne die zugrunde liegenden Prinzipien zu verlassen. So kann die Anzahl der Recheneinheiten und Prozessoren ohne weiteres herauf- oder herabskaliert werden, ohne das Bauprinzip ändern zu müssen. Anstelle der Rahmen 12 können auch andere geeignete Haltemittel für die Basisplatten 13 eingesetzt werden. Statt jeweils drei Recheneinheiten 14 auf einer Basisplatte 13 anzuordnen, können dies auch mehr oder weniger Recheneinheiten sein, z.B. zwei oder vier. Die Basisplatten 13 können auch ganz weggelassen werden, und stattdessen kann jeweils eine Recheneinheit 14 einzeln von einem Haltemittel gehalten sein. Statt einer Anordnung mit quadratischem Grundriss ist auch, eine Anordnung mit dreieckigem, fünf- oder mehreckigem Grundriss denkbar. Dementsprechend kann eine horizontale Gruppe von Recheneinheiten statt zwölf auch mehr oder weniger Recheneinheiten umfassen. Der Deflektor wird dann entsprechend angepasst sein. Das Gestell kann anstatt aus Vierkantrohren auch aus anderen Materialien gefertigt sein, so lange es eine radiale Durchströmung vom Schacht zu den Recheneinheiten zulässt .Of course, various changes to the structure of the parallel computer are possible without leaving the underlying principles. The number of computing units and processors can be easily scaled up or down without having to change the construction principle. Instead of the frame 12, other suitable holding means for the base plates can also be used 13 are used. Instead of arranging three computing units 14 on a base plate 13, these can also be more or fewer computing units, for example two or four. The base plates 13 can also be omitted entirely, and instead one computing unit 14 can be held individually by a holding means. Instead of an arrangement with a square plan, an arrangement with a triangular, pentagonal or polygonal plan is also conceivable. Accordingly, instead of twelve, a horizontal group of computing units can also include more or fewer computing units. The deflector will then be adjusted accordingly. The frame can also be made of other materials instead of square tubes, as long as it allows a radial flow from the shaft to the computing units.
In einer Variante kann die Durchströmung mit Kühlluft in umgekehrter Richtung erfolgen. In diesem Falle wird ein Deflektor eingesetzt, der sich von oben nach unten aufweitet und den Schacht 16 am unteren Ende abschliesst. Am oberen Ende des Schachts wird Luft aktiv abgesaugt . Dadurch entsteht eine Durchströmung der Recheneinheiten radial von aussen nach innen. Der radiale Luftstrom wird vom Deflektor nach oben hin umgelenkt und abgeführt. Diese Variante eignet sich z.B. dann, wenn kein Blindboden zur Verfügung steht und daher eine Luftzufuhr von unten erschwert ist. Allerdings können bei einem solchen Konstruktionsprinzip Massnahmen notwendig werden, um ein Eindringen von Schmutz oder Staub in die Recheneinheiten zu verhindern. Weiterhin ist es bei dieser Variante nötig, zumindest einen abgegrenzten Teil des Aussenraums des Parallelrechners zu kühlen, was mit höheren Verlusten verbunden sein kann.In one variant, the flow of cooling air can take place in the opposite direction. In this case, a deflector is used, which widens from top to bottom and closes the shaft 16 at the lower end. Air is actively drawn off at the top of the shaft. This creates a flow through the computing units radially from the outside inwards. The radial air flow is deflected upwards by the deflector and discharged. This variant is suitable e.g. when there is no blind floor available and therefore an air supply from below is difficult. However, with such a design principle, measures may be necessary to prevent dirt or dust from entering the computing units. Furthermore, with this variant it is necessary to cool at least a limited part of the outside space of the parallel computer, which can be associated with higher losses.
Schliesslich ist es für die Wirkungsweise des Deflektors 17 nicht unbedingt erforderlich, dass die Recheneinheiten den vertikalen Schacht u schliessen. So ist es auch möglich, dass die Recheneinheiten 14 in längs ausgerichteten Gestellen montiert werden, wie dies in normalen sog. Rack-Mount-Systemen der Fall ist (wie z.B. im Prinzip in der US-Patentschrift 6,374,627 gezeigt). Jeweils zwei solche Gestelle werden parallel angeordnet, und der Zwischenraum zwischen den Gestellen wird an den Enden der Gestelle mit geeigneten Mitteln abgeschlossen (z.B. durch je eine vertikale Wand) . So bilden die zwei Gestelle zusammen mit den zwei Abschlussmitteln einen Schacht. In diesem wird ein Deflektor angebracht, der sich entlang einer vertikalen Richtung horizontal aufweitet. Im einfachsten Falle hat der Deflektor die Form eines geraden Prismas, d.h., einen rechteckigen Grundriss und einen Querschnitt in Form eines gleichschenkligen Dreiecks bei Schnitt entlang einer Ebene senkrecht zur Längsrichtung der Gestelle. Analog zur Beschreibung in Zusammenhang mit Fig. 5 kann der Deflektor auch die dort gezeigten Querschnitte 501, 502 oder 503 oder andere geeignete Formen aufweisen.Finally, it is for the operation of the deflector 17th it is not absolutely necessary that the computing units close the vertical shaft u. It is therefore also possible for the computing units 14 to be mounted in longitudinally aligned racks, as is the case in normal so-called rack-mount systems (as shown, for example, in principle in US Pat. No. 6,374,627). Two such racks are arranged in parallel, and the space between the racks is closed at the ends of the racks with suitable means (for example, by a vertical wall). The two frames together with the two end means form a shaft. In this a deflector is attached, which widens horizontally along a vertical direction. In the simplest case, the deflector has the shape of a straight prism, that is to say a rectangular plan and a cross section in the form of an isosceles triangle when cut along a plane perpendicular to the longitudinal direction of the frames. Analogous to the description in connection with FIG. 5, the deflector can also have the cross sections 501, 502 or 503 shown there or other suitable shapes.
In den voranstehenden Ausführungen wurde meist auf einen Parallelrechner Bezug genommen. Ebenso ist aber auch eine andere Art von paralleler Datenverarbeitungseinrichtung damit er- fasst, insbesondere auch eine solche Einrichtung, bei der die primäre Aufgabe der einzelnen Datenverarbeitungseinheiten nicht in der Ausführung von Algorithmen besteht, sondern in einer effizienten Speicherung und Zur-Verfügung-Stellung von Daten. Die Speicherung kann flüchtig bei Stromunterbruch sein, wie in RAM-Bausteinen (RAM = Random Access Memory) , oder nichtflüchtig, wie insbesondere auf Festplatten. Von besonderer Bedeutung ist die effiziente Speicherung von grossen Datenmengen auf einer Vielzahl von Festplatten. Hierbei entstehen ähnliche Anforderungen wie bei einem Parallelrechner: Es muss ein schneller, auch paralleler Datenzugriff auf mehrere Festplatten sowie ein Datenaustausch zwischen diesen gewährleistet sein, d.h., die einzelnen Speichereinheiten, auf denen die Festplatten montiert sind, müssen vernetzbar sein. Ferner produzieren die einzelnen Festplattenlaufwerke und Netzteile Wärme, die effizient abgeführt werden muss. So kann beispielsweise ein Parallelrechner der Beowulf-Klasse auch als solcher „Parallelspeicher" verstanden und verwendet werden, da auf jeder Hauptplatine normalerweise eine handelsübliche Festplatte vorhanden ist. Bei einer Festplattenkapazität von 80 Gbyte pro Hauptplatine erreicht ein solcher Parallelspeicher eine Speicherkapazität von 11,5 TByte (Tera- Byte) . Ein Mehrfaches davon ist leicht denkbar, insbesondere dann, wenn pro Hauptplatine mehrere Festplattenlaufwerke montiert werden. In the previous explanations, reference was mostly made to a parallel computer. However, another type of parallel data processing device is also covered, in particular also such a device in which the primary task of the individual data processing units is not to execute algorithms, but rather to efficiently store and make data available , Storage can be volatile in the event of a power failure, such as in RAM modules (RAM = Random Access Memory), or non-volatile, such as in particular on hard disks. The efficient storage of large amounts of data on a large number of hard drives is of particular importance. This creates similar requirements to a parallel computer: Fast, parallel data access to several hard disks and data exchange between them must be guaranteed, ie the individual storage units on which the hard disks are mounted must be networkable. In addition, the individual hard disk drives and power supplies produce heat that must be dissipated efficiently. For example, a parallel computer of the Beowulf class can also be understood and used as such a "parallel memory", since a standard hard disk is normally available on each main board. With a hard disk capacity of 80 Gbytes per main board, such a parallel memory achieves a storage capacity of 11.5 TB (Terabyte) A multiple of these is easily conceivable, especially if several hard disk drives are installed per motherboard.

Claims

Patentansprüche claims
1. Parallele Datenverarbeitungseinrichtung (1), - umfassend eine Mehrzahl von Datenverarbeitungseinheiten. (14) , wobei jede Datenverarbeitungseinheit (14) eine horizontal ausgerichtete Platine (140) und mindestens eine darauf montierte CPU oder eine darauf montierte Speichereinheit aufweist, - wobei jeweils eine Mehrzahl von Datenverarbeitungs- einheiten (14) eine horizontale Gruppe (4) bilden, wobei die Datenverarbeitungseinheiten jeder horizontalen Gruppe (4) im wesentlichen in der selben horizontalen Ebene angeordnet sind und eine vertikale Öffnung ura- schliessen, - wobei eine Mehrzahl von solchen horizontalen Gruppen (4) von Datenverarbeitungseinheiten (14) so übereinander angeordnet sind, dass die genannten vertikalen Öffnungen übereinander angeordnet sind und einen vertikalen Schacht (16) zur Führung von Luft (3) bilden, und wobei jede Datenverarbeitungseinheit (14) Mittel (142) zum Anschluss mindestens einen Netzwerkkabels (151, 152, 153, 154) umfasst, und wobei diese Mittel (142) an den Aussenseiten der Datenverarbeitungsein- richtung (1) angeordnet sind.1. Parallel data processing device (1), comprising a plurality of data processing units. (14), each data processing unit (14) having a horizontally oriented circuit board (140) and at least one CPU or a memory unit mounted thereon, - in each case a plurality of data processing units (14) forming a horizontal group (4), wherein the data processing units of each horizontal group (4) are arranged essentially in the same horizontal plane and close a vertical opening, - a plurality of such horizontal groups (4) of data processing units (14) being arranged one above the other in such a way that the said vertical openings are arranged one above the other and form a vertical duct (16) for guiding air (3), and wherein each data processing unit (14) comprises means (142) for connecting at least one network cable (151, 152, 153, 154), and wherein these means (142) are arranged on the outside of the data processing device (1).
2. Parallele Datenverarbeitungseinrichtung (1) gemäss Anspruc 1, dadurch gekennzeichnet, dass die Datenverarbeitungseinrichtung (1) weiterhin einen Deflektor (17) zur Umlenkung von Luft umfasst, der im Inneren des vertikalen Schachts (16) angeordnet ist und eine kontinuierliche Form aufweist, die sich entlang einer vertikalen Richtung horizontal stetig aufweitet. 2. Parallel data processing device (1) according to claim 1, characterized in that the data processing device (1) further comprises a deflector (17) for deflecting air, which is arranged in the interior of the vertical shaft (16) and has a continuous shape which expands horizontally along a vertical direction.
3. Parallele Datenverarbeitungseinrichtung (1) gemäss Anspruch 2, dadurch gekennzeichnet, dass der Deflektor (17) sich von unten nach oben horizontal aufweitet und den vertikalen Schacht (16) am oberen Ende ver- schliesst .3. Parallel data processing device (1) according to claim 2, characterized in that the deflector (17) widens horizontally from bottom to top and closes the vertical shaft (16) at the upper end.
4. Parallele Datenverarbeitungseinrichtung (1) gemäss Anspruch 2 oder 3, dadurch gekennzeichnet, dass der vertikale Schacht (16) einen quadratischen Grundriss aufweist und der Deflektor (17) die Form einer geraden vierseitigen Pyramide mit quadratischem Grundriss aufweist.4. Parallel data processing device (1) according to claim 2 or 3, characterized in that the vertical shaft (16) has a square plan and the deflector (17) has the shape of a straight four-sided pyramid with a square plan.
5. Parallele Datenverarbeitungseinrichtung (1) gemäss einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Datenverarbeitungseinrichtung (1) weiterhin horizontale und vertikale Netzwerkkabel (151, 152, 153, 154) aufweist, die vollständig an den Aussenseiten der Datenverarbeitungseinrichtung (1) verlaufen, dass die horizontalen Kabel (151, 152) jeweils alle Datenverarbeitungseinheiten (14) einer horizontalen Gruppe (4) ringförmig verbinden, und dass die vertikalen Netzwerkkabel (153, 154) jeweils eine Mehrzahl von Datenverarbeitungseinheiten (14) aus verschiedenen horizontalen Gruppen (4) ringförmig verbinden.5. Parallel data processing device (1) according to one of claims 1 to 4, characterized in that the data processing device (1) furthermore has horizontal and vertical network cables (151, 152, 153, 154) which are completely on the outside of the data processing device (1) that the horizontal cables (151, 152) each connect all data processing units (14) in a horizontal group (4) in a ring, and that the vertical network cables (153, 154) each have a plurality of data processing units (14) from different horizontal groups (4 ) connect in a ring.
6. Parallele Datenverarbeitungseinrichtung (1) gemäss einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Datenverarbeitungseinrichtung (1) weiterhin ein Gestell (11) aufweist, welches den vertikalen Schacht (16) umschliesst und seitliche Öffnungen (113) zum Durchströmen von Luft besitzt, und dass an dem Gestell (11) eine Mehrzahl von horizontal angeordneten Haltemitteln (12) befestigt ist, wobei von jedem Haltemittel (12) mindestens eine Datenverarbeitungseinheit (14) gehalten wird.6. Parallel data processing device (1) according to one of claims 1 to 5, characterized in that the data processing device (1) further comprises a frame (11) which encloses the vertical shaft (16) and lateral openings (113) for the flow of air owns, and that on the frame (11) a plurality of horizontally arranged holding means (12) is fastened, at least one data processing unit (14) being held by each holding means (12).
7. Parallele Datenverarbeitungseinrichtung (1) gemäss Anspruch 6, dadurch gekennzeichnet, dass die Datenverarbeitungseinrichtung (1) ferner eine Mehrzahl von Basisplatten (13) aufweist, dass jedes Haltemittel (12) ein Rahmen ist, dass jeder Rahmen eine Basisplatte (13) hält, und dass auf jeder Basisplatte (13) mindestens zwei Datenverarbeitungseinheiten (14) angeordnet sind.7. Parallel data processing device (1) according to claim 6, characterized in that the data processing device (1) further comprises a plurality of base plates (13), that each holding means (12) is a frame, that each frame holds a base plate (13), and that at least two data processing units (14) are arranged on each base plate (13).
8. Parallele Datenverarbeitungseinrichtung (1), aufweisend - eine Mehrzahl von Datenverarbeitungseinheiten (14) ; - einen vertikalen Schacht (16) , an den eine Mehrzahl der Datenverarbeitungseinheiten (14) angrenzt; sowie - einen Deflektor (17) zur Umlenkung von Luft, der im Inneren des vertikalen Schachts (16) angeordnet ist und eine kontinuierliche Form aufweist, die sich entlang einer vertikalen Richtung horizontal stetig aufweitet.8. Parallel data processing device (1), comprising - a plurality of data processing units (14); - a vertical shaft (16) to which a plurality of the data processing units (14) adjoin; and - a deflector (17) for deflecting air, which is arranged in the interior of the vertical shaft (16) and has a continuous shape which expands horizontally along a vertical direction.
9. Deflektor (17) zur Umlenkung von Luft, der zum Einsatz in einem vertikalen Schacht (16) einer parallelen Datenverarbeitungseinrichtung (1) ausgebildet ist, wobei der Deflektor (17) eine kontinuierliche Form aufweist, die sich entlang einer vertikalen Richtung horizontal stetig aufweitet.9. deflector (17) for deflecting air, which is designed for use in a vertical shaft (16) of a parallel data processing device (1), the deflector (17) having a continuous shape which expands horizontally along a vertical direction ,
10. Verfahren zum Betrieb einer parallelen Datenverarbeitungseinrichtung (1) gemäss einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass Kühlluft (3) dem vertikalen Schacht (16) von unten her zugeführt wird. 10. A method for operating a parallel data processing device (1) according to one of claims 1 to 8, characterized in that cooling air (3) is fed to the vertical shaft (16) from below.
PCT/CH2004/000603 2003-09-29 2004-09-28 Parallel data processing device WO2005031549A2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP03405704.2 2003-09-29
EP03405704 2003-09-29

Publications (2)

Publication Number Publication Date
WO2005031549A2 true WO2005031549A2 (en) 2005-04-07
WO2005031549A3 WO2005031549A3 (en) 2005-07-21

Family

ID=34384734

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CH2004/000603 WO2005031549A2 (en) 2003-09-29 2004-09-28 Parallel data processing device

Country Status (1)

Country Link
WO (1) WO2005031549A2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2985333A1 (en) * 2012-01-04 2013-07-05 Thales Sa ELECTRONIC COMPUTER COMPRISING AN AIR CHANNEL SYSTEM FOR COOLING ELECTRONIC CARDS
JP2014187229A (en) * 2013-03-25 2014-10-02 Nec Corp Rack

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3903404A (en) * 1973-10-17 1975-09-02 Amdahl Corp Computer construction and method
EP0447819A2 (en) * 1990-03-19 1991-09-25 International Business Machines Corporation Multileveled electronic assembly with cooling means
US5150279A (en) * 1991-03-18 1992-09-22 International Business Machines Corporation High performance computer system with platters and unidirectional storage modules therebetween
US6496366B1 (en) * 1999-10-26 2002-12-17 Rackable Systems, Llc High density computer equipment storage system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3903404A (en) * 1973-10-17 1975-09-02 Amdahl Corp Computer construction and method
EP0447819A2 (en) * 1990-03-19 1991-09-25 International Business Machines Corporation Multileveled electronic assembly with cooling means
US5150279A (en) * 1991-03-18 1992-09-22 International Business Machines Corporation High performance computer system with platters and unidirectional storage modules therebetween
US6496366B1 (en) * 1999-10-26 2002-12-17 Rackable Systems, Llc High density computer equipment storage system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2985333A1 (en) * 2012-01-04 2013-07-05 Thales Sa ELECTRONIC COMPUTER COMPRISING AN AIR CHANNEL SYSTEM FOR COOLING ELECTRONIC CARDS
US9084370B2 (en) 2012-01-04 2015-07-14 Thales Electronic computer comprising an air channeling system for cooling electronic boards
JP2014187229A (en) * 2013-03-25 2014-10-02 Nec Corp Rack

Also Published As

Publication number Publication date
WO2005031549A3 (en) 2005-07-21

Similar Documents

Publication Publication Date Title
DE102005045761B4 (en) System and method for cooling electronic systems
DE112007000381B4 (en) Quasi-radial heat sink with rectangular shape factor and uniform fin length, process for their preparation and system with such
EP0297308B1 (en) Switchgear cubicle
DE102012025919B4 (en) Electrical system, cage and method for balanced cooling for high density stacked cages
DE112011105140T5 (en) Blade computer system
DE112018003705T5 (en) COOLING SYSTEM FOR HIGH-PERFORMANCE COMPUTERS
DE102015003494A1 (en) Shaped backplane for receiving electrical components
DE102014105960A1 (en) LED lighting device with an improved heat sink covered
EP1705977B1 (en) Housing for mounting plugable electronic units
DE112017004965T5 (en) ADVANCED PLATFORM WITH ADDITIONAL MEMORY SLOTS PER CPU PLUG
DE112013000026T5 (en) Electronic device
DE3321321C2 (en)
EP3105650B1 (en) Cooling arrangement for a computer system
DE112010005798T5 (en) Computer system with fabric modules
WO2005031549A2 (en) Parallel data processing device
DE102015120944A1 (en) Server rack, server, as well as arrangement with a server rack and a server
DE112021005770T5 (en) CROSSFLOW AIR DEFLECTOR FOR HIGH DENSITY INDEPENDENT AIRFLOW CONTROL
DE202022100464U1 (en) Disinfection module and air purifier
DE3206868C2 (en)
DE102013217446A1 (en) Data processing system
DE2740772B2 (en) Device for dissipating heat loss from electronic assemblies
DE202004002008U1 (en) Housing or housing insert fitted with fans incorporating electric and/or electronic components on circuit boards, etc., e.g. for cooling advanced telecom computing architecture (ATCA), with cooling gas flow from inlet to outlet side
DE112017004036T5 (en) MASS MEMORY UNITS PACKAGES AND SOFTWARE DEFINED ARRANGEMENTS OF SUCH PACKAGES
DE202018104742U1 (en) Water curtain structure and evaporative cooling fan device with water curtain structure
DE112014003657T5 (en) Power conversion device

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
122 Ep: pct application non-entry in european phase