Beschaffung von Computer Cluster für die Goethe Universität Frankfurt Referenznummer der Bekanntmachung: VG-3000-2021-0071
Auftragsbekanntmachung
Lieferauftrag
Abschnitt I: Öffentlicher Auftraggeber
Postanschrift:[gelöscht]
Ort: Wiesbaden
NUTS-Code: DE7 Hessen
Postleitzahl: 65185
Land: Deutschland
E-Mail: [gelöscht]
Telefon: [gelöscht]
Fax: [gelöscht]
Internet-Adresse(n):
Hauptadresse: https://vergabe.hessen.de
Abschnitt II: Gegenstand
Beschaffung von Computer Cluster für die Goethe Universität Frankfurt
Beschaffung eines Computer Cluster für die Goethe Universität Frankfurt am Main
Johann Wolfgang Goethe-Universität Frankfurt am Main
Theodor-W.-Adorno-Platz 1
60323 Frankfurt am Main
Das Institut für Theoretische Physik der Goethe Universität Frankfurt betreibt eine
zentrale und hochintegrierte Linux Installation mit 180 Linux Arbeitsplätzen und ca. 100 Rechenknoten.
Die Bereitstellung des Festplattenspeichers erfolgt über einen zentralen Ceph Cluster. Der Cluster besteht aus 5 Knoten und hat ca. 450 TB Brutto Kapazität, verteilt auf SSDs und HDDs. Aufgrund der bestehenden Erfahrung mit Ceph soll auch in dieser Ausschreibung Ceph basierter Storage beschafft werden.
Fast alle Server-Dienste sind als virtuelle Maschinen (VMs) realisiert und nutzen Ceph-RBD (Rados Block Device). Für die virtuellen Maschinen stehen vier physische Server zu Verfügung die auf Libvirt/KVM aufsetzen und auch Live-Migration ermöglichen.
Die Bereitstellung der Home-Verzeichnisse erfolgt über mehrere virtuelle NFS Server-Instanzen (aktuell 9). Ein zentrales Scratch Verzeichnis wird über CephFS zur Verfügung gestellt und ist auf allen Clients und Compute Nodes verfügbar.
Das Gros der Rechenknoten wurden von individuellen Arbeitsgruppen angeschafft und steht diesen exklusiv zur Verfügung. Das Verteilen der Rechenjobs auf die Knoten erfolgt durch SLURM.
Die Vernetzung der Hardware erfolgt überwiegend mit Infiniband (QDR/FDR) und IPoIB. Virtuelle Maschinen sind per 10G Ethernet angebunden. Die Verbindungen aller Netze, Uplinks und Infiniband laufen über zwei hochverfügbare Gateway-Server (keepalived und HA-Proxy).
Aus technischen Gründen wird für das Bare-Matel-Deployment weiterhin eine Ethernet-Verbindung benötigt. Die Verwaltung der Installationen erfolgt über eine In-House-Lösung.
Alle Systeme laufen aktuell mit Ubuntu 18.04 oder 20.04.
Es wird beabsichtigt mit dieser Ausschreibung,
• eine möglichst große Zahl von Rechenknoten,
• einen Ceph Storage mit 3 Knoten und einer Gesamtkapazität von ca. 500
TB Brutto,
• EDR Infiniband und Gigabit Ethernet für die Knoten und Server sowie Gigabit
für das Management mit allen Kabeln und Switches
• einen Serverschrank (Rack) und Stromversorgung (PDU) für die Komponenten
zu beschaffen.
Das Auftragsvolumen darf netto 300.000 € nicht überschreiten (Budgetausschreibung, eine besondere Ausprägung des Maximalprinzips, wonach mittels eines vorab festgelegten Budgets die maximale Leistung beschafft werden soll).
Technische Rahmenbedingungen
Für die gesamte Hardware stehen zwei 19 Zoll Schränke mit 42 Höheneinheiten zur Verfügung. Ein Schrank ist bereits vorhanden und leer (Rittal TS8). Ein zweiter, baugleicher ist Bestandteil dieser Ausschreibung.
Für die Kühlung ist eine Umluftkühlung mit Doppelboden vorhanden. Mit dieser Kühlung lassen sich max. 15 kW pro Schrank sinnvoll Kühlen. Für die Stromversorgung der Schränke stehen pro Schrank 1x 400V 16A (3-Phasen) und 2 x 230V 16A zur Verfügung. Die Steckdosen befinden sich unterhalb vom Doppelboden. Die Zuführung der Netzwerk Kabel erfolgt über den Sockel der Serverschränke.
Compute-Nodes
Für die Compute-Nodes sind Dual-Socket-Multi-Core-Knoten mit zwei 64bit CPUs vorgesehen, die mit Gigabit Ethernet und Infiniband EDR verbunden sind. Pro CPU Kern sind mind. 2,5 GB ECC-RAM zu installieren. Sollten die Benchmarks mit aktiviertem Hyperthreading/SMT o.ä. und einer entsprechenden Anzahl von Prozessen durchgeführt werden, sind hier die logischen Kerne zu zählen. Es sind grundsätzlich identische RAM Module zu verwenden und nach Möglichkeit alle RAM Kanäle zu bestücken.
Für das Betriebssystem ist eine 480-512 GB SSD (SATA oder NVMe) vorzusehen.
Die verwendeten SSDs müssen den besonderen Bedingungen im Dauerbetrieb des Rechners genügen.
Die Fernwartung muss über einen dedizierten LAN Port ausgeführt sein und IPMI 2.0 sowie Redfish unterstützen. Remote-KVM über HTML5 im Webbrowser muss ebenso unterstützt werden.
Die Zahl der Knoten ist über das Gesamtbudget gegeben.
Die Installation der Software auf den Rechenknoten erfolgt durch den Auftragnehmer. Kompatibilität mit Ubuntu 20.04 LTS muss gegeben sein. Eine vollständige Liste aller MAC Adressen (inkl. IPMI) ist vor der Lieferung auszuhändigen.
Ceph Storage Knoten
Der zentrale Datenspeicher gliedert sich in zwei Klassen. Für das eigentliche Computing ist ein Teil als schneller SSD-NVMe-only Speicher ausgelegt. Der größere Teil dient als Datenlager und basiert auf Festplatten. Beide Klassen sollen von allen Storage Knoten bedient werden.
Die Festplatten sind als JBOD per SAS3 anzubinden. Folgende Server Konfiguration hat sich im ITP schon bewährt:
- 2 Sockel 1 HE Server mit 12x U.2 NVMe 2,5" Einschüben und red. Netzteile
- Pro OSD sind mind. 5 GB RAM vorzusehen
- Pro OSD ist mindestens ein physischer CPU-Kern vorzusehen
- 3x 1 TB U.2 NVMe SSD (1x OS, 2x WAL/DB für HDDs)
- 6x 4 TB U.2 NVMe SSDs (als OSD)
- 3 Slots bleiben frei für Ausbau
- 2x 10 GBase-T Netzwerk
- SAS3 HBA für den Anschluss des JBODs
- Infiniband EDR
- SAS3 HBA für JBOD
- IPMI/Redfish Verwaltung entsprechend den Compute Nodes.
Externes SAS3 JBOD
- 24 3,5" HDD Einschüben
- IPMI 2.0 Interface für Remote Überwachung und Steuerung
- Redundante Netzteile
- 12x 16 TB SAS Enterprise Festplatten
- 12 Slots bleiben für spätere Erweiterungen frei
RAM und CPU sind für die Vollbestückung auszulegen, zuzüglich einer Reserve von
einigen Zehn Gigabytes für das Betriebssystem sowie Ceph MON und MDS Diensten. Bei 34 OSDs sind das je nach Zahl der parallel RAM Kanäle 192 oder 256 GB RAM. Die SSD Größen schließen auch branchenübliche Größen, die insb. bei Enterprise Typen, etwas kleiner sind, ein (z.B. 960 GB statt 1 TB). Die verwendeten SSDs und HDDs müssen den besonderen Bedingungen im Dauerbetrieb des Rechners genügen.
Netzwerke
Für die Kommunikation zwischen den Rechenknoten und den Zugriff auf den Datenspeicher ist Infiniband EDR vorgesehen. Die IP Anbindung zum Login Server und den Home-Verzeichnissen erfolgt über die gleiche physikalische Verbindung mittels IPoIB an einen vorhandenen QDR oder FDR Switch.
Geeignete Kabel und Switches sind Bestandteil der Ausschreibung. Für den Uplink
sind mind. 4 freie Ports vorzuhalten. Zwei passende Kabel (5m) für die Adaptierung an unsere QDR/FDR Switche sind mitzuliefern.
Für die Netzwerkbasierte Installation und Wartung der Rechner ist weiterhin Ethernet notwendig. Deswegen sind alle Rechner einmal mit Gigabit Ethernet anzubinden. Die Anbindung an den Uplink erfolgt per 10 GBit Multi Mode Glasfaser (LC-LR). Passende SFP+ Module sind mitzuliefern. VLAN und SNMP Unterstützung, sowie die Verwaltung per ssh und serieller Konsole sind obligatorisch.
Die Vernetzung der IPMI Management Schnittstellen stellt keine größeren Herausforderungen an die Vernetzung. Hier genügen verwaltete Gigabit Switche (SNMP, CLI). Die Anbindung erfolgt über ein separates VLAN an die oben beschriebenen Switche. Aktuell setzen wir Switche der Reihe Netgear ProSafe M4300 ein. Sollten keine technischen Gründe oder die Verfügbarkeit dagegensprechen, bieten sie diese Switche auch für den Cluster an. Andernfalls bitte erläutern.
Serverschrank und Stromversorgung
Der zu beschaffende Serverschrank soll an die bestehenden Schränke angereiht
werden. Bei den vorhandenen Typen handelt es sich um Rittal TS8 Schränke auf 10 cm Sockel, mit den Maßen 80 cm breit und 100 cm tief und 42 Höheneinheiten. Zur maximalen Kompatibilität soll das anzuschaffende Rack vom gleichen Typ (bzw. kompatibler Nachfolger) sein. Front- und rückseitige Türen bestehen aus gelochtem Stahlblech. Die Rückwertige Tür ist geteilt mit 180° Scharnieren. Durch die Anreihung erübrigen sich Seitenwände.
Den Schrank TS8 hat der Hersteller eingestellt und durch den Typ VX IT ersetzt. Das Nachfolge Model zu TS 5509.110 hat die Modelnummer VX 5309.116. Der dazu passende Sockel VX 8640.003. Sollte die TS8 Seitenwand nicht passen, ist eine neue Seitenwand mitzuliefern. Weiterhin werden geeignete Anreihverbinder benötigt.
Anlieferung und Anbau des Racks in den Räumen des ITPs.
Die Stromversorgung ist über verwaltbare Steckerleisten (PDUs) auszuführen. Die
Ausgänge sollen sich einzeln über das Netzwerk schalten lassen. Die Gesamtleistung pro Phase und die Schaltzustände müssen sich Remote per SNMP und Webbroser auslesen und steuern lassen. An der Leiste selbst muss der aktuelle Strom abzulesen sein. Primär ist die Stromversorgung über eine 3-Phasige 400V/16A PDU zu realisieren. Zusätzlich stehen max. 2 einphasige 16A Anschlüsse bereit um die maximale Leistung von 15 kW ausschöpfen zu können. Die Vernetzung erfolgt über die Switche an denen auch die IPMI Ports angeschlossen sind. Aufgrund der in anderen Schränken verbauten Typen geben wir den Herstellern Rittal oder APC den Vorzug. Grundsätzlich müssen alle Geräte insb. Switche und PDUs IPv6 fähig sein.
Der Auftragnehmer räumt dem Auftraggeber ein Nachkaufrecht auf folgende Komponenten ein:
1. Rechenknoten
2. Storage-Knoten
bis zu einer Netto-Gesamtsumme (Summe aller möglichen Nachbestellungen) von
50.000 €.
Die über eine Nachbestellung zu liefernden Komponenten müssen mindestens den Leistungsstandards der angebotenen Komponenten des geschlossenen Vertrags entsprechen.
Bei mangelnder Verfügbarkeit der ursprünglich angebotenen Komponenten können auch Komponenten mit höherer Leistung des gleichen Herstellers aufpreisfrei geliefert werden.
Im Fall der Abkündigung der ursprünglich angebotenen Komponenten wird ein mindestens leistungsgleiches Nachfolgemodell zum Angebotspreis zum Nachkauf angeboten. Es darf für nachzukaufende Komponenten kein höherer Preis verlangt werden, als der Preisanteil, den diese Komponenten im Ursprungsangebot hatten. Zu diesem Zweck sind, auch wenn es sich insgesamt um ein Pauschalangebot handelt, die vorgenannten Komponenten, einzeln zu bepreisen (Nettopreise, inkl. aller Nebenkosten, wie Verpackung und versicherter Transport).
Das Nachkaufrecht ist auf 6 Monate nach Abnahme befristet.
Abschnitt III: Rechtliche, wirtschaftliche, finanzielle und technische Angaben
-
Darstellung von mindestens 2 geeigneten Referenzen aus den letzten zwei Jahren
(Stichtag "Ablauf der Angebotsfrist"), die nach Art der nachfolgend aufgeführten Anforderung entsprechen.
Art: HPC-Installation mit Infiniband Vernetzung von mindestens 250.000,00 €
Gesamtvorlumen (netto).
(Datei "Referenzen" auf der Vergabeplattform).
In der Referenzvorlage ist abschließend die Person des Erklärenden namentlich
anzugeben.
Die Tabelle des Vordruckes ist lückenlos auszufüllen.
Die Vergabestelle behält sich die Überprüfung der Referenzen bei dem Referenzauftraggeber vor. Für einen solchen Fall fordert wird die Vergabestelle von dem Bieter die Benennung eines Ansprechpartners mit Kontaktdaten (Telefonnummer und E-Mail) nachfordern.
Bei Bietergemeinschaften sind ebenfalls mindestens 2 Referenzen anzugeben, aus denen die Leistungsfähigkeit der Bietergemeinschaft hervorgeht (entweder durch Angabe von Referenzen einzelner Mitglieder der Bietergemeinschaft oder der Bietergemeinschaft als solcher). Bei dem Einsatz von Unterauftragnehmern können auch Referenzen des Unterauftragnehmers angegeben werden, dies gilt jedoch nur im Falle der Eignungsleihe gem. § 47 VgV.
Es wird darauf hingewiesen, dass die Bieter sowie deren Nachunternehmen und Verleihunternehmen, soweit diese bereits bei Angebotsabgabe bekannt sind, die erforderlichen Verpflichtungserklärungen (Datei "Verpflichtungserklaerung_oeff_AG") zur Tariftreue und zum Mindestentgelt nach dem Hessischen Vergabeund Tariftreuegesetz (HVTG) vom 19.12.2014, (GVBl. S. 354) mit dem Angebot abzugeben haben. Die Verpflichtungserklärung bezieht sich nicht auf Beschäftigte, die bei einem Bieter, Nachunternehmer und Verleihunternehmen im EU-Ausland beschäftigt sind und die Leistung im EU-Ausland erbringen.
Abschnitt IV: Verfahren
entfällt
Abschnitt VI: Weitere Angaben
Der Bieter hat die Eigenerklärung gem. "Gemeinsamen Runderlass über den
Ausschluss von Bewerbern und Bietern wegen schwerer Verfehlungen, die ihre Zuverlässigkeit in Frage stellen" in der Fassung vom 23. Oktober 2020 (StAnz 48/2020 S. 1216) ausgefüllt mit seinem Angebot einzureichen (Datei "Erklaerung_Vergabesperre").
Zusätzl. weist die Vergabestelle darauf hin, dass für den für den Zuschlag in Aussicht genommenen Bieter, Mitglieder einer Bietergemeinschaft sowie die im Vergabeverfahren gemeldeten Unterauftragnehmer eine Abfrage bei Korruptions- und Vergaberegistern, insbes. bei der zentralen Melde- und Informationsstelle für Vergabesperren (MIS) bei der Oberfinanzdirektion Frankfurt am Main, vorgenommen wird.
Ebenso gem. §19 Abs. 4 MiLoG vor Zuschlagserteilung eine Auskunft aus dem
Gewerbezentralregister nach §150a der Gewerbeordnung (Bieter).
Der Bieter hat die Eigenerklärung zu den zwingenden Ausschlussgründen nach §123 GWB (Datei "Eigenerklaerung_Ausschlussgruende_Par_123_GWB") und die Eigenerklärung zu den fakultativen Ausschlussgründen nach §124 GWB (Datei "Eigenerklaerung_Ausschlussgruende_Par_124_GWB") ausgefüllt mit seinem Angebot einzureichen.
Bei Bietergemeinschaften hat jedes Mitglied der Bietergemeinschaft, bei Einsatz von Unterauftragnehmern hat jeder Unterauftragnehmer die o.g. Erklärungen in der entsprechenden Form einzureichen.
--------------------------------------------------------------------------------------------------------------
Zuschlagskriterien/ Bewertungsmethode:
Zuschlagskriterien
• (90%) Leistungsfähigkeit der Komponenten, beurteilt nach den Benchmark Ergebnissen Rbench der in der Leistungsbeschreibung erläuterten Codes
• (10%) Qualitätsmerkmale der angebotenen Leistung Rquality, beurteilt nach
1. Administration und Überwachung des Rechners
2. Innovation der angebotenen Lösung und der angebotenen Integrationsleistung, die anhand der Ausführungen im Angebot insbesondere nach folgenden Aspekten beurteilt wird: Architekturmodell, Anbindung, Durchgängigkeit Hot Swap, Upgrade Fähigkeit und Ausbaufähigkeit der Massenspeicher;
3. Vermeidung von Risiken technischer und wirtschaftlicher Art, die anhand der Ausführungen im Angebot insbesondere nach folgenden Aspekten beurteilt wird: Qualitätsmanagement, Risikomanagement, Temperaturtoleranzen, Laufzeiten, Lizenzbedingungen, Kühlungskonzept, Redundanzen und mögliche Fehlerfrüherkennung.
Der Zuschlag wird auf das Angebot erteilt, dass den höchsten Wert Rtotal erzielt. Der Wert Rtotal wird nach folgender Formel ermittelt:
Rtotal = 90 Rbench + 10 Rquality
Von den berechneten Benchmark Ergebnisse wird der Kehrwert (R) genommen und dieser auf das jeweils schnellste Ergebnis eines Programms normiert.
Die explizite Beschreibung der Ermittlung des wirtschaftlichsten Angebotes ist der Datei "Zuschlagskriterien und Bewertungsmethode" sowie der "Leistungsbeschreibung" zu entnehmen.
Benchmarks
Für die optimale Wahl der Prozessoren muss der Anbieter Benchmarks zu den beigefügten Programmen ETK/HeadOn und BHAC/BHTorus ausführen. Alle Benchmarks sind mit 1, 2 und 4 Knoten auszuführen. Bei allen Teilbenchmarks soll die benötigte Rechenzeit eingereicht werden. Eine detaillierte Anleitung zur Übersetzung und Ausführung der Quellcodes liegt den Programmen (in englischer Sprache) bei. Programme und Anleitung zur Erstellung sind über die in der Leistungsbeschreibung genannten Adresse herunterzuladen. Beachten Sie hierbei auch die in der Leistungsbeschreibung festgelegten Regeln
Die Einzelergebnisse der Benchmarks und die Ausgabedateien sind einzureichen.
Alle Änderungen der Codes und Makefiles müssen dokumentiert und angegeben werden.
Die im Benchmark ermittelten Laufzeiten werden pro Programm wie folgt verrechnet: T = (T1 + 2 T2 + 8 T4) / (Gesamtzahl der Ang. Knoten)
Der Benchmark für 4 Knoten wird dabei doppelt gewichtet, um der Wichtigkeit der parallelen Anwendung Rechnung zu tragen.
Postanschrift:[gelöscht]
Ort: Darmstadt
Postleitzahl: 64283
Land: Deutschland
Telefon: [gelöscht]
Fax: [gelöscht]
§ 160 Einleitung, Antrag
(1) Die Vergabekammer leitet ein Nachprüfungsverfahren nur auf Antrag ein.
(2) Antragsbefugt ist jedes Unternehmen, das ein Interesse an
dem öffentlichen Auftrag oder der Konzession hat und eine Verletzung in seinen Rechten nach § 97 Absatz 6 durch Nichtbeachtung von Vergabevorschriften geltend macht. Dabei ist darzulegen, dass dem Unternehmen durch die behauptete Verletzung der Vergabevorschriften ein Schaden entstanden ist
oder zu entstehen droht.
(3) Der Antrag ist unzulässig, soweit
1.der Antragsteller den geltend gemachten Verstoß gegen Vergabevorschriften vor Einreichen des Nachprüfungsantrags
erkannt und gegenüber dem Auftraggeber nicht innerhalb einer
Frist von zehn Kalendertagen gerügt hat; der Ablauf der Frist
nach § 134 Absatz 2 bleibt unberührt,
2.Verstöße gegen Vergabevorschriften, die aufgrund der Bekanntmachung erkennbar sind, nicht spätestens bis zum Ablauf der in der Bekanntmachung benannten Frist zur Bewerbung oder zur Angebotsabgabe gegenüber dem
Auftraggeber gerügt werden,
3.Verstöße gegen Vergabevorschriften, die erst in den Vergabeunterlagen erkennbar sind, nicht spätestens bis zum Ablauf der Frist zur Bewerbung oder zur Angebotsabgabe gegenüber dem Auftraggeber gerügt werden,
4.mehr als 15 Kalendertage nach Eingang der Mitteilung des Auftraggebers, einer Rüge nicht abhelfen zu wollen, vergangen sind.
Satz 1 gilt nicht bei einem Antrag auf Feststellung der Unwirksamkeit des Vertrags nach § 135 Absatz 1 Nummer 2.
§ 134 Absatz 1 Satz 2 bleibt unberührt.