Beschaffung von einem GPU-Server für das Trainieren und Nachtrainieren von KI-Modellen; Projekt Total-CBC BW

Eignungskriterien

• Aktueller (zum Zeitpunkt des Ablaufs der Bewerbungsfrist nicht älter als 6 Monate) Nachweis über eine gültige Eintragung in das Berufs- oder Handelsregister oder ein Gewerbenachweis, falls es sich nicht um eine Kapitalunternehmensform handelt, soweit nach den jeweiligen Bestimmungen des Mitgliedsstaates am Sitz oder Wohn-sitz des Bewerbers Entsprechendes verpflichtend vorgesehen ist. Für die Mitgliedstaaten der Europäischen Union sind die jeweiligen Berufs- oder Handelsregister und die Bescheinigungen oder Erklärungen über die Berufsausübung in Anhang XI der Richtlinie 2014/24/EU des Europäischen Parlaments und des Rates vom 26. Februar 2014 über die öffentliche Auftragsvergabe und zur Aufhebung der Richtlinie 2004/18/EG (ABl. L 94 vom 28.03.2014, S. 65) aufgeführt.

• Eigenerklärung, dass keine Ausschlussgründe nach §§ 123, 124 GWB vorliegen. Etwaige Maßnahmen des Bewerbers zu einer Selbstreinigung nach § 125 GWB sind als gesonderte Erklärung einzureichen und Eigenerklärungen zu Artikel 5k der Verordnung EU) Nr. 833/2014 vom 08.04.2022 (EU-Sanktionspaket gegen Russland), zum Nichterscheinen auf der Consolidated Financial Sanctions List und zum Nichterscheinen auf Terrorlisten der Europäischen Union.

• Eigenerklärung zum Umsatz des Bewerbers (EUR, netto) aufgeteilt für die letzten 2 abgeschlossenen Geschäftsjahre. Der durchschnittliche Jahresumsatz muss mindestens 200.000 EUR betragen. Bei Zuschlagserteilung ist ein Nachweis darüber zu erbringen.

• Der Bewerber muss positives Eigenkapital über die letzten beiden Jahre (2023, 2024) nachweisen können (Vorlage Jahresabschluss, Geschäftsbericht oder GuV). Sofern der Bieter aus einem anderen Mitgliedsstaat der EU stammt, werden auch entsprechende Nachweise auf dem gleichen Niveau aus den anderen Mitgliedsstaa-ten akzeptiert. Im Falle, dass der Abschluss 2024 noch nicht erstellt wurde, so ist ein Nachweis über die Jahre 2022, 2023 zu erbringen. Es wird ausdrücklich darauf hingewiesen, dass nur die genannten Nachweise beachtet werden. Eine Einreichung von Bilanzen oder anderen Nachweisen wird im Verfahren nicht beachtet. Falschangaben führen zum Ausschluss aus dem Vergabeverfahren.

• 1) Eigenerklärung, dass keine Ausschlussgründe nach § 21 des AEntG, § 98c des AufenthG, § 19 des MiLoG, § 21 des SchwarzarbG und § 22 LkSG vorliegen. 2) Verpflichtungserklärung, dass die Vorgaben des Tariftreue- und Mindestlohngesetz für öffentliche Aufträge in Baden-Württemberg (Landestariftreue- und Mindestlohngesetz - LTMG) eingehalten werden.

• Es sind mindestens drei Referenzen vorzulegen, die eine vergleichbare Leistung zum Gegenstand haben. Berücksichtigt werden ausschließlich Referenzen, die in den letzten sechs Jahren erbracht wurden. Entscheidend für die Berechnung dieses Zeitraums ist das Datum der Angebotsfrist. Darüber hinaus werden nur Referenzen berücksichtigt, die mindestens ein Auftragsvolumen von EUR 50.000 aufweisen.

Zuschlagskriterien

• Preis-Leistungs-Verhältnis: Siehe auch: B_01_Verfahrenshinweise Bewertungsmatrix zur Ermittlung der Leistungspunkte und Preispunkte Legende F8_PF Bedeutung: FP8 (Floating Point - 8-bit) Leistung ohne Sparsity in Petaflops HBM Bedeutung: High Bandwith Memory HBM_BW Bedeutung: High Bandwith Memory - Bandwith Knoten (oder auch Node) Bedeutung: Anzahl der physischen Server in einem Cluster KPI: Key Perfomance Indicator norm_cost (Preispunkte P) Bedeutung: Normierungsfunktion für die Kostenkennzahlen. Je niedriger der Wert, desto besser. Das günstigste Angebot bekommt 100 Punkte. Alle teureren Angebote bekommen proportional weniger Punkte. norm_pos (Leistungspunkte L) Bedeutung: Normierungsfunktion für die Leistungs- und Kapazitätskennzahlen. Je größer, desto besser. Das leistungsstärkste Angebot bekommt 100 Punkte. Leistungsschwächere Angebote werden linear nach unten skaliert. Annahmen und Mindestanforderungen Der Server wird luftgekühlt. Angebote mit einer Wasserkühlung können nicht beachtet werden. Es handelt sich bei den verbauten CPU um Intel CPU Es wird mindestens ein CPU Dual-Socket verwendet Die Gesamtanzahl der CPU Kerne ist 112 Es werden mindestens Intel Xeon Platinum 8000er Serie ab der 4. Gen verbaut Die Mindest-GPU Anzahl beträgt 8 Stück. Es gelten die Annahmen unter 1.bb) welche erfüllts ein müssen. Andere als die unter 1bb) genannten Grafikkarten werden im Vergabeverfahren nicht beachtet. Es wird mindestens doppelt so viel RAM verbaut wie im Gesamtsystem VRAM (GPU-Speicher) vorhanden ist. Beim verbauten RAM handelt es mindestens um DDR5 RAM Es ist sind mindestens 2x 1,92TB NVME SSDs als Boot Platten verbaut Es sind mindestens 8x 3,84 TB NVME SSDs als Datenplatten verbaut Die maximale Leistung in KW darf 14,5kW nicht übersteigen Der Server hat ein 19" Rackformat (maximale Tiefe 998mm) Die Serversysteme orientieren sich an dem "Support for NVIDIA HGX/SXM" Standard. Grafikkarten als AIC (Add in Card) für einen regulären PCIE-Slot werden in dem Vergabeverfahren nicht beachtet. Netzwerk Spezifikationen (Mindestanforderungen): H100/H200 basiertes System: 4x OSFP ports serving 8x single-port NVIDIA ConnectX-7 VPI Up to 400Gb/s InfiniBand/Ethernet 2x dual-port QSFP112 NVIDIA ConnectX-7 VPI Up to 400Gb/s InfiniBand/Ethernet 10Gb/s onboard NIC with RJ45 100Gb/s Ethernet NIC Host baseboard management controller (BMC) with RJ45 B100/B200 basiertes System 4 x OSFP-Ports für 8 x NVIDIA ConnectX-7 VPI-Adapter mit einem Port Bis zu 400 Gb/s NVIDIA InfiniBand/Ethernet 2 x QSFP112 NVIDIA BlueField-3-DPU mit zwei Anschlüssen Bis zu 400 Gb/s NVIDIA InfiniBand/Ethernet Integrierte Netzwerkkarte (NIC) mit 10 Gb/s und RJ45 100-Gb/s-Ethernet-Netzwerkkarte mit zwei Anschlüssen Host Baseboard Management Controller (BMC) mit RJ45 GPU Spezifikationen (Mindestanforderungen): Nvidia H100 F8_PF: 2.0 HBM_GB: 80 HBM_BW_TBs: 3.35 Nvidia H200 F8_PF: 2.0 HBM_GB: 141 HBM_BW_TBs: 4.8 Nvidia B100: F8_PF: 5.0 HBM_GB: 192 HBM_BW_TBs: 8.0 Nvidia B200: F8_PF: 5.0 HBM_GB: 180 HBM_BW_TBs: 8.0 Annahme Auslastung: 70% (dient der Berechnung) Gewichtung der einzelnen Parameter GPU intern: Rechenleistung (compute): 50% Bandbreite: 30% Kapazität: 20% Gesamtsystem: GPU: 68% CPU: 10% RAM: 12% Speicher: 7% Garantie: 3% Variableninitialisierung F8_PF_proGPU = F8_PF HBM_GB_proGPU = HBM_GB HBM_BW_TBs_proGPU = HBM_BW_TBs Knoten_FP8_PF = F8_PF_proGPU ? GPUs_pro_Knoten Knoten_BW_TBs = HBM_BW_TBs_proGPU ? GPUs_pro_Knoten Knoten_HBM_TB = (HBM_GB_proGPU ? GPUs_pro_Knoten) / 1024 Pkt_compute = norm_cost(EUR_pro_PF8) Pkt_bandbreite = norm_cost(EUR_pro_TBs) Pkt_kapazitaet = norm_cost(EUR_pro_TBHBM) Pkt_CPU_Sockel = norm_pos(CPU_Sockel) Pkt_CPU_Kerne = norm_pos(CPU_Kerne_gesamt) Pkt_RAM_Kapa = norm_pos(RAM_TB) Pkt_RAM_Speed = norm_pos(RAM_Geschwindigkeit_MTps) Daten_TB_total = Daten_NVMe_TB_pro_Laufwerk ? Daten_NVMe_Anzahl Boot_TB_total = Boot_NVMe_TB_pro_Laufwerk ? Boot_NVMe_Anzahl Pkt_Storage_Data = norm_pos(Daten_TB_total) Pkt_Storage_Boot = norm_pos(Boot_TB_total) Pkt_Garantie = norm_pos(Garantie_Jahre) Pkt_Lieferzeit = norm_cost(Lieferzeit_Wochen) Berechnung der Kosten KPIs EUR_(pro_PF8 )=(Knotenpreis_EUR)/((Knoten_FP8_PF ? auslastung)) EUR_(pro_TBs )=(Knotenpreis_EUR)/(Knoten_BW_TBs) EUR_(pro_TBHBM )=(Knotenpreis_EUR)/(Knoten_HBM_TB) Normierungsformeln (Minimum 0 Punkte, Maximum 100 Punkte) ????????_????????(??) = 100 ? ??????(??) / ?? ????????_??????(??) = 100 ? ?? / ??????(??) Berechnungsformeln GPU-, CPU-, RAM-, Speicher-, Garantiescore ??????????_??????_???????????? = 0,5 ? ??????_?????????????? + 0,3 ? ??????_???????????????????? + 0,2 ? ??????_???????????????????? ??????????_?????? = 0,2 ? ??????_??????_???????????? + 0,8 ? ??????_??????_?????????? ??????????_?????? = 0,85 ? ??????_??????_???????? + 0,15 ? ??????_??????_?????????? Score_Storage = 0,85 ? Pkt_Storage_Data + 0,15 ? Pkt_Storage_Boot Berechnungsformel Gesamtscore TotalScore = 0,68 ? Score_GPU_intern + 0,10 ? Score_CPU + 0,12 ? Score_RAM + 0,07 ? Score_Storage + 0,03 ? Pkt_Garantie