Künstliche Intelligenz stellt besondere Anforderungen an die eingesetzte Hardware. Während klassische Serveraufgaben häufig vor allem von Prozessorleistung, Arbeitsspeicher und Massenspeicher abhängen, benötigen viele KI-Anwendungen zusätzlich eine hohe parallele Rechenleistung. Diese wird in der Regel durch leistungsfähige GPUs oder andere KI-Beschleuniger bereitgestellt. Ein sinnvoll konfigurierter KI-Server verbindet deshalb CPU- und GPU-Leistung, Arbeitsspeicher, Storage, Datenanbindung, Kühlung und Stromversorgung zu einem ausgewogenen Gesamtsystem.

Mit dem ICO Online-Konfigurator für KI-Server stellen Sie die Hardware passend zum geplanten Einsatz zusammen. Abhängig vom ausgewählten Grundsystem lassen sich unter anderem GPU, Prozessor, Arbeitsspeicher, Massenspeicher, Netzwerkkomponenten und Betriebssystem anpassen. So entsteht eine auf den jeweiligen Workload zugeschnittene Hardwareplattform für Machine Learning, Deep Learning, generative KI, agentische KI, Datenanalyse oder andere GPU- und CPU-beschleunigte Anwendungen.

Was zeichnet einen KI-Server aus?

Der Begriff KI-Server beschreibt kein fest definiertes einzelnes System. Gemeint ist eine Hardwareplattform, deren Komponenten für die Entwicklung, das Training oder die Ausführung von KI-Modellen ausgewählt werden. Je nach Anwendung kann dies ein kompakter KI-Rechner, eine leistungsfähige KI-Workstation oder ein rackfähiger GPU-Server sein. Entscheidend ist nicht allein die Bauform, sondern das Zusammenspiel aller Komponenten.

Die GPU übernimmt bei vielen KI-Workloads einen großen Teil der parallel ausführbaren Berechnungen. Die CPU koordiniert Prozesse, bereitet Daten vor, steuert Beschleuniger und bearbeitet Aufgaben, die nicht auf die GPU ausgelagert werden. Der Arbeitsspeicher hält Datensätze und Zwischenergebnisse bereit. Schnelle SSDs versorgen das System mit Modellen und Trainingsdaten, während die Netzwerkanbindung den Zugriff auf externe Speicher, andere Server oder angeschlossene Arbeitsplätze ermöglicht.

Damit ein KI-System seine Leistung dauerhaft bereitstellen kann, müssen Netzteil, Kühlung und Gehäuse zur gewählten Ausstattung passen. Besonders bei mehreren GPUs oder dauerhaft hoher Auslastung wird die thermische Auslegung zu einem wesentlichen Bestandteil der Konfiguration. Ein hoher theoretischer Rechenwert ist wenig hilfreich, wenn andere Komponenten die Datenzufuhr begrenzen oder die Leistung unter Last nicht dauerhaft gehalten werden kann.

GPU, GPU-Speicher und KI-Beschleuniger

Grafikprozessoren eignen sich durch ihre parallele Architektur für zahlreiche Berechnungen, die beim Machine Learning und Deep Learning anfallen. Viele verbreitete KI-Anwendungen nutzen NVIDIA GPUs und das CUDA-Ökosystem. Daneben stehen weitere GPU-, NPU- und Beschleunigerplattformen zur Verfügung. Welche Architektur geeignet ist, hängt vor allem von der Kompatibilität mit den vorgesehenen Anwendungen, Frameworks und Modellen ab.

Neben der Rechenleistung ist der verfügbare GPU-Speicher ein wichtiges Auswahlkriterium. In ihm liegen während der Verarbeitung unter anderem Modellgewichte, Aktivierungen und temporäre Daten. Bei Sprachmodellen beeinflussen auch Kontextlänge, Batch-Größe, Zahlenformat und Quantisierung den tatsächlichen Speicherbedarf. Für das Training kommen weitere Speicheranforderungen hinzu. Eine pauschale Dimensionierung allein anhand der Modellgröße ist deshalb nicht belastbar.

Wenn ein Modell nicht in den Speicher einer einzelnen GPU passt oder mehr Rechenleistung benötigt wird, kann ein Multi-GPU-Server sinnvoll sein. Dabei müssen Zahl und Anbindung der Steckplätze, verfügbare PCIe-Ressourcen, Kommunikationswege zwischen den GPUs, Stromversorgung und Kühlung gemeinsam betrachtet werden. Mehrere GPUs führen nur dann zu einem praktischen Vorteil, wenn Software und Workload die vorhandenen Ressourcen tatsächlich nutzen können.

Die CPU als Grundlage des KI-Servers

Auch in einem GPU-beschleunigten KI-Server ist die CPU ein zentraler Bestandteil der Rechenkette. Sie übernimmt unter anderem Datenvorbereitung, Dekomprimierung, Systemsteuerung, Netzwerkprozesse, Ein- und Ausgabe, Ressourcenplanung sowie die Vor- und Nachverarbeitung von Ergebnissen. Bei Systemen mit mehreren Beschleunigern sind außerdem eine ausreichende Zahl von PCIe-Lanes und eine zur Anwendung passende Speicheranbindung wichtig.

Nicht jeder KI-Workload benötigt zwingend eine dedizierte GPU. Klassische Machine-Learning-Verfahren, Datenanalysen, Batch-Verarbeitung und die Inferenz kleinerer oder mittlerer Modelle können abhängig von Software, Modell und Leistungsziel auch auf leistungsfähigen Server-CPUs ausgeführt werden. Für rechenintensives Training, große Modelle, hohe Parallelität oder besonders kurze Antwortzeiten sind GPUs und andere Beschleuniger in der Regel die geeignetere Wahl.

AMD EPYC Server-Prozessoren für KI-Workloads

Der Schwerpunkt der online konfigurierbaren ICO KI-Server liegt auf Plattformen mit AMD EPYC Server-Prozessoren. Je nach Modell und Plattform bieten diese eine hohe Kernzahl, große Arbeitsspeicher-Kapazitäten und umfangreiche PCIe-Ressourcen. Damit eignen sie sich sowohl als Host-CPU für GPU-Server als auch für CPU-basierte KI-Inferenz, klassische Machine-Learning-Anwendungen und datenintensive Vor- und Nachverarbeitung.

Bei agentischer KI gewinnt die CPU zusätzlich an Bedeutung. KI-Agenten kombinieren Modellinferenz mit Planung, Datenabruf, Speicherverwaltung, dem Aufruf von Softwaretools und der Prüfung von Ergebnissen. Die Modellberechnung kann dabei auf einer GPU stattfinden, während Koordination, Geschäftslogik, Ein- und Ausgabe sowie die Anbindung an Datenbanken, APIs oder Unternehmensanwendungen CPU-Ressourcen beanspruchen. Für solche Systeme müssen GPU-Leistung und CPU-Kapazität gemeinsam dimensioniert werden.

Arbeitsspeicher passend dimensionieren

Der Arbeitsspeicher dient als Datenbasis für CPU und Systemprozesse. Große Datensätze, mehrere gleichzeitige Nutzer, Container oder virtuelle Maschinen erhöhen den RAM-Bedarf. ECC-Arbeitsspeicher ist bei professionellen Systemen sinnvoll, weil er Speicherfehler erkennen und abhängig von der eingesetzten Technologie korrigieren kann. Wie viel RAM benötigt wird, lässt sich am besten anhand der realen Datenpipeline und der geplanten parallelen Aufgaben bestimmen.

Bei CPU-basierter Inferenz und speicherintensiven Analyseverfahren sind neben der Kapazität auch Speicherbandbreite und Speicherkanäle relevant. Bei GPU-beschleunigten Anwendungen sollte der Arbeitsspeicher außerdem so dimensioniert sein, dass Datenaufbereitung, parallele Prozesse und die Versorgung der Beschleuniger nicht unnötig eingeschränkt werden.

Schneller Storage für Modelle und Trainingsdaten

KI-Anwendungen verarbeiten teilweise große Datenmengen. Werden Modelle oder Trainingsdaten nicht schnell genug bereitgestellt, können leistungsfähige GPUs auf Daten warten. NVMe-SSDs bieten hohe Transferraten und kurze Zugriffszeiten. Sie eignen sich als Systemlaufwerk, Arbeitsbereich, Modellablage oder schneller Zwischenspeicher. Je nach Anforderung können mehrere Laufwerke, getrennte Speicherbereiche oder zusätzliche Datenträger für dauerhaft gespeicherte Daten vorgesehen werden.

Die passende Storage-Konfiguration richtet sich nach Kapazität, Schreiblast, Datensicherheit und gewünschter I/O-Leistung. RAID kann je nach Auslegung die Verfügbarkeit oder Geschwindigkeit eines Laufwerksverbunds erhöhen, ersetzt aber keine Datensicherung. Bei sehr großen Datenbeständen kann der KI-Server zusätzlich auf zentrale Speicherlösungen zugreifen. In diesem Fall müssen Storage und Netzwerk so ausgelegt sein, dass sie die Datenverarbeitung nicht unnötig begrenzen.

Training, Fine-Tuning und Inferenz

Training: Beim Training eines KI-Modells werden Daten verarbeitet und Modellparameter fortlaufend angepasst. Dieser Vorgang kann hohe Anforderungen an GPU-Leistung, GPU-Speicher, Arbeitsspeicher und Datendurchsatz stellen. Für umfangreiche Trainingsaufgaben werden deshalb häufig leistungsstarke Einzelserver oder Multi-GPU-Systeme eingesetzt.

Fine-Tuning: Beim Fine-Tuning wird ein bestehendes Modell für eine bestimmte Aufgabe oder einen eigenen Datenbestand angepasst. Der Hardwarebedarf hängt stark von Modell, Methode und Umfang der Anpassung ab. Auch ein kleinerer Workload kann viel Speicher benötigen, wenn große Modelle, lange Kontexte oder umfangreiche Datensätze verarbeitet werden.

Inferenz: Bei der Inferenz wird ein bereits trainiertes Modell ausgeführt. Hier spielen neben der Modellgröße vor allem Antwortzeit, Durchsatz und Anzahl paralleler Anfragen eine Rolle. Für lokale Tests oder kleinere Modelle kann ein kompaktes System oder eine CPU-basierte Lösung ausreichen. Der zentrale Betrieb für mehrere Nutzer oder Anwendungen kann dagegen leistungsfähige GPUs, viel Speicher und eine schnelle Netzwerkanbindung erfordern.

Einsatzgebiete für KI-Hardware

KI-Server können als Hardwarebasis für zahlreiche Aufgaben dienen:

• Sprachverarbeitung und Large Language Models
• Generative KI und Retrieval-Augmented Generation
• Agentische KI und automatisierte, mehrstufige Prozesse
• Bildanalyse, Objekterkennung und Qualitätskontrolle
• Datenanalyse, Prognosemodelle und Empfehlungssysteme
• Forschung und wissenschaftliches Rechnen
• Verarbeitung von Video-, Audio-, Maschinen- oder Sensordaten

Welches System geeignet ist, hängt weniger von einer allgemeinen Branchenzuordnung als vom konkreten Workload ab. Eine Bildanalyse mit mehreren hochauflösenden Kameras stellt andere Anforderungen als die lokale Inferenz eines Sprachmodells. Für eine sinnvolle Konfiguration sollten daher Datenmenge, Modellgröße, Zahlenformat, Anzahl paralleler Prozesse, gewünschte Reaktionszeit und vorgesehene Betriebsdauer bekannt sein.

Lokale KI-Verarbeitung auf eigener Hardware

Ein eigener KI-Server ermöglicht die Verarbeitung von Modellen und Daten innerhalb der vorhandenen IT-Infrastruktur. Das kann sinnvoll sein, wenn Daten den eigenen Standort nicht verlassen sollen, kurze und gleichbleibende Antwortzeiten benötigt werden oder Rechenressourcen dauerhaft verfügbar sein müssen. Auch Entwicklungs- und Forschungsteams können von einer lokal zugänglichen Hardwareplattform profitieren.

Der lokale Betrieb allein stellt jedoch weder Datenschutz noch IT-Sicherheit sicher. Dafür sind zusätzliche technische und organisatorische Maßnahmen erforderlich. Dazu können Zugriffsrechte, Netzwerksegmentierung, Verschlüsselung, Datensicherung, Protokollierung und ein geeignetes Betriebskonzept gehören. Ob eine lokale, zentrale oder hybride Infrastruktur wirtschaftlich ist, hängt von Auslastung, Administration, Energiebedarf und Skalierungsanforderungen ab.

KI-Server bei ICO konfigurieren und kaufen

Der ICO KI-Server-Konfigurator unterstützt Sie bei der Zusammenstellung einer geeigneten Hardwareplattform. Die verfügbaren Komponenten sind vom jeweiligen Grundsystem abhängig und lassen sich passend zum geplanten Einsatz auswählen. Auf Wunsch kann das System mit einem geeigneten Betriebssystem ausgestattet werden, sofern dieses für die gewählte Plattform verfügbar ist.

Nach Abschluss der Konfiguration wird der KI-Server in unserer hauseigenen Fertigung assembliert und ausführlich getestet. Die Fertigungs- und Prüfprozesse erfolgen im Rahmen unseres Qualitätsmanagementsystems nach DIN EN ISO 9001:2015. Bei Fragen zur Dimensionierung unterstützt Sie unser Vertrieb bei der Auswahl der passenden Hardwarekomponenten.