# Beyond the Rack: Hoe Co-Packaged Optics (CPO) en Next-Gen Storage AI's Data Movement Probleem Oplossen
Op CIOE 2026 in Shenzhen ontstond een fascinerende verschuiving in de gesprekken onder datacenterarchitecten. Vijf jaar geleden draaiden discussies om GPU TFLOPS en CPU core counts. Vandaag? De obsessie is PB/s (petabytes per seconde) en nanoseconde latency budgets.
Waarom? Want in het tijdperk van AI-modellen met biljoenen parameters en real-time inferentie, is de bottleneck verschoven van rekenkracht naar dataverplaatsing. Een moderne H200 GPU kan 4,8 PFLOPS verwerken - maar hij krijgt te weinig data binnen. Het trainen van een GPT-4 klasse model vereist het verplaatsen van 45 petabytes aan trainingsdata over duizenden GPU's, miljarden keren.
Dit artikel onderzoekt twee convergerende technologieën die op CIOE 2026 werden getoond en die de AI-infrastructuur opnieuw definiëren: 1. Co-Packaged Optics (CPO) en Near-Package Optics (NPO) – het elimineren van elektrische bottlenecks 2. Enterprise storage van de volgende generatie – SSD's en geheugensystemen gebouwd voor AI's onverzadigbare honger
Traditionele optische modules verbinden met switches via elektrische sporen op een PCB. Naarmate datasnelheden voorbij 1,6 Tbps stijgen, worden deze sporen onoverkomelijke barrières:
- Signaalverlies: 30-40 dB/m bij 112Gbps PAM4 (56GHz) - Stroomverbruik: Retimers en DSP's verbruiken 15-20W per module - Latency: Elektrische SerDes voegt 100-200ns round-trip toe - Dichtheid: QSFP-DD faceplate beperkt tot ~51Tbps per switch ASIC
Maak kennis met Co-Packaged Optics: optische engines in hetzelfde pakket integreren als de schakelsilicon.
Tijdens de tentoonstelling was CPO overgegaan van conferentiepapers naar verzonden silicon:
#### 1. 6.4T NPO Optische Engines (华工正源/Huagong Zhongyuan) - Configuratie: 8× 800G lanes met quantum dot DWDM lasers - Energie-efficiëntie: 3,5 pJ/bit (vs. 8 pJ/bit voor plugbare modules) - Vormfactor: Geïntegreerd in het switchpakket substraat - Status: Sampling naar Tier-1 hyperscalers in Q4 2026
#### 2. Silicon Photonics Platforms (GlobalFoundries) Hun 45nm CMOS-compatibele SiPh proces maakt mogelijk: - Monolithische integratie van lasers, modulatoren en fotodetectoren - Wafer-schaal testen vermindert assemblagekosten met 60% - Multi-golflengte bronnen voor DWDM-toepassingen
#### 3. Light联芯科's Hardware Doorbraak De Chinese startup onthulde het ZW1000 maskless programmable lithography system voor silicon fotonica: - Snelle prototyping: Weken in plaats van maanden voor nieuwe ontwerpen - Low-volume productie: Economisch voor <10K unitsyear - Flexibiliteit: Herconfigureerbare golfgeleiders voor aangepaste toepassingen
Dit pakt de grootste uitdaging van CPO aan: ontwerpiniteratiecycli. Traditionele photomask kosten ($200K+) maakten experimenteren onbetaalbaar.
Niet alle toepassingen vereisen de complexiteit van CPO. Hier is wanneer elke technologie zinvol is:
| Architectuur | Best Voor | Bandbreedte | Vermogen | Kosten | Beschikbaarheid | |--------------|----------|-----------|-------|------|--------------| | Pluggable (QSFP-DD) | Spine-leaf netwerken | 800G-1.6T | 15-20W | $ | Nu | | LPO (Linear Pluggable) | Rack-naar-rack <100m | 800G 8-12W $$ Now NPO (Near-Package) | AI training clusters | 3.2-6.4T | 5-8W | $$$ | 2027 | | CPO (Co-Packaged) | Switch fabrics | 12.8T+ | 3-5W | $$$$ | 2028 |
Belangrijkste Inzicht van CIOE: Voor implementaties in 2026-2027, hybride architecturen domineren: - CPO voor spine switches (51.2Tbps+ per ASIC) - Pluggable 800G voor leaf switches - LPO voor compute fabric GPU interconnects
Voor ingenieurs die CPO-oplossingen evalueren, is het begrijpen van de architectuur cruciaal:
#### Traditioneel Pluggable Module Pad: ``` GPU → PCIe → NIC ASIC → PCB sporen (30cm) → Retimer → Module DSP → Laser → Fiber → Fotodiode → DSP → Retimer → PCB sporen → Switch ASIC ``` Totale latency: ~800ns Vermogen: ~35W voor 800G bidirectioneel
#### CPO Pad: ``` Switch ASIC → On-package golfgeleider (3mm) → Modulator → Fiber → Fotodiode → Golfgeleider → Switch ASIC ``` Totale latency: ~200ns Vermogen: ~8W voor 800G bidirectioneel
De latencyvermindering is transformerend voor synchrone parallelle training (bijv. ZeRO-3, FSDP), waar collectieve communicatieprimitieven (all-reduce, all-gather) de uitvoeringstijd domineren.
Ondanks overtuigende technische voordelen, staat CPO voor hindernissen:
1. Onvolwassenheid van de toeleveringsketen: Slechts 3-4 gekwalificeerde leveranciers wereldwijd 2. Herontwerp van Switch ASIC: Vereist co-ontwikkeling met Broadcom/Nvidia/Marvell 3. Thermisch beheer: 400W+ switch ASICs + optische engines = complexe koeling 4. Repareconomie: Dode optische engine = hele switch module afschrijven ($50K+)
Industrieconsensus op CIOE: CPO zal 15-20% van de switchmarkt in 2028 veroveren, geconcentreerd in hyperscale AI-clusters. Pluggable modules blijven dominant voor enterprise en telco.
Terwijl iedereen zich op GPU's richt, vertelden de enterprise storage exhibits op CIOE een even belangrijk verhaal: AI's datapijplijn is slechts zo snel als zijn langzaamste component.
Het trainen van een model met 1 biljoen parameters op 10TB data vereist: - Dataset laden: 10TB lezen van opslag → GPU-geheugen - Checkpointing: 2TB modelgewichten geschreven per epoch (10-100× per trainingsrun) - Shuffle operaties: Willekeurige toegangspatronen over de gehele dataset - Gradient synchronisatie: Gedistribueerde schrijfacties tijdens backpropagation
Traditionele SAS HDD's? Lachwekkend ontoereikend. Zelfs SATA SSD's hebben moeite. Hier komen NVMe PCIe 5.0 SSD's en DDR5 persistent geheugen in beeld.
#### 1. PCIe 5.0 Enterprise SSD's: De Nieuwe Standaard Topstar's exhibit bevatte Micron 7500 Series en Kingston DC1500M drives die demonstreerden: - Sequentiële leesnelheid: 14.000 MB/s (vs. 3.500 MB/s voor PCIe 3.0) - Willekeurige lees IOPS: 2,5M (cruciaal voor gedistribueerd laden van trainingsdata) - Duurzaamheid: 3 DWPD (Drive Writes Per Day) gedurende 5 jaar = 82PB totale schrijfacties op een 15TB drive
Real-world impact: Een 16-drive NVMe JBOF kan dual 100GbE links verzadigen voor dataset streaming – waardoor opslag geen bottleneck meer is voor training.
#### 2. DDR5-5600 Servergeheugen: Meer dan Capaciteit AI-workloads vereisen zowel capaciteit (512GB-2TB per server) als bandbreedte (>400GB/s per socket). DDR5-5600 levert: - Bandbreedte: 44,8 GB/s per DIMM (vs. 32 GB/s voor DDR4-3200) - Capaciteit: 128GB RDIMM modules worden standaard - Energie-efficiëntie: 1,1V vs. 1,2V voor DDR4 (10% reductie)
Op CIOE zagen we Samsung's 512GB DDR5-5600 RDIMM's – wat 2TB per socket (16× DIMM's) mogelijk maakt voor LLM-inferentieservers. Dit zorgt ervoor dat volledige modellen met 70 miljard parameters resident in DRAM blijven, waardoor overhead van modelwisseling wordt geëlimineerd.
#### 3. CXL Geheugenuitbreiding: De Game Changer Compute Express Link (CXL) 2.0 maakt geheugenpooling mogelijk over servers heen: - Gedeeld geheugenpool: Meerdere CPU's hebben toegang tot gemeenschappelijk DRAM/persistent geheugen - Latency: <200ns for remote memory access (vs. milliseconds NVMe) - Gebruiksscenario: LLM-inferentieclusters delen KV-cache over knooppunten
Hoewel nog in ontwikkeling (beperkte productie in 2026), kan CXL-geheugenuitbreiding inferentieclusterkosten met 30% verlagen door het elimineren van geheugenoverprovisionering per knooppunt.
Gebaseerd op CIOE-discussies met datacenterarchitecten, is de optimale AI-opslagstack:
#### Tier 1: GPU HBM (High Bandwidth Memory) - Capaciteit: 80-192GB per GPU (H200/B200) - Bandbreedte: 4-5 TB/s - Doel: Actieve trainingsbatches, modelgewichten tijdens forward/backward pass
#### Tier 2: Host DRAM (DDR5) - Capaciteit: 1-2TB per server - Bandbreedte: 400-800 GB/s per socket - Doel: Dataset prefetching, gradientaccumulatie, inferentie KV-cache
#### Tier 3: NVMe SSD Opslag - Capaciteit: 60-240TB per server (4-16× 15TB drives) - Bandbreedte: 50-200 GB/s (RAID 0 over drives) - Doel: Volledige datasetopslag, checkpointing, langetermijnmodelversies
Kritieke ratio: Streef naar Host DRAM : NVMe = 1:50 (bijv. 2TB DRAM, 100TB NVMe). Dit zorgt ervoor dat dataset prefetching de GPU-training nooit vertraagt.
Beschouw een AI-trainingscluster met 1.000 GPU's: - GPU-kosten: $30M (1.000× $30K per H100) - Jaarlijkse stroom: $5M ($150/GPU × 1.000 × 8.760 uur × $0,12/kWh) - Opportuniteitskosten: $5.000/uur voor inactief cluster ($43M/jaar bij 100% benutting)
Stel nu dat opslagknelpunten de effectieve GPU-benutting verminderen tot 85% (15% inactief wachten op data): - Verspilde GPU-tijd: $6,45M/jaar - Kosten om bottleneck te elimineren: $500K (premium NVMe + DDR5 + 100GbE netwerken)
ROI: 1.200% in het eerste jaar. Daarom aarzelen hyperscalers niet om $2.000 PCIe 5.0 SSD's te implementeren.
Als deelnemer aan CIOE 2026 en leverancier in de industrie, Topstar Technology positioneert klanten uniek voor succes in AI-infrastructuur:
#### Optische Interconnectie - 800G/1.6T QSFP-DD/OSFP modules - 400G/200G oplossingen voor hybride architecturen - AOC/DAC kabels voor rack-schaal connectiviteit - MPO/MTP fiber harnesses
#### Enterprise Opslag - SSD's: Micron, Kingston, Samsung enterprise NVMe (PCIe 4.0/5.0) - Servergeheugen: DDR5-4800/5600 RDIMM's en LRDIMM's - GPU-geheugen: HBM2e/HBM3 voor AI-accelerators (OEM sourcing)
#### AI Server Componenten - NVIDIA H100/H200/B100 GPU's (geautoriseerde distributeur) - Mellanox ConnectX-7 NIC's (400GbE voor RDMA) - Broadcom switches en SmartNIC's
#### 1. Eenvoud met één Leverancier Stop met het beheren van 10 verschillende leveranciers. Wij leveren complete AI-rackoplossingen: - Optimalisatie van de stuklijst (BOM) - Compatibiliteit vooraf gevalideerd - Geconsolideerde verzending en ondersteuning
#### 2. Flexibele Sourcing Opties - OEM-kwaliteit componenten voor hyperscale implementaties - Originele merk modules (compatibel met Cisco/Arista/Mellanox) - White-box oplossingen voor kostengevoelige projecten
#### 3. Technische Co-ontwikkeling Onze ingenieurs werken samen aan: - Netwerktopologie ontwerp (Clos, Fat-tree, Dragonfly) - Opslaglaag dimensionering op basis van workload profiling - Stroom- en koelingsbudgetten voor implementaties op rackniveau
#### 4. Snelle Implementatie Tijdlijnen In een sector met levertijden van 16-24 weken, handhaven wij: - Strategische componentenvoorraad ($5M+ voorraad) - 4-8 weken levering voor standaardconfiguraties - Spoedopties voor dringende implementaties
Een recent klantproject illustreert onze end-to-end capaciteit:
Vereisten: - 500× NVIDIA H100 GPU's - 100TB datasetopslag per node - <10μs netwerklatentie voor all-reduce operaties
Topstar Oplossing: - Netwerken: - 500× Mellanox ConnectX-7 400GbE NIC's - 64× 800G QSFP-DD optische modules voor spine switches - 1.024× 400G QSFP-DD modules voor leaf switches - Opslag: - 4.000× Kingston DC1500M 15TB NVMe SSD's (8 per server) - RAID-controllers met 8GB cache per server - Geheugen: - 32.000× Samsung DDR5-5600 64GB RDIMM's (64 per server, 4TB/node)
Implementatie Tijdlijn: - Week 1-2: BOM finalisatie en inkoop - Week 3-6: Levering en integratie van componenten - Week 7-8: Rackinstallatie en netwerkcommissioning - Week 9: Workload validatie en overdracht
Resultaat: Cluster bereikte 94,2% GPU-benutting tijdens weeklange trainingsruns – een van de hoogste in de industrie.
Gebaseerd op inzichten van CIOE 2026 en industriële roadmaps, hier is wat er komt:
- 3.2T optische modules komen in volumeproductie - DDR6 sampling begint (7.200 MT/s, 60GB/s per DIMM) - PCIe 6.0 SSD's leveren 28GB/s sequentiële leessnelheden - CXL 3.0 maakt geheugenpooling over racks mogelijk
- 12.8T switch ASICs met geïntegreerde CPO - 400G per-lane signalering (vs. huidige max 200G) - Optische circuit switching voor dynamische bandbreedteallocatie - Eerste commerciële fotonische AI-accelerators (analoge optische computing)
- Rack-schaal optische switching vervangt elektrische distributie - Silicon fotonica wordt goedkoper dan koper bij >100Gbps - Persistent geheugen (CXL-aangesloten) vervangt NVMe voor warme opslag - Kwantum-verstrengelde beveiligde verbindingen voor synchronisatie van AI-modellen tussen datacenters
De AI-modellen die de krantenkoppen halen – GPT-5, Gemini Ultra, Claude Opus – zijn slechts zo capabel als de infrastructuur eronder. Op CIOE 2026 was de boodschap ondubbelzinnig: het tijdperk van AI wordt één optische module, één SSD en één geheugen-DIMM tegelijk gebouwd.
Voor organisaties die AI-infrastructuur implementeren, kwamen drie imperatieven naar voren:
1. Wacht niet op perfecte technologie – 800G en DDR5 zijn nu productieklaar 2. Ontwerp voor dataverplaatsing, niet alleen voor rekenkracht – Opslag en netwerken zijn gelijkwaardig aan GPU's 3. Werk samen met leveranciers die de stack begrijpen – Optiek, opslag en rekenkracht moeten samen worden ontworpen
Topstar Technology staat op dit snijvlak – het samenbrengen van cutting-edge componenten, diepgaande technische expertise en de flexibiliteit van de toeleveringsketen om te voldoen aan agressieve implementatietijdlijnen. Of u nu uw eerste AI-cluster bouwt of schaalt naar 100.000 GPU's, wij staan klaar om uw infrastructuurpartner te zijn.
De toekomst van intelligentie wordt vandaag gebouwd. Laten we het samen bouwen.
---
Topstar is een toonaangevende leverancier van AI-infrastructuurcomponenten, gespecialiseerd in: - Optische Modules: 800G/1.6T QSFP-DD, 400G OSFP, CPO/NPO oplossingen - Enterprise Opslag: NVMe SSD's (PCIe 4.0/5.0), Enterprise SATA, U.2/U.3 form factors - Servergeheugen: DDR5 RDIMM's/LRDIMM's, HBM voor AI-accelerators - GPU & Netwerken: NVIDIA AI GPU's, Mellanox SmartNIC's, Broadcom switches
Met meer dan 15 jaar ervaring in het bedienen van hyperscale datacenters, telecommunicatieproviders en zakelijke klanten, combineren we OEM-kwaliteit met white-box economie.
📧 Technische Vragen: dsale@topsfp.com 🌐 Productcatalogus: www.opticalmodulemanufacturers.com | www.qsfp28module.com 📱 Connect: [Facebook](https://www.facebook.com/topstar.sfp/) | [LinkedIn](https://www.linkedin.com/company/13177171/)
---
Trefwoorden: Co-packaged optics, CPO, NPO, AI datacenter, enterprise SSD, DDR5 servergeheugen, NVMe PCIe 5.0, silicon fotonica, optische interconnectie, GPU opslag, CIOE 2026, high-speed netwerken, AI infrastructuur
SEO Tags: #CoPackagedOptics #CPO #NPO #AIInfrastructure #EnterpriseSSD #DDR5Memory #DataCenter #CIOE2026 #SiliconPhotonics #GPUStorage #OpticalModules #NVMe
Contactpersoon: Ms. Vicky Tian
Tel.: +86 19860146913
Fax: 86-0755-82552969
Dutch
