Ethernet is DEAD?? Mac Studio is 100x FASTER!!

Item: Ethernet is DEAD?? Mac Studio is 100x FASTER!!
Rating: 4
Author: PostSingularity Institute

by NetworkChuck

Applied Sciences & Engineering Computing & Cybersecurity UKComputer hardware UKNNetwork hardware

🎙 NetworkChuck 👥 5.4M 📅 December 20, 2025 ⏱ 33 min 👁 1.0M 📄 tutorial 🧭 2026-09-09

Available in: English (current) Français

Keywords

RDMATensor ParallelismMac StudioLLMCluster

Summary

NetworkChuck builds a 4-node Mac Studio M4 Ultra cluster with 512GB RAM each, totaling 2TB unified memory, and tests it for local AI inference. He explains that Apple’s software update (macOS 26.2) enables RDMA over Thunderbolt 5, reducing latency from 300 to 3 microseconds, making tensor parallelism viable across nodes. Using Exo Labs and MLX, he demonstrates significant performance gains: Llama 3.3 70B runs at 16 tok/s (vs 5 tok/s in previous pipeline mode), Qwen 3 Coder 480B at 40 tok/s, Kimi K2 (1T parameters) at 28 tok/s, and DeepSeek V3.1 671B at 27 tok/s. He also runs two large models simultaneously, showcasing the cluster’s capability. The video includes detailed teardown of pipeline vs tensor parallelism, RDMA’s role, and a practical comparison to single-node performance. It ends with a prayer and thanks to the community, Apple, and Exo Labs. The content is a hands-on tutorial and performance test, with open-source resources for replication.

153 words

Critical Evaluation

Value of the Information & Strength of the Argument

Valeur des informations : La vidéo fournit des données quantitatives réelles (vitesses de génération, latences, coûts) et compare clairement les performances avant/après RDMA. Elle explique des concepts complexes (RDMA, parallélisme tensoriel) de manière accessible, avec des schémas et métaphores. L’argumentation est essentiellement empirique : les chiffres sont présentés avec leurs conditions de test, et les limites du clustering (coût, taille des modèles) sont évoquées. Solidité de l’argumentation : L’auteur admet les échecs précédents et justifie les améliorations par des données. Cependant, il s’appuie sur un écosystème fermé (Apple, Exo Labs) et un budget de 50 000 $, ce qui limite la généralisation. Il y a aussi des incohérences potentielles, comme la comparaison de Llama 3.2 3B 8-bit sur un nœud avec 4-bit sur cluster (signalée par un commentaire). L’aspect sponsoring (Twingate) est présent mais n’entache pas la démonstration technique.

Scientific Rigor, Source Quality, Title Accuracy

Rigueur scientifique : La méthodologie est reproductible (scripts GitHub fournis), les spécifications matérielles sont détaillées, et les logiciels (Exo Labs, MLX) sont open-source. Les benchmarks sont effectués avec des modèles standards et des temps de génération mesurés. Cependant, il n’y a pas de réplication indépendante, et la vidéo est produite avec des financements de marques (Twingate). La fiabilité des chiffres est bonne mais non vérifiée par une source externe. Adequation titre/contenu : Le titre annonce une mort d’Ethernet, mais le contenu traite de clustering et de RDMA ; la réduction de latence de 100x est réelle mais ne signifie pas qu’Ethernet est mort. Le titre est accrocheur et partiellement trompeur, mais les moments forts du contenu compensent. Les commentaires (30 analysés) sont presque tous positifs, avec des remerciements pour les explications et la prière finale, ce qui reflète une bonne réception du public.

297 words

Title / Content Match

The title is clickbait; the video is about clustering Mac Studios with RDMA, not about Ethernet becoming obsolete. The claim '100x faster' refers to latency reduction, not overall speed, and the video does not kill Ethernet. The title--content mismatch is partial but noticeable.

Quality & Reliability

8/10

The video provides concrete benchmark data, detailed hardware specifications, and clear explanations of technical concepts like RDMA and tensor parallelism. However, it is a sponsored, product-focused video with potential bias, and some claims (e.g., 'most powerful local AI setup ever built') are subjective and unverified by independent sources.

Chapters

Cited Sources

Mac Studio Cluster Walkthrough — Documentation et scripts pour reproduire le cluster.
Exo Labs (exo-explore) — Logiciel utilisé pour orchestrer le cluster et le parallélisme.
MLX - Apple's ML Framework — Framework d'apprentissage automatique d'Apple utilisé pour l'inférence.
First Cluster Video (the failure) — Vidéo précédente de NetworkChuck montrant l'échec du clustering.
RDMA Networking Explained — Vidéo de NetworkChuck expliquant RDMA dans les data centers.

External References

Contribution & Novelties

La vidéo apporte une contribution originale en démontrant concrètement que le clustering de Mac Studio avec RDMA via Thunderbolt 5 peut dépasser les performances d’un seul nœud, contrairement à l’échec précédent. Elle fournit une analyse comparative pipeline vs tensor parallelism et valide l’intérêt du RDMA pour l’inférence locale de très grands modèles. C’est une démonstration pratique avec du matériel grand public, et les benchmarks sont reproductibles grâce aux ressources partagées.

Pour aller plus loin :

Remote direct memory access (RDMA) — Concepts de base et implémentation réseau.
Tensor parallelism in distributed deep learning — Approches académiques du parallélisme tensoriel.
MLX – Apple’s machine learning framework — Documentation officielle et exemples.
Thunderbolt 5 specification — Détails techniques de la connectivité haute vitesse.
Pipeline parallelism in deep learning — Comparaison avec le parallélisme pipeline.

132 words

Radar Profile

Le profil radar montre des scores élevés en quantité d'information et niveau technique, mais des scores légèrement inférieurs en qualité et fiabilité, reflétant une vidéo riche en détails et en concepts mais sujette à un biais de sponsoring et à des vérifications indépendantes limitées.

Reliability 7/10

💬 Orientation : très positif. Sur les 30 commentaires analysés, la quasi-totalité exprime gratitude et enthousiasme, avec des remerciements pour les explications techniques et la prière finale, et quelques plaisanteries sur la pénurie de RAM.