Rede rápida no laboratório doméstico ou como entrei em contato com a InfiniBand

Deixe os engenheiros de rede rirem de mim em grandes integradores que têm acesso a equipamentos de última geração por um monte de dólares. Eu quero falar sobre como você pode obter sua rede doméstica rápida e não quebrar.

tl; dr Se alguém estiver interessado, agora a situação é tal que alguns desktops podem ser conectados com uma grade de 56 Gb por <$ 100 + frete dos estados. Se você quiser mais computadores, isso é <$ 100 para um switch de 12 portas de 40 GB e ~ $ 60 para um desktop, mais frete Mas tudo isso é de segunda mão e nenhuma garantia.

Peço desculpas antecipadamente, mas haverá muitas abreviações. E isso não é propaganda - todo esse equipamento já existe há anos, não é mais suportado pelo fabricante e é facilmente procurado usado no eBay por muito barato, se comparado aos preços dos novos do fabricante. Mas devo dizer que o novo (anunciado no final de 2020) é quase uma ordem de magnitude mais rápido. Portanto, é tudo sobre experimentação em casa e auto-estudo.

Idade do Cobre

, 2013, - , Ethernet 1Gb - , . , . 10GbE , Mellanox. Ethernet, InfiniBand ( ). Wiki, , - IB IP over IB, , . , / eBay - ($20-30). ( ) Mellanox- MHEH28-XTC, InfiniBand SDR Ethernet 10GbE, CX4. 3 ( 0.5, - ).

, 600-700MB/s . RAM , SSD 250-300MB/s . 

, - , . , , . . , .

, , . MHGH28-XTC, InfiniBand DDR, 16Gbps. , , , . , 8 , , Cat 5/6. 1600MB/s, . , - .

, , MHJH29-XTC, QDR - 32Gbps. , Firmware - . , Win . , Linux . QDR , QDR - .

- , . . Enterprise , , . - . , - . .

, 2018. , - ( ) , eBay / . ConnectX-3, , . , .

SIDENOTE: , - 10/40GbE 25/50/100+GbE. , .

, . , Mellanox', HP/Dell/IBM, . Win, Linux, . QDR/FDR10/FDR14, 40/56Gbps. 4700+MB/sec . NVMe (PCI 3 -), .

- (<$100 8/12 32/40Gb). IS5022, - QDR, - , 8 , - , .

, Noctua, , , . 26074-84 8486-86.

WARNING: - - , . - , !

SX6005 - FDR10 12 , , . . DIY, -.

, - (Brocade ICX ). 

- , - InfiniBand . Ethernet, IPoIB. - Win/Linux , . - - , IB level 3 (, , ). , (SR-IOV VF ), , .

Infelizmente, atualmente não há switches Ethernet baratos de 40/56 GbE no eBay (você pode procurar o SX1012 se estiver interessado) para experimentar. Teremos que esperar mais alguns anos. E aí, você vê, e até 25 / 100GbE você pode obter em seu laboratório doméstico.

PS: Com o IB, ainda existem todos os tipos de nuances, como a necessidade de OpenSM em algum lugar, se o switch não for gerenciado, mas este ainda não é um artigo sobre como configurar o IB.




All Articles