Ethernet 与 Infiniband的网络特性对比

一、两者定位
以太网(Ethernet)：
应用最广泛，是最成熟的网络互联技术，也是整个互联网络大厦的基石，兼容性非常好，可实现不同的系统之间的互连互通

IB（Infiniband）：
领域很专，作为高带宽，低时延，高可靠的网络互联技术，在HPC集群领域广泛应用，同时，也是GPU服务器首选的网络互联技术

二、网络带宽
以太网(Ethernet)：
以太网从千兆起步，目前已经发布了100G,200G,400G的以太网接口，传输速率的跨度非常大。据悉800G也将面世；

IB（Infiniband）：
目前市场主流的InfiniBand产品为Mellanox生产的HDR,可以为网络提供端到端高达200Gbps的带宽，NDR将达到400Gbps

三、通信时延
以太网(Ethernet)：
基于Ethernet 上的TCP UDP 应用的收发时延会在10us左右，与IB相差十几倍的延时。

IB（Infiniband）：
IB网络采用RDMA技术，网卡转发报文不需要经过CPU,网卡收发时延(write ,send)在600ns；
InfiniBand交换机二层架构简单，根据16bit的LID进行数据转发，采用了Cut-Through技术大大缩短了转发时延至100ns以下，远远快于Ethernet 交换机；

InfiniBand 的超低延迟（端到端测量延迟为 1µs）。可实现 40Gb/s 的吞吐量。

四、可靠设计
以太网(Ethernet)：
Ethernet构造的网络没有基于调度的流控机制，导致报文在发出的时候是不能保证对端是否会出现拥塞的，通常需要增加缓冲来提高性能，存在丢包风险

IB（Infiniband）：
在HPC领域，丢包重传对整体性能的影响非常大，InfiniBand 从协议层保证了无损传输，报文在网络上的收发是基于端到端的流控来实现的。

InfiniBand 通过在每个结构跳跃处执行循环冗余校验 (CRC) 并在整个结构中端到端确保数据正确传输，从而实现最高级别的数据完整性。

五、组网设计
以太网(Ethernet)：
Ethernet 的组网方式需要IP配合ARP协议来自动生成MAC表项的，需要网络内的每个三层设备来定时发送报文保证表项的实时更新

IB（Infiniband）：
无三层组网，InfiniBand 的二层组网没有泛洪的问题，也省去了Vlan和环网破环的操作，可以轻松部署一个规模几万台服务器的超大二层网络

六、形象比喻
以太网(Ethernet)：
以太网好比是一个快递包裹分发网络，这个网络中所有的快递中转站（交换机/路由器）都是独立运作，根据一套公认的规则（网络协议）进行分拣并投递对

IB（Infiniband）：
InfiniBand好比是城铁轨道交通网络，目的是快速（低延时），在经过每个站点时都是非常短暂的停留（在出发前就已经规划好了，知道了所经过道路上的详细信息）