性能 – 写入速度要求:1.1GB / s的可能性?

我们将有一台机器在工作,在最高性能,应该能够每小时推送50(“写头”)x 75GB的数据.这是〜1100MB / s写入速度的最高性能.要从机器上获得它,它需要两条10GBi线.我的问题是什么样的服务器技术可以处理/存储这样的数据流?

目前,对于数据存储,我们使用ZFS,尽管写入速度从来都不是问题. (我们甚至没有接近这些速度)ZFS(Linux上的zfs)是一个选项吗?我们还需要存储大量数据,“IT指南”建议总共介于50-75 TB之间.所以它可能不是所有的SSD,除非我们想要提供我们的第一个孩子.

基于优秀回复的一些补充:

>峰值期间最大值为50x75GB /小时,小于24小时(大多数情况下)
可能<6h)
>我们预计不会很快发生这种情况,我们很可能会这样做
运行5-10x75GB /小时
>这是一台pre-alpha机器,但是应该满足要求(即使有很多问号在起作用)
>我们将使用NFS作为从机器到服务器的连接
>布局:生成机器 – >存储(这一个) – > (安全袭击6) – >计算集群
>所以读取速度并不重要,但从计算集群中使用它会很好(但这完全是可选的)
>最有可能是大型数据文件(不是很小)

绝对……如果架构正确,Linux上的ZFS是可能的.很多情况都是 poor ZFS design,但做得很好,可以满足您的要求.

因此,主要的决定因素将是您如何连接到此数据存储系统.是NFS吗? CIFS?客户端如何连接到存储?或者是在存储系统上进行处理等?

填写更多细节,我们可以看看我们是否可以提供帮助.

例如,如果这是NFS并且具有同步安装,则可以在Linux上扩展ZFS以满足写入性能需求并仍然保持长期存储容量要求.数据是否可压缩?每个客户如何连接?千兆以太网?

编辑:

好的,我会咬人:

这是一个大约17,000美元至23,000美元的规格,适合2U机架空间.

HP ProLiant DL380 Gen9 2U Rackmount
2 x Intel E5-2620v3 or v4 CPUs (or better)
128GB RAM
2 x 900GB Enterprise SAS OS drives 
12 x 8TB Nearline SAS drives
1 or 2 x Intel P3608 1.6TB NVMe drives

此设置将使用硬件RAID6或ZFS RAIDZ2为您提供80TB可用空间.

由于重点是基于NFS的性能(假设是同步写入),我们可以使用P3608 NVMe驱动器(条带SLOG)轻松吸收所有这些.它们可以在顺序写入时容纳3GB / s,并具有足够高的耐久性等级,可以持续处理您所描述的工作负载.在SLOG用例下,驱动器很容易被过度配置以添加一些保护.

使用NFS工作负载,写入将被合并并刷新到旋转磁盘.在Linux下,我们会将其调整为每15-30秒刷新一次.旋转磁盘可以处理这个问题,如果这些数据是可压缩的,可能会受益更多.

服务器可以扩展4个开放式PCIe插槽和一个用于双端口10GbE FLR适配器的附加端口.所以你有网络灵活性.

相关文章
相关标签/搜索