小红书将业内最大数据湖迁至阿里云:0故障,迁移数据500PB,参与人数1500人

新识研究所 原创

2024-11-07 17:59

11月6日,阿里云宣布,小红书技术团队成功将业界最大数据湖零故障迁移至阿里云。

据悉,目前月活用户已经超过3万的小红书数据湖中存储了过去11年的所有原始数据,包括结构化、半结构化和非结构化数据。

随着小红书的发展,处理数据难度增大,小红书决定将数据化搬迁到阿里云,该项目从2023年11月开始。彼时,小红书共有1500人参与迁云项目,计划一年内完成,该项目远超此前的业界体量最大的案例规模。

今年5月,项目正式进入双跑阶段,该阶段中每周需要解决新增500多个问题,到今年11月,小红书迁云项目正式宣告结束,在没有故障的情况下,迁移数据500PB,任务11万,参与人数1500人,涉及部门40多个。

作者:朱永康

编辑:丁力

特别声明
本文为正观号作者或机构在正观新闻上传并发布,仅代表该作者或机构观点,不代表正观新闻的观点和立场,正观新闻仅提供信息发布平台。
最新评论
打开APP查看更多精彩评论

微信扫一扫
在手机上浏览