海量数据实时计算利器Tec

  • 时间:
  • 浏览:2

Pora怎样才能能在没法巨大的压力下不延迟?除了其在业务层面所做的种种优化以及集群层面的有力支持外,与其核心层Tec的设计实现是分不开的。

另一根完整篇 不同的战线上,AliExpress(AE)搜索的离线数据库Dump业务在双11期间实现了从几小时批量到秒级实时的历史性飞跃,同去做到了全量增量一体化。得益于离线实时化,AE算法在双11中也取得了惊艳的效果。

与Pora相同的是,AE的离线新架构中也采用了Tec进行实时计算。

Tec是针对海量流式数据实时计算

在以前过去的2015年双11大促中,搜索事业部的实时计算和在线学习系统Pora经受住了前所未有的双11巨量用户行为消息的冲击,在流入实时消息量持续超过150w/s,甚至峰值飙升至1501w/s的压力下始终保持了端到端秒级实时效果,助力相关的搜索和推荐实时业务取得了很好的效果。