被社区关注的Blink开源到底向上游贡献了什么？

为了更好的支持批处理，以及解决阿里巴巴大规模生产场景中遇到的各种挑战，Blink 对 Runtime 的架构、效率、稳定性方面都做了大量改进。在架构方面，首先 Blink 引入了可插拔 Shuffle 架构，开发者可以根据不同的计算模型或者新硬件的需要实现不同的 Shuffle 策略进行适配。此外 Blink 还引入新的调度架构，容许开发者根据计算模型自身的特点定制不同调度器。为了优化性能，Blink 可以让算子更加灵活的链在一起，避免了不必要的数据传输开销。在 Pipeline Shuffle 模式中，使用了 ZeroCopy 减少了网络层内存消耗。在 BroadCast Shuffle 模式中，Blink 优化掉了大量的不必要的序列化和反序列化开销。

（编辑：南京站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!