Kafka 基础知识

Kafka 是一个分布式流式处理平台。

流平台具有三个关键功能:

  1. 消息队列:发布和订阅消息流,这个功能类似于消息队列,这也是 Kafka 也被归类为消息队列的原因。
  2. 容错的持久方式存储记录消息流: Kafka 会把消息持久化到磁盘,有效避免了消息丢失的风险·。
  3. 流式处理平台: 在消息发布的时候进行处理,Kafka 提供了一个完整的流式处理类库。

Kafka 主要有两大应用场景:

More »

[译]Apache Kafka、RabbitMQ 与 AWS SNSSQS:哪个消息代理最好?

原文链接:https://ably.com/topic/apache-kafka-vs-rabbitmq-vs-aws-sns-sqs

将消息从一个组件获取到另一个组件是微服务架构中最重要的部分之一。每个服务必须能够与任何其他服务异步、可靠且大规模地通信。

这就是消息代理的用武之地。消息代理(例如 Apache Kafka、RabbitMQ 和AWS SNS/SQS)为您提供一个通用接口和一组保证,而不是手动协调可能数千个微服务之间的通信。这简化了集成并更容易推理您的系统。

然而,比较消息代理可能很棘手,因为每个消息代理都采用不同的方法来完成工作。那么,您如何决定哪个消息代理最适合您的用例?

More »

[译]如何通过 WebSocket 将 Kafka 消息流式传输到面向互联网的客户端

原文链接:https://ably.com/topic/websockets-kafka

Apache Kafka 是目前最强大的异步消息传递技术之一。 Kafka 由 Jay Kreps、Jun Rao 和 Neha Narkhede 等团队于 2010 年在 LinkedIn 设计,并于 2011 年初开源。如今,该工具被众多公司(包括科技巨头,例如 Slack、Airbnb 或 Netflix 使用)为其实时数据流管道提供支持。

More »