搜绝版
迎客多软件商店官网.

基于开源Kafka&Flink&CrateDB的智能系统IoT案例

智能系统物联网使用案例

物联网系统使用数据和人工智能(AI)来监控,控制或预测连接互联网的设备的行为。它们是新智能工厂,智能城市和智能车队的基础,这些工厂正在改变社会生活,旅行和生产商品的方式。

物联网软件开发人员面临的挑战是处理这些系统产生的大量数据和各种数据。如果您正在开发智能系统,本博文将介绍开源IoT数据平台堆栈的体系结构,以便轻松,经济地处理以下物联网要求:

  • 规模 – 每秒数百万条消息来摄取,丰富,存储和分析。
  • 性能 – 亚秒级查询速度,可实时控制,警报,预测。
  • 数据种类 – 数百种不同的传感器消息结构,总是在不断发展。
  • 时间序列,搜索,SQL – 处理时间序列数据等,无需多个数据库。
  • 可变性 – 不可预测的中断和延迟会影响数据的准确性。
  • 正常运行时间 – 不间断运行和可靠性。
  • 无需锁定和上市时间 – 标准接口和开源可以轻松雇用人才,与其他技术集成,并避免平台锁定。

本白皮书提供了一个分步教程, 演示了如何处理IoT流并将其插入CrateDB以进行进一步分析。

工业物联网时间序列流的开源栈

工业物联网为开发人员带来了极端的时间序列挑战。来自连接工厂,能源网和服务车队的数据通常比IT系统监控和消费者物联网领域中的时间序列工作负载更加多样化和庞大。

在下一节中,我们将解释如何满足上述IoT数据要求,特别是工业时间序列处理,以及包含Apache KafkaApache  Flink CrateDB的开源堆栈。 

弗林克 - 卡夫卡CrateDB-IIoT时间序列-WP

Apache Kafka – 物联网传感器消息网关

该堆栈在前线使用Apache Kafka,对从IoT传感器和设备接收的消息进行排队,并使该数据高度可用于需要它的系统(例如,Apache Flink)。

Apache Kafka是一个基于分布式提交日志的分布式高吞吐量消息队列系统。核心抽象是一个分为多个分区的主题。生产者(例如物联网设备中的传感器)将其记录发布到主题的分区。Kafka群集使用可配置的保留策略持久保留传入消息,该策略确定消息可供消费的时间长度。每个分区都维护不可变的有序消息序列。分区被分配给多个代理并在其上复制。

Apache Kafka是一个基于发布/订阅的消息传递系统。一个或多个下游消费者订阅主题以从其分区日志中读取消息。消费者被分配到消费者群体。来自主题的每个记录由来自组的单个消费者处理。消费者组对其消费者进行负载均衡消息处理,并允许并行处理消息。

Apache Flink – 物联网传感器数据流处理

该堆栈使用Apache Flink处理并将Apache Kafka排队的传感器数据流注入CrateDB数据库。

Apache Flink是一个流处理框架,用于执行数据管道 – 对数据流进行有状态计算。Apache Flink具有执行以下功能的独特功能:

  • 容错,高吞吐量执行 – Flink在内存中并行处理数据流,跨服务器集群。它已经过基准测试,每个CPU核心每秒执行超过一 百万个事件。
  • 完全一次“语义 – Flink保证处理的消息只影响最终 结果一次,即使在系统故障下也是如此。
  • 正确的事件顺序 – Flink具有“事件时间”的概念,它确保数据在时间戳方面得到处理,即使事件没有按顺序到达。发生这种情况时,Flink提供了多种选择,用于处理“迟到”的数据。
  • 背压释放 – Flink限制数据源以防止它们过载或崩溃作业。
  • 具有窗口功能的强大计算模型 – Flink可以可靠,快速地在数据流上执行强大的计算,甚至是由任意时间窗口约束的计算。 

CrateDB – 查询实时或历史性工业物联网时间序列数据

该堆栈使用CrateDB SQL DBMS来存储和查询Apache Flink已处理和丰富的数据。

CrateDB是一种新型的分布式SQL数据库,由于其易于使用(SQL),并且能够使用数千个传感器数据结构处理数TB的时间序列数据,因此使堆栈非常擅长处理工业时间序列数据。

CrateDB在无共享体系结构中运行,作为相同配置的服务器(节点)的集群。节点彼此无缝协调,写入和查询操作的执行自动分布在集群中的节点上。

增加或减少数据库容量是添加或删除节点的简单任务。随着群集更改大小,分片,复制(用于容错)和数据重新均衡是自动化的。

直到最近,像这样的工作负载通常需要像Cassandra,Elasticsearch或InfluxDB这样的NoSQL解决方案,通常与传统的RDBMS结合使用。CrateDB使得在单个系统中处理它们成为可能,而不会牺牲SQL的熟悉性和强大功能。CrateDB与Grafana等工具无缝连接,实现数据可视化和监控,非常适合时间序列和机器数据用例。

赞(1) 打赏
转载请署名本站:soJB.cn » 基于开源Kafka&Flink&CrateDB的智能系统IoT案例
分享到: 更多 (0)

相关推荐

  • 暂无文章

评论交流 1

评论前必须登录!

 

  1. #1

    这是一个解决方案,程序源码是该方案的雏形。
    大家可以购买,我们提供部署和技术答疑。

    sojb_cn3个月前 (07-02)

请作者喝杯咖啡吧☕️

支付宝扫一扫打赏

微信扫一扫打赏