创立大数据架构：核心组件优秀做法

结构化、半结构化和非结构化数据的数量和种类正呈指数增长，并且以越来越高的速度从各种来源生成，这形成大数据。

研究人员估计，到2025年，世界每天将创建463艾字节的数据，即每天4,630亿千兆字节。

当然，没有任何一家企业会需要所有这些数据，但是他们需要收集、存储和分析尽可能多的数据，以便从可行见解中获得优势，以在这个数字时代有效地竞争并取得成功。

然而，很多企业才刚刚开始其大数据之旅。数据集成平台提供商Talend公司全球解决方案工程副总裁Christophe Antoine说：“大多数企业仍在摸索大数据的作用。”这里的主要原因：他们没有适当的大数据架构。Antoine 补充说：“如果你只是重复自己所做的事情，你很有可能会对结果感到不满意。”

什么是大数据架构?

企业需要扩展其技术堆栈来处理大量且多样的数据，并且他们需要部署基础架构，以最快的速度(通常是实时或近实时)完成这项工作。

数字化转型服务UST公司数据工程和平台总经理Sripathi Jagannathan说：“传统的数据库和数据处理技术无法扩展以满足企业的需求。”

这正是大数据架构发挥作用的地方。它的目的是获取、处理和分析数据，而传统数据库系统无法处理这些数据，因为它们太大或太复杂。而且，大数据架构可随着企业大数据计划的发展而扩展-无论是所使用的数据量，企业用例数量–取决于企业的大数据。

Jagannathan解释说：“大数据架构是基础架构和软件方法，可加快存储和处理非常大量且以不同速度生成的各种数据。”

大数据架构组件

IT顾问表示，他们已经看到有些企业领导者错误地寻求一种一次性解决方案来满足其大数据野心。实际上，企业需要设计和部署多层架构，以成功处理大数据程序中所涉及的全部任务。

大数据分析咨询公司Brillio美国地区负责人Sandhya Balakrishnan表示，最简单的大数据架构模型具有三层。

存储层保存企业从各种数据生成源中提取的数据，无论这些源是企业自己的操作系统、第三方系统还是其他端点。

处理层可以执行批处理、实时处理或混合处理。

消耗层使企业可以通过分析引擎、数据查询或AI和机器学习应用程序以及数据可视化(这可以通过很多不同的工具来实现)以各种方式使用数据。

其他模型将大数据架构分解为更多的层，从而分离出更多的单个组件。例如，某些模型列出这些单独的层：数据收集器、数据获取、存储、处理、数据查询、数据分析和数据可视化。

其他模型进一步增强数据安全性和数据监视。

（编辑：漯河站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!