With the increasing importance of data and artificial intelligence, organizations strive to become more data-driven. However, current data architectures are not necessarily designed to keep up with the scale and scope of data and analytics use cases. In fact, existing architectures often fail to deliver the promised value associated with them. Data mesh is a socio-technical concept that includes architectural aspects to promote data democratization and enables organizations to become truly data-driven. As the concept of data mesh is still novel, it lacks empirical insights from the field. Specifically, an understanding of the motivational factors for introducing data mesh, the associated challenges, best practices, its business impact, and potential archetypes, is missing. To address this gap, we conduct 15 semi-structured interviews with industry experts. Our results show, among other insights, that industry experts have difficulties with the transition toward federated governance associated with the data mesh concept, the shift of responsibility for the development, provision, and maintenance of data products, and the concept of a data product model. In our work, we derive multiple best practices and suggest organizations embrace elements of data fabric, observe the data product usage, create quick wins in the early phases, and favor small dedicated teams that prioritize data products. While we acknowledge that organizations need to apply best practices according to their individual needs, we also deduct two archetypes that provide suggestions in more detail. Our findings synthesize insights from industry experts and provide researchers and professionals with guidelines for the successful adoption of data mesh.


翻译:随着数据和人工智能的重要性日益提升,各组织正努力实现更加数据驱动的运营。然而,当前的数据架构未必能跟上数据与分析用例的规模与范围。实际上,现有架构往往无法交付其承诺的价值。数据网格是一种包含架构层面的社会技术概念,旨在促进数据民主化,使组织能够真正实现数据驱动。由于数据网格概念尚属新兴,缺乏来自实践领域的经验性洞察。具体而言,关于引入数据网格的驱动因素、相关挑战、最佳实践、业务影响及潜在原型模式的理解仍存在空白。为填补这一空白,我们与行业专家进行了15次半结构化访谈。研究结果显示,行业专家在向与数据网格概念相关的联邦式治理转型、数据产品开发、供应与维护责任的转移,以及数据产品模型概念方面面临困难。本研究提炼出多项最佳实践,建议组织采纳数据编织的要素、监控数据产品使用情况、在早期阶段创造速赢成果,并组建优先关注数据产品的小型专注团队。我们承认组织需根据自身需求应用最佳实践,同时推导出两种提供更详细建议的原型模式。研究发现综合了行业专家的洞察,为研究人员和实践者提供了成功采用数据网格的指南。

0
下载
关闭预览

相关内容

Artificial Intelligence: Ready to Ride the Wave? BCG 28页PPT
专知会员服务
28+阅读 · 2022年2月20日
精彩活动丨AI for Graph Computation学术研讨会
图与推荐
1+阅读 · 2022年7月16日
征稿 | International Joint Conference on Knowledge Graphs (IJCKG)
开放知识图谱
2+阅读 · 2022年5月20日
灾难性遗忘问题新视角:迁移-干扰平衡
CreateAMind
17+阅读 · 2019年7月6日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
可解释的CNN
CreateAMind
18+阅读 · 2017年10月5日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
0+阅读 · 2023年5月24日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关VIP内容
Artificial Intelligence: Ready to Ride the Wave? BCG 28页PPT
专知会员服务
28+阅读 · 2022年2月20日
相关基金
Top
微信扫码咨询专知VIP会员