数仓建模—美团配送数据治理实践 今天，数据资产日益成为企业的核心竞争力。但如果企业在走向数字化过程中遗忘了数据治理，可能再多的投入都会变成一种“徒劳”。 今天的文章来自美团配送数据治理团队，他们从数据治理的概念、达成的目标、何时启动数据治理以及如何开展数据…

目录 前言一、11个最佳实践1、尽量避免手工编码2、由业务驱动并减少对 Schema 规范的依赖3、设计批流一体的数据处理框架4、在提取时清洗原始数据5、尽量不要依赖文件传输6、监控数据流中的一切7、检查数据内容而不是只计算数量8、通过 DevOps 来应对数据流转9、分离数据流转系…

订阅 Python全栈白宝书-零基础入门篇 可报销！白嫖入口-请点击我。推荐他人订阅，可获取扣除平台费用后的35%收益，文末名片加V！说明：该文属于 Python全栈白宝书专栏，免费阶段订阅数量4300+，购买任意白宝书体系化专栏可加入TFS-CLUB 私域社区。福利：加入社区的小伙伴们，除…

意外的文件删除或文件损坏可能会令人头疼，尤其是在您不使用云存储的情况下。两者通常都支持已删除的文件恢复和版本控制，以帮助您摆脱此类困境。如果您不使用云，通常唯一的机会就是使用数据恢复软件来找回丢失或损坏的数据。 这种方法有两个…

前言 大家好，我是云祁！ 和大家分享一本近期读完的非常不错的技术书籍，赵宏田老师的《用户画像：方法论与工程化解决方案》。 用户画像是目前在技术公司广泛使用的技术，是根据客户人口统计信息、社交关系、偏好习惯和…

什么是数据同步服务？顾名思义，就是在不同的系统之间同步数据。根据具体业务目的和应用场景的不同，各种数据同步服务框架的功能侧重点往往不尽相同，因而大家也会用各种大同小异的名称来称呼这类服务，比如数据传输服务&a…

订阅 Python全栈白宝书-零基础入门篇 可报销！白嫖入口-请点击我。推荐他人订阅，可获取扣除平台费用后的35%收益，文末名片加V！说明：该文属于 Python全栈白宝书专栏，免费阶段订阅数量4300+，购买任意白宝书体系化专栏可加入TFS-CLUB 私域社区。福利：加入社区的小伙伴们，除…

概述 ETL是数据仓库的后台，主要包含抽取、清洗、规范化、提交四个步骤，传统数据仓库一般分为四层模型。 分层的作用 STG层 在维度建模阶段已经确定了源系统，而且对源系统进行了数据评估。STG层是根据CDC策略把各个源系统的数据抽取到数据…