-
数据仓库(一):数仓的前世今生
前言:笔者自2019年硕士毕业,先后任职于两家一线互联网大厂,加上实习经历在数据行业已经摸爬滚打近5年。近来愈发认识到工作中自我沉淀的重要性,既是对自己日常工作的梳理总结,也可以帮助到一些数据新人少走弯路。本篇从数据库引申到数据仓库,用一个生动形象的例子来介绍数据仓库的特性与必要性。了解数据底层可以帮助我们更好的去做数据相关工作,如果本篇文章能帮助到屏幕前困惑的你,会让我很开心。 01、什么是数据…- 1.5k
- 0
-
数据库、数据湖、数据仓库、湖仓一体、智能湖仓,分别都是什么鬼?
最近被大数据相关的小词儿,整的有点懵。索性我们就来个专题,聊透数据库、数据仓库、数据湖以及风头正劲的“Lake house”——湖仓一体化。 01 数据仓库是个啥?和数据库有什么不同? 数据库的基本概念,大家应该都不陌生。如今但凡是个业务系统,都或多或少需要用到数据库。 即便我们不直接跟数据库打交道,它们也在背后默默滴为我们服务,比如刷个卡、取个钱,后台都是数据库们在扛着。 数据库主要用于「事务处…- 1.7k
- 0
-
数据仓库、数据湖、数据平台和数据中台的概念和区别
我们谈论数据中台之前, 我们也听到过数据平台、数据仓库、数据湖的相关概念,它们都与数据有关系,但他们和数据中台有什么样的区别, 下面我们将围绕数据平台、数据仓库、数据湖和数据中台的区别进行介绍。 数据仓库 数据仓库(Data Warehouse),也称为企业数据仓库,它是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合存储系统,它将来自不同来源的结构化数据聚合起来,用于业务智能领域的比较…- 2.6k
- 0
-
数仓的建模和BI的建模有啥区别?
我现在是真的认识到:一个好问题,胜过100篇回答。因为一个问题产生的原因,是因为他在理解事情的时候,对不上号,顺不起来啊。而为什么会产生问题,本身就是一个问题。 为啥会有这个问题? 乍一眼看上去,这哥们是不是干活干傻了?BI(商务智能)的概念里本来就包含数据仓库的,BI的建模和数仓的建模有啥区别?不是一个东西么? 你莫不是新新新新新新来的吧? 嗯,没错,BI的确包含数仓,但是BI产品就不含数仓了。…- 10.1k
- 0
-
从0到1建设数据仓库——数仓基础篇
数据仓库建设主题是系列篇,目的是带大家从了解数据仓库的基础知识开始,循序渐进,学会数据仓库的建设,本篇是数仓建设的第一篇,主要讲讲数据仓库的基础知识。 01、什么是数据仓库 数据仓库,英文名称为DataWarehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。为需要业务智能的企业,提供指导业务流程改进、…- 19.9k
- 0
-
手摸手搭建一个实时数据仓库
中国好胖子手摸手带你搭建实时数仓,一顿烧烤就行! 实时数仓应用场景 场景决定一切。离线数仓的时候数据更新频率是T+1,也就是说必须隔一天才能看到结果,今天看昨天的数据。但是数据界有一个确定的结论,就是数据越新,价值越大。于是就有了推荐、风控等各种实时应用场景,让数据在最有价值的时候被利用好。在这些场景中,对数据的实时性要求就非常高,往往需要毫秒级反应,否则会影响用户体验,带来不必要的损失。 在最开…- 11k
- 0
-
数据仓库如何确定主题域?
大家好,我是一哥,前几天跟一个朋友聊了一些数据中台建设的内容,针对数据仓库中主题域如何划分这个话题聊了很多。其实数据仓库建设的理论大家已经都知道了不少,也看过不少书,那么在实际建设数据仓库中,我们还是会遇到各种问题。今天我们就一起聊聊主题域如何划分? 什么是主题 主题是在较高层次上将企业信息系统中的数据进行综合、归类和分析利用的一个抽象概念,每一个主题基本对应一个宏观的分析领域。在逻辑意义上,它是…- 40.4k
- 0
-
什么是数据仓库?了解数仓基础知识
数据仓库是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合,它可以为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。 面对大数据的多样性,在存储和处理这些大数据时,我们就必须要知道两个重要的技术,其分别是:数据仓库技术、Hadoop。当数据为结构化数据,来自传统的数据源,则采用数据仓库技术来存储和处理这些数据,如下图: 1. 什么是数据仓库 数据仓库之父 Bil…- 6.1k
- 0
-
数据仓库(一):分层常识
数据仓库是一种信息系统的数据存储理论,此理论强调利用某些特殊数据存储方式,让所包含的数据,特别有利于分析处理,以产生有价值的信息并依此作决策。 利用数据仓库方式所存放的数据,具有一但存入,便不随时间而更动的特性,同时存入的数据必定包含时间属性,通常一个数据仓库皆会含有大量的历史性数据,并利用特定分析方式,自其中发掘出特定信息。 Q1、何种数据存储方式更有利于分析处理? OLAP(联机分析处理):是…- 22.6k
- 0
-
回味 | 关于数据仓库的那些事儿
最近笔者在总结某运营商整体大数据平台架构时发现,上层应用能够较快地进行梳理,但是在梳理底层架构时,笔者觉得比较惭愧,作为数据仓库全球领先公司Teradata的一员,关于数据仓库的认知居然变得有些”陌生“,所以笔者认真反思了下,并进行了总结思考。 何为数据仓库 比较经典的概述是“数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策”。曾经在读书以及刚来公司时,对于此…- 12.6k
- 0
幸运之星正在降临...
点击领取今天的签到奖励!
恭喜!您今天获得了{{mission.data.mission.credit}}积分
我的优惠劵
-
¥优惠劵使用时效:无法使用使用时效:
之前
使用时效:永久有效优惠劵ID:×
没有优惠劵可用!