怎么在sqlserver构建数据仓库?

时间:2021-12-25来源:栏目:新媒体

怎么在sqlserver构建数据仓库?数据仓库是为了管理数据,主要是思想。具体实施的工具就是为了解决问题而选取了比如异构/不同源数据的数据抽取问题,要用到etl,可能会用工具或者自己写程序,看情况而定‘...

怎么在sqlserver构建数据仓库?

数据仓库是为了管理数据,主要是思想。具体实施的工具就是为了解决问题而选取了比如异构/不同源数据的数据抽取问题,要用到etl,可能会用工具或者自己写程序,看情况而定‘数据仓库的模型建设,要用到erwin等建模工具;数据的存放一般是借助关系数据库来实现,那么会用到oracle之类。不过现在已经开始慢慢摒弃传统关系数据库了,借助一些Nosql平台,比如hadoop上的hive之类。不过无论用什么工具,一定要记住,数据仓库的思想是不变的,就是管理数据、把数据的价值通过有效地管理而展现出来,不经管理的数据就是一堆没有提炼的金矿,看着很值钱,直接狗屁用没有。

维度建模和范式建模的本质?

1范式建模

Inmon所提倡的范式建模就是关系数据库用的三范式建模方法,数据仓库模型的建设方法和业务系统的数据模型类似。有一些区别就是:

1)数据仓库的域模型应该包含业务数据模型到域模型之间的关系,以及各主题域定义,数据仓库的域模型概念比业务系统的主题域模型范围更广。

2)在数据仓库的逻辑模型需要从业务系统的逻辑模型中抽象实体、实体的属性、实体的子类、实体关系等。

优点:从关系型数据库角度出发,结合了业务系统的数据模型,方便实现数据仓库的建模。

缺点:某些时候限制了整个数据仓库的灵活性、性能等。特别在底层数据向数据集市汇总时需要进行在量的数据处理工作。

2维度建模

Kimball主张维度建模法,就是按维度表、事实表来构建数据仓库、数据集市。维度建模有星形、雪花型两种常见类型。

优点:维度模型可极大提升数据仓库的处理能力;紧紧围绕业务模型,直观的反映业务问题。

缺点;构建模型之前需要进行大量的数据预处理,当业务变化后需要重新定义维度时,需要重新进行维度数据的预处理;很难提供一个完整地描述真实业务实体之间复杂关系的抽象方法。

辩解;对于这些缺点,都是片面的,因为数据仓库总线架构和维度处理方法能很好解决以上问题。

如何搭建公司内部的数据平台?

公司的内部数据平台,主要作用是提供给公司内部所有部门人员使用,使公司内部的所有业务能够通过数据来驱动和决策。简单点讲就是通过数据平台来驱动公司内部的数据化运营。

设计一款好用的数据产品:

1.数据产品经理本身就是一个合格的数据分析师,所以数据产品经理需要深刻的了解业务,需要知道业务部门想要看什么数据,这些数据现在是否能够获取到,业务方通过这些数据分析,是如何推进和改善业务的。

  2.数据产品要根据使用方的特点设计出符合使用方需要的内容,产品要有层级和结构,如果设计的一张数据报表既要满足管理层又要满足一线业务人员的需要,那么这样的数据产品很大可能是体验比较差的,因为老板和一线人员看数据的视角不一样,老板们一般是把握业务的大方向,主要看一些关键性的指标,并希望知道这些关键指标出问题后背后的原因是什么。所以给老板设计的报表需要结构简单易懂,并能够基于这些关键指标的异常给予问题定位。一线人员主要是偏执行层面,他们看数据的粒度一般都很细。

  3.数据产品一定要注意数据质量、规范、统一,因为公司的数据平台是面向所有部门的,怎么保证公司的所有部门人员对于数据的理解是一致的,这点特别难,首先公司的各个生产系统就是千差万别,由于各种客观因素,导致生产系统的数据质量和结构也会千差万别,这样数据仓库的数据建设就显得尤为重要,数据平台的数据质量依赖于数据仓库底层的数据模型,所以一个好的数据仓库很大程度上决定了数据平台的数据质量

  下面就从实战的角度来加以阐述,A公司是一家电商公司,那么A公司的各个部门需要看哪些数据?他们平常看数据的场景主要是哪些呢?首先应该知道这些部门的KPI是什么,如果对负责支持的部门的KPI都不了解,怎么能设计出来好的数据报表。例如采购部门的kpi基本就是销售额用户数销售毛利采购成本,运营部门的kpi就是用户复购用户流失转化率,市场部门的kpi就是流量、新客。

  那么知道各个部门的核心KPI后,主要从使用场景入手,拿采购部门来说,是怎么样看数据:

  每日:

  早上9:00来到公司,希望知道昨天我负责的业务这块做的怎么样了,这个时候应该设计一张基础数据报表,这张数据报表应该具有以下内容:

  1. 能够查看昨天的数据,而且能够选择时间段,这样如果昨天的数据有问题,希望拉取过去一段时间的数据,看看业务趋势上是不是出了问题。

  2. 指标越丰富越好,如果交易额下降了,需要看看订单数是不是下降了,如果订单数没下降了,那不是单均价出了什么问题,发现单均价降低了,那我要看看是商品结构的原因还是因为活动门槛调整导致的?

  3. 数据粒度要越细越好,比如数据粒度可以从全国下钻到省份,从省份下钻到城市,这样交易额下降了我就能知道是哪个省哪个城市出了问题,这样就能针对性的解决。

  早上10:00-下午18:00,业绩高峰来临,这个时候需要提一张实时监控的数据报表,通过实时监控,能够尽早的发现业务的一些异常情况,这样就能够帮助业务人员尽快的做出调整。

  每周一或者月初:

  部门内有周会/月会,老板可能会过工作业绩,所以我准备准备。

  首先看下上周的绩效情况,这个时候需要一张关于绩效的报表数据,通过这张绩效报表:

能够知道我做的绩效完成的怎么样,排名是提升了还是下降了,了解哪些人排名高

  其次对于上周出现的业务问题,通过一些分析报表定位和发现问题,比如发现用户的复购率下降了,是因为老用户的复购降低了还是最近新客的质量降低。

  如果发现是老用户的复购降低了,那要进一步分析,是因为竞争对手产品活动力度大,还是因为商品的曝光不够亦或是产品本身对于用户失去了吸引力,这样就能够及时做出调整,如果是竞争对手产品活动力度大,那需要重点关注竞争对手的情况及时调整产品营销活动力度如果是商品的曝光度不够,可以从以下几个层面入手优化:

  1. 优化商品的主标题和副标题,增加用户的搜索触达率。

  2. 站内广告位多多增加产品的曝光或是和其他的品类商品做联合促销。

  3.优化商品的导购属性信息,帮助用户跟精准的触达。如果是产品本身的问题那可能就需要引进新品(例如从国产到进口、从低端到高端)。

1.本站部分来源于互联网用户自主整合上传,如有侵权,请联系我们删除;

2.文章内容并不代表本站的观点或立场,如有关于文章内容,版权或其它问题请联系删除;

3.本文地址:https://www.jiatu888.com/xmt/87612.html

搭建 内部 数据

最新文章

网站介绍

本站部分内容收集于互联网,如有侵犯贵司(个人)版权,请联系本站删除。

Copyright@2018-2021 www.jiatu888.com 嘉图网 All Rights Reserved 粤ICP备20051635号 网站地图 tag列表

嘉图网