大数据

数据仓库的相关概念和发展历程

一、什么是数据仓库？ 数据仓库用作中央存储库，信息来自一个或多个数据源。数据从事务系统和其他关系数据库流入数据仓库。数据仓库一般仅用于执行查询和分析，并且通常包含大量历史数据。 二、数据仓库的意义 数据仓库将来自不同来源的信息合并到一个综合数据库中，为企业所有级别的决策制定过程，提供所有类型数据支撑

ClouderaManager和Ambari

大数据集群运维艰难 运维过hadoop集群的人都应该清楚，hadoop生态从安装、配置到后期运维是一个非常艰辛的过程，一般来说安装hadoop可能就需要几天时间，运维一个小型集群同样需要几个人。ambari和cloudera Manager这两个系统，目的就是简化hadoop生态集群的安装、配置，

大数据平台CDH、HDP、CDP的区别

部署一套大数据架构是相当麻烦的事情，各种组件、服务配置相当多而杂，由此诞生了能简化各种服务部署和配置的的工具，也就是大数据平台框架。 CDH CDH （ Cloudera Distribution Hadoop ）是 Cloudera 公司提供的包含 Apache Hadoop 及其相关项目的软件

启动Doris-be服务出错，文件限制太小

在ubuntu20.04系统安装doris-1.1.4的时候，执行 ${DORIS_HOME}/bin/start_be.sh 启动be时，出现了一个问题： check fd number failed, error: Internal error: file descriptors limit i

介绍几款免费的大数据BI分析工具

最近用过几款大数据的BI分析工具，都是免费的，都支持自助生成BI组件功能、 支持自定义仪表盘 ，基本能支持主流的数据库， 可作为数仓的可视化工具。 DataEase 这款软件是开源的，也支持商业化应用。内置不少免费的模板，也支持很多数据源。 [ ]() [ ]() 添加数据源之后，可以在数据集中预

hive运行起来后，让字段名和字段注释支持中文

使用hive建表时，字段名和注释默认是不支持中文的。如果已经hive跑起来了，只需要在hive（3.1.3）的mysql中执行两句指令，就可以方便地让字段名和字段注释支持中文： ` -修改表字段注释支持中文字符集 alter table COLUMNS_V2 modify column COMMEN

在win10上单机部署Hadoop-3.2.1

windows10可以单机部署hadoop3.2.1，本文介绍下具体的操作步骤。 一、从gitee上拉取项目 [https://gitee.com/freebytes/win10-hadoop3.git]() 到本地，项目已经准备好所有的必须文件，不必去下载winutils。先新建两个环境变量：

Hadoop中的文件实际存储在哪里？

hdfs文件系统界面 当我们把文件上传到hadoop中，我们可以在页面上查看hdfs文件系统的信息。如下图，我在/input目录下上传了一个jdk文件，大概201M，但我的block-size设置成了64M，所以它会被切割成4个block，64M*3+9M=201M。 [ ]() 但我们的副本数设置