精品

数据仓库的相关概念和发展历程

一、什么是数据仓库？数据仓库用作中央存储库，信息来自一个或多个数据源。数据从事务系统和其他关系数据库流入数据仓库。数据仓库一般仅用于执行查询和分析，并且通常包含大量历史数据。二、数据仓库的意义数据仓库将来自不同来源的信息合并到一个综合数据库中，为企业所有级别的决策制定过程，提供所有类型数据支撑

ClouderaManager和Ambari

大数据集群运维艰难运维过hadoop集群的人都应该清楚，hadoop生态从安装、配置到后期运维是一个非常艰辛的过程，一般来说安装hadoop可能就需要几天时间，运维一个小型集群同样需要几个人。ambari和cloudera Manager这两个系统，目的就是简化hadoop生态集群的安装、配置，

大数据平台CDH、HDP、CDP的区别

部署一套大数据架构是相当麻烦的事情，各种组件、服务配置相当多而杂，由此诞生了能简化各种服务部署和配置的的工具，也就是大数据平台框架。 CDH CDH （ Cloudera Distribution Hadoop ）是 Cloudera 公司提供的包含 Apache Hadoop 及其相关项目的软件

Hadoop中的文件实际存储在哪里？

hdfs文件系统界面当我们把文件上传到hadoop中，我们可以在页面上查看hdfs文件系统的信息。如下图，我在/input目录下上传了一个jdk文件，大概201M，但我的block-size设置成了64M，所以它会被切割成4个block，64M*3+9M=201M。 [ ]() 但我们的副本数设置

SpringBoot启动源码分析

我将springboot源码从官网上clone下来，并在此源码上研究、写注释、写文档，由此梳理出了一些知识点，暂且将一些成果（启动源码）分享出来。官方源码地址：https://github.com/spring-projects/spring-boot/tree/v1.0.0.RELEASE 注意

声明一个CPU密集型线程池，保证所有任务都能被执行完

怎么声明一个线程池，使它能够执行大量CPU密集型操作，又不会无限创建新线程，又能保证所有的任务都能被执行完成呢？先看下jdk中，声明线程池的API： ` public ThreadPoolExecutor(int corePoolSize,

kafka的数据文件解析（二）

首先很有必要的介绍下kafka的几个必要概念。 Broker Broker代表一个kafka服务，这其实是相对于集群环境来说的。在集群中，可以启动多个kafka，每个kafka都是一个broker。而每个kafka都有自己的唯一标识，这在server.properties配置文件中是可以看到的： `

kafka的数据文件解析（一）

学会看kakfa内部存储目录及文件，是学习kafka的很关键的一步。知道数据是怎么存储的，一些关键的kafka机制也就有了大概的推测。数据目录下有哪些文件我在kafka的配置文件上设置了数据存储目录：log.dirs=./kafka-data。那么进入这个目录，看下里面都有哪些文件。初始情况

Docker部署Mysql，挂载日志、配置文件和数据，开启binlog

简介利用Docker的mysql容器，可以方便的部署一个简单的mysql服务器实现步骤 1、下载镜像 ` docker pull mysql ` 2、运行容器 ` docker run -d -p 3306:3306 --name your_db_name -v /your_directory/

java开发人脸识别登录-方案（基于阿里云）

阿里云人脸识别服务概述阿里云目前提供在线的人脸识别相关API，不提供离线SDK。在线API收费标准参考： [ ]() QPS不大于2的情况下，是可以免费调用的。需要事先开通阿里云的人脸识别服务以及OSS服务。如果需要离线SDK，那么就不能用阿里云了，可以考虑百度云和腾讯云，腾讯云的离线SDK

Shiro学习目录整理

[从宏观的角度了解Shiro——Shiro学习（1）]() [从最简单的示例开始——Shiro学习（2）]() [shiro的身份认证原理——Shiro学习（3）]() [shiro的授权原理与架构简化——Shiro学习（4）]() [shiro的过滤器架构——Shiro学习（5）]() [Spri

redis缓存与数据库保持一致

使用redis缓存，通常会考虑到与数据库数据保持一致的问题。 ` public void update(){ updateCache();//更新缓存 updateDb();//更新数据库 } ` 这段代码中，如果更新缓存失败了会抛出异常，那么数据库就不会被更新，缓存一致性得到保障。但是如果