技术沉淀与实践分享 · 第 2 页

大数据平台CDH、HDP、CDP的区别

部署一套大数据架构是相当麻烦的事情，各种组件、服务配置相当多而杂，由此诞生了能简化各种服务部署和配置的的工具，也就是大数据平台框架。 CDH CDH （ Cloudera Distribution Hadoop ）是 Cloudera 公司提供的包含 Apache Hadoop 及其相关项目的软件

启动Doris-be服务出错，文件限制太小

在ubuntu20.04系统安装doris-1.1.4的时候，执行 ${DORIS_HOME}/bin/start_be.sh 启动be时，出现了一个问题： check fd number failed, error: Internal error: file descriptors limit i

介绍几款免费的大数据BI分析工具

最近用过几款大数据的BI分析工具，都是免费的，都支持自助生成BI组件功能、 支持自定义仪表盘 ，基本能支持主流的数据库， 可作为数仓的可视化工具。 DataEase 这款软件是开源的，也支持商业化应用。内置不少免费的模板，也支持很多数据源。 [ ]() [ ]() 添加数据源之后，可以在数据集中预

hive运行起来后，让字段名和字段注释支持中文

使用hive建表时，字段名和注释默认是不支持中文的。如果已经hive跑起来了，只需要在hive（3.1.3）的mysql中执行两句指令，就可以方便地让字段名和字段注释支持中文： ` -修改表字段注释支持中文字符集 alter table COLUMNS_V2 modify column COMMEN

在win10上单机部署Hadoop-3.2.1

windows10可以单机部署hadoop3.2.1，本文介绍下具体的操作步骤。 一、从gitee上拉取项目 [https://gitee.com/freebytes/win10-hadoop3.git]() 到本地，项目已经准备好所有的必须文件，不必去下载winutils。先新建两个环境变量：

Hadoop中的文件实际存储在哪里？

hdfs文件系统界面 当我们把文件上传到hadoop中，我们可以在页面上查看hdfs文件系统的信息。如下图，我在/input目录下上传了一个jdk文件，大概201M，但我的block-size设置成了64M，所以它会被切割成4个block，64M*3+9M=201M。 [ ]() 但我们的副本数设置

Maven的setting.xml文件各节点解析

localRepository 本地文件系统的maven仓库地址，可配置为： ` <localRepository>D:/MyRepository</localRepository` repository 代表一个maven仓库的配置，下面配置了一个id为central的仓库以及它的url。它同时支

轻量级实现SpringBoot实时更新配置文件

SpringBoot框架默认不支持配置文件application.properties的实时修改，一旦修改了配置文件，必须重启项目。 解决方案当然也有很多，比如引入SpringCloud的相关组件，比如使用nacos，但是我觉得这太过麻烦了，于是想了一个轻量级的实现方案。 大体的思路是，在项目中额外

SecrueCRT 将日志保存到外部文件

secureCRT默认将日志输出到界面上，但是当日志很多的时候，前面的日志就会被冲掉了，只有将其保存在外面的文本上，才可以回看所有的日志。 打开界面，按步骤进行设置： [ ]() [ ]() 2、4步对应的设置文本如下： ` E:\linux-log\%S\%Y%M%D-%h%m%s.log （要先

RedisTemplate和StringRedisTemplate的区别和关系

RedisTemplate和StringRedisTemplate是我们项目中常用的redis操作类。他们的关系如下图所示： [ ]() StringRedisTemplate StringRedisTemplate是直接继承于 RedisTemplate 的，但是它同时限定了泛型的类型，并定义了

格式化java源码注释的一个在线工具

在阅读java源码的时候，我们经常能够看到这样的一大堆注释： [ ]() 这种大量注释，对于英文一般的人来说，只能求助百度翻译了。但是如果你直接复制上去，会发现翻译得不如人意。那是因为这段注释有很多*、@、<i>等等这种符号，这会影响翻译器的分析。 所以分享一个能够格式化java源码注释的在线工具，