时间轴

cursor初体验

cursor,简单来说,就是一款拥有chatGPT能力的代码编辑器。官方下载路径:https://www.cursor.so/ 。无需接外网,无需账号就可以白嫖chatGPT的能力。 [ ]() 新建一个java文件,按下ctrl+L 可以提问任何问题: [ ]() 按下ctrl+K,可以让它帮我们

mybatis-plus简单实现乐观锁

springboot版本2.1.3.RELEASE mybatis-plus版本3.5.3 配置乐观锁插件 ` @Configuration public class MybatisPlusConfig { /*PageHelper分页配置 */ @Bean pub

Docker部署nacos,配置外部mysql

docker命令运行: ` docker run --name nacos -d -p 8848:8848 -p 9848:9848 -p 9555:9555 --privileged=true -e JVM_XMS=128m -e JVM_XMX=128m -e MODE=stand

Docker部署Redis

` docker run --name redis \ -p 6379:6379 \ -v H:/redis/conf:/usr/local/etc/redis \ -v H:/redis/data:/data \ --name redis -d redis \ redis-server /usr

Docker启动mysql8.0

docker pull mysql:8.0.30 然后运行: ` docker run --name mysql8 -p 3306:3306 \ -v H:/mysql8/conf.d:/etc/mysql/conf.d \ -v H:/mysql8/logs:/var/log/mysql \

微软官方OpenJDK17下载链接

分享下微软官方的OpenJDK下载链接,11和17版本的都有—— [https://learn.microsoft.com/zh-cn/java/openjdk/download]()

SpringBoot2.x集成Hive3.x和Hadoop3.x

大数据业务,难免会有使用程序远程操作hive或者hadoop的场景。 Springboot集成hive和hadoop的版本选择: Springboot:2.1.4 hive:3.1.3 hadoop:3.3.4 maven配置 由于我仅需要操作hive的jdbc命令和hadoop的常用命令,因此只需

Nginx1.22.1配置多个域名和多个SSL证书

本文给nginx配置两个域名和证书,版本使用1.22.1,在window上实验。 首先在阿里云上,配置两个域名,解析到本机的ip,并申请两个ssl证书,下载到nginx的目录: [ ]() 然后,配置nginx.conf文件。 配置域名: ` server { listen 80

数据仓库的相关概念和发展历程

一、什么是数据仓库? 数据仓库用作中央存储库,信息来自一个或多个数据源。数据从事务系统和其他关系数据库流入数据仓库。数据仓库一般仅用于执行查询和分析,并且通常包含大量历史数据。 二、数据仓库的意义 数据仓库将来自不同来源的信息合并到一个综合数据库中,为企业所有级别的决策制定过程,提供所有类型数据支撑

ClouderaManager和Ambari

大数据集群运维艰难 运维过hadoop集群的人都应该清楚,hadoop生态从安装、配置到后期运维是一个非常艰辛的过程,一般来说安装hadoop可能就需要几天时间,运维一个小型集群同样需要几个人。ambari和cloudera Manager这两个系统,目的就是简化hadoop生态集群的安装、配置,

大数据平台CDH、HDP、CDP的区别

部署一套大数据架构是相当麻烦的事情,各种组件、服务配置相当多而杂,由此诞生了能简化各种服务部署和配置的的工具,也就是大数据平台框架。 CDH CDH ( Cloudera Distribution Hadoop )是 Cloudera 公司提供的包含 Apache Hadoop 及其相关项目的软件

启动Doris-be服务出错,文件限制太小

在ubuntu20.04系统安装doris-1.1.4的时候,执行 ${DORIS_HOME}/bin/start_be.sh 启动be时,出现了一个问题: check fd number failed, error: Internal error: file descriptors limit i

介绍几款免费的大数据BI分析工具

最近用过几款大数据的BI分析工具,都是免费的,都支持自助生成BI组件功能、 支持自定义仪表盘 ,基本能支持主流的数据库, 可作为数仓的可视化工具。 DataEase 这款软件是开源的,也支持商业化应用。内置不少免费的模板,也支持很多数据源。 [ ]() [ ]() 添加数据源之后,可以在数据集中预

hive运行起来后,让字段名和字段注释支持中文

使用hive建表时,字段名和注释默认是不支持中文的。如果已经hive跑起来了,只需要在hive(3.1.3)的mysql中执行两句指令,就可以方便地让字段名和字段注释支持中文: ` -修改表字段注释支持中文字符集 alter table COLUMNS_V2 modify column COMMEN

在win10上单机部署Hadoop-3.2.1

windows10可以单机部署hadoop3.2.1,本文介绍下具体的操作步骤。 一、从gitee上拉取项目 [https://gitee.com/freebytes/win10-hadoop3.git]() 到本地,项目已经准备好所有的必须文件,不必去下载winutils。先新建两个环境变量:

Hadoop中的文件实际存储在哪里?

hdfs文件系统界面 当我们把文件上传到hadoop中,我们可以在页面上查看hdfs文件系统的信息。如下图,我在/input目录下上传了一个jdk文件,大概201M,但我的block-size设置成了64M,所以它会被切割成4个block,64M*3+9M=201M。 [ ]() 但我们的副本数设置

Maven的setting.xml文件各节点解析

localRepository 本地文件系统的maven仓库地址,可配置为: ` <localRepository>D:/MyRepository</localRepository` repository 代表一个maven仓库的配置,下面配置了一个id为central的仓库以及它的url。它同时支

轻量级实现SpringBoot实时更新配置文件

SpringBoot框架默认不支持配置文件application.properties的实时修改,一旦修改了配置文件,必须重启项目。 解决方案当然也有很多,比如引入SpringCloud的相关组件,比如使用nacos,但是我觉得这太过麻烦了,于是想了一个轻量级的实现方案。 大体的思路是,在项目中额外

SecrueCRT 将日志保存到外部文件

secureCRT默认将日志输出到界面上,但是当日志很多的时候,前面的日志就会被冲掉了,只有将其保存在外面的文本上,才可以回看所有的日志。 打开界面,按步骤进行设置: [ ]() [ ]() 2、4步对应的设置文本如下: ` E:\linux-log\%S\%Y%M%D-%h%m%s.log (要先

RedisTemplate和StringRedisTemplate的区别和关系

RedisTemplate和StringRedisTemplate是我们项目中常用的redis操作类。他们的关系如下图所示: [ ]() StringRedisTemplate StringRedisTemplate是直接继承于 RedisTemplate 的,但是它同时限定了泛型的类型,并定义了

格式化java源码注释的一个在线工具

在阅读java源码的时候,我们经常能够看到这样的一大堆注释: [ ]() 这种大量注释,对于英文一般的人来说,只能求助百度翻译了。但是如果你直接复制上去,会发现翻译得不如人意。那是因为这段注释有很多*、@、<i>等等这种符号,这会影响翻译器的分析。 所以分享一个能够格式化java源码注释的在线工具,

SpringBoot启动源码分析

我将springboot源码从官网上clone下来,并在此源码上研究、写注释、写文档,由此梳理出了一些知识点,暂且将一些成果(启动源码)分享出来。 官方源码地址:https://github.com/spring-projects/spring-boot/tree/v1.0.0.RELEASE 注意

kafka简单集群部署配置

由于服务器资源限制,我只能在单机上模拟部署kafka集群,跟在多服务器情况下部署,其实没啥差别,只是在单机上各个服务的端口号必须不一样而已。 [ ]() 如图,我准备了两个kafka服务器,1个zookeeper服务器,用这些部署一个集群。先看配置: ` ###kafka-1的配置 server.p

ElasticSearch和Kibana配置外部访问

es版本(7.15.2),elasticsearch.yml配置: cluster.name: es-cluster node.name: es-0 network.host: 0.0.0.0 cluster.initial_master_nodes: ["es-0"] kibana版本(7.15.

使用kibana自动备份ElasticSearch集群数据

声明下我的版本号,kibana和es都是7.15.2。 修改配置文件 在es的配置文件中增加配置: ` path.repo: \\192.168.80.146\g\es-backup ` 该配置设置备份文件的根路径,这是个共享文件夹,请保证这个共享路径能够被集群中的es节点共同访问到并且具备写入、读

ElasticSearch的基本配置

本文简单介绍下ElasticSearch的常用基本配置。 从官网下载的es,我这里的版本是7.15.2,目录如下: [ ]() bin目录中是执行脚本,config是配置文件目录,data是es的数据存储目录,jdk是es自带的jdk目录。 ElasticSearch启动时默认使用环境变量ES_JA

最简单的ElasticSearch集群部署(单播):

es的集群部署,最好保证至少有三个服务器,能起码部署三个节点,两个作为主节点,一个作为数据节点,这是官方的建议。 准备三个服务器:服务器-0,服务器-1,服务器-2,每个服务器上,部署一套es,我这里的版本是(7.15.2),并配置环境变量: | ES_JAVA_HOME | E:\

kafka的数据文件解析(二)

首先很有必要的介绍下kafka的几个必要概念。 Broker Broker代表一个kafka服务,这其实是相对于集群环境来说的。在集群中,可以启动多个kafka,每个kafka都是一个broker。而每个kafka都有自己的唯一标识,这在server.properties配置文件中是可以看到的: `

kafka的数据文件解析(一)

学会看kakfa内部存储目录及文件,是学习kafka的很关键的一步。知道数据是怎么存储的,一些关键的kafka机制也就有了大概的推测。 数据目录下有哪些文件 我在kafka的配置文件上设置了数据存储目录:log.dirs=./kafka-data。 那么进入这个目录,看下里面都有哪些文件。 初始情况

kafka基本配置

kafka的软件包目录如下: 配置文件在config目录下,其中server.properties是kafka的配置文件,zookeeper.properties是zookeeper的配置文件。 ` #######zookeeper.properties ####################zo

一个独立部署的websocket服务

将websocket作为一个独立的服务部署起来,并且提供调用发送消息的api组件,由开发项目直接引入这个组件,就能便捷调用websocket的api,实现发送消息的功能。并且在微服务架构中,多个服务都可以调用这个websocket服务。 源码的地址: [https://gitee.com/freeb

kafka和zookeeper快捷启动

本文介绍下我自己稍微整合过的kafka和zookeeper软件,在windows下,可以一键式便捷启动kafka、zookeeper、生产者与消费服务,方便学习研究使用。 软件下载地址: ` 链接:https://pan.baidu.com/s/15YfcMsVGW2U8m44c11ZJfg 提取

kafka基本指令

1、启动zookeeper ,进入zookeeper的安装目录bin文件夹 ,直接双击运行zkServer.cmd(win系统)。 ` (Linux系统) bin/zookeeper-server-start.sh config/zookeeper.properties ` 2、进入kafka安装

docker打包项目镜像,并批处理上传

需要在开发的项目根目录下,放一个Dockerfile文件,内容如下: ` FROM adoptopenjdk:8u275-b01-jdk-openj9-0.23.0-focal COPY ./ssmp-starter.jar ./app.jar RUN ln -snf /usr/share/zone

wordpress插件wordfence无法正常使用

插件无法更新、安装,以及使用,通常是因为文件权限的问题。在linux上解决wordfence无法启动的问题,可以这样做: ` chown -R www-data:www-data ~/wp-content/wflogs `

Springboot整合mybatis

项目结构 Dao层UserMapper ` //@Repository @Mapper public interface UserMapper { // @Select("SELECT FROM user") List<UserfindAll(); User getUser

将Registry的镜像拷贝到Harbor上

简介 Harbor跟Registry本质上是差不多的,都是管理Docker镜像的,最为明显的区别Harbor提供了可视化管理镜像的操作界面。 如果需要将Registry替换成为Harbor,那么部署好Harbor之后,需要将Registry的镜像全部迁移到Harbor。 Harbor1.x版本的时候

看了两周的tomcat源码

一连看了两周的tomcat的源码,搞清楚了很多问题,解开了多年的疑惑,感觉心神愉悦。 初看源码时,如巍峨高山,望而却步。全然不知从何下手,所幸找到了一些优秀的博文,便开始从源头处着手,一步一步地攀爬。 期间受到了大神的指点,结合着《深入剖析tomcat》这本优秀的书,继续深入探索,最终才将所有模块、

docker部署的mysql,做增量备份和全量备份

简介 为docker部署的mysql容器,提供一个兼增量备份和全量备份的解决方案。 全量备份 我们尽量做定时的自动化的全量备份,备份工具选择mysqldump: ` mysqldump -uroot -proot --databases test /data/mysql/data/backup/ba

用idea+maven,开发传统JSP项目

现在的javaWeb开发一般是基于springboot,直接使用idea开发,使用maven管理jar包。但在以前,使用传统的jsp技术的时候,还没有idea这么好用的开发工具,也没有maven。那时候一般是用eclipse,直接下载并导入jar包的方式开发。 日前,想做一下传统tomcat项目相关

InheritableThreadLocal

InheritableThreadLocal继承于ThreadLocal,功能与ThreadLocal差不多;不同的是, InheritableThreadLocal 可以在子线程中获取到父线程设置的值。 ` public class ThreadContextChild { private