大家有在面试中有遇过这个问题吗?
什么是读(共享)锁?什么是写(独占/互斥/排他)锁?
Category Archives: Ambari
Elasticsearch的几种常用查询
相信大家在做大数据量文本检索的时候都会想到使用elasticsearch(https://github.com/elastic/elasticsearch)
关于es的一些特性在网上有很多资料,我这里就不重复了,最近因为工作调动的关系,重新使用到es,之前使用的大多是ik分词等,甚至只是拿来当做一个存储层(结合Flink CDC),如果熟读过官网会发现其实有很多特性,特别在当前(2023.05)已经是8.x的版本https://www.elastic.co/guide/en/elastic-stack/current/overview.html
Continue readingFlink中的状态
Flink的时间语义和watermark
Flink的window
streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎,但是在特殊情况下,我们需要把一些数据进行阶段是分割,而window就是一种切割无限数据为有限数据块的一种方案
Continue readingFlink任务调度原理
JVM学习笔记(一)
JVM是Java Virtual Machine(Java虚拟机)的缩写,JVM是一种用于计算设备的规范,它是一个虚构出来的计算机,是通过在实际的计算机上仿真模拟各种计算机功能来实现的。
Continue readingAmabri设置HDFS、YARN高可用
HDFS/YARN高可用配置
Continue readingAmbari 添加自定义组件
HDP配置、组件安装
Continue readingAmbari安装
Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的创建、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等;除此之外,Ambari还支持Spark、Storm等计算框架及资源调度平台YARN。
Ambari 自身也是一个分布式架构的软件,主要由两部分组成:Ambari Server 和 Ambari Agent。简单来说,用户通过Ambari Server通知 Ambari Agent 安装对应的软件;Agent 会定时地发送各个机器每个软件模块的状态给 Ambari Server,最终这些状态信息会呈现在 Ambari 的 GUI,方便用户了解到集群的各种状态,并进行相应的维护。