Kafka
总体架构 Producer:生成消息,push到Topic Broker:每个节点就是一个Broker,负责创建Topic,并将Topic中消息持久化到磁盘 Topic:同一个Topic可以分布在一个或多个Broker,一个Topic包含一个或多个Partition Partition:存储消息的单元,由Topic创建,分leader partition和follow...
总体架构 Producer:生成消息,push到Topic Broker:每个节点就是一个Broker,负责创建Topic,并将Topic中消息持久化到磁盘 Topic:同一个Topic可以分布在一个或多个Broker,一个Topic包含一个或多个Partition Partition:存储消息的单元,由Topic创建,分leader partition和follow...
计数器固定窗口算法 原理: 一个时间窗口内对请求计数,超过阀值则丢弃 时间窗口结束,同时重置计数器为0 优点: 实现简单 缺点: 一个时间窗口内服务不可用;例如时间窗口为1s,限流100。在1ms时来了100个请求,后面999ms的请求会感觉系统不可用 窗口切换临界会出现2倍阀值流量;例如时间窗口为1s,限流100。在0-998ms没有请求,在999ms...
架构体系 k8s的master节点实现了对集群的管理,主要有四个组件: api-server controller-mananger kube-scheduler etcd api-server:提供restful接口,实现整个k8s集群通信 controller_manager:集群的管理控制中心,对集群的资源进行管理 kube-scheduler:实现调度算法...
问题:海量数据求top K问题 https://blog.csdn.net/zyq522376829/article/details/47686867 10亿个数中找出最大的10000个数 方式1:排序(快排) 时间复杂度:O(NlogN) 空间复杂度:O(NlogN) 方式2:局部淘汰 1、定义一个数组存储最大10000个数 2、遍历10亿数,与最大数...
Pipeline commit/MR会触发pipeline执行 Stages Pipeline包含多个Stages 多个Stages依次执行 包含多个流程,如:安装依赖、运行测试、编译、部署测试服务器、部署生产服务器 Jobs 一个Stages中包含多个Jods 多个Jods并行执行 Runner 用来执行构建任务 一般把runner...
爬楼梯-70 题目描述 假设你正在爬楼梯。需要 n 阶你才能到达楼顶。 每次你可以爬 1 或 2 个台阶。你有多少种不同的方法可以爬到楼顶呢? 示例 1: 输入:n = 2 输出:2 解释:有两种方法可以爬到楼顶。 1. 1 阶 + 1 阶 2. 2 阶 示例 2: 输入:n = 3 输出:3 解释:有三种方法可以爬到楼顶。 1. 1 阶 + 1 阶 + 1 阶 2. 1 ...
子序列问题思路总结 思路 1:一维 dp 数组 func dp(nums []int) int { // dp[i]表示以nums[i]结尾的最长递增子序列的长度, 包括nums[i] // note: 不是前i个元素的最长递增子序列的长度 dp := make([]int, len(nums)) for i := 1; i <len(nums); i++ { for ...
方法论:https://labuladong.online/algo/dynamic-programming/stock-problem-summary/ 买卖股票的最佳时机-121 暴力方式 假设第 i(i>1) 天就卖出股票,则可以遍历 i 天之前的价格,找到最大的收益。 func maxProfit(prices []int) int { if len(prices) &...
打家劫舍-198 dp[i] 表示第 i 间房间的最大偷窃金额 对于一个房间 i,有偷窃和不偷窃两种方式: 1、偷窃:那么可以偷窃第 i-2 间,不可以偷窃第 i-1间,偷窃总金额为 $dp[i-2] + nums[i]$ 2、不偷窃:那么不可以偷窃第 i-2 间,可以偷窃第 i-1间,偷窃总金额为 $dp[i-1]$ 临界条件: 1、第1间房间; 最大偷窃金额为nums[0]...
0-1背包问题 题目描述 一共有N件物品,第i(i从1开始)件物品的体积为w[i],价值为v[i]。在总体积不超过背包上限C的情况下,能够装入背包的最大价值是多少? 如: 物品1: weight=7, value=42 物品2: weight=3, value=12 物品3: weight=4, value=40 物品4: weight=5, value=25 背包...