Month: May 2021

kube-prometheus 安装

上次我们提到过 Prometheus operator 安装 过时了，所以这次尝试一下新的安装方式

helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo update
helm install prometheus-operator --set rbacEnable=true --namespace=monitoring prometheus-community/prometheus-operator

仔细看安装报告最后一条

怎么说呢，你们这是折腾不止啊

https://github.com/prometheus-community/community/issues/28

whatever，我们还是来看一下现在这个版本

还是老办法，先去加一个 nodeport

用户名密码是？

admin
prom-operator

如果需要持久化的话

nameOverride: lizhe
prometheus:
  server:
    persistentVolume:
      enabled: true
  prometheusSpec:
    storageSpec:
      volumeClaimTemplate:
        spec:
          storageClassName: local-path
          accessModes: ["ReadWriteOnce"]
          resources:
            requests:
              storage: 1Gi

helm install prometheus-operator --set rbacEnable=true --namespace=monitoring prometheus-community/prometheus-operator -f myvalues.yaml
kubectl --namespace monitoring port-forward svc/prometheus-operator-grafana 3000:80
By studyk8s 0 Comments

Prometheus operator 安装

首先很可惜的是在我做这个手顺的时候， prometheus operator 就已经过期了

*******************
*** DEPRECATED ****
*******************
* stable/prometheus-operator chart is deprecated.
* Further development has moved to https://github.com/prometheus-community/helm-charts
* The chart has been renamed kube-prometheus-stack to more clearly reflect
* that it installs the `kube-prometheus` project stack, within which Prometheus
* Operator is only one component.

The Prometheus Operator has been installed. Check its status by running:
  kubectl --namespace monitoring get pods -l "release=prometheus-operator"

Visit https://github.com/coreos/prometheus-operator for instructions on how
to create & configure Alertmanager and Prometheus instances using the Operator.

云环境中大多数的项目，每天都经历着变化，日新月异，想起来那句老话

“球球你别更了，我学不动了” （手动狗头）

废话不多说了，先看安装步骤

helm repo add stable https://charts.helm.sh/stable
helm repo update
helm install prometheus-operator --set rbacEnable=true --namespace=monitoring stable/prometheus-operator

全部结束之后可以得到登录画面？什么？找不到？直接去创建一个 nodeport就好了

用户名和密码 登录之后就可以看到预设好的dashboard了

admin
prom-operator
By studyk8s 0 Comments

Traefik docker 权重分流

如果只是简单的 robbin 负载均衡，不需要太多复杂的配置

权重负载均衡需要下面额外的一些配置，所以从头做一遍

traefik 的 docker-compose.yml 文件中需要多映射一个 configs文件夹，用来放配置文件

version: '3.7'

services:
  traefik:
    image: traefik:v2.4
    container_name: traefik
    restart: always
    security_opt:
      - no-new-privileges:true
    ports:
      - 80:80
      - 443:443
    volumes:
      - ./traefik.yml:/traefik.yml:ro
      - /var/run/docker.sock:/var/run/docker.sock:ro
      - ./configs:/configs
    networks:
      - proxy
    labels:
      - "traefik.enable=true"
      - "traefik.docker.network=proxy"
      - "traefik.http.routers.traefik-secure.entrypoints=web"
      - "traefik.http.routers.traefik-secure.rule=Host(`traefik.lizhe.com`)"
      #- "traefik.http.routers.traefik-secure.middlewares=user-auth@file"
      - "traefik.http.routers.traefik-secure.service=api@internal"

networks:
  proxy:
    external: true

在 traefik.yml文件中也要加入对应的configs配置

api:
  dashboard: true

entryPoints:
  web:
    address: :80
  websecure:
    address: :443

pilot:
  dashboard: false

providers:
  docker:
    endpoint: "unix:///var/run/docker.sock"
    exposedByDefault: false
  file:
    filename: /configs/config.yml

此时不要急着启动，./configs/config.yml 文件还是要先创建的

http:
  routers:
    app-router:
      service: app
      rule: "Host(`app.lizhe.com`)"
  services:
    app:
      weighted:
        services:
        - name: appv1@docker
          weight: 10
        - name: appv2@docker
          weight: 1

    appv1:
      loadBalancer:
        servers:
        - url: "http://appv1.lizhe.com/"

    appv2:
      loadBalancer:
        servers:
        - url: "http://appv2.lizhe.com/"

然后创建 appv1 和 appv2

version: '3.7'

services:
  appv1:
    image: libaibai/version:v1
    container_name: appv1
    restart: always
    networks:
      - proxy
      - default
    restart: always
    labels:
      - "traefik.enable=true"
      - "traefik.docker.network=proxy"
      - "traefik.http.routers.appv1.entrypoints=web"
      - "traefik.http.routers.appv1.rule=Host(`appv1.lizhe.com`)"
      - "traefik.http.routers.appv1.service=appv1"
      - "traefik.http.services.appv1.loadbalancer.server.port=80"

networks:
  proxy:
    external: true
version: '3.7'

services:
  appv1:
    image: libaibai/version:v2
    container_name: appv2
    restart: always
    networks:
      - proxy
      - default
    restart: always
    labels:
      - "traefik.enable=true"
      - "traefik.docker.network=proxy"
      - "traefik.http.routers.appv2.entrypoints=web"
      - "traefik.http.routers.appv2.rule=Host(`appv2.lizhe.com`)"
      - "traefik.http.routers.appv2.service=appv2"
      - "traefik.http.services.appv2.loadbalancer.server.port=80"

networks:
  proxy:
    external: true

现在可以逐个启动这些服务了

By studyk8s 0 Comments

Traefik with docker

Traefik不仅仅能作为 ingress 实现 运行在 kubernetes 上，同时也可以直接在 docker上使用

创建网络

docker network create proxy

traefik.yml

api:
  dashboard: true

entryPoints:
  web:
    address: :80
  websecure:
    address: :443

pilot:
  dashboard: false

providers:
  docker:
    endpoint: "unix:///var/run/docker.sock"
    exposedByDefault: false

docker-compose.yml

version: '3.7'

services:
  traefik:
    image: traefik:v2.4
    container_name: traefik
    restart: always
    security_opt:
      - no-new-privileges:true
    ports:
      - 80:80
      - 443:443
    volumes:
      - ./traefik.yml:/traefik.yml:ro
      - /var/run/docker.sock:/var/run/docker.sock:ro
    networks:
      - proxy
    labels:
      - "traefik.enable=true"
      - "traefik.docker.network=proxy"
      - "traefik.http.routers.traefik-secure.entrypoints=web"
      - "traefik.http.routers.traefik-secure.rule=Host(`traefik.lizhe.com`)"
      #- "traefik.http.routers.traefik-secure.middlewares=user-auth@file"
      - "traefik.http.routers.traefik-secure.service=api@internal"

networks:
  proxy:
    external: true

设置好 dns，就可以通过设置的 domain 访问了

然后我们来给它添加一个 nginx

docker-compose.yml

version: '3.7'

services:
  nginx:
    image: nginx
    container_name: nginx
    restart: always
    networks:
      - proxy
      - default
    restart: always
    labels:
      - "traefik.enable=true"
      - "traefik.docker.network=proxy"
      - "traefik.http.routers.nginx-web.entrypoints=web"
      - "traefik.http.routers.nginx-web.rule=Host(`nginx.lizhe.com`)"
      - "traefik.http.routers.nginx-web.service=nginx-web"
      - "traefik.http.services.nginx-web.loadbalancer.server.port=80"

networks:
  proxy:
    external: true

up 之后就多出了一个 nginx

By studyk8s 0 Comments

Redis原理

Redis 是一个单线程程序 （ nginx 也是一个单线程程序 ）

Redis 所有的数据都在内存中，所有的运算都是内存级别的运算。

Redis 主要依赖 多路复用 和 异步IO 来维持性能

By studyk8s 0 Comments

GeoHash

业界比较通用的地理位置距离排序算法是 GeoHash 算法， Redis 也使用 GeoHash 算法。GeoHash算法将 二维的经纬度数据映射到一维的整数，这样所有的元素都将挂载到一条线上，距离靠近的二维坐标映射到一维后的点之间的距离也会很接近。

Redis提供了6个Geo指令

  1. geoadd
127.0.0.1:6379> geoadd company 116.48105 39.996794 juejin
(integer) 1
127.0.0.1:6379> geoadd company 116.514203 39.905409 ireader
(integer) 1
127.0.0.1:6379> geoadd company 116.562108 39.787602 jd 116.334255 40.027400 xiaomi
(integer) 2
127.0.0.1:6379>

2. geodist

127.0.0.1:6379> geodist company jd xiaomi km
"33.0047"
127.0.0.1:6379> geodist company juejin ireader km
"10.5501"
127.0.0.1:6379>

3. 获取元素的 hash 值

geohash company jd

4. georadiusbymember

用来查询指定元素附近的其他元素

4.1 范围20公里以内最多 3个 元素 按距离 倒排，它不会排除自身

127.0.0.1:6379> georadiusbymember company jd 20 km 
1) "jd"
2) "ireader"
127.0.0.1:6379> georadiusbymember company jd 20 km count 3
1) "jd"
2) "ireader"
127.0.0.1:6379> georadiusbymember company jd 20 km count 3 desc
1) "ireader"
2) "jd"
127.0.0.1:6379>

4.2 同时返回距离

georadiusbymember company jd 20 km count 3 desc withdist

5. 直接使用坐标

127.0.0.1:6379> georadius company 116.334255 40.027400 20 km count 3 desc withdist
1) 1) "juejin"
   2) "12.9604"
2) 1) "xiaomi"
   2) "0.0002"
127.0.0.1:6379>

6. 获取元素位置

geopos company jd

By studyk8s 0 Comments

简单限流

简单限流策略的意义在于，系统要限定用户的某个行为在指定的时间里只能发生 N 次。

这里使用的是一个 zset + 滑动窗口

核心思想是，zset包含一个 key、一个value、一个score

key = 用户名 + 动作
value = uuid 因为是不能重复的，也可以是时间戳
score = 时间戳

假设现在的需求是，一个用户，在一天之内，只能提交2次 评论，那么每次用户提交comment之后

用户提交2次评论，就会添加2条记录

127.0.0.1:6379> zadd lizhe_post_comment 202105211043 uuid_one
(integer) 1
127.0.0.1:6379> zadd lizhe_post_comment 202105211044 uuid_two
(integer) 1
127.0.0.1:6379>

下面开始一个标准添加流程

  1. 第一步，删除1天之前的旧数据

每次添加记录时，要先进行 数据清洗 + 数据统计

数据清洗 需要 zremrangebyscore ， 它会删除分数区间段内的元素，参数时 起始 score 和 终止 score

这里再每次存储之前，因为需求是 1天之内，那么应该删除24小时之前的数据

zremrangebyscore lizhe_post_comment 0 202105201043

2. 第二步

然后进行统计

zcount lizhe_post_comment 0 202105211117

此时可以得到 没有过期的 操作记录数，这里是 2
然后判断是否符合 1天之内，提交2次的限制，决定是否继续

By studyk8s 0 Comments

布隆过滤器

可以把 布隆过滤器 理解成一种特殊的，不太精确的set结构，当你使用它的 contains方法判断某个对象是否存在时，它可能会误判。

当 布隆过滤器 说某个值存在时，这个值可能不存在。
当 布隆过滤器 说某个值不存在时，这个值肯定不存在。

Bloom 过滤器是一种插件，也可以直接用安装好的镜像

docker run -i -t -d --name redisbloom -p 6379 redislabs/rebloom

下面是一些操作例子

127.0.0.1:6379> bf.add students lizhe
(integer) 1
127.0.0.1:6379> bf.add students jon
(integer) 1
127.0.0.1:6379> bf.exists students lizhe
(integer) 1
127.0.0.1:6379> bf.mexists students lizhe jon tony
1) (integer) 1
2) (integer) 1
3) (integer) 0
127.0.0.1:6379> bf.madd students user1 user2 user3
1) (integer) 1
2) (integer) 1
3) (integer) 1
127.0.0.1:6379> del students user1
(integer) 1
127.0.0.1:6379> del students user2
(integer) 0
127.0.0.1:6379> del students user3
(integer) 0
127.0.0.1:6379>

每个布隆过滤器对应的 redis 数据结构 是一个大型的 位数组 和几个不一样的 无偏 hash 函数
所谓无偏，就是能把元素的hash值算得比较均匀，让元素被hash映射到位数组中的位置比较随机。

向布隆过滤器中添加key时，会使用多个hash函数对key进行hash，算得一个整数索引值，然后对位数组长度进行取模算得一个位置，每个hash函数都会算得一个不同的位置，再把这些位置都设置为 1 ， 就完成了 add 动作。

询问元素是否存在时，也会把hash再算一遍，确定出需要为 1 的位置，去和存储的内容进行比对，如果 1 的位置完全匹配，那么就为 “存在”，如果有一个位置为 0 ， 就为 “不存在”，但是有些时候，如果 2个不同元素的 所有 1 的位置都相同，那么就会出现 “误报”

还有一个需要注意的地方是， 布隆过滤器不会误判那些 “已经见过的元素”，它只会误判那些没见过的元素。
也就是说误判会出现在，如果你给它一个没见过的元素，看看它是不是以为自己见过了

要降低 error_rate，就需要更大的存储空间，默认的 error_rate 是 0.01 ， initial_size 是 100

如果要修改默认的参数需要调用

127.0.0.1:6379> bf.reserve students 0.001 1000
OK
127.0.0.1:6379>

布隆过滤器的 initial_size 太大会浪费存储空间，设置过小，会影响准确率。

那么如何来判断布隆过滤器的空间占用呢？这里有一个简单的公式

k = hash函数的最佳数量
n = 元素数量
f = 错误率

k = 0.7 * ( 1/n )
f = 0.6185 ^ ( 1/n )

^ 次方操作， math.pow

https://krisives.github.io/bloom-calculator

By studyk8s 0 Comments

HyperLogLog

HyperLogLog的一个重要作用就是 计数 + 去重， 尤其适合做 UV 统计

HyperLogLog提供不精确的计数方案，标准误差 0.81%

127.0.0.1:6379> pfadd students lizhe
(integer) 1
127.0.0.1:6379> pfadd students lizhe
(integer) 0
127.0.0.1:6379> pfadd students lizhe
(integer) 0
127.0.0.1:6379> pfadd students Jon
(integer) 1
127.0.0.1:6379> pfadd students Jon
(integer) 0
127.0.0.1:6379> pfcount students
(integer) 2
127.0.0.1:6379>
By studyk8s 0 Comments

Redis 分布式锁

分布式锁实际上就是 synchronized 关键字，在同一时间，只能有一个线程，进入当前 同步 代码块 （修改数据）

在 redis 中一般使用 setnx （set if not exists) 指令实现，通常会搭配 del 和 TTL 使用

如果 setnx 返回 1 ，证明当前无人占用，为了避免 del 之前发生异常，导致没有正确删除，会使用 TTL 设置过期时间

当锁存在时 （已经被人占用）

可是如果 expire 指令也没有得到正确执行呢？

Redis 2.8 版本中加入了一个 可以将 set 和 expire 合并的 原子操作

set lock_hello world ex 600 nx

如果没有抢到 锁 ， 会得到一个 nil

如果逻辑代码的执行时间特别的长，而且不稳定，那对于锁的 TTL 就要慎重考虑

例如：

  1. 张三持有了 锁
  2. 张三设置 TTL 10分钟
  3. 张三开始执行逻辑 （ 没有完成，执行中…）
  4. 10分钟到了
  5. 锁自动释放了 （张三的逻辑还没有执行完）
  6. 李四拿到了锁
  7. 李四执行逻辑
  8. 李四释放了锁 （这个锁是张三创建的）

这里有两个问题

  1. 李四在张三的逻辑结束之前拿到了 不应该 拿到的锁
  2. 李四释放了张三的锁

对于第二个问题可以通过将 local_key 的 value 值 设置成 随机数 来解决

张三 放入 随机数 5323 ， 李四的 setnx 并不会改变这个值 （设置如果不存在），那么李四在del之前需要比较这个值是否与自己 setnx 的值一致，来决定是否删除这个值，这样每个 锁 都只能由 创建者 删除，或者 TTL 超时由系统删除

By studyk8s 0 Comments
Send a Message