Docker Archives - Page 2 of 3

22 Mar 2021 Monday

Build docker image from a container

为了便于理解，这里我将尽量使用手动操作，而不是Dockerfile

先启动一个 ubuntu 容器

docker run -i -t --name base ubuntu /bin/bash

在此容器中安装 docker 并且尝试执行 docker ps 会得到如下错误

Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?

原因其实很简单，因为容器内部存在 docker.sock ，那实际上最简单的在容器中build image的方法，就是mount 这个sock，然后容器会和宿主机共享同一个 docker.sock

docker run -i -t --name base2 -v /var/run/docker.sock:/var/run/docker.sock ubuntu /bin/bash

不过副作用是，因为使用了宿主机的 sock，这里可以看到宿主机上运行的所有容器，并且实际上已经和宿主机在使用同一个docker环境了

新建一个 Dockerfile

FROM nginx
RUN echo 'hello dockerfile' > /usr/share/nginx/html/index.html

再次尝试build

error checking context: 'no permission to read from '/proc/1/mem''.

这是因为当前容器在创建的时候没有添加宿主机的 root 权限

添加 –privileged

docker run -i -t --name base3 --privileged -v /var/run/docker.sock:/var/run/docker.sock ubuntu /bin/bash

这里有一个小插曲，如果直接在 / 路径下使用 Dockerfile的话会得到一个错误

error checking context: ‘file (‘/proc/4427/fd/5′) not found or excluded by .dockerignore’.

解决办法是不要在 / 根路径下build

By studyk8s 0 Comments

13 Mar 2021 Saturday

systemctl in docker container

在传统的centos容器中，如果想使用systemctl 会遇到下面的情况

系统提示你因为当前系统不是由 systemd 引导的，所以无法使用systemctl

所以也就不难理解为什么下面的命令可以使用systemctl了

docker run -itd --name=centos --privileged=true centos /usr/sbin/init

不过相对而言，ubuntu的情况会麻烦一些

docker run -i -t -d --name ubuntu --privileged -v /run/systemd/system:/run/systemd/system -v /bin/systemctl:/bin/systemctl -v /var/run/dbus/system_bus_socket:/var/run/dbus/system_bus_socket -it ubuntu systemctl

By studyk8s 0 Comments

13 Mar 2021 Saturday

docker run –init 参数

使用 –init 参数可以将容器的 1号进程变成 /sbin/docker-init

不使用 init 参数时如下图，注意区别

杀死 25号进程，使 28号进程的父进程变为1号进程

再杀死 28号进程，根据自己动手生成一个僵尸进程中的验证，此时 28号进程应该成为僵尸进程，但是由于容器的 1号进程是 docker-init，所以，28号进程被正常回收了

结论，当使用 –init 参数时，容器的1号进程为 docker-init，能够正常回收孤儿进程，从而规避了特定条件下产生僵尸进程的问题

By studyk8s 0 Comments

13 Mar 2021 Saturday

自己动手生成一个僵尸进程

创建一个 python 程序

#!/usr/bin/env python3
import subprocess
import time
import os
print(os.getpid())
p = subprocess.Popen(['/bin/sleep', '1'])
time.sleep(1000000)

在这个程序中，主进程会启动一个 sleep 子进程，这个 sleep 在1秒之后就执行结束了，此时，它会进入等待被回收的状态

但是主进程此时进入了 sleep（1000000），在阻塞过程中并没有对子进程进行回收，所以并没有对子进程进行回收

6701 主进程，6702 子进程变成了僵尸

也就是说只要满足两个条件就可以轻松的获得一个僵尸进程

父进程阻塞（sleep）
子进程结束执行，等待回收

根据以上两种条件，我们尝试一下docker的情况

我们先创建一个 sleep 的 ubuntu 容器，这个容器的 1号进程是一个阻塞进程，也就是说它不会回收任何子进程
我们使用 bash创建了几个 bash 进程

接下来，让我们 kill 27号进程，这样30号进程的父进程就会变成 1号进程（也就是sleep进程）

此时，30号进程的父进程就变成了对它不管不顾的 sleep 进程

因为 27号进程已经被 24号进程回收了，所以宿主机中没有僵尸进程

我们kill掉没人管的 30号进程

这样我们就成功的创建了一个僵尸进程

容器内 PID 30，宿主机上 PID 7132

把容器停掉的话，僵尸进程会被宿主机回收

综上所述，当

Docker容器的主进程因为某种原因处于阻塞状态
主进程创建了一些子进程
这些子进程的父进程一旦变为阻塞中的容器主进程，它们在运行结束后，将成为无法被回收的僵尸进程

By studyk8s 0 Comments

13 Mar 2021 Saturday

1.11 之前的情况

Docker的1.11版本是一个大改变，

首先是从单一模块拆分成了4个独立模块，engine、containerd、runc、containerd-shim

containerd-shim代替了原来的1号进程，用来回收孤儿进程

containerd 用来管理容器的生命周期，

runc 用来运行容器

这种改变在2017年的时候使其更贴合容器标准化

为了安装1.11之前的版本，我尝试了几乎4个小时才成功

主要是apt的安装包几乎都已经离线了

想尝试的同学可以按照以下步骤

下载deb离线包，然后使用 ubuntu16来安装，18和20不能兼容

http://archive.ubuntu.com/ubuntu/pool/universe/d/docker.io/docker.io_1.10.3-0ubuntu6_amd64.deb

启动一个ubuntu镜像，让它的1号进程阻塞，参考自己动手生成一个僵尸进程

杀死 42号进程，这样45号进程的父进程会变成容器的1号进程

接着杀死 45号进程，此时容器的1号进程应该无法回收它

然后我们就得到了一个无法被回收的僵尸进程

By studyk8s 0 Comments

13 Mar 2021 Saturday

僵尸进程的由来

要想了解如何避免僵尸进程，首先我们需要知道这个问题从何而来

Linux 系统进程号的最大值是 32768

当PID总数达到这个值之后，系统将无法创建新的进程，这是一个很严重的问题

我曾经遇到一个系统bug就是由于调用外部系统的时候，外部系统没有返回，进程不会被释放而一直等待，最终导致了 PID 耗尽的bug

关于Linux进程树等问题这里不想再多重复，

正常情况下，进程退出时 PID 将会被父进程回收，具体做法是

子进程结束时，系统向其父进程发送SIGCHILD信号
父进程调用wait函数后阻塞
父进程被SIGCHILD信号唤醒然后去回收僵尸子进程

这里存在一个特殊情况是，父进程早于子进程结束的情况，例如父进程被 kill

这种情况子进程的父进程会被指向到 init （也就是1号进程），这样1号进程会负责回收

早期的 Linux系统中的init进程非常轻量，叫做 sysinit

但是，在现代的Linux环境中，这个init进程一般会是systemd或者upstartd等重量级的进程，它们会做很多额外的工作。

（实际上这个问题带来了很多争论，部分开发人员认为，使用更重的 init 进程弊大于利）

通过不断的调用 bash，可以得到一个标准的进程树

我们可以看到 3099号进程的父进程是 3093，它的子进程包括 3105、3111、3117、3123

这里如果 kill 掉 3099号进程，会发现它的直接子进程 3105的父进程确实变成了

/lib/systemd/systemd –user （PID 1634）

虽然确实是 systemd 但是说好的 1号进程呢？

1号进程是 /sbin/init auto noprompt

想知道为什么？在 Ubuntu18 之后（我当前是ubuntu20），

/sbin/init 就是 /lib/system/systemd 的一个软链接

在上面这种正常的 Linux 系统上，即使我们 kill 掉了 3105的父进程，它也不会变成僵尸，此时使用 ps -ef | grep defunct 是找不到任何僵尸进程的

来看Docker 的情况

杀死 21号进程之后， 24号进程会被托管给 docker的1号进程

Docker 的 1号进程实际上只是一个普通的 bash 进程

By studyk8s 0 Comments

13 Mar 2021 Saturday

僵尸进程

这个话题由来已久，早在2013年就经常被提起，但是每次重提，几乎都会遇到一些新问题

By studyk8s 0 Comments

13 Mar 2021 Saturday

Docker-compose networks

之前我们在容器互联那一节里重点说到过如何通过

共享同一个第三容器的网络，

来使用localhost访问其他容器的endpoint，其主要原理是 Linux network 的 namespace

然而这个问题到了 docker compose 中又不一样了

通过以下脚本启动两个容器，并且配置它们共享一个名为 unetwork的网络

version: '3'
services:
  utest1:
    image: nginx
    networks:
      - unetwork

  utest2:
    image:  ubuntu
    command: sleep infinity
    networks:
      - unetwork

networks:
  unetwork:
    driver: bridge
    ipam:
      config:
        - subnet: 192.168.100.0/24

可以看到

容器无法通过localhost访问，也就是说它们没有共享一个network namespace
检查 /etc/hosts 发现其中也没有像 link 那样把container name 写进 dns
curl utest1:80 访问到了 nginx

docker compose 可以使用的网络多种多样

具体请参考

https://docs.docker.com/engine/reference/commandline/network_create/

如果没有特殊指定的话，这里生成的是 bridge 模式

By studyk8s 0 Comments

13 Mar 2021 Saturday

Docker-compose

关于安装

然后可以下面的脚本

sudo curl -L "https://github.com/docker/compose/releases/download/1.28.5/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
sudo chmod +x /usr/local/bin/docker-compose
sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose
docker-compose --version

By studyk8s 0 Comments

12 Mar 2021 Friday

Docker 容器共享网络（localhost）

因为不同容器之间的 network namespace 隔离，所以各个容器的 localhost 回环地址也只能指向自己

不过在 k8s 下，同一 pod 内的容器之间，实际上是可以使用 localhost来互相访问的，这是为什么呢？

k8s 的 pod 中会默认运行一个名字叫pause的容器，其他的容器就挂到这个 pause 上面，也就是使用了 docker run –net container

docker run -i -t --name pause busybox sleep infinity
docker run -i -t --name nginx --net container:pause nginx
docker run -i -t --name watcher --net container:pause ubuntu sleep infinity
docker exec -i -t watcher /bin/bash

容器内
apt update
apt install curl
curl localhost:80

By studyk8s 0 Comments

Docker

Send a Message