Создание production-сервера c Ansible

спасибо, очень поможет, очень хорошый урок.

Отличный эпизод, как всегда. Огромная просьба рассмотреть возможность добавить в материалы настройку Github Actions для CI/CD.

PS: интересует также, имеются ли в Ваших курсах материалы по опыту правильной организации multi-tenant архитектуры на любом из фреймовоков? Либо в планах на будущее)

Спасибо еще раз за супер курс!

Мощно!

Снимайте, пожалуйста, видео на чёрной теме IDE!!!

Все отлично. Но, хотелось бы краем глаза глянуть как вы настраивали реестр для докера. Сама установка вроде бы элементарна.

docker run --entrypoint ./auth/htpasswd registry:2 -Bbn registry passwd > ./auth/htpasswd

docker-compose.yml

version: "3.7" services:

registry:
    restart: always
    image: registry:2
    ports:
        - 5000:5000
    environment:
        REGISTRY_HTTP_TLS_CERTIFICATE: /certs/example.com.crt
        REGISTRY_HTTP_TLS_KEY: /certs/example.com.key
        REGISTRY_AUTH: htpasswd
        REGISTRY_AUTH_HTPASSWD_PATH: /auth/htpasswd
        REGISTRY_AUTH_HTPASSWD_REALM: Registry Realm
    volumes:
        - ./registry:/var/lib/registry
        - ./auth:/auth
        - /etc/letsencrypt/live/example.com:/certs

Но с сертификатами у меня получился жуткий костыль. Из коробки докер с letsencrypt не заработал, хотя в документации пишут, что должен. Или, может, дело в версии убунты? У меня 16.04

Курс супер. Но зачем так заморачиваться с сертификатами, если можно использовать Treafik. Он все это умеет из коробки.

UPD 1: В Cron-задаче очистки Docker нужно добавить флаг "a":

docker system prune -af --filter "until=$((30*24))h"

ничего_не_понял_но_очень_интересно.jpg

Буду переходить на vscale.io

На мой взгляд идея ущербности установки с мануалов перед установкой скриптом - надумана.

Мы же сейчас говорим про разработчиков, которые разворачивание окружения производят раз в несколько месяцев, а то и реже. Что скрипт отдельный писать, что мануалы использовать итог один - всё равно придётся актуализировать скрипт под нужды. К тому же сам алгоритм инсталяции может поменяться, например, добавятся зависимости или платформа поменяется. Например, докер переедет go на rust и потребуется отдельно доставлять раст. А по итогу, чтобы починить свой шел придётся лезть в мануалы.

Я не говорю, что представленный материал не нужен, но я бы «продавал» его с позиции управления сложностью: производим декомпозицию алгоритма разворачивания сервера и уход от низкоуровневых абстракций (общение с терминалом) к высокому уровню - ансибл.

Спасибо за материал =)

Подскажите, доступа к root нет, использую в качестве remote_user пользователя,

remote_user: deploy become: yes become_user: deploy

Пишет ошибку: Failed to lock apt for exclusive operation

Подскажите, как настроить без root доступа?

после успешного make site, в кроне хостинга (в /etc/cron.d/certbot) введётся команда "...certbot -q renew". Но как реально автоматом происходит certbot renew, если gateway (nginx) работает в докере, а сертификат продлен снаружи? как в этой ситуации, происходит автоматическое продление сертификата?

Я что-то совсем запутался. Registry требует установки перед ним вэбсервера или нет?

version: '3'

services:
  registry:
    image: registry:2
    restart: always
    ports:
      - "5000:5000"
    environment:
      REGISTRY_HTTP_TLS_CERTIFICATE: /certs/live/{{ registry_host }}/cert.pem
      REGISTRY_HTTP_TLS_KEY: /certs/live/{{ registry_host }}/privkey.pem
      REGISTRY_AUTH: htpasswd
      REGISTRY_AUTH_HTPASSWD_REALM: Registry
      REGISTRY_AUTH_HTPASSWD_PATH: /auth/password
      REGISTRY_STORAGE_FILESYSTEM_ROOTDIRECTORY: /data
    volumes:
      - ./auth:/auth
      - ./data:/data
      - /etc/letsencrypt/:/certs:ro

Из этого конфига я подумал, что Registry может сам работать без вэба, но

docker push registry.mydomain.com/auction-gateway:master-1

И видно, что он лезет по https в папку V2 :

Get https://registry.mydomain.com/v2/: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)

Это тоже для новичков или курилка спецов по devops'у?
Вы не понимаете, что такое объяснение.
Объяснение, это не рассказ.

https://i.imgur.com/GrKChZd.png

По команде ansible-playbook -i hosts.yml site.yml у меня на удаленной машине (Ubuntu 18.04) произошла ошибка на шаге Add Certbot repository. Видимо он не смог потом сделать apt-get update. Возможно попробовать другой repo: ?

Я не понял, для того чтобы заработали поддомены надо ли предпринимать дополнительно что то или достаточно тех настроек nginx которые в контейнерах указаны?

ошибка в таске Add Cert Repository, что тут можно предпринять?

upd: увидел ответ выше

Дмитрий, привет После выпуска сертификата apache не останавливается (Debian 10) - в связи не получается сделать deploy так как nginx не запускается Иногда при запуске playbook для выпуска сертификата certbot дает ошибку, и после пользователь deploy не создается (в связи с чем не authorize не docker-login не работают). Если create-user раньше вытащить, ничего страшного? И еще: как сделать интерпритатор питона по умолчанию на 3 версию - в логах ловлю сообщения на прекращение поддержки старых версий

Столкнулся с проблемой. Если создать пароль nginx.htpasswd с параметром -B то nginx возвращает ошибку 500. Если этот параметр не применять, то всё хорошо. Образ был просто nginx.

UPD: Улучшили фрагмент с 26-й минуты про запуск Apache-сервера на использование конструкции wait_for.

Ошибка в make docker-login на шаге [Log into private registry]

fatal: [server]: FAILED! => {"changed": true, "cmd": "docker login -u ** -p *** registry.tiru.ru", "delta": "0:00:00.306697", "end": "2020-03-09 14:13:12.031002", "msg": "non-zero return code", "rc": 1, "start": "2020-03-09 14:13:11.724305", "stderr": "WARNING! Using --password via the CLI is insecure. Use --password-stdin.\nError response from daemon: Get registry.tiru.ru/v2/: dial tcp: lookup registry.tiru.ru on 188.93.16.19:53: no such host", "stderr_lines": ["WARNING! Using --password via the CLI is insecure. Use --password-stdin.", "Error response from daemon: Get registry.tiru.ru/v2/: dial tcp: lookup registry.tiru.ru on 188.93.16.19:53: no such host"], "stdout": "", "stdout_lines": []}

что не хватает ему не пойму, может надо в своем докер репозитории какие нить теги создать ? А то он пустой.

Добрый вечер!!! после Check if server is running все обрубается и вылетает ошибка

fatal: [server]: FAILED! => {"changed": true, "cmd": "docker run -d --name apache -v /var/www/html:/usr/local/apache2/htdocs/ -p 80:80 httpd:2.4", "delta": "0:00:00.128552", "end": "2020-03-09 19:28:01.553707", "msg": "non-zero return code", "rc": 125, "start": "2020-03-09 19:28:01.425155", "stderr": "docker: Error response from daemon: Conflict. The container name \"/apache\" is already in use by container \"4ac2b371a956a4025e9415757d3b1578b2906ae308a63a45b5fa6a014edd3b9e\". You have to remove (or rename) that container to be able to reuse that name.\nSee 'docker run --help'.", "stderr_lines": ["docker: Error response from daemon: Conflict. The container name \"/apache\" is already in use by container \"4ac2b371a956a4025e9415757d3b1578b2906ae308a63a45b5fa6a014edd3b9e\". You have to remove (or rename) that container to be able to reuse that name.", "See 'docker run --help'."], "stdout": "", "stdout_lines": []}

Вобщем запнулся на этом уроке. Вторые выходные сижу на нем. выше писал про Error response from daemon: Get registry.tiru.ru/v2/: dial tcp: lookup registry.tiru.ru on 188.93.16.19:53: no such host"]

Создал поддомен registry.tiru.ru какие NS записи создавать, надоли сервак под этот домен, и если надо как его настроить. Откуда на вашем регистре поддомене nginx. Ни какой инфы в видосах не нашел, как смотреть дальнейшие видео нипонятно, тк на практике не выходит ничего. Спулил с гита ветку последней версии и откатывал на версию этого урока. Менял домен deworker.pro автозаменой на свой , не выходит. Дмитрий объясните по подробнее про домен registry.tiru.ru , тк хочется проверить вашу теорию на практике , своими ручками. А не просто поверить этой "теории"

после make deploy demo-auction.arsku.com/работает, а api.demo-auction.arsku.com кидает ошибку: 502 Bad Gateway.

команда docker logs --since 30s -f auction_api_1 даёт ответ:

2020/03/18 15:17:46 [error] 6#6: *66 connect() failed (113: Host is unreachable) while connecting to upstream, client: 172.18.0.7, server: , request: "GET / HTTP/1.0", upstream: "fastcgi://172.18.0.3:9000", host: "api.demo-auction.arsku.com"

как решить эту проблему?
правда, после ansible make site остался контейнер httpd:2.4 apache, я его остановил...

вид http://www.arvidija.lt/turinys.php?autoidpsl=16&puslapio_PVD=programming

Дмитрий, приветствую. А не могли бы вы объяснить, за что отвечает переменная REGISTRY при команде make docker-login Видел в комментариях, что люди тоже столкнулись с проблемой на этой команде, но точного ответа и понимания так и не последовало после ваших советов/ответов.

Я правильно понимаю, что вы не используете докер хаб, а создали свой регистр для хранения образов? Или я ошибаюсь?

Если это так, то не ясно, как создавать свой регистр из данных видео. На хабре есть конечно статьи, но хотелось бы тут узнать все нюансы которые вы затрагиваете.

По крайней мере у меня есть аккаунт на DockerHub и я успешно сделал туда пуш в виде docker push myaccount/php:1 (например), но если я пытаюсь использовать команду "docker login -u {{ username }} -p {{ password }} {{ registry }}", как в видео, меня шлют лесом и говорят что нет такого регистра. Вот хотелось бы понять, почему у вас работает и что это за registry.deworker.pro

Заранее спасибо за ответ

UPD - нашел в комментах инфу что требуется поднять свой регистр. Как то не приятно, что требуется копаться в комментах, в поисках информации которая не дается в курсе. Это прям минус.

Спустя 10 дней получился настроить wsl 2->Ubuntu-18.04 = Ansible +Docker Registry и wsl 2->Debian это у нас production-сервера и wsl 2->Ubuntu-20 = dev

В шторме, Не могу понять по комитам на гите, какой соответствует окончанию этого урока? Даты коммитов перемешаны му собой не разберешь. Хорошо бы подписывали , на какой комит переключаться под конец урока, чтоб ручками все проверить самому ))

При попытке запушить билды на AWS мне выпадает сообщение "no basic auth credentials". До этого успешно создал реестр и команда make docker-login успешно сработала. Что теперь делать?

P.S. Разобрался уже. Я просто вводил одну команду, а в makefile она уже другая.

И все равно. Я застрял на этом уроке. Не понимаю, почему у меня не работает. Делаю пошагово за автором. Дохожу до создания своего отдельного приватного репозитория. Перехожу на урок 33, создаю репозиторий. Логинюсь в него. Пушу туда образы. Все проходит нормально. Ввожу команду деплоя и вижу следующее:

regal@regal-Inspiron-5521:~/projects/auction$ HOST=deploy@ec2-34-253-166-211.eu-west-1.compute.amazonaws.com PORT=22 REGISTRY=registry.newmagic.space IMAGE_TAG=master-1 BUILD_NUMBER=1 make deploy
ssh deploy@ec2-34-253-166-211.eu-west-1.compute.amazonaws.com -p 22 'rm -rf site_1'
ssh deploy@ec2-34-253-166-211.eu-west-1.compute.amazonaws.com -p 22 'mkdir site_1'
scp -P 22 docker-compose-production.yml deploy@ec2-34-253-166-211.eu-west-1.compute.amazonaws.com:site_1/docker-compose-production.yml
docker-compose-production.yml                                                                                                                                        100%  683     6.2KB/s   00:00    
ssh deploy@ec2-34-253-166-211.eu-west-1.compute.amazonaws.com -p 22 'cd site_1 && echo "COMPOSE_PROJECT_NAME=auction" >> .env'
ssh deploy@ec2-34-253-166-211.eu-west-1.compute.amazonaws.com -p 22 'cd site_1 && echo "REGISTRY=registry.newmagic.space" >> .env'
ssh deploy@ec2-34-253-166-211.eu-west-1.compute.amazonaws.com -p 22 'cd site_1 && echo "IMAGE_TAG=master-1" >> .env'
ssh deploy@ec2-34-253-166-211.eu-west-1.compute.amazonaws.com -p 22 'cd site_1 && docker-compose -f docker-compose-production.yml pull'
Pulling frontend    ... error
Pulling api-php-fpm ... error
Pulling api         ... error
Pulling gateway     ... error

ERROR: for gateway  Get registry.newmagic.space/v2/auction-gateway/manifests/master-1: no basic auth credentials

ERROR: for api-php-fpm  Get  registry.newmagic.space/v2/auction-api-php-fpm/manifests/master-1: no basic auth credentials

ERROR: for api  Get  registry.newmagic.space/v2/auction-api/manifests/master-1: no basic auth credentials

ERROR: for frontend  Get  registry.newmagic.space/v2/auction-frontend/manifests/master-1: no basic auth credentials
Get registry.newmagic.space/v2/auction-gateway/manifests/master-1: no basic auth credentials
Get registry.newmagic.space/v2/auction-api-php-fpm/manifests/master-1: no basic auth credentials
Get registry.newmagic.space/v2/auction-api/manifests/master-1: no basic auth credentials
Get registry.newmagic.space/v2/auction-frontend/manifests/master-1: no basic auth credentials
make: *** [Makefile:55: deploy] Ошибка 1

Я худо-бедно умею программировать, но таким разворачиванием еще не занимался, я в этом новичок. Помогите разобраться пожалуйста.

Всем привет, я только подключился

TASK [certbot : Add Certbot repository]
fatal: [server]: FAILED! => {"changed": false, "msg": "apt cache update failed"}

может кто знает как это бороть?

поделитесь своей темой, очень красивая, не видел раньше таких. сами делали?

а почему при установке докера и сертификатов в конфигурации ансибла у тебя в начале обновляются пакеты, а в коммитах на гитхабе этого нету

- name: Update apt packages
  apt:
    update_cache: yes

Добрый вечер. Дмитрий, подскажите пожалуйста. Получится использовать Ваш пример для частного репозитория на docker hub? Будет ли частный репозиторий доступен кому-то кроме меня? Как я понял, необходимо установить на локальный компьютер ansible и certbot?

Добрый день. Продолжаю наскоками смотреть и пробовать у себя. После ряда ошибок с почтой и получением сертификатов при деплое на сервер вроде и прошел на пару шагов вперед, но все ещё появляются ошибки видимо связанные с почтой и получением сертификата. Текст такой:

TASK [site : Up certbot standalone Apache] *****************************************************************************
skipping: [server]

TASK [site : Generate new certificate] *************************************************************************************
failed: [server] (item={'invocation': {'module_args': {'checksum_algorithm': 'sha1', 'get_checksum': True, 'follow': False, 'path': '/etc/letsencrypt/li
ve/demo.my.company/cert.pem', 'get_md5': False, 'get_mime': True, 'get_attributes': True}}, 'stat': {'exists': False}, 'changed': False, 'failed': Fals
e, 'item': 'demo.my.company', 'ansible_loop_var': 'item'}) => {"ansible_loop_var": "item", "changed": true, "cmd": "certbot certonly --noninteractive -
-agree-tos --email user@my.company -d demo.my.company", "delta": "0:00:00.003260", "end": "2021-04-05 14:26:05.217382", "item": {"ansible_loop_var":
"item", "changed": false, "failed": false, "invocation": {"module_args": {"checksum_algorithm": "sha1", "follow": false, "get_attributes": true, "get_ch
ecksum": true, "get_md5": false, "get_mime": true, "path": "/etc/letsencrypt/live/demo.my.company/cert.pem"}}, "item": "demo.my.company", "stat": {"ex
ists": false}}, "msg": "non-zero return code", "rc": 127, "start": "2021-04-05 14:26:05.214122", "stderr": "/bin/sh: 1: certbot: not found", "stderr_lin
es": ["/bin/sh: 1: certbot: not found"], "stdout": "", "stdout_lines": []}
...
PLAY RECAP *********************************************************************************************************************************************
server                     : ok=12   changed=0    unreachable=0    failed=1    skipped=1    rescued=0    ignored=0

Не подскажите что это может быть и как с ним бороться?

На сервере Ubuntu 20.04 сертификат не ставится. Почему - не знаю, переустановил сервер на Вebian 10, как у Дмитрия. Однако возникли проблемы с Add GPG key для докера.

Если у вас сервер Debian 10, замените блок ниже

    name: Add GPG key
    apt_key:
        url: https://download.docker.com/linux/debian/gpg
        state: present

на:

    name: Add Docker's official apt key.
    apt_key:
        url: https://download.docker.com/linux/ubuntu/gpg
        id: 9DC858229FC7DD38854AE2D88D81803C0EBFCD88
        state: present
    register: add_key
    ignore_errors: true

Это не ошибка, сервер у меня Debian 10, а в url "ubuntu"
Если у вас Ubuntu 20.04 - Add GPG key работает.
Почему так - непонятно.
Решение нашел здесь. https://github.com/dwdraju/ansible-install-docker/blob/master/tasks/ubuntu.yml

Рецепт успешного прохождения этого урока. Через публичный репозиторий на docker hub.

• купить домен. в управлении зоной днс сделать 2 А-записи: 1-запись: @ для ip_сервера_vps; 2-я запись: api для ip_сервера_vps
• Скачать файлы этого коммита https://github.com/DeworkerPro/demo-auction/blob/65036b23a7b426728a8af3c2f7895114829d5104/provisioning/roles/docker/tasks/main.yml
• Или перейти на коммит, зайдя в папку проекта через git checkout 65036b2 Имя коммита "Added provisioning roles" 65036b2
• Пойти в ruvds.com и взять там VPS с голой Debian10, минимум 1 ГБ оперативки! Я брал 512мб, как Дмитрий в видео, но не завелось ("running out of memory" - что-то такое было. (чтобы было дешевле, перейдите в "Готовые тарифы" и возьмите за 240р.)
• hosts.yml.dist переименовать в hosts.yml
• hosts.yml ip прописать от вашего vps ansible_ssh_pass добавить в hosts.yml и прописать пароль к root от вашего vps (у Дмитрия вообще нет этого параметра в файле hosts.yml! Я так понимаю, он заранее закинул ssh-публичный ключ на сервер, а приватный ключ прописал в конфигах ansible глобально? Дмитрий, если читаете этот пункт, просьба прояснить этот момент).
• найти и заменить домен и api.домен на свой (ctrl+shift+f в phpStorm) В этих файлах: provisioning/roles/site/defaults/main.yml gateway/docker/production/nginx/conf.d/api.conf gateway/docker/production/nginx/conf.d/frontend.conf gateway/docker/production/nginx/conf.d/default.conf
• Установка нужных прав sudo chown -R имя_юзера_на_хостовой_машине:www-data ~/projects/auction sudo chmod -R 755 ~/projects/auction
• provisioning/roles/site/defaults/main.yml параметр certbot_email: вписать свой email
• перепроверить provisioning/roles/authorize.yml - путь до ssh на хостовой машине
• создать ansible.cfg в папке provisioning с такими настройками:([defaults] host_key_checking = false).
• roles/docker/tasks/main.yml "Install dependencies" добавить еще 2 пункта - gnupg и - lsb-release. Вот так должно быть:

-   name: Install dependencies
    apt:
        name:
            - apt-transport-https
            - ca-certificates
            - curl
            - gnupg
            - lsb-release
            - software-properties-common
        state: present
        update_cache: yes

roles/docker/tasks/main.yml - name: Add GPG key - полностью заменить таск на:

-	name: Add Docker's official apt key.
	apt_key:
    	    url: https://download.docker.com/linux/ubuntu/gpg
    	    id: 9DC858229FC7DD38854AE2D88D81803C0EBFCD88
    	    state: present
	register: add_key
	ignore_errors: true

Это не ошибка, сервер Debian 10, а в url "ubuntu". Если у вас Ubuntu 20.04 - Add GPG key работает. Почему так - непонятно. Решение нашел здесь. https://github.com/dwdraju/ansible-install-docker/blob/master/tasks/ubuntu.yml. НО я использовал не все как в ссылке, а частично, как написал выше.

• создать аккаунт в докер хаб
• создать 4 публичных репозитория в докер хабе: auction-api-php-fpm, auction-api, auction-frontend, auction-gateway. (скорее всего этот шаг можно пропустить, запушиться итак должно, но я сделал заранее, если не делать - не проверял)
• cd provisioning
• make site
• make authorize
• cd ..
• REGISTRY=ваш_логин_в_докер_хаб IMAGE_TAG=master-1 make build
• docker login (логин и пароль в докер хаб спросит, вбить). Не через make как у Дмитрия! Это команда докера нативная.
• REGISTRY=ваш_логин_в_докер_хаб IMAGE_TAG=master-1 make push
• HOST=deploy@ip_от_вашего_vps PORT=22 REGISTRY=ваш_логин_в_докер_хаб
• IMAGE_TAG=master-1 BUILD_NUMBER=1 make deploy

Есть ли возможность запуска команды make site со страницы сайта?

Слегка уточню свой интерес про запуск команд make site со страницы сайта. Есть два варианта:

1. Допустим хочу создать вэбинтерфейс для управления докер и всем этим удовольствием. Лень мне залазить в PHPStorm, руками править нужные файлы. Ведь по сути все сводится к добавлению адресов в нужное место пары файлов и потом запуск их с помощью Makefile. Если не нужно править код на странице сайта, добавлять какой-то функционал, исправлять баги, а только задеплоить на какой-то сервер(ы).

2. Допустим хочу на сервере, где крутиться сайт иметь возможность копировать его (или какую-то часть) на другие сервера. Ведь ансибл для этого и создан, чтоб разворачивать приложения на разных серверах.

На данный момент я понимаю, что в простейшем случае нужен код что-то типа такого (api/public/index.php):

<form method="post">
    <input type="submit" name="ping" value="Start ping"/>
</form>

<?php

if (isset($_POST['ping'])){ system("ping google.com", $result);}

echo $result;
var_dump($result);

Так я могу запустить какую-то команду и отобразить её вывод на странице сайта. Но если прописать:

if (isset($_POST['ping'])){ system("ansible -m ping google.com", $result);}

То выведет 127int(127)

Я так понимаю, что это из-за того, что находимся в "другом образе", не на самом хосте, где разрабатываем сайт, а в контейнере. Пробовал в каталоге provisioning в файле Makefile Добавлять команду типа:

ping:
	ansible -m ping all

Она работает. Но замена на

if (isset($_POST['ping'])){ system("make ping", $result);}

Тоже ничего не дала 127int(127).

Благодаря ошибке стал понимать, что в моем случае скорее всего нужно доустановить ансибл в один из контейнеров, чтоб получился приблизительный путь /app/public/index.

То есть по идее в docker-compose нужно добавить секцию что-то типа такого:

    ansible:
        build:
            context: api/docker
            dockerfile: development/ansible/Dockerfile
        volumes:
            - ./api:/app

а в Dockerfile что-то типа этого:

FROM php:7.4-cli-alpine
RUN apt install ansible
WORKDIR /app

и потом вызывать командой:

if (isset($_POST['ping'])){ system("make ping google.com", $result);}

Но пока не получилось

По крайней мере установка ансибл с помощью команды: docker-compose run --rm api-php-cli apk add ansible

Хоть и установила ансибл, но ничего не дала в плане выполнения команд от его имени Так же и с добавлением RUN apk add ansible в api/docker/development/php-cli/Dockerfile