Создание production-сервера c Ansible

спасибо, очень поможет, очень хорошый урок.

Отличный эпизод, как всегда. Огромная просьба рассмотреть возможность добавить в материалы настройку Github Actions для CI/CD.

PS: интересует также, имеются ли в Ваших курсах материалы по опыту правильной организации multi-tenant архитектуры на любом из фреймовоков? Либо в планах на будущее)

Спасибо еще раз за супер курс!

Мощно!

Снимайте, пожалуйста, видео на чёрной теме IDE!!!

Все отлично. Но, хотелось бы краем глаза глянуть как вы настраивали реестр для докера. Сама установка вроде бы элементарна.

docker run --entrypoint ./auth/htpasswd registry:2 -Bbn registry passwd > ./auth/htpasswd

docker-compose.yml

version: "3.7" services:

registry:
    restart: always
    image: registry:2
    ports:
        - 5000:5000
    environment:
        REGISTRY_HTTP_TLS_CERTIFICATE: /certs/example.com.crt
        REGISTRY_HTTP_TLS_KEY: /certs/example.com.key
        REGISTRY_AUTH: htpasswd
        REGISTRY_AUTH_HTPASSWD_PATH: /auth/htpasswd
        REGISTRY_AUTH_HTPASSWD_REALM: Registry Realm
    volumes:
        - ./registry:/var/lib/registry
        - ./auth:/auth
        - /etc/letsencrypt/live/example.com:/certs

Но с сертификатами у меня получился жуткий костыль. Из коробки докер с letsencrypt не заработал, хотя в документации пишут, что должен. Или, может, дело в версии убунты? У меня 16.04

Курс супер. Но зачем так заморачиваться с сертификатами, если можно использовать Treafik. Он все это умеет из коробки.

UPD 1: В Cron-задаче очистки Docker нужно добавить флаг "a":

docker system prune -af --filter "until=$((30*24))h"

ничего_не_понял_но_очень_интересно.jpg

Буду переходить на vscale.io

На мой взгляд идея ущербности установки с мануалов перед установкой скриптом - надумана.

Мы же сейчас говорим про разработчиков, которые разворачивание окружения производят раз в несколько месяцев, а то и реже. Что скрипт отдельный писать, что мануалы использовать итог один - всё равно придётся актуализировать скрипт под нужды. К тому же сам алгоритм инсталяции может поменяться, например, добавятся зависимости или платформа поменяется. Например, докер переедет go на rust и потребуется отдельно доставлять раст. А по итогу, чтобы починить свой шел придётся лезть в мануалы.

Я не говорю, что представленный материал не нужен, но я бы «продавал» его с позиции управления сложностью: производим декомпозицию алгоритма разворачивания сервера и уход от низкоуровневых абстракций (общение с терминалом) к высокому уровню - ансибл.

Спасибо за материал =)

Подскажите, доступа к root нет, использую в качестве remote_user пользователя,

remote_user: deploy become: yes become_user: deploy

Пишет ошибку: Failed to lock apt for exclusive operation

Подскажите, как настроить без root доступа?

после успешного make site, в кроне хостинга (в /etc/cron.d/certbot) введётся команда "...certbot -q renew". Но как реально автоматом происходит certbot renew, если gateway (nginx) работает в докере, а сертификат продлен снаружи? как в этой ситуации, происходит автоматическое продление сертификата?

Я что-то совсем запутался. Registry требует установки перед ним вэбсервера или нет?

version: '3'

services:
  registry:
    image: registry:2
    restart: always
    ports:
      - "5000:5000"
    environment:
      REGISTRY_HTTP_TLS_CERTIFICATE: /certs/live/{{ registry_host }}/cert.pem
      REGISTRY_HTTP_TLS_KEY: /certs/live/{{ registry_host }}/privkey.pem
      REGISTRY_AUTH: htpasswd
      REGISTRY_AUTH_HTPASSWD_REALM: Registry
      REGISTRY_AUTH_HTPASSWD_PATH: /auth/password
      REGISTRY_STORAGE_FILESYSTEM_ROOTDIRECTORY: /data
    volumes:
      - ./auth:/auth
      - ./data:/data
      - /etc/letsencrypt/:/certs:ro

Из этого конфига я подумал, что Registry может сам работать без вэба, но

docker push registry.mydomain.com/auction-gateway:master-1

И видно, что он лезет по https в папку V2 :

Get https://registry.mydomain.com/v2/: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)

Это тоже для новичков или курилка спецов по devops'у?
Вы не понимаете, что такое объяснение.
Объяснение, это не рассказ.

https://i.imgur.com/GrKChZd.png

По команде ansible-playbook -i hosts.yml site.yml у меня на удаленной машине (Ubuntu 18.04) произошла ошибка на шаге Add Certbot repository. Видимо он не смог потом сделать apt-get update. Возможно попробовать другой repo: ?

Я не понял, для того чтобы заработали поддомены надо ли предпринимать дополнительно что то или достаточно тех настроек nginx которые в контейнерах указаны?

ошибка в таске Add Cert Repository, что тут можно предпринять?

upd: увидел ответ выше

Дмитрий, привет После выпуска сертификата apache не останавливается (Debian 10) - в связи не получается сделать deploy так как nginx не запускается Иногда при запуске playbook для выпуска сертификата certbot дает ошибку, и после пользователь deploy не создается (в связи с чем не authorize не docker-login не работают). Если create-user раньше вытащить, ничего страшного? И еще: как сделать интерпритатор питона по умолчанию на 3 версию - в логах ловлю сообщения на прекращение поддержки старых версий

Столкнулся с проблемой. Если создать пароль nginx.htpasswd с параметром -B то nginx возвращает ошибку 500. Если этот параметр не применять, то всё хорошо. Образ был просто nginx.

UPD: Улучшили фрагмент с 26-й минуты про запуск Apache-сервера на использование конструкции wait_for.

Ошибка в make docker-login на шаге [Log into private registry]

fatal: [server]: FAILED! => {"changed": true, "cmd": "docker login -u ** -p *** registry.tiru.ru", "delta": "0:00:00.306697", "end": "2020-03-09 14:13:12.031002", "msg": "non-zero return code", "rc": 1, "start": "2020-03-09 14:13:11.724305", "stderr": "WARNING! Using --password via the CLI is insecure. Use --password-stdin.\nError response from daemon: Get registry.tiru.ru/v2/: dial tcp: lookup registry.tiru.ru on 188.93.16.19:53: no such host", "stderr_lines": ["WARNING! Using --password via the CLI is insecure. Use --password-stdin.", "Error response from daemon: Get registry.tiru.ru/v2/: dial tcp: lookup registry.tiru.ru on 188.93.16.19:53: no such host"], "stdout": "", "stdout_lines": []}

что не хватает ему не пойму, может надо в своем докер репозитории какие нить теги создать ? А то он пустой.

Добрый вечер!!! после Check if server is running все обрубается и вылетает ошибка

fatal: [server]: FAILED! => {"changed": true, "cmd": "docker run -d --name apache -v /var/www/html:/usr/local/apache2/htdocs/ -p 80:80 httpd:2.4", "delta": "0:00:00.128552", "end": "2020-03-09 19:28:01.553707", "msg": "non-zero return code", "rc": 125, "start": "2020-03-09 19:28:01.425155", "stderr": "docker: Error response from daemon: Conflict. The container name \"/apache\" is already in use by container \"4ac2b371a956a4025e9415757d3b1578b2906ae308a63a45b5fa6a014edd3b9e\". You have to remove (or rename) that container to be able to reuse that name.\nSee 'docker run --help'.", "stderr_lines": ["docker: Error response from daemon: Conflict. The container name \"/apache\" is already in use by container \"4ac2b371a956a4025e9415757d3b1578b2906ae308a63a45b5fa6a014edd3b9e\". You have to remove (or rename) that container to be able to reuse that name.", "See 'docker run --help'."], "stdout": "", "stdout_lines": []}

Вобщем запнулся на этом уроке. Вторые выходные сижу на нем. выше писал про Error response from daemon: Get registry.tiru.ru/v2/: dial tcp: lookup registry.tiru.ru on 188.93.16.19:53: no such host"]

Создал поддомен registry.tiru.ru какие NS записи создавать, надоли сервак под этот домен, и если надо как его настроить. Откуда на вашем регистре поддомене nginx. Ни какой инфы в видосах не нашел, как смотреть дальнейшие видео нипонятно, тк на практике не выходит ничего. Спулил с гита ветку последней версии и откатывал на версию этого урока. Менял домен deworker.pro автозаменой на свой , не выходит. Дмитрий объясните по подробнее про домен registry.tiru.ru , тк хочется проверить вашу теорию на практике , своими ручками. А не просто поверить этой "теории"

после make deploy demo-auction.arsku.com/работает, а api.demo-auction.arsku.com кидает ошибку: 502 Bad Gateway.

команда docker logs --since 30s -f auction_api_1 даёт ответ:

2020/03/18 15:17:46 [error] 6#6: *66 connect() failed (113: Host is unreachable) while connecting to upstream, client: 172.18.0.7, server: , request: "GET / HTTP/1.0", upstream: "fastcgi://172.18.0.3:9000", host: "api.demo-auction.arsku.com"

как решить эту проблему?
правда, после ansible make site остался контейнер httpd:2.4 apache, я его остановил...

вид http://www.arvidija.lt/turinys.php?autoidpsl=16&puslapio_PVD=programming

Дмитрий, приветствую. А не могли бы вы объяснить, за что отвечает переменная REGISTRY при команде make docker-login Видел в комментариях, что люди тоже столкнулись с проблемой на этой команде, но точного ответа и понимания так и не последовало после ваших советов/ответов.

Я правильно понимаю, что вы не используете докер хаб, а создали свой регистр для хранения образов? Или я ошибаюсь?

Если это так, то не ясно, как создавать свой регистр из данных видео. На хабре есть конечно статьи, но хотелось бы тут узнать все нюансы которые вы затрагиваете.

По крайней мере у меня есть аккаунт на DockerHub и я успешно сделал туда пуш в виде docker push myaccount/php:1 (например), но если я пытаюсь использовать команду "docker login -u {{ username }} -p {{ password }} {{ registry }}", как в видео, меня шлют лесом и говорят что нет такого регистра. Вот хотелось бы понять, почему у вас работает и что это за registry.deworker.pro

Заранее спасибо за ответ

UPD - нашел в комментах инфу что требуется поднять свой регистр. Как то не приятно, что требуется копаться в комментах, в поисках информации которая не дается в курсе. Это прям минус.

Спустя 10 дней получился настроить wsl 2->Ubuntu-18.04 = Ansible +Docker Registry и wsl 2->Debian это у нас production-сервера и wsl 2->Ubuntu-20 = dev

В шторме, Не могу понять по комитам на гите, какой соответствует окончанию этого урока? Даты коммитов перемешаны му собой не разберешь. Хорошо бы подписывали , на какой комит переключаться под конец урока, чтоб ручками все проверить самому ))

При попытке запушить билды на AWS мне выпадает сообщение "no basic auth credentials". До этого успешно создал реестр и команда make docker-login успешно сработала. Что теперь делать?

P.S. Разобрался уже. Я просто вводил одну команду, а в makefile она уже другая.

И все равно. Я застрял на этом уроке. Не понимаю, почему у меня не работает. Делаю пошагово за автором. Дохожу до создания своего отдельного приватного репозитория. Перехожу на урок 33, создаю репозиторий. Логинюсь в него. Пушу туда образы. Все проходит нормально. Ввожу команду деплоя и вижу следующее:

regal@regal-Inspiron-5521:~/projects/auction$ HOST=deploy@ec2-34-253-166-211.eu-west-1.compute.amazonaws.com PORT=22 REGISTRY=registry.newmagic.space IMAGE_TAG=master-1 BUILD_NUMBER=1 make deploy
ssh deploy@ec2-34-253-166-211.eu-west-1.compute.amazonaws.com -p 22 'rm -rf site_1'
ssh deploy@ec2-34-253-166-211.eu-west-1.compute.amazonaws.com -p 22 'mkdir site_1'
scp -P 22 docker-compose-production.yml deploy@ec2-34-253-166-211.eu-west-1.compute.amazonaws.com:site_1/docker-compose-production.yml
docker-compose-production.yml                                                                                                                                        100%  683     6.2KB/s   00:00    
ssh deploy@ec2-34-253-166-211.eu-west-1.compute.amazonaws.com -p 22 'cd site_1 && echo "COMPOSE_PROJECT_NAME=auction" >> .env'
ssh deploy@ec2-34-253-166-211.eu-west-1.compute.amazonaws.com -p 22 'cd site_1 && echo "REGISTRY=registry.newmagic.space" >> .env'
ssh deploy@ec2-34-253-166-211.eu-west-1.compute.amazonaws.com -p 22 'cd site_1 && echo "IMAGE_TAG=master-1" >> .env'
ssh deploy@ec2-34-253-166-211.eu-west-1.compute.amazonaws.com -p 22 'cd site_1 && docker-compose -f docker-compose-production.yml pull'
Pulling frontend    ... error
Pulling api-php-fpm ... error
Pulling api         ... error
Pulling gateway     ... error

ERROR: for gateway  Get registry.newmagic.space/v2/auction-gateway/manifests/master-1: no basic auth credentials

ERROR: for api-php-fpm  Get  registry.newmagic.space/v2/auction-api-php-fpm/manifests/master-1: no basic auth credentials

ERROR: for api  Get  registry.newmagic.space/v2/auction-api/manifests/master-1: no basic auth credentials

ERROR: for frontend  Get  registry.newmagic.space/v2/auction-frontend/manifests/master-1: no basic auth credentials
Get registry.newmagic.space/v2/auction-gateway/manifests/master-1: no basic auth credentials
Get registry.newmagic.space/v2/auction-api-php-fpm/manifests/master-1: no basic auth credentials
Get registry.newmagic.space/v2/auction-api/manifests/master-1: no basic auth credentials
Get registry.newmagic.space/v2/auction-frontend/manifests/master-1: no basic auth credentials
make: *** [Makefile:55: deploy] Ошибка 1

Я худо-бедно умею программировать, но таким разворачиванием еще не занимался, я в этом новичок. Помогите разобраться пожалуйста.

Всем привет, я только подключился

TASK [certbot : Add Certbot repository]
fatal: [server]: FAILED! => {"changed": false, "msg": "apt cache update failed"}

может кто знает как это бороть?

поделитесь своей темой, очень красивая, не видел раньше таких. сами делали?

а почему при установке докера и сертификатов в конфигурации ансибла у тебя в начале обновляются пакеты, а в коммитах на гитхабе этого нету

- name: Update apt packages
  apt:
    update_cache: yes

Добрый вечер. Дмитрий, подскажите пожалуйста. Получится использовать Ваш пример для частного репозитория на docker hub? Будет ли частный репозиторий доступен кому-то кроме меня? Как я понял, необходимо установить на локальный компьютер ansible и certbot?

Добрый день. Продолжаю наскоками смотреть и пробовать у себя. После ряда ошибок с почтой и получением сертификатов при деплое на сервер вроде и прошел на пару шагов вперед, но все ещё появляются ошибки видимо связанные с почтой и получением сертификата. Текст такой:

TASK [site : Up certbot standalone Apache] *****************************************************************************
skipping: [server]

TASK [site : Generate new certificate] *************************************************************************************
failed: [server] (item={'invocation': {'module_args': {'checksum_algorithm': 'sha1', 'get_checksum': True, 'follow': False, 'path': '/etc/letsencrypt/li
ve/demo.my.company/cert.pem', 'get_md5': False, 'get_mime': True, 'get_attributes': True}}, 'stat': {'exists': False}, 'changed': False, 'failed': Fals
e, 'item': 'demo.my.company', 'ansible_loop_var': 'item'}) => {"ansible_loop_var": "item", "changed": true, "cmd": "certbot certonly --noninteractive -
-agree-tos --email user@my.company -d demo.my.company", "delta": "0:00:00.003260", "end": "2021-04-05 14:26:05.217382", "item": {"ansible_loop_var":
"item", "changed": false, "failed": false, "invocation": {"module_args": {"checksum_algorithm": "sha1", "follow": false, "get_attributes": true, "get_ch
ecksum": true, "get_md5": false, "get_mime": true, "path": "/etc/letsencrypt/live/demo.my.company/cert.pem"}}, "item": "demo.my.company", "stat": {"ex
ists": false}}, "msg": "non-zero return code", "rc": 127, "start": "2021-04-05 14:26:05.214122", "stderr": "/bin/sh: 1: certbot: not found", "stderr_lin
es": ["/bin/sh: 1: certbot: not found"], "stdout": "", "stdout_lines": []}
...
PLAY RECAP *********************************************************************************************************************************************
server                     : ok=12   changed=0    unreachable=0    failed=1    skipped=1    rescued=0    ignored=0

Не подскажите что это может быть и как с ним бороться?

На сервере Ubuntu 20.04 сертификат не ставится. Почему - не знаю, переустановил сервер на Вebian 10, как у Дмитрия. Однако возникли проблемы с Add GPG key для докера.

Если у вас сервер Debian 10, замените блок ниже

    name: Add GPG key
    apt_key:
        url: https://download.docker.com/linux/debian/gpg
        state: present

на:

    name: Add Docker's official apt key.
    apt_key:
        url: https://download.docker.com/linux/ubuntu/gpg
        id: 9DC858229FC7DD38854AE2D88D81803C0EBFCD88
        state: present
    register: add_key
    ignore_errors: true

Это не ошибка, сервер у меня Debian 10, а в url "ubuntu"
Если у вас Ubuntu 20.04 - Add GPG key работает.
Почему так - непонятно.
Решение нашел здесь. https://github.com/dwdraju/ansible-install-docker/blob/master/tasks/ubuntu.yml

Рецепт успешного прохождения этого урока. Через публичный репозиторий на docker hub.

• купить домен. в управлении зоной днс сделать 2 А-записи: 1-запись: @ для ip_сервера_vps; 2-я запись: api для ip_сервера_vps
• Скачать файлы этого коммита
• Или перейти на коммит, зайдя в папку проекта через git checkout 65036b2

Имя коммита "Added provisioning roles" 65036b2

• Пойти в ruvds.com и взять там VPS с голой Debian10, минимум 1 ГБ оперативки! Я брал 512мб, как Дмитрий в видео, но не завелось ("running out of memory" - что-то такое было. (чтобы было дешевле, перейдите в "Готовые тарифы" и возьмите за 240р.)
• hosts.yml.dist переименовать в hosts.yml
• hosts.yml
  • hosts.yml ip прописать от вашего vps
  • ansible_ssh_pass добавить в hosts.yml и прописать пароль к root от вашего vps
  • у Дмитрия вообще нет этого параметра в файле hosts.yml! Я так понимаю, он заранее закинул ssh-публичный ключ на сервер, а приватный ключ прописал в конфигах ansible глобально? Дмитрий, если читаете этот пункт, просьба прояснить этот момент).
• найти и заменить домен и api.домен на свой (ctrl+shift+f в phpStorm) В этих файлах:
  • provisioning/roles/site/defaults/main.yml
  • gateway/docker/production/nginx/conf.d/api.conf
  • gateway/docker/production/nginx/conf.d/frontend.conf
  • gateway/docker/production/nginx/conf.d/default.conf
• Установка нужных прав на проект:
  • sudo chown -R имя_юзера_на_хостовой_машине:www-data ~/projects/auction
  • sudo chmod -R 755 ~/projects/auction
• provisioning/roles/site/defaults/main.yml
  • параметр certbot_email: вписать свой email
• перепроверить provisioning/roles/authorize.yml - путь до ssh на хостовой машине
• создать ansible.cfg в папке provisioning с такими настройками:([defaults] host_key_checking = false).
• roles/docker/tasks/main.yml "Install dependencies" добавить еще 2 пункта - gnupg и - lsb-release. Вот так должно быть:

-   name: Install dependencies
    apt:
        name:
            - apt-transport-https
            - ca-certificates
            - curl
            - gnupg
            - lsb-release
            - software-properties-common
        state: present
        update_cache: yes

roles/docker/tasks/main.yml - name: Add GPG key - полностью заменить таск на:

-	name: Add Docker's official apt key.
	apt_key:
    	    url: https://download.docker.com/linux/ubuntu/gpg
    	    id: 9DC858229FC7DD38854AE2D88D81803C0EBFCD88
    	    state: present
	register: add_key
	ignore_errors: true

Это не ошибка, сервер Debian 10, а в url "ubuntu". Если у вас Ubuntu 20.04 - Add GPG key работает. Почему так - непонятно. Решение нашел здесь. https://github.com/dwdraju/ansible-install-docker/blob/master/tasks/ubuntu.yml. НО я использовал не все как в ссылке, а частично, как написал выше.

• создать аккаунт в докер хаб
• создать 4 публичных репозитория в докер хабе: auction-api-php-fpm, auction-api, auction-frontend, auction-gateway. (скорее всего этот шаг можно пропустить, запушиться итак должно, но я сделал заранее, если не делать - не проверял)
• cd provisioning
• make site
• make authorize
• cd ..
• REGISTRY=ваш_логин_в_докер_хаб IMAGE_TAG=master-1 make build
• docker login (логин и пароль в докер хаб спросит, вбить). Не через make как у Дмитрия! Это команда докера нативная.
• REGISTRY=ваш_логин_в_докер_хаб IMAGE_TAG=master-1 make push
• HOST=deploy@ip_от_вашего_vps PORT=22 REGISTRY=ваш_логин_в_докер_хаб IMAGE_TAG=master-1 BUILD_NUMBER=1 make deploy

Есть ли возможность запуска команды make site со страницы сайта?

Слегка уточню свой интерес про запуск команд make site со страницы сайта. Есть два варианта:

1. Допустим хочу создать вэбинтерфейс для управления докер и всем этим удовольствием. Лень мне залазить в PHPStorm, руками править нужные файлы. Ведь по сути все сводится к добавлению адресов в нужное место пары файлов и потом запуск их с помощью Makefile. Если не нужно править код на странице сайта, добавлять какой-то функционал, исправлять баги, а только задеплоить на какой-то сервер(ы).
2. Допустим хочу на сервере, где крутиться сайт иметь возможность копировать его (или какую-то часть) на другие сервера. Ведь ансибл для этого и создан, чтоб разворачивать приложения на разных серверах.

На данный момент я понимаю, что в простейшем случае нужен код что-то типа такого (api/public/index.php):

<form method="post">
    <input type="submit" name="ping" value="Start ping"/>
</form>

<?php

if (isset($_POST['ping'])){ system("ping google.com", $result);}

echo $result;
var_dump($result);

Так я могу запустить какую-то команду и отобразить её вывод на странице сайта. Но если прописать:

if (isset($_POST['ping'])){ system("ansible -m ping google.com", $result);}

То выведет 127int(127)

Я так понимаю, что это из-за того, что находимся в "другом образе", не на самом хосте, где разрабатываем сайт, а в контейнере. Пробовал в каталоге provisioning в файле Makefile Добавлять команду типа:

ping:
	ansible -m ping all

Она работает. Но замена на

if (isset($_POST['ping'])){ system("make ping", $result);}

Тоже ничего не дала 127int(127).

Благодаря ошибке стал понимать, что в моем случае скорее всего нужно доустановить ансибл в один из контейнеров, чтоб получился приблизительный путь /app/public/index.

То есть по идее в docker-compose нужно добавить секцию что-то типа такого:

    ansible:
        build:
            context: api/docker
            dockerfile: development/ansible/Dockerfile
        volumes:
            - ./api:/app

а в Dockerfile что-то типа этого:

FROM php:7.4-cli-alpine
RUN apt install ansible
WORKDIR /app

и потом вызывать командой:

if (isset($_POST['ping'])){ system("make ping google.com", $result);}

Но пока не получилось

По крайней мере установка ансибл с помощью команды:

docker-compose run --rm api-php-cli apk add ansible

Хоть и установила ансибл, но ничего не дала в плане выполнения команд от его имени Так же и с добавлением

RUN apk add ansible в api/docker/development/php-cli/Dockerfile

Пробую собрать образ с ансибл. Стал понимать, что к нему нужно докинуть ещё пайтон и другие вещи. Собрал такой Dockerfile:

FROM alpine:3.12

RUN apk --no-cache add \
        sudo \
        python3\
        openssl \
        ca-certificates \
        sshpass \
        openssh-client \
        rsync \
        git && \
    apk --no-cache add --virtual build-dependencies \
        python3-dev \
        libffi-dev \
        openssl-dev \
        build-base \
        ansible && \
    apk del build-dependencies && \
    rm -rf /var/cache/apk/*

RUN mkdir /ansible && \
    mkdir -p /etc/ansible && \
    echo 'localhost' > /etc/ansible/hosts

WORKDIR /ansible

RUN ansible --version

вроде показывает, что все собирается, но потом выдает ошибку:

 => ERROR [5/5] RUN ansible --version                                                                                                              1.7s
------
 > [5/5] RUN ansible --version:
#9 1.180 /bin/sh: ansible: not found
------
executor failed running [/bin/sh -c ansible --version]: exit code: 127

Dockerfile лежит в корне. Кроме его ничего нет и по идее не нужно.

Пробовал добавить вместо первой строки такую

FROM php:7.4-cli-alpine

Но результат тот же

Вернусь к вопросу ошибки при заливке на сервер. Не знаю, насколько правильно поступил, но прописал у хостера добавочную А запись типа api.demo.site.com и все задеплоилось. По крайней мере ошибок нет. Но и есть предупреждение типа:

skipping: [server] => (item={'invocation': {'module_args': {'checksum_algorithm': 'sha1', 'get_checksum': True, 'follow': False, 'path': '/etc/letsencrypt/live/demo.site.com/cert.pem', 'get_md5': False, 'get_mime': True, 'get_attributes': True}}, 'stat': {'charset': 'binary', 'uid': 0, 'exists': True, 'attr_flags': '', 'lnk_target': '../../archive/demo.site.com/cert1.pem', 'woth': True, 'isreg': False, 'device_type': 0, 'mtime': 1618143791.318494, 'block_size': 4096, 'inode': 521595, 'isgid': False, 'size': 40, 'executable': False, 'isuid': False, 'readable': True, 'version': None, 'pw_name': 'root', 'gid': 0, 'ischr': False, 'wusr': True, 'writeable': True, 'mimetype': 'inode/symlink', 'blocks': 0, 'xoth': True, 'islnk': True, 'nlink': 1, 'issock': False, 'rgrp': True, 'gr_name': 'root', 'path': '/etc/letsencrypt/live/demo.site.com/cert.pem', 'xusr': True, 'atime': 1620877832.626035, 'lnk_source': '/etc/letsencrypt/archive/demo.site.com/cert1.pem', 'isdir': False, 'ctime': 1618143791.318494, 'isblk': False, 'wgrp': True, 'xgrp': True, 'dev': 2049, 'roth': True, 'isfifo': False, 'mode': '0777', 'rusr': True, 'attributes': []}, 'changed': False, 'failed': False, 'item': 'demo.site.com', 'ansible_loop_var': 'item'})
skipping: [server] => (item={'invocation': {'module_args': {'checksum_algorithm': 'sha1', 'get_checksum': True, 'follow': False, 'path': '/etc/letsencrypt/live/api.demo.site.com/cert.pem', 'get_md5': False, 'get_mime': True, 'get_attributes': True}}, 'stat': {'charset': 'binary', 'uid': 0, 'exists': True, 'attr_flags': '', 'lnk_target': '../../archive/api.demo.site.com/cert1.pem', 'woth': True, 'isreg': False, 'device_type': 0, 'mtime': 1620946259.5864851, 'block_size': 4096, 'inode': 1028362, 'isgid': False, 'size': 44, 'executable': False, 'isuid': False, 'readable': True, 'version': None, 'pw_name': 'root', 'gid': 0, 'ischr': False, 'wusr': True, 'writeable': True, 'mimetype': 'inode/symlink', 'blocks': 0, 'xoth': True, 'islnk': True, 'nlink': 1, 'issock': False, 'rgrp': True, 'gr_name': 'root', 'path': '/etc/letsencrypt/live/api.demo.site.com/cert.pem', 'xusr': True, 'atime': 1620946259.610485, 'lnk_source': '/etc/letsencrypt/archive/api.demo.site.com/cert1.pem', 'isdir': False, 'ctime': 1620946259.5864851, 'isblk': False, 'wgrp': True, 'xgrp': True, 'dev': 2049, 'roth': True, 'isfifo': False, 'mode': '0777', 'rusr': True, 'attributes': []}, 'changed': False, 'failed': False, 'item': 'api.demo.site.com', 'ansible_loop_var': 'item'})"

При этом страница сайта туда не загрузилась. Выдает только "Index of/" Я не совсем понял. Откуда она должна заливаться: из репозитория или с нашего компа?

Дмитрий, добрый день,

пожалуйста, можете добавить в сборку Prometheus + Grafana для мониторинга нагрузки? Думаю будет очень актуально, учитывая разворачивание масштабируемой под нагрузку архитектуры. Либо посоветовать как их грамотно внедрить/настроить в текущей архитектуре в докере.

Спасибо огромное заранее!

Доброе утро.

Дмитрий, возник такой вопрос.

Вы заранее добавили ключ на сервер, чтобы можно было войти по ssh без пароля.

Я попробовал написать tasks для решения этой задачи, но до конца не могу довести дело.

Пока у меня получилось два файла, один записывает удалённый хост в файл known_hosts, а второй копирует ключ на сервер.

add_known_hosts.yml (запись хоста в known_hosts)

---
- name: Added known_hosts
  hosts: site
  remote_user: root
  become: yes
  vars_prompt:
      - name: remote_host
        prompt: "Host name"
        private: no
     - name: remote_ip
       prompt: "Host IP"
       private: no
   tasks:
      - known_hosts:
           name: '{{ remote_host }}'   # or 10.9.8.77
           key: '{{ remote_host }}, {{ remote_ip }} ssh-rsa ASDeararAIUHI324324'  # some key gibberish
           #path: /etc/ssh/ssh_known_hosts
           state: present

Запускаю этот файл командой

add_known_hosts:
ansible-playbook -i hosts.yml add_known_hosts.yml

Указываю какой хост, с каким ip надо записать в known_hosts, потом запрашивается подтверждение действия

Are you sure you want to continue connecting (yes/no)?

Затем требуется ввести пароль root для доступа к серверу.

Вот на этом моменте я потерялся.

После ввода хоста, ip и подтвержения не могу понять как указать root пароль. Работа завершается ошибкой

Permission denied (publickey,password)., но и хост записывается в known_hosts

Пробовал изменить команду в make файле на такую

add_known_hosts:
ansible-playbook -i hosts.yml --ask-pass add_known_hosts.yml

Но в этом случае пароль запрашивается самым первым и естественно он не срабатывает.

copy_auth_key.yml (копирует ключ)

- name: Log in server
  hosts: site
  remote_user: root
  tasks:
     - authorized_key:
       user: root
       state: present
       manage_dir: yes
       key: "{{ lookup('file', '~/.ssh/id_rsa.pub') }}"

Запускаю командой

copy-key:
ansible-playbook -i hosts.yml --ask-pass copy_auth_key.yml

Запрашивается root пароль и ключ успешно копируется.

Этот код работает даже если первый завершится ошибкой из-за того, что не указан root пароль для первой задачи.

1) Как можно убрать ручной ввод подтверждения и как передать пароль, чтобы ansible реагировал на него после ввода подтверждения (для add_known_hosts.yml)?

2) Как можно объединить эти два yml файла, через handler?

Может я самый тупой здесь но у меня есть два вопроса:

1. как и где указать папку для деплоя на сервере тоесть условно /var/www/deworker.pro
2. как и где узнавать пользователя для ansible для make docker-login

Добрый день, Дмитрий.

Появились пару вопросов.

1) Есть некий домен для которого выпущены сертификаты ssl. Этот домен планируется перенести на другой сервер и настроить автоматическое продление сертифкатов. Могут ли возникнуть проблемы при выпуске сертификатов через letsencrypt, если срок действия текущих сертификатов ещё не истёк?

2) При создании cron задачи на очистку docker от неиспользуемых image Вы указываете период в 30 дней

 'docker system prune -af --filter "until=$((30*24))h"'

Почему именно Вы храните image именно месяц? Думаю, что можно чистить от неиспользуемых чаще. Ведь можно и за день заполнить всё дисковое пространство на сервере(что вчера у меня и вышло).

Здравствуйте, у меня установлен Ansible на Win10, пинг "ansible all -m ping -i hosts.yml" проходит нормально, но при запуске "make site" выдаёт следующую ошибку:

$ make site ansible-playbook -i hosts.yml site.yml process_begin: CreateProcess(NULL, python3.7 C:\cygwin64\bin\ansible-playbook -i hosts.yml site.yml, ...) failed. make (e=193): Error 193 make: *** [site] Error 193

Подскажите, плиз в чём может быть ошибка.

После первого запуска "make site" получил ошибку:

TASK [site : Generate new certificate]
failed: [server] (item={'changed': False, 'stat': {'exists': False}, 'invocation': {'module_args': {'path': '/etc/letsencrypt/live/site-blade.ru/cert.pem', 'follow': False, 'get_md5': False, 'get_checksum': True, 'get_mime': True, 'get_attributes': True, 'checksum_algorithm': 'sha1'}}, 'failed': False, 'item': 'site-blade.ru', 'ansible_loop_var': 'item'}) => {"ansible_loop_var": "item", "changed": true, "cmd": "certbot certonly --noninteractive --agree-tos --email mail@site-blade.ru -d site-blade.ru", "delta": "0:00:00.685884", "end": "2021-10-03 05:19:18.389513", "item": {"ansible_loop_var": "item", "changed": false, "failed": false, "invocation": {"module_args": {"checksum_algorithm": "sha1", "follow": false, "get_attributes": true, "get_checksum": true, "get_md5": false, "get_mime": true, "path": "/etc/letsencrypt/live/site-blade.ru/cert.pem"}}, "item": "site-blade.ru", "stat": {"exists": false}}, "msg": "non-zero return code", "rc": 1, "start": "2021-10-03 05:19:17.703629", "stderr": "Saving debug log to /var/log/letsencrypt/letsencrypt.log\nPlugins selected: Authenticator webroot, Installer None\nAn unexpected error occurred:\nTraceback (most recent call last):\n  File \"/usr/lib/python3/dist-packages/josepy/interfaces.py\", line 180, in json_loads\n    loads = json.loads(json_string)\n  File \"/usr/lib/python3.8/json/__init__.py\", line 357, in loads\n    return _default_decoder.decode(s)\n  File \"/usr/lib/python3.8/json/decoder.py\", line 337, in decode\n    obj, end = self.raw_decode(s, idx=_w(s, 0).end())\n  File \"/usr/lib/python3.8/json/decoder.py\", line 355, in raw_decode\n    raise JSONDecodeError(\"Expecting value\", s, err.value) from None\njson.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)\n\nDuring handling of the above exception, another exception occurred:\n\njosepy.errors.DeserializationError: Deserialization error: Expecting value: line 1 column 1 (char 0)\nPlease see the logfiles in /var/log/letsencrypt for more details.", "stderr_lines": ["Saving debug log to /var/log/letsencrypt/letsencrypt.log", "Plugins selected: Authenticator webroot, Installer None", "An unexpected error occurred:", "Traceback (most recent call last):", "  File \"/usr/lib/python3/dist-packages/josepy/interfaces.py\", line 180, in json_loads", "    loads = json.loads(json_string)", "  File \"/usr/lib/python3.8/json/__init__.py\", line 357, in loads", "    return _default_decoder.decode(s)", "  File \"/usr/lib/python3.8/json/decoder.py\", line 337, in decode", "    obj, end = self.raw_decode(s, idx=_w(s, 0).end())", "  File \"/usr/lib/python3.8/json/decoder.py\", line 355, in raw_decode", "    raise JSONDecodeError(\"Expecting value\", s, err.value) from None", "json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)", "", "During handling of the above exception, another exception occurred:", "", "josepy.errors.DeserializationError: Deserialization error: Expecting value: line 1 column 1 (char 0)", "Please see the logfiles in /var/log/letsencrypt for more details."], "stdout": "", "stdout_lines": []}
failed: [server] (item={'changed': False, 'stat': {'exists': False}, 'invocation': {'module_args': {'path': '/etc/letsencrypt/live/api.site-blade.ru/cert.pem', 'follow': False, 'get_md5': False, 'get_checksum': True, 'get_mime': True, 'get_attributes': True, 'checksum_algorithm': 'sha1'}}, 'failed': False, 'item': 'api.site-blade.ru', 'ansible_loop_var': 'item'}) => {"ansible_loop_var": "item", "changed": true, "cmd": "certbot certonly --noninteractive --agree-tos --email mail@site-blade.ru -d api.site-blade.ru", "delta": "0:00:00.442266", "end": "2021-10-03 05:19:19.257449", "item": {"ansible_loop_var": "item", "changed": false, "failed": false, "invocation": {"module_args": {"checksum_algorithm": "sha1", "follow": false, "get_attributes": true, "get_checksum": true, "get_md5": false, "get_mime": true, "path": "/etc/letsencrypt/live/api.site-blade.ru/cert.pem"}}, "item": "api.site-blade.ru", "stat": {"exists": false}}, "msg": "non-zero return code", "rc": 1, "start": "2021-10-03 05:19:18.815183", "stderr": "Saving debug log to /var/log/letsencrypt/letsencrypt.log\nPlugins selected: Authenticator webroot, Installer None\nAn unexpected error occurred:\nTraceback (most recent call last):\n  File \"/usr/lib/python3/dist-packages/josepy/interfaces.py\", line 180, in json_loads\n    loads = json.loads(json_string)\n  File \"/usr/lib/python3.8/json/__init__.py\", line 357, in loads\n    return _default_decoder.decode(s)\n  File \"/usr/lib/python3.8/json/decoder.py\", line 337, in decode\n    obj, end = self.raw_decode(s, idx=_w(s, 0).end())\n  File \"/usr/lib/python3.8/json/decoder.py\", line 355, in raw_decode\n    raise JSONDecodeError(\"Expecting value\", s, err.value) from None\njson.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)\n\nDuring handling of the above exception, another exception occurred:\n\njosepy.errors.DeserializationError: Deserialization error: Expecting value: line 1 column 1 (char 0)\nPlease see the logfiles in /var/log/letsencrypt for more details.", "stderr_lines": ["Saving debug log to /var/log/letsencrypt/letsencrypt.log", "Plugins selected: Authenticator webroot, Installer None", "An unexpected error occurred:", "Traceback (most recent call last):", "  File \"/usr/lib/python3/dist-packages/josepy/interfaces.py\", line 180, in json_loads", "    loads = json.loads(json_string)", "  File \"/usr/lib/python3.8/json/__init__.py\", line 357, in loads", "    return _default_decoder.decode(s)", "  File \"/usr/lib/python3.8/json/decoder.py\", line 337, in decode", "    obj, end = self.raw_decode(s, idx=_w(s, 0).end())", "  File \"/usr/lib/python3.8/json/decoder.py\", line 355, in raw_decode", "    raise JSONDecodeError(\"Expecting value\", s, err.value) from None", "json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)", "", "During handling of the above exception, another exception occurred:", "", "josepy.errors.DeserializationError: Deserialization error: Expecting value: line 1 column 1 (char 0)", "Please see the logfiles in /var/log/letsencrypt for more details."], "stdout": "", "stdout_lines": []}

После второго запуска "make site" получил ошибку:

TASK [site : Up certbot standalone Apache]
fatal: [server]: FAILED! => {"changed": true, "cmd": "docker run -d --name apache -v /var/www/html:/usr/local/apache2/htdocs/ -p 80:80 httpd:2.4", "delta": "0:00:00.486208", "end": "2021-10-03 05:15:29.668210", "msg": "non-zero return code", "rc": 125, "start": "2021-10-03 05:15:29.182002", "stderr": "docker: Error response from daemon: Conflict. The container name \"/apache\" is already in use by container \"0526bf077f3cc258c4f88b2399a39c4d7c88c1cf50c092fea9eae6b7b7501bdd\". You have to remove (or rename) that container to be able to reuse that name.\nSee 'docker run --help'.", "stderr_lines": ["docker: Error response from daemon: Conflict. The container name \"/apache\" is already in use by container \"0526bf077f3cc258c4f88b2399a39c4d7c88c1cf50c092fea9eae6b7b7501bdd\". You have to remove (or rename) that container to be able to reuse that name.", "See 'docker run --help'."], "stdout": "", "stdout_lines": []}

В чем причина данного безобразия?

Ошибку в блоке "Up certbot standalone Apache" решил ручным удаление контейнера с именем: apache на сервере

Ошибку "Generate new certificate" не получается исправить

Все сделал в соответствии с уроком. Сайт залил на витуалку. Все без ошибок. Сайт не открывается. Все пингуется, A и CNAME записи в DNS прописаны корректно.

Пишет:

Сайт blade.azzorsoft.ru не позволяет установить соединение
Сайт api.blade.azzorsoft.ru не позволяет установить соединение

Все по двадцать раз проверил, НЕ ЗАПУСКАЕТСЯ САЙТ!!! HELP люди!!!!

Дмитрий, большое спасибо за ваши скринкасты! Всё очень круто и полезно!

Подскажите пожалуйста, с чем может быть связана эта ошибка на этапе make deploy, вроде всё как у вас сделал, только docker registry сделал на каком то бесплатном сервисе, не на своей виртуалке.

Recreating 546428fe9906_auction_gateway_1 ...
Recreating 546428fe9906_auction_gateway_1 ... error

ERROR: for 546428fe9906_auction_gateway_1  Cannot start service gateway: driver failed programming external connectivity on endpoint auction_gateway_1 (239af4b854dacaee842f436545bc4f5b2df0a603f5272ed9248569b6de799a71): Bind for 0.0.0.0:80 failed: port is already allocated

А можно поподробнее о том как была написана конфигурация для Nginx.

Например, существует генератор, который создаст готовую, но там всё иначе nginx.conf vs conf.d, sites-available и т.д.

Можете порекомендовать ресурсы для изучения Nginx? Документацию смотрел, там много чего. А вот для начинающего?

Здесь получается редирект 443 https://www -> https:// не работает, т.к сертификат не поддерживает www.

http: error: SSLError: HTTPSConnectionPool(host='www.demo-auction.domain.com', port=443): Max retries exceeded with url: / (Caused by SSLError(CertificateError("hostname 'www.demo-auction.domain.com' doesn't match 'api.demo-auction.domain.com'"))) while doing a GET request to URL: https://www.demo-auction.domain.com/

При генерации нужно указать certbot certonly --standalone -d domain.com -d www.domain.com для использования одного и того же сертификата для обеих блоков в nginx (не проверял лично).

Извиняюсь за оффтоп, а какие-то настройки с шрифтами делали на ubuntu? на видео они кажутся норм, но когда себе ставил то по сравнению с windows сглаживание очень плохое

Добрый день, подскажите как устранить проблему сайт открывается по адресу example.com, а также example.com/index.php все настройки NGINX как в проекте

Здравствуйте, а почему решили выбрать для выпуска и продления сертификатов режим webroot, а не standalone?

При запуске

ansible-playbook hosts.yml --check

Получаю ошибку

provided hosts list is empty, only localhost is available. Note that the implicit localhost does not match 'all'

all:

hosts:
    server:
        ansible_connection: ssh
        ansible_user: root
        ansible_host: 188.68.220.228
        ansible_port: 22

В чём может быть проблема?

Разобрался, проблема была в другом. Ошибке yml докера

На таске site : Up certbot standalone Apache падает с ошибкой docker: Error response from daemon: cgroups: cgroup mountpoint does not exist: unknown. Кто-нибудь решил?

У меня после шага Up certbot standalone Apache была ошибка при генерации сертефикатов. Оказалось, что после поднятия контейнера с сервером он падал с ошибкой

AH00558: httpd: Could not reliably determine the server's fully qualified domain name, using 172.17.0.2. Set the 'ServerName' directive globally to suppress this message

Помогло поменять тег httpd:2.4 на httpd:alpine

У кого MacBook с чипом M1, при билде нужно добавить флаг

docker --platform=linux/amd64

Без этого флага на продовом сервере контейнеры останавливались с ошибкой

exec user process caused: exec format error

https://appdividend.com/2023/01/29/exec-user-process-caused-exec-format-error/

Это. Просто. Офигительно! Спасибо!!

При добавлении репозитория certbot возникает ошибка, машина с Ubuntu 22.04

-   name: Add Certbot repository
    apt_repository:
        repo: 'ppa:certbot/certbot'
        state: present
        update_cache: yes

-   name: Install Certbot
    apt:
        name: certbot
        state: present
        update_cache: yes

Сама ошибка:

fatal: [server]: FAILED! => {"changed": false, "msg": "Failed to update apt cache: E:The repository 'http://ppa.launchpad.net/certbot/certbot/ubuntu jammy Release' does not have a Release file., W:Updating from such a repository
 can't be done securely, and is therefore disabled by default., W:See apt-secure(8) manpage for repository creation and user configuration details., W:https://download.docker.com/linux/debian/dists/stretch/InRelease: Key is stor
ed in legacy trusted.gpg keyring (/etc/apt/trusted.gpg), see the DEPRECATION section in apt-key(8) for details."}

Подскажите пожалуйста.

Пару дней промучался с воспроизведением данного урока через VPS на Debian 12. В итоге, всё успешно запустил и задеплоил. Может, кому пригодятся данные фиксы:

1. ошибка "..does not have a Release file" при выполнении таски Add Certbot repository - заменить поддомен на archive

   apt_repository:
     repo: 'deb http://archive.debian.org/debian buster-backports main'
     state: present
     filename: buster-backports
     update_cache: yes
   

2. Неявная ошибка при выполнении таска Generate new certificate (connection refuse при проверке acme-challenge). В первую очередь надо проверить A-записи для ваших доменов (об этом уже было сказано). Но в моём случае не запускался демон с апачем (запускался и через 4-5 сек отрубался), соответственно, Up certbot standalone Apache отрабатывал без ошибок, но соединение не проходило, надо использовать более старый образ httpd:2.4-bullseye

   shell: "docker run -d --name apache -v /var/www/html:/usr/local/apache2/htdocs/ -p 80:80 httpd:2.4-bullseye"
   when: port_check.failed == true
   

TASK [certbot : Add Certbot repository] ***************************************************************************************************************************************
fatal: [server]: FAILED! => {"changed": false, "msg": "Failed to update apt cache: E:The repository 'http://ppa.launchpad.net/certbot/certbot/ubuntu jammy Release' does not have a Release file., W:Updating from such a repository can't be done securely, and is therefore disabled by default., W:See apt-secure(8) manpage for repository creation and user configuration details., W:https://download.docker.com/linux/ubuntu/dists/jammy/InRelease: Key is stored in legacy trusted.gpg keyring (/etc/apt/trusted.gpg), see the DEPRECATION section in apt-key(8) for details."}

подскажите что не так ?

Одно не понятно nginx то должен быть уже установлен там или нет для основного домена ?

root@debian:/home/auction# make push REGISTRY=registry.**** IMAGE_TAG=master-1
docker push registry.*****/auction-gateway:master-1
The push refers to repository [registry.*****/auction-gateway]
c98cae2b357c: Preparing
b6f4187ddfc7: Preparing
c4f83620b49e: Preparing
3810cc0c140f: Preparing
3e207b409db3: Preparing
no basic auth credentials
make: *** [Makefile:85: push-gateway] Error 1

при попытке запушить ошибка , docker-login до этого отработал нормально/ Подскажите что tver не хватает ?

PS. пришлось вручную из папки auction выполнить docker login итд итп тогда авторизовало , из папки provisioning не подхватывает авторизацию