Построение Pipeline в Jenkins

чудотворный урок, спасибо.

Дмитрий, спасибо большое за урок! Вопрос, будет ли рассмотрен вариант использоваться докер образа с Git lab или вообще Git lab как инструмента? Там же есть встроенная возможность и репозиторий для docker организовать и ci\cd настраивать...

Огромное спасибо за труд.

А сколько всего планируется уроков?

Этот урок просто бесценный, спасибо

А что если надо сделать деплой на две разных машины? Ну т.е. чтобы было 2 копии сайта. Как это сконфигурировать?

А что если у нас есть shared данные. Например, изображения загруженные пользователями. Понятное дело, что можно заиметь ftp сервер какой-нибудь и грузить все туда. Но если все таки без сервера, т.е. хранить изображения надо где-то в отдельной папке, то как тогда ее монтировать в контейнер? Причем надо не забывать, что у нас может быть staging (или даже несколько staging).

А почему в Jenkinsfile для make deploy мы явно указываем BUILD_NUMBER=${env.BUILD_NUMBER} make deploy? Ведь остальные переменные по типу HOST мы же не указываем....

Замечательный урок. Спасибо.

Остался только один вопрос как сделать возможность автоматического отката к прошлой рабочей версии или как сделать возможность хранить на сервере файлы допустим только 4-х или пяти предыдущих деплоев что бы откатить вручную и при этом не забивать дисковое пространство?

При сборке не находится sshagent java.lang.NoSuchMethodError: No such DSL method 'sshagent' found among steps Потом все таки досмотрел видео, когда установил модуль сам)

Дима помоги, у меня проблема: в момент docker-build в production/Dockerfile есть строчка COPY out/buildServer/stats.json app/out/buildServer/stats.json

файл stats.json - это результат работы stats-webpack-plugin, и он обязательно появляется, но не успевает появиться до момента COPY

как дождаться либо здесь, внутри Dockerfile, или в Makefile?

Дмитрий, добрый день! Во время деплоя jenkins при сборке образа на основе jenkinsci/blueocean не устанавливается docker-compose. Ошибка во время компиляции "Could not build wheels for pynacl which use PEP 517 and cannot be installed directly". Не подскажите, в чем может быть проблема?

И еще одна проблема (уже после установки docker-compose через curl). Во время запуска пайплайна на стадии "Init" возникает ошибка:

console output

• make init
• docker-compose down -v --remove-orphans
• make: docker-compose: Operation not permitted
• make: *** [Makefile:46: docker-down-clear] Error 127

Не подскажите, в чем может быть проблема?

Добрый вечер, Дмитрий.

При выполнении шага "make init" возникают такие ошибки:

ERROR: for mailer  Get "registry-1.docker.io/v2/": net/http: TLS handshake timeout
error pulling image configuration: Get "registry-1.docker.io/v2/library/node/blobs/sha256:18f4bc97573275625b5337c93ac43f9b920a09fb4cb030e25a0c0ff42dd6b3dc": net/http: TLS handshake timeout

Если выполнить curl запрос к этим адресам, или перейти в браузере, то в ответ получаю следующее сообщение:

{"errors":[{"code":"UNAUTHORIZED","message":"authentication required","detail":[{"Type":"repository","Class":"","Name":"library/node","Action":"pull"}]}]}

Как победить данную проблему?

При выполнении шага "make init" возникают такие ошибки:

Добавил для jenkins playbook docker-login

Предыдущая ошибка ушла, но появилась новая, ругается на docker.dind

HTTPSConnectionPool(host='docker', port=2376): Read timed out. (read timeout=60)

А у меня такая проблема. Jenkins сканирует github репозиторий раз в минуту и смотрит есть ли изменения. Но бывает, что он запускает пайплан даже если изменений никаких не было. И происходит это не систематизировано, может днем запустить, может ночью. Может неделю все тихо быть, а потом бац - билд пошел. Не сталкивались с таким?

добрый день! пушу в master, но почему то jenkins игнорирует эту стадию. в логах: Stage "Push" skipped due to when conditional. может надо прописать branch 'origin/master'?

stage('Push') {
    when {
         branch 'master'
    }
    steps {
        withCredentials([
            usernamePassword(
                credentialsId: 'REGISTRY_AUTH',
                usernameVariable: 'USER',
                passwordVariable: 'PASSWORD'
            )
        ]) {
            sh 'docker login -u=$USER -p=$PASSWORD $REGISTRY'
        }
        sh 'make push'
    }
}

Добрый вечер, Дмитрий.

Столкнулся с проблемой на самом первом этапе сборки в jenkins "Declarative: Checkout SCM".

Вываливалась ошибка

jenkins.util.io.CompositeIOException: Unable to delete '/var/jenkins_home/workspace/Project_dev'. Tried 3 times (of a maximum of 3) waiting 0.1 sec between attempts. (Discarded 41009 additional exceptions)

И далее в логе

Suppressed: java.nio.file.FileSystemException: /var/jenkins_home/workspace/Project_dev/pohoron/node_modules/color-name/package.json: Operation not permitted

Проблема с правами доступа, как я понял.

Например, на директорию node_modules права drwxr-sr-x 738 root jenkins

И начались эти проблемы после простоя около двух месяцев, в этот промежуток времени ничего не делалось в проекте и не выгружалось.

Проблему решил путём очистки директории проекта в volume /var/jenkins_home/workspace/Project_dev

Но, как я понимаю, это временное решение.

Из-за чего могла случиться такая ситуация, как правильно решать подобные проблемы?

И ещё вопрос.

Когда заглянул в volume jenkins-a, то увидел директорию проекта, который давно удалён из pipeline, никаких images от него не осталось.

Должны ли из volume автоматически удаляться проекты из /var/jenkins_home при удалении проекта из pipeline?

Добрый день, подскажите как бороться с переполнением диска в jenkins.

docker system prune -af --filter until=240h не помогает.

Запуск в ручную docker system prune -a - выдает Total reclaimed space: 0B. overlay2 - 57Gb.

Благодарю.

Спасибо за урок! Не понимаю как запускать деплой повторно. Первый прошел успешно, все контейнеры поднялись, сайт запускается. При следующих деплоях вываливается ошибка, что порт уже занят и контейнер nginx не поднимается.

ERROR: for manager-nginx  Cannot start service manager-nginx: driver failed programming external connectivity on endpoint site_256_manager-nginx_1 (c95b2e8ad278d66fd16c****ed7b132c42accfb67754****7279b662b9****1****e5cae3****5a): Bind for ****.****.****.****:443 failed: port is already allocated 

Что я делаю не так? Это конечно решится добавлением docker-compose down перед build прошлой версии сборки, но у вас я этого не вижу. Или вы ручками на сервере запускаете docker-compose down а потом деплоите?

И еще второй вопрос как быть с volume для postgres? Каждый раз после деплоя создается новый volume с новой версией , и соответсвтенно пустой контент на сайте после деплоя. Например было название volume site_253_manager-postgres стал site_254_manager-postgres.

На локальной машине под MacOS в Jenkins все шаги нормально проходят, на виртуальном сервере тесты smoke и e2e падают.

Scenario: View home page content (attempt 6) # features/home.feature:7
09:22:12     ✖ Before # features/support/hooks.js:4
09:22:12         Error: function timed out, ensure the promise resolves within 5000 milliseconds
09:22:12             at Timeout._onTimeout (/app/node_modules/cucumber/lib/user_code_runner.js:76:18)
09:22:12             at listOnTimeout (node:internal/timers:564:17)
09:22:12             at process.processTimers (node:internal/timers:507:7)
09:22:12     - Given I am a guest user # features/support/steps/user.js:3
09:22:12     - When I open "/" page # features/support/steps/page.js:2
09:22:12     - Then I see welcome block # features/step_definitions/home.js:4
09:22:12     ✖ After # features/support/hooks.js:15
09:22:12         TypeError: Cannot read properties of null (reading 'screenshot')
09:22:12             at CustomWorld.<anonymous> (/app/features/support/hooks.js:18:21)

Пробовал менять таймаут, не помогает. Гуглил вроде как браузер не запускается перед тестом. Кто может помочь?

Дмитрий, в этом уроке Вы используете githab.com для хранения репозиториев. И в интерфейсе есть тесная интеграция с github. Для gitlab таковой нет, и даже плагин (согласно https://docs.gitlab.com/ee/integration/jenkins.html) не помогает настроить функционал из урока.

А у меня код храниться на gitlab.com.

Есть ли способы подстроиться под gitlab.com для задач этого урока? Или разумнее перевезти код на github?

Спасибо!