Оптимизация Docker-образов

Комментарии (77)

Альберт

2020-01-01 06:29

Подскажите как быть к примеру с папкой изображений, если это интернет-магазин, не будешь же ее в образ копировать.

Дмитрий Елисеев

2020-01-01 07:28

Использовать для изображений отдельный файловый хостинг и загружать на него файлы из PHP по S3 или FTP.

Вопросник

2020-12-12 12:03

А есть ли еще какие-то варианты, можно же монтировать файлы через volumes прямо внутрь нужных контейнеров для прода?

Дмитрий Елисеев

2020-12-12 16:51

Если сервер один, то по аналогии с базами данных можно примонтировать папку uploads через вольюм. Но если серверов будет не один, а несколько с балансировкой, то к нескольким серверам одну папку примонтировать не получится.

slo_nik

2021-04-24 21:46

Добрый вечер.

Подскажите, как побороть проблему с сохранением файлов.

Требуется генерировать pdf файл на сайте.

Использую symfony bundle для генерации pdf, файл сохраняю в public/pdf.

После сохранения вывожу ссылку на файл.

На localhost всё работает, а когда выгружаю на рабочий сервер, то ссылка на файл не работает, выдаёт 404.

Посмотрел контейнеры fpm и nginx на localhost, в директории public/pdf, в обоих контейнерах, сохраняет файл.

На рабочем сайте файл сохраняется только в контейнере fpm, а в nginx его нет. Как я понимаю, при попытке открыть файл по ссылке обращение идёт к контейнеру nginx? Но раз в нём нет файла, то и получаю 404. И естественно, при deploy теряю все сгенерированные файлы.

В чём может быть причина?

Дмитрий Елисеев

2021-04-25 09:53

Причина в том, что на продакшене nginx и php-fpm - это отдельные контейнеры со своими копиями папки public, очищающимися после перезапуска.

Если они запущены на одном сервере, то как временное решение можно в продакшене через volumes создать общий том для файлов, который примонтировать в оба сервиса по адресу public/pdf.

Но как более корректное решение все сгенерированные или загруженные пользователем файлы обычно помещают в отдельный сервис файлового хранилища со своим томом:

services:
    nginx:
        ...
    php-fpm:
        ...
    storage:
        ...
        volumes:
            storage: /data

И потом уже из php-fpm загружают в него файлы по FTP или S3. А из nginx-контейнера можно сделать проксирование на это хранилище по какому-нибудь префиксу /static

slo_nik

2021-04-25 11:04

Директория data не важно где будет расположена? Или в корне системы или в директории /home/username?

Дмитрий Елисеев

2021-04-25 11:51

Зависит от того, какой сервис хранилища будете использовать.

slo_nik

2021-04-25 11:54

использовать, как Вы сказали, более корректное, в отдельном сервисе storage. Как в Вашем примере выше.

Но пока сайт не совсем рабочий, в стадии разработки, думаю сделать простой вариант, хранение через volume.

slo_nik

2021-04-25 11:10

Если они запущены на одном сервере, то как временное решение можно в продакшене через volumes создать общий том для файлов,

Вы имеете ввиду так сделать?

services:
    project-nginx:
        build:
            context: ./project/docker/development
            dockerfile: nginx.docker
        volumes:
             - ./project/public/pdf:/app/public/pdf
        depends_on:
             - project-php-fpm
        ports:
             - "80:80"

Дмитрий Елисеев

2021-04-25 11:54

services:
    nginx:
        ...
        volumes:
             - pdf:/app/public/pdf
    php-fpm
        ...
        volumes:
             - pdf:/app/public/pdf
volumes:
     pdf:

slo_nik

2021-04-25 11:55

Понял, буду пробовать.

В этом случае ссылка на файл будет такой?

http://domain.ru/pdf/file.pdf

Дмитрий Елисеев

2021-04-25 11:59

Да, если добавите проксирование в nginx:

location /pdf/ {
    set $upstream http://storage;
    proxy_set_header  Host $host;
    proxy_pass        $upstream;
    proxy_redirect    off;
}

slo_nik

2021-04-25 12:01

Не совсем понял.

Если я хочу вместо http://storage использовать доменное имя сайта, то как в этом случае?

location /pdf {
    set $upstream http://domain.ru;

Так или нет?

Дмитрий Елисеев

2021-04-25 12:05

Нет. Это внутреннее проксирование рядом с проксированием на php-fpm.

slo_nik

2021-04-25 12:06

Спасибо, буду пробовать.

Думаю, что получится)

Дмитрий Елисеев

2021-04-25 12:09

server {
    ...
    resolver 127.0.0.11 ipv6=off;

    location /pdf/ {
        set $upstream http://storage;
        proxy_set_header  Host $host;
        proxy_pass        $upstream;
        proxy_redirect    off;
    }

    location ~ \.php$ {
        set $upstream php-fpm:9000;
        fastcgi_split_path_info ^(.+\.php)(/.+)$;
        fastcgi_pass $upstream;
        fastcgi_index index.php;
        ...
    }
}

slo_nik

2021-04-25 12:11

А почему именно api-php-fpm?

Дмитрий Елисеев

2021-04-25 12:13

Исправил.

slo_nik

2021-04-25 12:15

Благодарю за помощь.

Пошёл пробовать.

slo_nik

2021-04-26 17:23

Добрый вечер.

Не получается что-то.

Вроде сделал всё как Вы рекомендуете, но получаю ошибку 502

> [error] 30#30: *6 storage could not be resolved (3: Host not found), client: ***.***.***.***, server: site.ru, request: "GET /pdf/929ba7c6-5508-4301-ac67-f6388bc56631.pdf HTTP/1.1", host: "site.ru", referrer: "http://site.ru/admin/work/companies/929ba7c6-5508-4301-ac67-f6388bc56631"

Вот полный конфиг nginx в production

    server{
       listen 80;
       server_name site.ru;
       index index.php index.html;
       root /app/public;
       charset utf-8;

       add_header X-Frame-Options "SAMEORIGIN";

       location ~* \.(?:ico|gif|jpe?g|png|woff2?|eot|otf|ttf|svg|js|css)$ {
          access_log off;
          expires max;
          add_header Pragma public;
          add_header Cache-Control "public";
          try_files $uri /index.php?$args;
       }

       location / {
          try_files $uri /index.php?$args;
       }

       resolver 127.0.0.11 ipv6=off;

       location /pdf/ {
          set $upstream http://storage;
          proxy_set_header Host $host;
          proxy_pass $upstream;
          proxy_redirect off;
       }

       location ~ \.php$ {
          set $upstream php-fpm:9000;
          fastcgi_split_path_info ^(.+\.php)(/.+)$;
          fastcgi_pass $upstream;
          fastcgi_index index.php;
          include fastcgi_params;
          fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
          fastcgi_param PATH_INFO $fastcgi_path_info;
       }
    }

Дмитрий Елисеев

2021-05-01 11:35

storage could not be resolved (3: Host not found)

Значит сервис storage не поднялся.

slo_nik

2021-05-01 11:47

Это понятно. Может что-то не так делаю. Смотрел Ваши репозитории, для api и frontend у Вас созданы отдельные директории, со своими файлами конфигураций.

В моём случае нет директории storage. Нужно ли её создавать и создавать в ней файл конфигурации для nginx?

Дмитрий Елисеев

2021-05-01 13:01

Нужно не просто создать папку, а в docker-compose объявить полноценный сервис файлового хранилища storage на основе образа вроде minio для работы по протоколу S3 или какого-нибудь другого для работы по FTP. И ему как для postgres объявить volume и placement.

slo_nik

2021-05-01 13:07

Понятно, буду пробовать.

По поводу простого варианта хранилища

    services:
    nginx:
        ...
        volumes:
             - pdf:/app/public/pdf
    php-fpm
        ...
        volumes:
             - pdf:/app/public/pdf
    volumes:
       pdf:

Добавил в docker.yml, файлы записываются и отображаются по ссылке. Но при попытке обновить файл всё равно отображается старая версия.

Добавил разрешение за запись

    volumes:
       - pdf:/app/public/pdf:rw

Файлы стали перезаписываться.

Но иногда надо всё-равно обновить страницу просмотра файла, чтобы отобразилась новая версия. Это связано с кэшем в docker? Как сделать, чтобы файлы не кэшировались?

Дмитрий Елисеев

2021-05-01 13:21

Кэш обычно в браузере по заголовкам из nginx. Можете запретить кеширование pdf-файлов через Cache-Control.

slo_nik

2021-05-01 13:22

В конфигурации nginx?

Дмитрий Елисеев

2021-05-01 13:23

Да, в вашей секции:

location /pdf/ {
   ...
}

slo_nik

2021-05-01 13:23

Благодарю за подсказки.

Дмитрий Елисеев

2021-05-01 13:04

Либо вместо этого использовать любой готовый файловый хостинг, чтобы не поднимать свой storage.

slo_nik

2021-05-01 13:10

В этом вопросе ещё до конца не определились. Неизвестно, сколько файлов будет в конечном счёте.

Хотя думаю, что надо разобраться со своим storage, лишним не будет.

slo_nik

2021-04-25 12:07

только тогда как будет выглядеть ссылка на файл?

Дмитрий Елисеев

2021-04-25 12:08

Также.

Arunas

2020-01-01 17:36

в prod режиме как изменить параметры в файле параметров (напр.: params.php), где виде масива, хранится параметры: 'limitRowTable' => 20, 'limitRowSearchTable' => 35, и т.д. ? Каждый раз передеплоит сайт ?

Дмитрий Елисеев

2020-01-01 17:59

Да, все изменения через передеплой.

Arunas

2020-01-01 18:14

а где лудшее тогда хранит таких параметров для многократного использования?

Дмитрий Елисеев

2020-01-02 07:00

Часть можно хранить в переменных окружения.

Arunas

2020-01-01 18:28

у Вас на локалке стоит Ubuntu 18 или Debian.? (никак не получается make site error: ERROR! The file hosts.yml is marked as executable, but failed to execute correctly. If this is not supposed to be an executable script, correct this with chmod -x hosts.yml. ERROR! problem running /var/www/projects/auction/provisioning/hosts.yml --list ([Errno 8] Exec format error) ERROR! hosts.yml:6: Expected key=value host variable assignment, got: ssh )

Дмитрий Елисеев

2020-01-01 18:41

На локалке Ubuntu.

Arunas

2020-01-01 19:11

если у меня Ubuntu 16.04.6, то ansible-playbook будет ли коректно действовать?

Дмитрий Елисеев

2020-01-02 06:58

Утилита популярная, так что везде должна работать.

Arunas

2020-01-02 15:53

а будет чат (с centrifugo или под.)?

Дмитрий Елисеев

2020-01-02 17:22

Будут уведомления с Centrifugo.

Arunas

2020-01-03 14:39

Arunas

2020-01-03 15:35

Наконец, сегодня деплоил проект https://demo-auction.skucai.com

Деплой заработал с исключением: для docker login задействовало 2 параметра - Username и Password, а в provisioning/docker-login.yml указанно 3: Registry, Username, Password. (В хостинге делал напрямую docker login). Почему не сработало make docker-login?

Ruslan

2020-01-05 22:08

Я еще не дошел до полного деплоя, не могли бы вы добавить в ДНС www поддомен? Мне кажется, что в скрипте сербота должен быть www поддомен для получения сертификата.

Sergei

2020-01-10 16:11

Т.е. я так понял, что бы сделали образ builder, де факто проинсталлированный композер с вендором, просто чтобы второй + n раз не скачивать/устанавливать?

Дмитрий Елисеев

2020-01-10 16:18

Да, сделали чтобы собирать чистовые образы легковесными без лишнего мусора.

Arunas

2020-01-25 09:50

в каком образе, в каком месте (при быльде для прода) собырается-копируется каталог api/src? Напр. api/public копируется в api/docker/production/nginx/Dockerfile (стр.: COPY ./public ./public), а где есть (COPY ./crc ./src) ни где ненашёл :(...

Дмитрий

2020-02-29 20:40

Какой сервер нужен для работы проекта? Я заказал на vscale самый дешевый за 200 руб. в месяц на убунте. Но похоже он не вывозит. При поднятии контейнеров пишет Killed и докер демон полностью отрубается.

Дмитрий

2020-03-01 07:19

Удалось поднять 3 контейнера на продакшн: gateway, frontend, registry. Реестр контейнеров поднял на этом же сервере заранее, запушил туда свои контейнеры и переподнял вот эти три. Не понятно сейчас с сервером что делать, я вроде видел что у Дмитрия тоже за 200 р. сервер, но на Debian. Перезаказать на Debian?

Дмитрий Елисеев

2020-03-01 13:24

У нас пока Debian за 200. Со временем потребуется наращивание мощности или числа виртуалок для добавления прочего софта.

Чтобы процессы не отваливались из-за нехватки памяти в пиках можно добавить файл подкачки:

dd if=/dev/zero of=/swap bs=1M count=1024
mkswap /swap
swapon /swap
echo '/swap none swap sw 0 0' | tee -a /etc/fstab

Дмитрий

2020-03-01 15:31

Применил. Заработало! Текущий проект поднялся!

Олег

2020-04-28 20:08

Дмитрий, а разве OPCache не идет по умолчанию в php? Из документации: Это расширение доступно по умолчанию с PHP 5.5.0

Или докер образ alpine его не содержит?

Дмитрий Елисеев

2020-05-01 11:09

В образах его по умолчанию нет. Список встроенных можно вывести командой:

docker run --rm php:7.4-cli-alpine php -m

Максим

2020-09-23 06:22

Огромный минус - ссылка на гитхаб под каждым видео ведёт на некий финальный результат. Полностью не соответствует тому, что происходит на видео. Почему бы не бранчевать результат работы каждого выпуска? В том же мастере хранить актуальный-финальный результат на какой-то момент времени.

Дмитрий Елисеев

2020-09-25 08:31

Ветки здесь не подойдут, так как все коммиты идут друг за другом. Только можно разметить тэгами.

Без разметки неудобно только при просмотре на GitHub или в консоли. Но если использовать любой GUI или пользоваться вкладкой Git/Log в PHPStorm, то смотреть коммиты и переключаться будет удобнее.

Максим

2020-09-25 14:13

Может не совсем корректно описал, мы немного о разном. Предложение было такое: итогом работы в рамках конкретного урока является бранч, а мастер, например, финальный результат. И тут неважно, как были сделаный коммиты, пусть они даже были засквошены, главное, что в бранче лежит результат, достигнутый в рамках урока, который можно скопировать для опытов. Сейчас очень неудобно копаться в истории гита, даже в гуи.

Дмитрий Елисеев

2020-09-27 12:33

Я и пишу, что от бранчей здесь не больше пользы, как от тегов. На тег также мождо сделать checkout.

kashamamina

2020-12-16 08:16

а почему на dev мы запускали apk update, а на prod нет?

Дмитрий Елисеев

2020-12-17 13:34

Вместо apk update && apk add удобнее использовать сразу apk add --no-cache

kashamamina

2020-12-16 08:32

а почему Вы говорите что ставим флаг --no-scripts, потом показываете следующей коммит и там его уже нету, аналогично его и нету в проекте на гитхабе?

Дмитрий Елисеев

2020-12-17 13:37

Во всех строках с установкой hirak/prestissimo он есть.

Евгений Горяев

2021-03-22 19:00

Прошу прощения за некропостинг, но хотелось бы понять, как правильно готовить многоэтапную сборку, когда нужно поставить ряд стандартных расширений пхп, которых нет в алпейне, но которые нужны почти всегда - gd, imap, intl, zip - для всех них необходимо поставить кучу пакетов и сходниками в контейнер (libzip-dev, libpng-dev, libwebp-dev, libfreetype6-dev. libmemcached-dev и тд.

Соответственно, в новый контейнер надо перенести .so собранные расширения пхп, чтобы в новом контейнере были только сами расширения, а не исходные коды, необходимые для их сборки...

вот хотелось бы этот момент уточнить, как это правильно делать.

Дмитрий Елисеев

2021-03-23 05:28

Можно собрать отдельно по docker-php-ext-install, а потом уже в чистовик скопировать *.so файлы, доустановить libzip вместо libzip-dev, включить по docker-php-ext-enable как здесь. Но выигрыш от отсутствия исходников будет незначительный.

Евгений Горяев

2021-03-23 08:23

Спасибо. Все понял.

slo_nik

2021-07-14 19:05

Добрый вечер.

Дмитрий, подскажите пожалуйста, в примере по Вашей ссылке для директории extensions используется такая директория.

ENV PHP_EXT_DIR /usr/local/lib/php/extensions/no-debug-non-zts-20200930

Из чего формируется название директории no-debug-non-zts-20200930?

Если использовать подход при установке расширений, как показано по ссылке, то непонятно как угадать название директории.

Дмитрий Елисеев

2021-07-30 16:04

Из чего формируется название директории no-debug-non-zts-20200930?

Формируется из версии PHP API, которую можно подсмотреть в информации:

$ php -i

PHP API => 20200930
PHP Extension => 20200930
Zend Extension => 420200930
Zend Extension Build => API420200930,NTS
PHP Extension Build => API20200930,NTS
...
extension_dir => /usr/lib/php/20200930

slo_nik

2021-07-30 16:05

Благодарю.

Игорь

2021-10-07 21:03

Дмитрий, как композер узнает про проектные классы если вы инсталите до копирования проекта, после копирования тогда необходимо RUN composer dump

Дмитрий Елисеев

2021-10-08 10:27

Он пропишет себе в дамп папку src из секции "autoload". Сами классы его не интересуют.

Игорь

2021-10-08 14:24

тогда почему при обращении и сборке как у Вас сервис говорит не могу найти \API\Hi класс, но стоит мне сначало скопировать и проинталировать или запустить composer dump - работает

Дмитрий Елисеев

2021-10-09 13:34

А вы перед сборкой копируете composer.json и composer.lock?

Игорь

2021-10-09 17:41

Да, стоит копировать src вместе то работает, как только выношу как у Вас то теряются классы, но только composer dump лечит

Artem Anoshin

2022-11-26 05:48

Дмитрий, каждый раз надо перелогиниваться через гугл, может можно пофиксить?

Павел

2023-04-12 09:54

Получается, что на продакшне мы копируем проект в 3 разных образа? В nginx, в php-fpm и в php-cli? Если так, то для чего это делается (можно же через volume из одного места пробросить)? С подходом через копирование в образы работать будет быстрее или это классический способ такой?

Дмитрий Елисеев

2023-05-25 11:03

Это классический подход, когда всё приложение запаковано в образ, а через volume подключаются только папки для хранения данных. Про это ответил ранее на похожий вопрос про образы.

Зарегистрируйтесь или войдите чтобы оставить комментарий

Или войти через:

Google

GitHub

Yandex

MailRu