Написание и тестирование контроллеров

Написание контроллеров регистрации и их функциональное тестирование. Добавление локальных фикстур для тестовых сценариев. Проверка отправки электронных писем.

  • 00:00:32 Постановка задачи
  • 00:01:32 Доработка NotFoundTest
  • 00:02:45 HTTP-клиент в PhpStorm
  • 00:04:00 Тестирование части JSON
  • 00:06:40 Вынос декодирования JSON
  • 00:07:16 Отправка POST-запросов с телом
  • 00:08:06 Куда поместить экшены в модульной архитектуре
  • 00:16:47 Адресация и версионирование API
  • 00:19:13 Настройка интервала для токенов
  • 00:20:09 Тест запроса регистрации
  • 00:22:52 Создание контроллера регистрации
  • 00:23:54 Пустой ответ с EmptyResponse
  • 00:27:02 Очистка записей предыдущих тестов
  • 00:28:25 Неудобство общих фикстур
  • 00:30:27 Локальные фикстуры для теста
  • 00:32:52 Метод загрузки фикстур для теста
  • 00:35:28 Оптимизация подключения к БД в фикстурах
  • 00:39:00 Восстановление демо-данных после тестов
  • 00:44:02 Тестирование отправки писем в MailHog
Скрытый контент (код, слайды, ...) для подписчиков. Открыть →
Дмитрий Елисеев
elisdn.ru
Комментарии (36)
Bondarenko Alexandr

Спасибо за урок, Дмитрий!

У меня есть вопросы:

1) Не удобнее было бы в тестах использовать отдельную базу данных для тестового окружения? Тогда после тестов не пришлось бы опять накатывать фикстуры.

2) При использовании контроллера вне изолированных контекстов бывают сценарии, когда есть необходимость вызвать несколько интеракторов из разных контекстов (по событию или же через "оркестратор"). Есть ли один из них при этом успешно модифицировал данные, а следующий выбросил исключение, следует откатить действие первого. Планируется ли рассмотреть подобный сценарий?

3) Планируется ли рассмотреть Graphql для озвученной в видео возможности чтения запрашиваемых клиентом дополнительных данных у эндпойнта?

Ответить
Дмитрий Елисеев

Не удобнее было бы в тестах использовать отдельную базу данных для тестового окружения? Тогда после тестов не пришлось бы опять накатывать фикстуры.

Да, есть альтернативы работы с той же БД:

1) Вызывать $em->getConnection()->beginTransaction() в методе setUp() и вызывать rollback() в tearDown(). Тогда тест будет выполняться в транзакции и после теста все данные будут восстанавливаться назад.

2) Подключить ещё один сервис api-postgres-test и указать его в тестовом окружении. И дополнительно накатывать миграции ещё и на неё.

Эти способы сработают только для кода внутри нашего внутреннего теста.

Но это не сработает когда мы будем внешними приёмочными тестами проверять фронтенд, дёргающий наш API с оригинальной БД. Так что приёмочные тесты для всей системы будут ходить в оригинальные БД. В итоге загрузку фикстур всё равно придётся производить после каждого запуска приёмочных.

Также когда добавятся очереди у нас в фоне будут запущены консьюмеры, которые тоже будут ходить в оригинальную БД. В этом случае функциональный тест в тестовую БД или внутри транзакции в оригинальную запишет фикстуру и отправит сообщение в очередь, а воркер эту запись в его оригинальной БД не увидит. В итоге в функциональные тесты придётся изолировать заглушками, чтобы они не отправляли ничего в очередь. Это будет быстрее, но такой тест с заглушкой очереди теперь не будет проверять работоспособность реальной очереди.

Так что как удобнее совместить разработку и тестирование - вопрос весьма сложный.

Ответить
Андрей

Я придумал еще третий вариант)

Можно перед запуском тестов делать дамп базы, а по окончании тестов восстанавливать его. Я вижу 2 преимущества в этом подходе:

  1. Это гораздо быстрее (хотя может и нет) подхода с транзакциями (как я понял транзакция стартует при выполнении каждого теста. Если данных в базе перед началом тестирования очень много, то каждый раз ее чистить/восстанавливать будет очень затратно по времени).
  2. Это удобнее чем подход с загрузкой фикстур после тестов, т.к. в фикстурах могут быть сгенерированные, фейковые данные. Т.е. по сути после загрузки фикстур база не будет в точности такой же как до начала тестов.

Как вам такой способ?)

Ответить
Дмитрий Елисеев

Есть ли один из них при этом успешно модифицировал данные, а следующий выбросил исключение, следует откатить действие первого. Планируется ли рассмотреть подобный сценарий?

Да, это паттерн "Сага". Его рассмотрим.

Ответить
Дмитрий Елисеев

Планируется ли рассмотреть GraphQL для озвученной в видео возможности чтения запрашиваемых клиентом дополнительных данных у эндпойнта?

Расскажем, что универсальные решения удобны для CRUD-подхода, когда API является отражением один-в-один таблиц в БД. Но если делаем что-то кастомное, то проявляются неудобства.

Так что вдальнейшем сравним подходы к написанию API и выберем оптимальный вариант.

Ответить
Bondarenko Alexandr

Спасибо за ответы!

Ответить
Arunas

пересмотрел -> большое спасибо.

Ответить
Denis

Попробую сформулировать свой вопрос.

Допустим, что у нас появилась необходимость из модуля блог дернуть авторизацию. То как то правильно сделать, чтобы не напрямую дергать код из авторизации? Чтобы модули не были напрямую зависимы друг от друга.

Надо как то дергать контроллер? Надо вводить какую - то абстракцию для этого?

Когда ту же авторизацию вынесут на отдельный сервер из -за нагрузки, допустим, то код просто исчезнет из нашей кодовой базы и надо будет как - то переключить вызовы на другую апи. Как это все реализовать правильно, чтобы не было потом больно? Как абстрагировать свои внутренние вызовы, чтобы потом можно было просто все поправить в одном месте?

Ответить
Дмитрий Елисеев

Обычно авторизация производится на уровне контроллеров. При нашем подходе с отдельными контроллерами проблем с не будет. А роль пользователя для привязки прав будем передавать напрямую в токене аутентификации.

Ответить
Igor

Спасибо за уроки! Появилось два вопроса:

1) Если представить такую ситуацию. Нам необходимо вынести модуль Auth на отдельный сервер, когда производится аутентификация через OAuth2, токены для пользователя записываются в БД, которая отдельная/своя для модуля Auth. А как пользователь с этим токеном сможет достучаться до модуля Auction, если у него другая БД? Нам нужно при получении пользователем токена в микросервисе Auth отправлять его еще и в микросервис Auction и остальные микросервисы, лежащие на разных серверах с разными БД например через очередь? Или для такого используют другой подход?

2) Должен ли модуль Auth знать о доменных ролях? На например пользователь регистрируется на сайте и может иметь роль автора блога, либо читателя блогов и при регистрации он должен указать в качестве кого он хочет зарегистрироваться. Или модуль Auth будет иметь только роли ROLE_ADMIN, ROLE_USER. А роли ROLE_AUTHOR, ROLE_READER будут уже внутри модуля Blog, и будут выступать в виде сущностей Author и Reader?

Ответить
Дмитрий Елисеев

1) Если представить такую ситуацию...

Для этого используются не простые токены, а JWT, которые представляют собой зашифрованный JSON с идентификатором и ролью пользователя. Тогда Auction напрямую берёт user id прямо из токена и никуда больше не ходит.

Ответить
Дмитрий Елисеев

2) Должен ли модуль Auth знать о доменных ролях?..

Второй вариант, когда каждый модуль хранит свои сущности вроде Author и Reader. В этом случае доменные AUTHOR, READER можно делать не ролями, а флагами вроде is_author или наличием/отсутствием этих Author и Reader.

А что касается общих ролей и разрешений проекта, то они обычно проверяются в контроллерах, а не в модулях. Например, общая роль MODERATOR может предполагать доступ к модерации лотов и комментариев, поэтому её ни в какой модуль поместить не получится.

Поэтому общие роли можно хранить в Auth, а разрешения уже привязывать и проверять на уровне Http.

Ответить
Igor

Спасибо за ответы, Дмитрий!

Ответить
Андрей

Добрый день, Дмитрий!

Подскажите, пожалуйста, как лучше реализовать собственные обработчики ошибок 404 и 405 взамен тех, что существуют в Slim по умолчанию и возвращают ответ в формате HTML. В частности, необходимо на любые запросы к API (правильные или ошибочные) всегда возвращать свой ответ в формате JSON.

Ответить
Андрей

В итоге добавил вызов forceContentType('application/json') и написал свой JsonErrorRenderer, выводящий ответ в нужном виде.

Ответить
Дмитрий Елисеев

Достаточно переопределить обработчик по умолчанию с html на json:

$errorHandler->setDefaultErrorRenderer(
    'application/json',
    JsonErrorRenderer::class
);
Ответить
Сергей

Не могу понять, мне выдает что

[2020-10-03T07:44:30.370415+00:00] API.ERROR: Entry "App\Http\Action\RequestAction" cannot be resolved: Entry "App\Auth\Command\JoinByEmail\Request\Handler" cannot be resolved: the class is not instantiable

routes:

return static function (App $app): void {
    $app->get('/', HomeAction::class);
    $app->post('/v1/auth/join', RequestAction::class);
};

Handler.php

class Handler
{
    private UserRepository $users;
    private PasswordHasher $hasher;
    private Tokenizer $tokenizer;
    private Flusher $flusher;
    private JoinConfirmationSender $sender;

    private function __construct(
        UserRepository $users,
        PasswordHasher $hasher,
        Tokenizer $tokenizer,
        Flusher $flusher,
        JoinConfirmationSender $sender
    ) {
        $this->users = $users;
        $this->hasher = $hasher;
        $this->tokenizer = $tokenizer;
        $this->flusher = $flusher;
        $this->sender = $sender;
    }

    public function handle(Command $command): void
    {
        ...
    }
}

Не понятно, что в нём не может зарезолвится, помогите пожалуйста

Ответить
Дмитрий Елисеев

Вы объявили конструктор приватным.

Ответить
Сергей

Да, я заметил потом, прошу прощения, забыл отписаться. Благодарю!

Ответить
Влад

Здравствуйте Дмитрий! Спасибо за вашу работу, все реально доходчиво и полезно!
Столкнулся с такой проблемой при написании RequestAction:

Тесты все проходят - создается пользователь, отправляется письмо, если не очищать базу то повторно тест не проходит возвращается ошибка что пользователь уже есть - в общем все работает так как в тестах предусмотрено. При отправке запроса:

    POST localhost:8081/v1/auth/join
    Accept: application/json
    Content-Type: application/json
    
    {
     "email": "new-user-1@app.test",
      "password": "new-password"
    }

с невалидными данными возвращаются ошибки валидации, но если отправить этот запрос с правильными (валидными) данными ожидается что если базу не чистить вернется ошибка Пользователь есть или будет создан Пользователь по запросу и вернется пустой JSON - но ответ не ожиданный:

    {
      "message": "Slim Application Error",
      "exception": [
        {
          "type": "Doctrine\\DBAL\\Exception\\DriverException",
          "code": 0,
          "message": "An exception occurred in driver: could not find driver",
          "file": "/app/vendor/doctrine/dbal/lib/Doctrine/DBAL/Driver/AbstractPostgreSQLDriver.php",
          "line": 102
        },

Это получается что у меня при вызове контроллера RequestAction не видно Doctrine? Какая то ошибка в путях? Но тогда и тесты по идее не должны проходить! Буду очень признателен если поможете с решением этой проблемы! Спасибо!

Ответить
Влад

Проблема была в отсутствии

RUN apk add --no-cache postgresql-dev fcgi \
    && docker-php-ext-configure pgsql -with-pgsql=/usr/local/pgsql \
    && docker-php-ext-install pdo_pgsql

в Docker файле php-fpm. После добавления все стало работать ожидаемо. Но вопрос о прохождении тестов остался - можно ли как то при тестировании такую ситуацию смоделировать? Тесты проходили все время - а проблема обнаружилась случайно!

Ответить
Дмитрий Елисеев

Функциональные тесты в консоли запускаются в php-cli, а не в php-fpm. А тестирование работы в nginx+php-fpm у нас будет производиться именно в E2E-тестах, когда из фронтенда будут посылаться реальные запросы к API.

Ответить
Влад

Теоретически (ну и практически судя по всему) эта ошибка всплыла бы немного позже! Спасибо! Еще раз вам огромное спасибо за ваш труд!

Ответить
Ruslan

Ребята, кто дошел до этой темы разрабатывая на Винде, пожалуста поделитесь, как вы собрали своё окружение разработки (vagrant, virualbox PhpStorm). Дошел с бубном до 10го урока и сдался, 10 уроков не разработкой занимался , а ДевОпс-ом у себя работал. На линукс пытался переехать, но и там не всё просто :)

Ответить
Ruslan

Почему делаем Фикстуру для каждего реквеста, а не просто создадим один класс UserFixture с кучей методов "load_что_нужно" ?

Ответить
Дмитрий Елисеев

Метод load в фикстуре предусмотрен всего один.

А не помещаем всех пользователей в один класс UserFixture потому, что со временем один общий файл становится именно огромной кучей непонятно чего. С маленькими простыми классами работать удобнее, чем с одним огромным.

И помимо этого, в тестах пользователи для одного теста могут мешать другим тестам. Например, если тест проверяет вывод числа пользователей, то добавление любого другого пользователя в общую фикстуру будет каждый раз сбивать все счётчики. Поэтому удобнее для каждого теста делать свою отдельную фикстуру, чтобы этому тесту никто не мешал.

Ответить
Ches

Здравствуйте, Дмитрий! Хорошие впечатления получил от вашей серии уроков -- особенно по девопсу и тестам -- таких как вы по пальцам пересчитать )

Хотел спросить про тестирование контроллеров. На первый взгляд все просто -- формируй клиента, стучись в эндпоинт, ожидай, что произвелись нужные изменения и/или вернулось корректное состояние.

Но вот незадача, если в этом эндпоинте происходит работа с брокером сообщений через тот же Messenger в Symfony с использованием RabbitMQ.

Вот как здесь производить тестирование ? Есть ли какие-нибудь источники, на которые можно было бы ориентироваться при написании таких тестов ?

Я сам нашел вот этот источник: https://codeburst.io/unit-functional-test-the-symfony4-messenger-9eef328dce8 Правда здесь скорее описывается интеграционный тест, нежели функциональный

А хотелось бы также написать функциональные тесты для такого рода эндпоинтов, в которых используется брокер сообщений. Буду очень признателен за любую информацию!)

Ответить
Дмитрий Елисеев

Можно подменять клиент очереди моками, как вы сказали превращая тест в интеграционный. Но при этом есть риск, что будут ошибки в реальной очереди.

Но вместо этого можно тестировать с реальной очередью, ожидая результат.

Например, если отправку письма подтверждения регистрации мы перенесём в очередь, то вместо простой проверки:

self::assertTrue($this->mailer()->hasEmailSentTo('user@app.test'));

можно сделать проверку с ожиданием:

self::assertTrue($this->waitFor(function () {
    return $this->mailer()->hasEmailSentTo('user@app.test');
});

И там уже в цикле вызывать эту функцию, пока она не вернёт непустой результат:

protected function waitFor(callable $callback, int $timeout = 10): mixed
{
    for ($time = 0; $time <= $timeout; $time += 0.1) {
        $result = $callback();
        if ($result !== null && $result !== false) {
            return $result;
        }
        usleep(100000);
    }
    return null;
}

Либо это оформить в виде кастомного assert-а для PHPUnit.

Ответить
Ches

Любопытная идея

Благодарю, Дмитрий!)

Ответить
Герман

Вот на этом месте я сломался )) Если раньше почти все получалось, то сейчас упорно тесты не проходят, и понять почему я не смог...

There were 5 failures:

1) Test\Functional\V1\Auth\Join\RequestTest::testNotValid
Failed asserting that 404 matches expected 500.

/app/tests/Functional/V1/Auth/Join/RequestTest.php:65

2) Test\Functional\V1\Auth\Join\RequestTest::testSuccess
Failed asserting that 404 matches expected 201.

/app/tests/Functional/V1/Auth/Join/RequestTest.php:32

3) Test\Functional\V1\Auth\Join\RequestTest::testMethod
Failed asserting that 404 matches expected 405.

/app/tests/Functional/V1/Auth/Join/RequestTest.php:22

4) Test\Functional\V1\Auth\Join\RequestTest::testExisting
Failed asserting that 404 matches expected 409.

/app/tests/Functional/V1/Auth/Join/RequestTest.php:43

5) Test\Functional\V1\Auth\Join\RequestTest::testEmpty
Failed asserting that 404 matches expected 500.

/app/tests/Functional/V1/Auth/Join/RequestTest.php:55
Ответить
Герман

Если кто по моим граблям пойдет - в routes.php маршруты вписать не забудьте )

Ответить
Герман

Точней почему не проходят - понятно. Не понятно почему всегда 404 прилетает...

Ответить
Dinar

А если нам нужно добавить в регистрацию дополнительное поле, например ФИО. Оно вроде как никакого отношения к аутентификации не имеет. Т.е. мы создаем модуль "Учетная запись", для работы с профилем. И в экшене джоина обращаемся еще и к ней?

Ответить
Дмитрий Елисеев

Да, профиль сохраняем в отдельный модуль.

А на фронтенде и в экшене даже можно это не совмещать. Можно сделать духшаговый процесс, где сначала выводим форму регистрации, а уже потом после регистрации просим ввести имя и прочие данные. Это кому как удобнее.

Ответить
Максим (@myks92)

А почему ФИО + дата рождения не может быть в системе аутентификации? По этим двум данным можно идентифицировать человека. Или я не прав? Во всех системах сейчас стараются использовать ФИО, дата рождения, телефон. Например в Яндекс ID или Vk ID. То есть это часть этого модуля. Другое дело, когда есть какой-то сервис блога и там свои авторы. Вот это уже действительно профиль автора.

Ответить
Oleg

Есть такой вопрос. На каком уровне лежит ответственность проверки доступа к ресурсу? Например, может ли автор редактировать конкретную статью?

Ответить
Зарегистрируйтесь или войдите чтобы оставить комментарий

Или войти через:

Yandex
MailRu
GitHub
Google