Отчет по девятой городской тест-сессии от Контура

Привет!

12 октября в Контуре прошла городская тест-сессия. О том, как это было расскажет один из её организаторов, Игорь Борисихин. Итак…

Участники

На ТС (дальше в тексте тест-сессия — ТС) приехали 31 участник из 16 разных компаний: appleprofi.ru, Artsofte, Playgendary, SIAMS, Альфа-банк, КБ Пойдём, УБРиР, Наумен, НПО Сапфир, Прософт-Биометрикс, Экстрим, ИНСИС, Сбербанк, СКБ ЛАБ, Студия “Флаг” и Контур.

При регистрации мы не спрашивали специализацию участников, но в ходе душных душевных разговоров выяснили, что среди участников были не только тестировщики, но и несколько аналитиков и разработчиков.

Команды

Всех участников разделили на пары. Получилась 16 команд. В команды старались объединять людей из разных компаний. Целей две:

  • Нетворкинг — хотелось познакомить людей с коллегами из других компаний;
  • Обмен опытом — хотелось, чтобы ребята обменялись практическими навыками поиска дефектов и использования инструментов тестирования.

Продукт

В этот раз свой продукт на ТС выставляла команда Гособлако. Продуктом для тестирования был Портал — социальная сеть для корпораций.

Программа дня

Долго на программе дня ТС останавливаться нет смысла. Большая часть стандартна для таких ивентов: собрались, вводная инфа, потестировали, пообедали, потестировали, подвели итоги. Подробнее расскажу о том, что было интересного и нестандартного в этой ТС.

Вечерние доклады

Первая фишка нашей ТС в том, что были вечерние доклады. В программе мероприятия вечерние доклады были нужны для того, чтобы организаторы успели прочитать багрепорты и определить призеров. Субботние доклады рассказали:

  • Ирина Полунина «”Как развестись, но остаться друзьями” или зачем тестировать через API, если есть UI»;
  • Сергей Махетов «Тестирование API. Джентльменский набор инструментов»;
  • Максим Захаров «Без менеджеров и тимлидов».

За это ребятам большое спасибо!

Багтрекер

Вторая фишка ТС, о которой хочется рассказать, — это багтрекер.

В этот раз мы решили отказать от привычных специализированных трекеров, типа YouTrack или Jira. Во-первых, поднимать спецтрекер для ТС требует времени. На это не хотелось тратить время организаторов. Во-вторых, когда тестировщик переходит из одной системы трекинга в другую, то нужно время на адаптацию в интерфейсе. А на это не хотелось тратить время участников.

Вместо спецтрекеров каждой команде мы предложили в качестве трекера доску в Trello, где можно заводить баги и предложения. Подготовили для участников удобные шаблоны. Большинство участников отлично работали в Trello, поэтому эксперимент нам понравился.

Система оценки дефектов

Продолжая тему багов, расскажу о третьей интересности — системе оценки багов.

Обычно на ТС участники заводят баги и оценивают их критичность: critical, major, normal, minor. В самом начале ТС организаторы озвучивают, что попадает в какую критичность. Чем критичнее баг, тем больше баллов за него получает участник или команда. Жюри вправе снижать критичность дефектов. Ближе к финалу можно осудить обсудить критичность конкретность дефектов.

Минусы такой системы:

  • в разных компаниях по-разному подходят к оценке критичности дефектов;
  • чем больше уровней критичности, тем легче запутаться, и дольше обсуждать с жюри почему так, а не иначе.

Наша система оценки без оценки критичности дефектов:

  • Есть типы дефектов: фронтенд, бэкенд (API), безопасность;
  • За каждый тип дефектов начисляется разное количество баллов;
  • Дефект может быть принят (стабильно воспроизводится) или отклонён (не воспроизводится у судьи).
  • Идеи по улучшению сервиса относятся к Предложениям. За них баллов не даём, но плюсик в карму ставим.

Итоги

Вечером после докладов подвели итоги.

Всего за ТС было заведено 524 карточки. Из них были приняты 292 бага:

  • 216 багов фронтенда,
  • 62 багов на бэкенде,
  • 14 багов безопасности.

У самой результативной команды принята 31 карточка, в сумме 72 балла.

Критичность дефектов ещё оценивает продуктовая команда. Сколько уникальных дефектов перекочует багами в трекер команды пока неизвестно. Но парочку уже завели и пофиксили.

Рейтинг команд в общем зачёте.

Трём командам-победителям по доброй традиции подарили книги.

2019 → 2020

Таким был 2019 год.
Посмотрим какие тест-сессии нас ждут в 2020.

Фотоотчёт
Таблица результатов
Презентация открытия
ПрезентАнкета обратной связи для участников