Привет!
12 октября в Контуре прошла городская тест-сессия. О том, как это было расскажет один из её организаторов, Игорь Борисихин. Итак…
Участники
На ТС (дальше в тексте тест-сессия — ТС) приехали 31 участник из 16 разных компаний: appleprofi.ru, Artsofte, Playgendary, SIAMS, Альфа-банк, КБ Пойдём, УБРиР, Наумен, НПО Сапфир, Прософт-Биометрикс, Экстрим, ИНСИС, Сбербанк, СКБ ЛАБ, Студия “Флаг” и Контур.
При регистрации мы не спрашивали специализацию участников, но в ходе душных душевных разговоров выяснили, что среди участников были не только тестировщики, но и несколько аналитиков и разработчиков.
Команды
Всех участников разделили на пары. Получилась 16 команд. В команды старались объединять людей из разных компаний. Целей две:
- Нетворкинг — хотелось познакомить людей с коллегами из других компаний;
- Обмен опытом — хотелось, чтобы ребята обменялись практическими навыками поиска дефектов и использования инструментов тестирования.
Продукт
В этот раз свой продукт на ТС выставляла команда Гособлако. Продуктом для тестирования был Портал — социальная сеть для корпораций.
Программа дня
Долго на программе дня ТС останавливаться нет смысла. Большая часть стандартна для таких ивентов: собрались, вводная инфа, потестировали, пообедали, потестировали, подвели итоги. Подробнее расскажу о том, что было интересного и нестандартного в этой ТС.
Вечерние доклады
Первая фишка нашей ТС в том, что были вечерние доклады. В программе мероприятия вечерние доклады были нужны для того, чтобы организаторы успели прочитать багрепорты и определить призеров. Субботние доклады рассказали:
- Ирина Полунина «”Как развестись, но остаться друзьями” или зачем тестировать через API, если есть UI»;
- Сергей Махетов «Тестирование API. Джентльменский набор инструментов»;
- Максим Захаров «Без менеджеров и тимлидов».
За это ребятам большое спасибо!
Багтрекер
Вторая фишка ТС, о которой хочется рассказать, — это багтрекер.
В этот раз мы решили отказать от привычных специализированных трекеров, типа YouTrack или Jira. Во-первых, поднимать спецтрекер для ТС требует времени. На это не хотелось тратить время организаторов. Во-вторых, когда тестировщик переходит из одной системы трекинга в другую, то нужно время на адаптацию в интерфейсе. А на это не хотелось тратить время участников.
Вместо спецтрекеров каждой команде мы предложили в качестве трекера доску в Trello, где можно заводить баги и предложения. Подготовили для участников удобные шаблоны. Большинство участников отлично работали в Trello, поэтому эксперимент нам понравился.
Система оценки дефектов
Продолжая тему багов, расскажу о третьей интересности — системе оценки багов.
Обычно на ТС участники заводят баги и оценивают их критичность: critical, major, normal, minor. В самом начале ТС организаторы озвучивают, что попадает в какую критичность. Чем критичнее баг, тем больше баллов за него получает участник или команда. Жюри вправе снижать критичность дефектов. Ближе к финалу можно осудить обсудить критичность конкретность дефектов.
Минусы такой системы:
- в разных компаниях по-разному подходят к оценке критичности дефектов;
- чем больше уровней критичности, тем легче запутаться, и дольше обсуждать с жюри почему так, а не иначе.
Наша система оценки без оценки критичности дефектов:
- Есть типы дефектов: фронтенд, бэкенд (API), безопасность;
- За каждый тип дефектов начисляется разное количество баллов;
- Дефект может быть принят (стабильно воспроизводится) или отклонён (не воспроизводится у судьи).
- Идеи по улучшению сервиса относятся к Предложениям. За них баллов не даём, но плюсик в карму ставим.
Итоги
Вечером после докладов подвели итоги.
Всего за ТС было заведено 524 карточки. Из них были приняты 292 бага:
- 216 багов фронтенда,
- 62 багов на бэкенде,
- 14 багов безопасности.
У самой результативной команды принята 31 карточка, в сумме 72 балла.
Критичность дефектов ещё оценивает продуктовая команда. Сколько уникальных дефектов перекочует багами в трекер команды пока неизвестно. Но парочку уже завели и пофиксили.
Рейтинг команд в общем зачёте.
Трём командам-победителям по доброй традиции подарили книги.
2019 → 2020
Таким был 2019 год.
Посмотрим какие тест-сессии нас ждут в 2020.
