2 июля отгремела очередная сессия тестирования и мы предоставляем вашему вниманию рассказ человека, который находился в самом ее сердце — организатора сессии Юрия Рягина.
Юра, тебе слово.
О тест-сессиях
Думаю, можно смело сказать, что в сообществе тестировщиков Екатеринбурга в последние годы зародилась некая новая традиция — традиция проводить городскую сессию тестирования. Такая тест-сессия представляет собой соревнование, в котором активные представители сообщества тестировщиков нашего города целый день «меряются силами», тестируя предложенный на тест-сессии продукт.
Городские тест-сессии в г. Екатеринбурге проводятся с 2013 года и организуются примерно раз в год различными компаниями. Так, например, в 2013 году тест-сессия была организована Максимом Захаровым (Naumen) и Антоном Андреевым (E96) при поддержке от СКБ Контура (продукт был предоставлен порталом E96), в 2014 году Максимом Захаровым (Яндекс) и при поддержке от Яндекса (тестировался также продукт Яндекса — Мастер), в 2015 году — Оксаной Валишиной (СКБ Контур) и Максимом Захаровым (СКБ Контур) при поддержке СКБ Контура (Тестировался продукт «Стафф» от СКБ Конутр).
Лично я принимал участие в двух. На каждом таком мероприятии были новые лица и новые правила, на каждое мероприятие приходило очень много разных интересных людей, и каждая сессия давала новую пищу для размышления как участникам, так и организаторам.
Об организации
Участие в тест-сессиях принесло мне кучу положительных эмоций, новых вызовов в развитии себя в направлении тестирования и многое другое (ну и мне ещё удалось оказаться среди призеров данного мероприятия, что, конечно, было по-особенному приятно. После тест-сессии в декабре 2015 года у меня зародилась мысль — «а почему бы не организовать данное мероприятие самому и провести его от имени нашей компании?». Соответственно, цель была поставлена… оставалось только найти подходящий продукт, определиться с временем проведения и заручиться поддержкой руководства.
В мае 2016 года ко мне обратились Алексей Смирнов и Александр Ложкин с задачей: «Юра! У нас есть новый продукт, пора бы его начать тестировать!». Тут же мне вспомнилась моя идея о проведении тест-сессии, и мы с коллегами, заручившись поддержкой руководителя проекта (Алексея Смирнова), начали планомерную подготовку к ЧЕТВЕРТОЙ ГОРОДСКОЙ СЕССИИ ТЕСТИРОВАНИЯ от «Группы Компаний Экстрим». Процесс подготовки описывать, пожалуй, не буду. Хочу сказать отдельное спасибо Максиму Захарову и Оксане Валишиной за то, что поделились своим опытом в проведении предыдущих тест-сессий. Без этого опыта мероприятие бы получилось не таким, каким оно получилось. А также нашему генеральному директору Максиму Сереброву, который взял на себя все вопросы, связанные с оплатой аренды помещения и других важных деталей мероприятия.
Как всё было
Итак, день: 2 июля 2016 года.
Место: «Коворкинг Соль».
Участие приняли 27 участников и 11 организаторов.
Всех участников на входе встречали волонтеры, выдавали бейджики, ручки и блокноты, направляли и рассказывали, что, собственно, нужно дальше делать.
После того как все «опоздуны» подошли, мы начали делить участников на команды. Итого получилось 14 команд:
- «#1»: Швецова Ксения (ГК Экстрим), Суханова Наталья (Netelement),
- «ТСЖ Багхантеры»: Денисламова Динара (Naumen), Сабиров Евгений (ГК Хост),
- «SashaTest»: Лескина Александра (Naumen), Турыгина Александра (СКБ Контур),
- Комиссарова Анастасия (Naumen), Платонова Наталья (Сбербанк-Технологии),
- Ярунова Галина (ГК Экстрим), Беглецов Владимир (Сбербанк-Технологии),
- Мотина Наталья (Naumen), Шутов Борис (Яндекс),
- «Dream Team»: Подрезова Виктория (ГК Экстрим), Пироженко Валерия (Naumen),
- Клёнова Галина (Naumen), Ушакова Наталья (не пришла),
- «Test-n-Roll»: Буторин Василий (НПО автоматики), Черемных Татьяна (Netlabsystems),
- Кадочников Игорь (ГК Экстрим), Баянов Илья (ГК Экстрим) — команда из службы технической поддержки компании организатора,
- «Сачки1337»: Коткова Юлия (Naumen), Плетнёв Степан (Прософт Биометрикс),
- «Двадцать седьмые» : Куликов Илья (ГК Экстрим), Захаров Максим (СКБ Контур),
- «Explosion»: Рыбасова Ангелина (Naumen), Рощупкин Виталий (СКБ Контур),
- Ахметов Денис (Яндекс), Небова Полина (i-link консалтинг).
Как видно из состава команд, большинство участников было из Naumen’a (целых 8 человек). А вот из СКБ Контура было всего трое человек, а все потому, что в этот день у них был летний праздник.
После того, как все участники были распределены по командам, началась вводная по продукту, который предстояло протестировать. В этот раз на тест-сессию был предложен продукт из сферы ЖКХ под названием РГИС (Региональная информационная система ЖКХ) под брендом Эльпас. Указанный продукт является довольно специфичным, поэтому вводная о нем получилась достаточно подробной и объемной. В частности были озвучены ответы на вопросы о том «Зачем?», «Почему?» и «Как?».
Под конец рассказа о нашем продукте многие утомились, а другие были в шоке.
После рассказа о продукте были оглашены правила мероприятия, список специальных багов в тестируемой системе — «Пасхалок» (да-да, они были сделаны специально для мероприятия), информация о том, как добраться до необходимых материалов (например, до аналитики), а также озвучена система начисления очков.
В тестируемом приложении было несколько «точек входа». Т.е. тестировать можно было не только GUI приложения, а также загрузку данных через файлы (FILE) и взаимодействие через REST API. Поэтому для начисления очков использовалась следующая незамысловатая система:
Для заведения багов был подготовлен специальный проект в нашем баг-трекере:
Все инструкции получены, откладывать больше нечего. Поэтому настал час «X» и всем была дана команда «На старт! Внимание! Марш!». Все команды ринулись в бой, а разработчики начали яростно отбиваться от приходящих багов.
Два часа пролетели незаметно, после чего настал обед, где все участники мероприятия решили подкрепиться перед второй частью мероприятия.
Во второй части тест-сессии участники перешли от тестирования GUI к более сложным вещам, связанным с REST API и XML/XSD. Менторы мероприятия только и успевали бегать от одной команды к другой и отвечать на поставленные вопросы (а некоторые даже так устали, что решили немножечко отдохнуть на диванчике).
Вторая часть тест-сессии длилась почти 3 часа. В то время, пока жюри подсчитывало количество очков каждой команд, решено было пообщаться и обсудить прошедшее мероприятие. Все из участников мероприятия успели познакомиться поближе, узнать кто чем занимается и посмотреть на общую статистику по мероприятию, а так же посмотреть на специальные баги. А там было на что посмотреть.
Итоги
А вот и «статистика» по прошедшему мероприятию.
- Всего найдено 301 баг, из них:
- 202 принято,
- 92 отвергнуто,
- 7 «Пасхалок».
- Всего 202 бага, из них по приоритетам:
- 7 с типом «Blocker»,
- 19 c типом «Critical»,
- 43 с типом «Major»,
- 69 c типом «Minor»,
- 64 с типом «Trivial».
- Всего 202 бага, из них по «точкам входа» в приложение:
- 189 в GUI,
- 13 в FILE,
- 0 в API.
Всего в реальном баг-трекере проекта заведено 52 бага/таска (критичность при переносе была дополнительно пересмотрена), при этом часть багов было сгруппировано (например баги связанные с версткой объединены в один баг/таск). Примерное количество уникальных багов — 110 штук.
Призы уже были готовы увидеть своих победителей, оставались лишь считанные минуты для оглашения результатов тест-сессии по продукту РГИС.
Собственно итоги (прошу прощения у тех кого я утомил столь долгим текстом). Победителями четвертой городской сессии тестирования стали:
Первое место: Команда «Двадцать седьмые»: Илья Куликов (ГК Экстрим), Максим Захаров (СКБ Контур) — 96 очков.
Второе место: Команда «Сачки1337»: Коткова Юлия (Naumen), Плетнёв Степан (Прософт-Биометрикс) — 72,5 очка.
Третье место: Команда «Explosion»: Рыбасова Ангелина (Naumen), Рощупкин Виталий (СКБ Контур) — 72 очка.
Итоговую таблицу со всеми командами можно найти тут.
И заключительное фото со всеми участниками и организаторами.
Всем участникам и организаторам ещё раз большое спасибо!
Отдельное спасибо Евгении Азановой (Naumen) за фоторепортаж (все фото можно посмотреть тут).
PPS. Все найденные баги в ближайшее время будут взяты в работу и устранены! Через 1-1.5 месяца ожидается дополнительный отчет, насколько тест-сессия помогла данному продукту при внедрении.