После дня тренингов Рекса Блэка ("Risk Based Testing") и Пола Геррарда наступил первый день конференции SQA Days.
Сегодня я расскажу только о докладах первого дня конференции. О докладах второго дня и об общем впечатлении о конференции я расскажу отдельными постами. В обзор я дополнительно включаю доклады, которые я посмотрел на репетиции докладов SQA Days, состоявшейся благодаря встрече минского QA Club 23 мая.
Мой топ-3 докладов первого дня конференции:
Первый доклад - и сразу сложный выбор между докладчиками: Рекс Блэк эстимировал в секции А, а Игорь Бондаренко рассказывал о безопасности мобильных приложений в секции С. Но в моем рейтинге победил Сергей Атрощенков, и вот почему:
Соглашусь с отзывом Алексея Виноградова, что времени 40 минут на мастер-класс - мало и не достаточно для полноценного мастер-класса: 20 минут ушло на введение и "разогрев" аудитории в неспешном темпе, а вторые 20 минут - информационно плотные и быстрые.Но есть презентация и запись доклада, рекомендую к просмотру и работе со ссылками и тулой.
(+1 докладчик и презентация, +1 содержание доклада)
Пол Геррард подготовил красочный футуристичный рассказ о будущем, которое ждет нас через 10-20 лет, - Internet of Everything, или Интернет Всего. Это тысячи взаимодействующих статических, мобильных устройств и приборов (сенсоры, автомобили, автобусы, электроинструменты в домах, больницах, на работе), взаимодействующих между собой и интегрированных в сотни сервисов и платежных систем. Возникают проблемы тестирования IoE, о которых говорил Пол Геррард и сделал прогнозы, как будут решать эти проблемы тестировщики через 20 лет:
Рекс Блэк рассказал об успешном опыте внедрения бесплатных инструментов тестирования у заказчиков, с которыми он работает. Ключевая мысль доклада - "free tools are not free in terms of time", или на бесплатный инструмент мы тратим время, которое не бесплатно. Рекс Блэк рассмотрел бесплатные инструменты автоматизации пользовательского интерфейса, тестирования производительности, веб-сервисов, динамического и статического анализа, непрерывной интеграции, модульного тестирования, тест-дизайна, скриптовые инструменты.
Блэк не рассказал о бесплатных инструментах для управления тестированием, а на мой вопрос ответил, что "there is no data about test management tools". :(
Хотя новых инструментов и открытий по используемым тулам я не услышал, но доклад мне понравился. Если вас интересуют бесплатные инструменты - посмотрите доклад.
Как метко заметила Рина Ужевко, "правильный доклад". Войцех рассказал как строить тестирование в Agile - "you cannot test quality in, you need to build it in". "Зубры" Геррард и Блэк задали высокую планку уровню докладов и ожиданиям слушателей от последующих докладчиков в секции А, но Войтех справился. Мне понравились и ответы на вопросы, они дали почувствовать практический, а не только теоретический опыт докладчика.
Доклад о метриках и истории внедрения сначала на один проект, затем - на 4 других. Сборник универсальных метрик для проекта. Доклад легко воспринимается, на каждую метрику Юра приводит графики из рабочих проектов. Но чтобы собирать много метрик, вам нужно время и аппрув начальства. Если времени не хватает, собирайте там, где у вас "болит" (чтобы не тратить время и фокус) и подумайте об автоматизации сбора метрик.
Метрики, которые привел Юра, - burndown chart, velocity chart, hours of work, detailed activity trend (время на работы - development, testing, bugfix, meeting e t.c. - по спринтам), fault density (количество багов по компонентам), root cause category (причины багов), test case pass rate, test case quality coverage rate, automation efficiency, communication matrix.
(+1 докладчик и презентация, +1 содержание доклада)
Блиц-доклад с примером технического тестового задания для миддлов и сеньоров. Задание - найти все ссылки на странице и составить список ссылок с ответами (HTTP response), которые они генерируют при нажатии. Тем, кто не видел доклад, рекомендую сначала скачать и попробовать пройти тестовое задание, которое составил Олег. (Спойлер) Чтобы найти все ссылки, вам понадобится знание html, firebug, обфускации, умение читать код и проверить ссылки в четырех браузерах.
(0 докладчик и презентация, +1 содержание доклада)
Блиц-доклад для начинающих менеджеров, в тройке лучших докладов конференции по содержанию. Состоит из трех частей: проблемы взаимодействия в команде тестирования, текучка кадров и качества идеального подчиненного и руководителя. Информация и мысли правильные, но доклад и слайды перегружены: 20 минут мало для того объема материала, который собрала Анастасия. Чтобы составить портрет идеального руководителя глазами подчиненного и наоборот, Настя провела опрос коллег и проранжировала результаты в карте памяти.
(+1 докладчик и презентация, 0 содержание доклада)
Доклад в формате "story telling" или 4 истории из жизни Натальи Руколь. Опыт и подача Наташи - на уровне "зубров". Главная идея доклада - "не бойтесь ошибаться, выходить из зоны комфорта - иначе не вырастете". Плюс начальное знакомство с алгоритмом и техниками решения проблем. В уровне сложности доклада я бы поставил одну звездочку, а не две.
(0 докладчик и презентация, 0 содержание доклада)
Сложный для восприятия доклад. Когда добавят запись - я пересмотрю доклад и возможно, поменяю оценку. Неконтрастные слайды в секции С едва читались, докладчик выступал первый раз на конференции, терминология (например, под интеграционным тестированием имелось ввиду системное интеграционное тестирование) - в итоге я понял процесс как тестируют CAS (Conditional Access System или система условного доступа), но итоговую картинку не сложил.
(+1 докладчик и презентация, 0 содержание доклада)
Доклад Кати (как и доклад Наташи Руколь) по сложности не на две звездочки, а на одну. Катя рассказала о делегировании, сформулировала и объяснила с примерами 4 правила делегирования: сформулировать описание, указать принадлежность, выбрать страховку и установить точки контроля.
(+1 докладчик и презентация, 0 содержание доклада)
О "тестирование на основе моделей, которое не так уж страшно", рассказывал и показывал пример Алексей Баранцев на конференции SQA Days-15. Роман рассказал об эволюции автоматизированного тестирования от автотестов и Page Object к BDD и тестированию состояний. Затем на примере Роман показал оптимизацию тест-кейса и перешел к генерации модели из тестов. Недостатки MBT - долгий первый результат и дополнительная поддержка модели - Роман предлагает решить с помощью перехода не к большим моделям, а к микромоделям, которые наглядны, понятны. Но есть две проблемы MBT:
>>продолжить чтение о докладах во второй день конференции
Сегодня я расскажу только о докладах первого дня конференции. О докладах второго дня и об общем впечатлении о конференции я расскажу отдельными постами. В обзор я дополнительно включаю доклады, которые я посмотрел на репетиции докладов SQA Days, состоявшейся благодаря встрече минского QA Club 23 мая.
Мой топ-3 докладов первого дня конференции:
- Paul Gerrard "How to Test the Internet of Everything"
- Сергей Атрощенков "Моделирование угроз для приложений"
- Vojtech Barta "QA as responsibility of Whole Team"
- Александра Волкова "10 принципов автоматизации, которые я не предам" - первое место конференции.
- Катерина Овеченко "Fuzzing - автоматическое тестирование безопасности" - мастер-класс. Выступление Кати в Москве на SQA Days-15 мне понравилось и запомнилось (запись не сохранилась).
- Роман Шейко "Принятие решений в тестировании на примере тестовой стратегии" - близкая мне тема, и Рома растет как докладчик и организатор Weekend Testing.
Сергей Атрощенков "Моделирование угроз для приложений"
(+1 докладчик и презентация, +1 содержание доклада)
- рекомендация Игоря Бондаренко, он член ПК и докладчик 8 конференций SQA Days, из них - 5 докладов по безопасности
- формат мастер-класса - взаимодействие со слушателями и запоминание лучше, чем в формате лекции
- близкая мне тема (работал над моделированием угроз за неделю до конференции)
Соглашусь с отзывом Алексея Виноградова, что времени 40 минут на мастер-класс - мало и не достаточно для полноценного мастер-класса: 20 минут ушло на введение и "разогрев" аудитории в неспешном темпе, а вторые 20 минут - информационно плотные и быстрые.Но есть презентация и запись доклада, рекомендую к просмотру и работе со ссылками и тулой.
- Модель STRIDE в формате Mind Map - здесь
Paul Gerrard "How to Test the Internet of Everything"
Пол Геррард подготовил красочный футуристичный рассказ о будущем, которое ждет нас через 10-20 лет, - Internet of Everything, или Интернет Всего. Это тысячи взаимодействующих статических, мобильных устройств и приборов (сенсоры, автомобили, автобусы, электроинструменты в домах, больницах, на работе), взаимодействующих между собой и интегрированных в сотни сервисов и платежных систем. Возникают проблемы тестирования IoE, о которых говорил Пол Геррард и сделал прогнозы, как будут решать эти проблемы тестировщики через 20 лет:
- Области развития для тестировщика IoE: непрерывная доставка (Continuous Delivery), DevOps, автоматизация и компьютерная симуляция;
- Как эмулировать функциональное тестирование, интеграцию и взаимодействие тысяч приборов и сотен сервисов
- Тестирование производительности, нагрузочное и стресс-тестирование
- Тестирование сетей, тестирование безопасности на различных уровнях
- Тестирование Big Data: логистика, визуализация, backup / recovery
- Новая модель тестирования - описание здесь
- "Automation will not make testing easy, it will make testing possible"
- Тест-дизайн на основе паттернов, использование оракулов
- Использование сильно отличающихся тестовых окружений: от моделирования окружения дома до города
- Программы для тестирования будут включать автоматизированную поддержку
- Большинство компонент будет тестироваться через API, web и другие сервисы
Rex Black "Case Studies in Success with Free Test Tool"
(+1 докладчик и презентация, 0 содержание доклада)
Блэк не рассказал о бесплатных инструментах для управления тестированием, а на мой вопрос ответил, что "there is no data about test management tools". :(
Хотя новых инструментов и открытий по используемым тулам я не услышал, но доклад мне понравился. Если вас интересуют бесплатные инструменты - посмотрите доклад.
- Для выбора инструмента GUI-автоматизации надо знать бизнес-контекст + посчитать ROI (разработка + сопровождение).
- Платная версия SoapUI содержит те же проблемы, что и бесплатная.
- Инструменты статического анализа показывают, что код написан синтаксически правильно, но не показывают, что код работает правильно.
- Скриптовые инструменты - слишком много инструментов и языков -> "Вавилонская башня".
- Лучше дописать готовый опенсорсный инструмент, чем писать самому инструмент с нуля.
Vojtech Barta "QA as responsibility of Whole Team"
(+1 докладчик и презентация, +1 содержание доклада)
- All projects are based on Statement of Work (SOW), but it is hard to push to make the process real later in the project
- You need to have clear exit criteria
- There is no (dedicated) test phase in Agile
- Expectation agreements are important during
- Customer is ready to be involved whenever is needed
- Teach customers acceptance testing, but do not do instead of them
Юрий Малый "Monthly Operations Review"
(+1 докладчик и презентация, +1 содержание доклада)
Доклад о метриках и истории внедрения сначала на один проект, затем - на 4 других. Сборник универсальных метрик для проекта. Доклад легко воспринимается, на каждую метрику Юра приводит графики из рабочих проектов. Но чтобы собирать много метрик, вам нужно время и аппрув начальства. Если времени не хватает, собирайте там, где у вас "болит" (чтобы не тратить время и фокус) и подумайте об автоматизации сбора метрик.
Метрики, которые привел Юра, - burndown chart, velocity chart, hours of work, detailed activity trend (время на работы - development, testing, bugfix, meeting e t.c. - по спринтам), fault density (количество багов по компонентам), root cause category (причины багов), test case pass rate, test case quality coverage rate, automation efficiency, communication matrix.
Олег Коледа "Качественное тестовое задание? Без проблем!"
Блиц-доклад с примером технического тестового задания для миддлов и сеньоров. Задание - найти все ссылки на странице и составить список ссылок с ответами (HTTP response), которые они генерируют при нажатии. Тем, кто не видел доклад, рекомендую сначала скачать и попробовать пройти тестовое задание, которое составил Олег. (Спойлер) Чтобы найти все ссылки, вам понадобится знание html, firebug, обфускации, умение читать код и проверить ссылки в четырех браузерах.
Анастасия Симанович "Как повысить продуктивность команды тестирования: что говорят менеджеры, а что тестировщики "
Блиц-доклад для начинающих менеджеров, в тройке лучших докладов конференции по содержанию. Состоит из трех частей: проблемы взаимодействия в команде тестирования, текучка кадров и качества идеального подчиненного и руководителя. Информация и мысли правильные, но доклад и слайды перегружены: 20 минут мало для того объема материала, который собрала Анастасия. Чтобы составить портрет идеального руководителя глазами подчиненного и наоборот, Настя провела опрос коллег и проранжировала результаты в карте памяти.
- Что нужно тестировщику (по убыванию важности): творчество - зарплата - отличная команда - перспективы роста;
- Идеальный тестировщик глазами руководителя (по убыванию): ответственный, коммуникабельный, самостоятельный, желает развиваться в профессии, талант к выявлению неисправностей, помимо своей работы помогает другим;
- Идеальный руководитель глазами тестировщика (по убыванию): грамотно руководит, вдохновляющий лидер, коммуникабельный и заинтересованный в своей команде, заботится о команде и развитии каждого, четко и понятно ставит задачи, выполняет организационные функции;
Наталья Руколь "Грабли тестировщика"
- Алгоритм обработки проблем: принятие, ответственность, поддержка, поиск причины, поиск решения
- Процессы и техники решения проблем: опросы, метрики, кайзен, теория ограничений, 5 почему, кружки качества, бережливое производство.
Артём Рогудеев "О процессе интеграции на примере крупнейшего провайдера CAS в России"
Екатерина Гайнутдинова "Делегирование. Повышаем шансы на исполнение."
Доклад Кати (как и доклад Наташи Руколь) по сложности не на две звездочки, а на одну. Катя рассказала о делегировании, сформулировала и объяснила с примерами 4 правила делегирования: сформулировать описание, указать принадлежность, выбрать страховку и установить точки контроля.
Роман Иовлев "Micro Model based testing"
О "тестирование на основе моделей, которое не так уж страшно", рассказывал и показывал пример Алексей Баранцев на конференции SQA Days-15. Роман рассказал об эволюции автоматизированного тестирования от автотестов и Page Object к BDD и тестированию состояний. Затем на примере Роман показал оптимизацию тест-кейса и перешел к генерации модели из тестов. Недостатки MBT - долгий первый результат и дополнительная поддержка модели - Роман предлагает решить с помощью перехода не к большим моделям, а к микромоделям, которые наглядны, понятны. Но есть две проблемы MBT:
- Нет Open-source инструментов, а платные - дорогие и сложные в освоении
- "Продать" заказчику MBT еще сложнее, чем продать BDD, ROI которого тоже еще надо обосновать в каждом конкретном проекте. Так что пока интерес к MBT чисто технический.
>>продолжить чтение о докладах во второй день конференции
Комментариев нет:
Отправить комментарий