Performance analysis of PTaaS tools: A study on how PTaaS providers can compare the performance of DAST scanners
2025 (English)Independent thesis Advanced level (professional degree), 20 credits / 30 HE credits
Student thesis
Abstract [en]
As dynamic web applications become increasingly complex, cybersecurity providersoffering Penetration Testing as a Service (PTaaS) face growing pressure to selectefficient and effective vulnerability scanning tools. Dynamic Application SecurityTesting (DAST) scanners are commonly used in automated security assessments,but empirical comparisons are often limited and rarely tied to investment decision-making.This thesis evaluates the performance of two DAST scanners using real-worlddata collected from 45 production-grade web applications. Scanner performance isassessed using a structured framework of four dimensions: detection rate, vulnerabil-ity coverage, false positives, and credential handling. Findings are categorized usinga general vulnerability categorization and the OWASP Top 10 (2021) framework.The results show that one scanner significantly outperforms the other in bothdetection rate (61.44% vs. 19.87%) and category coverage, but also produces ahigher volume of false positives. Chi-squared tests confirm that these differencesare statistically significant. The study demonstrates that performance metrics canmeaningfully support scanner selection and investment decisions in PTaaS, especiallywhen trade-offs between detection capability and operational cost are considered.This thesis contributes a practical decision-making framework for security teamsevaluating automated tools in operational settings by using real-world applicationdata and grounding the evaluation in technical and business-relevant metrics.
Abstract [sv]
I takt med att dynamiska webbapplikationer blir allt mer komplexa ökar pressen påföretag som erbjuder Penetration Testing as a Service (PTaaS) att välja effektiva ochtillförlitliga verktyg för sårbarhetsskanning. Dynamisk applikationssäkerhetstestning(DAST) är ett vanligt inslag i automatiserade säkerhetsgranskningar, men empiriskajämförelser mellan skanners är ofta begränsade och kopplas sällan till investerings-beslut.Denna avhandling utvärderar prestandan hos två DAST-skanners med hjälp avverklig data insamlad från 45 webbaserade applikationer i produktionsmiljö. Varjeskanners prestanda bedöms med hjälp av ett strukturerat ramverk baserat på fyra di-mensioner: identifieringsgrad, sårbarhetstäckning, falska positiva resultat och hanter-ing av autentisering. Sårbarhetstäckningen kategoriseras enligt både en generell sår-barhetsindelning och OWASP Top 10 (2021).Resultaten visar att en av de skanners som undersökts presterar avsevärt bättre änden andra både i fråga om täckningsgrad (61,44% jämfört med 19,87%) och täckningav sårbarhetskategorier, men genererar samtidigt fler falska positiva fynd. Chi-två-tester bekräftar att dessa skillnader är statistiskt signifikanta.Studien visar att prestandamått kan ge värdefullt stöd vid urval av skannraroch investeringsbeslut inom PTaaS, särskilt när det gäller avvägningar mellan detek-tionsförmåga och operativ kostnad. Genom att använda verkliga applikationsdataoch förankra utvärderingen i både tekniska och affärsrelevanta mått, bidrar dennaavhandling med ett praktiskt beslutsstöd för säkerhetsteam som utvärderar automa-tiserade verktyg i operativa miljöer.
Place, publisher, year, edition, pages
2025. , p. 36
Keywords [en]
PTaaS, DAST, Penetration Testing, Scanner Performance
National Category
Business Administration
Identifiers
URN: urn:nbn:se:bth-27954OAI: oai:DiVA.org:bth-27954DiVA, id: diva2:1962602
External cooperation
Outpost24
Subject / course
Degree Project in Master of Science in Engineering 30,0 hp
Educational program
IEACI Master of Science in Industrial Management and Engineering
Supervisors
Examiners
2025-06-162025-06-012025-09-30Bibliographically approved