Change search
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf
Performance analysis of PTaaS tools: A study on how PTaaS providers can compare the performance of DAST scanners
Blekinge Institute of Technology, Faculty of Engineering, Department of Industrial Economics.
2025 (English)Independent thesis Advanced level (professional degree), 20 credits / 30 HE creditsStudent thesis
Abstract [en]

As dynamic web applications become increasingly complex, cybersecurity providersoffering Penetration Testing as a Service (PTaaS) face growing pressure to selectefficient and effective vulnerability scanning tools. Dynamic Application SecurityTesting (DAST) scanners are commonly used in automated security assessments,but empirical comparisons are often limited and rarely tied to investment decision-making.This thesis evaluates the performance of two DAST scanners using real-worlddata collected from 45 production-grade web applications. Scanner performance isassessed using a structured framework of four dimensions: detection rate, vulnerabil-ity coverage, false positives, and credential handling. Findings are categorized usinga general vulnerability categorization and the OWASP Top 10 (2021) framework.The results show that one scanner significantly outperforms the other in bothdetection rate (61.44% vs. 19.87%) and category coverage, but also produces ahigher volume of false positives. Chi-squared tests confirm that these differencesare statistically significant. The study demonstrates that performance metrics canmeaningfully support scanner selection and investment decisions in PTaaS, especiallywhen trade-offs between detection capability and operational cost are considered.This thesis contributes a practical decision-making framework for security teamsevaluating automated tools in operational settings by using real-world applicationdata and grounding the evaluation in technical and business-relevant metrics.

Abstract [sv]

I takt med att dynamiska webbapplikationer blir allt mer komplexa ökar pressen påföretag som erbjuder Penetration Testing as a Service (PTaaS) att välja effektiva ochtillförlitliga verktyg för sårbarhetsskanning. Dynamisk applikationssäkerhetstestning(DAST) är ett vanligt inslag i automatiserade säkerhetsgranskningar, men empiriskajämförelser mellan skanners är ofta begränsade och kopplas sällan till investerings-beslut.Denna avhandling utvärderar prestandan hos två DAST-skanners med hjälp avverklig data insamlad från 45 webbaserade applikationer i produktionsmiljö. Varjeskanners prestanda bedöms med hjälp av ett strukturerat ramverk baserat på fyra di-mensioner: identifieringsgrad, sårbarhetstäckning, falska positiva resultat och hanter-ing av autentisering. Sårbarhetstäckningen kategoriseras enligt både en generell sår-barhetsindelning och OWASP Top 10 (2021).Resultaten visar att en av de skanners som undersökts presterar avsevärt bättre änden andra både i fråga om täckningsgrad (61,44% jämfört med 19,87%) och täckningav sårbarhetskategorier, men genererar samtidigt fler falska positiva fynd. Chi-två-tester bekräftar att dessa skillnader är statistiskt signifikanta.Studien visar att prestandamått kan ge värdefullt stöd vid urval av skannraroch investeringsbeslut inom PTaaS, särskilt när det gäller avvägningar mellan detek-tionsförmåga och operativ kostnad. Genom att använda verkliga applikationsdataoch förankra utvärderingen i både tekniska och affärsrelevanta mått, bidrar dennaavhandling med ett praktiskt beslutsstöd för säkerhetsteam som utvärderar automa-tiserade verktyg i operativa miljöer.

Place, publisher, year, edition, pages
2025. , p. 36
Keywords [en]
PTaaS, DAST, Penetration Testing, Scanner Performance
National Category
Business Administration
Identifiers
URN: urn:nbn:se:bth-27954OAI: oai:DiVA.org:bth-27954DiVA, id: diva2:1962602
External cooperation
Outpost24
Subject / course
Degree Project in Master of Science in Engineering 30,0 hp
Educational program
IEACI Master of Science in Industrial Management and Engineering
Supervisors
Examiners
Available from: 2025-06-16 Created: 2025-06-01 Last updated: 2025-09-30Bibliographically approved

Open Access in DiVA

fulltext(769 kB)155 downloads
File information
File name FULLTEXT01.pdfFile size 769 kBChecksum SHA-512
4c8c3009ba4d7ca7d152464ce0ac04be745cbe0bdf5a0a505e05bbff1f392b36902d92beffe31853871a4c36d6d5f7a0047a5f242744dc7fd7e45314c5199cee
Type fulltextMimetype application/pdf

By organisation
Department of Industrial Economics
Business Administration

Search outside of DiVA

GoogleGoogle Scholar
Total: 155 downloads
The number of downloads is the sum of all downloads of full texts. It may include eg previous versions that are now no longer available

urn-nbn

Altmetric score

urn-nbn
Total: 419 hits
CiteExportLink to record
Permanent link

Direct link
Cite
Citation style
  • apa
  • ieee
  • modern-language-association-8th-edition
  • vancouver
  • Other style
More styles
Language
  • de-DE
  • en-GB
  • en-US
  • fi-FI
  • nn-NO
  • nn-NB
  • sv-SE
  • Other locale
More languages
Output format
  • html
  • text
  • asciidoc
  • rtf