Ligipääsetavus

Tulemuste võrdlus: ligipääsetavuse automatiseeritud vs manuaalne testimine

12. Mai 2025 Evelin Laupa-Soonsein & Mari-Ell Mets

28.juunist 2025 jõustuvad ligipääsetavuse nõuded sunnivad teenuseomanikke hindama oma digikeskkondade vastavust Euroopa Liidu standardile EN 301 549 V3.2.1. Hindamiseks on kaks võimalust: suhteliselt ressursimahukas manuaaltestimine või atraktiivsed tasuta automatiseeritud testimistööriistad. Selles artiklis uurime, kui suur on erinevus automatiseeritud ja manuaalse ligipääsetavuse testimise tulemuste vahel.

Automatiseeritud testimistööriistad on digikeskkondade ligipääsetavuse kontrollimisel kasulikud ja sobivad esimeseks sammuks probleemi kaardistamisel, kuid nende võimekus on piiratud. Ligipääsetavuses on oluline roll kvaliteetsel tarkvaraarendusel, sest meie audititest on näha, et ligi 75% ligipääsetavuse probleemidest tekivad just front-end koodis. Paraku kõiki neid probleeme automaattestid tuvastada ei suuda.

Automaattööriistad suudavad kontrollida küll mõningate ettemääratud tehniliste tingimuste täitmist (nt kas <input> on seotud <label> elemendiga), kuid ei näe suurt pilti ega suuda mõista koodis tegelikult leiduvaid probleeme (nt kui elemendid on grupeeritud visuaalselt, kuid mitte koodis).

Veel enam – automatiseeritud tööriistad võivad anda ka ekslikke tulemusi, tuues esile probleeme, mida tegelikult ei eksisteeri või vastupidi, jättes olulised vead tuvastamata.

Ligipääsetavus ei ole ainult tehniline nõue, vaid eelkõige inimkeskne lähenemine. Manuaalne testimine on vajalik, et mõista, kuidas veebileht või rakendus tegelikult erinevatele kasutajatele toimib. Manuaalne testimine aitab avastada keerukamaid probleeme ja valideerida automatiseeritud tööriistade leide.

Testimine

Meie soov oli välja selgitada, kui suur on erinevus automatiseeritud ja manuaalse ligipääsetavuse testimise tulemuste vahel. Testimiseks valisime ühe rahvusvahelise avaliku asutuse esilehe. Testisime seda nii automaatsete tööriistade abil kui ka manuaalselt. Automaatseks testimiseks kasutasime tasuta brauseri laiendusi: WAVE Evaluation Tool, AXE DevTools, ARC Toolkit ja Siteimpove Accessibility Checker.

Manuaalse testimise viisime läbi desktop-versioonil kasutades Chrome'i brauserit ja JAWS ekraanilugejat ning mobiiliversioonil iOS-seadmes VoiceOver ekraanilugejaga ning Android-seadmes TalkBack ekraanilugejaga.

Tulemused

Joonisel 1 esitatud kokkuvõtlikud tulemused näitavad, et automatiseeritud tööriistad tuvastasid oluliselt vähem ligipääsetavuse probleeme kui manuaalne testimine.

Tegelik leidude hulk on aga veelgi väiksem, kuna enamjaolt raporteerivad automaattööriistad sama viga iga koodielemendi kohta eraldi, mis tekitab korduseid. Tabelis 1, kus kuvame tulemusi leidude kaupa, koondasime korduvad leiud üheks, et muuta need võrreldavaks manuaalse testimise tulemustega.

Joonis 1. Leitud vigu kokku.

Näiteks kui automaattööriist tõi välja neli eraldi viga – üks iga ebakorrektse listi elemendi kohta –, siis tabelis 1 on see kuvatud ühe veana „üks list loetakse ekraanilugeja poolt ette nelja eraldi listina“.

Automaattööriistad toovad esile ka valideerimisvigu (parsing errors), kuid manuaaltestimisel neid ei arvestatud, kuna WCAG viimases versioonis 2.2 on “Parsing” punkt eemaldatud ega vaja testimist.

Ka erinevate automaattööriistade tulemused ei ole omavahel täielikult võrreldavad, kuna iga tööriist raporteerib leide erineval viisil. Enamus automaattööriistasid tõid välja ka “hoiatusi ja parimaid praktikaid”.

Nende puhul võib olla ebaselge, kas tegemist on tegeliku ligipääsetavuse reegli rikkumisega või lihtsalt võimalusega kasutajakogemust parandada. Tabelis 1 märkisime „jah“ ka juhul, kui manuaaltestimises märgiti asi veana, kuid automaattööriist paigutas selle “hoiatuste ja parimate praktikate” alla.

See näitab, et kuigi automatiseeritud testid toovad esile erinevaid leide, on nende valideerimiseks siiski vaja ligipääsetavuse alaseid teadmisi ja inimlikku analüüsi. Järgnevas tabelis toome välja kõik manuaaltestimise leiud ning selle, kas automaattestid tuvastasid need või mitte.

Testimise tulemused

Leiud on esitatud kriteeriumite kaupa koos lühikokkuvõttega.

Contrast (Minimum)

Nupu teksti kontrastsussuhe oma taustaga on alla nõutud piiri 4,5:1.

Bypass Blocks

Puudub ülehüppamislink, mis võimaldaks lehe algusest otse sisuni liikuda.

Focus Visible

Nupul puudub nähtav fookusstiil.
Nupu fookusstiil on olemas, kuid praktiliselt nähtamatu.

Focus Order 

Mobiilis saab klaviatuuri fookus liikuda menüü alla, kui menüü on avatud.
Linki fokuseeritakse klaviatuuriga kaks korda järjest, see muudab navigatsiooni aeglasemaks.

Headings and Labels 

Kuupäevaformaat on mitmeti mõistetav ja ei ole selge.

Info and Relationships

Tabelis olev tavaline tekst loetakse ekraanilugeja poolt ette lingina.
Üks list loetakse ekraanilugeja poolt ette nelja eraldi listina.
Element loetakse ekraanilugeja poolt ette kui list, aga ta ei ole tegelikult list.
Kõik navigatsiooni elemendid pole ekraanilugeja jaoks navigatsiooni sees.
Lehel puuduvad regioonid, mis aitaksid ekraanilugejal lehte paremini mõista ja sellel navigeerida.
Koodis puudub esimese taseme pealkiri <h1>. Pealkirjad ei ole koodis hierarhiliselt järjestatud, mis tekitab ekraanilugeja kasutajale segadust.

Keyboard

Otsingutulemuste peale ei saa klaviatuuriga liikuda.

Link Purpose

Välised lingid on eristatavad visuaalselt, kuid mitte ekraanilugejaga.

Label in Name

Nupu nähtav tekst ja koodis olev tekst ei kattu, mis tekitab probleeme nii ekraanilugeja kui ka häälkäskluse kasutajatele.

Meaningful Sequence

Ekraanilugeja fookus hüppab ootamatusse kohta.
Sama tekst loetakse ekraanilugejaga mitu korda järjest ette.

Name, Role, Value

Ekraanilugeja ei ütle, kas element on avatud või suletud olekus.
Avanev mobiilimenüü katab menüü sulgemisnupu, häälkäsklustega ei saa menüüd sulgeda.
Valitud menüüpunkt on eristatav visuaalselt, kuid mitte ekraanilugejaga.
Otsingutulemusi ei saa ekraanilugejaga ega häälkäsklustega valida.
Navigatsioon on märgitud koodis vigaselt kontekstimenüüna.

Non-Text Content

Ikooniga nupu peale minnes loetakse ekraanilugejaga ette numbrijada, mis ei kirjelda nupu eesmärki.
Logo peale minnes loetakse ekraanilugejaga ette tekst, mis pole tegelikult logo peal.
Ikooni peale minnes loetakse ekraanilugejaga ette tekst, mis ei kirjelda ikooni eesmärki.

On Focus

Otsingukast sulgub ootamatult.

Pointer Cancellation

Otsingukasti sulgemisnupp aktiveerub hiire allavajutuse (mitte kliki) peale.

Pointer Gestures

Teatud tegevusi saab teha ainult sõrmega kindlat trajektoori mööda lohistades.

Reflow

Mobiilivaates nihkuvad asjad üksteise peale ning tekib horisontaalne kerimisriba.

Status Messages

Ekraanilugeja ei teavita, kui kuvatakse otsingutulemusi.
Otsingu ikooni vajutamisel avaneb otsingukast, kuid ekraanilugeja ei teata, et midagi juhtus.

Text Resize

Brauseri suurendust kasutades nihkuvad asjad üksteise peale.

Use of Color

Lingid on muust tekstist eristatud ainult teise värviga.

User preference

Tekst ei allu brauseri tekstisuuruse seadetele.
Leht ei allu brauseri tumerežiimi (dark mode) seadetele.

Leiud on esitatud kriteeriumite kaupa koos lühikokkuvõttega.

Contrast (Minimum)

Nupu teksti kontrastsussuhe oma taustaga on alla nõutud piiri 4,5:1.

Info and Relationships

Koodis puudub esimese taseme pealkiri <h1>. Pealkirjad ei ole koodis hierarhiliselt järjestatud, mis tekitab ekraanilugeja kasutajale segadust.

Name, Role, Value

Osaliselt tuvastatud viga: Navigatsioon on märgitud koodis vigaselt kontekstimenüüna.

Leiud on esitatud kriteeriumite kaupa koos lühikokkuvõttega.

Contrast (Minimum)

Nupu teksti kontrastsussuhe oma taustaga on alla nõutud piiri 4,5:1.

Bypass Blocks 

Puudub ülehüppamislink, mis võimaldaks lehe algusest otse sisuni liikuda.

Info and Relationships

Üks list loetakse ekraanilugeja poolt ette nelja eraldi listina.
Element loetakse ekraanilugeja poolt ette kui list, aga ta ei ole tegelikult list.
Koodis puudub esimese taseme pealkiri <h1>. Pealkirjad ei ole koodis hierarhiliselt järjestatud, mis tekitab ekraanilugeja kasutajale segadust.
Osaliselt tuvastatud viga: Lehel puuduvad regioonid, mis aitaksid ekraanilugejal lehte paremini mõista ja sellel navigeerida.

Name, Role, Value

Osaliselt tuvastatud viga: Navigatsioon on märgitud koodis vigaselt kontekstimenüüna.

Leiud on esitatud kriteeriumite kaupa koos lühikokkuvõttega.

Contrast (Minimum)

Nupu teksti kontrastsussuhe oma taustaga on alla nõutud piiri 4,5:1.

Info and Relationships

Üks list loetakse ekraanilugeja poolt ette nelja eraldi listina.
Element loetakse ekraanilugeja poolt ette kui list, aga ta ei ole tegelikult list.
Lehel puuduvad regioonid, mis aitaksid ekraanilugejal lehte paremini mõista ja sellel navigeerida.
Koodis puudub esimese taseme pealkiri <h1>. Pealkirjad ei ole koodis hierarhiliselt järjestatud, mis tekitab ekraanilugeja kasutajale segadust.

Name, Role, Value

Osaliselt tuvastatud viga: Navigatsioon on märgitud koodis vigaselt kontekstimenüüna.

Use of Color

Lingid on muust tekstist eristatud ainult teise värviga.

Leiud on esitatud kriteeriumite kaupa koos lühikokkuvõttega.

Contrast (Minimum)

Nupu teksti kontrastsussuhe oma taustaga on alla nõutud piiri 4,5:1.

Bypass Blocks

Puudub ülehüppamislink, mis võimaldaks lehe algusest otse sisuni liikuda.

Info and Relationships

Lehel puuduvad regioonid, mis aitaksid ekraanilugejal lehte paremini mõista ja sellel navigeerida.
Koodis puudub esimese taseme pealkiri <h1>. Pealkirjad ei ole koodis hierarhiliselt järjestatud, mis tekitab ekraanilugeja kasutajale segadust.

Sellest ülevaatest ja Jooniselt 2 on selgelt näha, et ligipääsetavuse automaattestid tuvastasid võrreldes manuaaltestimisega väga vähe ligipääsetavusega seotud probleeme.

Enamasti ei suutnud automaattööriistad avastada ekraanilugeja käitumisega seotud probleeme: näiteks olukordi, kus ekraanilugeja luges ette teksti, mis ei kirjeldanud elementi või kus olulisi teateid ei loetud automaatselt ette.

Samuti ei tuvastanud automaattööriistad fookuse nähtavuse ja järjekorraga seotud probleeme, mis mõjutavad peamiselt klaviatuuri ja lülitite abil navigeerijaid. Näiteks ei tuvastatud seda, kui klaviatuuri fookus oli nähtamatu, liikus ebaloogiliselt või hüppas ootamatusse kohta.

Joonis 2: Leitud unikaalseid vigu.

Kolm neljast automaattestist tõid välja ka selliseid leide, mida manuaaltestimise käigus välja ei toodud. Need leiud toome järgnevalt välja koos põhjendustega, miks manuaaltestimises neid välja ei toodud.

Leiud on esitatud kriteeriumite kaupa koos lühikokkuvõtte ja meiepoolse kommentaariga.

Contrast (Minimum)

Kontrastsussuhe teksti ja teksti tausta vahel peaks olema vähemalt 4,5:1, kuid on 1:1.

Täpsustus: Visuaalselt on tekst valge ja taust tumesinine, mille kontrastsuhe on tegelikult 14.07:1 ehk tublisti üle nõutud piiri. Koodis on taustavärv lisatud reasisese CSS-iga, mida automaattööriist “ei näe”.

Määratlemata

Title-atribuudi tekst on sama, mis nähtav tekst või alternatiivtekst.

Täpsustus: Viga ei tuvastatud manuaaltestimisel, kuna antud kontekstis ei mõjutanud see ekraanilugeja tööd ega põhjustanud segadust ka nägijatele.

Leiud on esitatud kriteeriumite kaupa koos lühikokkuvõtte ja meiepoolse kommentaariga.

Labels or Instructions

Mitte-interaktiivsel elemendil on title-atribuut.

Täpsustus: Viga ei tuvastatud manuaaltestimisel, kuna antud kontekstis ei mõjutanud see ekraanilugeja tööd ega põhjustanud segadust ka nägijatele.

Määratlemata

Teksti vormindamisel on kasutatud CSS-is kaldkirja.

Täpsustus: Ühe jaluses oleva tekstirea visuaalset stiili antud kontekstis veana ei käsitletud, sest kaldkirja ei kasutatud millegi rõhutamiseks.

Leiud on esitatud kriteeriumite kaupa koos lühikokkuvõtte ja meiepoolse kommentaariga.

Target Size (WCAG tase AAA)

Interaktiivsed elemendid peaksid olema vähemalt 44 x 44 piksli suurused, kuid on väiksemad.

Täpsustus: Manuaaltestimisel lähtuti Euroopa Liidu standardist EN 301 549, mis ei nõua WCAG AAA taseme reeglitele vastamist. Kliendi soovi korral võime testida digikeskkondi ka WCAG AAA reeglite ning soovituslike parimate praktikate vastu.

Info and Relationships

Tabelil on jaluse element, aga see on tühi.

Täpsustus: Manuaaltestimisel ei toodud seda välja, kuna see ei mõjuta ekraanilugeja tööd ega sega teisi kasutajaid.

Sellest ülevaatest on näha, et osa automaattööriistade tuvastatud leide ei ole tegelikult vead, mis mõjutaksid oluliselt kasutajakogemust või ligipääsetavust. See kinnitab, et automatiseeritud testide tulemuste pimesi usaldamine võib viia ressursside ebaefektiivse kasutamiseni, suunates tähelepanu probleemidele, mis ei ole tegelikult kasutajatele takistuseks.

Seetõttu on oluline, et automaattestide tulemusi täiendaks asjatundlik analüüs ja manuaalne kontroll, et ressursid kuluksid tõeliste ligipääsetavuse probleemide lahendamisele.

Kokkuvõtteks

Kõik automatiseeritud ligipääsetavuse testimise tööriistad, mida testimiseks kasutati, toimisid umbes sama efektiivselt ja suutsid tuvastada keskmiselt 15% testitava veebilehe ligipääsetavuse probleemidest, jättes enamiku olulisi vigu märkamata.

Üheks põhjuseks meie hinnangul on see, et veebilehte või rakendust kasutades, sooritab kasutaja erinevaid toiminguid nagu nuppude vajutamine, teksti sisestamine või lehe suurendamine. Need tegevused käivitavad lehel erinevaid muutusi, näiteks avanevad modaalid, akordionid või teavitused.

Automatiseeritud tööriistadel aga ei ole võimekust simuleerida kõiki neid tegevusi ega analüüsida muutusi, mis nende tõttu tekivad. Kasutajakäitumise ja konteksti arvestamata jätmisel aga jäävadki paljud ligipääsetavuse probleemid tähelepanuta.

Turul võib olla automatiseeritud tööriistu, mis suudavad tuvastada ka veidi rohkem ligipääsetavuse vigu, kui selles artiklis mainitud tööriistad. Sellest hoolimata on meie hinnangul veel pikk tee minna, enne kui automatiseeritud tööriistad suudaksid asendada manuaaltestimist – nii pea seda veel ei juhtu.

Soovid oma ideid arutada?

Broneeri tasuta 30-minutiline ligipääsetavuse konsultatsioon

Kadi Rosenthal

Ligipääsetavuse spetsialist

Aitame välja selgitada ligipääsetavuse vajadused, panna paika ligipääsetavuse koolituse või auditi skoobi ning soovi korral aitame saada kiire ülevaate oma veebilehe ligipääsetavusest.

Broneeri konsultatsioon