Kõnealuses meetodis on skaala ise (baastase–edasijõudnu–eeskujulik) vormiliselt samaks jäänud, kuid mida mõistetakse aasta-aastalt nt. eeskujulikkuse all, võib olla muutunud. Näiteks kui 2022. aastal tähendas kriteerium „Riskirühmadele on hädaolukorras abi tagatud“ baastasemel, et „kaardistatud on sotsiaalhoolekande seaduse mõistes riskirühmad“, siis 2024. aastaks piirduti üldsõnalise sõnastusega „riskirühma kuuluvad isikud on kaardistatud“. Tulemuseks on kaks sisuliselt erinevat näitajat. 2022. aastal puudus ka mõnel kriteeriumil üldse „eeskujulik“ tase, 2024. aastaks on see ilmunud. See tähendab, et võis tulla juurde hüppeliselt omavalitsusi, kes olid järsku eeskujulikud (ja said rohkem punkte), sest tekkis uus hindamistase. Sellised näiliselt pisikesed nihked võivad kallutada mõne omavalitsuse pigem edasijõudnuks, mõne teise lausa eeskujulikuks – ehk tublimaks.

Kolmandaks, kogu andmestiku kogumise metoodika on olnud hüplik. 2018–2019 koguti infot vaid dokumentide põhjal, 2021. aastal tehti intervjuusid, kusjuures intervjueerijateks olid Päästeameti ametnikud ise – need samad, kes peaksid omavalitsusi kontrollima. Alles 2023. aastal võeti kasutusele dokumendianalüüsi ja küsitlust ühendav meetod, mille loojad on öelnud, et see aitab vähendada ametniku kui küsitleja mõju tulemustele (Kaal & Lillo, 2023, lk 18). Nii ei saa rääkida ühtlasest ja võrreldavast andmesarjast.

Neljas probleem seisneb selles, et kriteeriumite tasemetest arvutatakse edasi omavalitsuste teenustasemed ja neist omakorda Eesti mediaantase, mõlema puhul ka aastates mõõdetavat arengut. Probleemide taustal ei saa ju aga tegelikult öelda, et keskmised peegeldavad tegelikku seisu. Kui sisuliselt tasemete sisu ajas muutub, ei saa ka koondtasemeid kasutada ei otsustamiseks ega võrdlemiseks. Otse öeldes – kaart võib minna aina rohelisemaks, aga see ei garanteeri, et valmisolek on reaalselt paranenud.

Probleem on see, et kriisivalmiduse teenustasemete põhjal tehakse otsuseid. Kui poliitik või ametkond näeb, et keskmine tase tõuseb ja kaardid muutuvad rohelisemaks, on kiusatus kuulutada edulugu ja vähendada valdkonnas tähelepanu ja ressursse (raha). Mida tähendab aga kodanikule, kui meil on vale arusaam omavalitsuste kriisivalmidusest, kasvõi osaliselt? Näiteks sõjalise kriisi tingimustes võib see tähendada järgmist: evakuatsiooniplaan on küll „eeskujulikult“ paberil, aga kriitilisel hetkel pole inimesi, kes seda ellu viiksid; varjumiskohtade nimekiri on veebiportaalis olemas, kuid uksed on kinni; kriisikomisjon on kogunenud kolm korda aastas, ent sisuline valdkonna areng on küsitav. See tähendab illusiooni valmisolekust.

Omaette küsimus on aga, milleks me üldse väidame, et oleme valmis. Praegune süsteem käsitleb kõiki kriise ühe ja sama mõõdupuuga – torm, küberintsident ja droonisõda olenemata ulatusest asetatakse samale skaalale. Tegelikult ei ole ükski omavalitsus valmis droonisõjaks, aga kaardilt võib jääda mulje, et ollakse „eeskujulikul“ tasemel.