Vlastní prvky evaluačního procesu
Úspěšnost hodnocení závisí na důkladné vnitřní analýze silných a problematických stránek rozvoje školy a studijního oboru. Proto je nutné, aby o průběžných i závěrečných výsledcích sebeevaluace proběhla na škole důkladná diskuse, během níž se k jednotlivým bodům analýzy budou moci vyjádřit jak zástupci pracovníků školy, tak zástupci studentů i případně členové poradního sboru školy. Z těchto důvodů musí mít hodnocená škola dostatek času jak na sebeevaluaci, tak na přípravu návštěvy evaluační komise.
Teprve po důkladné přípravě bude přistoupeno k hodnotící návštěvě, jejíž cílem je zhodnotit kvalitu sebeevaluace a jejích výsledků a poskytnout škole případná doporučení pro další práci. Této části evaluačního mechanismu je především věnován celý následující dokument, proto je vhodné uvést zde pouze základní přístup. Návštěva na škole se skládá z diskusí nad sebeevaluační zprávou se skupinami osob zainteresovaných na vývoji školy, např. vedením školy, učiteli odborných předmětů, učitele všeobecných předmětů, zástupci studentů, představitele regionu a regionální praxe a zástupce absolventů VOS.
Škola má možnost vyjádřit se ke znění zprávy i průběhu evaluační návštěvy. K tomuto účelu slouží hodnotící dotazník, který škola vyplňuje na závěr evaluačního řízení. Škola se může případně se proti postupu hodnocení a jeho závěrům odvolat k Řídící radě programu EVOS.
Ta na svém zasedání rozhodne o:
Řídící rada, která je složena z významných představitelů hospodářské praxe a vzdělávání, hraje rovněž úlohu garanta objektivity celého procesu vůči veřejnosti.
Výsledné zprávy a hodnocení jsou zveřejňovány, aby mohly sloužit zájemcům o studium, případně zaměstnavatelům či jiným subjektům k orientaci ve kvalitě studijní nabídky VOS. Děje se tak formou souhrnných publikací, které obsahují závěrečné zprávy v plném rozsahu a je možno je získat v Kanceláři. Snahou rovněž je prezentovat výsledky evaluací v denním tisku. Dá se však předpokládat, že školy, které v hodnocení uspějí, se samy výrazně přičiní o propagaci těchto výsledků.
Vnitřní hodnocení kvality
Škola na základě pokynů SŠVS provede své vnitřní hodnocení a vypracuje sebeevaluační zprávu. Vzhledem k tomu, že cílem vnitřního hodnocení není jen příprava školy na návštěvu komise, ale i stimulace interního řízení kvality, obsah sebeevaluační zprávy není zcela pevně stanoven.
Sebeevaluační zpráva má obsahovat a diskutovat jak slabé, tak silné stránky vzdělávacího procesu. Nemá být popisem, ale analýzou; má identifikovat problémy, ale také způsoby, jakými by se tyto problémy na dané škole mohly řešit. Způsoby provádění sebeevaluace se mohou na jednotlivých školách lišit, stejně jako se budou lišit i postupy projednávání sebeevaluačních zpráv. Zpráva o sebeevaluaci je východiskem pro diskuse mezi evaluační komisí a školou a tudíž všichni, kdo se budou nějakým způsobem na diskusi podílet, musí být s jejím obsahem seznámeni.
Vnější hodnocení kvality
Vnější hodnocení kvality je prováděno evaluační komisí v sedmi fázích:
1) prostudování sebeevaluační zprávy zpracované danou školou;
2) přípravná schůzka komise
3) návštěva evaluační komise na škole;
4) zpracování návrhu znění zprávy evaluační komise;
5) předání zprávy evaluační komise škole k připomínkovému řízení;
6) zpracování konečného znění zprávy evaluační komise včetně vyjádření hodnocené školy;
7) rozhodnutí Řídící rady (potvrzení rozhodnutí komise)
8) vystavení certifikátu kvality VOS.
Evaluační komise
Evaluační komise je jmenovaná vedením Kanceláře a schvalována Řídící radou.Komise jsou zpravidla čtyřčlenné. V každé komisi byl měl být v optimálním případě zastoupen jeden:
Toto složení je vhodné zejména z hlediska různých pohledů uvedených odborníků na vzdělávací proces a profil absolventa, neboť cíle studijního programu bývají vyjádřeny obecně ve smyslu souhrnu dovedností a postojů, které může zainteresované "okolí" - např. studenti, pedagogové, zaměstnavatelé, sponzoři (včetně vlády), odborné orgány atd. - očekávat od jedince, který úspěšně dokončí daný studijní program.
Snahou je dodržovat uvedené optimální složení komisí. Od roku 1995 je budován okruh expertů, kteří na základě působení v komisích získávají zkušenosti s hodnocením škol. Hlavním záměrem je vytvořit síť potenciálních hodnotitelů, aby bylo možné dodržet důležitý požadavek z hlediska srovnatelnosti hodnocení na personální složení dílčích komisí, které by se alespoň do určité míry mělo překrývat.
Jeden ze jmenovaných členů komise je na přípravné schůzce komise případně při úvodním setkání komise na škole zvolen jejím předsedou a požádán o:
Další člen komise (zpravidla představitel jiné VOŠ) je požádán o zpracování návrhu znění zprávy evaluační komise (zapisovatel).
Ačkoliv je zřejmé, že se jednotliví členové komise budou soustřeďovat na hodnocený studijní program především ze svého pohledu a zaměření, budou brát v úvahu i další skutečnosti a budou věnovat pozornost také hodnocení studijního programu a školy z pohledu svých kolegů. Celý proces hodnocení by měl být vzájemnou diskusí uvnitř komise a komise s představiteli školy, studentů a praxe.
Každý člen komise by měl v průběhu série diskusí zaznamenávat důležité poznatky a postřehy, tak aby bylo možno ke konci návštěvy na škole na základě těchto poznámek přidělit bodové hodnocení jednotlivým aspektům kvality VOS a sestavit alespoň základní podklady pro sepsání závěrečné zprávy včetně argumentů, o něž se přidělené hodnocení opírá. Součástí by měly být i doporučení komise škole na zlepšení některých aspektů pokud je to potřeba. I přesto, že výsledné hodnocení je určitým kompromisem, na němž se shodne komise jako celek, by každý člen komise měl být schopen podložit své vlastní hodnocení dostatečnými argumenty, aby byla práce komise maximálně objektivizována.
Členové komise by měli být erudovanými odborníky a vzbuzovat autoritu odpovídající jejich postavení. Všichni hodnotitelé musí být schopni pracovat pod tlakem a být schopni komunikovat s ostatními, formulovat obecné, adekvátní, jasně formulované a objektivní kritické výroky na kvalitu vzdělávacího procesu jako celku, spíše než na práci jednotlivých pedagogů, trpělivě naslouchat, vynášet obezřetné a konstruktivní komentáře, přistupovat k předkládaným materiálům, podkladům a partnerům seriózně, naznačovat, co je dobré či špatné a hledat východiska pro zlepšení. Svým jednáním by měli napomáhat vytvoření oboustranně vstřícné atmosféry a postojů.
Příprava na návštěvu školy
Pro evaluační komisi je základním dokumentem pro hodnocení kvality sebeevaluační zpráva zpracovaná danou školou.Termín návštěvy na škole je stanoven tak, aby bylo možno:
Kancelář programu "EVOS" zajistí, aby každý člen komise obdržel kopii této zprávy alespoň tři týdny před stanoveným datem návštěvy. Důkladná analýza by měla napomoci stanovení pořadu jednání a identifikace problémů, kterým by se komise měla především věnovat. Případné závažné formální i obsahové připomínky k sebeevaluační zprávě by měli členové komise zformulovat na přípravné schůzce a prostřednictvím Kanceláře programu předat škole alespoň 14 pracovních dní před uskutečněním návštěvy. Škole se tak vytvoří prostor pro shromáždění dodatečných materiálů a přípravu na jednání.
Program návštěvy zajišťuje dle pokynů Kanceláře programu škola. Předběžný časový harmonogram návštěvy (včetně jmen pracovníků a jejich postavení na škole či v praxi), způsob zajištění ubytování, stravování apod. bude školou zaslán SŠVS. Členové komise budou o tomto informováni na přípravné schůzce, případně jinou cestou.
Přípravná schůzka komise
Cílem konání přípravné schůzky je:
Předpokládaným výsledkem přípravné schůzky je zeefektivnění práce komise, které je díky omezenému času návštěvy nezbytné. Přípravná schůzka se stala nedílnou součástí evaluačního procesu na základě zkušeností vzešlých ze dvou úvodních kol evaluací, které jasně ukázaly nutnost konání úvodní schůzky komise v předstihu před návštěvou na škole. Hlavním důvodem a cílem je sladění názorů hodnotitelů a domluvení postupu práce komise v průběhu návštěvy.
Přípravná schůzka komise se koná přibližně týden poté, co jednotliví hodnotitelé obdrží sebeevaluační zpávu, tj. asi dva týdny před návštěvou na škole, protože je nezbytné poskytnout škole dostatečný časový prostor, aby mohla shromáždit dodatečně požadované materiály a některé z nich zaslat v předstihu členům komise. Přípavnou schůzku organizuje Kancelář programu, která má na starosti i veškeré další organizační záležitosti.
Všichni členové evaluační komise by měli mít na přípravné setkání připraven stručný komentář shrnující jejich názor na dodanou evaluační zprávu. Tyto komentáře jsou nutným podkladem pro jednání komise v rámci přípravné schůzky.
Hlavní okruhy jednání komise:
volba předsedy komise a zapisovatele upřesnění prioritních okruhů hodnocení jednotlivých členů komise (každý v souladu se svou specializací posuzuje určitý aspekt, okruh problémů)
definování potřebných upřesnění sebeevaluační zprávy a následně o nich zpravit školu, ta by měla bezprostředně reagovat
odsouhlasení/dohodnutí dokumentace, která má být zaslána hodnotitelům před návštěvou
ujasnění si rozsahu, možností a povahy hodnoceného oboru
časové rozplánování návštěvy - ujasnění si navrženého harmonogramu
setkání, která by musí být zaranžována v předstihu
technické zabezpečení návštěvy na škole - jednací místnost, občerstvení, přístup k telefonu, faxu, IT, podpůrné služby
technické a organizační záležitosti (dohody o provedení práce, ubytování, ...)
Návštěva evaluační komise na škole
Cílem návštěvy evaluační komise na škole je vnější posouzení, ověření a ohodnocení adekvátnosti vzdělávacího procesu vzhledem ke školou stanoveným cílům a plánu výuky daného studijního programu. Hodnocení je prováděno především za účelem:
1) informovanosti veřejnosti (uchazečů o studium, zaměstnavatelů, atd.),
2) poskytnutí zpětné vazby škole, zkvalitnění výuky a jejího zabezpečení.
Posouzením studijních osnov a jejich obsahu lze získat představu o vědomostech, které studenti v průběhu studia získají, a z přístupu pedagogů a používaných metod a technik výuky představu o způsobech rozvíjení sociálních a pracovních dovedností.
V podmínkách rozvoje VOS v České republice byl oproti některým zahraničním zkušenostem přidán i rozměr hodnocení řízení, koncepce a strategie školy, neboť tyto aspekty jsou v procesu transformace instituce nepochybně velmi důležité pro výslednou kvalitu služeb, především z dlouhodobějšího pohledu.
Představitelé školy by měli být připraveni objasnit připomínky hodnotitelů a seznámit je s důležitými rysy, slabými i silnými stránkami poskytovaného studijního programu, koncepce školy, prioritami další práce a zvolenou strategií dalšího kvalitativního růstu. Návštěva by měla být uskutečněna v duchu dialogu mezi školou a členy komise. Za nejpřínosnější je hodnocení považováno tehdy, jestliže lze ze závěrů hodnocení vyvodit, jaký vzdělávací proces je, určit jeho kladné a záporné rysy a následná doporučení. Škola pak může využít své silné stránky vzdělávacího procesu pro stanovení své budoucí strategie a identifikované slabé stránky se musí snažit co nejdříve odstranit.
Program návštěvy evaluační komise na škole
Program návštěvy zajišťuje ve spolupráci s Kanceláří programu ředitelství školy. Podle dosavadních zkušeností je optimální doba trvání návštěvy alespoň jeden a půl dne a tomu je přizpůsoben harmonogram návštěvy na škole.
Program návštěvy na škole začíná úvodním setkáním evaluační komise, které v podstatě navazuje na přípravnou schůzku komise. Účelem tohoto setkání je vzájemné informování se a prodiskutování dodatečně dodaných podkladů od školy, které si jednotliví členové komise vyžádali na přípravné schůzce. Rovněž je úvodní setkání prostorem pro upřesnění případných nových pohledů a stanovení konkrétních postupů práce během návštěvy. Během tohoto setkání se rovněž členové komise mohou domluvit na případné úpravě či rozdělení řízení jednotlivých částí evaluační návštěvy, jakož i o způsobu shromáždění poznámek a jejich následném zpracování po skončení návštěvy. Jedná se tedy i o stanovení způsobu práce předsedy komise a zapisovatele. Předseda komise bude řídit průběh návštěvy a dohlížet na zpracování znění návrhu a konečného znění závěrečné zprávy evaluační komise a na konci návštěvy seznámí vedení školy se závěry komise, zapisovatel zpracuje návrh znění zprávy evaluační komise a zapracuje do ní i připomínky .
Průběh návštěvy komise na škole sleduje harmonogram návštěvy, který zahrnuje následující setkání:
Jednotlivá setkání budou probíhat odděleně tak, aby si členové komise mohli utvořit vlastní obrázek o situaci na škole, kvalitě její práce a potřebách dalšího rozvoje. Prostorem pro ujasnění si dosavadních poznatků je první den večer, kdy má komise možnost sejít se pouze v kruhu členů komise a dohodnout další postup. Rozhodně by ale neměly být přijímány předčasné závěry.
Na závěr návštěvy na škole provede komise základní vyhodnocení svých poznatků, které následně shrne do závěrečné zprávy obsahující bodová hodnocení jednotlivých aspektů kvality VOS, jejich analýzu a zdůvodnění a případná doporučení.
Obsahové zaměření návštěvy
Analýza sebeevaluační zprávy a posléze diskuse na škole by měla být zaměřena jak na všeobecné záležitosti, tak na specifické problémy studijního programu. Pro usnadnění práce jsme pro diskusi připravili soubor dalších pomocných otázek.
Při diskusi s představiteli školy, pedagogickým sborem, studenty atd. je důležité zachovávat přístup "konstruktivní kritiky". Součástí hodnocení kvality by vedle kritiky nedostatků mělo být i nalezení dobrých a kladných stránek vzdělávacího procesu včetně vysvětlení, proč jsou kladně hodnoceny.
Zpracování závěrečné zprávy evaluační komise
Závěrečnou zprávu o evaluaci zpracovává člen komise, který je zároveň zapisovatelem. Vychází přitom z poznámek a podkladů od všech členů komise vzešlých z průběhu jednání. Znění zprávy by mělo korespondovat s hodnocením komise. S návrhem zprávy se seznámí všichni členové komise, kteří jsou povinni zaslat své vyjádření a případné připomínky zapisovateli, který je do zprávy zapracuje a výslednou zprávu pošle znovu všem členům komise. Návrh závěrečné zprávy bude zpracována přibližně do třiceti dnů po návštěvě na škole a bude dán škole k vyjádření.
Součástí zprávy (i návrhu jejího znění) bude i bodové ohodnocení základních aspektů vyššího odborného studia (VOS). Stanovení aspektů má svůj význam pro přehledné publikování výsledků evaluace všech škol VOS. Jak ukazuje schema, předpokládá se, že zpráva evaluační komise bude využita pro informování veřejnosti prostřednictvím tisku.
Bodové ohodnocení vyjadřuje do jaké míry se komisí zjištěné skutečnosti o základních aspektech VOS shodují s představou komise o tom, jakou by tyto aspekty měly mít úroveň, případně jak se shodují s tím, co škola stanovila v cílech a v plánu výuky daného studijního programu. Stupnici tvoří pět numerických bodů 1, 2, 3, 4, 5 se vzestupným pořadím hodnoty.
Na základě písemné verze předběžného návrhu zprávy a faktických připomínek školy zapisovatel komise vypracuje závěrečnou zprávu evaluační komise.
Předání zprávy evaluační komise k připomínkovému řízení na školu
Zpráva evaluační komise bude po zapracování a zohlednění názorů všech členů evaluační komise poskytnuta do 30 dní po uskutečněné návštěvě příslušné škole k vyjádření a k případným připomínkám. Škola má možnost vznést námitky vůči jednotlivým zjištěním i závěrům zprávy. Měla by tak učinit písemnou formou do 21 dnů od obdržení zprávy na adresu Kanceláře programu. O způsobu, jakým budou připomínky školy ve zprávě zohledněny, rozhodne Řídící rada po konzultaci s předsedou příslušné evaluační komise, případně dalšími členy komise. Nejjednodušším řešením je začlenit vyjádření školy do závěrečné zprávy jako přílohu.
Konečné znění zprávy evaluační komise
Po zapracování připomínek školy a schválení výsledků evaluace Řídící radou bude publikováno konečné znění zprávy evaluační komise. V zájmu srovnatelnosti jednotlivých zpráv budou mít jednotnou strukturu. Tato zpráva se stává základním dokumentem o provedené kontrole kvality vzdělávacího procesu.
Bude snahou Kanceláře programu zajistit veškeré možné cesty, které výsledky evaluací veřejnosti zpřístupní. Jedná se jak o uveřejnění výsledků bodových hodnocení v tisku, tak možnost vydání samostatné brožury, která bude obsahovat závěrečné zprávy jednotlivých evaluačních komisí a bude veřejně přístupná.
Vystavení certifikátu kvality VOS
Certifikát kvality VOS bude škole udělen na základě přidělených bodů základním aspektům hodnocení VOS v případě, že bodové ohodnocení v žádné ze sedmi hodnocených oblastí neklesne pod hodnotu 3 body.
Certifikát vysoké kvality VOS bude škole udělen v případě, že součet bodového ohodnocení v sedmi oblastech bude alespoň 27 bodů a zároveň hodnocení žádného aspektu nebude horší než 3 body.
Náležitosti certifikátu budou schváleny Řídící radou. Předání certifikátu je slavnostním aktem, kterého se účastní přední osobnosti české vzdělávací politiky a je rovněž první příležitostí pro zveřejnění výsledků. Proto se tohoto aktu kromě zainteresované odborné veřejnosti účastní i zástupci tisku a případně televize.
Závěr
Cílem hodnocení kvality studijních programů a škol VOS je jak vnitřní, tak vnější posouzení, ověření a ohodnocení adekvátnosti vzdělávacího procesu vzhledem ke školou stanoveným cílům a plánu výuky daného studijního programu. Hodnocení je prováděno především za účelem informovanosti široké veřejnosti (uchazečů o studium, zaměstnavatelů, atd.) o dosažené kvalitě poskytovaných studijních programů a škol VOS a zkvalitnění výuky a znalostí studentů.
Součástí závěrečné zprávy je tabulka bodového ohodnocení základních aspektů VOS, která umožní přehledné srovnání kvality hodnocených škol. Závěrečné zprávy jsou veřejně přístupné a rovněž je snaha o jejich publikování podle možností v tisku.
Záměrem pro další období je na základě dílčích zpráv zpracovávat souhrnná hodnocení jednotlivých skupin studijních oborů VOS, která budou také publikována a zveřejňována.