zaterdag 9 maart 2013

I feel like John Malkovitsch. Daphne Koller answers questions

The following Youtube element is really wonderful: http://www.youtube.com/watch?v=Xv1vXiPDlK0

At 16:15 Koller talks about quality control. Coursera selects university of good reputations only. And since their reputation is at stake, they'll make sure the offered courses are of good quality.

At 33:00 she says: A blended learning experience outperformes Face to Face learning, especially for those students who lack good high school education (ie. lack of study skills).

At 37:15 she explains her business model. They have developed three of them, one very interesting for hbo's. Me strikes that they developed their business model after they started the company. Her basic mission is to offer free education for everyone in the world.

At 52:00 she mentions countries with emerging markets that are in high need of educated people, but theylack of staff members to teach at the universities. These countries can only come along if they offer online education.

At 53:45 Koller thinks Coursera cannot reach children, but could offer teacher's educations so that these teachers can teach children.

Further remarks: In large courses people get more and better feedback than in small courses (people help each other).

Many students at MOOCs are life long learners.

Moeten alle toetsen gecontroleerd worden?

Examencommissies zijn verantwoordelijk voor de kwaliteit van de toetsing. Om die taak te kunnen vervullen, stelt de examencommissie onder andere de richtlijnen vast voor de beoordeling van de examens en tentamens. Bij veel opleidingen bestaat er naast een examencommissie ook een toetscommissie, die het daadwerkelijk toezicht op de toetsen uitvoert. De toetscommissie werkt onder de auspiciën van de examencommissie.

In de praktijk blijkt deze taak groot en zwaar te zijn. Opleidingen kennen een groot scala aan toetsen, opdrachten, portfolio's, presentaties, vaardigheidstoetsen, enzovoorts. Het is welhaast onmogelijk om al die toetsen te controleren. Zelfs als er steekproefsgewijs gewerkt wordt, dan nog is de taak groot en divers. Bovendien speelt het HBO flexibel in op de veranderende arbeidsmarkt, wat zijn weerslag vindt in zich aanpassende studieprogramma's en toetsen.

Toetscommissies bestaan uit docenten, die hun commissiewerk erbij doen en dat is ook goed. In een professionele cultuur draagt het hele team bij aan de kwaliteit; kwaliteitszorg wordt niet buiten de groep geplaatst. Maar dat heeft wel als consequentie dat het toetscommissiewerk niet de hele werkweek in beslag mag nemen.

Maar hoe kunnen examen- en toetscommissies dan toezicht houden op die grote hoeveelheden toetsen? De huidige praktijk van heel veel examens en opdrachten, blijken niet te behappen te zijn voor examen- en toetscommissies, hoe hard ze ook hun best doen. Daarnaast blijken de formele eisen die aan de toetsen gesteld worden, aan lang niet alle docenten besteed te zijn. Het HBO kent veel uitstekende docenten, die uit de beroepspraktijk komen, maar die niet allemaal bedreven zijn in het formuleren van de formele kaders: het opstellen van leerdoelen, het verantwoorden van de eindtermen, het maken van toetsmatrijzen, enzovoorts. En een aantal van hen zal die vaardigheid ook niet eenvoudig onder de knie krijgen. Zij zijn bijvoorbeeld veel beter in begeleiden, stimuleren, feedback geven, kennis overdragen, noem maar op. Als iedere docent in de mal van examinator gedrukt moet worden, zal misschien wel veel van het unieke expertise in het hbo verloren gaan. De creatieven, de verkopers, de empatischen zullen zich er niet meer thuis voelen....

Ik denk dat de huidige ontwikkelingen ons nopen het toetssysteem binnen opleidingen te herzien. Nu hoorde ik onlangs iemand opperen om een onderscheid te gaan maken tussen summatieve (toetsen op eindniveau) en formatieve toetsen (toetsen op voortgang), waarbij alleen de summatieve toetsen onder de verantwoordelijkheid van de examencommissie zullen gaan vallen. Maar het gebruik van deze terminologie zal in de praktijk op bezwaren stuiten. De wet kent alleen examens (propedeuse en bachelor) en tentamens (toetsen, opdrachten, portfolio's, presentaties, werkstukken, enzovoorts) die gezamenlijk leiden tot het examen. De laatste verschijnen op de cijferlijsten. Als je een aantal van die toetsen benoemt als formatieve toetsen, zullen ze van de cijferlijst moeten verdwijnen. Maar daarmee wordt ook onduidelijk wat de status van die toetsen wordt. Je krijgt dan vragen als: Kunnen studenten verplicht worden die toetsen te doen? Wat als ze ervoor zakken?

Maar het idee van een tweedeling in toetsen is wel werkbaar, denk ik. De examencommissie kan een aantal tentamens aanwijzen als ijktoetsen. Deze tentamens gelden als ijkmomenten in de opleiding, en toetsen alle competenties, op verschillende niveaus. Die set van ijktoetsen leidt dan samen tot een eindniveau als gedefinieerd in de examens (propedeuse en bachelor). Je kunt je bijvoorbeeld voorstellen dat de set van ijktoetsen van de propedeuse bestaat uit een afsluitende kennistoets, plus een afsluitend assessment om de vaardigheden te toetsen, een SLB-portfolio, plus afsluitende taalassessments. De set van ijktoetsen van de bachelor kan bijvoorbeeld bestaan uit jaarlijke kennistoetsen, het afsluitende SLB-portfolio, een twee- of drietal assessments, een stageverslag en een scriptie.

De examencommissie houdt intensief toezicht op het niveau van deze ijktoetsen. De andere toetsen worden enkel steekproefsgewijs bekeken, als onderdeel van de PDCA-cyclus. Of als er klachten zijn.

Op deze manier kan het eindniveau van de examens gegarandeerd worden, heeft de examencommissie tijd en ruimte om toezicht te houden, en houdt de docent de ruimte om te experimenteren, eigen tussentoetsen te maken, die soms een meer didactisch doel hebben. De externe validering kan zich richten op de set van ijktoetsen.

Het zal waarschijnlijk wel nodig zijn om het stelsel van toetsen, en wellicht ook van het lesprogramma te herzien. Er wordt naar bepaalde ijkpunten toegewerkt.

Een ander voordeel is dat er wellicht weer meer ruimte komt voor vrijstellingen. Slagen voor de ijktoetsen kan leiden tot vrijstellingen. Met name bij deeltijdopleidingen speelt dit een rol. (Zie rapport onderwijsinspectie over verkorte trajecten).

De HBO-examens moeten beter: Afspraken van de HBO-raad met de minister

Vanwege de maatschappelijke onrust over de kwaliteit van de HBO-examens, heeft de HBO-raad een onderzoek laten uitvoeren naar de wenselijkheid van landelijke examens, onder leiding van professor J.A. Bruijn. In het rapport van dat onderzoek, Vreemde ogen dwingen, wordt aanbevolen meer externe beoordeling van de examens te laten plaatsvinden.

Commissie Bruijn adviseert om instellingsoverstijgende toetsen in te voeren, of – indien dat niet mogelijk is - te werken met ‘vreemde ogen’. Externe beoordelaars dus. Daarnaast adviseert de commissie een gezamenlijk protocol in te voeren voor individuele eindscripties. Tot slot adviseert de commissie de examinatoren te professionaliseren middels een basis- en seniorkwalificatie examinering.

Goede en gedegen aanbevelingen, waarbij rekening is gehouden met de unieke, goede kenmerken van het hbo, namelijk de integratie van de beroepspraktijk in zowel het onderwijs als in de toetsen.

Naar aanleiding van dit rapport heeft de HBO-raad met minister Bussemaker van het ministerie van Onderwijs de volgende afspraken gemaakt:

  1. Pilots met gezamenlijke toetsing
    • Iedere hogeschool (met opleidingen buiten de educatieve sector) start met èèn pilot gericht op de totstandkoming van een gezamenlijke toetsvorm.
    • Iedere hogeschool schrijft ook een Plan van Aanpak waarin staat hoe de hogeschool de externe validering vorm gaat geven.
    • Er komt een Handreiking gezamenlijk toetsing, die in september 2014 gereed is.
  2. Beoordeling van eindwerkstukken Er komt een protocol voor de toetsing van “kern”-werkstukken. Dat zijn eindwerkstukken, scripties, stageverslagen, ontwikkeling prototypes, kunstwerken, voorstellingen, etc.
  3. Toetsdeskundigheid van docenten, ontwikkeling Basis- en Seniorkwalificatie examinering (BKE/SKE) De hbo-raad gaat een module BKE ontwikkelen, die opgenomen wordt in de deskundigheids-bevordingsprogramma basisvaardigheden didactische bekwaamheid (BDB). Daarnaast wordt onderzoek gedaan naar de SKE. Gereed 1 september 2013.

Het moge duidelijk zijn dat deze nieuwe maatregelen grote consequenties zullen hebben voor de werkzaamheden van de examencommissies. Zo zal de aanwijzing van examinatoren in de toekomst gekoppeld gaan worden aan de kwalificatie examinering. Daarnaast zal een deel van het dagelijkse werk van de toetscommissie verlicht worden, door de invoering van gezamenlijke examens, maar tegelijkertijd zullen de examen- en toetscommissie ook een rol moeten spelen bij de totstandkoming van die gezamenlijke examens.

Toen ik over de afspraken las, was ik aanvankelijk teleurgesteld. De afspraken lijken een afzwakking van de aanbevelingen van de commissie-Bruijn. Ik vind het jammer dat de aanbeveling om met externe validering te komen, versmald wordt tot pilots, zonder dat er duidelijke afspraken liggen over een vervolg van die pilots. Wat als de pilots zijn afgelopen? Gaan we dan weer op de oude voet verder? Misschien ben ik wat pessimistisch, maar ik denk dat we echt met zijn allen moeten willen dat de oude situatie niet meer terugkomt. En hoewel dat nu ondenkbaar lijkt, denk ik dat gezien het gebrek aan continuïteit in het Hoger Onderwijs (lees: managers komen en gaan in hoog tempo), best denkbaar is. Nadat het stof gedaald is, komen er voor de bestuurders vast wel weer hippere onderwerpen aan, de komende jaren.

Maar bij nadere beschouwing zie ik het minder somber in. Het protocol voor de eindwerkstukken en de kwalificatie examinering komen er aan, en dat zijn goede ontwikkelingen. En omdat IEDERE hogeschool een pilot moet doen en IEDERE hogeschool met een plan van aanpak moet komen, gaat ook iedereen erover nadenken. Examinering komt bij IEDERE HBO op de agenda te staan.

Bovendien begint het nieuwe accreditatiestelsel ook zijn vruchten af te werpen: opleidingen die niet goed zijn, worden nu gewoon afgekeurd... Hoe pijnlijk ook, de feit dat nu opleidingen te horen krijgen dat hun examinering beter moet, zorgt ervoor dat de examinering ook blijvend verbeterd gaat worden.

De kwalificatie examinering (als onderdeel van de basisvaardigheden didactische bekwaamheid) zal overigens het gunstige bijeffect hebben dat de continuïteit in het onderwijs zelf vergroot wordt: het management zal meer moeite doen om een vast team aan docenten te formeren en zal minder snel verleid worden om een schil van inwisselbare docenten in te zetten. Kortom, de professionaliteit van de docenten wordt weer belangrijk. Dat past in de huidige trend (denk ook aan aan de international onderwijs SUMMIT die in Nederland gehouden wordt in 2013).

En dat is de belangrijkste factor voor goed onderwijs: goede, professionele docenten.

PS. Over (gebrek aan) continuïteit in het onderwijs en de gevolgen daarvan, wil ik binnenkort een andere blog schrijven.

dinsdag 5 maart 2013

Examencommissie 2.0

Mijn boekje is af: Examencommissie 2.0. Het bevat een stappenplan waarmee examencommissies hun eigen professionalisering ter hand kunnen nemen. Het boek is te downloaden vanaf mijn website: www.anneliesbon.nl

Succes!

maandag 4 maart 2013

Zijn MOOCs ook iets voor het HBO??

Afgelopen week had SURF een seminar over MOOC's georganiseerd. Dat was nogal succesvol: er waren veel mensen aanwezig, er waren interessante bijdragen. Na afloop had iedereen een overzicht gekregen van de huidige stand van zaken. Er werd onder andere over de volgende topics gesproken:

Wat is een MOOC (massive open online course)? Zijn er verschillende soorten MOOCs? Wat voor platforms zijn er? Hoe open is 'open'? Hoe zullen MOOC's zich in de toekomst ontwikkelen? Wordt het hoger onderwijs erdoor bedreigd? Tot slot werd het Openuniversiteitsmodel vergeleken met het MOOC-model, en vertelde Fred Mulder van de OU over de gezamenlijk reactie van de Europese OU's op de ontwikkelingen. Alle bijdragen zijn nog na te lezen en te bekijken op de site van SURFspace.

Interessant is dat de MOOC's zich verder aan het ontwikkelen zijn. Een aantal nog bestaande hiaten in MOOC's wordt nu ingevuld; peer grading-functionaliteit wordt toegevoegd, samenwerkmogelijkheden gecreeerd en de certificering komt van de grond. Aanvankelijk werden er nog geen echte certificaten uitgegeven aan geslaagde studenten, maar die komen er wel aan: studenten leggen examens af op verschillende plekken in de wereld. De drie platforms zijn daarvoor gaan samenwerken met specialistische bedrijven. Wie slaagt krijgt een echt certificaat. Op dit moment worden er bij vijf MOOC's certificaten afgegeven. En hiermee worden ook vrijstellingen mogelijk.

Er waren veel mensen van HBO's in de zaal aanwezig. Bij hen leefde de vraag: Kunnen HBO's ook iets doen met MOOC's en zo ja, wat? Het antwoord op die vraag gaf Timo Kos. Hij stelde dat er in de toekomst mogelijk twee of drie platforms zullen zijn, en een aantal producenten van MOOC's. Alleen die producenten zullen succesvol zijn als ze tot de topvijf in de wereld behoren of een niche-opleiding hebben. Dat betekent dat het voor HBO's niet erg zinvol zou zijn een MOOC te gaan ontwikkelen, tenzij het om een unieke opleiding gaat. In Nederland denk ik dan ook bijvoorbeeld hotelscholen, die wereldwijd tot de beste beroepsopleidingen behoren.

Maar misschien zijn er nog meer mogelijkheden voor de HBO's. Zij zijn erg sterk in nieuwe vormen van onderwijs: onderwijs waarin de theorie en de praktijk worden geintegreerd: Praktijklessen en toepassingsopdrachten enzovoorts. De huidige MOOC's voorzien daar niet in. Dat betekent dat enerzijds campusonderwijs van de HBO's niet geevenaard kan worden, anderszijds dat er nog ontwikkelingsmogelijkheden zijn in de huidige MOOC's, waarin HBO's een rol kunnen spelen.

zaterdag 2 maart 2013

Late samenvatting bijdrage Paul van Deursen, op het NVAO-congres

Examencommissies

NVAO-congres, bijdrage Paul van Deursen

Professionalisering van Examencommissies, de tweede stap.

Nu de (meeste) examencommissies de eerste stap hebben gezet in hun professionaliseringstraject en het nieuwe wettelijke kader als uitgangspunt nemen in hun dagelijkse beslissingen, moeten ze de tweede stap gaan zetten: het daadwerkelijke toezicht op de examens en het eindniveau van de opleidingen. Examencommissies moeten die stap zetten en ze weten dat ook, maar ze worstelen ermee. Want hoe hou je nu daadwerkelijk toezicht? Hoe is de verhouding tot de leidinggevenden? Hoe krijg je het respect van de docenten? Hoe krijg je de kennis om het eindniveau te kunnen beoordelen?

Op het NVAO voorjaarscongres 2013 lichtte Paul van Deursen een tipje van de sluier. Hij gaf de volgende tips:

  • integreer de visie van de opleiding in je toetsbeleid. 
  • hou toezicht op het niveau, door: 
    •  contact te houden met alumni en het bedrijfsleven en de oren open te houden (wakend oog!) . Kom in  actie als je hoort dat bedrijven minder tevreden raken over de stagiaires en afgestudeerden. Of als de alumni aangeven kennis of vaardigheden te missen. 
    • daadwerkelijk scripties te bekijken
    • goede toetscontrole
    • ga werken met gecommitteerden voor de stages/afstudeerprojecten.
    • externe beoordelaars
  •  cop = richt communities of practices op
  • bevorder kwaliteitscultuur: professionaliseer de docent, contact met de afnemers, plus toegepast  onderzoek, COP

Let op! Er komen meer wijzigingen aan! Gezamenlijke kennistoetsen, externe gecommitteerden, extern lid examencommissie

Een uitstekende bijdrage....