Formative Evaluation Tests Report
Formative Evaluation Tests sono stati sviluppati sulla base di indicatori in grado di fornire informazioni sulla conoscenza dei principali aspetti dell’abuso dei bambini nello sport.
FORMATIVE EVALUATION TESTS:
In particolare, i test di valutazione SAFE sono stati somministrati ad allenatori e dirigenti in due diverse occasioni, come segue:
– il 2 marzo 2020 (Test di valutazione iniziale) prima di iniziare le attività di formazione;
– il 1° luglio 2020 (Test di valutazione finale) dopo le attività di formazione.
Nello specifico, i test di valutazione formativa sono stati progettati per essere somministrati ai gruppi target (Coach e Manager), al fine di indagare il loro benessere in riferimento al tema del progetto prima e dopo l’implementazione delle attività formative, al fine di monitorare gli eventuali progressi raggiunti.
A causa dell’emergenza COVID-19, a partire dalla seconda settimana di marzo, tutte le attività di formazione sono state sospese e i test di valutazione formativa sono stati somministrati online ai membri dello staff delle squadre di futsal; i risultati dei test potrebbero essere stati condizionati da questo evento.
Di seguito, i risultati ottenuti attraverso la somministrazione dei suddetti test.
Il questionario è stato composto da 13 domande a scelta multipla. Le domande da 1 a 8 riguardano gli aspetti psicologici, mentre le domande da 9 a 13 riguardano soprattutto gli aspetti legali.
Nella prima occasione di formazione, il 2 marzo 2020 (durante la somministrazione iniziale dei test), i test di valutazione formativa sono stati somministrati e compilati da 17 membri dello staff;
Nell’evento di formazione finale, (1 luglio 2020), i test di valutazione formativa sono stati somministrati e compilati da 15 membri dello staff (2 test di valutazione finale sono stati somministrati online).
Confrontando il test di valutazione iniziale e finale (prima e dopo gli eventi formativi), c’è un miglioramento delle conoscenze su 9 domande (1,2,3,4,5,7,8,9,10).
Ci sono 4 risposte in cui la percentuale è peggiorata (6,11,12,13).
I migliori risultati in termini di miglioramento si possono vedere nella domanda 1 (52%).Il peggior calo risulta dalla domanda 12 (23%).
In 4 casi alla somministrazione finale i risultati hanno raggiunto la percentuale del 100% di risposte corrette (3,5,8,10).
Gli aspetti psicologici dell’abuso sono stati ben appresi, solo la domanda n. 6 ha avuto un leggero calo percentuale (7%) a causa di alcuni aspetti legali risultati poco chiari anche dopo il Training Formativo.
Questo è successo a causa della complessità delle leggi italiane e delle varie difficoltà dovute all’apprendimento online di questo argomento a causa dell’emergenza pandemica.
TRAINING SATISFACTION QUESTIONNAIRE:
l questionario di soddisfazione della formazione è stato somministrato il 1° luglio ai partecipanti al Safe Policy Model Training; questi sono stati somministrati e compilati da 16 membri dello staff.
Il Training Satisfaction Questionnaire, preparato dal team di esperti psicologi del progetto SAFE – Safe and Accountable Futsal Environment for Children – è stato completato da ogni formatore/dirigente e ha lo scopo di determinare il grado di soddisfazione dei partecipanti alla fine del corso di formazione a cui hanno preso parte.
Il questionario si basa sulla seguente scala likert: 1: Non soddisfacente
2: Insoddisfacente
3: Soddisfacente
4: Molto soddisfacente
Attraverso il questionario è stato chiesto ai partecipanti di esprimere il loro grado di soddisfazione sul corso, con particolare attenzione ai seguenti aspetti:
1) utilità percepita; 2) interesse e partecipazione; 3) metodologia didattica e docenti; 4) materiale didattico; 5) organizzazione e servizi; 6) elementi di progettazione.
I contenuti della formazione sono stati considerati utili e nella maggior parte dei casi congruenti con gli obiettivi iniziali del progetto, e non hanno deluso le aspettative iniziali. Sono stati utili anche a fini professionali per i formatori/dirigenti, che nella maggior parte dei casi riferiscono che sono considerati applicabili anche a livello concreto sul posto di lavoro. Il grado di coinvolgimento e di interesse del personale nei temi del progetto è stato elevato. Per quanto riguarda l’insegnamento, questo è stato considerato più che soddisfacente per quanto riguarda lo stile di insegnamento, la chiarezza della presentazione, le capacità di comunicazione e la presentazione degli argomenti.
La gestione del tempo rispetto all’esposizione è stata anche l’aspetto più critico per la modalità online a causa della pandemia, ma nel complesso è stata considerata adeguata. Il materiale presentato nei vari moduli è stato giudicato interessante, appropriato in termini di contenuto e forse più critico per quanto riguarda la quantità.
L’utilità di questo materiale ai fini pratici è stata giudicata inferiore all’interesse generale, ma completo e di facile comprensione. Un punto più complesso è stato l’accesso ai materiali sulla piattaforma Facebook, considerato difficile dal personale anche se i materiali audiovisivi sono stati considerati adatti.
Le ore dedicate alla formazione sono state valutate sufficienti dagli utenti anche se un orario serale avrebbe facilitato la presenza dei formatori/dirigenti. Il progetto è stato considerato dalla maggioranza del personale in modo positivo e ci sono stati molti più punti di forza che di debolezza. Gli argomenti trattati sono stati considerati interessanti da tutti i formatori/dirigenti.
Gli argomenti discussi hanno permesso ai membri dello staff di lavorare meglio in gruppi di lavoro. Il progetto ha aiutato tutti i partecipanti ad arricchire le loro conoscenze e ad aumentare e migliorare le loro capacità comunicative e relazionali. Questo ha avuto un impatto positivo sulla professionalità dei membri dello staff e ha portato ad una migliore gestione delle relazioni con i bambini. Ha creato un approccio molto più complesso e obiettivo ai problemi che possono sorgere sul campo. Nel complesso questa iniziativa si è rivelata utile e interessante per le società di calcio a 5 partecipanti al progetto, offrendo una riflessione utile al miglioramento e una maggiore condivisione e confronto tra esperti e staff.
Formative evaluation tests report have been developed based on indicators able to provide information about knowledge of main aspects of children abuse in sport.
Specifically, SAFE Evaluation Tests have been administrated to Coaches and Managers in two different occasion, as follows:
– on 2nd of March, 2020 (Initial Evaluation Test) before starting training activities;
– on 1st of July, 2020 (Final Evaluation Test) after training activities.
Specifically, Formative evaluation tests report were designed to be administered to target groups (Coaches and Managers), in order to investigate their well-being in reference to project theme before and after the implementation of training activities, in order to monitor any progress achieved.
Due to COVID-19 emergency, starting from the second week of March, all trainings activities have been suspended and formative evaluation tests have been administered to Futsal Teams’ staff members online; the test results may have been conditioned by this event.
Below, the results obtained through the administration of the abovementioned tests.
FORMATIVE EVALUATION TESTS:
The questionnaire is composed by 13 multiple choice questions. Questions from 1 to 8 regard psychological aspects, meanwhile questions from 9 to 13 concerns most of all legal aspects.
In the first training occasion, on 2nd of march, 2020 (during the initial administration of tests), formative evaluation tests have been administered and compiled by 17 Staff Members;
In the final training event, (1st July 2020), formative evaluation tests have been administered and compiled by 15 staff members (2 final evaluation tests have been administrated online).
Comparing Initial and Final Evaluation test (before and after training events), there is an improvement of knowledge on 9 questions (1,2,3,4,5,7,8,9,10).
There are 4 answers where the percentage has worsened (6,11,12,13).
The best results in terms of improvement can be seen in question 1 (52%).The worst decrease results from question 12 (23%).
In 4 cases at final administration the results reached the 100% percentage of correct answers (3,5,8,10).
Psychological aspects of abuse have been well learned, only question n°6 had a slight decrease percentage (7%) cause of some legal aspects resulted unclear also after Formative Training.
This has happened because of the complexity of Italian laws and various difficulties due to online learning of this argument due to pandemic emergency.
TRAINING SATISFACTION QUESTIONNAIRE:
Training satisfaction questionnaire have been administrated the 1st of July to the participants of the Safe Policy Model Training; these have been administered and compiled by 16 Staff Members.
The Training Satisfaction Questionnaire, prepared by the expert team of psychologists of the SAFE project – Safe and Accountable Futsal Environment for Children – has been completed by each trainer/manager and has the aim to determine the degree of satisfaction of the participants at the end of the training course in which they took part.
The questionnaire is based of the following likert scale: 1: Not satisfactory
2: Unsatisfactory
3: Satisfactory
4: Very satisfactory
Through the questionnaire participants has been asked to express their degree of satisfaction with the course, with particular attention to the following aspects:
1) perceived utility, 2 )interest and participation, 3)teaching methodology and teachers, 4)didactic material, 5)organization and services; 6) elements of design.
The training contents were considered useful and in most cases congruent with the initial objectives of the project, and did not disappoint initial expectations. They have also been useful for professional purposes for trainers/executives, who in the majority of cases report that they are also considered to be applicable at a concrete level in the workplace. The degree of involvement and interest of the staff in the project topics was high. As far as teaching is concerned, this was considered more than satisfactory with respect to the style of teaching, clarity of presentation, communication skills and presentation of the topics.
Time management compared to exposure was also the most critical aspect for the online mode due to the pandemic, but overall it was considered adequate. The material presented in the various modules was judged interesting, appropriate in terms of content and perhaps more critical as concerns quantity.
The usefulness of this material for practical purposes was found to be less than the general interest, but complete and easy to understand. A more complex point was the access to the materials on the Facebook platform, which was considered difficult by the staff even though the audio-visual materials were considered suitable.
The hours dedicated to training were evaluated sufficient by the users even if an evening schedule would have facilitated the presence of the trainers/executives. The project was considered by the majority of the staff in a positive way and there were much more strengths than weaknesses. The topics covered were considered by all the trainers/managers to be interesting.
The topics discussed allowed staff members to work better in team groups. The project helped all participants to enrich their knowledge and to increase and improve their communication and relational skills. This had a positive impact on the professionalism of the staff members and led to a better management of relationships with the children. It has created a much more complex and objective approach to the problems that can arise in the field. Overall, this initiative has proved to be useful and interesting for the 5 a side football clubs participants in the project, offering a useful reflection for improvement and a greater sharing and comparison between experts and staff.