Translate halaman (183-192)

contoh di mana saya telah menggunakan salah satu pendekatan. Aku dibuang evaluasi setelah evaluasi karena saya benar-benar tidak menggunakan pendekatan, apa pun itu, fully.There yang dipotong evaluasi CIPP ..., karena saya jarang tampaknya dipanggil cukup awal untuk berbuat banyak dengan konteks atau masukan evaluasi. Ada aplikasi kubus Hammond. untuk memilih variabel, tapi sisa evaluasi gagal mengikuti ide-ide Hammond. Masing-masing tidak lengkap sebagai contoh penggunaan pendekatan, dan saya berjuang untuk contoh yang lebih murni untuk menawarkan.

Akhirnya, aku ingat menggunakan "wajah" kerangka Stake dalam keseluruhan dalam mengevaluasi pelatihan yang administrator 'program.That satu ini berkesan karena telah menjadi proyek kelas di mana dua mahasiswa dan aku mengambilnya di ... sehingga mereka bisa mendapatkan pengalaman. ... yang satu membawa orang lain untuk pikiran dan tak lama saya bisa memberikan contoh menggunakan beberapa kerangka kerja dalam cara mereka dimaksudkan untuk digunakan. Realisasi menarik adalah bahwa setiap salah satu contoh berasal dari proyek-proyek kelas dilakukan bersama dengan siswa, di mana aku sengaja berpegang pada model untuk menunjukkan fitur mereka. Aku tidak bisa mengingat satu 'lone wolf-"evaluasi saya sendiri di mana saya telah secara sadar memilih pendekatan tunggal untuk memandu penelitian. Sebaliknya. Selama beberapa tahun saya telah merancang setiap evaluasi de novo, menarik potongan-potongan kerangka kerja yang berbeda di saat mereka tampak relevan. beberapa fitur dari beberapa model saya sering digunakan, yang lain jarang atau tidak pernah.

Kesadaran itu tampak layak berbagi, meskipun dalam proses saya merasakan sengatan tidak setia terhadap beberapa rekan terhormat saya dan teman-teman untuk pernah benar-benar menggunakan kerangka kerja mereka dalam pekerjaan saya. ... Kelas sedikit terkejut pada awalnya oleh wahyu sesat saya. tetapi mereka tampak terhibur ketika saya menunjukkan bahwa ada keuntungan yang berbeda dalam eklektisisme. karena salah satu bebas untuk memilih yang terbaik dari berbagai sumber, sistem, atau gaya. Pemanasan dengan ide, saya berpendapat bahwa seseorang bisa memilih fitur terbaik dari masing-masing pendekatan dan menenun mereka ke dalam pendekatan-benar secara keseluruhan sedikit klasik lebih kuat dari kue-kue dan memiliki-makan ....

Kami berbicara untuk sisa kelas tentang mengapa setiap evaluasi diperlukan campuran agak berbeda dari bahan-bahan, bagaimana sintesis dan eklektisisme tidak identik, dan mengapa pendekatan eklektik mungkin berguna. (Worthen, 1977, hlm 2-5)

Para penulis teks ini adalah seluruh eklektik mengaku diri dalam pekerjaan evaluasi kami, memilih dan menggabungkan konsep-konsep dari pendekatan evaluasi agar sesuai dengan situasi tertentu, dengan menggunakan potongan-potongan berbagai evaluasi pendekatan sebagaimana yang tampak sesuai. Dalam sangat sedikit contoh yang telah kita berpegang pada setiap tertentu "model" evaluasi. Sebaliknya, kita menemukan kita dapat memastikan lebih cocok dengan potongan dan menjahit bersama-sama potongan-potongan dari pendekatan siap pakai ang lebih tradisional bahkan tenun sedikit tenunan sendiri, jika perlu, bukan dengan menarik setiap pendekatan yang ada dari rak. Menjahit karya.

Jelas, eklektisisme memiliki keterbatasan (setelah semua, telah mencemooh 'sebagai disiplin pikiran tidak disiplin), dan satu jelas tidak bisa menunjukkan bahwa kita mengembangkan "model eklektik" evaluasi, untuk itu akan menjadi obvinus,, non sequitur. Dan kurang informasi bisa melakukan kesalahan mengerikan dalam nama eklektisisme, seperti mengusulkan bahwa tujuan program ini dievaluasi sebagai; Langkah pertama dalam melakukan evaluasi tujuan-bebas atau meletakkan desain preordinate untuk evaluasi responsif. Dengan asumsi bahwa salah satu menghindari pencampuran secara filosofis bertentangan "minyak dan air," penggunaan eklektik evaluasi terhadap surat perintah. ings yang disajikan dalam bab-bab sebelumnya memiliki keuntungan yang jauh lebih potensial daripada kerugian, apakah itu berarti eklektisisme menggabungkan pendekatan alternatif atau selektif menggabungkan metode dan teknik yang melekat dalam pendekatan-pendekatan.

Evaluator yang telah mendesak bahwa perhatian lebih bijaksana diberikan kepada eklektisisme termasuk Talmage (1982), Cronbach dan lain-lain (1980), Cronbach (1982), Conner, Altman, dan Jackson (1984), dan Chen (1990). Namun penggunaan eklektik alat evaluator adalah kejadian yang jarang terjadi di lamentably evaluasi program. Hal ini sebagian disebabkan oleh kenyataan bahwa pendidikan telah menjadi bidang utama di mana model telah dibahas. Bidang lain seperti sosiologi, peradilan pidana, dan kesehatan mental telah keliru dalam tidak mempertimbangkan pendekatan-pendekatan untuk evaluasi. Dengan gagal untuk mempertimbangkan pendekatan ini, evaluator dalam bidang ini seringkali gagal untuk mempertimbangkan cukup komponen penting dari evaluasi mereka, seperti penonton, tujuan, dan kegunaan. Evaluasi dalam bidang-bidang tetap penelitian lebih diterapkan daripada evaluasi dan telah lebih dari sumatif formatif. Banyak potensi evaluasi terletak pada lingkup strategi yang dapat mempekerjakan dan kemungkinan selektif menggabungkan pendekatan-pendekatan. Sempit, kepatuhan kaku untuk pendekatan tunggal harus memberi jalan kepada yang lebih matang, evaluasi canggih yang menyambut keragaman. Diakui, hal ini akan hr tugas yang menantang, tapi itu tidak mengurangi pentingnya.

GAMBAR IMPLIKASI PRAKTIS DARI ALTERNATIF

PENDEKATAN EVALUASI

Semua pendekatan evaluasi kami telah menyajikan memiliki sesuatu untuk berkontribusi pada evaluator.They berlatih dapat digunakan heuristik untuk menghasilkan pertanyaan atau mengungkap masalah. Literatur berisi banyak,, pedoman politik, komunikatif, dan administrasi yang berguna konseptual methodo-logis. Akhirnya, pendekatan menawarkan alat canggih yang evaluator dapat menggunakan atau beradaptasi dalam karyanya.

Kemudian dalam buku ini kita akan melihat panduan praktis untuk merencanakan dan melakukan evaluasi. Banyak dari pedoman ini telah dikembangkan sebagai panci pendekatan khusus untuk evaluasi. Untungnya, bagaimanapun, mereka generalir mampu, dapat digunakan kapanpun dan dimanapun diperlukan. Sama seperti seorang tukang kayu yang terampil tidak hanya akan menggunakan palu untuk membangun rumah yang baik, sehingga evaluator terampil tidak akan tergantung hanya pada satu pendekatan untuk merencanakan dan melakukan evaluasi berkualitas tinggi.

Mari kita sekarang beralih pada bagian selanjutnya dari buku ini untuk penggunaan praktis dari alat-alat yang praktisi evaluasi, teori, dan methodologists telah dihasilkan. Tapi pertama-tama, berhenti sejenak untuk menerapkan apa yang telah Anda pelajari dalam bab ini.

LATIHAN APLIKASI

1. Identifikasi lima studi evaluasi dalam jurnal menarik bagi Anda, atau lebih baik lagi, mengumpulkan laporan in-house pada lima studi evaluasi. Ini mungkin dari lembaga kesejahteraan Anda sendiri, dari sekolah atau universitas, dari kota, daerah, negara, atau kantor federal, atau dari lembaga nirlaba. Setelah membaca laporan tersebut, diskusikan apa pendekatan yang digunakan penulis. Apakah eklektik atau tidak mengikuti satu model dominan? Unsur-unsur apa dari masing-masing pendekatan tampaknya paling berguna dalam membimbing penulis dalam identifikasi tujuan, penonton, metode pengumpulan data, dan presentasi hasil?

. 2 Murid memasuki kelas tiga di sebuah kota kecil khususnya yang rutin ti: sted menggunakan membaca oral standar test.Typically, siswa dari sekolah mencetak pada atau di atas norma-norma nasional yang ditetapkan untuk ujian. Pada tahun 1995 dan 1996 administrasi tes, namun, prestasi siswa turun secara signifikan di bawah norma-norma nasional. Dalam upaya untuk menafsirkan penurunan tiba-tiba dalam skor membaca siswa. pejabat sekolah dibandingkan kelas kelas tiga 1985-1995 pada karakteristik sebagai berikut:

a. Fokus kurikulum bacaan pertama dan kedua kelas

b. Kinerja pada tes kemampuan mental

c. Pendidikan dan profesional pengalaman guru sebelumnya

d. Latar belakang sosial ekonomi siswa.

e. N1ohility siswa

Siswa memasuki kelas dua pada tahun 1995 atau 1996 yang simikir untuk siswa dari tahun sebelumnya dalam latar belakang sosial ekonomi. kinerja pada tes kemampuan mental, dan pengalaman sebelumnya guru. Namun, mobilitas siswa telah sangat meningkat dan, sebagai hasilnya, siswa masuk ke kelas dua telah menerima berbagai jauh lebih besar dari pendekatan untuk membaca mengajar di kelas satu. Sebagai kota kecil mulai tumbuh, banyak siswa dan keluarga mereka telah pindah dari kota besar dekat dengan town.Approximately seperempat kecil dari kelas kedua memasuki menghadiri kelas satu di sekolah dasar luar siswa district.These telah mengalami berbagai pendekatan membaca, beberapa menjadi kombinasi phonics dan pendekatan seluruh bahasa yang digunakan oleh sekolah dasar kota kecil. Beberapa telah menerima pendekatan ketat phonics • berbasis. Lainnya telah menerima instruksi membaca yang sangat terfokus pada pendekatan whole language. Akibatnya, ketika siswa memasuki kelas dua, guru dihadapkan dengan lebih banyak hetero ¬ kelompok homogen, dalam hal kemampuan membaca, daripada yang mereka miliki di masa lalu ketika penduduk kota itu lebih stabil. Selanjutnya, penelitian baru membaca instruksi menyarankan kepada guru bahwa metode mereka perlu lebih didasarkan pada gaya belajar individu siswa.

Sebagai hasil dari perubahan ini, guru dan administrator sepakat untuk mengadopsi kurikulum membaca baru yang berfokus pada pencocokan instruksi membaca dengan gaya belajar masing-masing siswa. Guru akan menggunakan berbagai strategi berdasarkan pada kebutuhan peserta didik. Karena kurikulum baru ini mewakili perubahan besar  dalam fokus, disepakati bahwa evaluasi formatif akan dilakukan selama tahun pertama untuk memberikan umpan balik tentang pelaksanaan program dan mencapai. ment dari beberapa hasil terdekatnya. Tujuan evaluasi adalah untuk memberikan umpan balik kepada guru dan administrator tentang bagaimana beradaptasi kurikulum untuk memenuhi kebutuhan sekolah dan siswa. Jika kurikulum menjadi terlalu berat, keputusan sumatif mengenai kelanjutan dari kurikulum mungkin dipertimbangkan, tetapi fokus yang diusulkan adalah formatif.

Sebuah rencana evaluasi dikembangkan untuk menjawab pertanyaan-pertanyaan berikut:

a. Apa gaya belajar yang diidentifikasi dari kelas tiga yang baru? Berapa banyak anak yang diklasifikasikan oleh gaya masing-masing? Bagaimana itu keputusan yang dibuat tentang anak-anak yang gaya yang tumpang tindih atau sulit untuk mendefinisikan?

b. Adalah guru mampu melakukan instruksi membaca untuk mengatasi gaya masing-masing? Gaya yang paling sulit bagi guru untuk mengatasi? Berapa banyak waktu yang diperlukan untuk pengembangan kurikulum baru dan perencanaan pelajaran?

c. Bagaimana siswa menanggapi kurikulum baru? Sampai sejauh mana mereka menikmati pendekatan yang mereka terima? Apa efek samping yang terjadi pada siswa sebagai akibat dari pendekatan yang berbeda (lebih besar harga diri dan perasaan positif tentang sekolah secara keseluruhan, masalah pengelolaan kelas, efek spill-over untuk area konten lainnya)?

d. Bagaimana siswa dengan masing-masing kemajuan gaya belajar dalam kompetensi mereka secara lisan

membaca? kepentingan mereka dalam membaca independen?

e. Apa sikap dan persepsi orang tua mengenai program membaca? Apakah

kepuasan orangtua 'berbeda berdasarkan gaya belajar anak mereka?

Jelaskan bagaimana masing-masing dari pendekatan evaluasi dibahas dalam Bab 5-10 akan menjawab pertanyaan-pertanyaan evaluasi ini. Apakah masing-masing pendekatan setuju dengan fokus pertanyaan? Bagaimana masing-masing mungkin beradaptasi pertanyaan? Untuk masing-masing pendekatan. menjelaskan bagaimana pendekatan yang mungkin menyebabkan Anda untuk melanjutkan dengan evaluasi, dengan data kolektif • singa, dengan pelaporan hasil, dan sebagainya. Apakah Anda pikir salah satu pendekatan atau kombinasi tertentu dari pendekatan mungkin dia yang paling tepat untuk melakukan evaluasi khusus ini? Jika demikian, menggambarkan bahwa pendekatan atau kombinasi pendekatan dan memberikan  dasar pemikiran untuk pilihan Anda.

BAGIAN III

Pedoman praktis  Perencanaan Evaluasi

LPart Satu kita membahas tujuan dan kegunaan evaluasi, disajikan beberapa konsep dasar evaluasi dan perbedaan, dan menggambarkan sejarah evaluasi program. Di Bagian Dua kami menguji faktor-faktor yang menyebabkan konsepsi alternatif evaluasi, diringkas karakteristik kunci dan kekuatan dan kelemahan dari enam pendekatan evaluasi umum. dan berpendapat untuk penggunaan yang bijaksana dari pendekatan-pendekatan, termasuk kombinasi eklektik fitur dari pendekatan-pendekatan alternatif, ketika melakukan itu akan menguntungkan.

Yang membawa kita ke jantung buku ini: pedoman praktis. Pada bagian ini kita mulai memberikan panduan yang kami percaya akan membantu evaluator, terlepas dari pendekatan evaluasi atau kombinasi pendekatan mereka mungkin memilih untuk menggunakan. Kami juga fokus pada pedoman bagi upaya evaluasi perencanaan (dan di Bagian Empat fokus pada pedoman untuk melakukan dan menggunakan evaluasi). Kita mulai dengan memeriksa Bagian Ketiga dalam Bab 12 alasan yang menyebabkan inisiasi evaluasi program, mempertimbangkan negosiasi ¬ dalam memutuskan kapan untuk mengevaluasi ("selalu" adalah umum tetapi salah jawaban), dan bagaimana menentukan siapa yang harus melakukan evaluasi. Dalam Bab 13 kita membahas pentingnya evaluator memahami pengaturan dan konteks di mana evaluasi akan berlangsung, serta pentingnya karakteristik akurat apa yang menjadi evalu

diciptakan. Dua langkah cracial dalam evaluasi perencanaan-mengidentifikasi dan memilih

pertanyaan evaluatif dan kriteria, dan merencanakan pengumpulan informasi, analisis, dan interpretasi-diperiksa secara rinci dalam Bab 14 dan 15. Kami juga termasuk dalam Bab 15 beberapa panduan untuk mengembangkan mengelola. ment berencana untuk studi evaluasi, menekankan pentingnya membangun perjanjian evaluasi dan kontrak.

Fokus dari bab-bab selanjutnya adalah jelas praktis. Al meskipun kami akan terus kutipan atau referensi sumber lain, pasal-pasal ini tidak dimaksudkan sebagai ulasan ilmiah dari konten tertutup. Apakah ulasan tersebut untuk dimasukkan, beberapa pasal-pasal ini masing-masing bisa mengisi buku teks. Tujuan kami adalah hanya untuk memperkenalkan informasi yang cukup untuk memberikan baik evaluator dan pengguna evaluasi (1) kesadaran bagaimana untuk melanjutkan dan (2) arah cakupan yang lebih rinci dari banyak (terutama teknis) topik dalam buku teks lainnya. Pengalaman dan penelitian lebih lanjut harus cukup untuk mengajar sisanya.

PENGENALAN STUDI KASUS

Untuk membantu pembaca menerapkan isi dari bab-bab dalam hal ini dan bagian berikut, kami telah menyertakan studi kasus, yang kita akan benang melalui chapters.At akhir setiap bab (dalam Bab 12 sampai 20) adalah bagian yang berjudul "Kasus Aplikasi Studi, "di mana kita mencoba untuk menggambarkan secara singkat bagaimana kita akan menerapkan beberapa isi pasal yang satu evaluasi tertentu kurikulum sekolah umum. Hal ini penting untuk menunjukkan bahwa tidak semua konten dalam bab apapun dapat diterapkan pada studi kasus; usaha semacam itu akan dua kali lipat panjang buku ini. Kami telah memilih hanya mereka beberapa konsep untuk membahas dalam studi kasus yang kami pikir akan sangat membantu dalam membuat atau mengklarifikasi poin kami. Kami berharap bahwa studi kasus ini akan membantu untuk menunjukkan bagaimana setidaknya beberapa pedoman kita bahas dapat diterapkan untuk evaluasi nyata.

Agenda Penelitian: Studi Kasus Radnor

Studi kasus yang akan kita gunakan di sini muncul di Worthen dan Sanders (1987), pendahulu untuk buku ini, dan telah ditahan karena umpan balik positif di atasnya dari mahasiswa dan fakultas yang telah menggunakannya sebelumnya. Ini des ¬ cribes yang "Radnor humaniora kurikulum," kurikulum nyata yang ada di Sekolah Menengah Radnor di Wayne, Pennsylvania (dan mungkin masih ada, untuk semua kita tahu). Sebuah deskripsi singkat dari kurikulum humaniora Radnor tersedia di bawah ini, dalam bentuk deskripsi singkat dari laporan imajiner dari Radnor Humaniora kurikulum komite tinjauan. Dimulai pada Chap ¬ ter 12 dari buku ini, dan memperluas melalui Bab 20, account dari evaluasi fiksi kurikulum yang disajikan, menggambar pada sebelumnya, deskripsi hipotetis tentang bagaimana program tersebut dapat dievaluasi. "

'Dari Worthen (1981), di Brandt (1981), digunakan dengan izin dari Asosiasi untuk Pengawasan dan Pengembangan Kurikulum, dan diadaptasi dan diperluas seperlunya agar sesuai dengan kebutuhan teks ini.

Tiga komentar pengantar sesuai. Pertama, kami telah memilih untuk menerapkan agak eklektik "multiple-metode" pendekatan kami datang untuk mendukung evaluasi imajiner kita dari kurikulum Radnor. Jika pembaca ingin melihat bagaimana evaluasi yang mereka sukai lain pendekatan (seperti peserta-oriented, berorientasi keahlian, atau evaluasi berorientasi keputusan) dapat diterapkan pada kurikulum Radnor, bab-bab lain di Brandt (1981) menggambarkan bagaimana berbagai pendekatan evaluasi mungkin diterapkan pada kurikulum tunggal. Kami sangat mendukung keseluruhan buku Brandt sebagai bacaan tambahan yang sangat baik untuk teks ini.

Kedua, mahasiswa dan fakultas yang tidak pendidik tidak boleh "menunda" dengan menggunakan contoh ini; kurikulum sekolah jelas merupakan program pendidikan, dan orang-orang dari bidang lain harus mampu mentransfer pelajaran penting dari studi kasus ini untuk program-program di lahan mereka sendiri.

Ketiga, kami telah meninggalkan studi kasus evaluasi di sektor informal, tunggal, first-person bentuk yang pertama kali muncul dan telah termasuk dalam Chap ¬ ter 12 pengenalan yang menyediakan kerangka kerja untuk studi kasus seperti yang muncul di sana dan seluruh berikutnya beberapa bab dari teks ini.

Radnor Humaniora KURIKULUM

Bagaimana Anda menilai program ini? "Tanya presiden dewan pendidikan. Dia tampak bertekad untuk mempertahankan udara objektivitas, tapi suasana tumbuh tegang di perpustakaan sekolah di mana papan adalah pertemuan.

Bisnis utama malam adalah laporan pada program humaniora sekolah menengah itu. Disiapkan oleh sebuah komite dari 11 pendidik dan orang tua 6, laporan tersebut adalah produk dari lebih dari 30 pertemuan komite ditambah diskusi dengan mahasiswa, staf, dan warga negara. Ini menjelaskan filosofi, tercantum tujuan dan sasaran, dijelaskan kurikulum secara rinci, membuat rekomendasi spesifik, dan termasuk alasan untuk setiap rekomendasi. Bahkan tercatat sejumlah alternatif yang telah dipertimbangkan tetapi ditolak karena tidak diinginkan.

Semua siswa di keenam, ketujuh, dan kedelapan nilai v, ere diperlukan untuk mengambil humaniora saja, yang diajarkan dua hari seminggu oleh empat guru, termasuk seorang seniman dan musisi, semua anggota humaniora terpisah

departemen. Seni-mulai dari sastra dan drama untuk arsitektur dan seni-visual yang yang digunakan untuk mengembangkan siswa "pemahaman semua yang artinya menjadi manusia." Melihat lukisan van Gogh dari sebuah keluarga pertambangan Flemish saat makan malam, misalnya, siswa mungkin bertanya, "Apakah Anda ingin diajak makan malam di sini?" serta, "Apa nada dan warna itu pelukis digunakan?" Mereka mungkin mendengarkan Humperdink opera Hansel dan Gretel atau "Dia Meninggalkan Rumah" oleh The Beatles. Contoh yang diambil dari budaya Afrika dan Asia serta dari Eropa dan Amerika.

Program ini harus dilanjutkan, kata laporan itu, dengan beberapa modifikasi tions, termasuk kerangka organisasi baru berdasarkan konsep dan keterampilan yang diajarkan, dan peningkatan penekanan pada menulis dan keterampilan bahasa lainnya. Beberapa anggota dewan dan orang tua tidak puas. Seorang wanita yang merupakan anggota komite studi, tapi siapa yang tidak menghadiri sebagian besar pertemuan, membaca pernyataan yang mengungkapkan keprihatinan tentang arah umum pendidikan Amerika dan keberatan dengan "nilai-nilai klarifikasi" dan "humanisme sekuler" dalam program ini. (Para guru bersikeras mereka tidak menggunakan teknik seperti yang dianjurkan oleh para pendukung nilai-nilai klarifikasi.)

Lainnya mengatakan kursus humaniora akan lebih tepat untuk siswa yang lebih tua, yang akan memiliki latar belakang untuk menghargai itu, tapi bahwa siswa di sekolah menengah membutuhkan pengetahuan yang lebih mendasar terlebih dahulu. Salah satu anggota dewan bertanya apa dampak program mengalami pada siswa dan bagaimana hal itu bisa diukur.

Menunjukkan bahwa program tersebut telah terkatung-katung selama lebih dari satu tahun, kepala sekolah, pengawas asisten untuk kurikulum, dan super-intendent memberikan dukungan pribadi yang kuat dan meminta keputusan segera. Beberapa orang tua menambahkan dukungan mereka. Tapi ketika pertemuan berakhir pada 23:00, dewan telah menunda penerimaan laporan komite sampai mereka bisa berbicara secara pribadi dengan kepala sekolah tentang bagaimana program bisa dijadwalkan dan staf dalam terang pendaftaran menurun.

Sepuluh hari kemudian, mayoritas anggota dewan memilih untuk mengizinkan continua ¬ tion dari humaniora saja. Namun, evaluasi tetap menjadi masalah. In reply to pertanyaan tentang pengukuran, kepala sekolah mengatakan itu tidak bisa ia lakukan secara statistik; tentu saja tidak mengajarkan anak-anak untuk membantah berpikir dan merasa, itu mengajarkan mereka untuk berpikir dan makan.

Evaluasi Kurikulum Radnor Humaniora

Dalam Bab 12 sampai 20, panduan praktis untuk berbagai aspek evaluasi akan dibahas dan kemudian diterapkan, pada gilirannya, pada akhir setiap bab. untuk evaluasi imajiner dari kurikulum humaniora sebelumnya.

BAB 1 2

Klarifikasi Evaluasi

Permintaan dan Tanggung Jawab

berorientasi PERTANYAAN

1. Misalkan Anda menerima telepon dari klien potensial meminta Anda akan melakukan evaluasi. Apa adalah beberapa pertanyaan pertama Anda akan bertanya?

2. Apakah ada saat Anda akan menurun permintaan untuk evaluasi? 11 jadi. dalam kondisi apa?

3. Bagaimana bisa membantu penilaian evaluability menentukan apakah evaluasi akan dia produktif?

4. Apa sajakah keuntungan dan kerugian dalam memiliki evaluasi con ¬ menyalurkan oleh evaluator eksternal? Dengan evaluator internal yang?

5. Kriteria apa yang akan Anda gunakan untuk memilih evaluator eksternal?

Dalam bab-bab sebelumnya kita bahas janji evaluasi untuk meningkatkan program. Potensi dan janji evaluasi dapat menciptakan kesan bahwa selalu tepat untuk mengevaluasi dan bahwa setiap aspek dari setiap program harus dievaluasi.

Seperti ini tidak terjadi. Godaan untuk mengevaluasi segala sesuatu mungkin com ¬ pelling dalam arti idealis, tetapi mengabaikan banyak realitas praktis. Dalam bab ini kita membahas bagaimana evaluator dapat lebih memahami asal-usul evaluasi yang diusulkan dan menilai apakah atau tidak penelitian ini akan sesuai.

Untuk memperjelas diskusi, kita perlu membedakan di sini antara beberapa kelompok atau individu yang mempengaruhi atau dipengaruhi oleh suatu studi evaluasi: sponsor, klien, stakeholder, dan penonton.

Sponsor Evaluasi adalah lembaga atau perorangan yang memberikan kewenangan evaluasi dan menyediakan sumber daya yang diperlukan fiskal untuk perilakunya. Sponsor mungkin atau mungkin tidak benar-benar memilih evaluator atau terlibat dalam membentuk penelitian, tetapi mereka umumnya memiliki otoritas tertinggi mengenai evaluasi. Dalam beberapa situasi, sponsor dapat mendelegasikan kewenangan itu kepada klien.

Klien adalah lembaga tertentu atau individu yang meminta evaluasi. Dalam banyak kasus, sponsor dan klien adalah sama-tetapi tidak selalu. Misalnya, dalam evaluasi program perawatan kekerasan dalam rumah tangga yang dioperasikan oleh lembaga nirlaba, lembaga (klien) permintaan dan mengatur untuk studi yang sebenarnya, tetapi kebutuhan dan pendanaan untuk evaluasi mungkin keduanya berasal dengan dasar yang merupakan sumber pendanaan untuk program (sponsor).

Stakeholder adalah mereka yang memiliki kepentingan dalam program yang akan dievaluasi atau dalam hasil evaluasi itu. Sponsor dan klien keduanya pemangku kepentingan, tapi begitu juga manajer program dan staf, penerima program layanan dan keluarga mereka, badan-badan lain yang berafiliasi dengan program ini, kelompok-kelompok kepentingan yang bersangkutan dengan program, pejabat terpilih, dan masyarakat pada umumnya. Seperti yang akan kita diskusikan, adalah bijaksana untuk mempertimbangkan semua stakeholder potensial dalam program ketika merencanakan evaluasi. Masing-masing kelompok dapat memiliki gambaran yang berbeda dari program dan harapan yang berbeda dari program dan evaluasi.

Audiens meliputi individu, kelompok, dan lembaga yang memiliki kepentingan dalam evaluasi dan menerima hasilnya. Sponsor dan klien biasanya penonton primer dan kadang-kadang menjadi satu-satunya penonton. Umumnya penonton evaluasi juga akan mencakup semua pemangku kepentingan, meskipun itu tidak selalu begitu. Sebagai contoh, siswa sekolah dasar mungkin peserta dalam evaluasi program sekolah mereka membaca, yang diamati, diuji, atau ¬ antar dilihat, tetapi hanya dalam beberapa keadaan yang akan mereka cenderung menampilkan banyak minat dalam hasil evaluasi tersebut. Kadang-kadang tepat untuk menyiapkan laporan masyarakat berdasarkan hasil evaluasi untuk program. Dalam hal ini, penonton dapat mencakup komunitas-di-besar itu. Lebih akan dikatakan tentang khalayak evaluasi pada Bab 13.

MEMAHAMI ALASAN UNTUK MEMULAI EVALUASI

Hal ini penting untuk memahami apa yang mendorong evaluasi. Memang, menentukan tujuan mungkin adalah keputusan paling penting yang akan membuat evaluasi sponsor dalam perjalanan evaluasi. "Dan memahami tujuan itu mungkin adalah wawasan yang paling penting evaluator dapat memiliki. Jika beberapa masalah diminta

"Dalam bab-bab sebelumnya kita mencatat bahwa tujuan evaluasi adalah selalu sama-untuk menentukan layak atau jasa. Di sini dan di seluruh sisa teks ini kami juga menggunakan istilah 'tujuan' seperti yang biasa digunakan, untuk merujuk pada tujuan (motif) yang mengarah pemangku kepentingan untuk mengusulkan bahwa 25 evaluasi dilakukan. Ini harus selalu jelas dari konteks yang penggunaan 'tujuan' dimaksudkan.

Translate halaman 123-132

8 / KEAHLIAN-Orien 1 tt.).

menggunakan proses dan standar untuk semua schobls medis terakhir yang sama, ada variabilitas lebih dalam sistem akreditasi nasional dan regional kontemporer. Agen di Amerika Serikat, seperti Asosiasi Tengah Utara (NCA) untuk akreditasi sekolah menengah, Komisi Bersama Akreditasi Kesehatan Organisasi (JCAH0), atau Dewan Nasional untuk Akreditasi ¬ asi Pendidikan Guru (NCATE), memiliki sistem dualistik maju yang mencakup beberapa standar minimum yang dianggap penting bagi semua lembaga, bersama dengan komponen self-study internal di mana lembaga-lembaga dapat hadir misi dan tujuan mereka yang unik, mempertahankan kewajaran dan kepentingan mereka, dan melaporkan tentang bagaimana bahwa pendekatan belajar-sendiri adalah mencapai tujuan dan apa kemampuan itu menawarkan untuk mendatang future.These dua aspek akreditasi ditekankan derajat sangat berbeda di berbagai. sistem akreditasi, memimpin Kirkwood (1982) mengkritik akreditasi untuk kurang "kesamaan tujuan, keseragaman proses, atau perbandingan antara lembaga-lembaga" (hal. 9), sedangkan yang lain mengeluh bahwa pengenaan standar eksternal oleh lembaga akreditasi lembaga menyangkal kesempatan mengembangkan kekuatan unik.

Sistem akreditasi saat ini juga tergantung pada asumsi bahwa hanya anggota profesi memenuhi syarat untuk menilai kegiatan rekan-rekan mereka. Tidak hanya anggota tim situs-kunjungan akreditasi diambil dari profesi atau pekerjaan yang karyanya mereka akan menilai. tetapi juga standar dan kriteria yang dikembangkan semata-mata oleh anggota yang persaudaraan profesional. 'Misalnya. -Standar teknik untuk akreditasi sekolah pendidikan guru telah ditentukan oleh panitia, terutama terdiri dari berlatih guru dan pendidik guru "(Floden, 1983, p. 262).

Meskipun akreditasi secara historis difokuskan pada kecukupan fasilitas. kualifikasi staf. dan dirasakan kesesuaian proses yang digunakan. daripada menilai hasil-hasil program, beberapa sistem akreditasi saat ini bercita-cita untuk membenarkan kriteria dan standar mereka atas dasar empiris link input dan proses untuk hasil. Dalam sebagian besar upaya tersebut adalah reaksi terhadap kritik akreditasi yang telah ditandai sebagai akreditasi (dalam Korespon swasta ¬ pondence dari seorang rekan yang tidak disebutkan namanya)-firasat dari orang tua kolot anakronistik yang menggagap tentang dengan meter, mengukur pencahayaan dan BTU dan menghitung rasio anak per toilet, tetapi gagal untuk mengukur sesuatu yang dapat dipahami oleh imajinasi sebagai terkait dengan apa arc belajar 'Meskipun jelas jauh tekor, karikatur seperti pemogokan saraf sensitif di antara orang-orang yang bertanggung jawab untuk sistem akreditasi, dan kritik tersebut dapat menjelaskan anak-anak , setidaknya sebagian, untuk secara bertahap de-penekanan pada indikator kuantitatif seperti rekaman persegi per mahasiswa atau jumlah volume di perpustakaan dan bergerak ke arah indeks yang lebih kualitatif berhubungan dengan tujuan pendidikan. Hal yang sama

'Floden (1983) telah mencatat bahwa sengketa Yurisdiksi dalam profesi yang ada, seperti dengan panjang ¬ berdiri ketegangan siapa yang seharusnya mengontrol akreditasi program pendidikan guru, guru sekolah dasar dan menengah atau fakultas dari lembaga pendidikan guru. Meskipun di luar lingkup bab ini, masalah siapa yang harus berpartisipasi dan siapa yang harus mengontrol proses akreditasi adalah ob-3 "tously penting.

Masalah muncul dalam pengaturan kesehatan mental di mana anggota tim akreditasi mengamati bahwa sebuah organisasi yang menerima "solid C" mungkin memberikan layanan yang lebih baik dari satu yang menerima A. Alasannya adalah bahwa accredi ¬ tasi terfokus begitu banyak memakan waktu dokumen yang tidak relevan kepada pasien bahwa hasil organisasi yang berhasil dalam isu-isu tersebut mungkin tidak menghabiskan cukup waktu bagi para profesional untuk memberikan terapi yang baik.

Beberapa gerakan telah terlihat dalam beberapa tahun terakhir terhadap termasuk hasil dalam proses akreditasi. Lembaga akreditasi sekolah regional pembangunan - ing prosedur akreditasi berdasarkan hasil-. Beberapa komisi negara pada pendidikan tinggi berusaha untuk memasukkan standar hasil seperti tingkat kelulusan, penempatan kerja, tingkat penarikan, dan rasio biaya pendidikan untuk gaji akhirnya lulusan. Upaya ini belum teruji penggunaan panjang, tapi mereka tampil menjanjikan.

Sebagai sistem akreditasi telah matang, mereka telah mengambil kesamaan yang memperpanjang akreditasi dari kebanyakan lembaga, memungkinkan Scriven (1984) untuk menggambarkan ciri khas akreditasi kontemporer sebagai termasuk (1) standar yang diterbitkan; (2) belajar-sendiri oleh lembaga; (3) tim penilai eksternal; (4) kunjungan lapangan; (5) laporan situs-trem di institusi, biasanya termasuk rekomendasi; (6) review laporan oleh beberapa panel dibedakan; dan (7) laporan akhir dan keputusan akreditasi oleh badan akreditasi. Meskipun tidak setiap sistem akreditasi mengikuti resep ini sepenuhnya. "ini merupakan gambaran yang sangat baik dari kebanyakan sistem akreditasi saat ini.

Meskipun dipandang oleh sebagian orang sebagai tidak benar-benar sebuah sistem evaluatif. orang lain melihat accredi ¬ tasi sebagai sangat banyak evaluatif. Terlepas dari pandangan mana 013C memegang, sebagian besar akan setuju akreditasi yang telah dimainkan. peran penting dalam perubahan kelembagaan. Memang benar bahwa lembaga akreditasi memiliki sedikit kekuasaan nyata atas lembaga yang gagal untuk mengambil rekomendasi mereka serius, seperti Floden (1983) menyatakan:

Jika accreditors menginstruksikan sebuah institusi untuk melakukan perubahan tertentu, tiga pilihan terbuka. Pertama, para pejabat dapat mengumpulkan dana yang diperlukan dan membuat perubahan. Kedua. mereka mungkin memutuskan perubahan tidak dapat dibuat dan menutup doors.Third mereka. mereka mungkin memutuskan untuk tidak khawatir tentang apa yang dikatakan accreditors dan membuat tidak ada perubahan. 11 lembaga exer ¬ cises salah satu dari dua pilihan pertama. tujuan akreditasi telah terwujud. Ketika pilihan ketiga diambil, proses akreditasi telah gagal mencapai tujuan utamanya. (hal. 268)

Namun, dalam pengalaman kami, pilihan ketiga hanya jarang dilakukan. Status terakreditasi penuh, jika tidak lebih, simbol prestasi sangat dihargai oleh sebagian besar lembaga. Meskipun mungkin ada banyak ruang untuk perbaikan dalam proses akreditasi, tampaknya menjadi proses review formal yang akan bersama kami untuk waktu yang lama dan, jika munculnya analisis bijaksana akreditasi

2 Sebagai contoh, American Psychological Association menghilangkan setiap belajar-sendiri oleh program psy ¬ chology profesional di bawah review akreditasi.

isu, masalah, dan potensi adalah indikasi, ada alasan untuk optimis bahwa dampaknya bisa positif. Sistem Review Formal lainnya. Meskipun jangkauan yang luas akreditasi, ada orang-orang yang merasa itu adalah sistem incest yang sering gagal untuk polisi sendiri secara memadai. Sebagai Rumah (1980) menyatakan: Pada suatu waktu itu cukup untuk sebuah institusi yang akan diakreditasi oleh lembaga yang tepat bagi masyarakat untuk yakin kualitas-tapi tidak lagi. Orang tua tidak selalu yakin bahwa program sekolah yang berkualitas tinggi ketika diakreditasi oleh Asosiasi Tengah Utara. Selain itu, kontrol politik dari kegiatan akreditasi bergeser ke pemerintah negara bagian. (hal. 238)

Karena kekhawatiran tersebut atas kredibilitas akreditasi, ditambah dengan perasaan meluas bahwa keputusan "lebih dekat ke rumah" yang lebih baik. banyak menimbun negara atau departemen sedang melakukan tinjauan mereka sendiri lembaga. Meskipun biasanya melengkapi daripada menggantikan ulasan oleh badan akreditasi swasta dan umumnya menggunakan strategi review serupa, mereka tampaknya dari konsekuensi yang lebih besar ¬ quence kepada lembaga dan program Ulasan karena ulasan negatif menghasilkan tidak hanya hilangnya status, tetapi juga kemungkinan kehilangan dana atau bahkan penghentian .

Perhatikan, misalnya, Negara Dewan Utah Bupati 'sistem untuk meninjau departemen akademik dalam pajak yang didukung universitas dan perguruan tinggi negara.' Proses dan struktur untuk melakukan ulasan ini telah resmi ¬ ized. standar umum yang ada. jadwal review (setiap tujuh tahun) telah ditetapkan, tim ahli dalam disiplin akademik (juga beberapa-orang luar "untuk menghindari bias dan mempromosikan luasnya perspektif) yang digunakan, dan hasilnya dapat mempengaruhi baik pendanaan masa depan untuk departemen dan bahkan dilanjutkan telinga-e (a 'era temr

Informal Profesional Sistem

Banyak sistem review profesional memiliki struktur dan seperangkat pedoman prosedural dan menggunakan beberapa pengulas. Namun beberapa kekurangan diterbitkan standar review sistem resmi atau jadwal review yang ditentukan. Sebagai contoh, di Amerika Serikat, negara departemen pendidikan yang diperlukan oleh hukum federal, selama dua dekade, untuk mendirikan sebuah sistem untuk mengevaluasi semua program dan proyek yang didanai di bawah otorisasi dana khusus yang dirancang untuk meningkatkan inovasi di sekolah-sekolah. Kepatuhan bervariasi, tetapi negara-negara yang sungguh-sungguh memenuhi membentuk sistem evaluasi di mana setidaknya sampel kabupaten yang menerima dana tersebut ditinjau setiap tahun oleh tim situs-kunjungan dan hasil 3 Informasi lebih lanjut tentang Utah tinjauan sistem dapat diperoleh dengan menulis ke Kantor Commissionerlof Pendidikan Tinggi, Utah State Dewan Bupati, Utah Sistem Pendidikan Tinggi, 3 Triad Center, Suite 550, 355 Temple Barat Utara, Salt Lake City, UT 84180-1205

digunakan untuk menentukan tingkat pendanaan masa depan dan keberlanjutan program. Namun, beberapa negara memiliki sesuatu yang menyerupai standar yang diterbitkan, dan kebanyakan tim situs-kunjungan yang tersisa untuk mengembangkan prosedur evaluasi mereka sendiri tanpa manfaat dari pedoman apapun. Jelas, ini adalah sistem review informal.

Contoh lain dari sistem review keahlian berorientasi informal yang meliputi review dari profesor untuk menentukan kemajuan peringkat atau status kepemilikan. Ulasan tersebut umumnya mengikuti struktur dan prosedur longgar dilembagakan, termasuk masukan dari beberapa rekan-rekan profesional, dan. Tentu dapat mempengaruhi status profesor individu. Umumnya meninjau jadwal yang ditetapkan (misalnya, beberapa kebijakan universitas memerlukan tinjauan tahunan individu dalam peringkat yang lebih rendah dari profesor selama lima tahun atau lebih), tapi kadang-kadang waktunya tergantung pada petisi pemohon untuk ditinjau setiap kali dia merasa siap. Reviewer jarang menggunakan prespecified, standar yang diterbitkan atau kriteria. Standar tersebut dikembangkan oleh masing-masing pangkat dan promosi komite (sekelompok rekan-rekan ahli) dalam pedoman umum yang ditentukan oleh universitas dan departemen dan mungkin dengan pernyataan yang ada peran individu diharapkan untuk bermain dalam memberikan kontribusi terhadap tujuan tersebut.

Komite pengawas Seorang mahasiswa pascasarjana, yang terdiri dari para ahli di bidang yang dipilih siswa, adalah contoh dari sistem formal untuk melakukan evaluasi ahli-oriented. Struktur ada untuk mengatur tinjauan profesional seperti kompetensi, tetapi anggota komite menentukan standar untuk menilai persiapan masing-masing siswa dan kompetensi. Beberapa akan mempertanyakan apakah hasil dari ulasan ini sistem mempengaruhi status dan kesejahteraan mahasiswa pascasarjana.

Beberapa orang mungkin menganggap sistem untuk memperoleh peer review naskah diserahkan kepada majalah profesional untuk menjadi contoh sistem review profesional informal. Mungkin. Banyak jurnal lakukan menggunakan beberapa pengulas, yang dipilih karena keahlian mereka dalam isi naskah dan, kadang-kadang, empancled untuk memberikan kontinuitas untuk review menimbun. Dalam pengalaman kami, bagaimanapun, struktur review dan standar kebanyakan jurnal profesional bergeser dengan masing-masing penunjukan editor baru, dan ulasan terjadi setiap kali naskah yang disampaikan bukan pada setiap jadwal rutin. Dalam beberapa hal, ulasan jurnal mungkin dia contoh yang lebih baik dari proses peninjauan profesional ad hoc dibahas di bawah ini.

Ulasan Panel Ad Hoc

Berbeda dengan sistem tinjauan formal dan informal yang sedang berlangsung dibahas di atas, banyak ulasan profesional oleh panel ahli hanya terjadi pada interval yang tidak teratur, ketika situasi permintaan. Umumnya, ulasan ini terkait dengan tidak ada struktur kelembagaan untuk evaluasi dan tidak menggunakan standar yang telah ditentukan. Ulasan profesional seperti biasanya "satu-shot" evaluasi diminta oleh tertentu, terikat waktu

"Dalam evaluasi sebaya, sebuah" peer "mungkin dianggap sebagai orang yang ahli dalam bidang substantif dan prosedural di mana individu atau kompetensi kelompok atau sumbangan sedang dinilai-an" ahli 'menjadi orang dengan keahlian yang diakui dalam substansi tersebut atau prosedur.

kebutuhan informasi evaluatif. Tentu saja, sebuah lembaga tertentu mungkin, dari waktu ke waktu, banyak komisi panel ad hoc ulasan untuk melakukan fungsi yang sama tanpa mereka secara kolektif sedang dilihat sebagai kajian sistem dilembagakan.

Badan Pendanaan Panel Ulasan. Banyak lembaga pendanaan menggunakan peer-review panel untuk meninjau proposal kompetitif. Reviewer membaca dan mengomentari setiap usulan dan bertemu sebagai kelompok untuk membahas dan menyelesaikan perbedaan di berbagai perception.5.Worthen dan Putih (1987) mereka menyediakan seperangkat review usulan pedoman dan instrumen untuk digunakan oleh panel review eksternal, termasuk (1) mempersiapkan pengajuan peninjauan kembali (memilih pengulas, review penataan panel, mempersiapkan dan melatih pengulas dalam penggunaan ulasan instrumen); (2) melakukan usulan review (prosedur evaluasi individual, jumlah prosedur evaluasi panel, metode untuk menghilangkan bias); dan (3) menyajikan hasil tinjauan usulan (meringkas hasil review). Justiz dan Moorman (1985) dan Shulman (1985) juga telah membahas pengajuan peninjauan kembali prosedur tertentu yang tergantung pada pertimbangan profesional panel ahli. Tapi ahli profesional, bukan satu-satunya yang dapat digunakan sebagai evaluator. Banyak lembaga nirlaba masyarakat meninjau proposal untuk United Way dan lembaga donor lainnya, melalui komite relawan sebagai pengulas. Sementara ulasan ini busur dilakukan secara cermat, baru, pertimbangan dan kriteria tak tertulis sering disuntikkan ke dalam keputusan pendanaan, dan komite busur sering dikritik sebagai tidak sedang memenuhi syarat untuk menilai proposal pendanaan. Jika relawan komunitas busur dipandang sebagai 'ahli dalam kebutuhan masyarakat; dan jika mereka dibantu oleh konsultan pokok permasalahan dalam beberapa cara. maka proses evaluasi mungkin datang lebih dekat ke pendekatan yang berorientasi keahlian sebagaimana dimaksud dalam bab ini.,

Panel Blue-Ribbon.

Sebuah bergengsi-blue-ribbon panel: seperti National Komisi Keunggulan dalam Pendidikan, yang dibahas dalam Bab 1, adalah contoh dari sebuah hoc review panel iklan. Anggota panel busur tersebut diangkat karena pengalaman dan keahlian mereka di bidang yang dipelajari. Panel tersebut biasanya diisi dengan meninjau situasi tertentu, mendokumentasikan pengamatan mereka, dan membuat rekomendasi untuk tindakan. Mengingat visibilitas panel tersebut, keahlian yang diakui anggota panel: s penting jika temuan panel yang dapat dipercaya. Pada skala yang lebih lokal, di mana ad hoc panel review sering digunakan sebagai strategi evaluatif pada hampir semua jenis usaha pendidikan, keahlian anggota panel tidak kurang suatu masalah, meskipun pengulas mungkin reputasi lokal atau regional daripada terkenal nasional . Meskipun rekomendasi panel ad hoc ahli mungkin memiliki dampak yang besar, mereka juga dapat diabaikan, karena seringkali tidak ada tubuh formal didakwa dengan amanat menindaklanjuti saran mereka. 5 "pembaca Field" WTO merespon secara individual dari jauh kolektif dapat membuat panel jika mereka atau pendapat mereka kemudian dibawa bersama-sama untuk sampai pada keputusan kelompok tentang apa yang dievaluasi.

Ad Hoc Individual Ulasan

 Bentuk lain dari evaluasi keahlian berorientasi berada di review profesional individu di mana-mana setiap entitas oleh setiap individu yang dipilih untuk keahliannya untuk menilai nilainya. Mempekerjakan konsultan untuk melakukan kajian individu beberapa pendidikan, program atau kegiatan sosial atau komersial biasa, review ahli tersebut adalah proses yang sangat penting untuk mengevaluasi buku teks, program pelatihan perusahaan, produk media, tes penempatan kerja, rencana program, serta sejenisnya. Bahan tersebut tidak perlu ditinjau di situs tetapi dapat dikirim ke ahli. Sebuah contoh yang baik adalah review tes yang tersedia secara komersial digunakan oleh Buros Institute of Mental Pengukuran (lihat Conoley & Impara, 1995).

Pendidikan connoisseurship dan Kritik

Peran kritikus teater, kritikus seni, dan kritikus sastra yang terkenal dan, di mata banyak orang, peran yang berguna. Kritik tidak tanpa kesalahan mereka (seperti yang akan kita bahas nanti), tetapi mereka adalah contoh yang baik dari aplikasi langsung dan efisien keahlian dengan yang dinilai. Memang, beberapa pendekatan evaluatif busur cenderung menghasilkan seperti penggambaran pelit dan bernas seperti yang satu kritikus Broadway yang dievaluasi bermain baru dengan ringkasan single-line: Satu-satunya hal yang salah dengan bermain ini adalah bahwa hal itu dilakukan dengan tirai up " Meskipun tidak memperjuangkan dakwaan satu baris. Eisner (1991) tidak mengusulkan bahwa tenaga ahli yang berpengalaman, seperti kritikus seni, membawa keahlian mereka untuk menanggung dalam mengevaluasi kualitas program dalam bidang keahlian mereka. Eisner tidak mengusulkan paradigma ilmiah melainkan satu seni, yang ia lihat sebagai sebuah kualitatif penting, humanistik, "tidak ilmiah 'suplemen untuk lebih metode penyelidikan tradisional."

Eisner (1975, 1991) telah menulis bahwa pendekatan ini memerlukan connoisseurship dan • kritik. Connoisseurship adalah seni apresiasi-belum tentu keinginan atau preferensi untuk itu yang diamati melainkan kesadaran kualitas dan hubungan antara mereka. Penikmat, dalam pandangan Eisner,. menyadari kompleksitas dalam pengaturan dunia nyata dan memiliki halus persepsi ¬ kemampuan tual yang membuat apresiasi kompleksitas seperti itu mungkin. Persepsi hasil ketajaman penikmat yang sebagian besar dari pengetahuan tentang apa yang harus dicari (penyelenggara muka, atau tonggak penunjuk kritis), diperoleh melalui backlog pengalaman yang relevan sebelumnya.

Analogi mencicipi anggur digunakan oleh Eisner (1975) untuk menunjukkan bagaimana seseorang harus memiliki banyak pengalaman 'untuk dapat membedakan apa yang signifikan tentang Ini adalah poin penting yang hilang pada beberapa gagasan yang mempekerjakan Eisner sebagai satu-satunya evaluasi objek evaluasi, menghadap fakta bahwa Eisner pernah mengusulkan pendekatan sebagai cukup dalam dan dari dirinya sendiri.  Kami menambahkan bahwa Eisner diragukan lagi memiliki kualitas pengalaman dalam pikiran sebagai banyak atau lebih dari quantily The subur dan penikmat anggur adalah dunia yang terpisah

menggunakan seperangkat teknik untuk membedakan kualitas seperti tubuh, warna, gigitan. bouquet, rasa, aftertaste, dan sejenisnya untuk menilai kualitas secara keseluruhan. The connois ¬ langit-langit halus Seur dan "memori gustatory" anggur lain terasa adalah apa yang memungkinkan dia untuk membedakan kualitas halus hilang pada peminum biasa anggur dan untuk membuat keputusan daripada preferensi belaka. Connoisseurship tidak, bagaimanapun, memerlukan penjelasan umum atau penghakiman yang yang per ¬ Perangkat ini mendapat, untuk yang kedua bergerak satu ke daerah kritik.

"Kritik adalah seni mengungkapkan kualitas peristiwa atau benda-benda yang menerima pantulan connoisseurship" (Eisner, 1979a, p. 197), seperti ketika anggur connois ¬ Seur baik mengembalikan anggur atau bersandar dengan kepuasan untuk menyatakan itu dapat diterima, atau lebih baik, kualitas. Evaluator berperan sebagai kritikus yang connoisseurship memungkinkan mereka untuk memberikan render publik kualitas dan pentingnya apa yang dievaluasi. Kritik bukanlah penilaian negatif, seperti Eisner menyajikan. melainkan sebuah proses pendidikan dimaksudkan untuk memungkinkan individu untuk mengenali kualitas dan karakteristik yang mungkin dinyatakan telah diketahui dan tidak dihargai. Kritik, menjadi lengkap, membutuhkan deskripsi, interpretasi. dan evaluasi dari apa yang diamati. "Kritik adalah orang-orang yang berbicara dengan cara yang khusus tentang apa yang mereka hadapi. Dalam pengaturan pendidikan kritik adalah sisi publik connoisseurship" (Eisner. 1975. P. 13). Evaluasi program. kemudian. menjadi kritik Program. Evaluator adalah "alat", dan pengumpulan data. menganalisis. dan menilai sebagian besar tersembunyi dalam pikiran evaluator. analog dengan proses evaluatif kritik seni atau mencicipi anggur. Seperti: t konsekuensi. keahlian-pelatihan, pengalaman, dan kepercayaan-evaluator sangat penting. untuk validitas evaluasi tergantung pada persepsinya. Namun penilaian berbeda dari kritikus berbeda ditoleransi, dan bahkan diinginkan. untuk tujuan kritik adalah untuk memperluas persepsi. tidak untuk mengkonsolidasikan semua penilaian dalam sebuah pernyataan definitif tunggal.

Kelly (1978) juga telah disamakan evaluasi terhadap kritik dengan menggunakan kritik sastra sebagai analoginya. Meski berbeda dalam beberapa fitur dari pendekatan Eisner, itu sudah cukup untuk dianggap contoh lain dari pendekatan evaluasi keahlian berorientasi serupa.

BAGAIMANA KEAHLIAN-BERORIENTASI EVALUASI PENDEKATAN

TELAH DIGUNAKAN

Seperti yang kita catat sebelumnya, pendekatan evaluasi ini telah secara luas digunakan oleh kedua lembaga akreditasi nasional dan regional. Dua jenis yang agak berbeda dari akreditasi ada. Salah satunya adalah akreditasi kelembagaan, di mana seluruh lembaga ¬ tion terakreditasi, termasuk semua entitas dan kegiatan yang lebih spesifik, namun kompleks. Pada intinya, dukungan kelembagaan seperti berarti akreditasi ¬ ing tubuh telah menyimpulkan bahwa lembaga pendidikan, secara umum, memenuhi standar kualitas yang dapat diterima. Tipe kedua adalah khusus atau akreditasi program, yang berkaitan dengan berbagai subunit dalam suatu lembaga, seperti

program pelatihan akademis atau profesional tertentu. 'Sebagai Kirkwood (1982) mencatat, "akreditasi kelembagaan tidak setara dengan akreditasi khusus dari masing-masing beberapa program di sebuah lembaga" (hal. 9). Sebaliknya, proses akreditasi khusus biasanya lebih spesifik, ketat, dan preskriptif daripada yang digunakan dalam akreditasi institusi. Badan akreditasi paling khusus adalah lingkup nasional dan sering merupakan asosiasi profesional utama serbaguna. ciations (misalnya, American Psychological Association atau American Medical Association), sedangkan akreditasi kelembagaan lebih sering regional dan dilakukan oleh lembaga yang ada semata-mata atau terutama untuk tujuan itu (misalnya, di Amerika Serikat, Asosiasi Tengah Utara atau New England Association), Sebuah contoh yang baik bagaimana akreditasi oleh badan-badan profesional swasta dan tinjauan profesional yang disponsori pemerintah digabungkan berasal dari Bernhardt (1984) deskripsi proses evaluasi negara, regional, dan lembaga pendidikan nasional, yang secara kolektif mengawasi program pendidikan guru di California. Sekolah Tinggi dan Universitas di California harus diakreditasi atau disetujui oleh setidaknya tiga lembaga untuk menawarkan program disetujui pendidikan guru ¬ tion. Lembaga swasta harus terlebih dahulu mendapatkan persetujuan dari Departemen Luar Negeri Kantor Pendidikan Swasta Postsecondary Pendidikan (Oppe) untuk menawarkan program gelar. Lembaga publik harus disahkan oleh masing California State University dan University of Califor ¬ nia sistem mereka. Kedua, lembaga harus diakreditasi oleh Asosiasi Barat Sekolah dan Kolese (WASC). Kemudian, lembaga harus menyerahkan dokumen yang menyatakan bahwa program ini sesuai dengan semua pedoman CTC untuk mendapatkan persetujuan dari Komisi Guru credentialing (CTC). Selain Oppe, WASC, dan akreditasi CTC, lembaga pendidikan sering memilih untuk diakreditasi oleh Dewan Nasional untuk Akreditasi Pendidikan Guru (NCATE). (hal. 1) Ya, review sistem formal profesional masih hidup dan baik, setidaknya di California.

Kegunaan lain dari evaluasi keahlian berorientasi dibahas oleh Rumah (1980), yang mencatat pergerakan universitas internal sistem review perguruan tinggi, pergi ¬ KASIH, dan program. Dia mencatat bahwa tinjauan profesional tersebut tidak hanya berguna dalam pengambilan keputusan internal dan realokasi dana dalam periode penghematan keuangan tetapi juga dapat membelokkan saran bahwa program tersebut harus ditinjau oleh dewan pendidikan tinggi.  Penggunaan (dan penyalahgunaan) dari peer review oleh lembaga pemerintah telah dibahas oleh para sarjana dalam berbagai disiplin ilmu (lihat Anderson, 1983). Beberapa lembaga donor juga telah menggunakan panel pendidik bergengsi untuk mengevaluasi lembaga yang penelitian dan pengembangan penghargaan telah dibuat. Sebagai contoh, Jelas, di lembaga-tujuan tunggal, seperti sekolah gigi dengan tidak ada program lain, perbedaan ini tidak bermakna.

Departemen Pendidikan AS telah menugaskan tim review untuk mengunjungi dan evalu ¬ makan setiap anggota dalam jaringan yang didanai pemerintah federal laboratorium regional dan pusat penelitian dan pengembangan berbasis universitas, meskipun tion ¬ evaluasi difokuskan pada hanya beberapa hasil penting. Adapun penggunaan pendekatan kritik pendidikan Eisner, kita kenal dengan beberapa aplikasi di luar yang studi yang dilakukan oleh murid-muridnya (Alexander, 1977; McCutcheon, 1978; kegagahan, 1978).

KELEBIHAN DAN PEMBATASAN DARI KEAHLIAN-BERORIENTASI EVALUASI PENDEKATAN

Secara kolektif, pendekatan keahlian berorientasi evaluasi telah menekankan peran sentral penilaian ahli dan hikmat manusia dalam proses evaluatif dan telah memfokuskan perhatian pada isu-isu penting seperti yang standar (dan apa derajat publicness) harus digunakan dalam memberikan penilaian tentang program. Sebaliknya, kritik dari pendekatan ini menunjukkan bahwa sering memungkinkan evaluator untuk membuat penilaian yang mencerminkan sedikit lebih dari bias pribadi. Orang lain telah mencatat bahwa keahlian diduga pengulas merupakan potensi kelemahan. Di luar pengamatan umum, berbagai jenis pendekatan evaluasi keahlian berorientasi memiliki kekuatan unik mereka sendiri dan kelemahan. Untuk ¬ ulasan mal sistem seperti akreditasi memiliki beberapa keunggulan yang dirasakan. Kirkwood (1982) daftar prestasi akreditasi ini (1) dalam mendorong keunggulan dalam pendidikan melalui pengembangan kriteria dan pedoman untuk menilai efektivitas kelembagaan: (2) dalam memberikan dorongan ¬ penuaan perbaikan kelembagaan melalui terus-menerus belajar sendiri dan evaluasi ¬ tion; (3) dalam menjamin masyarakat akademik, masyarakat umum, profesi, dan lembaga lain yang suatu lembaga atau program yang jelas dan sesuai tujuan pendidikan, telah membentuk kondisi seperti ¬ untuk fadlitate prestasi mereka, muncul dalam kenyataannya untuk mencapai mereka secara substansial , dan sangat terorganisir, staf, dan didukung bahwa hal itu dapat diharapkan untuk terus melakukannya; (4) dalam memberikan nasihat dan bantuan kepada lembaga-lembaga yang didirikan dan berkembang; dan (5) di lembaga-lembaga ¬ ing melindungi dari gangguan-gangguan yang mungkin membahayakan pendidikan mereka ¬ nasional efektivitas atau kebebasan akademik. (hal. 12)

Ketelitian lembaga akreditasi telah mencegah jenis penyederhanaan yang dapat mengurangi fenomena pendidikan kompleks untuk unidimen-sional studi. Fitur lain yang diinginkan diklaim untuk akreditasi meliputi perspektif eksternal yang disediakan oleh penggunaan luar pengulas dan biaya yang relatif sederhana.  Dari semua keunggulan ini, mungkin yang paling diremehkan adalah fase belajar mandiri sebagian besar proses akreditasi. Meskipun kadang-kadang disalahgunakan sebagai taktik public relations, belajar-sendiri menawarkan hadiah yang berpotensi besar, sering menghasilkan jauh

lebih banyak penemuan penting dan manfaat daripada nanti situs akreditasi kunjungan. Bersama-sama, belajar mandiri internal dan tinjauan eksternal memberikan beberapa keuntungan dari sistem evaluatif yang meliputi evaluasi baik formatif dan sumatif. Sistem review diformalkan juga memiliki kelemahan trivial. Kita telah berkomentar tentang kekhawatiran publik atas kredibilitas dan meningkatkan sinisme publik yang profesional mungkin tidak polisi operasi mereka sendiri yang sangat keras. Scriven (1984) telah disebut akreditasi contoh yang sangat baik dari apa yang mungkin dengan hanya sedikit sinisme panggilan proses pseudo-evaluatif, dibentuk untuk memberikan muncul. Ance regulasi diri tanpa harus menderita ketidaknyamanan ini "(hal. 73), Perkembangan stabil lembaga akreditasi khusus menunjukkan bahwa ada mungkin memang kebenaran kecurigaan bahwa proses tersebut proteksionis, menempatkan kepentingan profesional sebelum kepentingan lembaga atau publik yang mereka layani. Selanjutnya, proliferasi ulasan tubuh, baik untuk alasan profesional kepentingan pribadi atau ketidakpercayaan pemerintah akreditasi swasta cesses ¬ pro, bisa menempatkan beban finansial yang tak tertahankan pada lembaga. Bernhardt (1984) menunjukkan bahwa sistem California, yang telah dijelaskan sebelumnya, terlalu mahal untuk beroperasi di bawah anggaran saat ini, bahwa hal itu tidak efisien, dan itu efektif untuk menentukan hanya kepatuhan institusional, kualitas pendidikan tidak. mungkin satu kunjungan akreditasi mungkin relatif hemat biaya, seperti disebutkan di atas, tapi beberapa ulasan dapat meningkatkan biaya ke tingkat yang tidak dapat diterima. "Scriven (1984) telah mengutip beberapa masalah dengan akreditasi: (1) tidak ada pembobotan yang disarankan dari 'dragon' standar mulai dari sepele untuk penting, (2) fiksasi pada tujuan yang mungkin mengecualikan mencari efek samping, (3) Bias manajerial yang -mempengaruhi komposisi tim review, dan (4) proses yang menghalangi masukan dari para kritikus paling parah lembaga.

Sistem peer-review informal dan ad hoc ulasan profesional mencerminkan banyak keuntungan dan kerugian yang dibahas di atas untuk akreditasi. Selain itu, mereka memiliki kekuatan unik dan keterbatasan. Beberapa pakar telah menyarankan bahwa ulasan pakar tersebut biasanya sedikit lebih dari beberapa orang 'memasuki situs program tanpa banyak informasi, berjalan melalui fasilitas dengan tangan di saku, dan meninggalkan situs dengan informasi lebih berharga sedikit tapi dengan kesimpulan berdasarkan mereka bias prasangka sendiri. Pandangan tersebut akurat hanya untuk penyalahgunaan evaluasi ahli-oriented. Worthen and White (1987) telah menunjukkan, misalnya, bagaimana di tempat ad hoc ulasan panel dapat dirancang untuk menghasilkan keuntungan dari cross-validasi oleh beberapa pengamat dan pewawancara sementara masih memaksimalkan waktu anggota tim individu untuk mengumpulkan dan meringkas tubuh besar informasi evaluatif dalam kurun waktu singkat. Hoc panel review ad tersebut juga dapat dipilih untuk berbaur keahlian Salah satu penulis yang hadir berada di departemen akademik yang menerima empat tinjauan profesional eksternal dengan nasional asosiasi profesional dan badan pengawas negara dalam satu periode dua tahun.The costs borne by the department for these reviews so depleted the budget that supplies (e.g., fax paper) were exhausted midway through each academic year.

Translete hal 73-82

Hari ini dalam penelitian pendidikan, tren pluralisme metodologis dan eklektisisme. Banyak peneliti kuantitatif sebelumnya taat sekarang - mencoba tangan mereka di penelitian kualitatif. kuantitatif / kualitatif debat, jika tidak mati, entah bagaimana dimakamkan. (hal. 1)

Smith dan Heshusius (1986) yang berjudul optimis risalah mereka "Menutup Bawah Percakapan:. Akhir Debat Kuantitatif-Kualitatif antara Pendidikan penanya" Untuk sementara waktu ternyata mereka berbicara terlalu cepat. Akhir 1980-an dan awal 1990-an melihat salvos dari broadsides dipecat bolak-balik antara pendukung terkemuka filsafat konstruktivis dan metode kualitatif (Lincoln, 1991; Lincoln & Guba, 1992; Lincoln & Guba, 1994) dan positivis atau filsafat pasca-positivis dan metode kuantitatif (Sechrest, 1992; Sechrest, Babcock, & Smith, 1993). sifat agak sengit perdebatan menyebabkan beberapa evaluator terkemuka lainnya untuk meratapi perpecahan tersebut atau untuk berpendapat bahwa mereka adalah sia-sia dan tidak produktif (misalnya, Darta, 1994; House, 1994b , Scriven, 1994; Reichardt & Rallis, 1994).

Dalam hal apapun, meskipun bagian ini di awal dekade, tampak bahwa minat dalam perdebatan kuantitatif-kualitatif secara umum berkurang. Worthen (in press) telah melaporkan hasil survei yang menemukan banyak praktisi evaluasi untuk menjadi lelah dari perdebatan dan perselisihan tentang yang lebih baik, kualitatif atau metode kuantitatif. Bagi kebanyakan evaluator hari ini, jawaban yang jelas adalah-baik. "Integrasi Insightful dari kedua metode kualitatif dan kuantitatif dalam desain evaluasi tunggal sekarang begitu diterima secara luas bahwa tampaknya ada sedikit titik perdebatan. Kebanyakan sarjana evaluasi berbagi pendapat yang kualitatif dan Kuantitas ¬ tive metode yang kompatibel dan menggunakan kedua dalam evaluasi memperkuat itu (misalnya, Reichardt & Masak 1979; Schofield & Anderson, 1984; Mark & Shotland, 1987;. Chelimskv 1995b).

Beberapa evaluator telah melampaui hanya menganjurkan penggunaan kedua metode kualitatif dan kuantitatif untuk menggambarkan bagaimana keduanya dapat diintegrasikan dalam evaluasi yang sama design.The pekerjaan yang paling mendalam dan berguna di daerah ini adalah bahwa Greene, Caracelli, dan Graham (1989), yang telah menyediakan kerangka kerja konseptual untuk dicampur-metode desain evaluasi tersebut. Dari kerangka ini mereka telah mengembangkan lima jenis campuran-metode desain, masing-masing untuk melayani tujuan evaluasi yang berbeda tetapi semua lima menggunakan beberapa campuran metode kualitatif dan kuantitatif. Greene dan rekan-rekannya telah berseni ditarik pada praktek evaluator (memeriksa 57 studi dicampur-metode yang sebenarnya) dengan cara yang sekaligus melegitimasi dan dikategorikan berbagai cara yang bijaksana evaluator telah menggabungkan metode selama puluhan tahun, sementara juga membantu lebih satu-rekan dimensi untuk melihat kesuburan menggabungkan metode kualitatif dan kuantitatif. Pekerjaan tersebut telah memberikan evaluator dengan kerangka kerja untuk membantu mereka menyusun setiap evaluasi untuk mengambil keuntungan dari kekuatan yang saling melengkapi dari dua metode pengumpulan data ini tanpa mendapatkan sisi ¬ dilacak dalam argumen akademis dan kadang-kadang misterius tentang metode mana yang terbaik.

Singkatnya, sebagian besar evaluator kontemporer jelas melihat metode kuantitatif dan kualitatif sebagai yang kompatibel, pendekatan komplementer dalam evaluasi program pendidikan, sosial, atau perusahaan. Beberapa puritan paradigma yang tersisa untuk melakukan perdebatan yang telah kehilangan sebagian besar penonton.

Batas Disiplin dan Metodologi Evaluasi

Sungguh ironis bahwa dalam bidang dengan seperti array kaya pendekatan evaluasi alternatif, masih ada kecenderungan untuk menjadi mangsa "hukum instrumen tersebut" fallacy 'daripada beradaptasi atau menciptakan metode evaluasi untuk memenuhi kebutuhan kita. Genggaman kita evaluasi nampaknya masih parsial dan sempit, yang mungkin terjadi dalam bidang muda. Namun sangat disayangkan bahwa kita tampaknya membawa dengan kami ke bidang baru kesetiaan metodologis kita dikembangkan melalui studi sebelumnya. Terlalu sering kita gagal untuk mendorong fleksibilitas metodologis, tanpa pikir mengadopsi perspektif berpikiran tunggal yang dapat menjawab pertanyaan-satunya yang berasal dari perspektif itu. Studi evaluasi khas hari ini sangat tergantung pada metodologi yang diadaptasi dari agronomi dan antropologi, beberapa aspek psikologi, sosiologi, filsafat, dan matematika, dan, sampai batas tertentu, ekonomi dan sejarah. Mereka yang menafsirkan pernyataan ini sebagai kritis bidang ini telah kehilangan intinya, untuk ini disiplin terhormat dengan metodologi cocok untuk mengejar pertanyaan penelitian dalam bidang masing-masing penyelidikan. Sebaliknya, intinya adalah bahwa evaluasi tidak disiplin tradisional tapi transdiscipline yang selalu melintasi disiplin ilmu (Scriven, 1991b), dan evaluator dengan demikian membantah kemewahan yang tersisa dalam setiap paradigma tunggal penyelidikan.

Evaluasi, tidak seperti penelitian, tidak dapat memperbaiki batas-batas penyelidikan sendiri; bukan, pertanyaan evaluasi ditentukan oleh kebutuhan klien dan dapat dibingkai sehingga memerlukan alat bantu beberapa disiplin ilmu untuk menjawabnya. Evaluator harus memiliki fleksibilitas untuk menggunakan ekonometrik untuk mengumpulkan satu jenis data, psiko-metrik untuk yang lain, sociometrics untuk ketiga, dan sebagainya. Namun evaluator sering pergi tentang bisnis evaluasi menggunakan metode yang mereka sukai dan menggambar sedikit jika sama sekali pada paradigma alternatif yang mungkin lebih relevan dengan masalah evaluasi di tangan.

Beberapa mulai menjanjikan telah dibuat pada memperluas metodologis kami dasar dalam evaluasi. Rekan telah disesuaikan aspek model yudisial, kritik estetika, jurnalisme investigatif, dan sejenisnya ke dalam istilah evaluatif, seperti yang tercantum dalam Bab 7 sampai 10 teks ini. Tetapi bagi sebagian besar, metode dan teknik dari satu disiplin tetap relatif tidak dikenal medan untuk evaluator lain. Ini bukan hal yang mudah untuk mengupas konseptual belenggu ditempa oleh pengalaman. Lebih sulit lagi untuk mengharapkan bahwa evaluator sibuk akan mengganggu studi evaluasi untuk berangkat pada ekspedisi intelektual ke dalam yang incognita terra disiplin lain untuk menemukan metode baru mungkin lebih relevan dengan masalah di hand.And menasihati evaluator menjadi metodologis suara interdisipliner agak hampa tanpa adanya program pascasarjana dirancang khusus untuk membantu evaluator-to-be dalam belajar bagaimana mereka bisa melakukannya.

Kecenderungan dan preferensi evaluator 'pada kedua filosofis dan dimensi metodologis menyebabkan berbeda desain, pengumpulan data dan analisis Kaplan (1964) dijelaskan kekeliruan ini dengan mencatat bahwa jika Anda memberikan anak kecil palu, tiba-tiba semuanya ia bertemu kebutuhan memalu. Kecenderungan yang sama juga terjadi, ia menegaskan, bagi para ilmuwan yang mendapatkan keakraban dan kenyamanan dalam menggunakan metode tertentu atau teknik; tiba-tiba semua masalah akan br direbut menjadi bentuk di mana mereka dapat ditangani dengan cara itu, apakah atau tidak yang sesuai. metode, dan teknik interpretatif. Dengan demikian, berbagai peningkatan methodo-logis perspektif memperoleh legitimasi dalam evaluasi program ini tidak hanya semakin meningkat ¬ ing berbagai cara evaluasi yang dirancang dan dilakukan tetapi juga menambahkan kekayaan perspektif untuk bidang masih terlalu muda untuk memilih salah satu, evaluasi yang ideal paradigma.

METAFORA BERBEDA EVALUASI

Pentingnya metafora dalam evaluasi telah menjadi semakin jelas selama masa lalu dua decades.5 Worthen (1978) menggambarkan sebuah upaya penelitian awal federal didukung untuk mengidentifikasi metafora dari berbagai disiplin ilmu yang mungkin diadaptasi menjadi metodologi evaluasi baru yang berguna:

Jika saya dapat menggunakan metafora, kami telah mengusulkan ekspedisi direncanakan ke bidang lain untuk menemukan dan menangkap metode-metode dan teknik yang mungkin memiliki relevansi untuk evaluasi dan menjinakkan mereka sehingga mereka akan menjadi penurut untuk kita gunakan. Sekali lagi, sumber daya yang terbatas akan memungkinkan kita untuk mengeksplorasi hanya sejauh ini, jadi kita perlu mengidentifikasi awal daerah-daerah yang tampil paling mungkin mengandung calon metodologis baik untuk domestikasi. (hal. 3)

Lanjutan di bawah arahan Smith (1981), upaya penelitian ini meneliti kemungkinan menggunakan berbagai metafora, seperti jurnalisme investigatif, fotografi, mendongeng, analisis filosofis, dan kritik sastra. untuk menyebutkan hanya beberapa. Meskipun beberapa dari metafora ini telah terbukti penggunaan terbatas untuk evaluasi, yang lain telah menghasilkan banyak metode baru yang berguna dan teknik untuk evaluator Program.

Orang tidak perlu secara sadar mencari metafora; mereka sudah mendasari dan pengaruh banyak pemikiran kita. Memang, salah satu alasan untuk berbeda pendekatan evaluasi adalah nwtaphw evaluasi yang berbeda menunjukkan bahwa banyak dari pemikiran kita sehari-hari adalah metafora di alam dan meluas saat itu untuk menyatakan bahwa pikiran evaluasi juga sebagian besar metaforis Selanjutnya, ia menunjukkan bahwa konflik antara skema evaluasi yang ada berasal dari perbedaan. dalam metafora yang mendasari dipegang oleh para pendukung skema tersebut. Sebagai contoh, konsepsi metaforik banyak program sosial menyamakan program-program dengan produksi industri (yang mengarah ke metafora berdasarkan mesin, lini perakitan, atau pipa) atau dengan kontes olahraga atau permainan (yang mengarah ke metafora target dan tujuan).

5 metafora adalah suatu kiasan di mana arti dari istilah atau frase ditransfer dari objek yang biasanya menunjuk ke obyek lain sehingga dapat memberikan wawasan baru atau perspektif pada yang terakhir. Sebagai contoh, seorang peneliti tertarik pada bagaimana rumor menyebar mungkin menggunakan epidemiologi, teori tentang bagaimana penyakit menyebar, sebagai teori metaphorThis akan menyarankan bahwa peneliti mencari pembawa rumor, bahwa rumor menyebar dari episenter di daerah 'cluster, dan sebagainya.

Pengaruh metafora seperti evaluasi jelas. Misalnya, orang yang merasakan evaluasi sebagai backtracking retrospektif dari program untuk menemukan penyebab hasil yang cenderung menggunakan pendekatan yang menyerupai patologi forensik, sedangkan orang yang memegang metafora connoisseurial evaluasi akan menggunakan pendekatan yang lebih mirip dengan kritik sastra. mereka yang melihat peran evaluasi sebagai membantu lembaga-lembaga publik merespon kebutuhan yang terus berubah dari konstituennya dan warga negara yang lebih luas kemungkinan akan memanggil metafora dari ahli jajak pendapat pendapat dalam pendekatan mereka. Mereka yang melihat evaluasi sebagai alat untuk pengawasan program birokrasi cenderung tergantung terutama pada audit sebagai metafora operasi mereka. Ya, metafora yang berbeda menjelaskan banyak variasi dalam pendekatan evaluasi.

MENANGGAPI KEBUTUHAN BERBEDA

Dalam mengusulkan pendekatan evaluasi baru, teori evaluasi tidak hanya dipengaruhi oleh berbagai pilihan metodologi dan metaforis atau cara-cara mereka yang berbeda dalam memandang pengetahuan dan bagaimana hal itu achicved.They juga telah merespon kebutuhan yang berbeda yang mereka anggap-kebutuhan seperti perusahaan eksekusi sanak saudara 'menginginkan informasi yang lebih baik untuk pengambilan keputusan dalam lingkungan keuntungan. pendidik menginginkan cara yang sistematis untuk menentukan sekolah piagam untuk mendirikan. United Way personil berjuang untuk cara yang lebih baik untuk mengidentifikasi prioritas utama kesehatan dan pelayanan manusia kebutuhan di daerah mereka. 'alokasi sumber daya monitoring, dan pemangku kepentingan lokal legislator federal dan negara berharap untuk mengidentifikasi cara-cara untuk membuat Old) kota-kota dan kota-kota lebih layak huni. Masing-masing kelompok ini bekerja dalam konteks mental lingkungan yang berbeda ¬, berjuang dengan berbagai jenis masalah ekonomi dan anggaran. kebutuhan klien, kepentingan stakeholder, karyawan dan harapan manajemen. dan st: on. Evaluator harus belajar tentang setiap konteks dan beradaptasi evaluasi untuk itu tt. menjadi sukses dalam memenuhi kebutuhan masing-masing penonton.

Berbagai pendekatan evaluasi dikembangkan untuk memenuhi kebutuhan yang berbeda Secara keseluruhan, ini pendekatan yang berbeda membantu kita memahami berbagai berdering (kebutuhan untuk evaluasi program. Kita harus belajar untuk mengidentifikasi apa yang berguna dalam pendekatan cad ketika dihadapkan dengan kebutuhan evaluasi yang spesifik, untuk menggunakan dengan bijak, dan tidak ada, terganggu oleh pendekatan evaluasi yang tidak relevan dibangun untuk menangani kebutuhan yang berbeda.

PERTIMBANGAN PRAKTIS

Kami telah melacak bagaimana isu-isu epistemologis, preferensi metodologis, pandangan metaphori 'evaluasi, dan kebutuhan yang berbeda semua berkontribusi terhadap keragaman pendekatan alternativ, evaluasi. Beberapa isu praktis juga berkontribusi terhadap keragaman ini.

Pertama, evaluator tidak setuju tentang apakah maksud dari evaluasi adalah untuk Rende pertimbangan nilai. Beberapa prihatin hanya dengan kegunaan dari evaluasi kepada pengambil keputusan dan percaya bahwa dia, bukan evaluator, harus membuat pertimbangan nilai. Lain percaya laporan evaluator untuk pengambil keputusan selesai hanya jika mengandung pertimbangan nilai. Perbedaan tersebut dalam pandangan memiliki implikasi praktis yang jelas.

Kedua, evaluator berbeda dalam pandangan umum mereka tentang peran politik evaluasi. Kami membahas aspek-aspek politik dari evaluasi secara lebih rinci. Cukuplah di sini untuk mengatakan bahwa orientasi politik evaluator mempengaruhi sangat gaya evaluasi yang dilakukan.

Ketiga, evaluator dipengaruhi oleh pengalaman mereka sebelumnya. Setiap evaluator menarik dari kekuatan tertentu, dari pengalaman dengan beberapa jenis masalah dan proses, dan dari cara untuk melihat hal-hal yang tumbuh dari pendidikan profesional dan karir. Setiap tampilan dibatasi dalam perspektif oleh pengalaman evaluator sebelumnya.

Keempat, evaluator berbeda dalam pandangan mereka tentang siapa yang harus melakukan evaluasi dan sifat keahlian yang evaluator harus memiliki. Meskipun topik ini terlalu rumit untuk diperlakukan secara memadai dalam bab ini, ilustrasi mungkin membantu. Mengingat satu dimensi keahlian-substantif pengetahuan tentang isi dari apa yang dievaluasi (misalnya, pengetahuan matematika dalam mengevaluasi program pendidikan matematika)-beberapa evaluator (misalnya, Eisner, 1975) melihat keahlian seperti sine qua non evaluasi. Memang, tanpa keahlian tersebut, pendekatan evaluasi mereka akan sia-sia. Evaluator lain (misalnya, Worthen & Sanders. 1984) tidak hanya mempertanyakan perlunya evaluator untuk memiliki keahlian seperti itu tetapi juga menunjukkan bahwa mungkin ada Nometimcs ada keuntungan dalam memilih evaluator yang tidak spesialis di isi apa yang mereka mengevaluasi. Perbedaan tersebut dalam perspektif memimpin t't pendekatan yang berbeda untuk kedua program dan evaluasi.

Akhirnya. evaluator berbeda bahkan dalam persepsi mereka tentang apakah itu diinginkan untuk memiliki berbagai pendekatan untuk evaluasi. Sebelumnya, Gephart (19-8) menyesalkan proliferasi model evaluasi dan mendesak agar upaya yang dilakukan untuk mensintesis model yang ada. Sebaliknya, Raizen dan Rossi (1981) berpendapat bahwa tujuan mencapai keseragaman dalam metode evaluasi dan tindakan tidak dapat dicapai tanpa menghambat prematur membutuhkan pembangunan di bidang evaluasi ¬ tion. Kami setuju dengan pandangan yang terakhir ini, percaya bahwa upaya untuk mensintesis model evaluasi yang ada akan menjadi disfungsional (argumen yang akan diperluas kemudian dalam Bab 11). Terlepas dari pandangan mana Anda berlangganan, jelas bahwa baik ketidakmampuan untuk menghasilkan model evaluasi idealis (setelah semua, tidak ada telah datang sejak panggilan untuk sintesis dua dekade yang lalu) atau resistensi terhadap perdagangan keragaman model untuk pandangan yang seragam rekening, setidaknya sebagian, untuk berbagai lanjutan dari pendekatan yang dihadapi praktisi evaluasi.

TEMA ANTARA VARIASI

Meskipun keragaman dalam pendekatan evaluasi, memang ada kesamaan. Banyak orang telah berusaha untuk menertibkan keluar dari kekacauan tercermin dalam literatur evaluasi dengan mengembangkan skema klasifikasi, atau taksonomi. Setiap upaya tersebut memilih satu atau lebih dimensi yang dianggap berguna dalam mengklasifikasikan evaluasi approache Tetapi karena evaluasi adalah beragam dan karena itu dapat dilakukan fase yang berbeda dari perkembangan program, model evaluasi yang sama dapat b diklasifikasikan dalam berbagai cara, tergantung pada penekanan.

Mereka yang telah menerbitkan klasifikasi schemata terlalu banyak daftar t di sini, tapi contoh termasuk Guba dan Lincoln (1981); Rumah (1983a:.. Madaus, Scriven, dan Stufflebeam (1983); Popham (1975); Scriven (1993); Shadis et al (1991); Stake (1975b), dan Worthen dan Sanders (1973, 1987) Semua hay dipengaruhi pemikiran kita tentang kategorisasi evaluasi pendekatan, bu kami telah menarik terutama pada pekerjaan kami sendiri dan Rumah di developin: skema yang diusulkan di bawah ini.

SEBUAH SKEMA KLASIFIKASI UNTUK PENDEKATAN EVALUASI

Kami telah memilih untuk mengklasifikasikan berbagai pendekatan untuk evaluasi ke dalam kategori dosa dijelaskan di bawah ini.

1.       Tujuan yang berorientasi pendekatan, di mana fokusnya adalah pada menentukan tujuan dan sasaran dan menentukan sejauh mana mereka telah mencapai

2.       Manajemen berorientasi pendekatan. dimana pusat perhatian adalah pada identifikasi dan memenuhi kebutuhan informasi para pengambil keputusan manajerial

3.       Pendekatan Consunzer-oriented. di mana isu sentral sedang mengembangkan informasi evaluatif on-produk -. didefinisikan secara luas, untuk digunakan oleh con-sumers dalam memilih antara produk yang bersaing, layanan, dan sejenisnya

4.       Pendekatan Keahlian berorientasi, yang tergantung terutama pada aplikasi langsung keahlian profesional untuk menilai kualitas apapun. usaha dievaluasi

5.       Pendekatan Musuh-berorientasi, di mana direncanakan oposisi dalam sudut pandang yang berbeda dari evaluator (pro dan kontra) adalah fokus utama dari evaluasi

6.       Pendekatan Peserta berorientasi, dimana keterlibatan peserta (stakeholders dalam yang dievaluasi) adalah pusat dalam menentukan nilai, kriteria, kebutuhan, dan data untuk evaluasi

Ini enam kategori tampaknya kita untuk mendistribusikan (meskipun tidak sama) bersama DPR (1983a) dimensi utilitarian untuk intuisionis-pluralis evaluasi.

Penempatan pendekatan evaluasi individu dalam enam kategori adalah untuk beberapa derajat sewenang-wenang. Beberapa pendekatan yang beragam dan meliputi karakteristik yang akan memungkinkan mereka untuk ditempatkan di lebih dari satu kategori; untuk kenyamanan kami telah memutuskan untuk menempatkan pendekatan tersebut dalam satu kategori dan

Utilitarian Evaluition

intuisionis-pluralis.

evaluasi

GAMBAR 4.1 Distribusi enam evaluasi pendekatan pada dimensi utilitarian evaluasi intuisionis-pluralis

Hanya referensi dalam bab-bab lain, dimana tepat, fitur mereka yang lain. Klasifikasi kami didasarkan pada apa yang kita lihat sebagai kekuatan pendorong di belakang melakukan evaluasi: pertanyaan-pertanyaan utama ia berbicara dan / atau penyelenggara utama (s) yang mendasari setiap pendekatan (misalnya, tujuan atau keputusan manajemen). Dalam setiap kategori, pendekatan bervariasi dengan tingkat formalitas dan struktur, beberapa yang relatif berkembang dengan baik secara filosofis dan prosedural, orang lain yang kurang berkembang. Perlu dicatat bahwa kerangka kerja ini berhubungan dengan pendekatan konseptual untuk evaluasi, bukan teknik: diskusi tentang 111:1111 "teknik yang dapat digunakan dalam evaluasi program dicadangkan Ibr Bagian Tiga dan Empat dari buku ini juga, kami belum mencoba. termasuk, di: Inv bab, semua model evaluasi yang diusulkan yang bisa muat di sana, untuk melakukannya akan balloiin ​​buku ini dengan ratusan halaman lebih Sebaliknya, kami telah memilih untuk setiap bab hanya contoh atau dua dari apa yang kita lihat sebagai. paling khas atau berpengaruh contoh pendekatan evaluasi.

LATIHAN

1.      Pikirkan tentang bagaimana Anda akan mendekati evaluasi. Jelaskan langkah-langkah yang Anda pikir Anda akan mengikuti. Kemudian, menganalisis pendekatan Anda sesuai dengan preferensi filosofis dan metodologis Anda. Jelaskan bagaimana latar belakang Anda dan apa yang Anda akan mengevaluasi dia bisa mempengaruhi pendekatan Anda. Jelaskan hal-hal lain yang mungkin mempengaruhi pendekatan Anda untuk evaluasi.

2.      Mengidentifikasi program di daerah Anda bahwa Anda ingin melihat dievaluasi. Daftar beberapa metode evaluasi kualitatif yang dapat digunakan. Sekarang daftar beberapa metode kuantitatif yang Anda lihat sesuai. Diskusikan apakah itu akan sesuai untuk menggabungkan kedua metode dalam studi yang sama, termasuk alasan untuk kesimpulan Anda.

Bacaan

House, E. R. (1983). Asumsi yang mendasari model evaluasi. Dalam G. E Madaus, M. Scriven, & DL Stufflebeam (Eds.), model Evaluasi: Pandangan pada layanan pendidikan dan manusia evaluatioh. Boston: Kluwer-Nijhoff.

bab 5

bjectives Berorientasi

Pendekatan valuasi

berorientasi

PERTANYAAN

1.      Apa aspek pendekatan Tyler evaluasi telah meresap semua kemudian tujuan-berorientasi pendekatan evaluasi?

2.      Bagaimana bentuk telah pendekatan evaluasi tujuan berorientasi telah digunakan dalam pendidikan? Dalam kesehatan dan pelayanan manusia!

3.      Apa busur beberapa kekuatan utama dan keterbatasan tujuan-berorientasi pendekatan evaluasi?

4.      Apa itu "evaluasi tujuan-bebas"? Apakah ia memiliki peran yang berguna untuk bermain dalam evaluasi program?

Fitur yang membedakan dari pendekatan evaluasi tujuan-berorientasi adalah bahwa tujuan dari beberapa aktivitas yang ditentukan, dan kemudian evaluasi berfokus pada sejauh mana tujuan itu tercapai. Dalam pendidikan kegiatan bisa sesingkat pelajaran kelas satu hari atau serumit seluruh perusahaan pendidikan sebuah negara. Dalam pelayanan kesehatan dan manusia seringkali layanan atau intervensi. Dalam bisnis mungkin sesederhana pertemuan satu hari atau serumit lima tahun rencana strategis korporasi. Informasi yang diperoleh dari evaluasi tujuan-berorientasi dapat digunakan untuk merumuskan tujuan kegiatan, kegiatan itu sendiri, atau prosedur penilaian dan perangkat yang digunakan untuk menentukan pencapaian tujuan.

PENGEMBANG DARI TUJUAN-BERORIENTASI EVALUASI PENDEKATAN DAN KONTRIBUSI MEREKA

Banyak orang telah memberi kontribusi pada evolusi dan penyempurnaan dari pendekatan berorientasi tujuan evaluasi sejak didirikan pada tahun 1930-an, tetapi individu dikreditkan dengan konseptualisasi dan mempopulerkan dalam pendidikan adalah Ralph W. Tyler (1942, 1950), untuk siapa pendekatan ini telah bernama.

The Tylerian Evaluasi Pendekatan

Pendekatan Tyler evaluasi dikembangkan dan digunakan selama Delapan Yea: Studi akhir 1930-an (Smith & Tyler, 1942). Travers (1983) tidak catatan, namun. bahwa karya sebelumnya, Waples dan Tyler Metode Penelitian dan Guru Masalah (1930), menetapkan panggung untuk prestasi nanti Tyler dalam evaluasi.

Tyler dipahami evaluasi sebagai proses penentuan tc sejauh mana tujuan dari sebuah program yang benar-benar tercapai. Pendekatannya terhadap evaluasi tion mengikuti langkah-langkah ini:

1. Menetapkan sasaran atau tujuan yang luas.

2. Klasifikasikan tujuan atau sasaran.

3. Tentukan tujuan dalam hal perilaku.

4. Temukan situasi di mana pencapaian tujuan dapat ia ditampilkan.

5. Mengembangkan atau memilih teknik pengukuran.

6. Mengumpulkan data kinerja.

7. Bandingkan data kinerja dengan tujuan perilaku lain.

Perbedaan antara kinerja dan tujuan menyebabkan modifikasi dimaksudkan untuk memperbaiki kekurangan, dan siklus evaluasi diulang.

Alasan Tyler adalah logis, ilmiah dapat diterima, mudah adoptable evaluator b (yang sebagian besar metodologi pendidikan adalah kecerdasan sangat cocok pengukuran pretest-posttest perilaku ditekankan oleh Tyler), dan telah gre: pengaruh pada teori evaluasi berikutnya.

Goodlad (1979) menunjukkan bahwa Tyler menganjurkan penggunaan goa umum, untuk menetapkan tujuan daripada keasyikan prematur dengan tujuan perilaku formulatin. Tentu saja, tujuan yang luas untuk setiap kegiatan akhirnya 'memerlukan definisi operasional sehingga perangkat pengukuran yang sesuai sebuah pengaturan dapat selected.Tyler' s keyakinan adalah bahwa penyedia layanan terutama nee & untuk membahas pentingnya dan makna tujuan umum layanan mereka. Othe bijaksana, dengan kata Goodlad itu, spesifikasi prematur hasil obyektif perilaku pada tujuan yang "hanya bisa sewenang-wenang, membatasi, dan ultimate disfungsional" (hal. 43). Layanan Tyler tertarik dalam meningkatkan itu Educ tion, tapi pemikirannya berlaku untuk layanan di sektor-sektor lain juga.

. Tyler dijelaskan enam kategori tujuan sekolah Amerika (Goodla, 1979) Mereka (1) perolehan informasi; (2) pengembangan kerja 'habi