Model Evaluasi Responsif

Abstrak

Model Evaluasi Responsif telah terlihat sebagai sebuah alternatif untuk model evaluasi formal. Model ini telah digunakan untuk evaluasi sebuah program di Quebec French University. Studi tersebut berfokus pada dua sasaran: Pertama, untuk keperluan lokal program yang sedang dinilai dan, permasalahan utama yang ditemui oleh para administrator dan, kedua,    proses identifikasi kebaikan-kebaikan dan kekurangan-kekurangan model, membandingkannya dengan hal-hal yang telah diberitakan dalam literatur tersebut.

Sepanjang yang menyangkut pada sasaran pertama, kaya, rinci dan informasi relevan yang berhubungan, memungkinkan para pelaku evaluasi untuk merancang sebuah gambaran situasi. Hasil- hasil dan temuan-temuan evaluasi tersebut telah ditransformasikan ke dalam rekomendasi yang tepat khusus untuk membuktikan program yang bersangkutan.

Adapun untuk sasaran kedua, beberapa kebaikan dan kekurangan-kekurangan telah dikutip dari literatur-literatur yang telah dikonfirmasi mengingat beberapa hal-hal baru telah ditemukan. Rekomendasi-rekomendasi khusus mengenai penggunaan model responsif akan disajikan sebagai saran- saran kesimpulan.

A. PENDAHULUAN

Pada beberapa dekade yang lalu, kritisisme telah mengarahkan pada model formal evaluasi program (Guba, 1969; Stake, 1976; Guba dan Lincoln, 1981; Borich dan Jemelka, 1982). Di antara hal-hal yang sangat penting, ditemui: ketidak memadainya model-model secara metodologi; kekurangan pemahaman mereka akan konteks sosial dan politik; bias-bias pendekatan formal lebih ditempati oleh para pendengar yang berpengaruh daripada oleh para pemerhati; ketiadaan realisme dari kriteria yang biasa digunakan untuk mengukur suksesnya sebuah program, tidak relevannya pendekatan sejak ia tertuju pada pertanyaan-pertanyaan yang tidak menarik terhadap pendengar yang beragam; akhirnya ketidakbermanfaatan model- model tersebut begitu ditekankan lebih sering daripada sebuah sisa-sisa keadaan yang tak berubah. Weiss menekankan hal-hal berikut:

1. Penekanan ditempatkan pada perhatian-perhatian pada siapa yang memiliki kekuasaan dibandingkan pada siapa yang terlibat dalam program-program ini (Berk dan Rossi, 1976; Parlett dan Hamilton, 1976; Patton, 1978; Stake, 1978; Cochran, 1980; Coleman, 1980; House, 1980; Datta, 1981);
2. Kriteria yang biasa digunakan untuk mengukur suksesnya sebuah program yang  kosong secara realisme (Caro, 1971; Schwartz, 1980);
3. Hasil-hasil seringkali tidak bermanfaat sejak mereka tidak mempengaruhi proses pengambilan keputusan (Weiss, 1972; Scott dan Shore, 1979; Rutman, 1980);
4. Metode-metode yang biasa digunakan dalam penelitian kesemuanya lebih sering lebih tidak memadai dalam evaluasi (Cochran, 1980).

Akhirnya, Gold (1981) beralasan bahwa berkaca dari masa lalu dan supaya menghindari pertentangan dengan kolega mereka, para pelaku evaluasi lebih memperhatikan tentang metodologi daripada menjadi ahli waris sebuah kedudukan.

Sebuah Alternatif: Evaluasi Naturalistik

Pendekatan Naturalistik terhadap evaluasi telah disajikan sebagai sebuah alternatif untuk sebuah model tradisional dari evaluasi program (Levine, 1974; Stake, 1976; Parlett dan Hamilton, 1976; Guba dalam Lincoln, 1981). Pendekatan ini menyajikan karakteristik-karakteristik sebagai berikut:

1.       Berpusat pada karakteristik-karakteristik sebuah program daripada maksud tujuannya;

2.     Mengutamakan instrumen apa saja yang akan mengizinkan pengumpulan informasi-informasi yang diingini;

3.     Bertanggung jawab terhadap nilai-nilai dari partisipan-partisipan yang berbeda yang merupakan kriteria untuk proses penilaian keputusan;

4.     Akhirnya, struktur biasanya digunakan untuk mengumpulkan informasi darimana berasal dan perubahan-perubahan oleh situasi.

Pendekatan Naturalistik secara asasi harus bertemu dengan dua kondisi berikut:

1.       Para pelaku evaluasi menentukan pembatas-pembatas minimum pada antecedents (bagian-bagian kalimat yang mendahului),

2.      Para pelaku evaluasi menentukan sebuah pembatas-pembatas minimun  pada perilaku-perilaku partisipan.

Beberapa model mengumpulkan secara bersama di bawah tema umum “Pendekatan Naturalistik”. Di antara berikut ini kita menemukan model pengadilan (Owens, 1973; Levine, 1974; Wolf, 1975); model transaksional (Rippey, 1973); model illuminasi (Parlett dan Hamilton, 1976); model Connaisseur (Eisner, 1976) dan model Responsif (Stake, 1976; Guba dan Lincoln, 1981; Borich dan Jemelka, 1982).

B. MODEL RESPONSIF

Model responsif sangat menekankan terutama sekali pada kedudukan-kedudukan, pertanyaan-pertanyaan, dan masalah-masalah yang ditemui oleh perhatian para pendengar yang berbeda oleh di bawah program  evaluasi. Oleh karena itu, penting bagi para pelaku evaluasi untuk menguasai pandangan pluralistik (beragam) dari sebuah program yang mengandung sudut pandang berbeda, dan penemuan konflik-konflik. Dalam hal tersebut, struktur model responsif adalah cukup fleksibel dan proses evaluasi adalah mungkin untuk merubah dasar informasi yang masuk. Analisis kualitatif sebaik analisis kuantitatif kesemuanya dapat diterima. Hal terpenting, seorang pelaku evaluasi adalah terlihat sebagaimana selaku seorang partisipan.

Menurut Scriven (1978), Guba dan Lincoln (1981), model evaluasi responsif memungkinkan mengambil dua orientasi mayor (utama) [yang mana saling melengkapi satu sama lain (Guba dan Lincoln, 1981)], yaitu:

1. Pembatasan terhadap kegunaan atau manfaat yang benar-benar ada yang sedang dievaluasi atau
2. Pembatasan terhadap nila-nilai yang benar-benar ada yang sedang dievaluasi.

Manfaat adalah sebuah estimasi (perkiraan) lebih dari kualitas intrinsic mutlak mengingat sebuah nilai adalah sebuah kualitas yang berhubungan secara kontekstual. Perbedaan antara dua konsep tersebut di atas adalah penting sejak keputusan-keputusan akan menjadi berbeda tergantung pada orientasi pilihan. Penilaian kualitas internal adalah sering mengacu sebagai sebuah evaluasi formatif.

Dengan ungkapan lain, sebuah penilaian kualitas kontekstual sebuah program adalah mengacu sebagai sebuah evaluasi sumatif.  Bagi Guba dan Lincoln (1981) dimensi-dimensi ini saling melengkapi satu sama lain.

Studi Evaluasi

Program

Program evaluasi berjalan adalah sebuah sertifikasi dalam hubungan industrial yang ditawarkan dalam sebuah program pendidikan yang berkesinambungan di sebuah Quebec French University. Program ini, adalah sebuah jenis kecakapan, yang telah diterapkan pada tahun 1970. Calon mahasiswa yang diharapkan akan datang dari bidang hubungan industrial, atau  ada pada level eksekutif atau manajerial.

Persyaratan yang diminta adalah: peringkat pertama lususan universitas atau lulusan akademi ditambah pengalaman setahun dalam hubungan industrial/ Industrial Relations (I.R.) atau pengalaman tiga tahun dalam I.R. Lebih dari 1800 calon mahasiswa yang mendaftar dari 1970 hingga 1982.

Dalam sebuah studi yang pernah dilakukan, Hurteau (1982) menemukan bebarapa permasalahan yang menarik, yang meyakinkan administrator bahwa ada sesuatu yang salah dengan program dan bagaimanapun mengarahkan kepada proses evaluasi.

Hal-hal berikut di antaranya yang ditemukan:

1. Para klien ternyata berbeda dari yang diharapkan: kenyataannya, 86% dari mereka tidak memiliki pengalaman samasekali di bidang I.R.; hanya 14% dari calon mahasiswa yang bekerja di bidang I.R.; hanya 20% calon mahasiswa yang merupakan peringkat pertama lulusan universitas sedangkan para administrasi berharap kesemuanya seperti yang diharapkan sejak awal.
2. Sebuah rata-rata drop out (D.O.) yang tak dapat dipercaya. Kenyataannya, selama beberapa tahun didapati 52% mahasiswa telah drop out dari program.
3. Akhirnya, program tersebut telah berlarut larut tanpa ada perubahan yang berarti sejak diterapkan.

Berdasarkan informasi tersebut, para administrator menyetujui program mereka dievaluasi dan lebih jauh, mereka menyetujui tentang ide penggunaan pendekatan naturalistik.

Proses Evaluasi

1. Manfaat lokal

Guba dan Lincoln (1981) menyarankan penggunaan pengukuran kebutuhan untuk membatasi manfaat lokal sebuah program (evaluasi summatif nilai). Kami telah memulai seperti yang disarankan oleh Kaufman dan English (1979) dan Witkin (1984), inducing potensial needs (alpha needs) dengan pewancaraan para pekerja (pegawai admin, perwakilan persatuan buruh, dan seterusnya), para lulusan program dan mahasiswa dalam program. Sebuah sampel dari 32 orang telah ditanyai pertanyaan-pertanyaan berikut:” Untuk keperluan apa yang seharusnya dijawab oleh program agar bermanfaat untuk calon mahasiswa yang telah mendaftar pada sertifikasi hubungan industrial?”. Informasi yangg telah terkumpul disampaikan kepada seorang analis konten dan hasil akhir didistribusikan untuk penafsiran penyisihan dari instrumen pengukuran kebutuhan. Penyusunan draft pertanyaan pertamakali, kemudian penyampaian kepada kedua belah pihak yaitu pegawai admin dan staf pengajar yang diminta untuk mempelajari, mengoreksi dan melengkapinya menurut pengalaman mereka. Ini langkah kedua yang telah dilakukan tidak sukses dengan sendirinya. Untuk mengelaborasi terjemahan akhir dari instrumen, sebuah analisis sasaran-sasaran rangkaian pelajaran telah dilakukan dan wawancara telah diadakan di antara staf pengajar. Hasilan akhir instrumen pengukuran kebutuhan (skala Likert) telah diadministrasikan ke 550 lulusan program yang telah ditanyai dua pertanyaan:

1)      Untuk tingkatan apa sebenarnya program aktual tersebut, respon untuk setiap kebutuhan-kebutuhan yang telah diidentifikasikan?

2)     Untuk tingkatan apa seharusnya hal tersebut dapat merespon setiap kebutuhan-kebutuhan ini?

2. Permasalahan

Informasi mengenai permasalahan yang berkaitan dengan program telah dikumpulkan dalam beberapa langkah:

1)      Pertama, serangkaian wawancara formal telah menghubungkan dengan sesama lulusan program;  mereka telah ditanya untuk mengenali semua permasalahan yang berhubungan dengan program baik, akademis, kemanusian staf pengajar, pengawasan, dan seterusnya,...dan,

2)     Kedua, serangkaian wawancara telah menghubungkan di antara sesama peserta program yang drop out (hanya 15 orang dari mereka yang ditempatkan dan diterima untuk berpartisipasi) dan kelompok yang berpotesi drop out dari program (sebuah sampel dari 60 calon mahasiswa yang tidak terdaftar untuk dua semester dalam sebuah putaran). Mereka telah ditanya dua pertanyaan, satu mengenai alasan untuk keluar dari program (atau yang akan membuat mereka drop out dari program) dan hal lainnya, yang berhubungan dengan permasalahan yang berkaitan langsung dengan program.

Sebuah gambaran dari situasi yang kemudian disketsakan dan diajukan kepada para administrator yang, pertama tidak setuju dengan proses identifikasi permasalan. Beberapa bulan berikutnya, dengan persetujuan mereka dan supaya dapat melakukan validasi informasi, sebuah instrumen pertanyaan telah dikirim untuk semua populasi peserta didik. Hasil-hasil menunjukan adanya kesamaan  dengan apa yang dilakukan pada proses wawancara.

Permasalahan-permasalahan diidentifikasi ke dalam empat kategori: Perizinan peserta didik (Laxim, peserta didik berasal dari latar belakang berbeda, dan seterusnya.); pengajaran (tidak hadir dengan alasan yang jelas, pengajaran yang buruk, dan seterusnya.) dan staf pengajar (pekerjaan paruh waktu untuk memperoleh tambahan uang, kekurangan minat dalam program, dan seterusnya); pengawasan peserta didik (kelompok yang tak bersahabat, kantor-kantor tutup karena perkuliahan diberikan pada malam hari; tenaga administrasi tidak tersedia, dan seterusnya); formasi secara keseluruhan (secara keseluruhan evalauasi positif tetapi komentar-komentar kasar mengenai jabatan tenaga administrasi program, interes universitas, dan seterusnya.).

Kebaikan dan kekurangan Evaluasi Responsif

Sebuah ringkasan literatur mengenai model responsif evaluasi telah terhubung supaya mendaftar kebaikan sebaik ketidakbaikan berhubungan dengan proses. Idenya adalah:

1.       Untuk membandingkan temuan mengenai kesamaan tema dan perbedaan-perbedaan.

2.     Untuk mengenal semua pemikiran baru yang berasal dari proses saat ini dan temuan-temuan.

Kebaikan

Beberapa kebaikan atau kelebihan  yang terungkap dari studi literatur ditegaskan oleh study saat ini:

1. Seperti dinyatakan oleh Newcomer dan Bernstein (1984); Stake dan Hoke (1976); Stake dan Pearsol (1981), pendekatan-pendekatan mengizinkan pertanyaan-pertanyaan untuk memunculkan (keberagaman talenta klien, absen kepengawasan para dosen dengan menghargai silabus mereka, prosedur-prosedur evaluasi, pengajaran, dan seterusnya, Konten (materi) isi yang tumpang tindih dari beberapa kursus, kesemuanya adalah contoh-contoh pemunculan informasi). Pengamatan ini sesuai dengan perkiraan Rachkel (1976), yang menyatakan bahwa pendekatan mengizinkan pengenalan dan  kecocokan perhatian para klien.
2. Sejalan dengan Kalman (1976), Rocwell (1982), Schermerhorn dan Williams (1982), Preskill (1983), yang kesemuanya mengatakan bahwa data yang dikumpulkan oleh pendekatan ini mengizinkan para pelaku evaluasi untuk menyajikan sebuah potret sketsa, mudah diakses untuk memperhatikan para audien dan merespon terhadap kebutuhan-kebutuhan informasi mereka. Untuk mudahnya, analisa konten (materi) dari perolehan informasi melalui wawancara memungkinkan kita untuk mengidentifikasi beberapa permasalahan yang dihadapkan leh program dan untuk mengilustrasikan mereka dengan fakta-fakta, catatan-catatan tekstual.
3. Sebagaimana juga Stake (1983), bahwa perbaikan-perbaikan langsung adalah mungkin ketika pengumpulan informasi telah dibuat secara memadai untuk pembuat keputusan sesegera ia muncul. Untuk mudahnya, dalam studi saat ini, penyajian pertama atau gambaran dari permasalahan yang terprovokasi merupakan modifikasi langsung. Pengamatan sama seperti yang telah dibuat oleh Kalman (1976) dan Klintberg (1976), kepada siapa  penekanan hasil-hasil untuk tindakan dan dapat dengan mudah ditransformasikan ke dalam rekomendasi-rekomendasi secara khusus.
4. Sebagaimana yang telah dilakukan Schermerhorn dan williams (1982), Newcomer dan Berstein (1984), bahwa tenggelamnya pelaku evaluasi mewarnai laju pemahaman program miliknya.
5. Seperti yang telah ditulis Guba dan Lincoln (1981), dengan pendekatan ini, nilai-nilai dan poin-poin perbedaan pandangan yang mana mempengaruhi keputusan-keputusan yang dibuat ke depan dan arah munculnya tindakan.

Berangkat dari keadaan-keadaan yang berbeda, item-item berikut  tidaklah terus menerus ditopang oleh studi saat ini:

1. Umpan balik yang tetap antara para pelaku evaluasi dan para pengguna yang memfasilitasi penerimaan hasil-hasil (Schermerhon dan Williams, 1979; Newcomer dan Berstein, 1984).
2. Umpan balik yang tetap antara para pelaku evaluasi dan para pengguna menciptakan suasana kerjasama dan simpati  ke arah proses evaluasi (Rockwell, 1982; Michael, 1984; Newcomer and Berstein, 1984).

Bagaimanapun, dalam studi lanjutan didapati bahwa umpan balik yang tetap dalam kenyataannya memiliki kebaikan-kebaikan tersebut di atas, dan hal itu merupakan alasan utama bagi kita untuk memilih evaluasi responsif dalam studi saat ini.

Kebaikan-kebaikan berikut, meski muncul dari studi; kesemuanya tidak disebutkan dalam studi literatur.

1.  Evaluasi Responsif mengizinkan proses identifikasi berlawanan dan oposisi untuk melakukan pendekatan atau mengumpulkan informasi dan kemungkinan untuk melakukan perbaikan-perbaikan kebutuhan. Untuk mudahnya, mengikuti penyajian gambaran dari situasi digambarkan dengan memakai wawancara, pelaku administrasi telah menunjukkan ketidaksetujuan yang kuat, menyalahkan kualitas para informan, mempertanyakan kredibilitas peserta didik...membiarkan segala sesuatu mereda untuk sementara, para pelaku evaluasi menyarankan validasi silang informasi dengan memakai seperangkat pertanyaan untuk dikirimkan kepada seluruh peserta didik dalam program. Meyakinkan pentingnya informasi dalam proses manajemen mereka, pelaku administrasi telah setuju dan secara aktif berpartisipasi dalam proses membangun pertanyaan-pertanyaan.

2.     Sifat penjelasan program dan permasalahan-permasalahannya mewarnai kemampuan transfer tertentu informasi untuk hal-hal yang serupa. Untuk mudahnya, pengumpulan informasi mengenai permasalahan sertifikasi dalam hubungan industrial telah membantu memecahkan permasalahan yang serupa dalam sertifikasi yang lain. Untuk beberapa tahap tertentu itu akan membantu pelaku administrasi program lain dalam pembuatan keputusan mereka.

Kekurangan

Beberapa kekurangan ditemui dalam evaluasi saat ini sesuai dengan temuan –temuan itu di dalam studi-studi lainnya:

1.       Waktu yang dibutuhkan untuk membangun instrumen evaluasi akan menjadi panjang (Klintberg, 1976). Dalam studi saat ini, pewawancara, analisa konten (materi) mereka, analisa silabus kursus, pertanyaan-pertanyaan pengukuran kebutuhan...adalah menyita waktu.

2.     Pendekatan responsif berdampak pada sebuah partisipasi audien untuk konstruksi dan untuk penggunaan instrumen. Menurut Stake (1983), orang-orang yang terlibat tidak selalu memilki pengalaman bahkan ahli dalam evaluasi dan oleh karenanya permasalahan mungkin saja dapat mencuat. Penyusunan pertanyaan pengukuran kebutuhan mengangkat sebuah contoh dari sebuah masalah, kita harus merubah prosedur pengenalan dan penafsiran akhir tidak mudah untuk diajukan.

3. Biaya operasional sangat tinggi. Schermerhorn dan Williams (1979) telah membandingkan biaya yang berhubungan dengan keduanya, yakni naturalistik dan model formalis dan ditemukan rasio $6,000/$570.00. Kita tidak dapat mendukung model figur tersebut sejak kita tidak mengisi biaya apapun. Bagaimanapun, itu adalah keyakinan kita bahwa kita telah melakukannya jadi kita akan menjadi pengguna yang tinggi dari sebuah model responsif.

Beberapa literatur menandai beberapa kekurangan yang tidak tercatat dalam studi kita:

1. Menurut Rakel (1976), Sorlie dan Essex (1978), pendekatan tersebut tidak selalu sesuai untuk mengumpulkan informasi dan oleh karenanya penggunaan model lain sewaktu waktu dibutuhkan untuk melengkapi kekurangan model responsif.
2. Van Hoose (1977) menegaskan dalam fakta tersebut bahwa, karena sifat fleksibilitasnya, model responsif moel dapat menjeneralisir beberapa kesulitan-kesulitan dalam memperbaiki fokus dan dalam mengumpulkan informasi.
3. Hasil-hasil mungkin terlihat terlalu sederhana dan mengecewakan, jika seseorang mempertimbangkan cara yang telah mereka sajikan (gambaran) (Stake dan Pearson, 1981).
4. Pendekatan tidak begitu efektif jika seseorang mencoba menemukan jawaban untuk pertanyaan khusus, identifikasi sejak mulai atau jika seseorang mencoba untuk membuktikan daripada membandingkan.

Bagaimanapun, kita telah mengidentifikasi beberapa kekurangan yang tidak ditemukan dalam studi literatur.

1. Jika pendekatan membuat sebuah kondisi kerjasama dan mengizinkan identifikasi perlawanan, itu dapat juga melindungi pelaku evaluasi dibawah keinginan stakeholder. Untuk mudahnya, saat kita menyajikan kepada para pelaku administrasi gambaran dari situasi, mereka bersikap seperti layaknya orang yang tidak dapat dipercaya.
2. Model responsif mengizinkan informasi untuk memunculkan dan meminta dengan tegas dalam implikasi para pengguna. Tetapi dalam pelaksanaan yang demikian, proses akan melambat. Untuk mudahnya, wawancara yang diadakan di antara kelompok drop out dan kelompok yang lulus telah bermanfaat dalam menggambarkan situasi, akan tetapi mereka juga terhasut reaksi kekerasan dari para administrator dan dihasilkan dalam sebuah penundaan yang penting.
3. Pendekatan sangat diingini oleh pelaku evaluasi dan sepertinya tidak mudah diakses. Para pelaku evaluasi harus memiliki adaptasi kemapuan yang hebat dan kebanyakan dari pelaku penelitian (Pengelolaan sikap  perlawanan stakeholder, penyesuaian informasi terhadap para pendengar yang beragam, dan seterusnya).

Rekomendasi berikut akan menyimpulkan hasil makalah ini.

1. Guba dan Lincoln (1981) berbicara tentang perjanjian yang harus ditandatangani, pada awal oleh keduanya, pelaku evaluasi dan stakeholder, yanbg harus mengkhususkan peraturan sebaik penih tanggung jawab dari setiap fihak, Kita tidak percaya bahwa sebuah evaluasi dapat dilaksanakan tanpa sebuah perjanjian atau sekurangnya piagam tertentu sebuah kesepakatan. Bagaimanapun, kita berfikir bahwa hal itu hampir-hampir menjajah jika seseorang mengingini penggunaan model evaluasi responsif. Struktur menjadi fleksibel dan implikasi dari stakeholder menjadi mantap, pelaku evaluasi dengan sebuah perjanjian dapat menempatkan kembali secara objektif orang-orang ke dalam proses dan dalam yang demikian tersebut melakukan perlindungan terhadap dirinya sendiri melawan “perubahan mood yang mendadak”.
2. Pada permulaan proses dan supaya dapat meminimalisir penyimpangan-penyimpangan dan kesalahfahaman dan untuk maksimalisasi kolaborasi, pelaku evaluasi harus memberitahukan mengenai proses dan prosedur kepada semua orang yang kolaborasi (kerjasama) mereka itu dibutuhkan. (contoh: draft kebutuhan yang diajukan kepada staf pengajaran).
3. Dalam situasi di mana pelaku evaluasi bukan seorang spesialis dalam bidang program, ia harus melibatkan seorang spesialis dalam menjamin kolaborasi datanya.

Akhirnya, kita meminta dengan tegas secara fakta bahwa umpan balik yang mantap adalah sebuah kondisi yang sangat penting bukan saja untuk evaluasi responsif tetapi juga untuk semua pendekatan evaluasi.

DAFTAR PUSTAKA

Berk, R.A. et Rossi, P.H. (1976) Doing Good or Worst: Evaluation Research Politically Re-examines. Sosial Problems. 3, 337-349.

Borich, G.D. et Jemelka, R.P. (1982) Programs and System. The Educational Technology Series. Toronto: Academic Press.

Caro, F.G. (1971). Issues in the Evaluation of Social Programs. Review of Educational Research, 41 (2), 87-114.

Cochran, N. (1980). Society as Emergent and more than Rational: An Essay on the inappropriateness of program Evaluation. Policy Sciences, 12 (2), 113-129.

Coleman, N. (1980). Policy Research and Political Theory. University of Chicago Record, 14 (2).

Datta, L.E. (Ed.). (1981). Evaluation in Change. Beverly Hills. Sage Publications.

Eisner, E.W. (1979). The Educational Imagination. New York: Basic Books.

Gord, N. (1981). The Stakeholder Process in Educational Program Evaluation. Washington, D.C.: National Institute of Education.

Guba, E.G. (1969). The Failure Of Education Evaluation. Educational Technology. 9, 29-38.

Guba, E.G. et. Lincoln, Y.S. (1981). Effective Evaluation. San Fransisco: Jossey-Bass Publishers.

House, E.R. (1980). Evaluating with validity. Beverly Hills. Sage Publication Inc.

Hurteau, M. (1984). une Approche Naturaliste: L’evaluation du certificat de relations industrielles I a la faculte de L’education permanente (Universite de Montreal) au moyen du modele conjoncturel. These de doctorat en mesure et evaluation, universite Laval. Quebec.

Kalman, M. (1976). use of Responsive Evaluation in Statewise Program Evaluation. Studies in Education Evaluation, 2 (1), 9-18.

Kaufman, R, et English, F. W. (1979). Needs Assesment: Concepts and Aplication. Educational Technology Publications. New Jersey: Englewood Cliffs.

Klintberg, I.G. (1976). A Responsive Evaluation of Two Programs in Medical Education. Studies in Educational Evaluation, 2 (1) 23-30.

Levine, M. (1974). Scientific Method and the Adversary. American Psychologist. 1, 666-667.

Michael N. (1984). Realistic Evaluation. Ritualistic Evaluation and the Implication for the utilization of Evaluation Data. Conference donnee dans le cadre du Congres Evaluation ’84. San Fransisco.

Newcomer, D. et. Bernstein, D. (1984). Achieving Excellence Through the Use of a Utilization-Focused Evaluation Aproach. Conference donnee dans le cadre du Congres Evaluation ’84, San Francisco.

Owens, T.R. (1974). Educational Evaluation by Adversary Proceeding. Dans R.E. House (Ed.) School Evaluation. Berkeley: Mc Cutchan.

Parlett, M. et Hamilton, D. (1976). Evaluation as Illumination: A New Approach to the study of Innovatory Programs. Dans G.V. Glass (Ed.) Evaluation Studies, Review Manual, Vol. 1. Beverly Hills: Sage Publication.

Patton, M.Q. (1978). Utillization- Focused Evalution. Beverly Hills: Sage Publications.

Preskill, H. (1983). Notes on Being Responsive: Evaluating a Graduate Nursing Program Conference donne dans le cadre du Congres Evaluation ’83, Chicago.

Rackel, R.E. (1976). A Summary: Responsive Evaluation and Family Practice. Studies in Educational Evaluation, 2 (1), 35-36.

Rippey, R.M. (1973). Studies in Transactional Evaluation. Berkeley, Mc. Cutchan Publishing Corporation.