EVALUASI

BAB 10


EVALUASI

Banyak sudah bertebaran rumusan evaluasi yang dilayangkan oleh para ahli dan praktisi manajemen dan evaluasi. Kita saksikan beberapa definisi evaluasi berikut:
Evaluasi adalah menilai dampak dari serangkaian kerja dan tingkat yang sudah dicapai dalam rentang waktu tertentu. (Toolkits. A Practical Guide to Assessment, Monitoring, Review dan Evaluation. Save the Children: 1999)
Berupaya mengukur relevansi, efisiensi dan efektivitas program. Ia mengukur apakah atau seberapakah masukan atau layanan program telah memperbaiki kualitas kehidupan manusia. (Bahan Bacaan Pelatihan Monitoring dan Evaluasi, diselenggarakan oleh CSSP untuk NGO-NGO mitra CSSP-USAID di Jakarta, 2002)
Kegiatan yang dibatasi waktu, yang bertujuan untuk menilai sesuatu hal dengan perbandingan pada serangkaian kriteria tertentu (hasil yang diharapkan). (Herizal, Nori, dan Fatima. Manual Pemantauan dan Evaluasi. CSSP: Agustus 2004) 

A. Pengenalam Evaluasi Empiris

Evaluasi Empiris yaitu melihat apa dan bagaimana konsep dan framework pelaksanaan mitigasi bencana di provinsi dan kabupaten. Pendekatan empiris merupakan pendekatan yang dapat digunakan untuk memperoleh data lapangan dan memetakan strategi mitigasi bencana di beberapa tingkatan pemerintahan yang berlaku selama ini. Hasil pemetaan ini juga akan menjadi dasar untuk memilah dan menganalisa kegiatan mitigasi bencana di sejumlah departemen/lembaga dan pemerintah daerah.

Pendekatan Evaluasi Kebijakan.
Di dalam melakukan evaluasi terhadap suatu program/kebijakan, dapat digunakan sejumlah pendekatan yang berbeda yang tentunya akan mempengaruhi indikator yang digunakan, antara lain :


   1. Pendekatan berdasarkan sistem nilai yang diacu.
   2. Pendekatan berdasarkan dasar evaluasi.
   3. Pendekatan berdasarkan kriteria evaluasi.

1. Pendekatan Berdasarkan Sistem Nilai yang Diacu.
    Pendekatan berdasarkan sistem nilai yang diacu ada tiga jenis, yaitu evaluasi semu, evaluasi teori     keputusan dan evaluasi formal.

a. Evaluasi Semu (Pseudo Evaluation)


Sifat dari Evaluasi semu ini adalah melakukan penilaian berdasarkan parameter tertentu yang secara umum disepakati (self evident) dan tidak kontroversial (uncontroversial). Hasil evaluasinya mudah diterima oleh publik dan tidak terlalu rumit (complicated). Penilaiannya berkisar antara gagal atau berhasil. Pseudo evaluation ini seringkali dijadikan sebagai salah satu metode monitoring.

b. Evaluasi Teori Keputusan (Decision Theoretic Evaluation/ DTE)
Sifat dari DTE adalah melakukan penilaian berdasarkan parameter yang disepakati oleh pihak-pihak yang terkait secara langsung/pihak yang bersitegang. Sistem nilainya juga berdasarkan kesepakatan antara pihak yang bersitegang. Biasanya berkisar antara benar atau salah.

c. Evaluasi Formal (Formal Evaluation)

Sifat dari evaluasi formal adalah melakukan penilaian berdasarkan parameter yang ada pada dokumen formal seperti tujuan dan sasaran yang  tercantum dalam dokumen kebijakan rencana tata ruang, peraturan perundang-undangan dan sebagainya.
Dalam evaluasi formal, metode yang ditempuh untuk menghasilkan informasi yang valid dan reliable ditempuh dengan beberapa cara antara lain:

-  Merunut legislasi (peraturan perundang-undangan);
-  Merunut kesesuaian dengan kebijakan yang tercantum pada dokumen formal yang memiliki    hierarki diatasnya;
-  Merunut dokumen formal (kesesuaian dengan hasil yang diharapkan /tujuan dan sasaran); dan
-  Interview dengan penyusun kebijakan atau administrator program.

Evaluasi formal terbagi atas 2 jenis, yaitu summative evaluation dan formative evaluation. Summative evaluation adalah upaya untuk mengevaluasi program/kegiatan yang telah dilakukan dalam kurun waktu tertentu, umumnya dilakukan untuk mengetahui/mengevaluasi program/kegiatan yang relatif sering dilakukan dan  karena indikatornya tetap/baku. Formative evaluation adalah upaya untuk mengevaluasi pelaksanaan program/kegiatan secara kontinyu, karena merupakan program/kegiatan yang relatif baru dan indikatornya dapat berubah-rubah.

2. Pendekatan Berdasarkan Dasar Evaluasi

Pendekatan berdasarkan dasar evaluasi ada 6 jenis yaitu:

- Before vs after comparison (pembandingan antara sebelum dan sesudah)
Karakteristik dari pendekatan jenis ini antara lain hanya berlaku untuk satu komunitas yang sama dengan membandingkan kondisi sebelum dan sesudah adanya intervensi.

- With vs without comparisons (pembandingan antara dengan atau tanpa intervensi)
Karakteristik dari pendekatan jenis ini antara lain  hanya berlaku untuk lebih dari satu komunitas (>1) dengan membandingkan antara komunitas yang diberi intervensi dengan komunitas yang tidak diberi intervensi dalam waktu yang bersamaan.

- Actual vs planned performance comparisons (pembandingan antara kenyataan dengan rencana)
Karakteristik dari pendekatan jenis ini antara lain membandingkan antara rencana dengan kenyataan di lapangan (sesuai atau tidak).

d. Experimental (controlled) models

Karakteristik dari pendekatan ini adalah melihat dampak dari perubahan kebijakan/policy terhadap suatu kegiatan yang memiliki standar ketat. Dampaknya dilihat dari proses dan hasil kegiatan tersebut.
Quasi experimental (uncontrolled) models
Karakteristik dari pendekatan ini adalah melihat dampak dari perubahan  kebijakan/policy terhadap suatu kegiatan yang tidak memiliki standar tidak memiliki standar. Dampaknya dilihat hanya berdasarkan hasilnya saja, sedangkan prosesnya diabaikan.
Efisiensi penggunaan dana (Cost Oriented Approach)
Cost Oriented Approach terbagi tiga  yaitu ex-ante evaluation, on-going evaluation dan ex-post evaluation. Ex-ante evaluation adalah evaluasi yang dilakukan sebelum kegiatan tersebut dilaksanakan. On-going Evaluation adalah evaluasi yang dilakukan saat kegiatan tersebut sedang berjalan. Ex-post evaluation adalah evaluasi yang dilakukan setelah kegiatan tersebut selesai.
                                                                  
3. Pendekatan Berdasarkan Kriteria Evaluasi

Pendekatan berdasarkan kriteria evaluasi terbagi atas 6 indikator, yaitu:

- Efektivitas

Penilaian terhadap efektivitas ditujukan untuk menjawab ketepatan waktu pencapaian hasil/     tujuan. Parameternya adalah ketepatan waktu.

- Efisiensi

Penilaian terhadap efisiensi ditujukan untuk menjawab pengorbanan yang minim (usaha minimal) untuk mencapai hasil maksimal. Parameternya adalah biaya, rasio, keuntungan dan manfaat.
Adequacy/ketepatan dalam menjawab masalah
Penilaian terhadap adequacy ditujukan untuk melihat sejauh mana tingkat pencapaian hasil  dapat memecahkan masalah.

- Equity / pemerataan

Penilaian terhadap equity ditujukan untuk melihat manfaat dan biaya dari kegiatan terdistribusi secara proporsional untuk aktor-aktor yang terlibat.

- Responsiveness

Penilaian terhadap responsiveness ditujukan untuk mengetahui hasil rencana/kegiatan/kebijaksanaan sesuai dengan preferensi/keinginan dari target grup.

- Appropriateness/ketepatgunaan

Penilaian terhadap ketepatgunaan ditujukan untuk mengetahui kegiatan/rencana/kebijaksanaan tersebut memberikan hasil/ keuntungan dan manfaat kepada target grup. Standar tingkat keuntungan dan manfaat sangat relatif sesuai dengan sistem nilai yang berlaku pada target grup tersebut.

B.RANCANGAN EKSPERIMEN

  RANCANGAN EKSPERIMEN
1). Between-Groups (Randomized)

        - Masing-masing subyek diberikan kondisi yang berbeda yakni kondisi eksperimen
          dan control.
        - Keuntungan perancangan ini adalah setiap user menghasilkan satu kondisi.
        - Kerugiannya adalah dengan semakin banyak jumlah subyek yang tersedia akan
          menyebabkan hasilnya akan berkurang dan perbedaan antar setiap individu akan
          membuat bias hasil. Hal ini dapat diatasi dengan memilih dengan hati-hati subyek
          yang dipilih dan menjamin setiap kelompok di masyarakat terwakili.
  
 2). Within-Groups

        - Setiap user akan menampilkan kondisi yang berbeda.
        - Jumlah user yang tersedia lebih sedikit.
        - Pengaruh dari subyek lebih sedikit.

C. PARTISIPASI, ERD, DAN ETIKA

Implementasi metode perancangan partisiparif (participatory design) dalam mencari kata perintah dalam Bahasa Indonesia. Untuk studi ini, kami ambil perangkat lunak pengolah kata (word processor) sebagai contoh kasus. Skripsi ini termasuk dalam rumpun bidang Interaksi Manusia-Komputer (IMK) atau Human Computer Interaction (HCI).
Inti dari skripsi ini adalah merancang dan membuat sebuah perangkat lunak sebagai implementasi dari metode perancangan partisipatif dalam mencari nama kata perintah, serta melakukan uji coba (eksperimen). Perancangan perangkat lunak tersebut didahului dengan studi pustaka tentang metode perancangan partisipatif, persoalan penamaan (naming problems), serta topik-topik lain yang mendukung. Perangkat lunak yang kami buat dinamakan Perangkat Lunak Pencarian Nama Menggunakan Perancangan Partisipatif, atau disingkat PERAN-AKTIF.
PERAN-AKTIF adalah perangkat lunak prototipe, dikembangkan pada komputer Apple Macintosh dengan menggunakan perangkat lunak HyperCard versi 2.1, Macromind Director versi 3.00, serta Macromind Accelerator. PERAN-AKTIF memiliki dua tahapan kerja, yaitu pembuatan nama (generate names) dan pengevaluasian nama (evaluated names) oleh para r esponden yang dilibatkan. Terakhir PERAN-AKTIF diujicobakan kepada empat kelas responden dengan mengambil penamaan pada perangkat lunak pengolah kata sebagai contoh kasus. Dari Skripsi ini dapat dilihat bahwa persoalan penamaan pada pembuatan perangkat lunak merupakan sebuah persoalan yang kompleks.

ERD (Entity Relationship Diagram)

ERD merupakan suatu model untuk menjelaskan hubungan antar data dalam basis data berdasarkan objek-objek dasar data yang mempunyai hubungan antar relasi.
ERD untuk memodelkan struktur data dan hubungan antar data, untuk menggambarkannya digunakan beberapa notasi dan simbol. Pada dasarnya ada tiga simbol yang digunakan, yaitu :

- Entiti

Entiti merupakan objek yang mewakili sesuatu yang nyata dan dapat dibedakan dari sesuatu yang lain (Fathansyah, 1999: 30). Simbol dari entiti ini biasanya digambarkan dengan persegi panjang.
Atribut

Setiap entitas pasti mempunyai elemen yang disebut atribut yang berfungsi untuk mendeskripsikan karakteristik dari entitas tersebut. Isi dari atribut mempunyai sesuatu yang dapat mengidentifikasikan isi elemen satu dengan yang lain. Gambar atribut diwakili oleh simbol elips.

Hubungan / Relasi

Hubungan antara sejumlah entitas yang berasal dari himpunan entitas yang berbeda. Relasi dapat digambarkan sebagai berikut :
Relasi yang terjadi diantara dua himpunan entitas (misalnya A dan B) dalam satu basis data yaitu :

1). Satu ke satu (One to one)

Hubungan relasi satu ke satu yaitu setiap entitas pada himpunan entitas A berhubungan paling banyak dengan satu entitas pada himpunan entitas B.

2). Satu ke banyak (One to many)

Setiap entitas pada himpunan entitas A dapat berhubungan dengan banyak entitas pada himpunan entitas B, tetapi setiap entitas pada entitas B dapat berhubungan dengan satu entitas pada himpunan entitas A.

3). Banyak ke banyak (Many to many)

Setiap entitas pada himpunan entitas A dapat berhubungan dengan banyak entitas pada himpunan entitas B.

ETIKA DESKRIPTIF

    Etika deskriptif yaitu etika yang berusaha meneropong secara kritis dan rasional sikap dan prilaku manusia dan apa yang dikejar oleh manusia dalam hidup ini sbagai sesuatu yang bernilai. Etika deskriptif memberikan fakta sebagai dasar untuk mengambil keputusan tnatang prilaku atau siikap yang mau diambil.
Etika deskriptif merupakan penggambaran dan penelaahan secara utuh dan kritis tentang tingkah laku moral manusia secara universal yang dapat kita temui sehari - hari dalam kehidupan masyarakat. Cakupan analisanya berisikan sejumlah indikator - indikator fakta actual yang terjadi secara apa adanya terhadap nilai dan perilaku manusia dan merupakan suatu situasi dan realita budaya yang berkembang di masyarakat.
    Hal hal yang berkaitan dengan adapt istiadat , kebiasaan ,anggapan – anggapan baik dan buruk tenggang sesuati hal,tindakan – tindakan yang tidak boleh dilakukan dan boleh dilakukan oleh individu tertentu ; dalam kebudayaan kebudayaan dan subkultur – subkultur tertentu yang terjadi dalam suatu periode sejarah adalah merupakan kajian moralitas dalam Etika Deskriptif.
Telaah dalam Etika Deskriptif tidak memberikan interpretasi secara tajam dan lugas, namun tidak melukiskan suatu fakta yang sedang terjadi dan berkembang dalam suatu masyarakat tertentu. Etika Deskriptif hanya membahas dan memberikan analisa penilaiannya atas kejadian tertentu.

    Salah satu contoh etika deskriptif adalah didalam mempelajari pendangan pandangan moral terhadap kenyataan yang terjadi di Negara Uni Soviet yang selama ini kita kenal sebagai Negara yang menganut faham komunis atau ateis dimana masyarakatnya begitu permisif terhadap praktek – praktek pengguguran kandungan,namun disisi lain tontonan yang bersifat pornografi mereka memberlakukan aturan aturan secara ketat. Dalam contoh kasus tersebut kita menjadi paham dan mengerti tentang realita perilaku moral yang terjadi di Uni Soviet , tapi kita tidak memberikan masalah moral.
    Dalam situasi demikian , harus kita akui bahwa bagaimanapun manusia itu pada umumnya tahu akan adanya baik dan buruk terhadap suatu hal yang tidak boleh dan boleh dilakukan. Pengetahuan tentang baik dan buruk dalam perilaku manusia, disebut kesadaran etis atau kesadaran moral. Dengan demikian dapat disimpulkan bahwa kesadaran moral yang sudah timbul dan berkembang adalah ungkapan kata hati.
Tindakan (moril) manusia dalam situasi yang kongkrit tertentu berhubungan dengan kata hati yang menilai tindakan itu atas baik dan buruknya. Kata hati merupakan pengetrapan kesadaran moral tindakan etis yang tertentu dalam segala situasi. Selain itu contoh etika deskriptif seperti masyarakat jawa yang mengajarkan tatakrama kepada orang yang lebih tua.

ETIKA NORMATIF

     Etika normatif yaitu etika yang berusaha menetapkan berbagai sikap dan pola prilaku ideal yang seharusnya dimiliki oleh manusia dalam hidup ini sebagai sesuatu yang bernilai. Etika normatif memberi penilaian sekaligus memberi norma sebagai dasar dan kerangka tindakan yang akan diputuskan.Dalam perbincangan dan diskusi – diskusi yang acapkali ditampilkan dan diugkapakan di media masa baik cetak , elektronik maupun virtual, kaian Etika normative yang berkaitan dengan masalah moral maerupakan topik bahasan yang paling menarik.
     Berbeda dengan etika deskriptif yang bersifat penggambaran yang melukiskan sebuah peristiwa yang terjadi dan berkembang di masyarakat. Para ahli etika normative dalam bahasannya tidak bertindak sebagai penonton netral saja, tetapi yang bersangkutan melibatkan diri dengan kajian penilaian tentang perilaku manusia. Penilaian baik dan buruk mengenai tindakan individu atau kelompok masyarakat tertentu dalam etika normatif selalu dikaitkan dengan norma – norma yang dapat menuntun manusia untuk bertindak secara baik dan menghindarkan hal hal yang buruk sesuai dengan kaidah dan norma yang disepakati dan  berlaku di masyarakat.
     Dalam pembahasan etika  normative, seorang ahli memberikan suatu argumentasi argumentasi yang mengemukakan latar belakang mengapa suatu perilaku dianggap baik atau buruk sisertai analisis moral yang dianggap benar dan salah yang bertumpu kepada norma – norma atau prinsip prinsip etis yang dapat dipertanggungjawabkan baik secara keilmuan maupun empiris.
Para hali memberikan penilaian objektif yang mempertimbangkan seluruh situasi dari individu atau kelompok masyarakat yang melakukan suatu tindakan didasari acuan – acuan yang meliputi kondisi fisik, psikologi , pendidikan , budaya dan sebagainya. Nilai Normatif adalah suatu hal yang preskretif (memerintahkan) , jadi merupakan suatu hal – hal yang tidak dapat ditawar – tawar lagi karena memberlakukan suatu kondisi perilaku individu atau kelompok masyarakat disadari oleh suatu penilaian moral.

     Kita ketahui bahwa etika memberikan pegangan dan orientasi dalam menjalani kehidupan kita di dunia ini. Artinya suatu tindakan manusia selalu mempunyai suatu tujuan tertentu yang ingin dicapainya. Artinya ada arah dan sasaran dari tindakan atas hidup yang dijalankan. Timbul pertanyaan : Apakah bobot moral atau baik buruknya suatu indakan terletak pada nilai  moral tindakan itu sendiri ataukah terletak pada baik buruk serta besar kecilnya tujuan yang ingin dicapat itu.
Kemudian kita dihadapi denhgan realita kehidupan yang memberikan kepada kita alternative pilihan untuk menyelamatkan keadaan , yang bisa menjadi argumentasi moral tentang baik dan buruknya perbuatan tersebut. Disini kita berhadapan dengan dua teori etika yang dikenal sebagai etika deontologi dan etika teleology.
Contoh dari Etika Normatif. ada etika yang bersifat individual seperti kejujuran ,disiplin diri,mengerjakan tugas. Selain itu contoh etika normative adalah etika dalam berbisnis

ETIKA KHUSUS

    Etika khusus, merupakan penerapan prinsip-prinsip moral dasar dalam bidang kehidupan yang khusus. Penerapan ini bisa berwujud : Bagaimana saya mengambil keputusan dan bertindak dalam bidang kehidupan dan kegiatan khusus yang saya lakukan, yang didasari oleh cara, teori dan prinsip-prinsip moral dasar. Namun, penerapan itu dapat juga berwujud : Bagaimana saya menilai perilaku saya dan orang lain dalam bidang kegiatan dan kehidupan khusus yang dilatarbelakangi oleh kondisi yang memungkinkan manusia bertindak etis : cara bagaimana manusia mengambil suatu keputusan atau tindakan, dan teori serta prinsip moral dasar yang ada dibaliknya.

ETIKA PRIBADI

    Menyangkut kewajiban dan perilaku manusia terhadap diri sendiri untuk mencapai kesucian kehidupan pribadi, kebersihan hati nurani dan yang berakhlak luhur. Perlu diperhatikan bahwa etika individual dan etika sosial tidak dapat dipisahkan satu sama lain dengan tajam, karena kewajiban manusia terhadap diri sendiri dan sebagai anggota umat manusia saling berkaitan.
Contoh etika pribadi seperti seseorang yang berhasil dalam bidang usaha (wiraswasta) dan menjadi sesseorang yang kaya raya (jutawan). Ia disibukan dengan usahanya sehingga lupa akan dirinya untuk keperluan hal-hal yang tidak terpuji dimata masyarakat (mabuk-mabukan, suka menggangu ketentraman keluarga, dan orang lain). Dari segi usaha, memang ia berhasil memperkembangkan usahanya sehingga ia menjadi jutawan, tetapi ia tidak berhasil (gagal) dalam mengembangkan etika pribadinya.

ETIKA SOSIAL

    Mengenai kewajiban, sikap dan perilaku sebagai anggota masyarakat yang berkaitan dengan nilai sopan santun, tata krama dan saling menghormati. Etika sosial menyangkut hubungan manusia dengan manusia baik secara langsung maupun secara kelembagaan (keluarga, masyarakat, negara), sikap kritis terhadap pandangan-pandangana dunia dan idiologi-idiologi maupun tanggung jawab umat manusia terhadap lingkungan hidup.
Dengan demikian luasnya lingkup dari etika sosial, maka etika sosial ini terbagi atau terpecah menjadi banyak bagian atau bidang. Dan pembahasan bidang yang paling aktual saat ini adalah sebagai berikut :
- Sikap terhadap sesama
- Etika keluarga
- Etika profesi
- Etika politik
- Etika lingkungan
- Etika idiologi

Contoh etika sosial seperti seseorang pejabat pemerintah (negara) dipercaya untuk mengelola keuangan negara. Uang milik negara berasal dari rakyat dan untuk rakyat. Pejabbat tersebut ternyata melakukan penggelapan uang negara untuk kepentingan diripribadinya, dan tidak dapat mempertanggung jawabkan uang yang dipakainya itu kepada pemerintah. Perbuatan pejabat yang mempergunakan uang rakyat untuk kepentingan diri pribadi tersebut, adalah perbuatan yang merusak etika social.

D. PENGUMPULAN DATA

 Beberapa alat pengumpulan data yang lazim dipakai:

-  Focus Group Discussions (FGD)
-  Wawancara (Interview)
-  Survei
-  Kuesioner
-  Data Sekunder (hasil riset, sensus, berita media, laporan resmi, dll)
-  Laporan Proyek/Staf
-  Review/Assessment workshop/rapat
-  Teknik PRA (mapping, matrix,venn diagrams, ranking/scoring dll)

Pengumpulan dan analisis data biasanya menyebutkan:

- Unit analisis dari data yang akan dikumpulkan (individu, keluarga, organisasi, komunitas,klinik-klinik, dll).
- Kebutuhan pengelompokan data (berdasarkan gender, kelompok etnik, lokasi).
- Prosedur pengelompokan sampel dan populasi (random sampling, sampling terarah (memilih berdasarkan kehendakkita)
  rekomendasi dari tokoh masyarakat.
- Teknik-teknik atau perangkat yang digunakan untuk mengambil data (angket terstruktur,
  observasi langsung, panduan wawancara terstruktur, perangkat untuk mengukur kualitas air,dll).
- Waktu dan frekuensi pengumpulan data.
- Bagaimana data akan dianalisis (metode kuantitatif seperti tabulasi silang atau analisis regresi,
  atau metode kualitatif seperti analisis isi).

Kadang-kadang Lingkup Kerja Evaluasi tidak menyebutkan strategi desain, juga tidak mencantumkan rencana pengumpulan dan analisis data; tim evaluasi dipersilahkan memilih sendiri tekniknya. Artinya, Lingkup Kerja Evaluasi tersebut disusun secara luwes dan menyediakan ruang bagi tim evaluasi untuk melengkapinya dengan metodologi evaluasi.