Eksperimen Quick Count Episode 2: Bermain-main dengan Sampel

Saya sangat tertarik dengan perbedaan hasil Quick Count pada pemilihan presiden kali ini, bagaimana bisa ada lembaga yang mengeluarkan hasil yang berbeda.

Sebagai orang yang terdidik, dan terbiasa berpikir, tentu saja pertanyaan yang keluar dari kepala saya adalah kenapa? why? Saya sudah mencoba eksperimen quick count versi sederhana beberapa waktu yang lalu. Anda bisa mereplikasi eksperimen saya, dan saya yakin hasilnya mirip.

Hasil yang saya dapat adalah 45.53% untuk pasangan Prabowo – Hatta dan 54.47% untuk pasangan Jokowi – JK di Provinsi Bengkulu. Hasil ini sangat mirip dengan real count yang ada di kawalpemilu.org. Kalau tidak percaya dengan kawal pemilu, di koran Wawasan yang kebetulan keluarga saya berlangganan hari ini (22 Juli 2014), pasangan Prabowo – Hatta mendapat 433.173 suara sedangkan Jokowi – JK 523.669 suara. Apabila dihitung dalam persentase: 45.27% vs 54.73%.

Koran Wawasan 22 Juli 2014
Koran Wawasan 22 Juli 2014

Mari kita mulai saja, hipotesis dan eksperimen saya.

1. Review Eksperimen Sebelumnya

Pertama-tama saya prihatin melakukan review terlebih dahulu ke eksperimen yang saya lakukan sebelumnya. Apa yang berbeda dengan metodologi lembaga survei yang sebenarnya dan apakah perlu diperbaiki atau tidak.

Saya membaca-baca paper yang dikeluarkan oleh SMRC dan LSI mengenai metodologi Quick Count. Posting mengenai metodologi ada di sini, dan paper PDF ada di sini. Setelah saya bandingkan dengan besaran-besaran yang saya pakai sebelumnya yaitu tingkat kepercayaan 95% dan margin of error 1%.

Untuk p-nya mereka menghitung faktor bias dari partai, daerah, dan lain-lain. Ini tidak akan saya lakukan di eksperimen saya, karena saya hanya menghitung 1 provinsi, menghitung faktor ini ribet dan perlu data tambahan. Jadi saya biarkan p=0,5.

Selanjutnya yang agak berbeda adalah metodologi sampling. Di eksperimen saya, saya tidak peduli berapa jumlah TPS di tiap daerah, saya hanya melakukan sampling secara random untuk Provinsi Bengkulu. Ternyata menurut lembaga survei Cyrus, daerah yang jumlah TPS-nya banyak akan diberi jumlah sampel lebih banyak, sebaliknya jika sedikit sampelnya juga sedikit. Setelah itu, baru dilakukan random sampling di setiap daerah.

Metodologi sampling seperti itu memang perlu untuk skala yang besar (nasional), tetapi menurut pendapat saya tidak perlu untuk skala yang lebih kecil. Mungkin perlu untuk provinsi yang jumlah penduduknya besar seperti Jawa Barat atau Jawa Tengah.

2. Hipotesis dan Metodologi

Setelah saya lihat 50 TPS yang menjadi sampel saya, ternyata 23 TPS dimenangkan Prabowo – Hatta dan 27 TPS dimenangkan Jokowi – JK.

Hipotesis saya adalah mengapa terjadi perbedaan hasil Quick Count adalah pada saat sampling, kebetulan (atau disengaja, saya juga tidak tahu, tapi seharusnya kita memang berbaik sangka saja) terdapat banyak TPS yang memenangkan salah satu calon. Karena titik awal kita berangkat adalah Jokowi – JK menang, maka saya akan bereksperimen dengan menambahkan TPS yang memenangkan Prabowo – Hatta dan mengurangi TPS yang memenangkan Jokowi – JK.

Saya akan mencoba dengan skenario seperti ini:

  • yang dimenangkan Prabowo Hatta 50% (25 TPS) dan Jokowi JK 50% (25 TPS),
  • yang dimenangkan Prabowo Hatta 60% (30 TPS) dan Jokowi JK 40% (20 TPS),
  • yang dimenangkan Prabowo Hatta 70% (35 TPS) dan Jokowi JK 30% (15 TPS),
  • yang dimenangkan Prabowo Hatta 80% (40 TPS) dan Jokowi JK 20% (10 TPS),

Lalu akan kita bandingkan hasilnya.

Bagaimana cara randomize-nya? Seperti eksperimen yang lalu, tetapi apabila ternyata muncul TPS yang memenangkan pihak lawan, saya ulang randomizing-nya.

3. Hasil dan Analisis

Setelah dilakukan pengambilan data untuk 50 TPS dengan perbandingan kemenangan tertentu seperti yang saya sebut sebelumnya, saya memperoleh hasil sebagai berikut:

Hasil Eksperimen
Hasil Eksperimen

File-file excel yang saya pakai dalam eksperimen: file 1, file 2, file 3, dan file 4.

Wow, ternyata dengan mengubah-ubah sampel dapat diperoleh hasil yang sama sekali bertolak belakang dengan kenyataan, bahkan dapat memutar balik hasil real count.

Saya juga memperoleh error yang lebih besar dari Margin of Error yang ditetapkan pada awal, dan bahkan menjadi sangat jauh (9%!). Ini karena sampel yang diambil tidak benar-benar random, yang jelas-jelas menyalahi kaidah statistik.

5. Kesimpulan

Sampai sini saya hanya bisa menyimpulkan bahwa mungkin terjadi kesalahan pada sampling sehingga terjadi perbedaan pada Quick Count nasional. Kenapa hanya mungkin? Saya tidak tahu metodologi mereka, sejauh ini hanya SMRC dan LSI yang memaparkan metodologi secara detail kepada publik. Cyrus membeberkan namun tidak detail. Semua yang saya lakukan di sini bisa dibilang reverse engineering.

Selain itu, apabila terjadi kesalahan pada sampling, margin of error 1% tidak bisa kita jadikan patokan.

Oh ya, memang kemungkinan ini kecil, tapi ada dan bukan nol. Yaitu sampling dilakukan dengan metodologi yang benar dan juga benar-benar random, namun hasil sampling tersebut mayoritas jatuh ke TPS basis salah satu capres. Who knows?

Tinggalkan Balasan

Isikan data di bawah atau klik salah satu ikon untuk log in:

Logo WordPress.com

You are commenting using your WordPress.com account. Logout / Ubah )

Gambar Twitter

You are commenting using your Twitter account. Logout / Ubah )

Foto Facebook

You are commenting using your Facebook account. Logout / Ubah )

Foto Google+

You are commenting using your Google+ account. Logout / Ubah )

Connecting to %s