Survei online saat ini menjadi metode pengambilan data yang paling popular dalam riset Psikologi. Dengan survei online, peneliti dapat memperoleh ratusan bahkan ribuan data dari berbagai wilayah di Indonesia dalam waktu singkat. Sayangnya, banyak ahli yang juga meragukan kualitas data yang diperoleh dari survei online. Ketika tidak ada konsekuensi pribadi bagi responden, sangat masuk akal untuk berasumsi bahwa beberapa responden akan menjawab dengan asal-asalan. Hal ini diperparah ketika survei dilakukan secara anonim dan tanpa adanya reward yang sepadan bagi waktu yang sudah diluangkan oleh mereka. Hal ini tentu mengancam validitas hasil pengukuran yang dilakukan.
Instrumen dalam Psikologi secara umum dapat dibagi menjadi dua jenis: tes kognitif dan non-kognitif. Tes kognitif biasanya dinilai dengan jawaban benar-salah (misal: tes kecerdasan), namun tidak demikian dengan tes non-kognitif (misal: tes kepribadian). Dalam konteks tes beresiko tinggi (misal: seleksi karyawan), kecurangan menjadi ancaman utama dalam tes kognitif, sementara respon tidak jujur (faking) menjadi ancaman utama dalam tes non-kognitif. Namun, dalam konteks survei online, keduanya memiliki ancaman yang sama, yakni adanya respon asal-asalan.
Kedua jenis tes ini memiliki karakteristik yang berbeda. Mengerjakan tes kognitif tentu lebih menguras waktu dan energi. Ketika survei melibatkan dua jenis tes ini, tes mana yang harus disajikan terlebih dahulu agar memaksimalkan usaha responden dalam menjawab pertanyaan? Dalam konteks tes beresiko tinggi, praktek yang paling umum adalah menyajikan tes kognitif terlebih dahulu. Namun, dalam tes beresiko tinggi, motivasi peserta tes tidak perlu dipertanyakan. Mereka pasti mengerahkan usaha maksimal karena ada hal yang dipertaruhkan. Dalam survei online, tidak ada resiko apapun bagi responden, bahkan identitas pribadi mereka seringkali tidak direkam. Lalu, apakah praktek yang sama juga cocok diterapkan pada survei online?
Akhtar dan Kovacs (2023) mencoba menjawab pertanyaan ini melalui risetnya. Mereka menguji mahasiswa dalam studi eksperimen online. Peserta secara acak ditempatkan ke salah satu dari dua kondisi: (a) tes kognitif disajikan terlebih dahulu, dan (b) tes non-kognitif disajikan terlebih dahulu. Pada masing-masing kondisi, usaha mereka dalam menjawab pertanyaan diukur dengan dua alat ukur: self-reported effort (SRE) dan response-time effort (RTE). Self-report merupakan laporan diri dari responded tentang seberapa besar usaha yang mereka kerahkan untuk menjawab pertanyaan survei. Sementara RTE merupakan alat ukur berbasis waktu. RTE didasarkan atas hipotesis yang menyatakan bahwa responden yang mengerjakan asal-asalan akan menjawab pertanyaan terlalu cepat, di bawah waktu yang wajar untuk mereka bisa membaca dan memahami soal.
Hasil analisis menunjukkan bahwa urutan penyajian tes mempengaruhi usaha responden dalam menjawab pertanyaan survei. Ketika tes non-kognitif disajikan di awal, usaha responden untuk menjawab pertanyaan lebih tinggi secara signifikan daripada ketika tes ini di sajikan di akhir. Sementara untuk tes kognitif, urutan penyajian tidak berpengaruh. Usaha yang dikerahkan responden untuk mengerjakan tes kognitif sama saja saat tes ini disajikan di awal ataupun di akhir. Begitu pula performa tesnya. Kesimpulan yang sama berlaku pada self-report maupun response time effort. Di saat bersamaan, respon menjawab asal-asalan meningkat seiring tes berjalan. Tes atau item yang disajikan di akhir cenderung dijawab secara asal-asalan.
Penelitian ini memberikan implikasi bagi praktik pengambilan data secara online. Jika ada dua jenis tes digunakan, sajikan dulu tes non-kognitif. Menyajikan tes yang “lebih ringan” duluan nyatanya berdampak positif bagi motivasi responden untuk menyelesaikan survei. Sebaliknya, jika responden belum apa-apa sudah menghadapi tes yang sulit, mereka cenderung mengerjakan asal-asalan di tes berikutnya, atau bahkan tidak melanjutkan mengisi survei. Implikasi lainnya berkaitan dengan urutan penyajian item. Item yang disajikan di akhir cenderung dijawab secara asal-asalan. Oleh karena itu, jika pengambilan data dilakukan untuk melihat parameter item (misal: tingkat kesulitan item), maka lebih baik penyajian itemnya dilakukan secara random. Kalau tidak, maka parameter item yang disajikan di akhir akan bias. Item yang disajikan di akhir akan diestimasi sebagai item sulit karena sebagian responden menjawab asal-asalan, yang menyebabkan banyaknya jawaban yang salah.
Sumber
Akhtar, H., & Kovacs, K. (2023). Which tests should be administered first, ability or non-ability? The effect of test order on careless responding. Personality and Individual Differences, 207, 112157. https://doi.org/10.1016/j.paid.2023.112157
0 Komentar