Urutan Penyajian Tes Mempengaruhi Respon Asal-asalan dari Responden Penelitian

Survei online saat ini menjadi metode pengambilan data yang paling popular dalam riset Psikologi. Dengan survei online, peneliti dapat memperoleh ratusan bahkan ribuan data dari berbagai wilayah di Indonesia dalam waktu singkat. Sayangnya, banyak ahli yang juga meragukan kualitas data yang diperoleh dari survei online. Ketika tidak ada konsekuensi pribadi bagi responden, sangat masuk akal untuk berasumsi bahwa beberapa responden akan menjawab dengan asal-asalan. Hal ini diperparah ketika survei dilakukan secara anonim dan tanpa adanya reward yang sepadan bagi waktu yang sudah diluangkan oleh mereka. Hal ini tentu mengancam validitas hasil pengukuran yang dilakukan.

Instrumen dalam Psikologi secara umum dapat dibagi menjadi dua jenis: tes kognitif dan non-kognitif. Tes kognitif biasanya dinilai dengan jawaban benar-salah (misal: tes kecerdasan), namun tidak demikian dengan tes non-kognitif (misal: tes kepribadian). Dalam konteks tes beresiko tinggi (misal: seleksi karyawan), kecurangan menjadi ancaman utama dalam tes kognitif, sementara respon tidak jujur (faking) menjadi ancaman utama dalam tes non-kognitif. Namun, dalam konteks survei online, keduanya memiliki ancaman yang sama, yakni adanya respon asal-asalan.

Kedua jenis tes ini memiliki karakteristik yang berbeda. Mengerjakan tes kognitif tentu lebih menguras waktu dan energi. Ketika survei melibatkan dua jenis tes ini, tes mana yang harus disajikan terlebih dahulu agar memaksimalkan usaha responden dalam menjawab pertanyaan? Dalam konteks tes beresiko tinggi, praktek yang paling umum adalah menyajikan tes kognitif terlebih dahulu. Namun, dalam tes beresiko tinggi, motivasi peserta tes tidak perlu dipertanyakan. Mereka pasti mengerahkan usaha maksimal karena ada hal yang dipertaruhkan. Dalam survei online, tidak ada resiko apapun bagi responden, bahkan identitas pribadi mereka seringkali tidak direkam. Lalu, apakah praktek yang sama juga cocok diterapkan pada survei online?

Akhtar dan Kovacs (2023) mencoba menjawab pertanyaan ini melalui risetnya. Mereka menguji mahasiswa dalam studi eksperimen online. Peserta secara acak ditempatkan ke salah satu dari dua kondisi: (a) tes kognitif disajikan terlebih dahulu, dan (b) tes non-kognitif disajikan terlebih dahulu. Pada masing-masing kondisi, usaha mereka dalam menjawab pertanyaan diukur dengan dua alat ukur: self-reported effort (SRE) dan response-time effort (RTE). Self-report merupakan laporan diri dari responded tentang seberapa besar usaha yang mereka kerahkan untuk menjawab pertanyaan survei. Sementara RTE merupakan alat ukur berbasis waktu. RTE didasarkan atas hipotesis yang menyatakan bahwa responden yang mengerjakan asal-asalan akan menjawab pertanyaan terlalu cepat, di bawah waktu yang wajar untuk mereka bisa membaca dan memahami soal.

Hasil analisis menunjukkan bahwa urutan penyajian tes mempengaruhi usaha responden dalam menjawab pertanyaan survei. Ketika tes non-kognitif disajikan di awal, usaha responden untuk menjawab pertanyaan lebih tinggi secara signifikan daripada ketika tes ini di sajikan di akhir. Sementara untuk tes kognitif, urutan penyajian tidak berpengaruh. Usaha yang dikerahkan responden untuk mengerjakan tes kognitif sama saja saat tes ini disajikan di awal ataupun di akhir. Begitu pula performa tesnya. Kesimpulan yang sama berlaku pada self-report maupun response time effort. Di saat bersamaan, respon menjawab asal-asalan meningkat seiring tes berjalan. Tes atau item yang disajikan di akhir cenderung dijawab secara asal-asalan.

Penelitian ini memberikan implikasi bagi praktik pengambilan data secara online. Jika ada dua jenis tes digunakan, sajikan dulu tes non-kognitif. Menyajikan tes yang “lebih ringan” duluan nyatanya berdampak positif bagi motivasi responden untuk menyelesaikan survei. Sebaliknya, jika responden belum apa-apa sudah menghadapi tes yang sulit, mereka cenderung mengerjakan asal-asalan di tes berikutnya, atau bahkan tidak melanjutkan mengisi survei. Implikasi lainnya berkaitan dengan urutan penyajian item. Item yang disajikan di akhir cenderung dijawab secara asal-asalan. Oleh karena itu, jika pengambilan data dilakukan untuk melihat parameter item (misal: tingkat kesulitan item), maka lebih baik penyajian itemnya dilakukan secara random. Kalau tidak, maka parameter item yang disajikan di akhir akan bias. Item yang disajikan di akhir akan diestimasi sebagai item sulit karena sebagian responden menjawab asal-asalan, yang menyebabkan banyaknya jawaban yang salah.

Sumber

Akhtar, H., & Kovacs, K. (2023). Which tests should be administered first, ability or non-ability? The effect of test order on careless responding. Personality and Individual Differences, 207, 112157. https://doi.org/10.1016/j.paid.2023.112157

Apakah Computerized Adaptive Testing Memberikan Pengalaman Tes yang Lebih Baik daripada Tes Konvensional?

Computerized Adaptive Testing (CAT) merupakan pengembangan lanjutan dari tes berbasis komputer dengan menyesuaikan tingkat kesulitan soal berdasarkan kemampuan peserta tes. Sistem CAT menggunakan algoritma untuk menentukan soal selanjutnya yang akan disajikan kepada peserta tes berdasarkan jawaban mereka pada soal sebelumnya. Jika peserta tes menjawab benar, maka soal berikutnya akan lebih sulit. Sebaliknya, jika peserta tes menjawab salah, maka soal berikutnya akan lebih mudah. Dengan demikian, orang dengan kemampuan tinggi akan mendapat soal yang lebih sulit daripada orang dengan kemampuan rendah.

CAT mempunyai beberapa keuntungan, salah satunya adalah mempercepat waktu tes dan membuat tes menjadi lebih efisien. Dalam CAT, peserta hanya mengerjakan soal yang tepat untuk kemampuannya. Hal ini memungkinkan tes selesai dalam waktu yang lebih singkat dibandingkan dengan metode tes konvensional, di mana semua peserta menjawab serangkaian soal yang sama. Selain itu, CAT juga memberikan hasil yang lebih akurat. Tes ini juga lebih aman dari praktik kecurangan, karena tiap peserta akan menghadapi soal yang berbeda-beda.

Dari aspek teknis-psikometris, tidak diragukan lagi, CAT memberikan keunggulan lebih dibandingkan tes konvensional. Namun bagaimana dengan aspek psikologis dari peserta yang dites dengan CAT? Apakah mereka merasakan hal yang sama dengan saat dites dengan model tes konvesional? Pertanyaan ini coba dijawab oleh Akhtar dan kolega (2022) dengan melalukan studi meta-analisis pada artikel yang membahas perbandingan CAT dan tes konvensional dari sisi psikologis peserta tes.

Studi awal tentang CAT banyak yang mengklaim bahwa CAT dapat memberikan pengalaman tes yang lebih baik. Alasannya, karena peserta tes hanya diberikan soal yang sesuai kemampuan mereka, maka peserta tes dengan kemampuan rendah tidak akan frustrasi mengerjakan soal yang terlalu sulit bagi mereka. Sebaliknya, peserta dengan kemampuan tinggi tidak akan bosan menjawab soal yang terlalu mudah bagi mereka. Namun kenyataannya, klaim ini tidak disertasi bukti yang kuat di lapangan. Nyatanya banyak peserta yang mengeluhkan beberapa fitur CAT. Misalnya, karena skoring di CAT berlangsung secara real time, peserta tidak dapat melompati soal ataupun mengganti jawaban yang sudah dikerjakan sebelumnya. Hal ini dapat meningkatkan kecemasan peserta tes. Karena ada banyak temuan yang beragam di lapangan, Akhtar dan kolega mencoba mengumpulkan dan menganalisisnya untuk menjawab pertanyaan, apakah CAT benar-benar memberikan pengalaman yang lebih baik bagi peserta tes?

Secara mengejutkan, artikel yang memuat perbandingan psikologis antara CAT dan tes konvensional tidak banyak ditemukan. Dari lima database pengindeks artikel ilmiah, Akhtar dan kolega hanya menemukan 12 artikel yang relevan dengan tujuan analisis mereka. Akhtar fokus pada motivasi dan kecemasan peserta ketika dites menggunakan CAT dan tes konvensional. Hasilnya beragam, beberapa artikel menunjukkan CAT dapat meningkatkan motivasi dan menurunkan kecemasan, namun beberapa menemukan hal yang sebaliknya. Secara umum, hasil meta-analisis menunjukkan bahwa pengalaman peserta ketika dites dengan CAT dan tes konvesional tidak berbeda.

Analisis lebih mendalam dilakukan pada pengaturan CAT masing-masing studi. Ternyata ditemukan bahwa modifikasi algoritma pada CAT dapat meningkatkan pengalaman peserta tes. Dua studi menggunakan “easier CAT”, yakni CAT yang menargetkan soal yang disajikan sedikit lebih mudah daripada kemampuan peserta tes. Tingkat kesulitan soal dan kemampuan peserta biasanya dinyatakan dalam satuan logit dengan kisaran antara -3 sampai +3. Dengan easier CAT, misalkan, kemampuan peserta tes yang diestimasi adalah 1, maka soal yang dijasikan sedikit lebih rendah, katakanlah 0,5. Dengan demikian, peluang mereka untuk menjawab benar akan menjadi lebih tinggi.

Secara umum, meskipun bukti di lapangan menunjukkan bahwa pengalaman peserta tes tidak berbeda di CAT, masih banyak pengembangan yang bisa dilakukan untuk memaksimalkan pengalaman tes. Dan karena pengalaman peserta tes sesungguhnya tidak berbeda, maka tidak ada alasan untuk menolak beralih dari tes konvensional ke CAT. Hal ini karena CAT sudah jelas terbukti memberikan keunggulan psikometris dan teknis dibanding tes konvensional.

Referensi:

Akhtar, H., Silfiasari, Vekety, B., & Kovacs, K. (2022). The Effect of Computerized Adaptive Testing on Motivation and Anxiety: A Systematic Review and Meta-Analysis. Assessment. https://doi.org/10.1177/10731911221100995