Survei penyaring adalah yang berdiri di antara Anda dan gerombolan peserta yang tidak jujur, tidak memenuhi syarat, dan sulit diajak berkomunikasi. (Ini sedikit dramatis, tetapi Anda mengerti maksudnya). Survei penyaring adalah alat penting untuk penelitian kualitatif. Dan meskipun terdengar sederhana, sebenarnya sangat mudah untuk salah. Oleh karena itu, kami telah memberikan satu bab khusus untuk survei penyaring tersebut!

What is a screener survey and why do you need one?

Survei penyaring, atau hanya disebut ‘penyaring’, adalah survei yang diambil oleh orang sebelum berpartisipasi dalam penelitian. Survei tersebut terdiri dari beberapa pertanyaan, yang dirancang untuk menyaring orang-orang yang bukan target audiens Anda dan menangkap orang-orang yang tepat. Anda dapat menganggap survei penyaring sebagai sebuah saringan yang menangkap orang-orang yang memenuhi semua kriteria ‘harus ada’ Anda dan menyaring orang-orang yang tidak cukup memenuhi kriteria tersebut.

How to create an effective screener survey

1. Know your goals

Kita telah membahas hal ini di bab sebelumnya, dan saran di sini sama dengan yang sebelumnya. Sasaran dan tujuan yang jelas adalah persyaratan yang harus dimiliki untuk setiap proyek riset pengguna. Tujuan-tujuan ini-alias alasan Anda untuk melakukan penelitian-harus ditetapkan dengan baik sebelum Anda mulai menulis survei penyaringan. 

2. Define specific target audience criteria

Ini adalah bagian di mana Anda mempertimbangkan pertanyaan penelitian Anda, membayangkan partisipan ideal yang dapat memberikan jawaban yang Anda butuhkan, dan mengidentifikasi kriteria penargetan (hal-hal yang harus benar tentang mereka) yang diperlukan untuk memenuhi syarat untuk penelitian Anda.

Kriteria penargetan Anda biasanya akan ditentukan dengan menggunakan campuran:

• Psikografis: Aktivitas, hobi, minat, dan opini
• Perilaku: Apa yang mereka lakukan (misalnya, ‘secara teratur bepergian dengan mobil’)
• Demografi: Usia, jenis kelamin, pendidikan, pendapatan, status pernikahan, dll.
• Geografis: Negara, kota, wilayah, atau radius di sekitar suatu area

Jadi… bagaimana Anda memutuskan kriteria apa yang akan ditargetkan? 

Untuk mengetahui siapa yang akan direkrut untuk penelitian UX, tanyakan pada diri Anda sendiri:

• Apa tujuan dari riset Anda? Pertimbangkan wawasan apa yang paling berguna, kemudian bekerja mundur untuk mencari tahu siapa yang paling bisa memberikan wawasan tersebut.
• Apakah Anda sedang dalam tahap penemuan, pengujian dan validasi, atau tahap pasca-peluncuran pengembangan produk? Secara umum, audiens Anda harus luas pada tahap awal dan menjadi lebih bertarget seiring dengan kemajuan pengembangan.
• Apa pertanyaan penelitian Anda? Pertanyaan penelitian yang bagus seperti “Alat apa yang digunakan oleh orang berusia 20-an untuk mengelola keuangan mereka?” memiliki banyak kriteria penargetan yang sudah ada.
• Siapa yang bisa menjawab pertanyaan itu? Pikirkan ciri-ciri spesifik yang perlu dimiliki oleh calon peserta. Dalam contoh di atas, Anda ingin berbicara dengan orang-orang berusia dua puluhan yang tertarik untuk secara aktif mengelola keuangan mereka.
• Siapa yang tidak bisa menjawab pertanyaan itu? Jangan tanyakan kepada pensiunan bagaimana cucu mereka mengelola keuangan mereka. Demikian juga, jika seseorang yang berusia 25 tahun mengatakan ‘nah, saya tidak terlalu tertarik untuk memiliki anggaran,’ mereka adalah orang yang salah untuk Anda ajak belajar.

3. Screen for behaviors and psychographics over demographics

Perhatikan lebih dekat kriteria penargetan Anda. Apakah kriteria tersebut mencakup kriteria demografis seperti usia, jenis kelamin, ras, pendapatan, dll? Apakah mereka perlu? Demografi adalah hal yang paling penting dalam survei penyaringan, namun karakteristik ini memiliki keterbatasan.

Misalnya, tempat tinggal orang penting jika Anda melakukan studi secara langsung, atau jika aplikasi Anda hanya akan melayani lokasi tertentu. Tetapi jika Anda tidak memiliki alasan yang jelas untuk menargetkan berdasarkan geografi… jangan. Hal yang sama juga berlaku untuk demografi. Dalam banyak kasus, jenis kelamin seseorang atau berapa banyak yang mereka hasilkan per tahun tidak akan menentukan bagaimana mereka berinteraksi dengan suatu produk. Asumsi kita tentang karakteristik ini rentan terhadap bias, yang dapat membatalkan studi Anda dan membahayakan orang-orang yang pada akhirnya akan terkena dampak penelitian Anda. Selain itu, membuang-buang pertanyaan penyaringan yang berharga untuk kriteria yang tidak terlalu penting adalah tindakan yang buruk.

Menyaring psikografi dan perilaku memungkinkan Anda mengelompokkan orang berdasarkan cara hidup mereka, apa yang mereka hargai, dan bagaimana mereka berhubungan dengan produk atau kategori Anda. Itu adalah hal yang menarik!

Ketika mengajukan pertanyaan demografis masuk akal

Katakanlah Anda ingin menguji aksesibilitas dengan campuran identitas gender, rentang usia, dan latar belakang pendidikan. Dalam hal ini, menambahkan kriteria demografis akan memungkinkan Anda untuk menargetkan audiens yang beragam. Tidak semua pertanyaan pada penyaring Anda harus menghasilkan hasil masuk atau keluar secara otomatis, tetapi dapat digunakan untuk menyaring berbagai peserta sebagai langkah terakhir. Terima siapa saja yang mungkin cocok berdasarkan pertanyaan yang diberikan.

4. Write precise, carefully worded questions

Setelah Anda mengetahui karakteristik peserta target Anda dan Anda telah menjabarkannya ke dalam kriteria spesifik tentang bagaimana Anda akan mengidentifikasi orang-orang yang memenuhi syarat, saatnya untuk menulis pertanyaan yang akan membantu Anda menyaring orang-orang yang tidak memenuhi syarat.

Bahasa yang Anda gunakan dalam pertanyaan-pertanyaan penyaringan sangatlah penting. Saat menulis pertanyaan-pertanyaan penyaringan:

• Hindari pertanyaan negatif ganda.
• Buatlah pertanyaan-pertanyaan yang singkat dan manis.
• Tinggalkan jargon-jargon industri (kecuali jika pengetahuan tentang hal tersebut merupakan persyaratan untuk berpartisipasi).
• Jadilah spesifik.

Semakin jelas dan spesifik pertanyaan Anda, semakin kecil kemungkinan peserta akan bingung dan menjawab dengan tidak akurat. Jangan beri ruang untuk salah tafsir! Demikian pula, pastikan opsi pilihan ganda yang Anda sediakan disusun dengan cermat. Kejelasan dalam jawaban Anda sama pentingnya dengan kejelasan dalam pertanyaan Anda.

Pernahkah Anda mengikuti survei di mana, pada pertanyaan tertentu, Anda dipaksa untuk memilih antara lebih dari satu jawaban yang sesuai dengan Anda?

Untuk menghindari menempatkan audiens Anda pada posisi tersebut, pastikan jawaban Anda memiliki batas yang jelas tanpa tumpang tindih. Misalnya, saat menanyakan nilai numerik (usia, ukuran, frekuensi, dll.), pastikan nilai Anda tidak tumpang tindih:

• Benar: 0-3, 4-7, 8-12
• Salah: 0-3, 3-7, 7-12

Untuk jawaban yang kurang pasti atau untuk jawaban yang tidak dapat dibuat saling terpisah, mintalah peserta untuk memilih jawaban yang paling benar atau berikan mereka pilihan untuk memilih semua jawaban yang berlaku, daripada satu jawaban.

5. Put your screener questions in the right order

Jangan paksa calon peserta untuk menyelesaikan seluruh proses seleksi sebelum mengetahui bahwa mereka tidak memenuhi syarat. Singkirkan orang-orang yang tidak memenuhi syarat lebih awal. Pikirkan prosesnya sebagai sebuah corong. Anda menyaring peserta Anda, dan menyaring mereka lebih jauh. Atau, anggap saja seperti menyiangi taman yang sudah tumbuh besar. Gulma yang paling besar, paling tinggi, dan paling jelas terlihat akan keluar terlebih dahulu, hanya karena mereka yang paling mudah diambil. Mulailah dengan pertanyaan yang paling mungkin membuat orang lain keluar. 

Cara termudah untuk melakukannya adalah dengan menuliskan pertanyaan-pertanyaan Anda, mengurutkannya berdasarkan tingkat kepentingannya, dan mencari keterkaitan satu sama lain. Misalnya, jika Anda melakukan studi secara langsung, tanyakan tentang lokasi. Lokasi di sini adalah suatu keharusan dan kriteria yang harus ada di urutan pertama. Sebelum menyelami pertanyaan tentang bagaimana orang menggunakan aplikasi di ponsel cerdas mereka, cari tahu apakah mereka menggunakan ponsel cerdas sama sekali. Kemudian, lanjutkan ke pertanyaan yang menyentuh perilaku, minat, dan preferensi tertentu.  

Jika Anda tidak bekerja sama dengan layanan perekrutan yang mengumpulkan data demografi untuk Anda, ajukan pertanyaan demografi apa pun yang Anda perlukan untuk memastikan kumpulan karyawan yang beragam.

6. Avoid leading or loaded questions

Anda tahu bagaimana beberapa orang menambahkan “benar?” di akhir setiap kalimat, sehingga Anda tidak punya pilihan selain mengangguk atau mengangkat bahu tanda setuju? Benar, kan? Itu adalah contoh dari ‘menuntun’. Pertanyaan yang menggiring akan mempengaruhi orang untuk menjawab dengan cara tertentu. Ini adalah perangkat percakapan yang berguna jika, katakanlah, Anda adalah seorang jaksa penuntut yang gigih dalam serial TV di ruang sidang dan hakim akan mengizinkannya (untuk drama, tentu saja). Tetapi pertanyaan pengarah tidak memiliki tempat dalam riset pengguna-dan tentu saja tidak dalam survei penyaringan Anda. Ini bukan tempat untuk mencoba memvalidasi asumsi Anda. Anda akan mendapatkan hasil yang tidak sesuai atau peserta yang salah.

Berikut ini sebuah contoh:

• Memimpin: Apakah Anda akan senang jika ada fitur yang melakukan [X]?
• Tidak memimpin: Apakah ada fitur yang saat ini tidak ada dalam produk yang akan membantu Anda melakukan [X]? Jika ya, apa saja?

Cara yang baik untuk mengidentifikasi apakah sebuah pertanyaan mungkin bersifat menggiring adalah jika pertanyaan tersebut menyertakan petunjuk atau mengecualikan kemungkinan jawaban. Cara lain untuk menghindari pertanyaan yang mengarahkan adalah dengan menyediakan serangkaian opsi yang tidak terkait sebagai jawaban. 

Misalnya, jika Anda ingin menyaring pengguna yang memiliki tingkat kepedulian yang tinggi terhadap masalah privasi internet, daripada langsung menyelami pertanyaan tentang privasi internet dengan bertanya:

• Memimpin: Apakah Anda khawatir tentang privasi internet?

… Anda dapat membuat pertanyaan seperti ini (tidak mengarah): Manakah dari topik-topik berikut ini yang paling mengkhawatirkan bagi Anda terkait penggunaan internet dalam kehidupan Anda?

• Berapa banyak waktu yang dihabiskan anak-anak saya untuk online. – Tolak‍
• Masalah privasi data. – Terima‍
• Informasi palsu yang muncul di hasil pencarian. – Tolak‍
• Saya tidak memiliki masalah apa pun tentang internet. – Tolak ‍
• Saya tidak tahu. / Tidak satu pun dari yang di atas. – Tolak.

Selain itu, hindari pertanyaan ya/tidak atau benar/salah, yang cenderung mengarahkan. Pengguna mungkin menjawab dengan cara yang mereka yakini akan membuat mereka berpartisipasi dalam penelitian. Jika memungkinkan, ganti pertanyaan-pertanyaan ini dengan pilihan ganda atau sediakan skala untuk tingkat persetujuan terhadap pertanyaan yang diberikan. 

Pengecualian: Dalam kasus-kasus di mana jawaban hitam dan putih diperlukan-misalnya, ketika menanyakan apakah seseorang bersedia atau mampu berpartisipasi dalam kondisi penelitian Anda-pertanyaan biner akan menjadi taruhan terbaik Anda.

‘Pertanyaan yang dimuat’ mirip dengan pertanyaan pengarah (dan keduanya sering disamakan), karena mendorong peserta untuk menjawab dengan cara tertentu. Pertanyaan yang dimuat melakukan hal ini dengan membuat asumsi, yang tersirat dalam pertanyaan itu sendiri.

Berikut ini contohnya:

• Bermuatan: Dalam skala 0-100, seberapa besar Anda membenci es krim pistachio dengan segenap jiwa dan raga Anda?
• Tidak dimuat: Pada skala 1-10 di mana 1 berarti ‘menjijikkan’, 5 berarti ‘netral’, dan 10 berarti ‘lezat’, beri peringkat bagaimana Anda menilai es krim pistachio. 

Cara yang baik untuk mengidentifikasi apakah sebuah pertanyaan dapat dimuat adalah jika pertanyaan tersebut menggunakan bahasa yang kuat atau tidak menyertakan jawaban yang mungkin.

• Dimuat: Apa hal favorit Anda tentang aplikasi baru yang lebih baik ini?
• Tidak dimuat: Bagaimana pengalaman Anda dengan versi aplikasi ini dibandingkan dengan pengalaman Anda dengan versi sebelumnya?

7. Provide a catchall alternative option

Jika Anda membuat respons pilihan ganda, jangan berasumsi bahwa Anda telah memberikan semua opsi yang memungkinkan kepada pengguna. Bahkan perancang survei terbaik pun memiliki keterbatasan. Seperti yang pernah dikatakan Gandalf, “bahkan perancang survei yang paling bijaksana pun tidak dapat melihat semua ujungnya.” 🧙

Sertakan opsi ‘tidak ada yang di atas,’ ‘Saya tidak tahu,’ atau ‘lainnya’ untuk memperhitungkan setiap pengecualian. Jika tidak, Anda bisa saja mendapatkan seseorang dalam penelitian Anda yang tidak seharusnya berada di sana karena mereka dipaksa untuk memilih jawaban yang tidak sesuai dengan mereka. Demikian juga, Anda mungkin menyaring peserta yang baik karena mereka tidak cocok dengan jawaban yang Anda berikan.

8. Include an open-ended question to screen for articulation

Hindari rasa sakit karena harus menarik jawaban dari peserta yang pendiam dengan menyaring orang-orang yang tidak komunikatif dari penelitian Anda. Survei penyaring membantu Anda mendapatkan nilai lebih untuk waktu dan uang Anda dengan basis per peserta. Terkadang hal ini berarti mengecualikan orang-orang tertentu yang sangat cocok dengan profil audiens ideal Anda.

Menyaring peserta yang ekspresif dengan mengajukan ‘pertanyaan artikulasi’. Ini adalah pertanyaan terbuka yang dirancang untuk menguji kemampuan pengguna dalam berkomunikasi. Jika seseorang dapat mengekspresikan ide mereka dengan pemikiran yang mendalam, mereka kemungkinan besar akan menjadi peserta yang bermanfaat. Memasukkan pertanyaan terbuka juga membantu menyisihkan “peserta profesional” yang hanya ingin mendapatkan uang dengan cepat dengan memenuhi syarat untuk setiap studi.

9. Don’t reveal too much

Survei penyaringan dimaksudkan untuk membantu Anda menemukan kandidat yang cocok untuk studi Anda. Memberikan terlalu banyak informasi mengenai tujuan penelitian Anda-dengan, misalnya, mengungkapkan nama perusahaan Anda kepada non-pengguna atau memberi tahu peserta yang ingin Anda wawancarai (yang merupakan kesalahan nyata yang pernah kami lihat)-dapat merendahkan proses penyaringan dan membuat penelitian Anda menjadi kurang efektif. Dan saran ini tidak hanya berlaku untuk penyaringan Anda. Judul dan deskripsi yang Anda berikan pada penelitian Anda, cara Anda membicarakannya ketika Anda merekrut peserta, dan hal-hal yang Anda ungkapkan menjelang sesi itu sendiri-semuanya penting. 

Misalnya, katakanlah Anda sedang melakukan penelitian tentang (satu lagi) aplikasi editor foto untuk para influencer dan orang-orang yang secara aktif mengunggah foto di media sosial. Anda dapat memberi tahu peserta bahwa ini adalah penelitian yang berkaitan dengan kebiasaan media sosial. Dengan begitu, mereka memiliki beberapa konteks (yang dapat membantu mereka memutuskan untuk mengklik screener), tetapi mereka tidak tahu jenis kebiasaan media sosial (mengedit foto) apa yang Anda cari. Hal ini akan mempersulit penguji profesional untuk menebak apa yang Anda inginkan, sehingga lebih memungkinkan Anda untuk mendapatkan jawaban yang otentik.

Untuk menghindari kesalahan, jangan lakukan:

• Mengungkapkan tujuan studi penelitian Anda.
• Mengungkapkan nama perusahaan atau produk Anda.
• Mengajukan pertanyaan yang mengarahkan.

10. Manage the expectations of survey takers

Pastikan peserta Anda mengetahui dengan jelas apa yang mereka lakukan, dan pada tahap mana mereka berada. Survei penyaringan adalah semacam gladi resik, dan ini akan membantu peserta untuk mengetahui bahwa mereka belum berada di babak final. Pastikan kandidat tahu apa yang akan mereka hadapi jika mereka berhasil lolos. Jika ada kemungkinan ada kesepakatan yang tidak bisa ditawar (seperti perjanjian NDA, misalnya), beritahukanlah kepada mereka di awal. Dan tentu saja, jelaskan bahwa mereka tidak akan dibayar sampai mereka berhasil menyelesaikan survei yang sebenarnya.

11. Remember to keep it brief

Terakhir, pertahankan survey screener Anda singkat dan manis. Kami telah melihat beberapa survei penyaring berlangsung sangat lama sehingga para peserta salah mengartikannya sebagai survei penelitian (berbayar)! Jika Anda mencari pedoman kasar tentang durasi, usahakan agar penyaring Anda kurang dari 10 pertanyaan.

Examples of common screener questions and formats

Ingat, inti dari survei penyaringan adalah untuk membantu Anda menemukan partisipan yang tepat untuk penelitian Anda. Daftar pertanyaan penyaringan ini dimaksudkan untuk digunakan sebagai inspirasi, dan untuk membantu Anda melakukan pemeriksaan awal terhadap penyaringan Anda sendiri. Ini bukanlah sebuah perpustakaan pertanyaan yang digunakan secara umum untuk disalin dan ditempelkan dalam segala situasi. Dengan mengabaikan peringatan tersebut, berikut adalah beberapa contoh pertanyaan penyaringan yang dapat diajukan, tergantung pada jenis kriteria yang Anda saring.

Sample screening questions for different types of criteria

Industri atau pekerjaan 

Ajukan pertanyaan tentang pekerjaan ketika Anda ingin menyaring orang-orang dengan tingkat keakraban tertentu dengan industri tertentu, atau mengecualikan mereka yang bekerja untuk pesaing.

Contoh pertanyaan: Di industri apa Anda bekerja?  

Jawaban: Daftar industri (ritel, TI, kesehatan, pendidikan, dll.)

Format: Pilihan tunggal 

Contoh pertanyaan: Kategori mana yang paling menggambarkan fungsi pekerjaan Anda?

Jawaban: Daftar fungsi pekerjaan (pemasaran, akuntansi, teknik, desain produk)

Format: Pilihan tunggal 

Keakraban dengan produk atau layanan

Jika Anda perlu menguji dengan pengguna pemula, pengguna berpengalaman, atau kombinasi dari masing-masing, tanyakan tentang keakraban dengan produk tertentu.

Contoh pertanyaan: Berikan peringkat pengalaman Anda dengan {nama produk}.

Jawaban: Kisaran dari ahli hingga pemula

Format: Peringkat skala atau pilihan tunggal

Contoh pertanyaan: Manakah dari alat bantu berikut ini yang Anda gunakan untuk bekerja? (Pilih semua yang berlaku)

Jawaban: Daftar produk perangkat lunak

Format: Beberapa pilihan

Frekuensi melakukan tugas tertentu

Menanyakan tentang frekuensi penggunaan atau tindakan berguna ketika Anda menyaring pengguna yang secara teratur melakukan tugas tertentu, atau yang biasanya berperilaku dengan cara tertentu dan kemudian berhenti. Pertimbangkan untuk mendefinisikan istilah seperti sering (setiap hari) dan jarang (setahun sekali) sehingga tidak ada tebakan.

Contoh pertanyaan: Tolong beritahu kami seberapa sering Anda melakukan {nama tugas}.

Jawaban: Rentang waktu dari sering hingga jarang.

Format: Peringkat skala atau pilihan tunggal

Contoh pertanyaan: Kapan terakhir kali Anda {nama tugas}.

Jawaban: Rentang waktu dari hari ini hingga tidak pernah.

Format: Peringkat skala atau pilihan tunggal

Kenyamanan dalam berbagi informasi pribadi

Hanya karena seseorang memenuhi kriteria penyaringan Anda, bukan berarti mereka akan benar-benar bersedia untuk berpartisipasi, terutama jika penelitian Anda menyentuh topik-topik sensitif seperti kesehatan, pendapatan, gaya hidup, status pernikahan, dll. Tanyakan secara langsung kepada peserta apakah mereka bersedia dan mampu menjawab pertanyaan pribadi.

Contoh pertanyaan: Penelitian ini akan meminta Anda untuk berbagi secara terbuka tentang {contoh}. Apakah Anda setuju untuk berbagi secara jujur tentang topik-topik ini?

Jawaban Setuju atau tidak setuju

Format: Pilih salah satu.

In summary

Singkatnya, bayangkan peserta ideal Anda-tahu siapa mereka, tahu siapa yang tidak-dan buatlah survei penyaring yang memungkinkan Anda menyaring orang yang tepat untuk menjawab pertanyaan penelitian Anda. Secara spesifik, cara untuk mencapainya diuraikan di atas. Ingatlah untuk tetap berpikiran terbuka tentang siapa saja yang mungkin menjadi peserta penelitian ini, dan jangan membatasi diri Anda dengan prasangka yang terperangkap dalam demografi.

Kami akan memberikan beberapa aturan praktis:

Praktik terbaik survei penyaringan

• Singkirkan orang lebih awal-singkirkan kriteria besar yang harus dimiliki terlebih dahulu.
• Jangan ungkapkan tentang apa studi ini atau siapa yang ingin Anda rekrut.
• Jangan menyaring demografi kecuali jika benar-benar diperlukan.
• Ajukan pertanyaan terbuka tentang perilaku, perasaan, kebiasaan, dan tindakan masa lalu …
• Jangan ajukan pertanyaan yang mengarahkan yang mengisyaratkan jawaban yang ‘benar’.
• Hindari pertanyaan ‘ya’ atau ‘tidak’.
• Sediakan opsi ‘lainnya’ pada pertanyaan pilihan ganda.
• Buatlah pertanyaan yang singkat – 10 (atau lebih sedikit) pertanyaan penyaring biasanya sudah cukup.