Penilaian HOTS tidak dapat dipisahkan dengan pembelajaran HOTS. Tugas guru bukan hanya melakukan penilaian HOTS, melainkan juga harus mampu melaksanakan pembelajaran yang dapat melatih siswa untuk memiliki ketrampilan berpikir tingkat tinggi. Tujuan utamanya adalah untuk meningkatkan ketrampilan berpikir tingkat tinggi yang lebih efektif. Prinsip umum untuk menilai berpikir tingkat tinggi adalah sebagai berikut.
- Menentukan secara tepat dan jelas apa yang akan dinilai.
- Merencanakan tugas yang menuntut siswa untuk menunjukkan pengetahuan atau keterampilan yang mereka miliki.
- Menentukan langkah apa yang akan diambil sebagai bukti peningkatan pengetahuan dan kecakapan siswa yang telah ditunjukan dalam proses.
Penilaian berpikir tingkat tinggi meliputi 3 prinsip:
- Menyajikan stimulus bagi siswa untuk dipikirkan, biasanya dalam bentuk pengantar teks, visual, skenario, wacana, atau masalah (kasus).
- Menggunakan permasalahan baru bagi siswa, belum dibahas di kelas, dan bukan pertanyaan hanya untuk proses mengingat.
- Membedakan antara tingkat kesulitan soal (mudah, sedang, atau sulit) dan level kognitif (berpikir tingkat rendah dan berpikir tingkat tinggi).
Soal-soal HOTS merupakan instrumen yang digunakan untuk mengukur keterampilan berpikir tingkat tinggi, yaitu keterampilan berpikir yang tidak sekadar mengingat (remembering), memahami (understanding), atau menerapkan (applying).
Soal-soal HOTS pada konteks asesmen mengukur keterampilan:
1) transfer satu konsep ke konsep lainnya,
2) memproses dan mengintegrasikan informasi,
3) mencari kaitan dari berbagai informasi yang berbeda-beda,
4) menggunakan informasi untuk menyelesaikan masalah (problem solving),
5) menelaah ide dan informasi secara kritis.
Dengan demikian soal-soal HOTS menguji ketrampilan berpikir menganalisis, mengevaluasi, dan mencipta.
Dimensi proses berpikir dalam Taksonomi Bloom sebagaimana yang telah disempurnakan oleh Anderson & Krathwohl (2001), terdiri atas kemampuan: mengingat (remembering-C1), memahami (understanding-C2), menerapkan (applying-C3), menganalisis (analyzing-C4), mengevaluasi (evaluating-C5), dan mencipta (creating-C6).
Soal-soal HOTS pada umumnya mengukur kemampuan pada ranah menganalisis (analyzing-C4), mengevaluasi (evaluating-C5), dan mencipta (creating-C6). Kata kerja operasional (KKO) yang ada pada pengelompokkan Taksonomi Bloom menggambarkan proses berpikir, bukanlah kata kerja pada soal. Ketiga kemampuan berpikir tinggi ini (analyzing, evaluating, dan creating) menjadi penting dalam menyelesaikan masalah, transfer pembelajaran (transfer of learning) dan kreativitas.
Pada pemilihan kata kerja operasional (KKO) untuk merumuskan indikator soal HOTS, hendaknya tidak terjebak pada pengelompokkan KKO. Sebagai contoh kata kerja ‘menentukan’ pada Taksonomi Bloom ada pada ranah C2 dan C3. Dalam konteks penulisan soal-soal HOTS, kata kerja ‘menentukan’ bisa jadi ada pada ranah C5 (mengevaluasi) apabila soal tersebut untuk menentukan keputusan didahului dengan proses berpikir menganalisis informasi yang disajikan pada stimulus lalu siswa diminta menentukan keputusan yang terbaik. Bahkan kata kerja ‘menentukan’ bisa digolongkan C6 (mencipta) bila pertanyaan menuntut kemampuan menyusun strategi pemecahan masalah baru. Jadi, ranah kata kerja operasional (KKO) sangat dipengaruhi oleh proses berpikir apa yang diperlukan untuk menjawab pertanyaan yang diberikan.
Dilihat dari dimensi pengetahuan, umumnya soal HOTS mengukur dimensi metakognitif, tidak sekadar mengukur dimensi faktual, konseptual, atau prosedural saja. Dimensi metakognitif menggambarkan kemampuan menghubungkan beberapa konsep yang berbeda, menginterpretasikan, memecahkan masalah (problem solving), memilih strategi pemecahan masalah, menemukan (discovery) metode baru, berargumen (reasoning), dan mengambil keputusan yang tepat.
Dalam struktur soal-soal HOTS umumnya menggunakan stimulus. Stimulus merupakan dasar berpijak untuk memahami informasi. Dalam konteks HOTS, stimulus yang disajikan harus bersifat kontekstual dan menarik. Stimulus dapat bersumber dari isu-isu global seperti masalah teknologi informasi, sains, ekonomi, kesehatan, pendidikan, infrastruktur, dan lain-lain. Stimulus juga dapat bersumber dari permasalahan-permasalahan yang ada di lingkungan sekitar sekolah seperti budaya, adat, kasus-kasus di daerah, atau berbagai keunggulan yang terdapat di daerah tertentu. Stimulus yang baik memuat beberapa informasi/gagasan, yang dibutuhkan untuk mengembangkan kemampuan mencari hubungan antarinformasi, transfer informasi, dan terkait langsung dengan pokok pertanyaan.