Terdapat dua masalah besar dalam dunia publikasi akademik, yaitu bagaimana menentukan jurnal yang baik dan bagaimana metascience empiris terlalu bergantung pada jurnal yang dianggap bergengsi. Ada yang berpendapat bahwa tidak ada jurnal yang benar-benar bagus dan bahwa penilaian tentang kualitas jurnal terlalu bergantung pada faktor sosial dan jurnal impact factor yang tidak terkait dengan hampir semua indikator kualitas yang dapat dibayangkan. Saya termasuk yang setuju dengan pendapat ini.
Penggunaan jurnal-jurnal bergengsi sebagai sumber data metascience berpotensi menimbulkan kesalahan, sehingga disarankan untuk melihat ke seluruh jurnal di bidang tertentu dan membaca artikel secara langsung untuk menilai kualitasnya. Metascience dapat membantu memperbaiki kualitas dan transparansi penelitian, serta meningkatkan kepercayaan pada hasil penelitian. Dalam konteks ini, di beberapa negara yang sedang membangun, tidak terlihat adanya korelasi positif antara kualitas paper dengan penilaian jurnal berdasarkan metascience seperti impact factor dan sitasi. Oleh karena itu, cara terbaik untuk menilai sebuah paper adalah dengan membaca makalahnya secara langsung. Jangan hanya mempertimbangkan impact factor dalam menilai kualitas suatu jurnal atau paper, tetapi perhatikan juga faktor-faktor lain seperti kualitas konseptualisasi, desain, dan temuan penelitian itu sendiri.
Jadi, jika Anda ingin menilai kualitas sebuah artikel, cara terbaik adalah dengan membaca artikel tersebut secara langsung. Jangan tertipu!