Analysis of the Documents of Research Evaluation in Iran: Towards the National Research Evaluation System (NRES)

Document Type : Research َ Article

Authors

1 Ph.D. Candidate, Knowledge and Information Science, Faculty of Education and Psychology, University of Isfahan, Isfahan, Iran

2 Professor, Knowledge and Information Science Group, Faculty of Education and Psychology, University of Isfahan, Isfahan, Iran

3 Associate Professor, Knowledge and Information Science, School of Information and Communication Studies, Charles Sturt University, Bathurst, Australia

10.30484/nastinfo.2024.3584.2272

Abstract

Purpose: The purpose of this study was to analyze the documents related to research evaluation in Iran critically. This study is of significant importance as it aims to identify the elements and components, provide solutions for the growth and development of research evaluation in the country, and eliminate existing defects, thereby contributing to advancing the research landscape in Iran.
Method: In this research, a rigorous approach was taken. Eight evaluation documents belonging to different authorities of the country were selected by purposive sampling method. The information was extracted and analyzed qualitatively and inductively using the document analysis method. This thorough process ensured that the main elements of evaluation systems (input, output, process, achievement, and effect) and the components of each of these elements were accurately extracted and purified from the documents. The selected documents were then analyzed using these elements and components, and possible defects were identified and solutions were presented to improve the state of the research evaluation.
Findings: While the eight examined documents are not significantly different in terms of the main elements of research evaluation systems (input, output, process, achievement, and effect), and all these elements can be more or less extracted from all these documents, but the components of each of these elements are different in these documents, which is due to the difference in goals and ultimately leads to many differences in the results of evaluations, and sometimes it has caused many contradictions between the findings even in the same components. The main difference between the reviewed documents is related to the components of the process element, which includes the components of criteria, scope, methods, and evaluation indicators. The following items are the different meanings of the elements, the lack of specific rules and criteria for the evaluation of the same elements and components, and in general, the dominance of the quantitative perspective in the evaluation activities, and considering the amount and number of scientific productions as an evaluation criterion, especially in the quality component of the researches. 
Conclusion: Currently, the amount of deficiencies in research evaluation activities in the country is high, and cases such as the lack of uniform definitions of concepts and terms in this field, scattering, non-unification, absence of a single center that officially carries out the task of evaluation; lack of professional staff to design and implement research evaluations and the lack of a single goal and strategy for a national research evaluation system can be mentioned. Therefore, solutions such as creating an efficient evaluation system, which facilitates the collection of data and information necessary for evaluation throughout the country, identifying the challenges of transferring policy or management tools from developed and prosperous countries in the field of research evaluation, such as England and Australia, with a national research evaluation system and specialized centers responsible for evaluating and agreeing on elements, components, criteria, and indicators and how to develop them that fit the society be the country's scientist. Finally, it is suggested to use a comprehensive model based on a structured system for the country's research evaluation, which, in addition to paying attention to the internal interactions of the country's research system, also considers its interaction with the surrounding environment.

Keywords

Main Subjects


آراسته، محمدرضا و حسین‌پور، رضا (1388). تعیین شاخص‌های ارزیابی عملکرد مراکز پژوهشی دفاعی. فصلنامه پژوهش‌های مدیریت منابع انسانی، 1(4): 115-136.
ابویی اردکان، محمد و سلطان محمدی، ندا (1393). طراحی مدل فرآیندی ارزیابی عملکرد نظام توسعه علمی کشور در راستای اسناد و برنامه‌های توسعه‌ای جمهوری اسلامی ایران. اولین کنفرانس ملی ارزیابی کیفیت در نظام‌های دانشگاهی، تهران، دانشگاه صنعتی شریف.
اولیاء، محمد صالح و سیف‌الله امین (1382). طراحی نظام ارزیابی پژوهشی وزارت علوم، تحقیقات و فناوری. طرح پژوهشی، دانشگاه یزد، یزد.
بازرگان، عباس (1376). کیفیت و ارزیابی آن در آموزش عالی: نگاهی به تجربه‌های ملی و بین‌المللی. رهیافت، 7 (15): 60-71.
بهزادی، فهیمه، ریزه نگار، سوداسادات، سلیمانی، سعید و فروغی، سمیه (1394). شناسایی و ارزیابی وضعیت موجود نظام پایش و ارزیابی علم، فناوری و نوآوری. تهران: دبیرخانه شورای عالی عتف.
جمالی مهموئی، حمیدرضا (1390). ارزیابی پژوهش: رویکردها، شیوه‌ها و چالش‌ها. رهیافت، 21 (49): 39-52.
جمالی مهموئی، حمیدرضا (1391). مقایسه الگوها و چارچوب‌های سنجش اثر پژوهش‌های پزشکی. مدیریت اطلاعات سلامت، 9 (5): 757-767.
چشمه‌سهرابی، مظفر (1394). سخن آغازین: به‌سوی ارزشیابی واقعی علم. در سنجش و ارزیابی علم (مجموعه مقالات اولین همایش ملی سنجش علم). اصفهان، 1-16.
حسین‌زاده، قوب (1390). طراحی‌ ن‍ظام‌ ارزیابی‌ ک‍م‍ی‌ پ‍ای‍ان‌‌ن‍ام‍ه‌‌ه‍ا و رس‍ال‍ه‌‌ه‍ا. تهران: پژوهشگاه علوم و فناوری اطلاعات ایران (ایرانداک).
حسینی‌مقدم، محمد (1402). هوش مصنوعی و آینده آموزش دانشگاهی در ایران. فصلنامه پژوهش و برنامه‌ریزی در آموزش عالی، 29 (1): 1-25.
دانایی‌فرد، حسن (1388). تحلیلی بر موانع خلق دانش در حوزه‌های علوم انسانی: رهنمودهایی برای ارتقای کیفیت ظرفیت سیاست ملی علم ایران. سیاست علم و فناوری، 2 (1): 1-16.
دادرس، محمدحسین و ولی وند زمانی، حسین (1391). ارزیابی عملکرد نظام پژوهش‌های غیر صنعتی ارتش جمهوری اسلامی ایران. فصلنامه علمی-پژوهشی مدیریت نظامی، 12 (48): 11- 42.
دبیرخانه شورای عالی علوم، تحقیقات و فناوری (1401). گزارش پایش و ارزیابی علم، فناوری و نوآوری در سال 1399. بازیابی 17 خرداد 1403 از https://www.atf.gov.ir/Content/media/digitallibrary/2023/5/book213/213.pdf
دفتر مطالعات ارتباطات و فناوری‌های نوین (1389). سنجش علم و فناوری (1): نظام سنجش علم و فناوری در ایران.
ربانی، علی، ربانی، رسول، همتی، رضا، قاضی‌طباطبایی، محمود و دادهیر، علی (1390). شیوه‌های جدید خلق دانش و علم‌ورزی تأملی جامعه‌شناختی بر تحول معیارهای اخلاقی و سلوک علمی در عرصه علم و فناوری. اخلاق در علوم و فناوری، 36 (1): 12-24.
زارع احمدآبادی، حبیب، جاویدی، سمیه و طحاری مهرجردی، محمدحسین (1392). ارائه الگویی برای ارزیابی عملکرد بخش پژوهش و توسعه گروه‌های فنی و مهندسی (مطالعه موردی: گروه‌های فنی و مهندسی دانشگاه یزد). فصلنامه آموزشی ایران، 15 (58): 85-99.
زارع، هادی و حجازی، سیدرضا (1390). طراحی نظام ارزیابی عملکرد تجاری‌سازی تحقیق‌های دانشگاهی. توسعه کارآفرینی، 3 (12): 142-164.
سلیمی، قاسم و حسینی، نیره (1396). تبیین چارچوب تعالی پژوهش: گامی به‌سوی ارائه الگوی نظام ارزیابی کیفیت پژوهش در آموزش عالی. رهیافت، 27 (65): 83-98.
شیوه‌نامه نحوه تشکیل و فعالیت واحدهای پژوهش و فناوری وزارت علوم، تحقیقات و فناوری (7 بهمن 1397). دانشگاه علم و صنعت ایران، معاونت فناوری، نوآوری و کارآفرینی بازیابی 17 خرداد 1403 از /http://technology.iust.ac.ir/portfolio
عباسی، محمد و اشرفی، مریم (1390). توسعه چهارچوبی برای ارزیابی عملکرد اعتبارات پژوهشی کشور. رهیافت، 21(48): 5-18.
فراستخواه، مقصود (1387). بررسی وضع موجود و مطلوب ارزیابی نظام علمی در ایران با تأکید بر بخش آموزش عالی. فصلنامه علمی-پژوهشی سیاست علم و فناوری، 1(2): 43-58.
فرهودی، رزیتا و بسته‌نگار، مهرنوش (1383). ارائه مدل ارزیابی عملکرد واحدهای پژوهشی دارای مجوز قطعی از وزارت علوم، تحقیقات و فناوری. مدیر ساز، 7 (15): 33-53.
قانعی‌راد، محمدامین (1378). الگوی ارزیابی پژوهش دانشگاهها و مؤسسات آموزش عالی. تهران: مرکز تحقیقات سیاست علمی کشور.
قورچیان، نادرقلی و شهرکی پور، حسن (1389). بررسی نظام‌های ارزیابی آموزش عالی در جهان به‌منظور ارائه مدل مناسب برای آموزش عالی کشور. پژوهش‌های مدیریت، 21(2): 1-19.
مهرابی، مسعود و منوچهری قشقایی، آزیتا (1379). مؤسسات پژوهشی کشور (بخش دولتی). تهران: مرکز تحقیقات علمی کشور.
منتظر، غلامعلی (1398). دستنامه سنندج، مدل ارزیابی مؤسسات پژوهشی کشور. تهران: مرکز نشر دانشگاهی.
مؤسسه استنادی و پایش علم و فناوری جهان اسلام (1402). رتبه‌بندی دانشگاه‌ها و مؤسسات پژوهشی ایران. بازیابی 3 خرداد 1403 از https://ur.isc.ac/Home/RankIranUniv
موسی‌خانی، مرتضی، حق‌خواه، داوود و حسن‌زاده، رقیه (1388). ارائه یک چهارچوب مفهومی برای ارزیابی عملکرد دانشگاه. فصلنامه رهبری و مدیریت آموزشی دانشگاه آزاد واحد گرمسار، 3(3): 145-161.
ناصحی، علی (1385). نگاهی به وضعیت علم و فناوری کشور (شاخص‌های نیروی انسانی). فصلنامه کتابداری و اطلاع‌رسانی، 9 (3): 67-84.
نقشه جامع علمی کشور (21 اردیبهشت 1389). ریاست دانشگاه شهید بهشتی. بازیابی 17 خرداد 1403 از /https://president.sbu.ac.ir/documents
نوروزی، عباس‌علی، ابوالقاسمی، محمود و قهرمانی، محمد (1394). بررسی موانع تولید علم از دیدگاه اعضای هیئت‌علمی دانشگاه شهید بهشتی. رهیافتی نو در مدیریت آموزشی، 6(2): 77-108.
نوروزی چاکلی، عبدالرضا (1387). بررسی و ارزیابی وضعیت موجود و مطلوب و تحلیل شکاف علم و فناوری کشور و مطالعه تطبیقی با کشورهای منتخب (ترکیه، ژاپن، ایالات‌متحده آمریکا، رژیم صهیونیستی، انگلستان، هند، پاکستان، مالزی). تهران: مرکز تحقیقات سیاست علمی کشور.
وزارت علوم، تحقیقات و فناوری، معاونت پژوهش و فناوری (1392). نتایج ارزیابی عملکرد پژوهش و فناوری دانشگاه‌ها، واحدهای پژوهشی و پارک‌های علم و فناوری وابسته به وزارت علوم، تحقیقات و فناوری. تهران: وزارت علوم، تحقیقات و فناوری.
هیئت نظارت و ارزیابی فرهنگی و علمی (1384). ارزیابی علم و فناوری در جمهوری اسلامی ایران: اولین ارزیابی خرد دانشگاه‌ها و مؤسسات پژوهشی دولتی سال 1381. تهران: شورای عالی انقلاب فرهنگی.
یوسلیانی، غلامعلی، بهرنگی، محمدرضا، آراسته، حمیدرضا و عبداللهی، بیژن (1395). طراحی و تدوین شاخص‌های ارزیابی عملکرد نظام پژوهش در آموزش‌وپرورش با رویکردی کیفی (موردمطالعه: پژوهشگاه مطالعات وزارت آموزش‌وپرورش). فصلنامه مطالعات اندازه‌گیری و ارزیابی آموزشی، 6(14): 69-109.
یوسلیانی، غلامعلی، بهرنگی، محمدرضا، آراسته، حمیدرضا و عبداللهی، بیژن (1395). طراحی الگوی ارزیابی عملکرد نظام پژوهش در آموزش‌وپرورش (موردمطالعه: گروه‌های تحقیق و پژوهش ادارات کل آموزش‌وپرورش استان‌ها). فصلنامه تعلیم و تربیت، 34 (134): 31- 52.
References
Abbasi, M., & Ashrafi, M. (1390). Development of a framework for evaluating the performance of the country's research credits. Rahyaft, 21(48): 5-18. [In Persian]
Aboui Ardakan, M., & Sultan Mohammadi, N. (2013). Designing a process model for evaluating the performance of the country's scientific development system in line with the development documents and programs of the Islamic Republic of Iran. The first national conference on quality assessment in academic systems, Tehran, Sharif University of Technology. [In Persian]
Arasteh, M., & Hosseinpour, R. (2008). Determining performance evaluation indicators of defense research centers. Quarterly Human Resource Management Research, 1(4): 115-136. [In Persian]
Behzadi, F., Rizenegar, S., Soleimani, S., & Foroughi, S. (2014). Identifying and evaluating the current state of science, technology and innovation monitoring and evaluation system. Tehran: Secretariat of the Supreme Council of Ataf. [In Persian]
Bazargan, A. (1997). Quality and its evaluation in higher education: a look at national and international experiences. Rahyaft. 15: 60-71. [In Persian]
Calabrese, A., Capece, G., Costa, R., Pillo, F. D., & Giuffrida, S. (2018). A ‘power law’ based method to reduce size-related bias in indicators of knowledge performance: An application to university research assessment. Journal of Informetrics, 12(4): 1263–1281. DOI: 10.1016/j.joi.2018.10.005
Cheshmeh Sohrabi, M. (2014). Introductory speech: Towards real evaluation of science. In measuring and evaluating science (proceedings of the first national conference on science assessment). Isfahan, 1-16. [In Persian]
Comprehensive scientific map of the country (May 21, 2019). Dean of Shahid Beheshti University. Retrieved June 17, 2024 from. [In Persian]
Cultural and Scientific Monitoring and Evaluation Board (2005). Evaluation of science and technology in the Islamic Republic of Iran: the first micro-evaluation of state universities and research institutions in 2002. Tehran: Supreme Council of Cultural Revolution. [In Persian]
Dadras, M. H., & Wali Vand Zamani, H. (2011). Evaluation of the performance of the non-industrial research system of the Islamic Republic of Iran Army. Scientific-Research Quarterly of Military Management, 12 (48): 11-42. [In Persian]
Danaeifard, H. (2008). An analysis of the obstacles to knowledge creation in the fields of humanities: guidelines for improving the quality of the capacity of Iran's national science policy. Science and Technology Policy, 2(1): 1-16. [In Persian]
ERA (2018). Peer Review Handbook. <https://www.arc.gov.au> accessed 24 Jan 2022.
Farastkhah, M. (2008). Examining the current and desirable state of evaluation of the scientific system in Iran with an emphasis on the higher education sector. Scientific-Research Quarterly of Science and Technology Policy Letters (JSTPL), 1(2): 43-58. [In Persian]
Farhoudi, R., & Bastehnegar, M. (2004). Presenting the performance evaluation model of research units with a definitive license from the Ministry of Science, Research and Technology. Manager maker, 7(15): 33-53. [In Persian]
Franceschini, F., & Maisano, D. (2017). Critical remarks on the Italian research assessment exercise VQR 2011–2014. Journal of Informetrics, 11(2): 337–357. DOI: 10.1016/j.joi.2017.02.005
Geuna, A., & Martin, B. R. (2003). University Research Evaluation and Funding: An International Comparison. Minerva, 41(4): 277–304. DOI: 10.1023/b:mine.0000005155.70870.bd
Geuna, A., & Piolatto, M. (2016). Research assessment in the UK and Italy: Costly and difficult, but probably worth it (at least for a while). Research Policy, 45(1): 260–271. DOI: 10.1016/j.respol.2015.09.004
Ghaneirad, M. A. (1378). Research evaluation model of universities and higher education institutions. Tehran: Scientific Policy Research Center of Iran. [In Persian]
Ghorchian, N., & Shahrakipour, H. (2009). Examining higher education evaluation systems in the world in order to provide a suitable model for the country's higher education. Management Research, 21 (2): 1-19. [In Persian]
Guidelines for the formation and operation of research and technology units of the Ministry of Science, Research and Technology (7 February 2018). Iran University of Science and Technology, Vice President of Technology, Innovation and Entrepreneurship Retrieved June 17, 2024 from http://technology.iust.ac.ir/portfolio. [In Persian]
Guthrie, S., Wamae, W., Diepeveen, S., Wooding, S., & Grant, J. (2013). Measuring research: A guide to research evaluation frameworks and tools. RAND EUROPE. Available at: https://www.rand.org/‌pubs/monographs/MG1217.html
Hicks, D. (2012). Performance-based university research funding systems. Research Policy, 41 (2): 251– 261. https://doi.org/10.1016/‌j.respol.2011.09.007
Hoseini Moghadam, M. (2023). Artificial Intelligence and the Future of University Education in Iran. Quarterly journal of research and planning in higher education, 29 (1): 1-25. DOI: 10.61838/IRPHE.29.1.1. [In Persian]
Hosseinzadeh, Q. (2018). Designing a quantitative evaluation system for dissertations and theses. Tehran: Research Institute of Information Science and Technology of Iran (Irandak). [In Persian]
Jamali Mehmoi, H. R. (2010). Research evaluation: approaches, methods and challenges. Rahyaft, 21(49): 39-52. [In Persian]
Jamali Mehmoi, H. R. (2011). Comparison of models and frameworks for measuring the effect of medical research. Health Information Management, 9(5): 757-767. [In Persian]
Marjanovic, S., Hanney, S., & Wooding, S. (2009). A historical reflection on research evaluation studies, their recurrent themes and challenges. RAND Europe technical report. Available at: http://www.rand.org/pubs/technical_reports/2009/rand_tr789.pdf
Marques, M., Powell, J. J., Zapp, M., & Biesta, G. (2017). How does research evaluation impact educational research? Exploring intended and unintended consequences of research assessment in the United Kingdom, 1986–2014. European Educational Research Journal, 16(6): 820–842. DOI: 10.1177/1474904117730159
Martin, B.R. (2011). The Research Excellence Framework and the ‘impact agenda’: Are we creating a Frankenstein monster?’. Research Evaluation, 20 (3): 247–254. https://doi.org/10.3152/095820211X13118583635693
Mehrabi, M., & Manochehri Qashqaei, A. (2000). Research institutions of the country (public sector). Tehran: National Scientific Research Center. [In Persian]
Ministry of Science, Research and Technology, Research and Technology Vice-Chancellor (2012). The results of evaluating the research and technology performance of universities, research units and science and technology parks affiliated to the Ministry of Science, Research and Technology. Tehran: Ministry of Science, Research and Technology. [In Persian]
Monitoring and evaluation report of science, technology and innovation in 2019 (July 12, 2022). Secretariat of the Supreme Council of Science, Research and Technology. Retrieved June 17, 2023 from https://www.atf.gov.ir/Content/media/digitallibrary/2023/5/book213/213.pdf [In Persian]
Montazer, Gh. A. (2018). Sanandaj handbook, evaluation model of the country's research institutions. Tehran: Academic Publishing Center. [In Persian]
Musakhani, M., Haqkhah, D., & Hassanzadeh, R. (2008). Providing a conceptual framework for evaluating university performance. Quarterly Journal of Educational Leadership and Management, 3(3):145-161. [In Persian]
Nasehi, A. (2006). A look at the state of science and technology in the country (manpower indicators). Library and Information Quarterly, 9 (3): 67-84. [In Persian]
 
Nowrozi Chakoli, A. (2007). Reviewing and evaluating the current and desirable situation and analyzing the country's science and technology gap and a comparative study with selected countries (Turkey, Japan, United States of America, Zionist regime, England, India, Pakistan, and Malaysia). Tehran: Scientific Policy Research Center of Iran. [In Persian]
Norouzi, A. A., Abul Qasimi, M., & Ghahrani, M. (2014). Examining obstacles to science production from the perspective of faculty members of Shahid Beheshti University. New Approaches in Educational Management, 6(2): 77-108. [In Persian]
Office of Communication and Modern Technologies Studies (2009). Science and technology assessment (1): science and technology assessment system in Iran. [In Persian]
Olia, M., & Saifullah, A. (2003). Designing the research evaluation system of the Ministry of Science, Research and Technology. Research project, Yazd University, Yazd. [In Persian]
Penfield, T., Baker, M. J., Scoble, R., & Wykes, M. C. (2014). Assessment, evaluations, and definitions of research impact: A review. Research Evaluation, 23 (1): 21-32. DOI:10.1093/reseval/rvt02
Rabbani, A., Rabbani, R., Hemmati, R., Ghazitabatabai, M., & Dadhir, A. (2010). New methods of knowledge creation and sociological reflection on the evolution of ethical standards and scientific conduct in the field of science and technology. Ethics in Science and Technology, 36(1): 12-24. [In Persian]
Ranking of Iranian universities and research institutes (3 January 2022). Islamic World Science and Technology Citation and Monitoring Institute. Retrieved June 3, 2023 from https://ur.isc.ac/Home/‌RankIranUniv [In Persian]
REF (2021). Guidance on submissions. <https://www.ref.ac.uk/publications/‌guidance-on-submissions-201901> accessed 11 Dec 2021.
Salimi, Q., & Hosseini, N. (2016). An Explanation of Research Excellence Framework (REF): a Step towards Providing a Model for Research Quality Assessment System in Nation’s Higher Education. Rahyaft, 27 (65): 83-98. [In Persian]
Williams, K., & Grant, J. (2018). A comparative review of how the policy and procedures to assess research impact evolved in Australia and the UK. Research Evaluation, 27 (2): 1–13. DOI: 10.1093/reseval/rvx042
Yousliani, G. A., Behrangi, M. R., Arasteh, H. R., & Abdullahi, B. (2015). Designing and compiling indicators for evaluating the performance of the research system in education and training with a qualitative approach (case study: research institute of the Ministry of Education and Training). Quarterly Journal of Educational Measurement and Evaluation Studies, 6(14): 109-69. [In Persian]
Yousliani, G., Behrangi, M. R., Arasteh, H. R., & Abdullahi, B. (2015). Designing a model for evaluating the performance of the research system in education and training (case study: research groups of the general departments of education and training in the provinces). Education Quarterly, 34 (134): 31-52. [In Persian]
Zare Ahmadabadi, H., Javidi, S., & Tahari Mehrjardi, M. H. (2012). Presenting a model for evaluating the performance of research and development branch of technical and engineering department (case study: Engineering and Technology Department of University of Yazd). Iranian Educational Quarterly, 15 (58): 85-99. [In Persian]
Zare, H., & Hejazi, S.R. (2019). Designing a performance evaluation system for academic research commercialization. Entrepreneurship Development, 3(12):142-164. [In Persian]
CAPTCHA Image