Usability of the National Library and Archives of Iran (NLAI) Digital Library based on User Experience

Document Type : Research َ Article

Author

Faculty Member of National library and archives of I.R. Iran

Abstract

Purpose: To evaluate the usability of the digital library of the National Library and Archives of Iran (NLAI) based on user experience.
Method: A heuristic mixed method (convergent parallel approach) was used. To evaluate the usability of the digital library, a multifaceted approach was adopted and various techniques were used, including usability test, questionnaires, interview, observation, and Think-aloud protocol.  Eight tasks were defined for users to identify their path, problems and challenges, their confusion in the path, and the so-called pain points and ambiguous words of the website. SPSS software was used for quantitative data analysis and MaxQda software for qualitative interview data analysis. The systematic observation was carried out using Faststone and Ocam softwares. Two groups including novice users (clients) and advanced (librarians) participated in the study. Qualitative content analysis was used to analyze the oCam collected from interviews. In order to validate the findings, the Methodological Triangulation method and Lincoln and Cuba criteria were used.
Findings: Paying attention to the average of tasks performed by novice users (clients) and advanced (librarians) showed that registering a new user account took the most amount of time (more than 6 minutes). The overall average difficulty and ease of completing tasks without separating the two groups of users showed that Task 5 with an average of 3.45 and Task 2 with an average of 3.35 were the most difficult tasks, while Task 8 with an average of 2.25, was the easiest. Feedbacks received from novice and advanced users about the usability of evaluation criteria of the digital library (satisfaction rate, ease of operation, ease of navigation, site attractiveness, layout of information elements, etc.) showed that some components did not receive the average score of 3. For example, organizing website information with an average of 1.70, and visually attractiveness with an average of 2.10 are not desirable from the point of view of advanced users. Monitoring the level of user satisfaction with NLAI’s digital library showed that only 30% of novice users and 10% of advanced users were satisfied with their performance on the website. Numerous problems and challenges were reported during the completion of the tasks defined for the users. These challenges include complexity of processes (complex resource search process; registration process complexity; and search fields), poor understanding of site tags and concepts, arrangement of site elements, redundancy and multiplicity of options, visual appearance of the site, inappropriate retrieval, technical issues, inconsistencies, collection, and access constraints, wasted user time, variety of resource formats, and digital resource display.
Conclusion: Comparing the means of the two groups of novice and advanced users indicates that advanced users spend more time performing their tasks. Paying attention to the unsuccessful attempts between the two user groups and comparing them with each other showed that the rate of unsuccessful attempts was higher among advanced users than novice users. Advanced users were more unsuccessful because of the strategies and perceptions they had of the search. They naturally tended to use advanced search instead of simple search. This perception led to an increase in the number of unsuccessful attempts, as the advanced search of the digital library was very confusing.

Highlights

الوانکار، الهام‌السادات، فهیم‌نیا، فاطمه، نقشینه، نادر، و نشاط، نرگس (۱۳۹۹الف). تجربه کاربر در وبگاه سازمان اسناد و کتابخانه ‌‌‌‌‌‌ملی ایران. پژوهشنامه پردازش و مدیریت اطلاعات، 36(2)، 501-532.‎

الوانکار، الهام‌السادات، فهیم‌نیا، فاطمه، نشاط، نرگس، و نقشینه، نادر (۱۳۹۹ب). رویکردی نو به خدمتی کهن: استفاده از تجربه کاربر در بهبود خدمات کتابخانه‌ای. مطالعات ‌‌‌‌‌‌ملی کتابداری و سازماندهی اطلاعات، ۳۱(۲)، ۵۲-۶۴.

ایمان، محمدتقی، آقاپور، اسلام (1386). تکنیک زاویه‌بندی در تحقیقات علوم انسانی. فصلنامه حوزه و دانشگاه، 13(52)، 25-43.

بتلی، سو (1394). معماری اطلاعات برای حرفه‌مندان اطلاع‌رسانی. ترجمه محسن نوکاریزی، با همکاری الهام یوسف‌زاده‌‌نجدی. ‌تبریز. تهران: چاپار.

جلالی دیزجی، علی، علیپورحافظی، مهدی، و ادبی فیروزجاه، حسین (1396). ارزیابی کاربردپذیری کتابخانه‌های دیجیتالی در دانشگاه‌های دولتی شهر تهران. فصلنامه بازیابی دانش و نظام‌های معنایی، 4(10)، ص 61-80.

رجبعلی‌بگلو، رضا (1394). واکاوی نقشه‌شناختی و ارزش‌آفرینی مشترک میان کاربران، کتابداران و طراحان نرم‌افزارهای کتابخانة دیجیتال در ایران بر پایه نظریه وسیله-هدف. رساله دکتری رشته علم اطلاعات و دانش‌شناسی، دانشگاه فردوسی مشهد، دانشکده روانشناسی و علوم تربیتی.

رجبعلی‌بگلو، رضا، فتاحی، رحمت‌الله، و پریرخ، مهری (1395). تجربه کاربر در تعامل با نظام‌های کتابخانة دیجیتال در ایران: کاستی‌ها و انتظارات. اولین کنفرانس بین‌المللی بازیابی تعاملی اطلاعات.

طباطبایی، امیر، حسنی، پرخیده، مرتضوی، حامد و طباطبایی‌چهر، محبوبه (1392). راهبردهایی برای ارتقاء دقت علمی در تحقیقات کیفی. مجله دانشگاه علوم پزشکی خراسان شمالی، 5(3)، 663-670.

عباس‌زاده، محمد (1391). تاملی بر اعتبار و پایایی در تحقیقات کیفی. جامعه‌شناسی کاربردی، 23(45)، 19-34.

کاظم‌پور، زهرا، ناخدا، مریم، میرزابیگی، مهدیه، و نقشینه، نادر (1396). رابطه مدل‌های ذهنی دانشجویان تحصیلات تکمیلی دانشگاه علوم پزشکی اصفهان با رفتار جستجوی وبی آن‌ها. مدیریت اطلاعات سلامت، 14(5)، 217-223.‎

گرت، جسی جیمز (1395). المان‌های تجربه کاربری: طراحی کاربرمحور در وب و فراتر از آن. ترجمه الهام راسخ، محسن لطفعلی‌پور، سیدمیثم حدیقه، و محسن فقیهی. تهران: ناقوس.

محمداسماعیل، صدیقه، کاظمی کوهبنانی، سمیه (1389). ارزیابی مقایسه‌ای کابردپذیری وب‌سایت‌های کتابخانه‌های ملی کشور جمهوری اسلامی ایران و همسایگانش.‎ مطالعات کتابداری و علم اطلاعات، 1-17(5)، 109-140.

نارمنجی (1396) ارزیابی کاربردپذیری سامانه مدیریت کتابخانه‌های عمومی کشور (سامان) بر اساس اصول دهگانه نیلسون. تحقیقات اطلاع‌رسانی و کتابخانه‌های عمومی، 23(2)، 199-217.

نجفی، الهه، افرازه، عباس، و نجفی، احسان (1386). بررسی علل ناکارآمدی راهنمای کاربران در تطبیق بیشتر مدل‌های ذهنی کاربران با نرم افزار تولید شده.‎ کنفرانس بین‌المللی شهر الکترونیک تهران.

نوروزی، یعقوب، متظهری، شهناز (1393). ارزیابی رابط کاربر کتابخانه‌های دیجیتالی ‌‌‌ملی برگزیده جهان: معیارهایی پیشنهادی برای کتابخانة دیجیتالی کتابخانه ‌‌‌ملی ایران. فصلنامه مطالعات ‌‌‌ملی کتابداری و سازماندهی اطلاعات، 25(4)، 7-20.‎

Abbaszadeh, M. (2012). Validity and reliability in qualitative researches. Journal of Applied Sociology, 23(45), 19-34.

Ali, M. U., & Aasim, M. (2009). Usability Evaluation of Digital Library BTH a case study. Dissertation presented to the School of Computing, Blekinge Institute of Technology for the degree of Master of Science in Computer Science.

Alghanem, H. (2019). Assessing the usability of the Saudi Digital Library from the perspective of Saudi scholarship students. In Proceedings of the 2019 3rd International Conference on Computer Science and Artificial Intelligence, 299-306.

Alshaheen, R. I. (2018). User experience and information architecture of national library websites. Dissertation presented to the faculty of Simmons University, for the degree of Doctor of Philosophy.

Alvankar E, Fahimnia F, Neshat N, & Naghshineh N. (2020). User Experience in the Website of the National Library and Archive of Iran. Iranian Journal of Information processing and Management, 36(2) :501-532 [In Persian]

Alvankar, E., Fahimnia, F., Neshat, N., & Naghshine, N. (2020). A New Way to Do Old Work: Exploring User Experience to Improve Library Service. Librarianship and Information Organization Studies, 31(2), 52-64. [In Persian]

Batley, S. (1394). Information architecture for information professionals. Tehran, Chapar. [In Persian]

Dalveren, G. G. M., & Peker, S. (2022). Accessibility and Usability Evaluation of Digital Library Article Pages. In App and Website Accessibility Developments and Compliance Strategies (pp. 58-76). IGI Global.

Dickstein, R., & Mills, V. (2000). Usability testing at the University of Arizona Library: how to let the users in on the design. Information technology and libraries, 19(3), 144-151.

Jalali Dizajji, A., Alipour Hafezi, M., & adabi firozjah, H. (2017). Evaluation of Usability of Digital Libraries in Governmental Universities of Tehran. Knowledge Retrieval and Semantic Systems, 4(10), 61-80. [In Persian]

Garrett, J.J. (2000). The Elements of User Experience. Reterieved 2022/04/29 from: http://uxdesign.com/assets/Elements-of-User-Experience.pdf

Garrett, J.J. (2016). The elements of user experience: user-centered design for the web and beyond. Translated by Elham Rasekh, Mohsen Lotfalipour, seyed Meisam Hadigheh, and Mohsen Faghihi. Tehran: Naghoos Publication. [In Persian]

Halim, F. (2019). Usability evaluation for digital library: A case study of library websites, Mikroskil. In 2019 Fourth International Conference on Informatics and Computing (ICIC) (pp. 1-6). IEEE.

Iman, M.T., & Aghapour, I. (2007). Triangulation technique in humanities research. Quarterly Journal of the seminary and university, 13(52), 25-43.

ISO/TS 20282-2 (2013). Usability of consumer products and products for public use. Accessed 2021/08/29 from: https://www.iso.org/obp/ui/#iso:std:iso:ts:20282:-2:ed-2:v1:en

Kazempour, Z., Nakhoda, M., Mirzabeigi, M., & Naghshineh, N. (2017). Relationship between mental models of graduate students of Isfahan University of Medical Sciences and their web search behavior. Health Information Management, 14(5), 217-223. [In Persian]

Kous, K., Pušnik, M., Heričko, M., & Polančič, G. (2020). Usability evaluation of a library website with different end user groups. Journal of Librarianship and Information Science, 52(1), 75-90.

Mohammad Ismail, S., & Kazemi Koohbanani, S. (1389). Comparative evaluation of usability of websites of the national libraries of the Islamic Republic of Iran and its neighbors, Library and Information Science Studies, Vol. 5, 109-140. [In Persian]

Morville, P. (2004). User Experience Design. Reterieved 2022/04/29 from: http://semanticstudios.com/user_experience_design/

Najafi, E., Afrazeh, A., & Najafi, E. (1386). Investigating the causes of inefficiency of user guides in further adapting users' mental models to the software produced. International Conference of Electronic City of Tehran. [In Persian]

Narmenji, M. (2017). User Interface capabilities of Saman Library Sistem of Iran Public Libraries Foundation based on Nilsson’s principles. Research on Information Science & Public Libraries, 23(2), 199-217. [In Persian]

Norouzi, Y., & Motazhari, S. (2015). Evaluation of User Interfaces of Selected National Digital Libraries: Suggestions for the Iranian National Digital Library. Librarianship and Information Organization Studies, 25(4), 7-20. [In Persian]

Rajabali Beglou, R. (2015). Cognitive mapping and value creation research among users, librarians and digital library software designers in Iran based on device-objective theory. PhD Thesis in Knowledge and Information Science, Ferdowsi University of Mashhad, Faculty of Psychology and Educational Sciences. [In Persian]

Rajabali Beglou, R., Fattahi, R., & Parirokh, M. (2016). User experience in interacting with digital library systems in Iran: shortcomings and expectations. The first international conference on interactive information retrieval. [In Persian]

Rogers, R. (2009). Usability Analysis of a Caribbean Academic Library Website: A Case Study. OCLC Systems and Services, 25(3), 200-211.

Rosenfeld, L., MorvilleT P., & Arango, J. (2015). Information Architecture: For the Web and Beyond. Canada: O’Reilly Media, Inc.

Sari, U. R., Sabariah, M. K., & Effendy, V. (2018). Information architecture design for travel website using top-down approach on card sorting method. In AIP Conference Proceedings, 1977(1), p. 030027). AIP Publishing LLC.

Schall, A. (2014). Information architecture and web navigation. In: Eye tracking in user experience design (pp. 139-162). Morgan Kaufmann.

Stone, R. B. (2001). Learning and the importance of interactivity information design becomes interaction design. In Proceedings Fifth International Conference on Information Visualisation: 624-629. IEEE.

Tabatabaee A, Hasani, P., Mortazavi, H., & Tabatabaeichehr, M. (2013). Strategies to enhance Rigour in qualitative research. 5(3), 663-671.

Tidwell, J. (2006). Designing Intrerfaces. Sebastopol, CA: O'Reilly.

Xie, H. I. (2008). Users’ evaluation of digital libraries (DLs): Their uses, their criteria, and their assessment. Information processing & management, 44(3), 1346-1373.

Keywords

Main Subjects

References

الوانکار، الهام‌السادات، فهیم‌نیا، فاطمه، نقشینه، نادر، و نشاط، نرگس (1399الف). تجربه کاربر در وبگاه سازمان اسناد و کتابخانه ‌‌‌‌‌‌ملی ایران. پژوهشنامه پردازش و مدیریت اطلاعات، 36(2)، 501-532.‎
الوانکار، الهام‌السادات، فهیم‌نیا، فاطمه، نشاط، نرگس، و نقشینه، نادر (1399ب). رویکردی نو به خدمتی کهن: استفاده از تجربه کاربر در بهبود خدمات کتابخانه‌ای. مطالعات ‌‌‌‌‌‌ملی کتابداری و سازماندهی اطلاعات، 31(2)، 52-64.
ایمان، محمدتقی، آقاپور، اسلام (1386). تکنیک زاویه‌بندی در تحقیقات علوم انسانی. فصلنامه حوزه و دانشگاه، 13(52)، 25-43.
بتلی، سو (1394). معماری اطلاعات برای حرفه‌مندان اطلاع‌رسانی. ترجمه محسن نوکاریزی، با همکاری الهام یوسف‌زاده‌‌نجدی. ‌تبریز. تهران: چاپار.
جلالی دیزجی، علی، علیپورحافظی، مهدی، و ادبی فیروزجاه، حسین (1396). ارزیابی کاربردپذیری کتابخانه‌های دیجیتالی در دانشگاه‌های دولتی شهر تهران. فصلنامه بازیابی دانش و نظام‌های معنایی، 4(10)، ص 61-80.
رجبعلی‌بگلو، رضا (1394). واکاوی نقشه‌شناختی و ارزش‌آفرینی مشترک میان کاربران، کتابداران و طراحان نرم‌افزارهای کتابخانة دیجیتال در ایران بر پایه نظریه وسیله-هدف. رساله دکتری رشته علم اطلاعات و دانش‌شناسی، دانشگاه فردوسی مشهد، دانشکده روانشناسی و علوم تربیتی.
رجبعلی‌بگلو، رضا، فتاحی، رحمت‌الله، و پریرخ، مهری (1395). تجربه کاربر در تعامل با نظام‌های کتابخانة دیجیتال در ایران: کاستی‌ها و انتظارات. اولین کنفرانس بین‌المللی بازیابی تعاملی اطلاعات.
طباطبایی، امیر، حسنی، پرخیده، مرتضوی، حامد و طباطبایی‌چهر، محبوبه (1392). راهبردهایی برای ارتقاء دقت علمی در تحقیقات کیفی. مجله دانشگاه علوم پزشکی خراسان شمالی، 5(3)، 663-670.
عباس‌زاده، محمد (1391). تاملی بر اعتبار و پایایی در تحقیقات کیفی. جامعه‌شناسی کاربردی، 23(45)، 19-34.
کاظم‌پور، زهرا، ناخدا، مریم، میرزابیگی، مهدیه، و نقشینه، نادر (1396). رابطه مدل‌های ذهنی دانشجویان تحصیلات تکمیلی دانشگاه علوم پزشکی اصفهان با رفتار جستجوی وبی آن‌ها. مدیریت اطلاعات سلامت، 14(5)، 217-223.‎
گرت، جسی جیمز (1395). المان‌های تجربه کاربری: طراحی کاربرمحور در وب و فراتر از آن. ترجمه الهام راسخ، محسن لطفعلی‌پور، سیدمیثم حدیقه، و محسن فقیهی. تهران: ناقوس.
محمداسماعیل، صدیقه، کاظمی کوهبنانی، سمیه (1389). ارزیابی مقایسه‌ای کابردپذیری وب‌سایت‌های کتابخانه‌های ملی کشور جمهوری اسلامی ایران و همسایگانش.‎ مطالعات کتابداری و علم اطلاعات، 1-17(5)، 109-140.
نارمنجی (1396) ارزیابی کاربردپذیری سامانه مدیریت کتابخانه‌های عمومی کشور (سامان) بر اساس اصول دهگانه نیلسون. تحقیقات اطلاع‌رسانی و کتابخانه‌های عمومی، 23(2)، 199-217.
نجفی، الهه، افرازه، عباس، و نجفی، احسان (1386). بررسی علل ناکارآمدی راهنمای کاربران در تطبیق بیشتر مدل‌های ذهنی کاربران با نرم افزار تولید شده.‎ کنفرانس بین‌المللی شهر الکترونیک تهران.
نوروزی، یعقوب، متظهری، شهناز (1393). ارزیابی رابط کاربر کتابخانه‌های دیجیتالی ‌‌‌ملی برگزیده جهان: معیارهایی پیشنهادی برای کتابخانة دیجیتالی کتابخانه ‌‌‌ملی ایران. فصلنامه مطالعات ‌‌‌ملی کتابداری و سازماندهی اطلاعات، 25(4)، 7-20.‎
Abbaszadeh, M. (2012). Validity and reliability in qualitative researches. Journal of Applied Sociology, 23(45), 19-34.
Ali, M. U., & Aasim, M. (2009). Usability Evaluation of Digital Library BTH a case study. Dissertation presented to the School of Computing, Blekinge Institute of Technology for the degree of Master of Science in Computer Science.
Alghanem, H. (2019). Assessing the usability of the Saudi Digital Library from the perspective of Saudi scholarship students. In Proceedings of the 2019 3rd International Conference on Computer Science and Artificial Intelligence, 299-306.
Alshaheen, R. I. (2018). User experience and information architecture of national library websites. Dissertation presented to the faculty of Simmons University, for the degree of Doctor of Philosophy.
Alvankar E, Fahimnia F, Neshat N, & Naghshineh N. (2020). User Experience in the Website of the National Library and Archive of Iran. Iranian Journal of Information processing and Management, 36(2) :501-532 [In Persian]
Alvankar, E., Fahimnia, F., Neshat, N., & Naghshine, N. (2020). A New Way to Do Old Work: Exploring User Experience to Improve Library Service. Librarianship and Information Organization Studies, 31(2), 52-64. [In Persian]
Batley, S. (1394). Information architecture for information professionals. Tehran, Chapar. [In Persian]
Dalveren, G. G. M., & Peker, S. (2022). Accessibility and Usability Evaluation of Digital Library Article Pages. In App and Website Accessibility Developments and Compliance Strategies (pp. 58-76). IGI Global.
Dickstein, R., & Mills, V. (2000). Usability testing at the University of Arizona Library: how to let the users in on the design. Information technology and libraries, 19(3), 144-151.
Jalali Dizajji, A., Alipour Hafezi, M., & adabi firozjah, H. (2017). Evaluation of Usability of Digital Libraries in Governmental Universities of Tehran. Knowledge Retrieval and Semantic Systems, 4(10), 61-80. [In Persian]
Garrett, J.J. (2000). The Elements of User Experience. Reterieved 2022/04/29 from: http://uxdesign.com/assets/Elements-of-User-Experience.pdf
Garrett, J.J. (2016). The elements of user experience: user-centered design for the web and beyond. Translated by Elham Rasekh, Mohsen Lotfalipour, seyed Meisam Hadigheh, and Mohsen Faghihi. Tehran: Naghoos Publication. [In Persian]
Halim, F. (2019). Usability evaluation for digital library: A case study of library websites, Mikroskil. In 2019 Fourth International Conference on Informatics and Computing (ICIC) (pp. 1-6). IEEE.
Iman, M.T., & Aghapour, I. (2007). Triangulation technique in humanities research. Quarterly Journal of the seminary and university, 13(52), 25-43.
ISO/TS 20282-2 (2013). Usability of consumer products and products for public use. Accessed 2021/08/29 from: https://www.iso.org/obp/ui/#iso:std:iso:ts:20282:-2:ed-2:v1:en
Kazempour, Z., Nakhoda, M., Mirzabeigi, M., & Naghshineh, N. (2017). Relationship between mental models of graduate students of Isfahan University of Medical Sciences and their web search behavior. Health Information Management, 14(5), 217-223. [In Persian]
Kous, K., Pušnik, M., Heričko, M., & Polančič, G. (2020). Usability evaluation of a library website with different end user groups. Journal of Librarianship and Information Science, 52(1), 75-90.
Mohammad Ismail, S., & Kazemi Koohbanani, S. (1389). Comparative evaluation of usability of websites of the national libraries of the Islamic Republic of Iran and its neighbors, Library and Information Science Studies, Vol. 5, 109-140. [In Persian]
Morville, P. (2004). User Experience Design. Reterieved 2022/04/29 from: http://semanticstudios.com/user_experience_design/
Najafi, E., Afrazeh, A., & Najafi, E. (1386). Investigating the causes of inefficiency of user guides in further adapting users' mental models to the software produced. International Conference of Electronic City of Tehran. [In Persian]
Narmenji, M. (2017). User Interface capabilities of Saman Library Sistem of Iran Public Libraries Foundation based on Nilsson’s principles. Research on Information Science & Public Libraries, 23(2), 199-217. [In Persian]
Norouzi, Y., & Motazhari, S. (2015). Evaluation of User Interfaces of Selected National Digital Libraries: Suggestions for the Iranian National Digital Library. Librarianship and Information Organization Studies, 25(4), 7-20. [In Persian]
Rajabali Beglou, R. (2015). Cognitive mapping and value creation research among users, librarians and digital library software designers in Iran based on device-objective theory. PhD Thesis in Knowledge and Information Science, Ferdowsi University of Mashhad, Faculty of Psychology and Educational Sciences. [In Persian]
Rajabali Beglou, R., Fattahi, R., & Parirokh, M. (2016). User experience in interacting with digital library systems in Iran: shortcomings and expectations. The first international conference on interactive information retrieval. [In Persian]
Rogers, R. (2009). Usability Analysis of a Caribbean Academic Library Website: A Case Study. OCLC Systems and Services, 25(3), 200-211.
Rosenfeld, L., MorvilleT P., & Arango, J. (2015). Information Architecture: For the Web and Beyond. Canada: O’Reilly Media, Inc.
Sari, U. R., Sabariah, M. K., & Effendy, V. (2018). Information architecture design for travel website using top-down approach on card sorting method. In AIP Conference Proceedings, 1977(1), p. 030027). AIP Publishing LLC.
Schall, A. (2014). Information architecture and web navigation. In: Eye tracking in user experience design (pp. 139-162). Morgan Kaufmann.
Stone, R. B. (2001). Learning and the importance of interactivity information design becomes interaction design. In Proceedings Fifth International Conference on Information Visualisation: 624-629. IEEE.
Tabatabaee A, Hasani, P., Mortazavi, H., & Tabatabaeichehr, M. (2013). Strategies to enhance Rigour in qualitative research. 5(3), 663-671.
Tidwell, J. (2006). Designing Intrerfaces. Sebastopol, CA: O'Reilly.
Xie, H. I. (2008). Users’ evaluation of digital libraries (DLs): Their uses, their criteria, and their assessment. Information processing & management, 44(3), 1346-1373.
Send comment about this article
CAPTCHA Image

Files

History

  • Receive Date: 08 April 2022
  • Revise Date: 30 April 2022
  • Accept Date: 17 May 2022

Share

How to cite

Statistics