سنجش شباهت نظرات داوری آزاد و محتوای مقالات علمی به روش پردازش زبان طبیعی

نوع مقاله: مقاله پژوهشی

نویسندگان

1 کارشناس پژوهش/ پایگاه استنادی علوم جهان اسلام، دانشگاه شیراز

2 گروه علم اطلاعات و دانش شناسی، دانشگاه شیراز

3 عضو هیات علمی گروه علم اطلاعات و دانش شناسی دانشگاه شیراز

4 گروه آموزشی مهندسی و علوم کامپیوتر و فناوری اطلاعات، دانشکده مهندسی برق و کامپیوتر، دانشگاه شیراز، شیراز، ایران

10.30484/nastinfo.2020.2480.1937

چکیده

هدف: پژوهش حاضر به هدف شناخت قابلیت داوریهای آزاد در بازشناخت مقالات بر اساس شباهت آن‌ها به مقالات مربوطه انجام شده است.
روش پژوهش: مجموعه آزمونی متشکل از 2212 مقاله اف‌هزارریسرچ و کامنت‌های آن‌ها ساخته شد. 100 مقاله به عنوان مدرک پایه به‌صورت تصادفی انتخاب شد. شباهت کامنت‌ها و محتواهای مدارک بر اساس سنجه‌ی شباهت کسینوسی مقادیر TF-IDF در سطح تکواژه‌ها و دوواژه‌ها محاسبه شد. همبستگی شباهت محتوایی و کامنتی مقالات با تحلیل همبستگی اسپیرمن تحلیل شد. صحت پیش‌بینی شباهت محتوایی مقالات بر اساس شباهت کامنتی آنها به کمک منحنی مشخصه عملکرد سیستم آزمون شد.
یافته‌ها: همبستگی معنی‌داری میان شباهت محتوایی و کامنتی مقالات وجود دارد. منحنی‌های تحلیل عملکرد سیستم نیز نشان داد که شباهت کامنتی، خواه در سطح تکواژه‌ها و خواه دوواژه‌ها، توانایی شناسایی مقالات با محتوای مشابه را دارد
نتیجه‌گیری: توان کامنت‌های داوران در بازشناخت مقالات مشابه تایید شد. اعتبار کامنت‌های داوران ریشه در توان تخصصی و شناختی آنان دارد. بنابراین، کامنت‌ها می‌توانند در شبکه مدارک، در زمره منابع مرتبط اثربخش در بازشناخت مدارک به شمار آیند. این یافته راه را برای تحقیق در کاربرد کامنت‌ها در حوزه‌هایی مانند بازیابی، ارزیابی یا طبقه‌بندی متون که شباهت محتوایی در آن‌ها از اهمیت برخوردار است هموار می‌کند.

کلیدواژه‌ها

موضوعات


عنوان مقاله [English]

A study of the Similarity of Open Peer Reviewers’ Comments and Scientific articles’ Contents Using Natural Language Processing Techniques

نویسندگان [English]

  • Kianoosh Rashidi 1
  • Hajar Sotudeh 2
  • Mahdieh Mirzabeigi 3
  • Seyyed Mostafa Fakhrahmad 4
1 Islamic World Science Citation Center (ISC), Shiraz University
2 Faculty of Education & Pshycology, Shiraz University
3 Faculty of Education & Pshycology, Shiraz University
4 Department of Computer Science and Engineering and Information Technology, Shiraz University
چکیده [English]

Objective: The social web have provided a platform for publicizing open peer review reports. In the new open reviewing sphere, journal readers, authors, editors, and reviewers can involve in multilateral discussions on the reviewed papers and share their comments and viewpoints on the merits and probable pitfalls of the papers. The open peer review comments may, hence, reflect the features of their mother articles. In order to identify this potential, the present study investigates how probable similar comments are in accurately predicting similar papers.
Methods: Using a quantitative content analysis method, the present study applies natural language processing techniques to analyze the contents of a sample of papers in medicine and life sciences and their comments. To do so, it builds a test collection extracted from F1000Research. F1000 Research is an open access publishing platform that adheres to an open peer reviewing process by transparently providing the public with peer review reports, authors’ responses, and users’ comments about the papers openly published on the platform. The test collection consists of 2212 papers and their comments. 100 papers are randomly selected as seed documents that serve as queries. The similarities between the comments and the contents of the papers are calculated using Cosine similarity of TF-IDF values. The TF-IDF values are calculated for both unigrams and bigrams extracted from the contents and comments. The correlation between the content and comment similarities is analyzed using Spearman correlation, given the non-normality of the data distributions. The accuracy of prediction of the papers’ content similarity by the similarity of their comments is tested using Receiver Operating Characteristic (ROC) curves.
Findings: The results of the Spearman correlation reveals a significant correlation between the content and comment similarities. This signifies that more similar papers are more likely to receive similar comments and vice versa. The ROC curves show that similar comments can significantly identify the similar papers, either at unigram or bigram level. The prediction is highly accurate.
Conclusion: Similar comments are found effective in representing similar papers. In other words, similar comments are expected to present similar papers. This finding has implications for interactive information retrieval systems where users are interested in reading experts’ comments on a given paper before viewing or downloading the paper itself. The findings also may pave the path towards new studies about the application of the comments in such spheres as information retrieval, evaluation or classification, where content similarity is of importance.

کلیدواژه‌ها [English]

  • comments
  • peer reviewing
  • Natural Language Processing
  • similarity
  • ROC curve analysis