سنجش نوآفرینی سند علمی بر پایه مدل‌های زبانی و درونه‌گیری‌ کلیدواژه‌ها

نوآفرینی یکی از پایه‌های اصلی در یک اثر علمی است که مبنای بسیاری از داوری‌ها درباره کیفیت و اثرگذاری آن اثر قرار می‌گیرد. همچنین نوآفرینی اثر به نوعی شکل‌دهنده پیشرفت‌های علمی است. میزان نوآفرینی در یک اثر علمی می‌تواند به عنوان معیاری برای ارزیابی نتایج آن اثر باشد به گونه‌ای که دربرخورداری آن از بودجه‌های علمی و پژوهشی و تخصیص منابع مختلف تعیین کننده است. از طرفی دیگر با توجه به ابزارهای جدید هوش مصنوعی برای تولید محتوی علمی، نوآفرینی یک اثرعلمی تا حدی می‌تواند بیانگر این باشد که محتوی اثر تا چه حد توسط انسان تولید شده و تا چه حد برمبنای دانش پیشین و مبتنی بر ابزارهای هوش مصنوعی بوده است. برای سنجش میزان نوآفرینی اثر علمی که به آن امتیاز نوآفرینی (Novelty score) نیز گفته می‌شود، روش‌های مختلفی ارائه شده است. در ابتدا، تعداد زیادی از روش‌ها بر مبنای بررسی منابع اثر و ارتباط بین آنها بوده و تعدادی نیز بر مبنای بررسی واژگان تخصصی و رخداد آنها در متون مشابه. با توسعه روش‌های درونه‌گیری واژگانی (word embedding) و توسعه انواع مدل‌های بزرگ زبانی (Large Language Models-LLMs)، امکان مقایسه محتوی معنایی متون نیز فراهم شده که نسل جدید روش‌های سنجش نوآفرینی از سال 2020 به بعد نیز از این مدل‌ها استفاده کرده‌اند. اکثر روش‌های سنجش نوآفرینی برای مستندات علمی انگلیسی پیاده‌سازی شده و بسیاری از آنها با توجه به در دسترس بودن اصطلاح‌نامه‌های تخصصی مانند MeSH تنها برای متون تخصصی پزشکی کاربرد داشتند. در این طرح پژوهشی روشی طراحی و توسعه می‌یابد که برای سنجش امتیاز نوآفرینی اسناد علمی فارسی بکار گرفته می‌شود. یکی از روش‌هایی که اخیرا در حوزه سنجش امتیاز نوآفرینی اثر پیشنهاد شده بر مبنای بررسی نوآفرینی در محتوی (content) و نوآفرینی در زمینه (context) است. در این روش از ویژگی‌های مختلفی برای بازنمود محتوی و زمینه استفاده شده است. در این طرح پژوهشی، بر پایه نوآفرینی محتوی و زمینه، کلیدواژه‌ها به عنوان یکی از مهمترین عناصر دانشی برای بیان میزان نوآفرینی محتوی در نظر گرفته می‌شوند. همچنین از اصطلاح‌نامه‌های تخصصی فارسی برای بررسی کلیدواژه‌های متن و ارتباط بین آنها استفاده می‌شود. برای بازنمایی محتوی متن، روش‌های درونه‌گیری واژگانی و مدل‌های بزرگ زبانی نیز بکار گرفته می‌شود. ابتدا با مرور تحقیقات پیشین، انواع ویژگی‌هایی که می‌توانند بیانگر میزان نوآفرینی در یک اثر علمی از نظر محتوی و زمینه باشند، شناسایی می‌شوند. سپس روشی برای سنجش تعدادی ازاین ویژگی‌ها با در نظر گرفتن محدودیت‌های دسترسی به داده‌ها (مانند محدودیت دسترسی به ارجاعات متون) طراحی می‌شود. سپس با فراهم آوری مجموعه‌ای از دادگان، روش پیشنهادی ارزیابی می‌شود. مجموعه دادگانی که برای ارزیابی روش پیشنهادی استفاده می‌شود، مجموعه‌ای از مقالات پژوهشنامه پردازش و مدیریت اطلاعات است. از آنجاییکه در فرم‌های داوری مقالات پژوهشنامه،  نوآوری مقاله از نظر داوران، ارزیابی می‌شود، این اطلاعات می‌تواند برای تشکیل مجموعه دادگانی که نوآوری آنها مشخص است استفاده کرد و به عنوان مجموعه‌ای دادگان تست آنها را در نظر گرفت. از بین مقالات پژوهشنامه، مقالاتی در نظر گرفته می‌شود که در فرم‌های داوری آنها، نوآوری مشخص شده باشد و متن مقاله نیز در قالب فایل ورد در دسترس باشد.