به گزارش «روابط‌ عمومی پژوهشگاه علوم و فناوری اطلاعات ایران» طرح پژوهشی «دسته‌بندی تصویرها در مدارک پایگاه اطلاعات علمی ایران (گنج) بر اساس یادگیری عمیق» توسط دکتر آزاده فخرزاده، عضو هیئت علمی پژوهشکده فناوری اطلاعات به پایان رسید.

تصویرها در اسناد علمی حاوی مطالب مهمی هستند. نویسندگان معمولاً خلاصه‌ای از روش پیشنهاد شده و نتایج مهم مقاله را در قالب نمودار گردشی و منحنی نمایش می‌دهند. تصویرها اطلاعات زیادی را در زمان کوتاهی منتقل می‌کنند. چنانچه موتورهای جستجو، تصویرها‌ی مربوط به جستجوی کاربر را در کنار فراداده‌هایی متنی در اختیار او قرار دهند، کاربر با سرعت بیشتری می‌تواند به اطلاعات موردنظر دسترسی پیدا کند. به همین دلیل امروزه تصویرها به‌عنوان یکی از منابع اطلاعاتی مهم در نظر گرفته می‌شوند و بحث بازیابی آن‌ها از پایگاه‌های داده از موضوعات مهم و به‌روز است. در «گنج» امکان جستجو بر اساس یک عبارت متنی و بازیابی و نمایش نتایج جستجو در قالب فراداده‌های متنی (عنوان، چکیده، کلیدواژه، پدیدآور، سال انتشار) وجود دارد. لیکن تصویرهای موجود در اسناد «گنج» بازیابی نمی‌شوند. فراهم کردن چنین امکانی در «گنج» به‌عنوان یک ارزش‌افزوده می‌تواند آن را از موتورهای جستجوی مشابه متمایز سازد. بازیابی اطلاعات از تصویرها به دو روشِ بافت محور و محتوا محور امکان‌پذیر است. در روش محتوا محور، محتوای بصری تصویر برای بازیابی در نظر گرفته می‌شود. به دلیل پیچیدگی‌های تصویرها‌ی علمی، جهت استخراج اطلاعات از محتوای تصویرها و استفاده از روش‌های محتوا محور، ابتدا باید آن‌ها را دسته‌بندی کرد. در این تحقیق، ابتدا 9144 تصویر به‌صورت تصادفی در شش حوزه مختلف  از رساله‌ها و پایان‌نامه‌های گنج انتخاب شده و توسط خبرگان برچسب زده شده است. تصاویر به یازده دسته شامل نمودار میله‌ای، تصویر طبیعی، نمودار دایره‌ای، نمودار ساختارمند، رسم‌فنی، منحنی x-y، نقشه‌ها و تصاویر اسلاید، جدول‌ها، نمودارهای جعبه‌ای، نمودارهای سه‌بعدی دسته‌بندی شده‌اند. با توجه به کوچک بودن حجم داده آموزشی، روش یادگیری عمیق بر اساس شبکه موبایل نت به کار گرفته شده است. موبایل نت در مقایسه با شبکه‌های موجود، تعداد پارامترهای به‌مراتب کمتر و دقت قابل‌قبولی داشته است. از آنجاییکه داده آموزشی به شدت نامتقارن بوده، از روش‌ اعتبارسنجی متقابل طبقه‌ای وتابع زیان آنتروپی متقاطع در آموزش شبکه استفاده شده است. مدل معرفی‌شده بادقت 0.9 قابلیت دسته‌بندی تصاویر موجود در گنج را داشته است.