دوره بینظیر آموزش طراحی سایت جستجو گر خبر
به نام خدا
با دوره ی آموزش Asp.net MVC 5.2 و C#.NET به صورت پروژه محور درقالب سیستم جستوجوگر خبر در خدمت شما هستیم. در این دوره با هم یک اسپایدر جستوجوگر خبر خواهیم ساخت که فقط کافیه اطلاعت اولیه ی یک سایت رو بهش بدید تا اخبار موجود را برای شما واکشی کنه و در دیتابیس ذخیره سازی نمایید. در این دوره ما از HtmlAgilityPack برای خواندن صفحات Html استفاده کریدم و اخبار و اطلاعات لازم را از صفحه بیرون خواهیم کشید. (توجه کنید که مثل خبرخوان های ساده از RSS) استفاده نخواهیم کرد و همانند گوگل ما هم اطلاعات اصلی را خواهیم خوند. همچنین این اسپایدر قابلیت زمانبندی و ابدیت خودکار اخبار و همچنین حذف اتوماتیک اخبار را داراست که طبق الگوهای خاصی ما آن را برنامه ریزی کرده ایم عمل می کند. و همچنین قابلیت سازگار شدن با سایت ها را دارد که بار اول ممکن است در یک سایت کمی کُند باشد ولی بار دوم خیلی سریع تر خواهد بود و تمام لینک های زاید را خود می شناسد و از بازکردن آن ها خوداری مییکند. برای کسب اطلاعات بیشتر به سرفصل ها مراجعه بفرمایید.
تکنولوژی هایی که در این دوره به صورت حرفه ای یاد خواهیم گرفت و با هم تلفیق می کنیم:
- net MVC
- C#.Net
- XPath
- HtmlAgilityPack
- Regular Expression
- برنامه نویسی سمت اینترنت
- Web Service
توجه بفرمایید اگر می خواهید این دوره را دنبال کنید و با Asp.net MVC اشنایی ندارید می توانید از دوره ی آموزش مقدماتی تا حرفه ای سیستم سایت خبری با Asp.net MVC 5.2 در سایت دانشجویار که مدرسش خودم هستم دیدن بفرمایید و اول اون رو ببینید…
سرفصل ها به صورت کلی:
- آماده سازی بانک اطلاعاتی
- آماده سازی قالب
- طراحی بخش ارتباط با کاربر با net MVC
- آموزش Regular Expression
- بیرون کشیدن اخبار یک بخش با Regular
- برسی یک نمونه از XPath روی یک سایت خبری
- توضیحات مربوط به XPath
- آموزش HtmlAgilityPack
- تلفیق XPath و HtmlAgilityPack در یک پروژه ی ساده و واکشی یک خبر
- بازگشت به پروژه ی اصلی
- ایجاد اسپایدر مربوط به لینک ها
- مقدمه ای بر برنامه نویسی تحت ویندوز
- ارتباط با بانک اطلاعاتی
- طراحی ظاهر اسپایدر
- ایجاد بخش دنبال کننده ی لینک ها
- بخش تفکیک لینک های داخلی و خارجی
- کامل سازی دریافت کننده ی کل لینک های داخلی سایت
- ایجاد بخش دریافت XPath مربوط به سایت
- تکمیل بخش دریافت کننده ی اخبار
- هوشمند سازی اسپایدر برای رد کردن صفحاتی که الگوی ما را ندارند
- دریافت لیست ایمیل ها و ذخیره در دیتا بیس
- دریافت لیست سایت ها و عنوان و مشخصات آنها و دخیره
- ایجاد قسمت زمان بندی برای کار اسپایدر.(مثلا شب ها از ساعت ۱ تا ۵ صبح)
- مقدمه ای بر بروز رسانی سایت ها و طبیق اطلاعات ما با آن ها
تست پروژه ی اصلی ما
ایجاد وب سرویس برای استفاده در اندروید و نرم افزار های ویندوزی
ایجاد فایل DLL برای آسان سازی کار با وب سرویس ها
سرفصل ها به صورت جزئی که در هر بخش چه کارهایی انجام دادیم:
بخش اول:
معرفی مدرس و دوره
بخش دوم:
بخش اول ایجاد دیتابیس + بهینه سازی در SQL Server 2014
بخش سوم:
بخش دوم ایجاد دیتابیس + بهینه سازی در SQL Server 2014
بخش چهارم:
آماده سازی قالب
بخش پنجم:
افزودن مقادیر اولیه به دیتابیبس
افزودن پک های لازم به پروژه
استارت طراحی خود سایت خبری
بخش ششم:
نمایش اخبار در صفحه ی اصلی
صفه بندی اخبار
ایجاد صفحه ی اختصاصی هر خبر
بخش هفتم:
تکمیل بخش های اضافی سایت
بخش هشتم:
دسته بندی اخبار مانند سایت شهر خبر(ورزشی، اقتصادی و …) به صورت بلوک بندی شده
ایجاد بخش دسته بندی اصلی ساییت
بخش نهم:
ایجاد بخش گزارش تخلف (ارسال پیام اتوماتیک) و تماس با ما
بخش کلمات کلیدی خبر(بصورت پیشرفته)
بخش دهم:
بخش مدیریت سایت
بخش ورود به سایت
مدیریت اخبار جمع آوری شده ی جستوجوگر
بخش یازدهم:
ایجاد بخش گزارشات تخلف و مدیریت آن ها
بخش دوازدهم:
مدیریت دسته بندی
بخش سیزدهم:
آموزش Regular
بخش چهاردهم:
عبارات با قاعده در C#
مثال هایی از عبارات با قاعده یا Regular در C#
بخش پانزدهم:
خوندن اطلاعات سایت با استفاده از Regular Ex
بخش شانزدهم:
مقدمه ای بر XPath
نحوه ی دریافت XPath یک بخش از یک صفحه
خواندن داده ها با استفاده از XPath
بخش هفدهم:
توضیحات اصلی و ضروری
استارت ایجاد اسپایدر
آماده سازی پروژه ی اصلی
بخش هجدهم:
واکشی لینک ها از صفحات Html
سازماندهی لینک ها و تبدیل به لینک های معتبر
بخش نوزدهم:
تفکیک لینک های داخلی از لینک های خارجی
واکشی خبرهای موجود در صفحه
دسته بندی خودکار خبر ها
افزودن کلمات کلیدی به صورت خودکار در صورت وجود
بخش بیستم:
دانلود صفحات و تست اسپایدر
برنامه ریزی دقیق و تنظیم اسپایدر برای کم کردن درصد خطا
نمایش اخبار واکشی شده روی سایت اصلی
بخش بیست و یکم:
ایجاد بخش بروزرسانی
افزودن قابلیت سازگار شدن با سایت معرفی شده و سرعت بیشتر بار دوم به نصبت بار اول
بخش بیست و دوم:
ادامه ی بخش بروز رسانی
ویرایش دسته بندی خبر
ویرایش کلمه های کلیدی
بخش بیست و دوم:
ادامه ی بخش بروزرسانی
مدیریت سایت هایی که به Not Found خواهند خورد
بخش بیست و سوم:
تکمیل بخش بروز رسانی و بروزرسانی کلمات کلیدی
واکشی ایمیل ها از صفحات Html به همراه واکشی اخبار و تعیین اهمیت و ارزش گزاری آن ها
تست بخش بروزرسانی
بخش بیست و چهارم:
بهینه سازی بخش بروزرسانی اخبار و لینک ها
کاهش درصد خطا در این بخش به میزان ۵۰ % (از مقدار خطای احتمالی)
بخش بیست و پنجم:
ایجاد بخش واکشی لینک های خارجی + عنوان + توضیحات + کلمات کلیدی
بخش بیست و ششم:
ایجاد بخش آمار کارکرد اسپایدر و Statistics ها
بخش بیست و هفتم:
ادامه ی بخش آمار
برسی دسترسی به اینترنت برای جلوگیری از خطای اسپایدر
رفع برخی از خطا ها و مشکلات احتمالی
بخش بیست و هشتم:
برسی و رفع خطا و ثبت وقایع
بخش بیست و نهم:
ایجاد قسمت لیست سیاه سایت ها به صورت حرفه ای
بخش سی ام:
تکمیل بخش لیست سیاه سایت ها
ایجاد قسمت لیست سیاه تگ ها در مطالب(حذف تگ های ناخواسته از نتایج به صورت حرفه ای)
بخش سی یکم:
ایجاد نخ(Thread) برای شروع کار اسپایدر
ایجاد دکمه ی توقف اسپایدر
ایجاد بخش زمان بندی به صورت حرفه ای + توضیحات تکمیی و ضروری
بخش سی و دوم:
تکمیل بخش زمان بندی اسپایدر + توضیحات تکمیلی و ضروری
بخش سی و سوم:
محکم سازی اسپایدر درر برابر خطا های احتمالی
ارسال sms برای مدیر اصلی هنگام از کار افتاد اسپایدر با خطاهای مهلک
بخش سی و چهارم:
بازگشت به سایت اصلی
ایجاد دکمه ی حذف خبر (به صورتی که اسپایدر دیگر از اون خبر چشم پوشی کند)
بازیافت خبر حذف شده
بخش سی و پنجم:
ایجاد قسمت لینک های اصلی
فعال یا غیر فعال سازی یک لینک اصلی
حذف یک لینک اصلی و تذکرهای لازم
بخش سی و ششم:
نمایش جزئیات ییک لینک اصلی
ایجاد متا دیتا های لازم
بخش سی و هفتم و سی و هشتم:
ایجاد بخش افزودن لینک جدید
ایجاد بخش ویرایش یک لینک
ایجاد بخش Tester XPath (برای کاهش خطا های احتمالی)
بخش سی و نهم:
حذف یک لینک اصلی
ایجاد بخش مدیریت لینک های سیاه
بخش چهلم:
ایجاد iframe به جهت نمایش صفحه ی اصلی خبر در سایت و کسب اعتماد کاربران
بخش چهل و یکم:
ایجاد بخش سمت کاربر خبرنامه
افزودن قابلیت عضویت و لغو عضویت در خبرنامه + امنیت آن
افزودن قابلیت اینکه کاربر تعیین بکند اخبار کدام قسمت براش ارسال یشه
بخش چهل و دوم:
ایجاد قسمت سمت سرور و مدیریت خبرنامه
ایجاد بخش ارسال خبرنامه به صورت پیشرفته و هوشمند
بخش چهل و سوم:
مدیریت ایمیل های واکشی شده
بیرون کشیدن ایمیل ها به تعداد دلخواه بر حسب ارزش به صورت فایل txt و XML
بخش چهل و چهارم:
مدیریت لینک های خارجی یافت شده
نمایش لینک ها برحسب ارزش آن ها که اسپایدر تعیین کرده
بخش چهل و پنجم:
شروع بخش طراحی وب سرویس
آموزش وب سرویس
واکشی اخبار با استفاده از وب سرویس
بخش چهل و ششم:
ایجاد ظاهر خبرخوان تحت ویندوزی
نمایش دسته بندی ها
نمایش اخبار
بخش چهل و هفتم:
مرتب سازی دسته ها برحسب فرزند و پدر
ایجاد بخش صفحه بندی سیستم
توسعه ی متد مربوط نمایش اخبار
برسی اتصال سرور و کلاینت
بخش چهل و هشتم:
تکمیل خبرخوان ویندوزی و کاربردی کردن آن
ایجاد بخش نمایش مشخصات خبر
حذف تگ های Html از نتیجه و نمایش یک متن تمیز
بخش چهل و نهم:
تولید فایل DLL مربوط به وب سرویس و تبدیل آن
مثالی کاربری از نمایش اخبار با فایل DLL
بخش پنجاه:
آماده سازی پروژه برای گذاشتن روی سرور
کانفیگ پنل و آماده سازی آن
بخش پنجاه و یکم:
گذاشتن سایت روی سرور
نمایش اخبار و استفاده از وبسرویس اصلی روی سرور
نمایش و تست اسپایدر
امیدوارم این دوره نیز مورد پسند شما کاربران عزیر سایت دانشجویار واقع شده باشد. مشکلات احتمالی که به وجود آمده بودند به بزرگواری خود ببخشید. مشکلات خود را میتوانید به آدرس ایمیل: reza9025 [at] Gmail[dot]com ارسال بفرمایید تا در اسرع وقت به مشکلات شما پاسخ داده شود.
با تشکر فراوان
نوشته دوره بینظیر آموزش طراحی سایت جستجو گر خبر اولین بار در دانشجویار | مرجع فیلم آموزش فارسی پدیدار شد.
مبنع این خبر (برای مشاهده متن کامل خبر لینک زیر را بزنید):
دانشجویار | مرجع فیلم آموزش فارسی