AcadMatchBot: הסורק של AcadMatch

מהו

AcadMatchBot אוסף משרות מחקר אקדמיות שפורסמו בפומבי באוניברסיטאות ובמכוני מחקר בישראל (תואר שני, דוקטורט, פוסט-דוקטורט, צוות מחקר ועוד), כדי שאפשר יהיה למצוא אותן במקום אחד. כל משרה ב-AcadMatch מקשרת לדף שממנו היא נלקחה.

משרות שהסורק אוסף עדיין אינן מוצגות בפומבי.

מה הוא מוריד

רק דפים שרשמנו: דפים פומביים שמפרטים משרות פתוחות, ודפי המשרות שהם מקשרים אליהם באותו אתר. הוא אינו נכנס לחשבונות, אינו ממלא טפסים ואינו עוקב אחרי קישורים לאתרים אחרים.

איך הוא מתנהג

• הוא מציית ל-robots.txt, כולל Crawl-delay.
• הוא שולח לכל היותר בקשה אחת בכל 5 שניות לאתר.
• הוא חוזר לדף בערך פעם ביום ומבקש רק שינויים (בקשות מותנות), כך שדפים שלא השתנו אינם מורדים שוב.
• הוא מזדהה בכל בקשה עם User-Agent שמכיל את "AcadMatchBot", קישור לדף זה ואת orirot13@gmail.com.

איך לחסום אותו

הוסיפו את השורות האלה לקובץ robots.txt של האתר:

User-agent: AcadMatchBot
Disallow: /

יצירת קשר והסרה

כדי לעצור את הסורק באתר שלכם, לדווח על בעיה או לבקש הסרה של משרה, כתבו אל orirot13@gmail.com. נוכל להסתיר כל משרה במהירות, ועדיין לשמור אצלנו תיעוד של מקורה.