דף הבית   ממשק גרירה   ניהול עמודים   דומיין   אתר לנייד   אפשרויות קידום
רלוונטי למערכת:
אקספרס
הסבר זה אינו רלוונטי לממשק אקספרס (אתרים שנפתחו לאחר התאריך 01/01/2014).
לחץ כאן למרכז הדרכה עבור ממשק אקספרס.
ממשק ישן
הסבר זה רלוונטי לממשק הישן (אתרים שנפתחו לפני התאריך 31/12/2013).

קובץ Robots.txt

ראשית, חשוב לציין כי העבודה עם הכלי מומלצת לבעלי אתרים שמתמצאים היטב בנושאי קידום. עבודה מוטעית עם הכלי עלולה לגרום לנזקים קידומיים לאתר לפרקי זמן ארוכים ואף הסרתו ממנועי החיפוש! במידה ולא בטוחים, עדיף לא לבצע – פעולה לא נכונה תהיה קשה לביטול.

מהו קובץ robots.txt?
מדובר בקובץ המיועד ספציפית למנועי החיפוש התקניים (להבדיל ממנועי חיפוש שמטרתם איסוף נתונים לספאם) ותפקידו לתת להם הוראות ספציפיות לסריקה, עוד בטרם מנוע החיפוש ניגש לתכנים עצמם. התחשבות בקובץ זה מחייבת מנועי חיפוש העומדים בתקנים, כך שהקובץ יכול להכיל הוראות ספציפיות למניעת סריקה.

קובץ זה תמיד נמצא ברמה הגבוהה ביותר של הדומיין במיקום קבוע - במידה והדומיין הוא example.com, הקובץ תמיד יימצא בנתיב http://example.com/robots.txt.

דוגמאות נפוצות לשימוש בכלי הן חסימת הפורומים מסריקה, חסימת סריקת תמונות למנועי חיפוש, חסימת טפסים וכדומה...

מה היתרון בשימוש בקובץ robots.txt?
היתרון הברור בשימוש בקובץ זה הוא בכך שאין צורך לחסום את התכנים מהגולשים עצמם, אך ניתן להשפיע על מה שמנוע החיפוש רואה – במידה ועמוד מוסתר, הוא יהיה מוסתר מעיני מנועי החיפוש והגולשים יחדיו, ועמוד שמוסתר בקובץ robots.txt לא יוצג למנועי חיפוש אך כן יהיה זמין לגולש.
במערכת באופן ספציפי יש יתרון בעבודה עם הקובץ – הקובץ כולל באופן מובנה קישור למפת האתר. דבר זה חוסך את הצורך בהכנסת מפת האתר למנועי חיפוש, כי הם לומדים את מפת האתר כבר מ"פגישתם" הראשונה עם האתר.

שימוש בכלי
ניתן לעבוד ישירות מול תיבת הטקסט ולרשום בתוכה פקודות, או להשתמש במחולל הפקודות הנמצא בראש העמוד.

מחולל הפקודות מאפשר לבחור מנוע סריקה (user-agent) ולאחר מכן לתת הוראות ספציפיות לאותו מנוע בצורה של נתיבים להסתרה. המערכת כולל רשימה של מנועי סריקה נפוצים וניתן להוסיף שם של מנוע ספציפי במידה והוא לא מופיע ברשימה. לאחר שנרשום את הנתיב, נלחץ "הוספת כלל".

בסיום ביצוע כל השינויים נלחץ "עדכן נתונים" והקובץ יתעדכן בשינויים הרצויים.



דוגמאות לנתיבים לקובץ robots.txt
באופן מעשי, ניתן להוסיף לתיבת "ספריות וקבצים" כל נתיב שהוא - החל מהדומיין עצמו וכלה בעמוד בודד או שרשור ספציפי בפורום.
לדוגמא, כדי למנוע גישה לעמוד זה, נוכל להעתיק את כתובתו משורת הכתובת בדפדפן ולהדביק בכלי robots.txt, להגדיר לאילו מנועי חיפוש הכלל מיועד ולעדכן.
למען הדגמת הכלי, ריכזנו מספר נתיבים כלליים של רכיבי מערכת, כך שניתן להעתיק את הנתיבים במידה ומעוניינים לחסום כלי שלם מסריקה על ידי מנועי חיפוש.
  • על מנת למנוע מכלל הפורומים תחת הדומיין להיסרק, נדביק את הנתיב /site/detail/forum/ בשדה הכתיבה.
  • אם נרצה למנוע מכל טפסי האתר להיסרק על ידי מנועי חיפוש, נשתמש בנתיב /site/form/ ונוסיף כלל שמבוסס עליו.
  • כדי למנוע ממנועי חיפוש לסרוק את תוכן כל האלבומים, נרשום את הנתיב /site/detail/departalbum/ בשדה המתאים.
   
 Easysite 2005 איזי סייט מערכת לבניית אתרים באופן עצמאי -  © כל הזכויות שמורות 
 אין להעתיק או להשתמש בתוכן אשר קיים באתר ללא רשות בעלי האתר

 
  תנאי שימוש  | הוספה למועדפים  |  הפוך לעמוד הבית
 
 אודות מערכת לבניית אתרים  בניית אתרים בניית אתר קטלוג מוצרים  פתח אתר לניסיון בניית אתר לטלפון סלולרי
 תנאי שימוש  בניית אתר בעצמך קידום ופרסום אתרים  פתח חנות לניסיון אתרים לטלפון סלולרי לדוגמא
   בניית חנות וירטואלית מחירים וחבילות  30 ימי ניסיון מחירון בניית אתר לסלולרי
   בניית אתר קטלוג מוצרים שאלות ותשובות  מפרט המערכת פתח אתר לנייד לניסיון בחינם
 קטלוג דיגיטלי מפת האתר התחברות לשרת דואר  בניית אתר פורטל מפרט בניית אתר לנייד