گرافینا:مرجع رایگان گرافیک و کدو ابزار

این ابزار چگونه کار می کند؟ این ابزار فایلی را ایجاد می کند که در مقابل نقشه سایت قرار می گیرد و صفحاتی که موتورهای جستجو حق کراول و ایندکس کردن دارند را نشان می‌دهد. به همین خاطر این فایل اهمیت زیادی برای سایت ها دارد. زمانی که موتورهای جستجو سایتی را می خزند در ابتدا به دنبال فایل robots.txt می گردند که در سطح روت دامنه قرار دارد. زمانی که این فایل شناسایی شد، خزندگان آن را می خوانند و فایل ها و دایرکتوری هایی که ممکن است مسدود باشد را شناسایی می‌کنند.