Was bedeutet Robots.txt?
Eine Datei auf Websites, die Suchmaschinen darüber informiert, welche Seiten oder Teile einer Website nicht gecrawlt oder indexiert werden sollen. Dies ermöglicht Webmastern, den Zugriff von Suchmaschinen auf bestimmte Bereiche einer Website zu kontrollieren.
« Back to Glossary Index
