pas de fichier robots.txt ? [Réglé]
smaj Membre non connecté
Booster Roquette
- Booster Roquette
- Voir le profil du membre smaj
- Inscrit le : 17/01/2016
- Groupes :
babsolune Membre non connecté
Administrateur
- Administrateur
- Voir le profil du membre babsolune
- Inscrit le : 16/05/2008
- Site internet
- Groupes :
Édité par babsolune Le 08/02/2016 à 16h44
smaj Membre non connecté
Booster Roquette
- Booster Roquette
- Voir le profil du membre smaj
- Inscrit le : 17/01/2016
- Groupes :
Code TEXT :
User-agent: Mediapartners-Google Disallow: User-agent: * Allow: /articles Allow: /forum Allow: /news Allow: /wiki Disallow: *
Si tu as des suggestions je mettrai ce post à jour .
Édité par smaj Le 09/02/2016 à 08h55
janus57 Membre non connecté
- Booster Fusée
- Voir le profil du membre janus57
- Inscrit le : 07/12/2007
- Groupes :
- Equipe Assistance
pourquoi interdire l'accès à tout le site ?
Cordialement, janus57
smaj Membre non connecté
Booster Roquette
- Booster Roquette
- Voir le profil du membre smaj
- Inscrit le : 17/01/2016
- Groupes :
janus57 Membre non connecté
- Booster Fusée
- Voir le profil du membre janus57
- Inscrit le : 07/12/2007
- Groupes :
- Equipe Assistance
mouais, si les modules sont désactiver/non accessible au visiteur il se prendront du 403 donc bon, pas spécialement "utile", par contre les mauvais robots qui regarde cette liste pour bruteforcer/spammer eux vont se régaler.
Cordialement, janus57
smaj Membre non connecté
Booster Roquette
- Booster Roquette
- Voir le profil du membre smaj
- Inscrit le : 17/01/2016
- Groupes :
janus57 Membre non connecté
- Booster Fusée
- Voir le profil du membre janus57
- Inscrit le : 07/12/2007
- Groupes :
- Equipe Assistance
non un désactivé génère une 403 de mémoire (pas essayé depuis longtemps), car le dossier est sur le serveur mais non accessible.
Cordialement, janus57
smaj Membre non connecté
Booster Roquette
- Booster Roquette
- Voir le profil du membre smaj
- Inscrit le : 17/01/2016
- Groupes :
Logiquement tu as index.php avec des règles qui disent (grosso modo) si t'es là avec là c'est avec la permission du site donc ok tu vois le contenu sinon remonter d'un niveau ou deux en fonction du niveau ou tu te trouve.
Les cms que j'ai utilisé jusqu'ici ne donne pas de 403 sur un module inactif dans le pire des cas c'est l'accueil sinon t'as aussi des règles (il me semble du moins) qui permettent aussi de router l'utilisateur au bon endroit mais je fait peut être fausse route .
Pour les répertoires au modules désactivés je peux faire un truc tout bête avec un index.php
janus57 Membre non connecté
- Booster Fusée
- Voir le profil du membre janus57
- Inscrit le : 07/12/2007
- Groupes :
- Equipe Assistance
autant pour moi, cela renvoie un 200 avec le lien vers le module en 404, j'avais peut être un peu abusé sur le .htaccess à l'époque (ou c'était une autre version que 4.1).
Cordialement, janus57
smaj Membre non connecté
Booster Roquette
- Booster Roquette
- Voir le profil du membre smaj
- Inscrit le : 17/01/2016
- Groupes :
Est ce que tu crois qu'il serait possible d'écrire les index.php de telle sorte que
si la fonction est active alors le site lit le contenu
si la fonction est inactive et que tu es admin t'as le 404
sinon ../index.php
janus57 Membre non connecté
- Booster Fusée
- Voir le profil du membre janus57
- Inscrit le : 07/12/2007
- Groupes :
- Equipe Assistance
perso là je vois pas trop l'intérêt de la chose, car si le module n'existe pas (désactivé/désinstallé) je trouve normale qu'un 404 soit renvoyé dans l'entête avec le message qui dit que le module est non actif/inexistant.
Renvoyer le visiteur directement sur l'index sur un module désactiver serait une mauvaise idée car il peu très bien essayer encore et encore ou alors carrément partir en pensant que le site "bug", et pour les robots n'en parlons pas c'est pire.
Cordialement, janus57
smaj Membre non connecté
Booster Roquette
- Booster Roquette
- Voir le profil du membre smaj
- Inscrit le : 17/01/2016
- Groupes :
Et que si je met un index.php comme je pensais un peu plus haut sur des répertoire j'aurai plus de risque avec les robots ?
En d'autre terme plus on en met plus c'est suspect c'est ça ?
janus57 Membre non connecté
- Booster Fusée
- Voir le profil du membre janus57
- Inscrit le : 07/12/2007
- Groupes :
- Equipe Assistance
Citation:
En gros t'es en train de dire que mettre un robots.txt c'est pire que de ne pas en mettre ?
cela dépend des situation, ici je sais pas vu que google na va pas s'amuser à référencer des liens inexistant cela ne change rien pour le référencement, ce sont juste les mauvais robots qui lise se fichier pour savoir la structure du site qui aimerons.
Citation:
Et que si je met un index.php comme je pensais un peu plus haut sur des répertoire j'aurai plus de risque avec les robots ?
bah un robot suit bêtement les lines donc si tu le renvoie en boucle sur ta page d'indexe sans rien lui dire au bout d'un moment soit il va te spammer ton site de requête soit te mettre un malus car il tournera en rond (dans le cas d'un référencement) et si c'est un mauvais robot tu va lui faire faire 2x plus de requête pas index.php qu'il croise (je de laisse imaginer si tu en met 10).
Bien sur maintenant il y a des robots "intelligent" avec des mécanisme de sécurité pour éviter ce genre de choses, mais actuellement la manière don gère PHPBoost les module désactivé ou inexistant est très bien et c'est une manière "normale".
Si à la place du robots.txt je met un fichier .htaccess qui autorise juste l'accès au forum + wiki et tout le reste je balance un 403 c'est limite tout aussi bien si on veux verrouiller là ou les robots ne doivent pas chercher.
Juste que là le robots.txt donne quasiment la structure complet du CMS et en même temps donne de faux chemin (/news/news.php../ n'existe pas en V4.1).
Donc bon niveau discrétion ou "sécurité" sur le CMS que vous utilisez c'est un jolie zéro.
Cordialement, janus57
j1.seth Membre non connecté
- Administrateur
- Voir le profil du membre j1.seth
- Inscrit le : 01/09/2008
- Site internet
- Groupes :
- Chef de Projet
- Equipe Développement
Pourquoi ne pas mettre
Allow: /forum
Allow: /wiki
Disallow: *
Dans ton robot.txt ?
Répondre
Vous n'êtes pas autorisé à écrire dans cette catégorie