CRON UNIX: faire un bon script php

Guillaume - ingénieur systèmes 14 mars 2017

En mode « URL », tout CRON UNIX tente de télécharger la page.
Ainsi, si aucune information n’est reçue par l’outil de téléchargement, celui-ci considère qu’une erreur est survenue (time-out) et tente à nouveau le téléchargement.
Cela peut avoir des conséquence extrêmement violente comme l’écroulement de la machine ou des erreurs de données.
Aussi, TOUT script php ayant vocation a être utiliser comme CRON ne peut se prémunir du code suivant :

<?php
ob_end_clean();
header("Connection: close");
ignore_user_abort(); // optionnel
ob_start();
$size = ob_get_length();
header("Content-Length: $size");
ob_end_flush(); // ne fait rien tant que ...
flush(); // les deux sont appellés
// SCRIPT ICI, et ICI seulement !!!! 
?>

<?php

ob_end_clean();

header("Connection: close");

ignore_user_abort(); // optionnel

ob_start();

$size = ob_get_length();

header("Content-Length: $size");

ob_end_flush(); // ne fait rien tant que ...

flush(); // les deux sont appellés

// SCRIPT ICI, et ICI seulement !!!!

Nous ne pourrons être tenu responsables des dommages occasionnés par un script mal écris. Il en est de la responsabilité du client d’informer son développeur.

Souci de caractères mal encodés

laurent - responsable Technique 6 mars 2017

Quand on veut utiliser du texte dans une fonction (style envoyer des mails avec un texte pré enregistré), les caractères se retrouvent mal encodés :

Ex : , l’AŠquipe au lieu de l’équipe.

Pas un souci d’encodage de mail, cherché des heures avec Encoding mais sans succès.
Il suffit juste de ré encoder le texte en UTF8.

public static string retourneStringEnUTF8(string chaine)
{
    byte[] l = Encoding.Default.GetBytes(chaine);
    chaine = Encoding.UTF8.GetString(l);
    return chaine;
}

public static string retourneStringEnUTF8(string chaine)

{

byte[] l = Encoding.Default.GetBytes(chaine);

chaine = Encoding.UTF8.GetString(l);

return chaine;

}

ASPX – programmer web.sitemap et construire son propre menu

laurent - responsable Technique 19 novembre 2016

Bonjour,

Après des heures de recherche afin de pouvoir utiliser web.sitemap en mode programmé dans ma master page, je vous livre ici la méthode la plus simple afin de parser le fichier xml :

Tout d’abord le fichier XML web.sitemap

<?xml version="1.0" encoding="UTF-8"?>
<siteMap xmlns="http://schemas.microsoft.com/AspNet/SiteMap-File-1.0">
  <siteMapNode title="Accueil">
    <siteMapNode title="Nos métiers">
      <siteMapNode url="location-camion-paca.aspx" title="SN SMTM LOCATION" />
      <siteMapNode url="transport-marchandise-paca.aspx" title="SN SMTM TRANSPORT" />
      <siteMapNode url="transport-express-paca.aspx" title="SN SMTM EXPRESS" />
      <siteMapNode url="prestataire-transport-frigorifique-paca.aspx" title="SN SMTM FROID" />
    </siteMapNode>
    <siteMapNode title="SN SMTM">
      <siteMapNode url="implantations-snsmtm.aspx" title="LES IMPLANTATIONS SN SMTM" />
      <siteMapNode url="flotte-reference-transport.aspx" title="Notre Flotte, nos Références" />
      <siteMapNode url="transport-paca-objectif-co2.aspx" title="Objectif Co²" />
    </siteMapNode>
    <siteMapNode url="cotation-transport.aspx" title="DEMANDE DE COTATION" />
    <siteMapNode url="#footer" title="NOUS CONTACTER" />
  </siteMapNode>
</siteMap>

<?xml version="1.0" encoding="UTF-8"?>

</siteMapNode>

</siteMapNode>

</siteMapNode>

</siteMap>

Dans mon cas je ne devais utiliser que url et title, on peut rajouter autant d’infos que vous désirez (description, …)
A savoir, une ligne de titre, ex :

<siteMapNode title="Nos métiers">

1	<siteMapNode title="Nos métiers">

ne doit pas contenir « # » en url par exemple, car si ce même lien se reproduit cela plante, effectivement impossible d’avoir deux liens identiques dans un même fichier de liens.

La partie cs intégrée à ma master page :

protected StringBuilder sb = new StringBuilder();        

protected void Page_Load(object sender, EventArgs e)
{

        XmlDocument doc = new XmlDocument();
        doc.Load(Server.MapPath("~/web.sitemap"));

        foreach (XmlNode itemNode in doc.DocumentElement.ChildNodes)
        {
            XmlElement itemElement = (XmlElement)itemNode;
            // Premier node = Accueil > on zappe dans mon cas
            //sb.AppendFormat("<li>[Item]: {0} | {1}</li>", itemElement.Attributes["title"].Value, itemElement.Attributes["url"].Value);
            if (itemNode.ChildNodes.Count > 0)
            {
                foreach (XmlNode childNode in itemNode.ChildNodes)
                {
                    XmlNode node = childNode.Attributes["url"];
                    if (node != null)
                        sb.AppendFormat("<li>[Item]: {0} | {1}</li>", childNode.Attributes["title"].Value, childNode.Attributes["url"].Value);
                    else
                    {
                        sb.AppendFormat("<li>[Item]: {0} </li>", childNode.Attributes["title"].Value);
                        foreach (XmlNode childNode2 in childNode.ChildNodes)
                        {
                            sb.AppendFormat("<li>[SubItem]: {0} | {1}</li>", childNode2.Attributes["title"].Value, childNode2.Attributes["url"].Value);
                        }
                    }
                }
            }
        }
}

protected StringBuilder sb = new StringBuilder();

protected void Page_Load(object sender, EventArgs e)

{

XmlDocument doc = new XmlDocument();

doc.Load(Server.MapPath("~/web.sitemap"));

foreach (XmlNode itemNode in doc.DocumentElement.ChildNodes)

{

XmlElement itemElement = (XmlElement)itemNode;

// Premier node = Accueil > on zappe dans mon cas

//sb.AppendFormat("<li>[Item]: {0} | {1}</li>", itemElement.Attributes["title"].Value, itemElement.Attributes["url"].Value);

if (itemNode.ChildNodes.Count > 0)

{

foreach (XmlNode childNode in itemNode.ChildNodes)

{

XmlNode node = childNode.Attributes["url"];

if (node != null)

sb.AppendFormat("<li>[Item]: {0} | {1}</li>", childNode.Attributes["title"].Value, childNode.Attributes["url"].Value);

else

{

sb.AppendFormat("<li>[Item]: {0} </li>", childNode.Attributes["title"].Value);

foreach (XmlNode childNode2 in childNode.ChildNodes)

{

sb.AppendFormat("<li>[SubItem]: {0} | {1}</li>", childNode2.Attributes["title"].Value, childNode2.Attributes["url"].Value);

}

Il faut ajouter l’ assembly :

System.Xml

Méthode : je lis le premier node parent, et je regarde si il existe des nodes enfants, si oui alors j’affiche tous les enfants.

A savoir, pour checker si une valeur existe utiliser cette méthode :

XmlNode node = childNode.Attributes["valeur de champ"];
if (node != null){ ... }

1 2	XmlNode node = childNode.Attributes["valeur de champ"]; if (node != null){ ... }

Prochain cours, génération de web.sitemap et fichier d’indexation google …

Optimisations Merak

laurent - responsable Technique 19 septembre 2016

Comptes IMAP

Tous les emails rentrent dans /inbox, et il n’est pas bon de laisser des milliers d’emails dans ce dossier qui est fréquemment synchronisé. Donc penser à créer un sous dossier et à y déplacer tous vos anciens mails !

Optimisation logicielles

Anti virus

Vérifier l’anti-virus du poste. Si tous les messages viennent du serveur IceWarp, il est possible de supprimer le contrôle des messages entrants qui ont déjà été contrôlés par le serveur.

Icewarp

Dans la console -> Fichier -> Console API :
c_system_services_smallfilescache_size = 128000000 (mettre 128 mo à la place de zéro) Ceci permet de mettre en cache les fichiers inférieurs à 3 Mo
c_mail_imap_idledisable = vrai (à la place de faux)

Dans la console menu Web -> site Default -> onglet Paramètres : décocher « Maintenir les cnx ouvertes »

IIS7 – mySQL et ASP

laurent - responsable Technique 30 juin 201630 juin 2016

Sous 2012 serveur, installer le driver mysql-connector-odbc-5.3.6-winx64.msi, récupérable sur https://dev.mysql.com/downloads/connector/odbc/

NB : testé le connecteur en 32 bits, non installable sous 2012 serveur !

Ensuite passer le pool d’application en 64 bits pour faire tourner le driver en ASP.

Pour vous connecter ce sera donc :

Set oConn=Server.CreateObject("ADODB.Connection") 
oConn.Open "DRIVER={MySQL ODBC 5.3 ANSI Driver};SERVER=localhost;PORT=3306;DATABASE=XXX;USER=XXX;PASSWORD=XXX;OPTION=3;"
...
oConn.Close
Set oConn = nothing

Set oConn=Server.CreateObject("ADODB.Connection")

oConn.Open "DRIVER={MySQL ODBC 5.3 ANSI Driver};SERVER=localhost;PORT=3306;DATABASE=XXX;USER=XXX;PASSWORD=XXX;OPTION=3;"

...

oConn.Close

Set oConn = nothing

WP : sécuriser simplement

laurent - responsable Technique 28 avril 201628 septembre 2016

Un add on qui ne paye pas de mine et qui fait un boulot d’enfer sur les pages avec authentification, testé et approuvé par nos équipes, je vous présente Cerber :

https://fr.wordpress.org/plugins/wp-cerber/

A installer d’urgence pour tous les possesseurs de Word Press.

Il permet entre autres de casser les brute force sur les page d’accès à l’administration et bloque les IP indésirables.

Un article intéressant résumant les risques des open sources non mis à jour :

http://www.developpez.com/actu/104378/WordPress-est-de-loin-le-CMS-le-plus-cible-par-les-cyberattaques-en-grande-partie-en-raison-du-mauvais-entretien-et-la-negligence-des-webmasters/

MailMessage avec localhost

laurent - responsable Technique 13 avril 201630 novembre 2017

Méthode très intéressante si jamais le serveur de relais n’est pas joignable. De base tous nos serveurs smtp des machines sont réglés pour relayer les emails via notre serveur de relais, et pour IIS l’envoi de message est donc configuré via localhost.

Le but du jeu est donc de stocker dans un dossier de transit nos emails à envoyer. Si le serveur de relais à un souci, les emails restent stockés et partiront dès que ce dernier sera de nouveau joignable. Voilà, plus possible de perdre l’envoi d’un email dans vos codes !

MailMessage message = new MailMessage();
message.From = new MailAddress("vador@totolapin.com");
message.To.Add("ewok@totolapin.com");
message.Subject = "Test localhost";
message.Body = "<p>Coucou de localhost !</p>";
message.BodyEncoding = System.Text.Encoding.ASCII;
message.IsBodyHtml = true;
message.Priority = MailPriority.Normal;

var server = new SmtpClient("localhost");
server.PickupDirectoryLocation = "C:\\inetpub\\mailroot\\Pickup";
server.Send(message);

MailMessage message = new MailMessage();

message.From = new MailAddress("vador@totolapin.com");

message.To.Add("ewok@totolapin.com");

message.Subject = "Test localhost";

message.Body = "<p>Coucou de localhost !</p>";

message.BodyEncoding = System.Text.Encoding.ASCII;

message.IsBodyHtml = true;

message.Priority = MailPriority.Normal;

var server = new SmtpClient("localhost");

server.PickupDirectoryLocation = "C:\\inetpub\\mailroot\\Pickup";

server.Send(message);

Les emails pour les programmeurs, évitons le bannissement !

laurent - responsable Technique 13 avril 201620 novembre 2017

Les listes noires ou le bannissement de vos serveurs

Pourquoi ?

C’est pour nous permettre de bloquer l’envoi et la réception de mails non sollicités.
Notre serveur de mails interroge par exemple deux listes noires mondiales afin de bloquer ou mettre en spam des messages non sollicités.

Comment on se retrouve inscrit ?

Cela peut être dû :

à l’envoi consécutif de 20 mails faux vers Orange ou Free par exemple
à l’envoi d’emails de votre part considérés comme du spam par l’opérateur destinataire : à partir de 25 mails par exemple, un FAI vous considère comme un « spammeur »

Résultat

Tous les opérateurs ont le même type de protection que nous, si vous êtes inscrit dans une liste noire, vos emails seront rejetés au moins par 80% de vos destinataires !

Ceux d’entre vous qui ont déjà eu affaire avec ce genre de liste le savent, c’est compliqué et long d’en sortir (jusqu’à 72h pour certaines black Listes).

Comment s’en prémunir ?

Bien mettre à jour vos outils open-source (Joomla, phpb forum, os commerce, …)
Intégrer un captcha ou autre système de contrôle pour être certain que c’est bien un humain qui fait une action et non un robot.
Désinstaller les outils non nécessaires dans les solutions open-source (emailing, webmail, …)
Dans vos formulaires, bien vérifier qu’on ne puisse passer des requêtes ou injections.
Bien nettoyer vos mailing list : supprimer les emails faux !
Mettre un lien de désabonnement programmé, et non un email à répondre (non valide pour certains opérateurs)
Bien vérifier la présence d’un return-path valide (email de retour si souci)
Pour ceux qui développent en PhP , utiliser la dernière version et activer « mail.add_x_header = On » afin de connaitre le fichier émetteur, fort utile en cas d’envoi de mails non sollicités. Pour ceux qui développent en ASP(X), ajouter éventuellement « urn:schemas:mailheader:Myheader » afin d’y intégrer le chemin du fichier d’envoi.

Comment savoir ?

Voici un lien qui permettra de vérifier l’état de nom de domaine ou de l’ip dans le monde des listes noires, et par la même vérifier l’état de votre domaine : http://mxtoolbox.com/

Convertir decimal en entier pour les paiements sécurisés

laurent - responsable Technique 13 avril 201613 avril 2016

Pour tous les paiements sécurisés on envoie les valeurs sous forme d’entier en centimes , ex :

88.59 € = 8859

1	88.59 € = 8859

Voici un petit code qui arrondit le montant à deux chiffres après la virgule et vous rend le résultat sous forme d’entier.

public static int convertirStrInt(string strTxt)
    {
        decimal decNb = 0;
        int intNb = 0;
        decimal.TryParse(strTxt, out decNb);  // conversion en décimal
        decNb = Math.Round(decNb, 2); // on arrondit à deux chiffres après la virgule
        intNb = (int)(decNb * 100); // on multiplie par 100 pour avoir une valeur sans virgule
        return intNb;
    }

public static int convertirStrInt(string strTxt)

{

decimal decNb = 0;

int intNb = 0;

decimal.TryParse(strTxt, out decNb); // conversion en décimal

decNb = Math.Round(decNb, 2); // on arrondit à deux chiffres après la virgule

intNb = (int)(decNb * 100); // on multiplie par 100 pour avoir une valeur sans virgule

return intNb;

}

IIS Rewrite : SEO rewrite language

Guillaume - ingénieur systèmes 12 avril 2016

Voici comment interpréter une url et la transformer

<rule name="Rewrite lang fr" >
    <match url="^(en|it)/([^/]+)/?$" />
    <conditions logicalGrouping="MatchAll" trackAllCaptures="false">
        <add input="{REQUEST_FILENAME}" matchType="IsFile" negate="true" />
        <add input="{REQUEST_FILENAME}" matchType="IsDirectory" negate="true" />
    </conditions>
    <action type="Rewrite" url="/{R:2}?lang={R:1}" appendQueryString="true" />
</rule>

</conditions>

</rule>

Actualités, interventions et astuces en hébergement

Astuces

CRON UNIX: faire un bon script php

Souci de caractères mal encodés

ASPX – programmer web.sitemap et construire son propre menu

Optimisations Merak

Comptes IMAP

Optimisation logicielles

Anti virus

Icewarp

IIS7 – mySQL et ASP

WP : sécuriser simplement

MailMessage avec localhost

Les emails pour les programmeurs, évitons le bannissement !

Les listes noires ou le bannissement de vos serveurs

Pourquoi ?

Comment on se retrouve inscrit ?

Résultat

Comment s’en prémunir ?

Comment savoir ?

Convertir decimal en entier pour les paiements sécurisés

IIS Rewrite : SEO rewrite language

Voici comment interpréter une url et la transformer