Awwwards

Michaël Villeneuve

Développeur web à Bordeaux

Menu hover Clavier hover Clavier hover

Retourner à la liste des réalisations →

SFP Aquitaine crawler


Dans le cadre d'un projet tuteuré à l'IUT Michel Montaigne, j'ai eu l'occasion de mettre en place avec deux de mes camarades un robot capable de rassembler de manière autonome les annonces liées aux séminaires scientifiques d'Aquitaine, au sein d'une seule et même plateforme.

Concrètement, l'objectif du site web, est d'informer les visiteurs des différents séminaires scientifiques à venir, soit par le biais d'un calendrier, soit par le biais d'une newsletter que nous avons développé.

J'ai été en charge de la partie technique du développement du robot, ainsi que de l'infrastructure du site web et de son administration.
Afin de développer au maximum nos compétences, nous avons choisi de partir sur le développement "from scratch" d'une architecture MVC. Pour autant, nous avons souhaité diviser l'ensemble en deux parties : la partie robot, et la partie site web.

Afin d'assurer la pérennité du robot, nous avons travaillé sur la mise en place d'entités séparées pour chaque site à crawler. Ainsi, la gestion des erreurs est mieux réparties, et le robot n'est à aucun moment handicapé par les erreurs des sites visités.

Afin de crawler le contenu des sites sources, nous avons mis en place un algorithme complexe, basé sur CURL pour la récupération du contenu, et sur les expressions régulières pour le traitement de l'information.

L'enjeu principal du projet était ainsi de formater l'ensemble des données reçues par les différents sites web, afin de pouvoir les redistribuer proprement sur les newsletter, PDF, et sur le calendrier du site web.

Le second enjeu, était de permettre au commanditaire du projet, de pouvoir maintenir totalement son site web, en conservant la possibilité de modifier, d'ajouter, et de supprimer des séminaires.

Afin d'optimiser l'ergonomie, j'ai choisi de développer le back-office entièrement en AJAX. Les requêtes sont ainsi rendues fluides, et l'administration se fait très simplement et rapidement.
Sfp aquitaine Sfp aquitaine back office

swipe
Accueil - Contact - Mentions légales