Pour connaître les principes du framework Hadoop et savoir utiliser la technologie MapReduce pour paralléliser des calculs sur des volumes importants de données, Pythagore F.D. organise un atelier de 2 jours : « Hadoop : développement avec MapReduce » les 1er et 2 octobre
Du jeudi 1 octobre 2015 au vendredi 2 octobre 2015
PARIS - ile de france
L'écosystème hadoop regroupe un ensemble d'outils opensource permettant d'exploiter des volumes importants de données : système de stockage, outils d'extraction, de conversion (ETL), d'analyse, systèmes d'organisation des tâches, interfaces de pilotage, etc ... HDFS pour le stockage, Yarn pour la répartition des tâches, pig pour simplifier l'écriture de tâches MapReduce.
Pour connaître les principes du framework Hadoop et savoir utiliser la technologie MapReduce pour paralléliser des calculs sur des volumes importants de données, Pythagore F.D. organise un atelier de 2 jours : « Hadoop : développement avec MapReduce » les 1er et 2 octobre, destiné aux chefs de projets, développeurs, et toute personne souhaitant comprendre les techniques de développement avec MapReduce dans l'environnement Hadoop.
Le programme de cet atelier sera le suivant :
Introduction
Les fonctionnalités du framework Hadoop
Le projet et les modules :
Hadoop Common, HDFS, YARN, MapReduce
MapReduce
Principe et objectifs du modèle de programmation MapReduce.
Fonctions map() et reduce().
Couples (clés, valeurs).
Implémentation par le framework Hadoop.
Etude de la collection d'exemples.
Rédaction d'un premier programme et exécution avec Hadoop.
Programmation
Les interfaces principales : mapper, reducer,
partitioner, reporter, outputcollector.
Format des entrées et sorties d'un job MapReduce :
InputFormat et OutputFormat.
Configuration des jobs avec jobconf.
Interaction avec le JobTracker par JobClient.
Optimisation
Gestion de la mémoire, des accès disque.
Utilisation de la JVM.
Mise en oeuvre du cache distribué.
Securité
Configuration des ACLs.
Gestion de l'authentification.
Les travaux pratiques sont réalisés sur un cluster Hadoop à disposition de chaque développeur.
__________________________________________________
Pythagore F.D., est un centre de compétences dans les domaines
Unix/Linux, TCP/IP (Architecture, Sécurité, Administration de réseaux IP, VoIP, ...) et les applicatifs Apache, Openldap, Squid, Nagios, OCS/GLPI,.
la virtualisation avec xen, kvm, lxc, et le cloud : cloudstack et openstack
le BigData et les technologies NoSQL, avec des produits comme Cassandra, DynamoDB, Riak, HBase, MongoDB et l'ensemble des outils Hadoop
et du côté développement : Java, serveurs d'applications JEE, langage C, WebServices, PHP, Perl, Python , ... et le développement sur mobiles android, iPhone et iPad. Les formations sont proposées en inter-entreprises, mais également en intra sur site ou dans nos locaux.
Et nous proposons également une solution de formation à distance innovante : les classes virtuelles.
A la différence des outils d'auto-formation en e-learning, les classes virtuelles permettent l'interactivité entre les participants et le formateur, et la réalisation de travaux pratiques sur une plate-forme accessible à distance.
http://www.pythagore-fd.fr
site de l'événement
