Pour découvrir quelles sont les apports essentiels des technologies BigData, les aspects NoSQL, les principes de stockage et de calcul distribué avec Hadoop HBase, MapReduce, ... pour apprendre à faire les choix d'outils, d'architecture, pour un projet BigData, Pythagore F.D. organise un atelier technique «BigData : architecture et technologies».
Du lundi 21 septembre 2015 au mardi 22 septembre 2015
PARIS - ile de france
Pour découvrir quelles sont les apports essentiels des technologies BigData, les aspects NoSQL, les principes de stockage et de calcul distribué avec Hadoop HBase, MapReduce, ... pour apprendre à faire les choix d'outils, d'architecture, pour un projet BigData, Pythagore F.D. organise un atelier technique « BigData : architecture et technologies » du 21 au 22 septembre 2015.
Nos ateliers sont animés par des experts BigData qui savent accompagner les participants de manière rapide et efficace, lors des travaux pratiques et des études de cas réalisées ensemble.
Le programme de cet atelier est le suivant :
Introduction
Le besoin : volumes importants de données,
traitements optimisés de flux de données au fil de l'eau,
liés aux nouvelles technologies et aux nouveaux usages.
Domaines concernés : recherche scientifique, médical, e-commerce, sécurité, prédictif, ...
Exemples : lutte contre la criminalité, fraude, santé, ressources énergétiques
Développement des techniques sur différents aspects : stockage, indexation/recherche, calcul.
Définition ETL : Extract Transform Load.
Les acteurs.
Le positionnement des technologies de cloud, BigData et noSQL.
Eléments d'architecture.
Stockage
Caractéristiques NoSQL :
adaptabilité, extensibilité,
structure de données proches des utilisateurs, développeurs
Les types de bases de données : clé/valeur, document, colonne, graphe.
Données structurées et non structurées, documents, images,
fichiers XML, JSON, CSV, ...
Les différents modes et formats de stockage.
Importance du théorème CAP.
Stockage réparti : réplication, sharding, gossip protocol, hachage,
Systèmes de fichiers distribués : GFS, HDFS,
Les bases de données : HBase, BigTable, ..
Quelques exemples de produits et leurs caractéristiques :
Cassandra, MongoDB, CouchDB, DynamoDB, Riak, Hadoop.
Qualité des données, gouvernance de données.
Indexation et recherche
Moteurs de recherche.
Principe de fonctionnement.
Méthodes d'indexation. Mise en oeuvre avec elasticsearch.
Exemple de Lucene/solr.
Recherche dans les bases de volumes importants.
Exemples de produits et comparaison :
Dremel, Drill, ElasticSearch, MapReduce,
Calcul et restitution, intégration
Différentes solutions : calculs en mode batch, ou en temps réel,
sur des flux de données ou des données statiques.
Les produits :
langage de calculs statistiques, R Statistics Language, sas, RStudio.
Ponts entre les outils statistiques et les bases BigData
Outils de calcul sur des volumes importants :
storm en temps réel, hadoop en mode batch.
Zoom sur Hadoop :
complémentarité de HDFS et MapReduce.
Restitution et analyse : logstash, kibana, elk, pentaho
Présentation de pig pour la conception de tâches MapReduce sur une grappe Hadoop.
Evolutions
Liens vers les nouveaux métiers : Hadoop scientists, Data scientists, CDO.
Ouverture sur l'OpenData : principe,
la démarche publique, les licences.
Exemple : portail data.gouv.fr
Les offres Saas BigData comme Google BigQuery.
Les limites. Les nouveautés annoncées
_____________________________________________
Pythagore F.D., est un centre de compétences dans les domaines
Unix/Linux, TCP/IP (Architecture, Sécurité, Administration de réseaux IP, VoIP, ...) et les applicatifs Apache, Openldap, Squid, Nagios, OCS/GLPI,.
la virtualisation avec xen, kvm, lxc, et le cloud : cloudstack et openstack
le BigData et les technologies NoSQL, avec des produits comme Cassandra, DynamoDB, Riak, HBase, MongoDB et l'ensemble des outils Hadoop
et du côté développement : Java, serveurs d'applications JEE, langage C, WebServices, PHP, Perl, Python , ... et le développement sur mobiles android, iPhone et iPad. Les formations sont proposées en inter-entreprises, mais également en intra sur site ou dans nos locaux.
Et nous proposons également une solution de formation à distance innovante : les classes virtuelles.
A la différence des outils d'auto-formation en e-learning, les classes virtuelles permettent l'interactivité entre les participants et le formateur, et la réalisation de travaux pratiques sur une plate-forme accessible à distance.
site de l'événement
