BigData, Architecture et technologies
Informatique
Référence formation : 5-PP-BIG - Durée : 2 jours
Cliquez sur l'image ci-contre ou sur le lien ci-dessous
pour télécharger notre programme de formation professionnelle au format PDF
(nécessite © Acrobat Reader)
pour télécharger notre programme de formation professionnelle au format PDF
(nécessite © Acrobat Reader)
Objectifs
- Comprendre les concepts du BigData et connaître les technologies associées
Pré-requis
- Bonne culture générale sur les systèmes d'information
- Chefs de projets, architectes, et toute personne souhaitant connaître les outils et solutions pour mettre en place une architecture BigData
Plan de cours
1. Introduction
- Le besoin : volumes importants de données, traitements optimisés de flux de données au fil de l'eau (nouvelles technologies et nouveaux usages).
- Domaines concernés : recherche scientifique, médical, e-commerce, sécurité, ...
- Développement des techniques sur différents aspects : stockage, indexation/recherche, calcul
- Définition de ETL : Extract Transform Load
- Les acteurs aujourd'hui
2. Stockage
- Caractéristiques NoSQL :
- Structure de données proches des utilisateurs, développeurs
- Données structurées et non structurées, documents, images,
- Fichiers XML, JSON, CSV, ...
- Les différents modes et formats de stockage
- Stockage réparti : réplication, sharping, gossip protocl, hachage,
- Systèmes de fichiers distribués : GFS, HDFS, BigTable, ...
- Les bases de données
- Quelques exemples de produits et leurs caractéristiques : cassandra, MongoDB, CouchDB, DynamoDB...
3. Indexation et recherche
- Moteurs de recherche
- Principe de fonctionnement
- Méthodes d'indexation
- Exemple de Lucene, et mise en oeuvre avec solr
- Recherche dans les bases de volumes importants
- Exemples de produits et comparaison : dremel, drill, elasticsearch, MapReduce...
4. Calcul et restitution, intégration
- Différentes solutions : calculs en mode batch, ou en temps réel, sur des flux de données ou des données statiques.
- Les produits : langage de calculs statistiques, R Statistics Language
- Outils de calcul sur des volumes importants : storm en temps réel, hadoop en mode batch.
- Zoom sur Hadoop : complémentarité de HDMS et MapReduce.
5. Evolutions
- Les offres Saas BigData, type Google BigQuery
- Les limites actuelles. Les avancées annoncées.