REST WebService avec Informatica - HTTP & Java Transformation

REST est un type de Services Web dont le style d’architecture repose sur le protocole HTTP : On accède à une ressource (par son URI unique) pour procéder à diverses opérations (GET lecture/POST écriture/PUT modification/DELETE suppression), opérations supportées nativement par HTTP.
Informatica PowerCenter dans sa version basique Standard Edition (sans la B2B DataTransformation) permet d'appeler simplement les WebService en utilisant la HTTP Transformation.
Par ailleurs, dans certains cas, l'URL doit être dynamique d'un enregistrement à l'autre, ce type d'appel n'est pas possible avec la HTTP Transformation. Néanmoins, ce type d'appel dynamique peut être effectué par une Java Transformation qui doit être codée pour prendre en entrée une URL et renvoyer la réponse (XML ou JSON).
La Java Transformation est une transformation fournie dans PowerCenter qui permet d'incorporer du code Java (qui peut "tout" faire) dans un mapping Informatica.
Notons que si la réponse du WebService est essentiellement du JSON, la licence Informatica B2B Data Transformation est nécessaire pour parser le retour JSON. La Java Transformation peut être une alternative si pas de licence B2B DT.

Dans cet article, nous allons étudier un exemple de récupération (Méthode GET) des données client depuis un WebService REST sous format XML et formatage de ces données avec Informatica PowerCenter.

Performance Tuning - Tirer le meilleur de la plateforme PowerCenter

Le Tuning d’un environnement PowerCenter n’est pas aussi simple. Quatre composants cruciaux méritent toute l’attention : système, réseau, base de données et PowerCenter lui-même.
Il va sans dire que sans une infrastructure performante, le Tuning PowerCenter ne fera pas beaucoup de différence ; une mémoire insuffisante ou un problème sur le Firewall par exemple peuvent plomber les performances sans pour autant savoir quoi faire du côté de l’ETL.
 
Le Tuning PowerCenter est un processus itératif; on élimine les goulets d’étranglement étape par étape et on améliore les performances graduellement. Les goulets d’étranglement peuvent être liés au système, à la base de données (source ou cible) ou au mapping ou session exécutés par l’Integration Service.
Pour identifier ces goulets d’étranglement, il faut monitorer l’utilisation du système, exploiter les statistiques avancées des runs (Performance Data…) et examiner la session log en détail en cours et à la fin du traitement concerné. La log de la session fournit des informations précieuses sur les performances de la session.
Du point de vue d'un développeur ETL, il faut rechercher les problèmes de performance dans l'ordre suivant: Source => Cible => Mapping => Session => Système.
 

Utilisation des commandes PowerCenter

Informatica PowerCenter comprend des programmes en ligne de commande permettant d’effectuer des tâches depuis n'importe quelle machine de l’environnement PowerCenter. Les programmes en ligne de commande permettent d'exécuter un ensemble de tâches qui peuvent aussi être exécutées dans la console d'administration.

Par exemple, on peut créer, activer ou désactiver un Repository Service à partir de la Console Administrator ou le programme infacmd: 
infacmd CreateRepositoryService ... -so option_name=value option_name=value ...

PowerCenter comprend les programmes en ligne de commande suivants :

• infacmd

Infacmd est un programme qui permet d'administrer les domaines PowerCenter, les utilisateurs, et services. infacmd est utilisée pour administrer les objets et les services suivants:
♦ Applications services : Créer, activer, désactiver, supprimer, obtenir le statut des services, ping...etc. (ex: Repository Service, Integration Service)

Workflows PowerCenter : les fondamentaux

Un Workflow est un ensemble ordonné d'une ou plusieurs tâches (sessions ou autres), conçu dans l'onglet Workflow Designer du Workflow Manager pour accomplir un objectif opérationnel global.

La session est la tâche qui paramètre et exécute un mapping. Un worklfow exécute des tâches dont les sessions. Cette relation d'exécution peut être modélisée avec le schéma suivant :

Aggregator trié sans licence de partitioning

Nous avons parlé dans notre précédent article Aggregator Transformation de l'option "Sorted Input". Cette option n'est disponible nativement que dans le cas d'une licence Informatica avec partitioning.

Dans le cas où cette licence n'est pas disponible sur la version, la session contenant un Aggregator trié plante en renvoyant l'erreur suivante:

Message: ERROR: Partitioning option license required to run sessions with user-defined partition points.

Néanmoins, et heureusement pour les clients disposant d'une licence Informatica sans partitioning, nous avons la possibilité d'utiliser cette option dans l'Aggregator sous condition d'ajouter une propriété personnalisée (Custom propertie), et peu documentée, à la session ou à l’Intégration Service si l'on souhaite globaliser son utilisation. Cette propriété est : AggSupprtWithNoPartLic=Yes.

• Au niveau de la session, il faut l'ajouter dans l'attribut "Custom Properties" de l'onglet "Config Objects":

Mappings : les fondamentaux

Un Mapping est un ensemble de sources et cibles liés par des transformations qui définissent des règles de transformation des données. Le mapping représente le flux de données entre les sources et les cibles. Il doit être conçu dans le Designer.

La figure ci-dessous représente un mapping simple avec une source, une cible et 3 transformations: 

Lorsque l’Intégration Service exécute une session dans un workflow, il utilise les instructions configurées dans le mapping pour lire les sources, transformer les données sources, et écrire dans les cibles.

1) Source(s) : décrit les caractéristiques d'une table source ou un fichier.

La source peut être créée ou importée (si elle existe) dans le Source Analyzer:

Aggregator Transformation

L'Aggregator Transformation est l'un des composants les plus importants des traitements ETL PowerCenter. Une "mauvaise" utilisation de ce composant peut être fatale pour les performances en cas de grosse volumétrie.

L'Aggregator Transformation est une transformation active (le nombre de lignes en entrée et en sortie n'est jamais le même) et connectée qui permet d'effectuer des calculs tels que les moyennes et les sommes.

L'Aggregator Transformation est différent de l'Expression Transformation par le fait qu'il permet d'effectuer des calculs sur des groupes, tandis que l'Expression Transformation permet d'effectuer des calculs ligne par ligne seulement.
 

Principaux composants de l'Aggregator Transformation: