REST WebService avec Informatica - HTTP & Java Transformation

REST est un type de Services Web dont le style d’architecture repose sur le protocole HTTP : On accède à une ressource (par son URI unique) pour procéder à diverses opérations (GET lecture/POST écriture/PUT modification/DELETE suppression), opérations supportées nativement par HTTP.
Informatica PowerCenter dans sa version basique Standard Edition (sans la B2B DataTransformation) permet d'appeler simplement les WebService en utilisant la HTTP Transformation.
Par ailleurs, dans certains cas, l'URL doit être dynamique d'un enregistrement à l'autre, ce type d'appel n'est pas possible avec la HTTP Transformation. Néanmoins, ce type d'appel dynamique peut être effectué par une Java Transformation qui doit être codée pour prendre en entrée une URL et renvoyer la réponse (XML ou JSON).
La Java Transformation est une transformation fournie dans PowerCenter qui permet d'incorporer du code Java (qui peut "tout" faire) dans un mapping Informatica.
Notons que si la réponse du WebService est essentiellement du JSON, la licence Informatica B2B Data Transformation est nécessaire pour parser le retour JSON. La Java Transformation peut être une alternative si pas de licence B2B DT.

Dans cet article, nous allons étudier un exemple de récupération (Méthode GET) des données client depuis un WebService REST sous format XML et formatage de ces données avec Informatica PowerCenter.

Utilisation des commandes PowerCenter

Informatica PowerCenter comprend des programmes en ligne de commande permettant d’effectuer des tâches depuis n'importe quelle machine de l’environnement PowerCenter. Les programmes en ligne de commande permettent d'exécuter un ensemble de tâches qui peuvent aussi être exécutées dans la console d'administration.

Par exemple, on peut créer, activer ou désactiver un Repository Service à partir de la Console Administrator ou le programme infacmd: 
infacmd CreateRepositoryService ... -so option_name=value option_name=value ...

PowerCenter comprend les programmes en ligne de commande suivants :

• infacmd

Infacmd est un programme qui permet d'administrer les domaines PowerCenter, les utilisateurs, et services. infacmd est utilisée pour administrer les objets et les services suivants:
♦ Applications services : Créer, activer, désactiver, supprimer, obtenir le statut des services, ping...etc. (ex: Repository Service, Integration Service)

Workflows PowerCenter : les fondamentaux

Un Workflow est un ensemble ordonné d'une ou plusieurs tâches (sessions ou autres), conçu dans l'onglet Workflow Designer du Workflow Manager pour accomplir un objectif opérationnel global.

La session est la tâche qui paramètre et exécute un mapping. Un worklfow exécute des tâches dont les sessions. Cette relation d'exécution peut être modélisée avec le schéma suivant :

Mappings : les fondamentaux

Un Mapping est un ensemble de sources et cibles liés par des transformations qui définissent des règles de transformation des données. Le mapping représente le flux de données entre les sources et les cibles. Il doit être conçu dans le Designer.

La figure ci-dessous représente un mapping simple avec une source, une cible et 3 transformations: 

Lorsque l’Intégration Service exécute une session dans un workflow, il utilise les instructions configurées dans le mapping pour lire les sources, transformer les données sources, et écrire dans les cibles.

1) Source(s) : décrit les caractéristiques d'une table source ou un fichier.

La source peut être créée ou importée (si elle existe) dans le Source Analyzer:

Aggregator Transformation

L'Aggregator Transformation est l'un des composants les plus importants des traitements ETL PowerCenter. Une "mauvaise" utilisation de ce composant peut être fatale pour les performances en cas de grosse volumétrie.

L'Aggregator Transformation est une transformation active (le nombre de lignes en entrée et en sortie n'est jamais le même) et connectée qui permet d'effectuer des calculs tels que les moyennes et les sommes.

L'Aggregator Transformation est différent de l'Expression Transformation par le fait qu'il permet d'effectuer des calculs sur des groupes, tandis que l'Expression Transformation permet d'effectuer des calculs ligne par ligne seulement.
 

Principaux composants de l'Aggregator Transformation:

Expression Transformation

L'Expression Transformation est une transformation passive (le nombre de lignes en entrée et en sortie est toujours le même) et connectée. Elle est utilisée pour transformer/calculer des données dans un même enregistrement. Par exemple, vous pourriez avoir besoin de concaténer les noms et prénoms des salariés, convertir des chaînes en nombres, affecter la date système à la date du traitement de l'enregistrement. Vous pouvez également utiliser l'Expression Transformation pour tester des instructions conditionnelles (IIF, Decode...etc) avant de passer les résultats à la cible ou à d'autres transformations.

L'Expression Transformation permet d'effectuer des calculs non-agrégées (n'impliquant qu'une seule ligne à la fois). Pour effectuer des calculs impliquant plusieurs lignes, comme des sommes ou des moyennes, il faut utiliser l'Aggregator Transformation.

Il existe 4 types de ports dans l'Expression Transformation: