Cinquième semaine chez Together
J'ai la mission de relier les marques entre elles grâce à la puissance des données, et je m'occupe de tuyauterie. C'était prévu, et nécessaire.
Il m'a fallu deux ou trois semaines pour parvenir, après exploration des données des marques, puis en utilisant des techniques classiques, à un modèle expérimental. Un petit programme qui me permet de prédire les marques qui auront le plus de chances de former un partenariat du tonnerre. Il est encore loin d'être parfait, mais il donne déjà des résultats prometteurs, et tourne très bien sur ma machine.
Sauf que, nos clients n'ont pas accès à ma machine. Le rapport que j'ai sorti est à peine lisible. J'ai configuré les trois quarts de mon environnement de développement manuellement. Ce n'est pas un produit, même pas un prototype. À la rigueur, une preuve de concept. Il faut, pour transformer ma méthode en véritable service, l'intégrer à une infrastructure adaptée. J'ai donc mis mon chapeau de Data Engineer, et commencé à planifier des solutions avec Jonas, mon directeur technique.
Il y a plein de sous-problèmes intéressants à résoudre. Premièrement, mettre mon algorithme derrière une API, une interface que l'on pourra interroger à volonté. Sur quelle genre de machine, dans le cloud, va-t-elle tourner ? Deuxièmement, mettre à jour mes données. De nouvelles marques apparaissent, leur communication évolue, je dois trouver un moyen d'adapter mes calculs automatiquement et régulièrement. Troisièmement, garantir un temps de réponse raisonnable. Mes méthodes sont pour l'instant simples et rapides, mais cela ne durera pas ; je dois m'assurer qu'un maximum de calculs soient effectués à l'avance, afin de pouvoir suggérer les partenariats sans attendre.
Tout ceci s'apparente à de la tuyauterie, à faire en sorte que les données arrivent au bon endroit, au bon moment, au bon format. À faire communiquer des bases de données et des applications entre elles, à les synchroniser. C'est un peu fastidieux, mais cette infrastructure servira de base à de futurs progrès. Je pourrai améliorer mon algorithme central en faisant confiance à son environnement. Je pourrai remplacer ce composant précis sans avoir à tout reconstruire autour. Je gagnerai ainsi un temps précieux, et épargnerai des maux de tête à toute l'équipe technique.
En prenant un peu de recul, j'obtiens un système lisible. Je peux dessiner facilement un schéma clair qui décrira toutes mes opérations. Je peux mettre en place des métriques d'usage et de performance qui auront un sens. Elles seront ma prochaine étape.
.svg)
