Découvrez comment les entreprises intègrent l’IA de manière responsable dans leur production. Cet événement sur invitation uniquement à SF explorera l’intersection de la technologie et des affaires. Découvrez comment vous pouvez y assister ici.
Entreprise de streaming de données Confluent vient d’accueillir le premier sommet Kafka en Asie à Bangalore, en Inde. L’événement a vu une participation massive de la communauté Kafka (plus de 30 % de la communauté mondiale vient de la région) et a comporté plusieurs sessions clients et partenaires.
Lors du discours d’ouverture, Jay Kreps, PDG et co-fondateur de la société, a partagé sa vision de la création de produits de données universels avec Confluent pour alimenter à la fois les aspects opérationnels et analytiques des données. À cette fin, lui et ses coéquipiers ont présenté plusieurs innovations à venir dans l’écosystème Confluent, notamment une nouvelle fonctionnalité qui facilite l’exécution de charges de travail d’IA en temps réel.
Selon Kreps, cette offre épargnera aux développeurs la complexité liée à la gestion d’une variété d’outils et de langages lorsqu’ils tentent de former et de déduire des modèles d’IA avec des données en temps réel. Dans une conversation avec VentureBeat, Shaun Clowes, CPO de l’entreprise, a approfondi ces offres et l’approche de l’entreprise à l’ère de l’IA moderne.
Shaun Clowes, CPO chez Confluent, s’exprimant au sommet Kafka à Bangalore
L’histoire de Kafka de Confluent
Il y a plus de dix ans, les organisations s’appuyaient fortement sur les données par lots pour les charges de travail analytiques. L’approche a fonctionné, mais elle impliquait de comprendre et de valoriser uniquement les informations jusqu’à un certain point – et non l’information la plus récente.
Événement VB
La tournée AI Impact – San Francisco
Rejoignez-nous pour explorer les complexités de l’intégration responsable de l’IA dans les entreprises lors de la prochaine étape du AI Impact Tour de VB à San Francisco. Ne manquez pas l’occasion d’obtenir des informations auprès d’experts du secteur, de réseauter avec des innovateurs partageant les mêmes idées, d’explorer l’avenir de GenAI avec des expériences client et d’optimiser les processus commerciaux.
Demandez une invitation
Pour combler cette lacune, une série de technologies open source permettant le déplacement, la gestion et le traitement des données en temps réel ont été développées, notamment Apache Kafka.
Aujourd’hui, Apache Kafka constitue le premier choix pour diffuser des flux de données dans des milliers d’entreprises.
Confluent, dirigé par Kreps, l’un des créateurs originaux de la plateforme ouverte, a construit autour de celle-ci des produits et services commerciaux (à la fois autogérés et entièrement gérés).
Toutefois, ce n’est qu’une pièce du puzzle. L’année dernière, l’acteur de streaming de données a également acquis Immerok, l’un des principaux contributeurs au projet Apache Flink, pour traiter (filtrer, joindre et enrichir) les flux de données en vol pour les applications en aval.
Aujourd’hui, lors du Kafka Summit, la société a lancé l’inférence de modèles d’IA dans son offre cloud native pour Apache Flink, simplifiant ainsi l’une des applications les plus ciblées avec le streaming de données : l’IA en temps réel et l’apprentissage automatique.
“Kafka a été créé pour permettre à tous ces différents systèmes de fonctionner ensemble en temps réel et de proposer des expériences vraiment étonnantes”, a expliqué Clowes. « L’IA n’a fait qu’alimenter ce feu. Par exemple, lorsque vous utilisez un LLM, il se rattrapera et répondra s’il le faut. Donc, effectivement, il continuera simplement à en parler, que ce soit vrai ou non. À ce moment-là, vous appelez l’IA et la qualité de sa réponse dépend presque toujours de l’exactitude et de l’actualité des données. Cela a toujours été vrai dans l’apprentissage automatique traditionnel et c’est très vrai dans le ML moderne.
Auparavant, pour appeler l’IA avec des données en streaming, les équipes utilisant Flink devaient coder et utiliser plusieurs outils pour effectuer la plomberie entre les modèles et les pipelines de traitement de données. Grâce à l’inférence de modèle d’IA, Confluent rend cela « très pluggable et composable », ce qui leur permet d’utiliser de simples instructions SQL depuis la plate-forme pour effectuer des appels aux moteurs d’IA, notamment ceux d’OpenAI, AWS SageMaker, GCP Vertex et Microsoft Azure.
« Vous pourriez déjà utiliser Flink pour créer la pile RAG, mais vous devrez le faire en utilisant du code. Vous devrez écrire des instructions SQL, mais vous devrez ensuite utiliser une fonction définie par l’utilisateur pour appeler un modèle et récupérer les intégrations ou l’inférence. D’un autre côté, cela le rend simplement super enfichable. Ainsi, sans modifier aucun code, vous pouvez simplement appeler n’importe quel modèle d’intégration ou de génération », a déclaré le CPO.
Flexibilité et puissance
L’entreprise a opté pour l’approche plug-and-play car elle souhaite donner aux utilisateurs la flexibilité de choisir l’option qu’ils souhaitent, en fonction de leur cas d’utilisation. Sans oublier que les performances de ces modèles continuent également d’évoluer au fil du temps, aucun modèle n’étant « gagnant ou perdant ». Cela signifie qu’un utilisateur peut commencer par utiliser le modèle A, puis passer au modèle B s’il s’améliore, sans modifier le pipeline de données sous-jacent.
« Dans ce cas, en réalité, vous avez essentiellement deux emplois Flink. Une tâche Flink consiste à écouter des données sur les données client et ce modèle génère une intégration à partir du fragment de document et le stocke dans une base de données vectorielle. Vous disposez désormais d’une base de données vectorielles contenant les dernières informations contextuelles. Ensuite, de l’autre côté, vous avez une demande d’inférence, comme un client posant une question. Ainsi, vous prenez la question du travail Flink et la joignez aux documents récupérés à l’aide des intégrations. Et c’est tout. Vous appelez le LLM choisi et transmettez les données en réponse », a noté Clowes.
Actuellement, la société offre l’accès à l’inférence de modèles d’IA à certains clients qui créent des applications d’IA en temps réel avec Flink. Il prévoit d’étendre l’accès au cours des prochains mois et de lancer davantage de fonctionnalités pour rendre plus facile, moins chère et plus rapide l’exécution d’applications d’IA avec des données en streaming. Clowes a déclaré qu’une partie de cet effort comprendrait également des améliorations de l’offre cloud native, qui disposera d’un assistant gen AI pour aider les utilisateurs dans le codage et d’autres tâches dans leurs flux de travail respectifs.
« Avec l’assistant IA, vous pouvez dire ‘dites-moi d’où vient ce sujet, dites-moi où il va ou dites-moi à quoi ressemble l’infrastructure’ et il donnera toutes les réponses, exécutera des tâches. Cela aidera nos clients à construire une très bonne infrastructure », a-t-il déclaré.
Une nouvelle façon d’économiser de l’argent
Outre les approches visant à simplifier les efforts d’IA avec des données en temps réel, Confluent a également parlé des Freight Clusters, un nouveau type de cluster sans serveur pour ses clients.
Clowes a expliqué que ces clusters de fret à mise à l’échelle automatique profitent d’une réplication moins chère mais plus lente entre les centres de données. Cela entraîne une certaine latence, mais permet une réduction des coûts jusqu’à 90 %. Il a déclaré que cette approche fonctionne dans de nombreux cas d’utilisation, comme lors du traitement des données de journalisation/télémétrie alimentant les moteurs d’indexation ou d’agrégation par lots.
« Avec la norme Kafka, vous pouvez descendre jusqu’aux électrons. Certains clients optent pour une latence extrêmement faible, de 10 à 20 millisecondes. Cependant, lorsque l’on parle de Freight Clusters, on parle d’une à deux secondes de latence. Cela reste assez rapide et peut constituer un moyen peu coûteux d’ingérer des données », a noté le CPO.
Comme prochaine étape de ce travail, Clowes et Kreps ont indiqué que Confluent cherchait à « se faire connaître » pour accroître sa présence dans la région APAC. Rien qu’en Inde, qui accueille déjà le deuxième plus grand effectif de l’entreprise basé en dehors des États-Unis, l’entreprise prévoit d’augmenter ses effectifs de 25 %.
Du côté des produits, Clowes a souligné qu’ils exploraient et investissaient dans des capacités permettant d’améliorer la gouvernance des données, essentiellement en déplaçant la gouvernance à gauche, ainsi que de cataloguer les données en favorisant le libre-service des données. Ces éléments, a-t-il déclaré, sont très immatures dans le monde du streaming par rapport au monde des lacs de données.
« Au fil du temps, nous espérons que l’ensemble de l’écosystème investira également davantage dans la gouvernance et les produits de données dans le domaine du streaming. Je suis convaincu que cela va se produire. En tant qu’industrie, nous avons fait plus de progrès en matière de connectivité et de streaming, et même de traitement des flux, que du côté de la gouvernance », a-t-il déclaré.
VB Quotidien
Restez informé ! Recevez quotidiennement les dernières nouvelles dans votre boîte de réception
Merci pour votre subscription. Consultez plus de newsletters VB ici.
Une erreur s’est produite.
2024-05-03 15:16:38
1714759648
#Confluent #lance #une #option #plugandplay #pour #lIA #streaming #temps #réel