Définition – Que signifient les représentations d’encodeur bidirectionnel à partir de transformateurs (BERT)?
BERT (Bidirectional Encoder Representations from Transformers) est un type de stratégie d’apprentissage profond du traitement du langage naturel (NLP) dans lequel les réseaux de neurones profonds utilisent des modèles bidirectionnels avec une représentation du langage non supervisée.
BERT est l’un des nombreux outils clés utilisés pour suralimenter ce que les systèmes d’intelligence artificielle peuvent faire.
Definir Tech explique les représentations d’encodeur bidirectionnel à partir de transformateurs (BERT)
L’un des moyens les plus élémentaires de comprendre le BERT est qu’en raison d’un manque de données de formation, les ingénieurs ont innové pour permettre à une plate-forme de PNL de puiser dans de larges corps de texte existant, avec de nouveaux liens entre les mots et d’autres unités de données. Plus précisément, la bidirectionnalité, associée à une stratégie de masquage, permet aux réseaux neuronaux d’apprentissage en profondeur à plusieurs niveaux d’exploiter plus efficacement les archives pour créer des modèles PNL.
Les ingénieurs de Google ont utilisé des outils tels que Tensorflow pour créer l’architecture de réseau neuronal BERT dans laquelle des flux bidirectionnels sont utilisés pour pré-former le réseau. Google suggère que BERT puisse permettre aux utilisateurs de former un système de questions-réponses à la pointe de la technologie en 30 minutes sur un TPU cloud, ou d’utiliser une structure GPU pour effectuer la même tâche en quelques heures seulement.
En tant que stratégie d’apprentissage en profondeur particulière, BERT a beaucoup de promesses dans le domaine de la PNL. Pendant ce temps, d’autres types d’innovations avancées font des progrès dans la théorie des jeux et les disciplines connexes – où l’apprentissage Q et l’apprentissage basé sur les résultats entraînent des progrès rapides.