"Fossies" - the Fresh Open Source Software Archive

Member "transformers-4.21.1/docs/source/es/bertology.mdx" (4 Aug 2022, 2138 Bytes) of package /linux/misc/transformers-4.21.1.tar.gz:

As a special service "Fossies" has tried to format the requested text file into HTML format (style: standard) with prefixed line numbers. Alternatively you can here view or download the uninterpreted source code file.

A hint: This file contains one or more very long lines, so maybe it is better readable using the pure text view mode that shows the contents as wrapped lines within the browser window.

    1 <!--Copyright 2020 The HuggingFace Team. All rights reserved.
    2 
    3 Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with
    4 the License. You may obtain a copy of the License at
    5 
    6 http://www.apache.org/licenses/LICENSE-2.0
    7 
    8 Unless required by applicable law or agreed to in writing, software distributed under the License is distributed on
    9 an "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the License for the
   10 specific language governing permissions and limitations under the License.
   11 -->
   12 
   13 # BERTología
   14 
   15 Hay un creciente campo de estudio empeñado en la investigación del funcionamiento interno de los transformers de gran escala como BERT
   16 (que algunos llaman "BERTología"). Algunos buenos ejemplos de este campo son:
   17 
   18 
   19 - BERT Rediscovers the Classical NLP Pipeline por Ian Tenney, Dipanjan Das, Ellie Pavlick:
   20   https://arxiv.org/abs/1905.05950
   21 - Are Sixteen Heads Really Better than One? por Paul Michel, Omer Levy, Graham Neubig: https://arxiv.org/abs/1905.10650
   22 - What Does BERT Look At? An Analysis of BERT's Attention por Kevin Clark, Urvashi Khandelwal, Omer Levy, Christopher D.
   23   Manning: https://arxiv.org/abs/1906.04341
   24 
   25 Para asistir al desarrollo de este nuevo campo, hemos incluido algunas features adicionales en los modelos BERT/GPT/GPT-2 para
   26 ayudar a acceder a las representaciones internas, principalmente adaptado de la gran obra de Paul Michel
   27 (https://arxiv.org/abs/1905.10650):
   28 
   29 
   30 - accediendo a todos los hidden-states de BERT/GPT/GPT-2,
   31 - accediendo a todos los pesos de atención para cada head de BERT/GPT/GPT-2,
   32 - adquiriendo los valores de salida y gradientes de las heads para poder computar la métrica de importancia de las heads y realizar la poda de heads como se explica
   33   en https://arxiv.org/abs/1905.10650.
   34 
   35 Para ayudarte a entender y usar estas features, hemos añadido un script específico de ejemplo: [bertology.py](https://github.com/huggingface/transformers/tree/main/examples/research_projects/bertology/run_bertology.py) mientras extraes información y cortas un modelo pre-entrenado en
   36 GLUE.