Gemma es una familia de modelos abiertos desarrollados a partir de la misma investigación y tecnología utilizada para los modelos Gemini. Por el momento, esta familia incluye Gemma, CodeGemma, PaliGemma y RecurrentGemma. De manera conjunta, los modelos son capaces de realizar una amplia gama de tareas, incluida la generación de texto, la finalización y generación de código, y muchas tareas de lenguaje visual. Además, se pueden ejecutar en diferentes dispositivos, desde Edge a computadoras de escritorio o en la nube. Incluso se pueden ajustar los modelos de Gemma a fin de que se adapten a necesidades específicas.
Gemma se diseñó para la comunidad abierta de desarrolladores e investigadores que impulsan la innovación en el campo de la IA. Obtén más información sobre Gemma y accede a la guía de inicio rápido en ai.google.dev/gemma
En esta publicación, exploraremos 3 ideas divertidas de proyectos y cómo aprender a usar los modelos de Gemma para crearlos:
El alfabeto coreano, o hangul, sufrió cambios a lo largo del tiempo y, en consecuencia, varias letras ya no se usan en el coreano moderno. Estas letras son:
2. ㆆ (Yeorin-hieut): se pronuncia como una "h" suave, similar a una "h" inglesa, pero una versión más suave.
3. ㅿ (Bansiot): representa la "z".
4. ㆁ (Yet-ieung): un sonido nasal velar comparable a "ng" en la palabra "inglés".
Para los hablantes nativos de coreano, la lectura de literatura antigua presenta un desafío debido a la utilización de letras que hoy están obsoletas. El hangul antiguo carecía de espacios entre las palabras, lo que complicaba aun más la legibilidad. Por el contrario, el hangul moderno emplea espacios, de acuerdo con la mayoría de los sistemas alfabéticos.
Las capacidades de Gemma permiten la creación de un traductor que ayuda a comprender y cerrar la brecha entre el coreano contemporáneo y el antiguo. SentencePiece sirve como base para el tokenizador de Gemma. A diferencia de los tokenizadores convencionales, que dependen en gran medida de lineamientos específicos del idioma o diccionarios predefinidos, SentencePiece se entrena directamente sobre datos de texto sin procesar. En consecuencia, se vuelve independiente de cualquier idioma específico y adaptable a diversas formas de datos de texto.
Software
Para simplificar la tarea, adoptaremos la siguiente estructura con el objetivo de afinar el modelo. El modelo generará un texto en coreano contemporáneo basado en la entrada del usuario en el hangul antiguo.
Los modelos ajustados a instrucciones (TI, por sus siglas en inglés) se entrenan con un formateador específico. Se debe tener en cuenta que los tokens de control se tokenizan en un solo token de la manera que se muestra a continuación:
Para el entrenamiento de modelos, utilizaremos "Hong Gildong jeon", una novela coreana de la dinastía Joseon.
Para evaluar la calidad del resultado del modelo, utilizaremos un texto que no corresponde a los conjuntos de datos de entrenamiento, específicamente la novela clásica coreana "Suk Yeong Nang Ja jeon", de un autor desconocido.
El modelo no tiene capacidad para traducir hangul antiguo.
Después del ajuste fino, las respuestas siguen la instrucción y generan un texto en coreano contemporáneo basado en el texto del hangul antiguo.
El siguiente texto es un ejemplo de una traducción hecha por un humano:
"금두꺼비가 품에 드는 게 보였으니 얼마 안 있어 자식을 낳을 것입니다.
하였다. 과연 그 달부터 잉태하여 십삭이 차니"
NOTA: El texto en coreano dice "Vi un sapo dorado en sus brazos, por lo que no pasará mucho tiempo antes de que dé a luz a un niño. De hecho, ella concibió a partir de ese mes y tenía diez meses de edad".
A continuación, incluimos otro resultado.
Y la traducción realizada por un humano que se muestra a continuación:
"이 때는 사월 초파일이었다.이날 밤에 오색구름이 집을 두르고 향내 진동하며 선녀 한 쌍이 촉을 들고 들어와 김생더러 말하기를,"
NOTA: El texto en coreano dice "En este momento, era el ocho de abril. Esa noche, con nubes de cinco colores que rodeaban la casa y el aroma del incienso vibrando, un par de hadas entraron con velas y le dijeron a Kim Saeng:".
Aunque la traducción no es impecable, es un primer borrador decente. Los resultados son increíbles si se tiene en cuenta que los conjuntos de datos se limitan a un solo libro. Es probable que, a medida que se mejore la diversidad de las fuentes de datos, también mejore la calidad de la traducción.
Una vez que hagas el ajuste fino del modelo, puedes publicarlo en Kaggle y Hugging Face.
A continuación, te mostramos un ejemplo:
# Save the finetuned model
gemma.save_to_preset("./old-korean-translator")
# Upload the model variant on Kaggle
kaggle_uri = "kaggle://my_kaggle_username/gemma-ko/keras/old-korean-translator"
keras_nlp.upload_preset(kaggle_uri, "./old-korean-translator")
Para lograr tareas similares, se puede replicar la misma estructura. A continuación, se muestran algunos ejemplos:
Varios objetos y conceptos cotidianos tienen diferentes nombres según la región. Por ejemplo, en inglés americano (AmE), las personas usan términos como "elevator" (ascensor), "truck" (camión), "cookie" (galleta) y "french fries" (papas fritas), mientras que en inglés británico (BrE), las palabras equivalentes son "lift", "lorry", "biscuit" y "chips", respectivamente.
Además de las diferencias de vocabulario, también existen variaciones ortográficas. Por ejemplo, las palabras que en AmE terminan en "-or" se suelen escribir con "-our" en BrE. Los ejemplos incluyen "color" (AmE) y "colour" (BrE), o "humor" (AmE) y "humour" (BrE).
Otra variación ortográfica es la diferencia entre "-ize" frente a "-ise". En AmE, palabras como "organize" (organizar) y "realize" (darse cuenta) se escriben comúnmente con una "z", mientras que en BrE, se prefiere "organise" y "realise", con "s".
Con la ayuda de herramientas de IA como Gemma, es posible crear una transferencia de estilo de una variante de inglés a otra, lo que permite transiciones sin problemas entre los estilos de escritura en inglés estadounidense y británico.
En la región de Kansai en Japón, hay un grupo distinto de dialectos conocidos como Kansai-ben. En comparación con el idioma japonés estándar, los hablantes nativos perciben el kansai-ben como más melódico y duro en su pronunciación y entonación.
Con las capacidades de Gemma, puedes compilar un traductor de dialectos si preparas una cantidad sustancial de conjuntos de datos de Kansai-ben.
Con la fiel compañía de Gemma, puedes vivir la experiencia de compilar un juego cautivador. Todo comienza con una presentación de una línea que sirve como base para el concepto de tu juego. Gemma tiene la habilidad de guiarte para desarrollar el concepto del juego, crear personajes principales complejos y escribir una historia principal atractiva que sumergirá a los jugadores en el mundo de tu juego.
Software
Comienza escribiendo un concepto central, una presentación de una línea sobre tu juego, como se muestra a continuación:
Gemma puede agregar más detalles según tu presentación.
Entrada: "Elabora sobre este juego con el concepto básico dado a continuación.\n{pitch}"
Ejemplo de resultado:
Entrada: "Diseña personajes principales"
Ejemplo de resultado:
Entrada: "Diseña personajes villanos"
Ejemplo de resultado:
Entrada: "Escribe la historia principal de este juego con una introducción, desarrollo, giro y conclusión".
Ejemplo de resultado:
Si modificas el mensaje, puedes obtener un acompañante similar para casi cualquier tipo de contenido creativo.
Presentación: "Un nuevo cepillo de dientes a vapor"
Entrada: "Genera una frase de marketing para el nuevo producto que se muestra a continuación.\n{pitch}"
Ejemplo de resultado:
Presentación: "Universo y estrellas fugaces"
Entrada: "Genera una idea de florista inspirada en el concepto que se muestra a continuación, junto con sugerencias para flores adecuadas.\n{pitch}"
Ejemplo de resultado:
Presentación: "Cyberpunk Kraken"
Entrada: "Genera una receta de cocina con el concepto que se muestra a continuación.\n{pitch}"
Ejemplo de resultado:
El método tradicional de enviar cartas a Santa puede ser limitado e impersonal. Por lo general, los niños tienen que esperar semanas o incluso meses para recibir una respuesta, y sus cartas pueden no ser tan detalladas o interactivas como les gustaría.
En este proyecto, utilizaremos Gemma, que se ejecuta en una Raspberry Pi, para escribir cartas mágicas de Santa con el poder de un modelo de lenguaje grande.
Hardware
Software
Generación de texto
Puedes escribir tu propia app C++ con libgemma.
Utiliza el siguiente mensaje para indicar el modelo:
Antes de empezar a compilar, modifica el MODEL_PATH definido en el código.
$ g++ santa.cc -I . -I build/_deps/highway-src -I build/_deps/sentencepiece-src build/libgemma.a build/_deps/highway-build/libhwy.a build/_deps/sentencepiece-build/src/libsentencepiece.so -lstdc++ -l
Comenzar
$ LD_LIBRARY_PATH=./build/_deps/sentencepiece-build/src ./a.out
Leerá el texto de letter.txt y generará una carta de Santa.
NOTA: La generación de texto en Raspberry Pi puede demorar un poco.
Aquí está el resultado final:
$ ./main -m models/gemma-2b-it.gguf --repeat-penalty 1.0 -p "Eres Santa, escribe una carta para este niño.\n<START_OF_Turn>user\ nPLACE_THE_CONTEXT_OF_LETTER_HERE<END_OF_Turn>\n<START_OF_Turn>model\n"
Gemma ofrece una infinidad de oportunidades. Esperamos que estas sugerencias te inspiren y nos encantaría ver cómo tus creaciones cobran vida.
Te invitamos a unirte al servidor de Discord de la comunidad de desarrolladores de Google. Allí, puedes compartir tus proyectos y conectarte con otras personas de ideas afines.
¡Que te diviertas experimentando!
Todo sobre Gemma: una descripción general de las arquitecturas de la familia de modelos de Gemma
Ajusta Gemini Pro en Google AI Studio o con la API de Gemini
Todo sobre Gemma: novedades de Gemma 2
Primeros pasos con Gemma en Ray en Vertex AI