Research

November 1, 2016, Filed Under: Español, News, Research

Reporte Anual del Proyecto “Reading the First Books”

Transcripción normalizada, integración con eMOP, XML, y transcripción de lenguas indígenas: aquí se presenta un reporte de lo que se ha cumplido durante el primer año del proyecto Reading the First Books. [English]

Transcripciones Normalizadas

Los programas digitales para transcribir libros impresos automáticamente generalmente producen “transcripciones diplomáticas”: es decir, transcripciones que preservan la ortografía y puntuación del texto original.

Pero muchos usuarios de textos digitales prefieren transcripciones normalizadas, donde la ortografía es más consistente y las abreviaturas han sido ampliadas. La normalización facilita la búsqueda y la lectura de textos; también ayuda con formas más complejas de análisis digital como la lematizacíon y el analísis sintáctico, los cuales ayudan a modelar los temas y a su visualización.

En consecuencia, hemos creado una extensión de Ocular que modela transcripciones normalizadas y diplomáticas. Cada vez que se transcribe un texto, Ocular produce el texto en su forma moderna e histórica. Esto lo hace aprendiendo por si mismo las diferencias entre las transcripciones y aplicándolas a su transcripción.

Esto significa que Ocular puede “normalizar” cualquier texto en cualquier lengua de la que tengamos datos. Y los lingüístas computacionales que crearon Ocular, Taylor Berg-Kirkpatrick y Dan Garrette, están trabajando para mejorar el sistema de normalización para que los historiadores tengan acceso a mejores versiones normalizadas de textos históricos.

[Lea nuestro reporte sobre transcripción normalizada] [Inglés]

Integración de eMOP y Transcripción de la colección Primeros Libros

El prototipo de Ocular, el programa que usamos para transcribir textos, funciona mejor cuando se usa con pocos libros a la vez. Esto no es práctico para una colección tan extensa como los Primeros Libros u otras colecciones grandes de textos.

Para resolver este problema, trabajamos con Texas A&M University (TAMU) para manejar e integrar nuestra colección de textos al proyecto Early Modern OCR (eMOP).

Con el apoyo de Anton DuPlessis, uno de los directores del proyecto Primeros Libros y bibliotecario en TAMU, hemos podido procesar e incorporar la gran mayoría de los libros de esta colección a una base de datos.

Después de crear esta base de datos, trabajamos con nuestros colegas de la Iniciativa para Humanidades Digitales, Medios de Comunicación y Cultura–IDHMC (Bryan Tarpley, Matt Christy, Trey Dockendorf, and Liz Grumbach) para integrar Ocular al eMOP.

El eMOP fue diseñado para transcribir grandes colecciones de textos, como “Early English Books Online,” usando Tesseract, el sistema de transcripción automática de Google.

Ahora podemos usar Ocular empleando la interfase de eMOP. Esto significa que podemos manejar y transcribir grandes cantidades de datos más fácilmente. Y usted también podrá! Tanto eMOP como Ocular se pueden accesar via GitHub, aunque una mejor aproximación sería colaborar con IDHMC directamente.

[Lea nuestro reporte sobre la integración con eMOP.] [Inglés]

Mejor XML

Ocular fue diseñado para producir transcripciones en texto sin formato: solamente las palabras y nada más que las palabras.

Con la ayuda de Melanie Cofield, experta en metadatos en UT Libraries, hemos ampliado Ocular para producir XML usando el esquema ALTO de la Biblioteca del Congreso. ALTO fue diseñado específicamente para transcripciones automáticas, y facilitará el proceso para mostrar los textos transcritos al lado de las imágenes escaneadas en la página web del proyecto Primeros Libros. También preserva la información sobre la transcripción, como parámetros del sistema.

¡Pero no se preocupe! Ocular todavía produce transcripciones en texto sin formato, y le aseguramos que podrá descargar estos archivos. Si usted quiere hacer análisis de datos, no tendrá que extraer metadata de nuestros archivos transcritos.

Transcripción de Lenguas Indígenas

Cuando comenzamos este proyecto, una de las prioridades fue la transcripción de lenguas indígenas. De hecho, el fracaso en el uso de Ocular para transcribir Nahuatl fue lo que inspiró este proyecto.

Pero hemos encontrado que la transcripción de lenguas indígenas es difícil, especialmente para lenguas que no están ampliamente disponibles en la web. Para poder transcribir textos, necesitamos construir modelos de lenguaje y estos modelos requieren ejemplos de cómo una lengua normalmente se representa visualmente.

Con la ayuda de Stephanie Wood, hemos podido construir una colección de transcripciones en Nahuatl. Los historiadores nos enviaron materiales y libros del archivo que ellos han transcrito con gran esfuerzo a documentos de Microsoft Word o archivos de texto. A ellos les aseguramos que estas transcripciones se mantendrían privadas y que sólo se usarían para el análisis estadístico que alimentaría nuestro sistema lo que ha permitido la transcripción de libros en Nahuatl.

¿Y que se puede decir sobre las otras lenguas indígenas con las cuales estamos trabajando? Nos ha costado mucho crear colecciones en Zapotec, Mixtec, Purépecha y Huastec, por ello, nuestro sistema no es eficaz en la transcripción de documentos en estas lenguas.

Siguientes Pasos

Nuestra nueva asistente de investigación, María Victoria Fernández, nos va a dirigir en la siguiente etapa del proyecto Reading the First Books. Para el final del próximo año, esperamos haber transcrito toda la colección de Primeros Libros y haber incorporado estas transcripciones a la página web y hacer disponible el acceso para su análisis. Usted se puede mantener al tanto de nuestro progreso a través de la página web del proyecto Reading the First Books.

También vamos a organizar un taller para discutir el futuro de la transcripción automática de textos históricos y el significado de nuestro proyecto para estudios sobre el período colonial en Latinoamérica. ¡Manténgase al tanto de nuestro proyecto!

Cómo nos puede ayudar

¿Quiere participar en el proyecto First Books? Hay tanto que puede hacer:

¡Ayúdenos ampliar nuestra colección de lenguas indígenas! Envíenos cualquier texto que haya escrito en Nahuatl, Zapoteco, Mixteco, Huasteco, o Purépecha. Esto puede ser poesía o prosa contemporánea, o transcripciones de documentos históricos. No podemos utilizar PDFs pero sí documentos en Word, RTF, TXT o XML, ¡todo nos ayudará! Recuerde que nunca compartiremos sus documentos y que nosotros tampoco los leerémos. Sus documentos no tienen que ser perfectos. Se utilizarán como datos para nuestros modelos computacionales, y nos ayudarán a mejorar el proceso de transcripción de lenguas indígenas.

¡Ayúdenos a mejorar Ocular! ¿Eres experto en computación, programación o lingüística computacional? Ocular está disponible gratuitamente en GitHub y ¡usted puede ayudar a mejorarlo! Nos gustaría expandir las capacidades de Ocular para crear textos codificados en TEI. Nos encantaría comprobar si también funciona con lenguas no romances como el Árabe, y también mejorar el sistema para extraer líneas, un programa de pre-procesamiento que corta las páginas en líneas individuales.

¡Pruebe Ocular con sus propios textos! Si usted es un historiador con copias escaneadas de libros antiguos, podremos trabajar con usted para transcribir automáticamente documentos escaneados de cualquier época (pre-siglo XX es mejor) y en cualquier lengua que use el alfabeto latino. (Ocular debe funcionar con todas las lenguas basadas en caracteres, pero no lo hemos comprobado todavía. Comienze con GitHub o contáctenos directamente para ayudarle (halperta@gmail.com).

Traducido por María Victoria Fernández.

August 24, 2016, Filed Under: Español, Research

“Reading the First Books” se une con eMOP

Ocular, el sistema de transcripción utilizado por el proyecto Reading the First Books, se desarolló como un prototipo experimental. Una de nuestras metas fue facilitar el uso de Ocular a través de un proceso de trabajo que mejoraría la interfaz de usuario, la interacción con el sistema y la visualización de los resultados.

Para lograr esta meta, colaboramos con el Early Modern OCR Project (eMOP) [proyecto de ROC para la temprana edad moderna] de Texas A&M University. eMOP fue financiado inicialmente por una beca del Mellon Foundation en 2012 y ha creado un grupo de herramientas digitales para transcribir, evaluar, y mejorar la transcripción automática de los libros de la temprana edad moderna. Este proyecto ha logrado transcribir casi 45 millones de páginas de textos y datos sacados del Early English Books Online, Eighteenth Century Collections Online y otras colecciones.

Screen shot of the eMOP dashboard, showing options for languages and fonts, as well as a list of early Mexican books. — Libros de los *Primeros Libros* en el panel de control de eMOP.

Un resultado del proyecto de eMOP fue el desarrollo de un proceso de trabajo para la transcripción automática que une los sistemas de ROC (reconocimiento óptico de caracteres) con las herramientas para el preprocesamiento, el postprocesamiento y la evaluación del texto. Muchas de estas herramientas han sido desarrolladas por eMOP y se han unido en un panel de control que es fácil de usar. Integramos el programa de Ocular en el panel de control de eMOP para mejorar la accesibilidad al sistema y tomar ventaja de las herramientas de eMOP dedicadas al postprocesamiento y evaluación de datos.

Durante un período de tres meses, el equipo de eMOP (Matt Christy, Trey Dockendorf y Liz Grumbach) trabajó conmigo y Dan Garrette (un desarrollador de Ocular) para integrar los sistemas. Fue necesario modificar a Ocular y hacerlo más fácil e intuitivo de usar. Por ejemplo, tuvimos que facilitar el acceso y entendimiento de los datos de salida. También fue necesario cambiar la infraestructura de eMOP y agregar aplicaciones como la utilización de fuentes e idiomas variables, y una etapa de entrenamiento antes del proceso de transcripción.

Transcripciones automáticas de un libro antiguo mexicano, hecho por eMOP en XML. — Transcripciones automáticas de un libro antiguo mexicano, producidas en XML usando eMOP.

En mayo, producimos las primeras transcripciones usando Ocular en la interfaz de eMOP. Probamos la herramienta con seis páginas de un libro escrito en Español, Latín y Nahuatl. El systema produce transcripciones en texto sin formato y en XML (usando el esquema de ALTO desarrollado por el Library of Congress) para preservar datos como la posición de caracteres en la página o el idioma de cada palabra. Se produce una versión diplomática y otra normalizada (es decir modernizada) de cada transcripción. [Consulta un artículo sobre las transcripciones modernizadas (in English)].

Aunque estábamos contentos por haber logrado producir transcripciones, todavía tenemos mucho trabajo que hacer antes de empezar el proceso de transcribir libros enteros. En el proceso de probar estas nuevas herramientas, descubrimos incompatibilidades y nuevos errores en eMOP y Ocular. Estamos trabajando con Bryan Tarpley, nuevo miembro del equipo de eMOP, para resolver estas dificultades. También tenemos que afinar los parámetros de los documentos en la colección de los Primeros Libros y seguir modificando los datos lingüísticos y ortográficos para los siete idiomas en el corpus.

Ocular y eMOP estan disponibles en GitHub pero el proceso de instalación requiere un poco de conocimiento técnico. Esperamos que otros proyectos podrán colaborar con eMOP y tomar ventaja de las herramientas que ofrece. En fin, futuras colaboraciones con eMOP podrán mejorar la accesibilidad y precisión de transcripciones automáticas de los libros antiguos de America Colonial.

August 24, 2016, Filed Under: Research

Reading the First Books joins the Early Modern OCR Project

Ocular, the automatic transcription tool used by the Reading the First Books project, was designed as a prototype to test experimental models. One of the goals of the project was to make Ocular more user-friendly by integrating it into an OCR workflow that would include a more user-friendly interface, easier interaction with the tool, and clearer visualization of results.

To accomplish this goal, we partnered with the Early Modern OCR Project (eMOP) at Texas A&M University. eMOP, which was originally funded by a Mellon Foundation Grant in 2012, aimed to bring together tools for assessing, transcribing, and evaluating the automatic transcription of early modern books, ultimately transcribing some 45 million pages of data from Early English Books Online, Eighteenth Century Collections Online, and elsewhere.

One outcome of the eMOP project was an open source workflow for automatic transcription, which brings Optical Character Recognition (OCR) tools for transcription with tools for pre-processing, post-processing, and evaluating text, many of which were created by eMOP. These tools come together through the user-friendly eMOP dashboard. By integrating Ocular into the eMOP dashboard and workflow, we would make the tool more accessible, while also gaining access to the tools for post-processing and evaluation.

Over a three month period, the eMOP team (Matt Christy, Trey Dockendorf, and Liz Grumbach) worked with Dan Garrette (an Ocular developer) and myself to make this integration possible. This involved restructuring Ocular to make it more user-friendly and intuitive, for example, by changing the output so it was easier to find and interpret. It also involved making significant changes to the eMOP infrastructure, such as adding the ability to work with multiple fonts and languages, or adding a training stage prior to transcription.

In May, we were able to produce the first transcriptions using Ocular with the eMOP interface. We tested the tool on six pages from a book written in Spanish, Latin, and Nahuatl. The system displays the transcriptions in plain text and in xml (using the ALTO schema designed by the Library of Congress) to preserve information like the location of each character on the page, and the language of each word. It produces both a “diplomatic” and “normalized” (or modernized) version of the transcription. [See our discussion of modernized transcriptions (en español)].

Though we were thrilled to have produced successful transcriptions, we still had a lot of work to do before we can begin transcribing. Over the course of the testing process, we discovered new incompatibilities between eMOP and Ocular, and new bugs in the code. We have been working with Bryan Tarpley, a new member of the eMOP team, to resolve these challenges. We will also need to fine-tune the parameters for the documents in the Primeros Libros collection, and continue modifying language data and orthographies for the seven languages represented in our corpus.

Both Ocular and the eMOP dashboard are available via GitHub, though installing your own version does require some technical skill. We hope that future projects will also be able to partner with eMOP to take advantage of these tools. Ultimately, this should improve both the availability and the accuracy of automatic transcriptions for early modern books from Colonial America.