Markdown Links

Índice

• 1. Preámbulo
• 2. Resumen del proyecto
• 3. Objetivos de aprendizaje
• 4. Consideraciones generales
• 5. Criterios de aceptación mínimos del proyecto
• 6. Entregables
• 7. Hacker edition
• 8. Pistas, tips y lecturas complementarias
• 9. Checklist
• 10. Achicando el problema

1. Preámbulo

Markdown es un lenguaje de marcado ligero muy popular entre developers. Es usado en muchísimas plataformas que manejan texto plano (GitHub, foros, blogs, ...) y es muy común encontrar varios archivos en ese formato en cualquier tipo de repositorio (empezando por el tradicional README.md).

Estos archivos Markdown normalmente contienen links (vínculos/ligas) que muchas veces están rotos o ya no son válidos y eso perjudica mucho el valor de la información que se quiere compartir.

Dentro de una comunidad de código abierto, nos han propuesto crear una herramienta usando Node.js, que lea y analice archivos en formato Markdown, para verificar los links que contengan y reportar algunas estadísticas.

2. Resumen del proyecto

En este proyecto crearás una herramienta de línea de comando (CLI) así como tu propia librería (o biblioteca - library) en JavaScript.

En esta oportunidad nos alejamos un poco del navegador para construir un programa que se ejecute usando Node.js. Aprenderemos sobre procesos (process.env, process.argv, ...), cómo interactuar con el sistema archivos, cómo hacer consultas de red, etc.

Node.js es un entorno de ejecución para JavaScript construido con el motor de JavaScript V8 de Chrome. Esto nos va a permitir ejecutar JavaScript en el entorno del sistema operativo, ya sea tu máquina o un servidor, lo cual nos abre las puertas para poder interactuar con el sistema en sí, archivos, redes, etc.

Diseñar tu propia librería es una experiencia fundamental para cualquier desarrolladora porque que te obliga a pensar en la interfaz (API) de tus módulos y cómo será usado por otras developers. Debes tener especial consideración en peculiaridades del lenguaje, convenciones y buenas prácticas.

3. Objetivos de aprendizaje

Reflexiona y luego marca los objetivos que has llegado a entender y aplicar en tu proyecto. Piensa en eso al decidir tu estrategia de trabajo.

JavaScript

• [ ] Diferenciar entre tipos de datos primitivos y no primitivos

• [ ] Arrays (arreglos)

  • Arreglos
  • Array - MDN
  • Array.prototype.sort() - MDN
  • Array.prototype.forEach() - MDN
  • Array.prototype.map() - MDN
  • Array.prototype.filter() - MDN
  • Array.prototype.reduce() - MDN

• [ ] Objetos (key, value)

  • Objetos en JavaScript

• [ ] Uso de condicionales (if-else, switch, operador ternario, lógica booleana)

  • Estructuras condicionales y repetitivas
  • Tomando decisiones en tu código — condicionales - MDN

• [ ] Funciones (params, args, return)

  • Funciones (control de flujo)
  • Funciones clásicas
  • Arrow Functions
  • Funciones — bloques de código reutilizables - MDN

• [ ] Recursión o recursividad

  • Píldora recursión - YouTube Laboratoria Developers
  • Recursión o Recursividad - Laboratoria Developers en Medium

• [ ] Módulos de CommonJS

  • Modules: CommonJS modules - Node.js Docs

• [ ] Diferenciar entre expresiones (expressions) y sentencias (statements)

• [ ] Callbacks

  • Función Callback - MDN

• [ ] Promesas

  • Promise - MDN
  • How to Write a JavaScript Promise - freecodecamp (en inglés)

• [ ] Pruebas unitarias (unit tests)

  • Empezando con Jest - Documentación oficial

• [ ] Pruebas asíncronas

  • Tests de código asincrónico con Jest - Documentación oficial

• [ ] Uso de mocks y espías

  • Manual Mocks con Jest - Documentación oficial

• [ ] Pruebas de compatibilidad en múltiples entornos de ejecución

• [ ] Uso de linter (ESLINT)

• [ ] Uso de identificadores descriptivos (Nomenclatura y Semántica)

Node.js

• [ ] Instalar y usar módulos con npm

  • Sitio oficial de npm (en inglés)

• [ ] Configuración de package.json

  • package.json - Documentación oficial (en inglés)

• [ ] Configuración de npm-scripts

  • scripts - Documentación oficial (en inglés)

• [ ] process (env, argv, stdin-stdout-stderr, exit-code)

  • Process - Documentación oficial (en inglés)

• [ ] File system (fs, path)

  • File system - Documentación oficial (en inglés)
  • Path - Documentación oficial (en inglés)

Control de Versiones (Git y GitHub)

• [ ] Git: Instalación y configuración

• [ ] Git: Control de versiones con git (init, clone, add, commit, status, push, pull, remote)

• [ ] Git: Integración de cambios entre ramas (branch, checkout, fetch, merge, reset, rebase, tag)

• [ ] GitHub: Creación de cuenta y repos, configuración de llaves SSH

• [ ] GitHub: Colaboración en Github (branches | forks | pull requests | code review | tags)

• [ ] GitHub: Organización en Github (projects | issues | labels | milestones | releases)

HTTP

• [ ] Consulta o petición (request) y respuesta (response).

  • Generalidades del protocolo HTTP - MDN
  • Mensajes HTTP - MDN

• [ ] Códigos de status de HTTP

  • Códigos de estado de respuesta HTTP - MDN
  • The Complete Guide to Status Codes for Meaningful ReST APIs - dev.to

4. Consideraciones generales

• Este proyecto se debe "resolver" de manera individual.

• El rango de tiempo estimado para completar el proyecto es de 4 a 5 Sprints.

• La librería y el script ejecutable (herramienta de línea de comando - CLI) deben estar implementados en JavaScript para ser ejecutados con Node.js. Está permitido usar librerías externas.

• Tu módulo debe ser instalable via npm install <github-user>/md-links. Este módulo debe incluir tanto un ejecutable que podamos invocar en la línea de comando como una interfaz que podamos importar con require para usarlo programáticamente.

• Los tests unitarios deben cubrir un mínimo del 70% de statements, functions, lines y branches. Te recomendamos explorar Jest para tus pruebas unitarias.

• Para este proyecto no está permitido utilizar async/await.

• Para este proyecto te sugerimos no utilizar la versión síncrona de la función para leer archivos, readFileSync, y en cambio intentar resolver este desafío de manera asíncrona.

• Para este proyecto es opcional el uso de ES Modules (import/export), en el caso optes utilizarlo deberás de crear un script de build en el package.json que los transforme en requires y module.exports con ayuda de babel.

• Para disminuir la complejidad de tu algoritmo recursivo, te recomendamos utilizar la versión síncrona de la función para leer directorios, readdirSync.

5. Criterios de aceptación mínimos del proyecto

Para comenzar este proyecto tendrás que hacer un fork y clonar este repositorio.

Antes de comenzar a codear, es necesario crear un plan de acción. Esto debería quedar detallado en el README.md de tu repo y en una serie de issues y milestones para priorizar y organizar el trabajo, y para poder hacer seguimiento de tu progreso.

Dentro de cada milestone se crearán y asignarán los issues que cada quien considere necesarios.

Archivos del proyecto

• README.md con descripción del módulo, instrucciones de instalación/uso, documentación del API y ejemplos. Todo lo relevante para que cualquier developer que quiera usar tu librería pueda hacerlo sin inconvenientes.
• index.js: Desde este archivo debes exportar una función (mdLinks).
• package.json con nombre, versión, descripción, autores, licencia, dependencias, scripts (pretest, test, ...), main, bin
• .editorconfig con configuración para editores de texto. Este archivo no se debe cambiar.
• .eslintrc con configuración para linter. Este archivo contiene una configuración básica para ESLint, si deseas agregar reglas adicionales como Airbnb deberás modificar este archivo.
• .gitignore para ignorar node_modules u otras carpetas que no deban incluirse en control de versiones (git).
• test/md-links.spec.js debe contener los tests unitarios para la función mdLinks(). Tu implementación debe pasar estos tests.

Este proyecto consta de DOS partes

1) JavaScript API

El módulo debe poder importarse en otros scripts de Node.js y debe ofrecer la siguiente interfaz:

mdLinks(path, options)

Argumentos

• path: Ruta absoluta o relativa al archivo o directorio. Si la ruta pasada es relativa, debe resolverse como relativa al directorio desde donde se invoca node - current working directory).
• options: Un objeto con únicamente la siguiente propiedad:
  • validate: Booleano que determina si se desea validar los links encontrados.

Valor de retorno

La función debe retornar una promesa (Promise) que resuelva a un arreglo (Array) de objetos (Object), donde cada objeto representa un link y contiene las siguientes propiedades

Con validate:false :

• href: URL encontrada.
• text: Texto que aparecía dentro del link (<a>).
• file: Ruta del archivo donde se encontró el link.

Con validate:true :

• href: URL encontrada.
• text: Texto que aparecía dentro del link (<a>).
• file: Ruta del archivo donde se encontró el link.
• status: Código de respuesta HTTP.
• ok: Mensaje fail en caso de fallo u ok en caso de éxito.

Ejemplo (resultados como comentarios)

const mdLinks = require("md-links");

mdLinks("./some/example.md")
  .then(links => {
    // => [{ href, text, file }, ...]
  })
  .catch(console.error);

mdLinks("./some/example.md", { validate: true })
  .then(links => {
    // => [{ href, text, file, status, ok }, ...]
  })
  .catch(console.error);

mdLinks("./some/dir")
  .then(links => {
    // => [{ href, text, file }, ...]
  })
  .catch(console.error);

2) CLI (Command Line Interface - Interfaz de Línea de Comando)

El ejecutable de nuestra aplicación debe poder ejecutarse de la siguiente manera a través de la terminal:

md-links <path-to-file> [options]

Por ejemplo:

$ md-links ./some/example.md
./some/example.md http://algo.com/2/3/ Link a algo
./some/example.md https://otra-cosa.net/algun-doc.html algún doc
./some/example.md http://google.com/ Google

El comportamiento por defecto no debe validar si las URLs responden ok o no, solo debe identificar el archivo markdown (a partir de la ruta que recibe como argumento), analizar el archivo Markdown e imprimir los links que vaya encontrando, junto con la ruta del archivo donde aparece y el texto que hay dentro del link (truncado a 50 caracteres).

Options

--validate

Si pasamos la opción --validate, el módulo debe hacer una petición HTTP para averiguar si el link funciona o no. Si el link resulta en una redirección a una URL que responde ok, entonces consideraremos el link como ok.

Por ejemplo:

$ md-links ./some/example.md --validate
./some/example.md http://algo.com/2/3/ ok 200 Link a algo
./some/example.md https://otra-cosa.net/algun-doc.html fail 404 algún doc
./some/example.md http://google.com/ ok 301 Google

Vemos que el output en este caso incluye la palabra ok o fail después de la URL, así como el status de la respuesta recibida a la petición HTTP a dicha URL.

--stats

Si pasamos la opción --stats el output (salida) será un texto con estadísticas básicas sobre los links.

$ md-links ./some/example.md --stats
Total: 3
Unique: 3

También podemos combinar --stats y --validate para obtener estadísticas que necesiten de los resultados de la validación.

$ md-links ./some/example.md --stats --validate
Total: 3
Unique: 3
Broken: 1

6. Entregables

Módulo instalable via npm install <github-user>/md-links. Este módulo debe incluir tanto un ejecutable como una interfaz que podamos importar con require para usarlo programáticamente.

7. Hacker edition

Las secciones llamadas Hacker Edition son opcionales. Si terminaste con todo lo anterior y te queda tiempo, intenta completarlas. Así podrás profundizar y/o ejercitar más sobre los objetivos de aprendizaje del proyecto.

• Puedes agregar la propiedad line a cada objeto link indicando en qué línea del archivo se encontró el link.
• Puedes agregar más estadísticas.
• Integración continua con Travis o Circle CI.

8. Pistas, tips y lecturas complementarias

Súmate al canal de Slack #project-md-links para conversar y pedir ayuda del proyecto.

FAQs

¿Cómo hago para que mi módulo sea instalable desde GitHub?

Para que el módulo sea instalable desde GitHub solo tiene que:

• Estar en un repo público de GitHub
• Contener un package.json válido

Con el comando npm install githubname/reponame podemos instalar directamente desde GitHub. Ver docs oficiales de npm install acá.

Por ejemplo, el course-parser que usamos para la currícula no está publicado en el registro público de NPM, así que lo instalamos directamente desde GitHub con el comando npm install Laboratoria/course-parser.

Sugerencias de implementación

La implementación de este proyecto tiene varias partes: leer del sistema de archivos, recibir argumentos a través de la línea de comando, analizar texto, hacer consultas HTTP, ... y todas estas cosas pueden enfocarse de muchas formas, tanto usando librerías como implementando en VanillaJS.

Por poner un ejemplo, el parseado (análisis) del markdown para extraer los links podría plantearse de las siguientes maneras (todas válidas):

• Usando un módulo como markdown-it, que nos devuelve un arreglo de tokens que podemos recorrer para identificar los links.
• Siguiendo otro camino completamente, podríamos usar expresiones regulares (RegExp).
• También podríamos usar una combinación de varios módulos (podría ser válido transformar el markdown a HTML usando algo como marked y de ahí extraer los link con una librería de DOM como JSDOM o Cheerio entre otras).
• Usando un custom renderer de marked (new marked.Renderer()).

No dudes en consultar a tus compañeras y coaches si tienes dudas existenciales con respecto a estas decisiones. No existe una "única" manera correcta :wink:

Tutoriales / NodeSchool workshoppers

• learnyounode
• how-to-npm
• promise-it-wont-hurt

Otros recursos

• Acerca de Node.js - Documentación oficial
• Node.js file system - Documentación oficial
• Node.js http.get - Documentación oficial
• Node.js - Wikipedia
• What exactly is Node.js? - freeCodeCamp
• ¿Qué es Node.js y para qué sirve? - drauta.com
• ¿Qué es Nodejs? Javascript en el Servidor - Fazt en YouTube
• ¿Simplemente qué es Node.js? - IBM Developer Works, 2011
• Node.js y npm
• Asíncronía en js
• NPM
• Publicar packpage
• Crear módulos en Node.js
• Leer un archivo
• Leer un directorio
• Path
• Linea de comando CLI

9. Checklist

General

• [ ] Puede instalarse via npm install --global <github-user>/md-links

README.md

• [ ] Un board con el backlog para la implementación de la librería.
• [ ] Documentación técnica de la librería.
• [ ] Guía de uso e instalación de la librería

API mdLinks(path, opts)

• [ ] El módulo exporta una función con la interfaz (API) esperada.
• [ ] Implementa soporte para archivo individual
• [ ] Implementa soporte para directorios
• [ ] Implementa options.validate

CLI

• [ ] Expone ejecutable md-links en el path (configurado en package.json)
• [ ] Se ejecuta sin errores / output esperado
• [ ] Implementa --validate
• [ ] Implementa --stats

Pruebas / tests

• [ ] Pruebas unitarias cubren un mínimo del 70% de statements, functions, lines, y branches.
• [ ] Pasa tests (y linters) (npm test).

10. Achicando el problema

Un "superpoder" que esperamos puedas desarrollar durante el bootcamp es el de definir "mini-proyectos" que te acerquen paso a paso a la solución del "gran proyecto". Es el equivalente a comenzar armando esquinas o bordes del rompecabezas/puzzle sin saber necesariamente cómo encajarán al final. Déjate llevar y explora.

Estas son algunas sugerencias:

Empieza con un diagrama de flujo

Este proyecto es distinto de los que has venido trabajando hasta ahora dado que no hay una interfaz web, todo se desarrollará en tu editor y consola/terminal.

Es por ello que, para visualizar mejor lo que tendrás que hacer y planificar tus tareas y objetivos, es recomendable hacer un diagrama de flujo.

Si nunca has hecho un diagrama de flujo revisa este recurso.

Una alternativa al diagrama de flujo puede ser el pseudocódigo.

Planificación

En este proyecto te recomendamos usar la herramienta de planificación y organización de GitHub llamada Github Projects.

Mediante issues y milestones podrás organizar y planificar tareas y objetivos concretos.

Tomando en consideración los entregables del proyecto, el 9. Checklist y los pasos que definiste en tu diagrama de flujo, crea tu planificación en GitHub Projects.

Antes de codear

En esta ocasión estarás trabajando en NodeJS, asegúrate de saber para qué sirve y sus consideraciones.

En particular, deberás decidir desde un comienzo si usarás ES Modules, es decir, import/export, ó, por el contrario, CommonJS Modules, es decir, require/module.exports.

Asegurate de tener clara esta decisión desde un inicio para que no encuentres problemas más adelante.

Lee un archivo

Como primer reto, puedes tratar de leer un solo archivo con una ruta fija e imprimir su contenido en la consola con un console.log.

La librería nativa FS (FileSystem) te será de utilidad.

Recuerda: Te sugerimos no utilizar la versión síncrona de la función para leer archivos, readFileSync, y en cambio intentar resolver ese desafío de manera asíncrona.

Averigua la extensión de un archivo

Ya sabiendo leer un archivo, aventúrate a conocer cual es su extensión.

Recuerda, las extensiones son esas letras al final del nombre de un archivo, por ejemplo: .js, .txt, .doc, etc

Aquí también podrá ser útil FS.

Obtén el contenido de un directorio

Este proyecto consiste en buscar archivos, pero para eso, primero debes poder verlos.

Intenta imprimir en consola la lista de archivos en una carpeta.

La librería FS también te será útil aquí.

Recuerda: Para disminuir la complejidad de tu algoritmo recursivo, te recomendamos utilizar la versión síncrona de la función para leer directorios, readdirSync.

Une dos rutas

Para poder acceder a carpetas y archivos será necesario que indiques en qué lugar de tu computadora se encuentran, a esto le llamamos rutas.

Usa la librería nativa path para unir dos segmentos de ruta, por ejemplo, si queremos unir:

1. /home/Laboratoria/
2. ./test

El resultado sería: /home/Laboratoria/test

Recursividad

Este proyecto se ha de resolver de forma casi natural con recursividad.

¿Por qué?.

Porque no conocemos realmente cuantas carpetas y archivos tendremos que recorrer antes de terminar.

Si recibes una ruta de carpeta, no sabrás de ante mano si dentro hay más carpetas o muchos archivos.

Por ello, asegurate bien de entender de qué trata la recursividad y ver algunos ejemplos.

Entre los recursos de este proyecto hay un video que te ayudará.

Crea una promesa

El valor de retorno de nuestra librería es una Promesa, no un Array.

Prueba leyendo sobre las promesas y creando una por tu cuenta utilizando new Promise()

Es importante que sepas qué es un callback pues las promesas los utilizarán.