Archivo

Archive for the ‘Hacking’ Category

Seguridad en ElasticSearch: modo cluster – Parte IV

septiembre 16, 2019 1 comentario

En el post anterior ya se ha hablado sobre algunas características avanzadas para la búsqueda de contenidos en ES, ahora es el momento de hablar sobre la configuración necesaria en ES para que funcione en modo cluster. En primer lugar hay que mencionar que cuando se inicia una instancia de ES, lo primero que hace es intentar unirse a un cluster si se han indicado los detalles en dicho cluster en la configuración, en el caso de que no sea así, se entiende que el nodo funcionará en modo “standalone” y en tal caso, creará un cluster en donde es la propia instancia la que funciona como “master”.

Configuración modo “cluster” con múltiples nodos.

La configuración en modo cluster de ES con múltiples nodos es considerada como una configuración para un entorno de producción. Esto significa que en primer lugar, la instancia de ES ya no se ejecutará únicamente en la interfaz de loopback como se ha visto hasta ahora, sino que evidentemente, debe estar disponible y alcanzable por otros nodos/instancias que harán parte del cluster. La configuración de todas las instancias de ES giran en torno al fichero “elasticsearch.yml” para cuestiones concretas de la instancia y otros ficheros como el “jvm.option” y “log4j2.properties”  para asignar valores de configuración a la VM de Java, evidentemente se trata de una labor de vital importancia para el tuning de una máquina virtual y el correcto funcionamiento de la instancia, pero se sale un poco del scope de estos post. Todos estos ficheros, así como el keystore y certificado de la instancia se encuentran en el directorio “config”.

ES normalmente requiere muy poca configuración y prácticamente todos los cambios se pueden realizar en caliente gracias a la API disponible en el motor, excepto la configuración en modo cluster, de hecho, si se ha iniciado una instancia con sus valores por defecto se creará un directorio llamado “data” el cual contiene toda la información de los nodos vinculados al cluster. Si se inicia una instancia de ES con la configuración por defecto y luego, se plantea integrar dicha instancia en un cluster existente, es importante tener en cuenta que no solamente será necesario editar el fichero de configuración como se explicará a continuación, sino que además se debe eliminar el directorio “data” para que la instancia comprenda que ahora no es el “master” de un cluster local, sino que se unirá a un cluster existe. Esto último es importante, ya que en el caso de no hacerlo se producirán errores en el arranque aunque la configuración sea correcta.

Ahora bien, los valores de configuración mínimos que se deben indicar en el fichero de “elasticsearch.yml” son los siguientes:

cluster.name: Nombre que tiene el cluster al que la instancia se unirá.
node.name: Nombre del nodo.
cluster.initial_master_nodes: Se trata de las direcciones IP o nombres de dominio de uno o varios nodos “master” del cluster objetivo.
transport.host: Interfaz de red o dirección IP utilizada internamente por los nodos del cluster para la comunicación. Por ejemplo, esta dirección junto con el puerto indicado en “transport.tcp.port” son utilizados por otros nodos en el cluster para las replicas de shards.
transport.tcp.port: Puerto que se abrirá en la interfaz indicada en “transport.host”.
http.host: Interfaz de red sobre la que se servirá la API rest de la instancia (por defecto es localhost).
http.port: Puerto vinculado a la interfaz indicada con la propiedad “http.host” (por defecto es 9200).
network.host: Interfaz de red a la que se vinculará el servicio de conexión de la instancia. Es decir, la interfaz de red sobre la que otros nodos del cluster se conectarán con la instancia local.
node.master: Valor booleano que indica si la instancia es master o no del cluster.

Esto es lo mínimo que debe de existir en un fichero de configuración de ES para que funcione en modo cluster con otros nodos, sin embargo hay muchas más opciones de configuración que se pueden consultar en la documentación oficial. https://www.elastic.co/guide/en/elasticsearch/reference/current/important-settings.html

Una configuración valida podría ser la siguiente:

Nodo master:

cluster.name: cluster-adastra
node.name: adastra-1
transport.host: 0.0.0.0
http.host: 0.0.0.0
network.host: 0.0.0.0
transport.tcp.port: 9300
node.master: true

Nodo slave1:

cluster.name: cluster-adastra
node.name: slave1-node
discovery.seed_hosts: [“192.168.1.144”] #Dirección IP del master.
cluster.initial_master_nodes: [“adastra-1”]
transport.host: 0.0.0.0
http.host: 0.0.0.0
network.host: 0.0.0.0
transport.tcp.port: 9300
node.master: false

Nodo slave2:

cluster.name: cluster-adastra
node.name: slave2-node
discovery.seed_hosts: [“192.168.1.144”] #Dirección IP del master.
cluster.initial_master_nodes: [“adastra-1”]
transport.host: 0.0.0.0
http.host: 0.0.0.0
network.host: 0.0.0.0
transport.tcp.port: 9300
node.master: false

Esto se puede ejecutar desde un mismo ordenador con 3 instancias independientes de ES, con máquinas virtuales, contenedores de Docker o máquinas físicas. No obstante aquí no termina la configuración, cuando se utiliza la propiedad “network.host” con un valor distinto de la interfaz de loopback provoca que ES ejecute una serie de comprobaciones sobre el sistema llamadas “bootstrap checks” las cuales se encargan de verificar que el sistema cumple con las especificaciones mínimas para que el nodo funcione correctamente en un entorno productivo y de esta manera reducir los problemas que puedan tener los usuarios al interactuar con nodos configurados “de aquella manera”. La configuración del sistema que se debe de aplicar para cumplir con los requisitos se explica en la documentación oficial: https://www.elastic.co/guide/en/elasticsearch/reference/current/system-config.html

En este apartado la documentación está bien detallada y explica qué se debe hacer a nivel de sistema para que el nodo arranque correctamente y se una a un cluster existente o funcione como master.

Como se puede apreciar en la imagen anterior, cuando existe cualquier tipo de problema en la instancia relacionada con los “bootstrap checks” la instancia simplemente no arranca. Sin embargo es algo fácil de resolver si se siguen las indicaciones que arroja la instancia de ES.

En esta última imagen se puede ver cómo debe de ser una configuración “buena” para el nodo que actuará como master, como se puede ver se han pasado todas las comprobaciones iniciales y posteriormente, se ha elegido al nodo “adastra-1” como master ya que es la forma en la que se ha indicado en la configuración gracias a la propiedad “node.master: true”.

De momento, con lo que se ha visto en éste post en las partes 1 , 2 y 3 es suficiente para comenzar a abordar cuestiones relacionadas con el pestesting y securización sobre instancias de ES.

Un saludo y Happy Hack.
Adastra.

Categorías:Hacking, Hacking Python, Networking, Web Applications Etiquetas: , , , , , ,

Seguridad en ElasticSearch: búsquedas avanzadas y operaciones sobre índices – Parte III

septiembre 9, 2019 1 comentario

En el post anterior se ha hablado sobre como crear y gestionar índices así como la forma de realizar búsquedas con el endpoint “_search”, lo cual es el punto de entrada para comprender el funcionamiento de ES. Probablemente las características más complejas de este producto están precisamente relacionadas con las búsquedas, ya que como se verá en este post, existen varias maneras de aplicar filtros sobre índices y documentos.

En primer lugar, el endpoint “_search” no solamente admite peticiones GET, también es posible ejecutar una petición POST y en el cuerpo de la petición enviar filtros un poco más específicos que los que se podrían incluir en una petición GET. Por ejemplo:

POST /indice/tipo/_search
{ “query”: { “match”: { “title”: {
“query”: “palabra1 palabra2”,
“operator”: “and”}
}
}

“size”: 2,
“from”: 0,
“_source”: [ “campo1”, “campo2”, “campo3” ],
“highlight”: { “fields” : { “title” : {} } }
}

Se trata de una búsqueda más compleja, en la que se incluye el campo “query” que a su vez admite una estructura muy concreta para realizar la búsqueda. Con “match” se especifican los filtros, que en este caso aplican únicamente al campo “title”, es decir, que todos los documentos que tengan dicho campo serán objeto de búsqueda. Luego, se repite nuevamente el campo “query” pero en esta ocasión será útil para indicar un texto libre. Es posible utilizar operadores como “or” y “and”, de tal manera que dicha operación lógica se aplicará sobre las palabras especificadas en el campo “query”. En el ejemplo anterior, al aplicar el operador “and”, significa que la búsqueda devolverá solamente aquellos documentos que tenga en el campo “title” las palabras “palabra1” y “palabra2”. Luego, se puede apreciar en el cuerpo de la petición otros campos adicionales, tales como “size” y “from”, los cuales permiten devolver resultados en bloques, algo ideal para implementar búsquedas paginadas. Finalmente, los campos “_source” y “highlight” sirven para indicar aquellos campos del documento que devolverá la búsqueda, en este caso “campo1”, “campo2” y “campo3”. Si el documento tiene más campos estos no son incluidos en los resultado de la búsqueda.

El resultado de una búsqueda como la anterior es una estructura en formato JSON que contiene algunos campos interesantes, como por ejemplo “_source” y “score”. En el caso del primero, se trata de la estructura JSON con los resultados de la búsqueda, es decir, todos los documentos que han coincidido con los filtros especificados y el segundo, es el factor de coincidencia y es aquí en donde ES se complica un poco más, ya que ES internamente realiza una serie de calculos para asignar a cada resultado de las búsquedas un valor de coincidencia, esto es un indicativo que permite ubicar cada documento en un orden concreto en el listado de resultados. Pensad por ejemplo en Google, los enlaces a páginas externas que arroja cada búsqueda enseñan en las primeras posiciones aquellos que tienen mejor page rank, aquellos que pueden ser más interesantes para el usuario. ES hace lo mismo partiendo de los filtros que se incluyen en las búsquedas. Por ejemplo, en el caso anterior, cuantas más veces aparezca en un documento las palabras “palabra1” y “palabra2”, el documento tendrá mejor score y por lo tanto aparecerá en mejores posiciones dentro del resultado de la búsqueda. En la documentación oficial de ES podéis ver algunos ejemplos de búsquedas de este tipo para que quede un poco más claro, aunque desafortunadamente en mi opinión, la documentación oficial de ES es una de las más escuetas, poco claras y con más errores que me he encontrado hasta ahora en un producto de software, desafortunadamente es lo que hay y muchas veces toca pegarse con el producto para aprender realmente cómo funciona y ver las cosas que han cambiado, que ya no funcionan o que funcionan de forma diferente entre diferentes versiones. Los siguientes enlaces pueden ser útiles:

https://www.elastic.co/guide/en/elasticsearch/reference/current/search-request-body.html https://www.elastic.co/guide/en/elasticsearch/reference/current/search-template.html

Por otro lado, algunos de los campos que se han incluido en el cuerpo de la petición (los más simples) también se pueden incluir como parámetros en la URL del endpoint “_search”, por ejemplo:

GET /_search?size=5
Enseña los 5 primeros resultados de la búsqueda.

GET /_search?size=5&from=5
Enseña los resultados del 5 al 10.

GET /_search?size=5&from=10
Enseña los resultados del 5 al 15.

como se ha explicado anteriormente, ES se encarga ordenar los resultados de las consultas antes devolverlos basándose en el campo “_score”, por lo tanto es común y recomendable utilizar los mecanismos de paginación para evitar problemas de rendimiento en las consultas.

Operaciones sobre índices y documentos.

Es importante conocer la forma en la que ElasticSearch interpreta los documentos almacenados en un índice concreto, ya que es posible que algunos de los campos no contengan la estructura esperada, tal como se ha visto en el post anterior a este, es posible crear documentos que no siguen ninguna estructura referente a los campos. Para ver el “mapeo” que tienen los documentos (parecido a la definición de una tabla en una base de datos relacional) es necesario utilizar el endpoint “_mapping” disponible en el índice.

GET /index/_mapping

A la hora de crear un índice es posible incluir el campo “mappings” y especificar cómo será la estructura de los campos que podrán ser heredados por los documentos creados en el índice, por ejemplo:

PUT my_index

{ “mappings”: { “properties”: {
“campo”: { “type”: “keyword”}
}}}

Es recomendable echarle un vistazo a lo que se explica en la documentación oficial sobre los mapeos en índices: https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-params.html

Los índices pueden estar abiertos o cerrados, lo que significa que es posible trabajar  con ellos para operaciones de lectura/escritura o no. No es posible indexar documentos o realizar búsquedas sobre índices cerrados. Cuando un índice está cerrado, ES no mantiene las estructuras de datos internas para la búsqueda, es decir, los documentos no se indexan y por lo tanto, el consumo de memoria es menor. No obstante, dependiendo del tamaño de los documentos de dicho índice, un índice cerrado puede suponer un consumo considerable de disco duro ya que como resulta evidente, la información de dichos documentos se debe guardar de forma persistentemente en disco en el caso de que el índice se abra nuevamente. Abrir o cerrar un índice es muy sencillo tal como se muestra a continuación. (obviamente, “my_index” corresponde al nombre del índice).

* Abrir un índice: POST /my_index/_open
* Cerrar un índice: POST /my_index/_close

Alias sobre índices.

Una forma rápida y sencilla de obtener todos los índices disponibles en ES es por medio del endpoint “_aliases” el cual devuelve un listado de todos los alias disponibles para cada uno de los índices. Con este endpoint también es posible crear o eliminar alias (etiquetas) sobre los índices creados.

POST /_aliases {
“actions” : [ { “add” : { “index” : “test1”, “alias” : “alias1” } },
{ “remove” : { “index” : “test1”, “alias” : “alias2” } } ] }

En el caso anterior, las acciones utilizadas son “add” y “remove”. Se ha creado un alias el nombre “alias1” sobre el indice “test1” y además, se ha eliminado el alias “alias2” sobre el índice “test1”. Un índice puede tener múltiples “alias” sin que esto afecte a los documentos o estructura del índice.
Probablemente una de las características más potentes de los alias es que permiten crear vistas sobre los índices partiendo de los filtros, por ejemplo:

POST /_aliases {
“actions” : [ {“add” : {“index” : “test1”, “alias” : “alias2”,
“filter” : { “term” : { “campo” : “valor” } } } } ] }

Como se puede apreciar, se ha creado un alias con nombre “alias2” sobre el índice “test1”. Cuando se intente consultar dicho alias, ES aplicará el filtro indicado en el campo “filter” y devolverá los documentos que coincidan con la búsqueda. Esto en el mundo de las bases de datos relacionales es similar a las vistas, lo cual simplifica mucho las consultas que se pueden realizar contra un índice concreto. Para consultar el alias, se accede directamente al endpoint “_search”, por ejemplo:

GET /alias1/_search
GET /alias2/_search

Al realizar una petición como la anterior ES se encargará de buscar dicho alias, ver el índice al que apunta y si hay algún filtro, aplicarlo.

Los alias también se pueden utilizar como vistas de escritura, es decir, una forma de simplificar la creación de documentos con el atributo “is_write_index”.

POST /_aliases
{ “actions” : [
{ “add” : {“index” : “test”, “alias” : “alias1”, “is_write_index” : true } }
]}

Como se puede apreciar, para crear un alias en modo escritura, basta simplemente con incluir el campo “is_write_index” con el valor “true” a la hora de crearlo. Para utilizar el índice en modo de escritura se podrá realizar una petición POST o PUT de la siguiente forma.

PUT /alias1/_doc/1
{
“campo”: “valor”
}

En donde “_doc” es un endpoint que le permite a ES saber que se intenta acceder a la estructura de documentos que se encuentran almacenados en el índice al que apunta el alias “alias1”, luego en el cuerpo de la petición viene el JSON con el documento propiamente dicho.

Consultas interesantes en ES

Antes de finalizar este post, es conveniente conocer algunos de los endpoints disponibles en el producto para realizar consultas directas sobre el estado del nodo o cluster. Para ello existen varios endpoints interesantes que son muy sencillos y aportan información valiosa. Por ejemplo:

GET /_cat/master?v
GET /_cat/nodes?v
GET /_cat/indices?v
GET /_cat/plugins?v
GET /_cat/shards?v
GET /_cat/health?v
GET /_cat/master?help
GET /_nodes/node1,node2
GET /_nodes/process
GET /_nodes/_all/process
GET /_nodes/node1,node2/jvm,process
GET /_nodes/plugins
GET /_nodes/stats/indices
GET /_nodes/stats/os,process
GET /_nodes/192.168.1.101/stats/process
GET /_nodes/usage
GET /_nodes/nodeId1,nodeId2/usage
GET /_nodes/hot_threads

Son peticiones fáciles de entender y que permiten extraer información relevante sobre una instancia de ES en ejecución, de hecho, complementos como “cerebro”, “elasticsearch-HQ” o el propio Kibana hacen uso de estos endpoints de forma directa para enseñar la información en un formato amigable para el usuario.

En el próximo artículo de la serie se hablará sobre configuración de una instancia de ES y algunas consideraciones de seguridad que se entenderán mucho mejor después de haber leído la parte 1 y la parte 2 de la serie.

Un saludo y Happy Hack.
Adastra.

Categorías:Hacking, Networking, Services - Software, Web Applications Etiquetas: , , , , , , ,

Herramientas de pentesting interesantes: Jok3r – Parte 1

septiembre 4, 2019 Deja un comentario

Desde hace bastante tiempo he querido escribir ésta serie de artículos pero por cuestiones de tiempo no había podido. Últimamente han ido apareciendo bastantes herramientas enfocadas al pentesting/hacking para diferentes contextos, algunas de ellas realmente interesantes y que merece la pena mencionar en este blog. Es importante automatizar todo el trabajo posible para soportar el procedimiento de descubrimiento, detección y posterior explotación de vulnerabilidades, incluyendo otras actividades que en ocasiones se deben realizar directa o indirectamente como ataques de Phishing, aplicación de técnicas OSINT, traceo y seguimiento de usuarios, análisis de tráfico, desarrollo de software, etc. No obstante, como siempre he dicho, ninguna herramienta o conjunto de ellas puede sustituir el trabajo y la metodología que aplica un pentester/hacker a la hora de lanzar un plan de ataque contra un objetivo, aunque las herramientas permiten recopilar información y en algunos casos, directamente explotar vulnerabilidades, lo más común es encontrarnos entornos en donde hay unas medidas de seguridad que ya tienen en cuenta las cosas más obvias, como actualizaciones y medidas de seguridad entre otras cosas. Dicho esto, no hay que olvidar nunca que como en prácticamente cualquier trabajo relacionado con tecnología, es necesario ser muy metódico, ordenado y limpio a la hora de realizar pruebas de penetración y esto es algo que no lo aprendes lanzando todo lo que viene en Kali Linux, lo aprendes con la experiencia y conociendo exactamente qué hacen por debajo las herramientas que utilizas en tu día a día para que no te conviertas en un “Nessus con patas” que solo lanza scripts y si no reportan nada es que todo está bien. Dicho esto, comenzaré a explicar algunas herramientas libres que me ido encontrando y que de alguna manera me han venido bien para trabajos que he realizado para algunos de mis clientes.

Jok3r: https://github.com/koutto/jok3r

Se trata de una herramienta particularmente interesante ya que no “reinventa la rueda” sino que en lugar de eso, reutiliza y combina un buen conjunto de herramientas de pentesting comunes para extraer la mayor cantidad de información de manera conjunta, sin tener que estar ejecutando cada una de forma independiente. Cuando se instala Jok3r el proceso puede tardar unos minutos ya que intenta instalar todas las dependencias y librerías necesarias por los proyectos que intenta combinar. También es posible instalar Jok3r desde su imagen oficial de Docker, una forma cómoda y rápida de tener la herramienta preparada para su uso.

Tal como se indica en el “README” del proyecto, cuenta con algunas características que la convierten en una herramienta muy interesante:

* Integración con más de 50 herramientas de pentesting comunes.

* Configuración sencilla, es posible eliminar o añadir herramientas con un simple fichero de configuración.

* Soporte a múltiples servicios de red basados en TCP y UDP, tales como HTTP, SSH, FTP, DNS, VNC, PostgreSQL, MySQL, etc.

* Se encarga de verificar el objetivo y seleccionar de forma automática las herramientas que puedan arrojar mejores resultados de acuerdo al contexto. Por ejemplo, en el caso de una aplicación web habilitará las herramientas relacionadas con pentesting en entornos web.

* Es capaz de detectar versiones y banners de productos específicos, para posteriormente compararlos con bases de datos CVE online, concretamente tirando de CVE Details y Vulners.

* Es capaz de realizar la explotación automática de algunas vulnerabilidades.

* Es capaz de realizar comprobaciones en CMS para detectar complementos o vulnerabilidades conocidas en Joomla, Drupal, WordPress, entre otros.

* Todos los resultados encontrados por la herramienta se van almacenando localmente en una base de datos y cuenta con algunas funcionalidades de reporting y gestión de resultados de forma independiente para cada auditoría realizada.

Bien, una vez visto el potencial de la herramienta lo siguiente es instalarla y usarla. Tal como se indica en las instrucciones de instalación del proyecto, la forma recomendada de hacerlo es utilizando la imagen Docker oficial, de esta forma no será necesario instalar dependencias directamente en el sistema host (son unas cuantas). No obstante, también se puede instalar directamente desde código fuente fácilmente, ya que cuenta con un script de instalación llamado “install_all.sh” que se encarga de dejarlo todo preparado para que sea posible utilizar la herramienta sin mayores dificultades. Basta simplemente con descargar la imagen y crear un nuevo contenedor, de la siguiente manera:

#sudo docker pull koutto/jok3r

#sudo docker run -i -t --name jok3r-container -w /home/adastra/jok3r -e DISPLAY=$DISPLAY -v /tmp/.X11-unix:/tmp/.X11-unix --shm-size 2g --net=host koutto/jok3r

Las opciones “-w”, “-e”, “-v” y “–shm-size” son utilizadas para evitar problemas de memoria en el contenedor, así como para utilizar herramientas con una GUI como por ejemplo un navegador web. Con “–net” en Docker se especifica el modo de red, en este caso es compartido con el fin de que tanto anfitrión como contenedor se puedan ver y sea posible crear conexiones reversas.

Luego, para poder detener y volver a levantar el contenedor, se puede utilizar el comando “sudo docker start -i jok3r-container”

Una vez levantado el contenedor, es necesario dirigirse a la ruta “~/jok3r” que es donde se encuentra el script “jok3r.py”. Para ver las herramientas que se encuentran instaladas se debe ejecutar el comando:

#python3 jok3r.py toolbox --show-all

En el caso de la imagen Docker, se podrá ver que están todas las herramientas instaladas, luego para la gestión de las mismas, se pueden ejecutar los siguientes comandos:

Instalar todas las herramientas disponibles (algo que ya viene en la imagen de Docker).
#python3 jok3r.py toolbox --install-all --fast

Actualizar todas las herramientas sin realizar preguntas, todo sí y adelante. 
#python3 jok3r.py toolbox --update-all --fast
Desinstalar todas las herramientas.
#python3 jok3r.py toolbox --uninstall-all --fast
Desinstalar una herramienta concreta.
#python3 jok3r.py toolbox --uninstall-tool nombre_herramienta
Desinstalar un servicio concreto y las herramientas asociadas.
#python3 jok3r.py toolbox --uninstall nombre_servicio

Además del comando “toolbox” existen otros que permiten realizar verificaciones, ataques y ver el estado de la base de datos local.

Comando de información para los perfiles, servicios y productos.

El comando “info” permite ver qué perfiles se encuentran habilitados en la herramienta, las pruebas de seguridad que se aplican sobre cada protocolo soportado e información de los productos de software que se encuentran registrados en la herramienta. Tal como se ha visto antes con el comando “toolbox” hay una serie de opciones que permiten interactuar con éste comando.

Como se puede apreciar, el comando “info” soporta algunas opciones simples que permiten ver qué cosas puede hacer jok3r contra un objetivo determinado y otros detalles informativos que pueden ser útiles. Se puede ejecutar la herramienta de la siguiente manera.

#python3 jok3r.py info –services

Enseña una tabla con los servicios, puertos por defecto de cada servicio, herramientas asociadas y número de checks que realizará Jok3r sobre dicho servicio.

#python3 jok3r.py info --checks <servicio>

Enseña una tabla con el nombre de cada una de las comprobaciones disponibles para el servicio indicado, así como la categoría del chequeo y la herramienta empleada para ejecutarlo.

#python3 jok3r.py info –products

Enseña una lista de servicios disponibles y los diferentes tipos de productos que implementa dicho servicio, por ejemplo, para un servidor web, el producto puede ser Apache, Nginx, IIS, etc.

#python3 jok3r.py info –attack-profiles

Enseña una tabla con los perfiles de ataque disponibles, los cuales simplemente se encargan de agrupar varios checks y herramientas en un contexto concreto, por ejemplo para realizar comprobaciones sobre un CMS.

Base de datos local en Jok3r.

Antes de realizar cualquier tipo de auditoría de seguridad, en Jok3r se almacena todo en diferentes espacios de trabajo, de tal manera que cada auditoría y sus resultados correspondientes, se encuentran almacenados de forma persistente en contextos separados, esto es similar a lo que hay en Metasploit Framework cuando se utiliza el comando “workspace” desde msfconsole. El comando “db” es el encargado de definir misiones, las cuales son simplemente el contexto de una auditoría y partiendo de dichas misiones ejecutar pruebas de seguridad contra los objetivos indicados, los resultados quedarán almacenados en dicha misión.

Para crear una misión basta con ejecutar el comando “mission” tal como se aprecia en la imagen anterior.

Tal como se puede apreciar, el comando “mission” sirve para gestionar las misiones en Jok3r y además, al crear una nueva misión automáticamente cambia el contexto y ubica al usuario en la misión que se acaba de crear. Para moverse entre las diferentes misiones previamente creadas, se ejecuta el comando “mission <nombre>” y la herramienta se encargará de cambiar el contexto y apuntar a la misión indicada.

De momento esto es suficiente para ver las funcionalidades básicas de la herramienta, en el siguiente post se profundizará en su uso a la hora de ejecutar pruebas para auditorías de seguridad.

Un saludo y Happy Hack

Adastra.

Categorías:Hacking, Hacking Python, MetaSploit, Networking, Services - Software, Web Applications Etiquetas: , , , , , , ,

Uso de Empire Framework contra sistemas Windows.

septiembre 2, 2019 1 comentario

Empire es un framework muy interesante que incluye varios elementos de post-explotación enfocados a sistemas windows utilizando PowerShell, así como sobre sistemas GNU/Linux comprometidos utilizando Python. Cada uno de dichos elementos en Empire cuentan con varios mecanismos interesantes para la transferencia y ejecución de “stagers” en la máquina comprometida, siguiendo un modelo muy similar al que sigue Metasploit Framework a la hora de generar sesiones. Las comunicaciones entre el atacante y víctima son cifradas, algo que también comparte Metasploit Framework a la hora de utilizar payloads del tipo “meterpreter” y además, permite ejecutar instrucciones en PowerShell sobre un sistema windows aunque en dicho sistema no tenga el ejecutable “powershell.exe”. Los módulos de post-explotación incluidos en Empire son fáciles de desplegar y de utilizar, algunos de los cuales permiten la ejecución de keyloggers para el “espiar” las actividades del usuario, nuevamente algo muy parecido a lo que nos encontramos en los payloads del tipo meterpreter de Metasploit Framework . Empire también tiene la capacidad de ejecutar comandos en memoria, lo que significa que al no ser instrucciones que requieren acceso a unidades de almacenamiento persistente, tienen mayores probabilidades de no ser detectadas por AVs u otros mecanismos de seguridad que puedan estar en ejecución en el sistema comprometido.

Empire Framework asiste al pentester en las labores de elevación de privilegios, reconocimiento de red y de sistemas alcanzables, movimientos laterales entre hosts (pivoting) y la recolección de credenciales o cualquier detalle informativo que pueda resultar interesante. Empire consigue éste objetivo partiendo de 3 componentes principales: Listeners, Stagers y Agents.

– Listeners: Proceso en la máquina del atacante y que espera conexiones por parte de las víctimas.

– Stager: Instrucciones que envía el atacante a la víctima.

– Agents: Se trata del componente que mantiene la conexión entre la víctima y el atacante desde el sistema comprometido. Es el encargado de recibir cada stager enviado por el atacante y ejecutarlo.

Instalación de Empire

Hay 2 formas de instalar Empire, la más “clásica” consiste clonar el repositorio del proyecto, el cual se encuentra ubicado en: https://github.com/EmpireProject/Empire

git clone https://github.com/EmpireProject/Empire.git

sudo ./setup/install.sh

sudo ./empire

Durante el proceso de instalación, se solicitará establecer una contraseña que será utilizada posteriormente entre el agente y listener.

La otra alternativa consiste en utilizar la imagen de Docker que se encuentra preparada para dicho propósito.

docker pull empireproject/empire

Una vez instalada la herramienta, basta simplemente con ejecutar el comando “./empire” y comenzará el proceso de carga de listeners, módulos, stagers y todo el entorno del framework.

Empire cuenta con un interprete de comandos para utilizar las funcionalidades principales de la herramienta. Como se puede apreciar en la imagen anterior, al iniciar Empire se enseña el número total de módulos cargados, número de listeners que se encuentran activos y los agentes en ejecución en alguna máquina remota.

Los comandos básicos se pueden apreciar rápidamente ejecutando el comando “help”, no obstante los más importantes inicialmente son aquellos que permiten interactuar con los diferentes elementos del framework, especialmente los listeners y módulos. Para enseñar los Listeners que se encuentran actualmente activos, basta simplemente con ejecutar el comando “listeners” y para utilizar alguno de los  disponibles en el framework, ejecutar el comando “uselistener”. El interprete de Empire permite auto-completar con la tecla “tab” lo cual resulta extremadamente útil y práctico a la hora de interactuar con los elementos de la herramienta.

Una vez seleccionado uno de los listeners disponibles, es posible ejecutar el comando “info” para obtener información de las opciones de dicho listener y a continuación, cada una se puede establecer con el comando “set option value”.

Una vez iniciado el listener es el momento de seleccionar un stager existente con el comando “usestager stager”. Por ejemplo “usestager windows/launcher_bat”. Posteriormente se deben definir sus propiedades, del mismo modo que se ha explicado antes para los Listeners, en éste caso concreto, siempre será necesario establecer la propiedad “Listener” con el nombre del listener que se ha iniciado en el paso anterior, el comando a ejecutar es “set Listener nombre-listener”.

Si se ha utilizado el stager “windows/launcher_bat”, una vez el fichero “.bat” sea transmitido y ejecutado sobre el sistema Windows comprometido, se podrá obtener una conexión reversa en Empire y se podrá ver que en la consola aparece un nuevo agente habilitado.

Un agente es como una sesión en Metasploit Framework, lo que significa que el siguiente paso consiste en interactuar con él para llevar a cabo el proceso de post-explotación. Hay que tener en cuenta que Empire no es un framework de explotación como sí lo es Metasploit Framework, con lo cual el proceso de iniciar una conexión reversa tras ejecutar un agente en un sistema remoto tiene que llevarse a cabo después de que el sistema haya sido comprometido y sea posible ejecutar instrucciones sobre él, en el caso de la figura anterior, por ejemplo, ha sido la ejecución de un fichero “.bat”. Una alternativa en el proceso de explotación podría consistir en utilizar técnicas de ingeniería social y “forzar” de alguna manera a un usuario del sistema objetivo a ejecutar el fichero .bat que se ha generado desde Empire u otra podría ser la explotación de alguna vulnerabilidad en el sistema objetivo, subir el .bat y ejecutarlo.

Para interactuar con un agente se debe utilizar el comando “interact”, tal como se puede apreciar en la siguiente imagen.

Existen varios módulos disponibles en Empire que se encuentran en el contexto de cada uno de los agentes disponibles, dichos módulos se centran en la extracción de información y en la elevación de privilegios. Uno de los elementos más interesantes para conseguir el propósito de elevar privilegios sobre un sistema windows es “PowerUp” el cual contiene múltiples módulos para identificar y explotar servicios vulnerables, registros del sistema y cualquier oportunidad de elevar privilegios. Todos los módulos de PowerUp se encuentran incluidos en “privesc/powerup/*” y uno de los más útiles es precisamente “powershell/privesc/powerup/allchecks” ya que realiza todas las pruebas de PowerUp contra el sistema.

ByPass UAC con Empire

Como seguramente el lector ya sabe, el mecanismo UAC (User Account Control) se ha implementado a partir de Windows Vista y se caracteriza por contar con 3 niveles de integridad que separan los permisos que tienen los usuarios del sistema sobre los recursos: Alto, Medio y Bajo. La mayoría de aplicaciones y servicios que ejecuta un usuario se encuentran en el nivel medio, en donde se incluyen los privilegios estándar para el acceso a recursos comunes, pero evidentemente no es posible ejecutar actividades administrativas para las que es requerido estar en el nivel “alto”. En los últimos años han surgido varias técnicas de “ByPass UAC” que permiten escapar del nivel “Medio” y moverse directamente al nivel “Alto” de UAC. Dichas técnicas incluyen, entre otras cosas, la inyección de librerías dinámicas que intenten realizar el proceso de elevación o la ejecución del programa “wscript.exe” / “cscript.exe” con un fichero manifest malicioso ubicado en C:\Windows para lanzar instrucciones con un nivel de integridad UAC alto. Estas técnicas se encuentran disponibles en Metasploit Framework con sus correspondientes módulos de Post-Exploitation como en Empire por medio del comando “bypassuac” disponible en cada uno de los agentes del framework.

Como se puede apreciar en la figura anterior, se ha lanzado el módulo “bypassuac” directamente en el contexto del agente, el cual no tiene privilegios administrativos sobre el sistema. Dicho módulo recibe como argumento el nombre de un listener en ejecución, en éste caso se puede utilizar el mismo listener que se ha iniciado anteriormente a la hora de obtener una conexión reversa con el agente. Hay que tener en cuenta que todos los módulos en Empire se ejecutan en segundo plano, por lo tanto es posible seguir interactuando con la herramienta y en la medida de que los módulos lanzados van recuperando información o generando algún tipo de traza, van apareciendo en la consola, lo que a veces puede confundir un poco. En la imagen anterior se puede ver que tras la ejecución del módulo “bypassuac” se ha generado un nuevo agente, el cual, al listarlo en la herramienta, aparece con un “*” en la columna de “Username” lo que significa que dicho usuario puede ejecutar comandos como administrador.

Mimikatz con Empire

Mimikatz (o Kiwi) es una herramienta muy conocida en el mundo de la post-explotación en sistemas Windows, permite extraer información sensible de la memoria del sistema concretamente detalles relacionados con cuentas de usuarios y credenciales. Se trata de una herramienta que se encuentra disponible en Metasploit Framework en forma de módulo externo, sin embargo en el caso de Empire también se encuentra disponible entre los módulos disponibles para cada uno de los agentes. Para poder usar el módulo “mimikatz” en Empire, es necesario tener privilegios administrativos, por lo tanto es necesario tener un agente con permisos elevados, ya sea un usuario administrador o que el proceso del agente se encuentre en el nivel “Alto” de UAC, esto es importante para que Mimikatz pueda leer registros e información en la memoria del sistema operativo, sino se cumple con este requisito la herramienta no puede extraer prácticamente nada de la memoria.

Como se puede apreciar en la imagen anterior, Mimikatz ha sido capaz de extraer información interesante del sistema, incluyendo nombres de usuarios y contraseñas en texto plano.

Empire es una alternativa interesante que es fácil de utilizar, flexible y a día de hoy funciona bastante bien. Si el lector se encuentra interesado en temas de post-explotación de sistemas y busca participar en algún proyecto basado en Python para mejorar sus habilidades, probablemente Empire será una muy buena opción.

Un saludo y Happy Hack.

Adastra.

Categorías:Explotación de Software, Hacking, MetaSploit, Networking, Services - Software Etiquetas: , , , , , , ,

Formaciones para el segundo semestre del 2019 en Securízame

agosto 29, 2019 1 comentario

Como algunos de vosotros ya sabéis, llevo un tiempo colaborando con Securízame en los cursos presenciales de Hacking y RedTeam, así como en la certificación RTCP. Llevamos un tiempo elaborando y actualizando los contenidos de estas formaciones y estamos muy contentos de ver los progresos que han tenido nuestros estudiantes, a título personal me resulta muy satisfactorio el hecho de haber tenido alumnos sin ningún conocimiento previo en seguridad informática y ver su evolución a lo largo de las formaciones. Evidentemente, como siempre he dicho, es importante que los alumnos tengan una buena predisposición para el estudio y ganas de aprender, afortunadamente en prácticamente todos los casos me he encontrado con personas que realmente están interesadas en su aprendizaje, en afianzar sus habilidades para mejorar profesionalmente. Por otro lado, también estamos muy contentos con la certificación RTCP, la cual está teniendo un impacto y aceptación tremendo entre profesionales y empresas del sector al tratarse de la primera certificación española 100% práctica en un entorno real. RTCP marca diferencias importantes con respecto a otras certificaciones tan conocidas y valoradas como la OSCP, una de ellas es que el examen es completamente práctico, presencial y enfocado al mundo real. Qué quiere decir esto? Que no es como un CTF cualquiera, que no te vas a encontrar preguntas de selección múltiple, ni tampoco te vamos a pedir que crees un exploit para una vulnerabilidad de Buffer Overflow simple en un sistema windows XP, como ocurre en la OSCP. Consideramos que esto puede estar muy bien en el mundo académico, pero no en el mundo empresarial en donde existen firewalls, sistemas de detección de intrusos, aplicaciones actualizadas, AVs, etc. La certificación la enfocamos a ese tipo de situaciones, a las que un pentester profesional se tiene que enfrentar en su día a día, esto significa que no es una certificación fácil de conseguir pero del mismo modo, se traduce a que el poseedor de dicha certificación REALMENTE tiene conocimientos sobre el tema, que es precisamente lo que buscan las empresas y por los perfiles que más se paga.

Como algunos ya sabéis, el pack de formaciones completo está compuesto por un curso básico, avanzado, entrenamiento y finalmente la certificación, sin embargo un alumno puede optar por adquirir uno o ambos cursos, el entrenamiento o presentarse directamente al examen de certificación, en este sentido no hay ninguna restricción.

Para este segundo semestre del 2019 hemos incluido algunos cambios y mejoras, en primer lugar hemos actualizado algunos contenidos del curso avanzado y además, vamos a incluir algunas máquinas del entrenamiento (las más sencillas). Luego, en el entrenamiento que se hará un mes después del curso avanzado, el último día hemos decidido plantearos como reto resolver el examen RTCP anterior (cada nueva convocatoria del RTCP incluye un examen diferente al de la convocatoria anterior), es decir, que desde el entrenamiento ya vais a saber cómo es la filosofía del examen y podréis ir más preparados. La idea es que antes de finalizar el entrenamiento, intentéis resolver el examen de la versión anterior del RTCP y tras un tiempo prudencial, explicaros la solución.

Finalmente recordaros que la primera formación comienza en pocas semanas, concretamente el día 20 de septiembre empezamos con el curso básico de Hacking y aún nos quedan plazas, pocas pero aún hay, así que si estás interesado no dudes en apuntarte.

Un saludo y Happy Hack.

Adastra.

Categorías:Hacking Etiquetas: , ,

Seguridad en ElasticSearch: Indices y búsquedas – Parte II

agosto 25, 2019 3 comentarios

En la primera parte de esta serie se han explicado las características funcionales incluidas en ES y los diferentes mecanismos de instalación. Ahora es el momento de comprender cómo funciona ES a la hora de crear índices, tipos y documentos, así como los endpoints disponibles en la API Rest para realizar búsquedas. La API Rest de ES es extensa y compleja, por lo tanto en estos posts solo se intentará cubrir las cuestiones relacionadas con la forma de realizar búsquedas, configuración de nodos/clusters, así como algunos complementos y medidas que pueden ayudar a mejorar la seguridad de una instancia de ES.

En primer lugar, hay que tener en cuenta que ES es bastante parecido a otros gestores de bases de datos no relacionales como MongoDB, especialmente en el sentido de que no hay una estructura fija. Esto significa que a diferencia de una base de datos relacional con tablas, las cuales están compuestas por un conjunto de columnas con restricciones en tipos de datos, relaciones con otras tablas (claves foráneas), longitudes, campos obligatorios, etc. En ES este tipo de estructuras y jerarquías a la hora de almacenar información son un poco diferentes. Para que esta idea quede clara, se expone el siguiente ejemplo:
En una base de datos relacional, se podría crear una tabla de usuarios, la cual estará compuesta por campos tales como: “nombre”, ”edad”, “genero”, “rol” y “fechaNacimiento”. A la hora de realizar una inserción de un registro en dicha tabla, se debe incluir como mínimo, un valor para todos aquellos campos que sean obligatorios y no se podría crear un registro que tenga un campo que no se encuentre definido en la tabla, es decir, no se podría crear un registro que incluya un campo llamado “direccionUsuario” dado que este campo no está en la definición de la tabla. Esto, en el mundo de ES no es así, ya que cada registro que es conocido como un document almacenado en un index y type concretos, no necesariamente tiene una estructura de campos fija, de hecho, se trata simplemente de estructuras JSON que pueden tener “cualquier cosa”, incluso elementos con múltiples valores como arrays, comportamiento que podría servir para crear relaciones de composición entre diferentes bloques de información, tal como se pretende hacer con las claves foráneas en una base de datos relacional. Los documentos en ES, desde el punto de vista técnico pueden estar compuestos por estructuras de datos no homogéneas, aunque evidentemente a la hora de diseñar un sistema es altamente recomendable definir una estructura base que será utilizada para la creación de registros en un nodo o cluster de ES. Dicho esto, es el momento de ver cómo crear índices, tipos y documentos.

¿Cómo crear registros en una instancia o cluster de ES?

Como se ha explicado en el post anterior a éste, para interactuar con una instancia o cluster de ES es necesario utilizar la API Rest que se encuentra disponible en cualquier nodo en ejecución. Se puede utilizar cualquier cliente HTTP para realizar peticiones contra dicha API Rest, desde CURL, wget, Postman hasta un objeto HttpConnection en Java o la librería “requests” de Python. El cliente empleado no es tan importante como conocer los endpoints disponibles y cómo se deben invocar de forma correcta. Probablemente la creación de índices es la labor más importante en ES y también, de las más sencillas tal como se puede apreciar en la siguiente imagen:

Utilizando Postman se ha creado un índice llamado “articulos”, con un tipo llamado “noticia” y un documento con identificador “2019001”. Si se quisiera comparar esta estructura con algo más familiar, como una base de datos relacional, “articulos” sería un esquema en la base de datos, “noticia” una tabla y “2019001” la clave primaria del registro insertado y luego, la estructura JSON que viaja en el cuerpo de la petición contiene los valores del registro propiamente dicho, cada uno en el campo que le corresponde. Sencillo, no?

Bien, esto es la operación de inserción pero también se puede gestionar el índice, tipos y documentos con operaciones CRUD (Create, Read, Update, Delete) tal como se puede apreciar a continuación.

Operación de lectura: Petición HTTP GET: http://ES_IP:ES_PORT/index/type/id

Operación de actualización: Petición HTTP POST: http://ES_IP:ES_PORT/index/type/id

Operación de borrado: Petición HTTP DELETE: http://ES_IP:ES_PORT/index/type/id

Gestionar índices en ES no es una labor compleja pero si vital para el correcto funcionamiento del sistema, ya que evidentemente es “el core” de la información y sobre los cuales trabajan otros endpoints de la API Rest disponibles en ES. Ahora que se ha visto cómo crear, obtener, actualizar y eliminar índices en ES, es el momento de hablar de búsquedas sobre estás estructuras de datos.

¿Cómo realizar búsquedas en ES?

Nuevamente es necesario utilizar la API Rest para realizar búsquedas contra ES. Dado que ES al igual que Lucene, se han creado precisamente para realizar búsquedas rápidas y potentes, no es de extrañar que ésta sea también una de sus características más complejas y difíciles de controlar. En este post solamente se explicará el proceso de búsquedas simples con el endpoint “_search”. En el próximo se hablará sobre la ejecución de búsquedas más complejas con múltiples filtros, paginación, acceso a mapeos, etc.

En primer lugar, el endpoint “_search” se pude utilizar directamente contra todos los índices disponibles en ES o contra uno concreto, nuevamente se puede utilizar Postman o cualquier cliente HTTP para realizar peticiones como las siguientes:

http://ES_HOST:ES_PORT/_search

Búsqueda sobre todos los índices disponibles en ES.

http://ES_HOST:ES_PORT/articulos/_search

Búsqueda sobre todos los documentos disponibles en el índice “articulos”.

http://ES_HOST:ES_PORT/articulos,negocios/_search

Búsqueda sobre todos los documentos disponibles en los índices “articulos” y “negocios”.

http://ES_HOST:ES_PORT/a*,n*/_search

Búsqueda sobre todos los documentos disponibles en los índices que empiezan por “a” y “n”.

http://ES_HOST:ES_PORT/articulos/noticia/_search

Búsqueda sobre todos los documentos disponibles en el índice “articulo” y tipo “noticia”.

http://ES_HOST:ES_PORT/_all/noticia,test/_search

Búsqueda sobre todos los documentos disponibles en todos los índices que tengan los tipos “noticia” y “test”.

http://ES_HOST:ES_PORT/articulos/noticia/_search?q=constitución

Búsqueda sobre todos los documentos disponibles en el índice “articulo” y tipo “noticia” aquellos cuyos en los que al menos un campo tenga la palabra “constitución”, o que se asemeje (esto se verá en el siguiente post).

Se trata de algunas de las peticiones más simples que se pueden ejecutar con ES y el endpoint “_search”, teniendo en cuenta que ahora mismo solamente se aplican filtros sobre índices y tipos, aún no se ha visto cómo filtrar por campos o paginar y además, las búsquedas anteriores se pueden hacer simplemente utilizando método HTTP GET. Como se verá en el siguiente post, esto se puede complicar bastante más dada la flexibilidad del motor de búsqueda y su potencia a la hora realizar consultas rápidas sobre volúmenes grandes de información.

Un saludo y Happy Hack.

Adastra.

Categorías:Hacking, Networking, Services - Software, Web Applications Etiquetas: , , , ,

Seguridad en ElasticSearch: Introducción – Parte I

agosto 23, 2019 3 comentarios

ElasticSearch se ha convertido poco a poco en una solución muy utilizada para el procesamiento de grandes volúmenes de datos. Está pensado principalmente para que las búsquedas sean rápidas y altamente personalizables, un modelo perfecto para la implementación de soluciones basadas en Big Data. ElasticSearch (ES) es un producto que cuenta con una API Rest muy completa para gestionar los índices y documentos, además cuenta con un sistema de complementos que permite extender sus funcionalidades. A pesar de ser un producto que lleva en el mercado varios años y que se ha posicionado muy bien, la seguridad en las instancias de ES a día de hoy es un tema delicado y en muchas ocasiones no es tan sencillo de configurar. Las instancias de ES por defecto no tienen ningún mecanismo de protección a “miradas indiscretas” y la cosa empeora aún más cuando múltiples instancias de ES funcionan en modo “cluster”. No obstante, antes de empezar a explicar estás cuestiones es importante entender el funcionamiento de ES, un poco de historia y sus características principales. Ese será el objetivo de éste post.

ElasticSearch un motor de búsqueda orientado a documentos, basado en Apache Lucene. Mantenido por su desarrollador principal hasta la creación de Elasticsearch.com (http://elasticsearch.com/) en 2012. Actualmente se encuentra bajo desarrollo y mejora continua por dicha empresa, bajo licencia OpenSource Apache 2.

Sus características fundamentales son las siguientes:

  • Orientado a documentos: JSON’s, Basado en Apache Lucene.
  • No se utilizan esquemas como en una base de datos relacional, de hecho, ES puede ser considerado como un motor de base de datos no relacional.
  • Distribuido: Escala dinámicamente y permite la integración de múltiples instancias. Los datos se encuentran replicados en cada nodo por medio de shards primarios y copias, evitando de esta forma la perdida de información en el caso de que un nodo se corrompa o exista un fallo en disco.
  • Multi-Tenant: Permite operar sobre múltiples índices a la vez
  • Centrado en API’s: Expone todas sus funcionalidades vía APIs REST
  • Búsquedas estructuradas y no estructuradas: Permite el uso de varios tipos de filtros, llegando a un nivel de granularidad en las búsquedas bastante preciso, pero también complejo.
  • Agregaciones / facetas: Permite la definición de características comunes en conjuntos de datos (documentos ES). Similar a las funciones de agregación disponibles en SQL estándar
  • Soportado por múltiples lenguajes de programación: Al tener una API Rest que permite la gestión de todas las características del sistema, es fácil crear clientes en prácticamente cualquier lenguaje de programación.
  • Elastic Search se compone de dos capas que se encuentran completamente desacopladas y tienen su propia gestión independiente:
    • Sistema distribuido: Implementa las funciones de gestión necesarias para los nodos de un cluster y el mantenimiento de sus datos. Los objetivos de esta capa se centran en el desempeño, la escalabilidad, alta disponibilidad y la tolerancia a fallos gracias al sistema de shards.
    • Motor de búsqueda: Proporciona las funcionalidades de indexación y búsqueda de documentos.

Una vez entendidas sus características principales, merece la pena mencionar la terminología básica para que luego sea más fácil de entender lo que se explicará en los próximos posts.

Cluster: Se trata de un conjunto de instancias de ES que comparten mismo nombre de cluster (propiedad cluster.name). No obstante, un cluster puede estar compuesto por un único nodo. Cuando se inicia una instancia de ES, si no se ha indicado las direcciones IP o hostnames correspondientes al conjunto de instancias “maestro”. También hay que tener en cuenta que cuando se inicia una instancia de ES por primera vez, si no se indica en la configuración la ubicación de los nodos master, es la propia instancia la que actuará como master en los próximos reinicios de la instancia, en tales casos es necesario volver a instalar y configurar la instancia desde cero tal como se verá en un próximo post.

NOTA: Al parecer en ES no creen en el lenguaje inclusivo ni son “100% feminist compliant” ya que usan términos como maestro y esclavo, espero que alguna/algune/alguni no se sienta ofendida/ofendide/ofendidi.

Nodo: Se refiere simplemente a una instancia de ES en ejecución.

Índices: Se trata de una colección de varios documentos (estructuras JSON), que no necesariamente tienen una estructura común. Comparable a los esquemas de una base de datos relacional.

Tipos: Colección de varios documentos de similar estructura. Comparable a tablas de bases de datos

Shard: Espacio de almacenamiento físico de cada uno de los documentos de un índice. También se le suele llamar “Shard Primario” para distinguir entre el “shard” principal y las replicas que se generan en otros nodos del cluster.

Replica: Copia de un shard que permite la replicación de la información. Gracias a este mecanismo ES cumple con los requisitos de alta disponibilidad y tolerancia a fallos. Por defecto, las replicas de un shard no se almacenan en el mismo nodo si hay un entorno de cluster.

Bien, teniendo claros estos términos y considerando que el objetivo de estos posts es que se puedan poner en práctica, lo primero es saber cómo instalar una instancia de ES, que tal como se podrá ver a continuación es bastante sencillo.

Instalación de ES

La instalación de una instancia de ES es un proceso muy simple y no requiere demasiado esfuerzo. Básicamente hay 3 alternativas: 1. instalarlo como servicio del sistema con los típicos gestores de paquetes en sistemas basados en Debian (apt-get) o RedHat (yum). 2. Utilizar una imagen de docker preparada o con Elastic Cloud (https://www.elastic.co/es/cloud/elasticsearch-service/signup). 3. Descargar el fichero tar.gz del sitio oficial, descomprimir y ejecutar el binario correspondiente (https://www.elastic.co/es/downloads/elasticsearch).

Cualquiera de las 3 alternativas es valida, no obstante, como ocurre con muchos otros productos de software que se pueden instalar desde código fuente (tercera opción), en mi opinión es mucho más cómodo, fácil de gestionar (no se instala un servicio systemd directamente en el SO), más fácil de configurar ya que todos los ficheros y binarios están en la misma ruta donde se ha descomprimido y lo mejor, se puede abrir el fichero de configuración ubicado en el directorio “config” y realizar los cambios que sean oportunos. En mi opinión, es mejor seguir la tercera alternativa para entender como funciona el sistema y luego plantarse incluirlo como un servicio en un entorno de producción.

Una vez descargado y descomprimido el fichero “tar.gz” basta con dirigirse al directorio “bin” y desde una terminal ejecutar el comando “elasticsearch”. Con esto, ya tenemos una instancia de ES con los valores de configuración por defecto y todo preparado para empezar a almacenar información.

Cuando se inicia una instancia de ES se podrán ver muchas trazas indicando que el nodo se encuentra levantado y como se verá un otro post, cada nodo puede estar en uno de tres posibles estados “RED”, “YELLOW”, “GREEN”. Los estados simplemente indican cómo se encuentran los shards para los índices que se han creado en la instancia. Por otro lado, también se puede ver que el servicio de ES por defecto se vincula únicamente a la interfaz de red local en el puerto 9200. Para comprobar que se encuentra correctamente instalado, basta simplemente con abrir un navegador web y lanzar una petición HTTP GET contra dicho puerto en local.

Partiendo de una instancia en ejecución, lo siguiente es comenzar a crear índices y comprobar el funcionamiento de ES. Partiendo de este conocimiento sobre el sistema, es posible comenzar a hablar de seguridad y tanto buenas como malas prácticas de configuración. Serán cosas que se verán en próximos posts.

Un saludo y Happy Hack.

Adastra.

Categorías:Hacking, Networking, Programacion, Services - Software, Web Applications Etiquetas: , , , ,
A %d blogueros les gusta esto: