From abbc23ae46bbaced4b3919aefc790ca0bc944297 Mon Sep 17 00:00:00 2001
From: egutierrez <egutierrez@dead.dd>
Date: Thu, 19 Dec 2024 23:38:58 +0100
Subject: [PATCH] Implement web crawler with database integration and URL
 extraction

---
 __pycache__/crawler_db_model.cpython-310.pyc  | Bin 0 -> 1606 bytes
 crawler.py                                    | 144 ++++++++++++++++++
 .../crawler_model.py => crawler_db_model.py   |  17 ++-
 3 files changed, 153 insertions(+), 8 deletions(-)
 create mode 100644 __pycache__/crawler_db_model.cpython-310.pyc
 create mode 100644 crawler.py
 rename modelos/crawler_model.py => crawler_db_model.py (81%)

diff --git a/__pycache__/crawler_db_model.cpython-310.pyc b/__pycache__/crawler_db_model.cpython-310.pyc
new file mode 100644
index 0000000000000000000000000000000000000000..0d9161f3a579e2effbf94461fca0b90d897c2fa2
GIT binary patch
literal 1606
zcmb7E&2HpG5O&)$w#R>&WRs8$KMN9<Icy#PA(Uj7MMx-GkpNOFQmf;xojBX=p0w?R
zoWnJ*fOaJ=`wBctUpeK-l><<14@nMiz?RGPRaLjDyS^%&=ZS~U?>~$ApP}dd=D@>e
zgkTrH=2sNL6GVE7P@;V5tAGY-L`P~&$10?uifBY!j4xv~p_5(@WTH}<_WDR>Dx+Di
zk7ce3TJ(A-SLg~%u01;a$`g@@fAT~O)9Zk)BA$o@anj>8D6T!?!OELQB7IBfIuKaD
zCUgU)XPa-{gN?TYy(w&n?1s=S*up&@i}28!<+qr>H;Zgu8sIH3sOMD;HhiXKr)nF0
zUAHg?W5dJNRQ24Bj^M}E#?LYKs8V2~eXS+%dPeM2Kq<N5ZFK?cgg1b;tbwMfbglSn
zFo<J;3tL=>dMY&+Oz0Nsi-XeT@$eZV*u}3oKmi^l!lS+*G=LF|g^zD=6VMP*Bu3W+
z@mPdtiP18F<Sa!TA<p{vc!_c`!BZ!;_yJCum)d+^HC4+Eon9hl3vJlNU^#l{+jL<n
z#myCa4OcejU8}1auSr4O-g>d;y}+2TtE=-4Y+QFz@)HSYiv+yloovlIrhZFM9Lx$E
zGgfm2jM;=Sr9~&5o-uabak=#5jJ0l)0h$1p8b>wjSHid(u|a2~iJU!kFznj0)|WKp
za|3fOG!~FfFmG)t!NohzJaMs3{P7e%JAP^O6_jmr{LJu635G5B9Gc^DiNuM^4CKz@
z%H+7lH9?c1h`kXh{53KqYoz!5cfEeW@c&t_NJLn{v50ScI_WFwu;1eZak|u9Eh90x
z^W}&OSUH>G+5~I8ir8_(?X%X$rgyQA5U*oghQ1AvBMS<fI~EKS5WJy9PlAB}h>uKx
zM=`4?UYIqMw|}9Sk)f<loo~ZgcL(bx{tjlFW()u3u@l=)yzj(aA<YL4x=NZ4Q6N>c
zs_IJHu&vroYJ<ZDtp=J7X@+HA+!xz?gg#olg7TCz*RCZtmQ717s<~#TZM(2Vsj*+{
z3VCqKn^S`%^=JwW6BSabD)l`b2JK@EFrT1s=WAT*_m!TK4D0=m?4xM*eD7#)fA8>1
z_T9JNU=NQ@s#?spZPJ`eF3VF;SH^dH-k-QXtUK0ll0K#F`|ur{Cp!-&hnZlgEgl4D
zql_cslJUd9Fpibh*Nq+R<EZI5*{5j3Ik<^JGaNPCjUk3DW5eZOixsrod2F(rcw9;w
v9S&p4M$38iZ}(*5&xf}C!nJhcs`06p;U&2@CZRv|r*XKF1aXj&BuL2LZ8w!A

literal 0
HcmV?d00001

diff --git a/crawler.py b/crawler.py
new file mode 100644
index 0000000..2c1ff5a
--- /dev/null
+++ b/crawler.py
@@ -0,0 +1,144 @@
+import requests
+from bs4 import BeautifulSoup
+from urllib.parse import urljoin, urlparse
+from sqlalchemy.orm import sessionmaker
+from crawler_db_model import WebsPorVisitar, WebsVisitadas, engine
+from dotenv import load_dotenv
+import os
+import hashlib
+import re
+
+# Cargar variables de entorno
+load_dotenv()
+
+# Crear sesión de base de datos
+Session = sessionmaker(bind=engine)
+session = Session()
+
+def extract_urls(url):
+    """Extrae todas las URLs de una página web."""
+    try:
+        headers = {
+            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
+        }
+        response = requests.get(url, headers=headers, timeout=10)
+        if response.status_code != 200:
+            return [], response.status_code
+        
+        soup = BeautifulSoup(response.text, 'html.parser')
+        urls = set()
+        for link in soup.find_all('a', href=True):
+            full_url = urljoin(url, link['href'])
+            parsed_url = urlparse(full_url)
+            # Filtrar URLs inválidas o fuera de dominio
+            if parsed_url.scheme in ['http', 'https']:
+                urls.add(full_url)
+
+        return list(urls), response.status_code
+    except Exception as e:
+        print(f"Error al procesar {url}: {e}")
+        return [], None
+
+def hash_content(content):
+    """Genera un hash SHA-256 del contenido para verificar duplicados."""
+    return hashlib.sha256(content.encode('utf-8')).hexdigest()
+
+def generate_summary(soup):
+    """Genera un resumen más detallado del contenido de la página."""
+    # Extraer título
+    titulo = soup.title.string if soup.title else "Sin título"
+
+    # Extraer meta descripción
+    meta_description = soup.find('meta', attrs={'name': 'description'})
+    descripcion = meta_description['content'] if meta_description else "No hay descripción disponible."
+
+    # Extraer encabezados principales
+    headers = {
+        'h1': [h1.get_text(strip=True) for h1 in soup.find_all('h1')],
+        'h2': [h2.get_text(strip=True) for h2 in soup.find_all('h2')],
+        'h3': [h3.get_text(strip=True) for h3 in soup.find_all('h3')]
+    }
+
+    # Extraer texto de párrafos principales
+    paragraphs = [p.get_text(strip=True) for p in soup.find_all('p')][:5]
+
+    # Resumen estructurado
+    summary = {
+        "titulo": titulo,
+        "descripcion": descripcion,
+        "encabezados": headers,
+        "parrafos": paragraphs
+    }
+    return summary
+
+def process_url(url):
+    """Procesa una URL: extrae datos y las inserta en las tablas correspondientes."""
+    try:
+        headers = {
+            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
+        }
+        urls, status_code = extract_urls(url)
+        
+        # Obtener datos del sitio
+        response = requests.get(url, headers=headers, timeout=10)
+        if response.status_code != 200:
+            return
+
+        soup = BeautifulSoup(response.text, 'html.parser')
+        dominio = urlparse(url).netloc
+        summary = generate_summary(soup)
+        ip = requests.get(f"https://api.ipify.org?domain={dominio}&format=json").json().get('ip', "")
+        contenido_hash = hash_content(response.text)
+
+        # Insertar en WebsVisitadas
+        visitada = WebsVisitadas(
+            url=url,
+            dominio=dominio,
+            titulo=summary['titulo'],
+            resumen=f"Descripción: {summary['descripcion']}, Encabezados: {summary['encabezados']}, Párrafos: {summary['parrafos']}",
+            ip=ip,
+            codigo_http=status_code,
+            contenido_hash=contenido_hash
+        )
+        session.add(visitada)
+
+        # Insertar nuevas URLs en WebsPorVisitar si no están repetidas
+        for new_url in urls:
+            if not session.query(WebsPorVisitar).filter_by(url=new_url).first() and \
+               not session.query(WebsVisitadas).filter_by(url=new_url).first():
+                session.add(WebsPorVisitar(url=new_url))
+
+        session.commit()
+
+    except Exception as e:
+        print(f"Error procesando {url}: {e}")
+        session.rollback()
+
+def crawl():
+    """Crawl principal que procesa URLs hasta agotar la lista de webs por visitar."""
+    while True:
+        # Obtener la siguiente URL a visitar
+        web_por_visitar = session.query(WebsPorVisitar).first()
+        if not web_por_visitar:
+            print("No hay más webs por visitar.")
+            break
+
+        url = web_por_visitar.url
+        print(f"Visitando: {url}")
+
+        # Procesar la URL y eliminarla de la lista de pendientes
+        process_url(url)
+        session.delete(web_por_visitar)
+        session.commit()
+
+if __name__ == "__main__":
+    # URL inicial
+    url_inicial = "http://example.com"
+
+    # Insertar URL inicial si no existe
+    if not session.query(WebsPorVisitar).filter_by(url=url_inicial).first():
+        session.add(WebsPorVisitar(url=url_inicial))
+        session.commit()
+
+    # Iniciar el crawler
+    crawl()
diff --git a/modelos/crawler_model.py b/crawler_db_model.py
similarity index 81%
rename from modelos/crawler_model.py
rename to crawler_db_model.py
index 02054bd..366dd46 100644
--- a/modelos/crawler_model.py
+++ b/crawler_db_model.py
@@ -2,6 +2,8 @@ from sqlalchemy import create_engine, Column, Integer, String, Text, DateTime, B
 from sqlalchemy.ext.declarative import declarative_base
 from sqlalchemy.orm import sessionmaker
 from datetime import datetime
+from dotenv import load_dotenv
+import os
 
 Base = declarative_base()
 
@@ -27,18 +29,17 @@ class WebsVisitadas(Base):
     contenido_hash = Column(String(64), nullable=True)  # Hash del contenido para detectar cambios
     es_dinamico = Column(Boolean, default=False)  # Si es una página generada dinámicamente
 
+# Cargar variables de entorno desde el archivo .env
+load_dotenv()
+
+# Obtener la URL de la base de datos desde las variables de entorno
+database_url = os.getenv('DATABASE_URL')
+
 # Crear el motor de base de datos y las tablas
-engine = create_engine('postgresql://usuario:password@localhost:5432/nombre_bd')
+engine = create_engine(database_url)
 Base.metadata.create_all(engine)
 
 # Crear una sesión
 Session = sessionmaker(bind=engine)
 session = Session()
 
-# Ejemplo de cómo agregar una entrada
-if __name__ == "__main__":
-    nueva_web_por_visitar = WebsPorVisitar(url="http://example.com")
-    session.add(nueva_web_por_visitar)
-    session.commit()
-
-    print("Nueva URL agregada a 'webs_por_visitar'.")