U gì®h° ã @stddlZddlmZddlmZdd„Zdd„Zdd „Zd d „Ze d krpe d dddZ e   d¡W5QRXed ƒ\Z Ze rŽede ›ƒnede›ƒzLeƒZe d¡e d¡edƒ\ZZerØede›ƒnede›ƒWn2ek rZzede›ƒW5dZ[XYnXdZej e¡r`eeƒ\ZZerPede›ƒnede›ƒnede›dƒdS)éN)Ú PdfReader)ÚDocumentc Cs.t|ddd}| ¡W5QR£SQRXdS)NÚrúutf-8©Úencoding)ÚopenÚread)ÚfilepathÚf©r ú(/var/www/html/manu/src/data_ingestion.pyÚread_text_filesrc CsBd}t|dƒ*}t|ƒ}|jD]}|| ¡p.d7}qW5QRX|S)NÚÚrb)rrZpagesZ extract_text)r Útextr ÚreaderZpager r r Ú read_pdf_file s   rcCs.t|ƒ}g}|jD]}| |j¡qd |¡S)NÚ )rZ paragraphsÚappendrÚjoin)r ZdocumentrZ paragraphr r r Úread_docx_files  rcCsftj |¡sdStj |¡d ¡}|dkr6t|ƒ}n(|dkrHt|ƒ}n|dkrZt|ƒ}ndS|dfS)N)NzFile not foundéz.txtz.pdfz.docx)NzUnsupported file type)ÚosÚpathÚexistsÚsplitextÚlowerrrr)r Zfile_extensionÚcontentr r r Ú ingest_datas    rÚ__main__z data/test.txtÚwrrz&Este es un archivo de texto de prueba.z TXT Content: zError reading TXT: z"Este es un archivo DOCX de prueba.zdata/test.docxzDOCX Content: zError reading DOCX: z(Could not create/read DOCX for testing: z data/test.pdfz PDF Content: zError reading PDF: zSkipping PDF test: z2 not found. Please place a PDF file there to test.)rZPyPDF2rZdocxrrrrrÚ__name__rr ÚwriteZ txt_contentÚerrorÚprintÚdocZ add_paragraphÚsaveZ docx_contentÚ ExceptionÚeZpdf_pathrrZ pdf_contentr r r r Ús<