a gì®h° ã @sŠddlZddlmZddlmZdd„Zdd„Zdd „Zd d „Ze d kr†e d dddZ e   d¡Wdƒn1sx0Yed ƒ\Z Ze r¢ede ›ƒnede›ƒzLeƒZe d¡e d¡edƒ\ZZerìede›ƒnede›ƒWn4ey0Zzede›ƒWYdZ[n dZ[00dZej e¡rveeƒ\ZZerfede›ƒnede›ƒnede›dƒdS)éN)Ú PdfReader)ÚDocumentcCs:t|ddd}| ¡WdƒS1s,0YdS)NÚrúutf-8©Úencoding)ÚopenÚread)ÚfilepathÚf©r ú3/var/www/html/moodle/api/manu/src/data_ingestion.pyÚread_text_filesrcCsVd}t|dƒ4}t|ƒ}|jD]}|| ¡p.d7}qWdƒn1sH0Y|S)NÚÚrb)rrZpagesZ extract_text)r Útextr ÚreaderZpager r r Ú read_pdf_file s   0rcCs.t|ƒ}g}|jD]}| |j¡qd |¡S)NÚ )rZ paragraphsÚappendrÚjoin)r ZdocumentrZ paragraphr r r Úread_docx_files  rcCsftj |¡sdStj |¡d ¡}|dkr6t|ƒ}n(|dkrHt|ƒ}n|dkrZt|ƒ}ndS|dfS)N)NzFile not foundéz.txtz.pdfz.docx)NzUnsupported file type)ÚosÚpathÚexistsÚsplitextÚlowerrrr)r Zfile_extensionÚcontentr r r Ú ingest_datas    rÚ__main__z data/test.txtÚwrrz&Este es un archivo de texto de prueba.z TXT Content: zError reading TXT: z"Este es un archivo DOCX de prueba.zdata/test.docxzDOCX Content: zError reading DOCX: z(Could not create/read DOCX for testing: z data/test.pdfz PDF Content: zError reading PDF: zSkipping PDF test: z2 not found. Please place a PDF file there to test.)rZPyPDF2rZdocxrrrrrÚ__name__rr ÚwriteZ txt_contentÚerrorÚprintÚdocZ add_paragraphÚsaveZ docx_contentÚ ExceptionÚeZpdf_pathrrZ pdf_contentr r r r Ús<   (    $