diff --git a/app.py b/app.py index 2166c44..0cf976f 100644 --- a/app.py +++ b/app.py @@ -100,16 +100,46 @@ def init_db(): app.logger.error(f'Fehler bei der Datenbankinitialisierung: {str(e)}') raise -def import_csv_data(): - """Importiert die CSV-Daten in die Datenbank.""" +def import_csv_data(file_path, tag): + """Importiert die CSV-Datei in die Datenbank.""" try: - app.logger.info('Importiere MEDISOFT-Daten...') - import_medisoft_data() - app.logger.info('Importiere MEDICONSULT-Daten...') - import_mediconsult_data() - app.logger.info('CSV-Daten erfolgreich in die Datenbank importiert') + if not os.path.exists(file_path): + app.logger.warning(f"CSV-Datei {file_path} nicht gefunden") + return + + app.logger.info(f"Importiere {tag}-Daten aus {file_path}...") + + with get_db() as conn: + c = conn.cursor() + + # Lese die CSV-Datei + df = pd.read_csv(file_path, encoding='iso-8859-1') + df.columns = df.columns.str.strip().str.replace('"', '') + df = df.apply(lambda x: x.str.strip().str.replace('"', '') if x.dtype == "object" else x) + + # Filtere Datensätze mit Fachrichtung "intern" + df = df[df['Fachrichtung'].str.lower() != 'intern'] + + # Bereite die Daten für den Batch-Insert vor + data = [( + row['VorNachname'], row['Nummer'], row['Strasse'], row['PLZ'], row['Ort'], + row['Tel'], row['Tel'], row['mail'], row['Fachrichtung'], tag, + row['Handy'], row['Tele Firma'], row['Kontakt1'], row['Kontakt2'], row['Kontakt3'] + ) for _, row in df.iterrows()] + + # Führe Batch-Insert durch + c.executemany(''' + INSERT INTO customers ( + name, nummer, strasse, plz, ort, telefon, mobil, email, + fachrichtung, tag, handy, tele_firma, kontakt1, kontakt2, kontakt3 + ) + VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?) + ''', data) + + app.logger.info(f"{tag}-Daten erfolgreich importiert") + except Exception as e: - app.logger.error(f'Fehler beim CSV-Import: {str(e)}') + app.logger.error(f"Fehler beim Importieren der {tag}-Daten: {str(e)}") raise def isIPInSubnet(ip, subnet): @@ -133,76 +163,6 @@ def isIPInSubnet(ip, subnet): logger.error(f"Fehler bei der IP-Überprüfung: {str(e)}") return False -def import_csv(): - """Importiert die CSV-Datei in die Datenbank""" - try: - with get_db() as conn: - c = conn.cursor() - - # Lösche bestehende Daten - c.execute('DELETE FROM customers') - - # Importiere MEDISOFT-Daten - if os.path.exists('data/customers.csv'): - logger.info("Importiere MEDISOFT-Daten...") - df = pd.read_csv('data/customers.csv', encoding='iso-8859-1') - df.columns = df.columns.str.strip().str.replace('"', '') - df = df.apply(lambda x: x.str.strip().str.replace('"', '') if x.dtype == "object" else x) - - # Filtere Datensätze mit Fachrichtung "intern" - df = df[df['Fachrichtung'].str.lower() != 'intern'] - - # Bereite die Daten für den Batch-Insert vor - data = [( - row['VorNachname'], row['Nummer'], row['Strasse'], row['PLZ'], row['Ort'], - row['Tel'], row['Tel'], row['mail'], row['Fachrichtung'], 'medisoft', - row['Handy'], row['Tele Firma'], row['Kontakt1'], row['Kontakt2'], row['Kontakt3'] - ) for _, row in df.iterrows()] - - # Führe Batch-Insert durch - c.executemany(''' - INSERT INTO customers ( - name, nummer, strasse, plz, ort, telefon, mobil, email, - fachrichtung, tag, handy, tele_firma, kontakt1, kontakt2, kontakt3 - ) - VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?) - ''', data) - else: - logger.warning("MEDISOFT CSV-Datei nicht gefunden") - - # Importiere MEDICONSULT-Daten - if os.path.exists('data/customers_snk.csv'): - logger.info("Importiere MEDICONSULT-Daten...") - df_snk = pd.read_csv('data/customers_snk.csv', encoding='iso-8859-1') - df_snk.columns = df_snk.columns.str.strip().str.replace('"', '') - df_snk = df_snk.apply(lambda x: x.str.strip().str.replace('"', '') if x.dtype == "object" else x) - - # Filtere Datensätze mit Fachrichtung "intern" - df_snk = df_snk[df_snk['Fachrichtung'].str.lower() != 'intern'] - - # Bereite die Daten für den Batch-Insert vor - data = [( - row['VorNachname'], row['Nummer'], row['Strasse'], row['PLZ'], row['Ort'], - row['Tel'], row['Tel'], row['mail'], row['Fachrichtung'], 'mediconsult', - row['Handy'], row['Tele Firma'], row['Kontakt1'], row['Kontakt2'], row['Kontakt3'] - ) for _, row in df_snk.iterrows()] - - # Führe Batch-Insert durch - c.executemany(''' - INSERT INTO customers ( - name, nummer, strasse, plz, ort, telefon, mobil, email, - fachrichtung, tag, handy, tele_firma, kontakt1, kontakt2, kontakt3 - ) - VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?) - ''', data) - else: - logger.warning("MEDICONSULT CSV-Datei nicht gefunden") - - logger.info("CSV-Daten erfolgreich in die Datenbank importiert") - except Exception as e: - logger.error(f"Fehler beim Importieren der CSV-Datei: {str(e)}") - raise - @app.route('/login', methods=['GET', 'POST']) def login(): # Überprüfe, ob die Client-IP in einem der erlaubten Bereiche liegt @@ -446,8 +406,8 @@ def upload(): customers.save('data/customers.csv') # Importiere die Daten in die Datenbank - import_csv('data/customers_snk.csv', 'snk') - import_csv('data/customers.csv', 'medisoft') + import_csv_data('data/customers_snk.csv', 'snk') + import_csv_data('data/customers.csv', 'medisoft') return render_template('upload.html', success="Dateien erfolgreich hochgeladen und importiert", version=app.config['VERSION']) except Exception as e: @@ -477,18 +437,8 @@ def init_app(app): # Stelle sicher, dass der data-Ordner existiert os.makedirs('data', exist_ok=True) - # Lösche die alte Datenbank, falls sie existiert - if os.path.exists(app.config['DATABASE']): - try: - os.remove(app.config['DATABASE']) - logger.info(f"Alte Datenbank {app.config['DATABASE']} wurde gelöscht") - except Exception as e: - logger.error(f"Fehler beim Löschen der alten Datenbank: {str(e)}") - # Initialisiere die Datenbank init_db() - # Importiere die CSV-Daten - import_csv() logger.info("Anwendung erfolgreich initialisiert") except Exception as e: logger.error(f"Fehler bei der Initialisierung: {str(e)}")