elpatron/medi-customers
1
0
Fork 0
Code Issues Pull Requests Actions Packages Releases Activity

fix: Verbessere Datenbankinitialisierung und CSV-Import

Browse Source
This commit is contained in:
elpatron
2025-03-24 09:44:11 +01:00
parent d87074b9dd
commit efce228aed
1 changed files with 40 additions and 90 deletions
Download Patch File Download Diff File Expand all files Collapse all files

130
app.py
View File

@@ -100,16 +100,46 @@ def init_db():
app.logger.error(f'Fehler bei der Datenbankinitialisierung: {str(e)}')
raise
def import_csv_data():
"""Importiert die CSV-Daten in die Datenbank."""
def import_csv_data(file_path, tag):
"""Importiert die CSV-Datei in die Datenbank."""
try:
app.logger.info('Importiere MEDISOFT-Daten...')
import_medisoft_data()
app.logger.info('Importiere MEDICONSULT-Daten...')
import_mediconsult_data()
app.logger.info('CSV-Daten erfolgreich in die Datenbank importiert')
if not os.path.exists(file_path):
app.logger.warning(f"CSV-Datei {file_path} nicht gefunden")
return
app.logger.info(f"Importiere {tag}-Daten aus {file_path}...")
with get_db() as conn:
c = conn.cursor()
# Lese die CSV-Datei
df = pd.read_csv(file_path, encoding='iso-8859-1')
df.columns = df.columns.str.strip().str.replace('"', '')
df = df.apply(lambda x: x.str.strip().str.replace('"', '') if x.dtype == "object" else x)
# Filtere Datensätze mit Fachrichtung "intern"
df = df[df['Fachrichtung'].str.lower() != 'intern']
# Bereite die Daten für den Batch-Insert vor
data = [(
row['VorNachname'], row['Nummer'], row['Strasse'], row['PLZ'], row['Ort'],
row['Tel'], row['Tel'], row['mail'], row['Fachrichtung'], tag,
row['Handy'], row['Tele Firma'], row['Kontakt1'], row['Kontakt2'], row['Kontakt3']
) for _, row in df.iterrows()]
# Führe Batch-Insert durch
c.executemany('''
INSERT INTO customers (
name, nummer, strasse, plz, ort, telefon, mobil, email,
fachrichtung, tag, handy, tele_firma, kontakt1, kontakt2, kontakt3
)
VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?)
''', data)
app.logger.info(f"{tag}-Daten erfolgreich importiert")
except Exception as e:
app.logger.error(f'Fehler beim CSV-Import: {str(e)}')
app.logger.error(f"Fehler beim Importieren der {tag}-Daten: {str(e)}")
raise
def isIPInSubnet(ip, subnet):
@@ -133,76 +163,6 @@ def isIPInSubnet(ip, subnet):
logger.error(f"Fehler bei der IP-Überprüfung: {str(e)}")
return False
def import_csv():
"""Importiert die CSV-Datei in die Datenbank"""
try:
with get_db() as conn:
c = conn.cursor()
# Lösche bestehende Daten
c.execute('DELETE FROM customers')
# Importiere MEDISOFT-Daten
if os.path.exists('data/customers.csv'):
logger.info("Importiere MEDISOFT-Daten...")
df = pd.read_csv('data/customers.csv', encoding='iso-8859-1')
df.columns = df.columns.str.strip().str.replace('"', '')
df = df.apply(lambda x: x.str.strip().str.replace('"', '') if x.dtype == "object" else x)
# Filtere Datensätze mit Fachrichtung "intern"
df = df[df['Fachrichtung'].str.lower() != 'intern']
# Bereite die Daten für den Batch-Insert vor
data = [(
row['VorNachname'], row['Nummer'], row['Strasse'], row['PLZ'], row['Ort'],
row['Tel'], row['Tel'], row['mail'], row['Fachrichtung'], 'medisoft',
row['Handy'], row['Tele Firma'], row['Kontakt1'], row['Kontakt2'], row['Kontakt3']
) for _, row in df.iterrows()]
# Führe Batch-Insert durch
c.executemany('''
INSERT INTO customers (
name, nummer, strasse, plz, ort, telefon, mobil, email,
fachrichtung, tag, handy, tele_firma, kontakt1, kontakt2, kontakt3
)
VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?)
''', data)
else:
logger.warning("MEDISOFT CSV-Datei nicht gefunden")
# Importiere MEDICONSULT-Daten
if os.path.exists('data/customers_snk.csv'):
logger.info("Importiere MEDICONSULT-Daten...")
df_snk = pd.read_csv('data/customers_snk.csv', encoding='iso-8859-1')
df_snk.columns = df_snk.columns.str.strip().str.replace('"', '')
df_snk = df_snk.apply(lambda x: x.str.strip().str.replace('"', '') if x.dtype == "object" else x)
# Filtere Datensätze mit Fachrichtung "intern"
df_snk = df_snk[df_snk['Fachrichtung'].str.lower() != 'intern']
# Bereite die Daten für den Batch-Insert vor
data = [(
row['VorNachname'], row['Nummer'], row['Strasse'], row['PLZ'], row['Ort'],
row['Tel'], row['Tel'], row['mail'], row['Fachrichtung'], 'mediconsult',
row['Handy'], row['Tele Firma'], row['Kontakt1'], row['Kontakt2'], row['Kontakt3']
) for _, row in df_snk.iterrows()]
# Führe Batch-Insert durch
c.executemany('''
INSERT INTO customers (
name, nummer, strasse, plz, ort, telefon, mobil, email,
fachrichtung, tag, handy, tele_firma, kontakt1, kontakt2, kontakt3
)
VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?)
''', data)
else:
logger.warning("MEDICONSULT CSV-Datei nicht gefunden")
logger.info("CSV-Daten erfolgreich in die Datenbank importiert")
except Exception as e:
logger.error(f"Fehler beim Importieren der CSV-Datei: {str(e)}")
raise
@app.route('/login', methods=['GET', 'POST'])
def login():
# Überprüfe, ob die Client-IP in einem der erlaubten Bereiche liegt
@@ -446,8 +406,8 @@ def upload():
customers.save('data/customers.csv')
# Importiere die Daten in die Datenbank
import_csv('data/customers_snk.csv', 'snk')
import_csv('data/customers.csv', 'medisoft')
import_csv_data('data/customers_snk.csv', 'snk')
import_csv_data('data/customers.csv', 'medisoft')
return render_template('upload.html', success="Dateien erfolgreich hochgeladen und importiert", version=app.config['VERSION'])
except Exception as e:
@@ -477,18 +437,8 @@ def init_app(app):
# Stelle sicher, dass der data-Ordner existiert
os.makedirs('data', exist_ok=True)
# Lösche die alte Datenbank, falls sie existiert
if os.path.exists(app.config['DATABASE']):
try:
os.remove(app.config['DATABASE'])
logger.info(f"Alte Datenbank {app.config['DATABASE']} wurde gelöscht")
except Exception as e:
logger.error(f"Fehler beim Löschen der alten Datenbank: {str(e)}")
# Initialisiere die Datenbank
init_db()
# Importiere die CSV-Daten
import_csv()
logger.info("Anwendung erfolgreich initialisiert")
except Exception as e:
logger.error(f"Fehler bei der Initialisierung: {str(e)}")