Lars/mitai-jinkendo
1
0
Fork 0
Code Issues 23 Pull Requests Actions Packages Projects Releases 2 Wiki Activity

[FEATURE] Universeller CSV-Parser mit lernbarem Feldmapping #20

New Issue
Closed
opened 2026-03-23 15:36:37 +01:00 by Lars · 1 comment
Lars commented 2026-03-23 15:36:37 +01:00
Owner
Copy Link

Feature Request: Universeller CSV-Parser

Beschreibung

Ein modul�bergreifendes CSV-Import-System, das Feldmappings abfragt, erlernt und f�r verschiedene Datenquellen wiederverwendet.

Motivation

Aktuell gibt es separate CSV-Import-Endpunkte f�r:

  • Ern�hrung (FDDB)
  • Aktivit�t (Apple Health)
  • Schlaf (Apple Health)
  • Vitalwerte (Omron, Apple Health)

Jeder Import hat hardcodierte Feldnamen. Bei neuen Formaten oder Apps muss der Code angepasst werden.

Ziel

Ein universeller Parser, der:

  1. CSV hochladen ? Spalten erkennen
  2. Nutzer fragt: "Welches Feld ist Datum?" ? Dropdown mit Spalten
  3. Mapping speichert (DB: csv_field_mappings)
  4. Beim n�chsten Import: automatisch erkennen (Fingerprint: Spalten-Hash)
  5. Werte direkt in Zielmodul importieren (weight_log, nutrition_log, activity_log, etc.)

Anforderungen

1. Feldmapping-Assistent (UI)

Flow:

  • CSV hochladen
  • System erkennt Spalten: ["Datum", "Gewicht (kg)", "Notiz"]
  • Falls unbekannt: Mapping-Dialog 
    Zielmodul: [Dropdown: Gewicht | Ern�hrung | Aktivit�t | Schlaf | Vitalwerte]

Feldmappings:
CSV-Spalte "Datum"       ? [Dropdown: date | created_at | timestamp | ---]
CSV-Spalte "Gewicht"     ? [Dropdown: weight | value | ---]
CSV-Spalte "Notiz"       ? [Dropdown: note | comment | ---]

[X] Mapping speichern f�r zuk�nftige Importe

2. Datenbankschema

Tabelle: csv_field_mappings

CREATE TABLE csv_field_mappings (
  id UUID PRIMARY KEY,
  profile_id UUID REFERENCES profiles(id),  -- NULL = global
  target_module VARCHAR(50),  -- "weight", "nutrition", "activity", etc.
  source_fingerprint VARCHAR(64),  -- SHA256 Hash der Spalten (sortiert)
  source_name VARCHAR(100),  -- z.B. "Withings Export", "MyFitnessPal CSV"
  field_mappings JSONB,  -- {"Datum": "date", "Gewicht (kg)": "weight"}
  created_at TIMESTAMP DEFAULT NOW()
);

Fingerprint-Berechnung:

import hashlib, json
columns = sorted(["Datum", "Gewicht (kg)", "Notiz"])
fingerprint = hashlib.sha256(json.dumps(columns).encode()).hexdigest()

3. API-Endpunkte

POST /api/import/universal

  • Body: multipart/form-data mit CSV-Datei
  • R�ckgabe:
    • Falls bekannt: {"fingerprint": "abc123", "mapping_id": "uuid", "preview": [...]}
    • Falls unbekannt: {"fingerprint": "abc123", "columns": ["Datum", ...], "needs_mapping": true}

POST /api/import/universal/map

  • Body: {"fingerprint": "abc123", "target_module": "weight", "mappings": {...}, "source_name": "..."}
  • Speichert Mapping in DB
  • F�hrt Import aus

GET /api/import/mappings

  • Zeigt alle gespeicherten Mappings (global + user-spezifisch)

DELETE /api/import/mappings/{id}

  • L�scht Mapping

4. Modul-Integration

Jeder Zielmodul definiert erforderliche Felder:

MODULE_SCHEMAS = {
    "weight": {
        "required": ["date", "weight"],
        "optional": ["note"],
        "target_table": "weight_log"
    },
    "nutrition": {
        "required": ["date", "kcal"],
        "optional": ["protein_g", "fat_g", "carbs_g"],
        "target_table": "nutrition_log"
    },
    # ...
}

5. UI-Komponente

UniversalCsvImport.jsx

  • Drag & Drop Upload
  • Falls Mapping bekannt: "Import starten"
  • Falls unbekannt: Mapping-Dialog
  • History: Liste aller Mappings mit Edit/Delete

Integration in Module:

  • WeightScreen, NutritionPage, ActivityPage, SleepPage, VitalsPage
  • Zus�tzlicher Tab "Universal-Import" neben den spezifischen Imports

Vorteile

  • Flexibilit�t: Neue Apps/Formate ohne Code-�nderung
  • Lernf�hig: Einmal mappen ? immer verf�gbar
  • Nutzerfreundlich: Visuelles Mapping statt manueller Spalten-Umbennung
  • Wiederverwendbar: Mappings teilen (global/user-spezifisch)
  • Zukunftssicher: Beliebige CSV-Quellen unterst�tzen

Beispiel-Workflow

  1. Nutzer l�dt "withings_export.csv" hoch (noch nie gesehen)
  2. System: "Unbekanntes Format. Spalten: [Date, Weight (kg), Fat Mass (kg)]"
  3. Nutzer mappt:
    • Date ? date
    • Weight (kg) ? weight
    • Fat Mass (kg) ? (ignorieren)
  4. System: "Mapping gespeichert als Withings Export"
  5. Import: 120 Zeilen ? weight_log
  6. N�chstes Mal: Withings CSV ? automatisch erkannt ? 1-Klick-Import

Technische Details

  • Parser: csv Modul (Python stdlib)
  • Encoding-Erkennung: chardet f�r UTF-8/ISO-8859-1
  • Validierung: Pydantic Models pro Zielmodul
  • Duplikat-Erkennung: Wie bei bestehenden Imports (date-basiert)
  • Logging: Fehlerhafte Zeilen �berspringen, in Import-Report auflisten

Phasen

Phase 1: MVP

  • Tabelle csv_field_mappings
  • Fingerprint-Berechnung
  • POST /api/import/universal (Erkennung)
  • POST /api/import/universal/map (Speichern + Import)
  • Modul-Schema f�r weight
  • Basis-UI: Mapping-Dialog

Phase 2: Erweitert

  • Alle Module (nutrition, activity, sleep, vitals, circumference, caliper)
  • GET /api/import/mappings (History)
  • DELETE Mappings
  • Mapping bearbeiten (Update)
  • Global vs. User-spezifisch

Phase 3: Komfort

  • Auto-Suggest ("Spalte Gewicht ? wahrscheinlich weight")
  • Datentyp-Validierung ("Spalte enth�lt keine Zahlen ? kann nicht weight sein")
  • Vorschau vor Import (erste 5 Zeilen)
  • Einheiten-Konvertierung (lbs ? kg, etc.)

Priorit�t

Medium � Nice-to-have f�r v9e/v9f

Labels

feature, develop

# Feature Request: Universeller CSV-Parser ## Beschreibung Ein modul�bergreifendes CSV-Import-System, das Feldmappings abfragt, erlernt und f�r verschiedene Datenquellen wiederverwendet. ## Motivation Aktuell gibt es separate CSV-Import-Endpunkte f�r: - Ern�hrung (FDDB) - Aktivit�t (Apple Health) - Schlaf (Apple Health) - Vitalwerte (Omron, Apple Health) Jeder Import hat hardcodierte Feldnamen. Bei neuen Formaten oder Apps muss der Code angepasst werden. ## Ziel Ein **universeller Parser**, der: 1. CSV hochladen ? Spalten erkennen 2. Nutzer fragt: "Welches Feld ist Datum?" ? Dropdown mit Spalten 3. Mapping speichert (DB: `csv_field_mappings`) 4. Beim n�chsten Import: automatisch erkennen (Fingerprint: Spalten-Hash) 5. Werte direkt in Zielmodul importieren (weight_log, nutrition_log, activity_log, etc.) ## Anforderungen ### 1. Feldmapping-Assistent (UI) **Flow:** - CSV hochladen - System erkennt Spalten: ["Datum", "Gewicht (kg)", "Notiz"] - Falls unbekannt: Mapping-Dialog ``` Zielmodul: [Dropdown: Gewicht | Ern�hrung | Aktivit�t | Schlaf | Vitalwerte] Feldmappings: CSV-Spalte "Datum" ? [Dropdown: date | created_at | timestamp | ---] CSV-Spalte "Gewicht" ? [Dropdown: weight | value | ---] CSV-Spalte "Notiz" ? [Dropdown: note | comment | ---] [X] Mapping speichern f�r zuk�nftige Importe ``` ### 2. Datenbankschema **Tabelle: `csv_field_mappings`** ```sql CREATE TABLE csv_field_mappings ( id UUID PRIMARY KEY, profile_id UUID REFERENCES profiles(id), -- NULL = global target_module VARCHAR(50), -- "weight", "nutrition", "activity", etc. source_fingerprint VARCHAR(64), -- SHA256 Hash der Spalten (sortiert) source_name VARCHAR(100), -- z.B. "Withings Export", "MyFitnessPal CSV" field_mappings JSONB, -- {"Datum": "date", "Gewicht (kg)": "weight"} created_at TIMESTAMP DEFAULT NOW() ); ``` **Fingerprint-Berechnung:** ```python import hashlib, json columns = sorted(["Datum", "Gewicht (kg)", "Notiz"]) fingerprint = hashlib.sha256(json.dumps(columns).encode()).hexdigest() ``` ### 3. API-Endpunkte **POST /api/import/universal** - Body: `multipart/form-data` mit CSV-Datei - R�ckgabe: - Falls bekannt: `{"fingerprint": "abc123", "mapping_id": "uuid", "preview": [...]}` - Falls unbekannt: `{"fingerprint": "abc123", "columns": ["Datum", ...], "needs_mapping": true}` **POST /api/import/universal/map** - Body: `{"fingerprint": "abc123", "target_module": "weight", "mappings": {...}, "source_name": "..."}` - Speichert Mapping in DB - F�hrt Import aus **GET /api/import/mappings** - Zeigt alle gespeicherten Mappings (global + user-spezifisch) **DELETE /api/import/mappings/{id}** - L�scht Mapping ### 4. Modul-Integration Jeder Zielmodul definiert **erforderliche Felder**: ```python MODULE_SCHEMAS = { "weight": { "required": ["date", "weight"], "optional": ["note"], "target_table": "weight_log" }, "nutrition": { "required": ["date", "kcal"], "optional": ["protein_g", "fat_g", "carbs_g"], "target_table": "nutrition_log" }, # ... } ``` ### 5. UI-Komponente **UniversalCsvImport.jsx** - Drag & Drop Upload - Falls Mapping bekannt: "Import starten" - Falls unbekannt: Mapping-Dialog - History: Liste aller Mappings mit Edit/Delete **Integration in Module:** - WeightScreen, NutritionPage, ActivityPage, SleepPage, VitalsPage - Zus�tzlicher Tab "Universal-Import" neben den spezifischen Imports ## Vorteile - **Flexibilit�t:** Neue Apps/Formate ohne Code-�nderung - **Lernf�hig:** Einmal mappen ? immer verf�gbar - **Nutzerfreundlich:** Visuelles Mapping statt manueller Spalten-Umbennung - **Wiederverwendbar:** Mappings teilen (global/user-spezifisch) - **Zukunftssicher:** Beliebige CSV-Quellen unterst�tzen ## Beispiel-Workflow 1. **Nutzer l�dt "withings_export.csv" hoch** (noch nie gesehen) 2. **System:** "Unbekanntes Format. Spalten: [Date, Weight (kg), Fat Mass (kg)]" 3. **Nutzer mappt:** - Date ? date - Weight (kg) ? weight - Fat Mass (kg) ? (ignorieren) 4. **System:** "Mapping gespeichert als Withings Export" 5. **Import:** 120 Zeilen ? weight_log 6. **N�chstes Mal:** Withings CSV ? automatisch erkannt ? 1-Klick-Import ## Technische Details - **Parser:** `csv` Modul (Python stdlib) - **Encoding-Erkennung:** `chardet` f�r UTF-8/ISO-8859-1 - **Validierung:** Pydantic Models pro Zielmodul - **Duplikat-Erkennung:** Wie bei bestehenden Imports (date-basiert) - **Logging:** Fehlerhafte Zeilen �berspringen, in Import-Report auflisten ## Phasen ### Phase 1: MVP - [ ] Tabelle `csv_field_mappings` - [ ] Fingerprint-Berechnung - [ ] POST /api/import/universal (Erkennung) - [ ] POST /api/import/universal/map (Speichern + Import) - [ ] Modul-Schema f�r `weight` - [ ] Basis-UI: Mapping-Dialog ### Phase 2: Erweitert - [ ] Alle Module (nutrition, activity, sleep, vitals, circumference, caliper) - [ ] GET /api/import/mappings (History) - [ ] DELETE Mappings - [ ] Mapping bearbeiten (Update) - [ ] Global vs. User-spezifisch ### Phase 3: Komfort - [ ] Auto-Suggest ("Spalte Gewicht ? wahrscheinlich weight") - [ ] Datentyp-Validierung ("Spalte enth�lt keine Zahlen ? kann nicht weight sein") - [ ] Vorschau vor Import (erste 5 Zeilen) - [ ] Einheiten-Konvertierung (lbs ? kg, etc.) ## Priorit�t **Medium** � Nice-to-have f�r v9e/v9f ## Labels `feature`, `develop`
Lars added the
feature
develop
 labels 2026-03-23 15:36:37 +01:00
Lars closed this issue 2026-03-23 15:37:58 +01:00
Lars commented 2026-03-23 15:37:58 +01:00
Author
Owner
Copy Link

Duplikat von #21

Duplikat von #21
Sign in to join this conversation.
No Branch/Tag Specified
Branches Tags
Labels
Clear labels   
bug

Bug/Fehler

  
develop

Betrifft develop Branch

  
feature

Feature Request

  
high

Hohe Priorit�t

  
low

Niedrige Priorit�t

No Label
bug
develop
feature
high
low
Milestone
Clear milestone
No items
No Milestone
Projects
Clear projects
No project
Assignees
Clear assignees
No Assignees
1 Participants
Notifications
Due Date
The due date is invalid or out of range. Please use the format 'yyyy-mm-dd'.

No due date set.

Dependencies

No dependencies set.

Reference: Lars/mitai-jinkendo#20
No description provided.
Delete Branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?