CSV in Arrayeinlesen - Splittingprobleme

Jan · 2024-05-24T08:30:30+00:00

Ich will eine csv Datei in ein Array zur Weiterverarbeitung einlesen. Das klappt mit dem split via Trennzeichen auch sehr gut und performant. Leider gibt es Teststrings in der csv Datei mit genau dem Trennzeichen (in dem Fall Semikolon, könnte aber auch jedes beliebige andere sein). Zwar ist dieser Text in meinem Einlesearray (vor der Weiterverarbeitung durch den split) noch in extra Anführungszeichen und lässt sich darüber identifizieren, aber der split legt bei diesen (Ausnahme)Textsstrings weitere Arrayfelder (weil Semikolons im Text) an. Dadurch habe ich manchmal 10 Zeilen und manchmal 13, so dass dieselbe Info an verschiedenen Zeilen im Array steht. Vorheriges ersetzen der strings via replace nützt natürlich nichts, weil dass ja auch die csv Trennzeichen mit entfernen würde. Ich habe versucht dies über Regex zu lösen. Damit kriege ich die (falschen) Semikolons raus, aber die Performance ist grottig und macht den ganzen Arrayvorteil zunichte. Habt Ihr eine Idee, wie ich das lösen kann. Öffne ich die csv mit excel schafft excel es sauber zu trennen und lässt die Semikolons im Text unberücksichtigt. Dann müsste es doch auch mit VBA gehen... Hier ein Ausschnitt aus dem Code Open ThisWorkbook.path & "\" & CSV_Q_Jahr For Binary As #1 strDaten = Space$(LOF(1)) Get #1, , strDaten Close #1 Vardat = Split(strDaten, vbCrLf) For lngZeile = LBound(Vardat) To UBound(Vardat) If Len(Trim(Vardat(lngZeile))) > 0 Then 'check, ob Inhalte in dieser Zeile vorhanden sind (Trim entfernt Leerzeichen) Vardat(lngZeile) = Replace(Vardat(lngZeile), Chr(34), "") 'Anführungszeichen entfernen VarErg = Split(Vardat(lngZeile), ";") 'string aufspalten ...

mhm, leider zu früh gefreut. All die Einzelstringlösungen sahen nur im Testcase schnell aus, weil ich da eine gekürzte und anonymisierte csv Inputdatei genutzt habe. Dort gab es tatsächlich - außer bei den falschen textstrings - keine Anführungszeichen. So konnte ich die falschen leicht identifizieren und nur diese sind durch die Bereinigungsfunktion gegangen. Das ist natürlich schnell.

Nun habe ich eine originale Quelldatei genommen - dort sind leider immer Anführungszeichen drin, so dass die Korrekturfunktion jedes mal durchlaufen wird. Das dauert ewig und ist bei allen vorgeschlagenen "Ersetzungslösungen" dasselbe, bei so vielen Datensätzen ein absoluter Performancekiller. Das Umbenennen in eine Textdatei wie von Onur vorgeschlagen löst das Problem leider auch nicht, weil auch die textdatei die Semikolons beim direkten Übertragen ins Array mit übernimmt. Wir die Datei geöffnet und dann das Array bestückt gibt es kein Problem, aber das geht auch mit der csv, weil dann eben kein splitting notwendig ist.

Das vorherige Öffnen einer Datei + Übertragen aus der geöffneten Datei ins Array löst das Problem, aber genau das will ich ja vermeiden. Der Übertrag via

    Open ThisWorkbook.path & "\" & CSV_Q_Jahr For Binary As #1

    strDaten = Space$(LOF(1))

    Get #1, , strDaten

    Close #1

    Vardat = Split(strDaten, vbCrLf)

inkl. folgender Aufbereitung geht rasend schnell, aber da habe ich das Problem mit den Semikolons beim Aufsplitten und eine Funktionsschleife über alle lines macht den Geschwindigkeitsvorteil wieder zunichte. Etwa doppelt so lange dauert das Abgreifen über ADO. Da ich da nicht mehr splitten muss entfällt das Problem der Semikolons. Die mit Abstand performancetechnisch schlechteste Lösung ist das Öffnen, bis die großen Textdateien geöffnet sind (haben teilweise >100MB) dauert mehrere sekunden...

Hoffe ich habe keinen Eurer Vorschläge übersehen... damit für mich leider zurück auf Los oder doch immer den Weg via ADO über vorheriges ins excel holen gehen... Ist wahrscheinlich in etwas so schnell/langsam wie das Öffnen, aber dann habe ich via SQL Abfrage die Grundgesamtheit zumindest schon mal verkleinert.

Vielleicht kommt mir übers WE noch eine Idee. Dank Euch auf jeden Fall fürs bisherige Brainstormen.

Happy w/e
Jan

Hi zusammen,

Ich bin grad dabei, eine alternative Variante zu testen und die csv via SQL Abfrage reinzuholen. Damit kann ich auch gleich die Anzahl der Zeilen reduzieren.

Ich habe zwei Methoden probiert:

(1) Schreiben in eine Exceltabelle und von dort das Array bestücken
(2) Direktes Schreiben in ein Array

Eigentlich genügt (2) vollkommen. (1) brauche ich nur für etwaige debuggingfälle. Mein Problem ist, dass bei direkter Bestückung des Arrays VarDat die Spalten und Zeilen vertauscht sind. Ich brauche es so wie VarErg nach dem Bestücken aus der Tabelle aufgebaut ist.

Hier der Code - Ich vermute "rst.GetRows" in Zeile 140 muss irgendwie transponiert werden, aber stehe auf dem Schlauch. Könnt Ihr mir auf die Sprünge helfen, wie ich VarDat direkt bestücken kann und Zeilen/Spalten analog VarErg aufgebaut sind?

Sub CsvInArray_SQL(CSV_Q_Jahr, SKR, Spalte, Faktor, Optional Aufruf)

        'aktuell unbearbeiteter Input



        Dim wksZ As Worksheet

        Dim ADOConn As Object, rst As Object

        Dim strDaten As String, Vardat As Variant, VarErg As Variant, VarMapping As Variant, VarRes()

        Dim lngZeile As Long, lngz As Long, Spaltemax As Long, i As Long, Kontogrenze As Long

        Dim Grenze1 As Long, Grenze2 As Long, Grenze3 As Long, Z_letzte As Long, lngZMapp As Long

        Dim strPfad As String, strDatei As String, strSQL As String

        

10      Set wksZ = ThisWorkbook.Sheets("CSV_Xcheck_SQL")

20      wksZ.Range("A2:V100000").ClearContents

30      Spaltemax = 20

40      Kontogrenze = 9000 * Faktor

50      strPfad = ThisWorkbook.Path & "\Dateninput\"

        

        'Mappingarray anlegen (Infos zu Kontengruppe etc.)

60      Z_letzte = Sheets("MVZ_Export").Cells(20000, Spalte).End(xlUp).row ' letzte Zeile mit Kontonummer in Spalte E 'sonst aus Ubound(VarRes)

70      VarMapping = Sheets("MVZ_Export").Range(Sheets("MVZ_Export").Cells(12, Spalte), Sheets("MVZ_Export").Cells(Z_letzte, Spalte + 4)) 'Array mit zu mappender Kontogruppe etc.



80      strSQL = "Select * From "

90      Set ADOConn = CreateObject("ADODB.CONNECTION")

100     ADOConn.Open = "Provider=Microsoft.ACE.OLEDB.12.0;Data Source=" & strPfad & ";Extended Properties=""text;HDR=No;" & ";FMT=Delimited"";"

        

110     Set rst = CreateObject("ADODB.RECORDSET")

120     rst.Open strSQL & CSV_Q_Jahr & " WHERE F1=0 and F2" & Kontogrenze & "and F2 >= 2000 * " & Faktor & "Or F1 = 0 And F2 >= 50 * " & Faktor & " And F2 = 499 * " & Faktor, ADOConn

        

130     If Application.Caller = "Schaltfläche 2" Then

140       Vardat = rst.GetRows

150     Else

160       wksZ.Cells(2, 1).CopyFromRecordset rst, , Spaltemax

170       rst.Close

180       ADOConn.Close

190       Set ADOConn = Nothing

200       Set rst = Nothing



210       Z_letzte = wksZ.Cells(200000, 1).End(xlUp).row ' letzte Zeile mit Kontonummer in Spalte E 'sonst aus Ubound(VarRes)

220       VarErg = wksZ.Range(wksZ.Cells(2, 1), wksZ.Cells(Z_letzte, Spaltemax)) 'Array mit zu mappender Kontogruppe etc.

230     End If

          

End Sub

BG
Jan

CSV in Arrayeinlesen - Splittingprobleme

Forumthread: CSV in Arrayeinlesen - Splittingprobleme

47
Beiträge zum Forumthread

Beiträge zu diesem Forumthread

Forumthreads zu verwandten Themen

Beliebteste Forumthreads (12 Monate)

CSV in Arrayeinlesen - Splittingprobleme

Forumthread: CSV in Arrayeinlesen - Splittingprobleme

47 Beiträge zum Forumthread Beiträge zu diesem Forumthread

Forumthreads zu verwandten Themen

Beliebteste Forumthreads (12 Monate)

47
Beiträge zum Forumthread

Beiträge zu diesem Forumthread