Ich möchte eine größere Anzahl von csv-Dateien in eine SQL-Datenbank (mySQL oder MariaDB) bringen, die auf meinem PC liegen soll. Ich habe xampp installiert um für solche Zwecke unabhängig von meinem Webhhoster zu sein. So weit als möglich möchte ich dabei einen bereits von mit für andere Projekte erstellten HTML/Javascript-Rahmen verwenden, und wenn möglich, zu Testzwecken auf PHP verzichten.
Wie gehe ich dabei am besten vor?
Borlander 
goman „mySQL mit HTML, Javascript und xampp testen“
Ich möchte eine größere Anzahl von csv-Dateien in eine SQL-Datenbank (mySQL oder MariaDB) bringen, die auf meinem PC liegen soll.
Wie genau muss man sich das vorstellen? Sind das eine Reihe von identisch strukturierten CSVs mit jeweils mehreren Datensätzen? Hast Du ein klar definiertes Tabellenschema?
So weit als möglich möchte ich dabei einen bereits von mit für andere Projekte erstellten HTML/Javascript-Rahmen verwenden, und wenn möglich, zu Testzwecken auf PHP verzichten.
Ohne irgendeine Form von serverseitigem Scripting oder einer Anwendung wirst Du nicht weit kommen.
Kannst Du das irgendwie genauer bschreiben was Du vor hast?
Gruß
Borlander
goman Borlander „Wie genau muss man sich das vorstellen? Sind das eine Reihe von identisch strukturierten CSVs mit jeweils mehreren ...“
Danke für deine prompte Antwort. Ich werde morgen die Sache präzisieren.
Gruß
Herbert
goman Nachtrag zu: „mySQL mit HTML, Javascript und xampp testen“
Ich habe mich nun mit PHP „angefreundet“ und es läuft inzwischen auch problemlos (unter xampp).
Zu meinem Projekt:
Es geht darum, verschiedene Formen von Tabellen aus PDF-Dateien zu extrahieren und die Daten in SQL-Datenbanken zu bringen. Die Umwandlung von PDF nach CSV funktioniert (bisher allerdings nur über den Umweg EXCEL - kennst du eine bessere Lösung?).
Nochmals Dank für deinen hilfreichen Beitrag.
Gruß
Herbert
Borlander goman „Ich habe mich nun mit PHP angefreundet und es läuft inzwischen auch problemlos unter xampp . Zu meinem Projekt: Es geht ...“
verschiedene Formen von Tabellen
Haben die denn irgendeine Gemeinsamkeit oder sind miteinander verknüpft? Sollen alle PDF-Tabellen gemeinsam in eine Datenbanktabelle importiert werden oder hast Du schon irgendwelche Vorstellungen wie das relationale Datenmodell am Ende aussehen soll? Für eine Datenbank brauchst Du deutlich mehr inhaltliche Struktur als in einer Excel-Arbeitsmappe.
Die Umwandlung von PDF nach CSV funktioniert (bisher allerdings nur über den Umweg EXCEL - kennst du eine bessere Lösung?).
Wenn Du die tabellarischen Daten auf diesem Weg fehlerfrei aus der PDF in eine CSV bekommst dann kannst Du Dich schon glücklich schätzen. Muss man abwägen in wie weit sich eine weitere Optimierung an dieser Stelle überhaupt lohnt. Wie oft musst Du das denn machen?
Die CSVs kannst Du (zumindest in eine bestehende Tabelle) direkt importieren: http://dev.mysql.com/doc/refman/5.7/en/load-data.html
Gruß
Borlander
goman Borlander „Haben die denn irgendeine Gemeinsamkeit oder sind miteinander verknüpft? Sollen alle PDF-Tabellen gemeinsam in eine ...“
In meinem Beruf hatte ich jahrelang mit Datenbanken zu tun, meist mit Oracle auf Mainframes und Workstations. Datenmodelle und SQL sind mir also vertraut. Ich bin jetzt Rentner und möchte etwas für die Beschäftigung meiner grauen Zellen tun.
Jetzt geht es mir darum, einen Überblick über Werkzeuge und Verfahren der Web-Programmierung zu bekommen.
HTML, CSS und Javastript sind mir inzwischen einigermaßen vertraut, nun sind PHP und mySQL dran.
Haben die denn irgendeine Gemeinsamkeit oder sind miteinander verknüpft? Sollen alle PDF-Tabellen gemeinsam in eine Datenbanktabelle importiert werden oder hast Du schon irgendwelche Vorstellungen wie das relationale Datenmodell am Ende aussehen soll?
Als "Übungsaufgabe" bringe meine Kontoauszüge der letzten zehn Jahre in eine Datenbanktabelle, das sind 120 PDF-Dateien.
Mein eigentliches Ziel ist allerdings eine Art von "Meta-Suchmaschine", ein bisschen inspiriert von MetaGer. Eine Benutzeroberfläche und die Umsetzung in (zunächst) einen Google-Suchstring klappt schon. Wenn ich das etwas heikle Problem der Verwertung der Suchergebnisse in den Griff bekomme, werde ich sie bei Bedarf in einer Datenbank speichern. Ist aber alles noch nicht ausgereift.
Gruß
Herbert
Borlander goman „In meinem Beruf hatte ich jahrelang mit Datenbanken zu tun, meist mit Oracle auf Mainframes und Workstations. Datenmodelle ...“
Dann bringst Du schon mal die besten Voraussetzungen mit :-)
Als "Übungsaufgabe" bringe meine Kontoauszüge der letzten zehn Jahre in eine Datenbanktabelle, das sind 120 PDF-Dateien.
Das ist von der Datenstruktur dann wirklich unproblematisch. Hatte da mir irgendwelchen semi-strukturierten Daten gerechnet. Mal aus Neugier: Wie genau hast Du die Umwandlung von PDF (Scan oder Text?) mit MSO gemacht? Habe mit der ORC-Funktion von MSO noch nie gearbeitet, halte das aber tendenziell für eine nicht triviale Aufgabe.
Für eine Suchmaschine würde ich mir Elasticsearch mal näher anschauen. Da bist Du von der Umsetzung von Volltextsuche wesentlich näher an MetaGer/Google als bei der eher rudimentären Volltextsuche (sofern Du die überhaupt suchst) von MySQL. Da das eine Dokumentenorientierte DB ist kannst Du auch später auch noch andere Dokumente importieren und dann gemeinsam durchsuchen suchen. Damit hättest Du dann auch einen direkten Mehrwert gegenüber einer Sammlung von CSVs die auch auch in Excel filtern könntest. Könntest Du bei Bedarf auch direkt mit JS/Ajax nutzen.
und möchte etwas für die Beschäftigung meiner grauen Zellen tun.
Dann könnten ggf. auch auch Freude an den Online-Kurse von OpenHPI haben. Da gibt es auch einige Angebote zu Webtechnologien, wobei man natürlich schauen um für welche Zielgruppe die jeweiligen Kurse sind. In-Memory-DBs wäre aber bestimmt interessant für Dich…
Gruß
Borlander
goman Borlander „Dann bringst Du schon mal die besten Voraussetzungen mit :- Das ist von der Datenstruktur dann wirklich unproblematisch. ...“
Mal aus Neugier: Wie genau hast Du die Umwandlung von PDF (Scan oder Text?) mit MSO gemacht?
Ich bin dir noch eine Antwort schuldig:
Ich habe die Umwandlung (kein Scan, nur PDF-Dateien) mit dem Programm von
http://www.PDFExcelConverter.com
gemacht. Dann von EXCEL nach CSV transformiert.
Dann könntest Du ggf. auch auch Freude an den Online-Kurse von OpenHPI haben.
Ich habe mich registriert, aber noch nicht damit gearbeitet. Macht aber einen guten Eindruck.
Gruß Herbert
