Archive for Oktober, 2010

Seriously, there is a function for that

Freitag, Oktober 29th, 2010

I keep running into code like this:

tree = lxml.etree.parse( StringIO(bytes_data) )

The docs are actually very clear about this. There is a function called etree.fromstring(data) that is meant to parse from a string. It is the same as in ElementTree. Obviously, no-one reads documentation. But it’s there, really.

BeautifulSoup vs. lxml.html parser performance

Freitag, Oktober 29th, 2010

Here is yet another little performance comparison between BeautifulSoup and lxml.html. Especially the comparison graph is really fun to see.

Dive into Python 3 presents ElementTree and lxml.etree

Freitag, Oktober 29th, 2010

It’’s worth mentioning that the Python 3 edition of “Dive into Python” has a lot of rewritten and updated content. The thing that I like best about it is that it finally has an up-to-date chapter on XML that is entirely based on ElementTree and lxml.etree, the major XML libraries for Python. So, even for those who want to continue using Python 2 for a while, it’’s worth reading the new edition instead of the outdated Python 2 edition.

Locally loading DTDs from XML catalogs with lxml

Donnerstag, Oktober 28th, 2010

It seems that it is not obvious to all lxml users how DTDs and external entities are loaded by an XML processor. Specifically, if the system is misconfigured, it can happen that lxml fails to parse a document that needs a DTD or that it tries to load the DTD from the network repeatedly, when the no_network parser option is set to False (obviously, network access is blocked by default).

I commented on this on the lxml mailing list in 2008 when there was a discussion about high web traffic at the W3C due to excessive DTD loading, which was also attributed to parts of the Python standard library.

The right way to handle this (in general, but especially for lxml) is to configure the XML catalogs on the local system. The libxml2 site has some documentation on how to do this. The advantage of using catalogs is that most XML tools will use them when available, so it is a system wide fix for the problem. Most Linux installations come with readily configured XML catalogs, but other systems may have to get fixed up.

Stuttgart 21

Freitag, Oktober 8th, 2010

Das sogenannte “Stuttgart 21″ Projekt genießt ja inzwischen einiges an Medienbeachtung. Beachtlich finde ich daran aber vor allem, was für grobe und offensichtliche Fehler die Entscheider dabei gemacht haben. So wurden zuerst einmal zwei Projekte zu einem vermischt, die eigentlich nichts miteinander zu tun haben: auf der einen Seite ein neuer Bahnhof für Stuttgart, zusammen mit wesentlichen Änderungen an der städtischen Schienenverkehrsführung, auf der anderen Seite ein Neubau der Bahnstrecke Wendlingen-Ulm. Wahrscheinlich waren die Gründe dafür, dass für das eine ohne das andere nicht so leicht Gelder aufzutreiben gewesen wären. Bike-Shedding eben. Schließlich ist es leichter, ein Bauprojekt “unvorhergesehen” teurer werden zu lassen, wenn erstmal genügend Beteiligte mit im Boot sitzen - hier z.B. der Bund, das Land BW, die Stadt Stuttgart und die EU. Allerdings hat diese Verquickung auch gleichzeitig noch ein gigantisches Pulverfass mit eingekauft, das in den letzten Monaten hochgegangen ist.

Der nächste Fehler findet sich dann in den Verträgen. Da die Entscheider anscheinend jegliche Rückzugsklauseln vergessen (?) haben, bedeutet ein möglicher Abbruch des Baus nun einen Vertragsbruch, der entsprechend teuer zu bezahlen ist. Mit einem geschätzten Achtel der Kosten natürlich immer noch wesentlich günstiger als der Bau selbst, aber alles andere als kostengünstig. Unterm Strich würde ein Vertragsbruch und eine Beschränkung auf die Neubaustrecke Wendlingen-Ulm jedoch immer noch einige Milliarden Euro einsparen, ohne ernsthafte Nachteile mit sich zu bringen.

Und der dritte große Fehler ist die Außenkommunikation. Nur wenige sind dafür geschaffen, so resolut Probleme auszusitzen wie ein Helmut Kohl. Aber zur Schau getragene Ignoranz gegenüber einem realen Pulverfass verhindert eben doch nicht, dass dieses hochgeht. Dass die Stadt Stuttgart nun nach einem Kommunikationshelfer sucht, ist da eher ein Lacher am Rande. Daran hätte eher das Land BW Bedarf gehabt, und zwar vor etlichen Jahren. Die Außenkommunikation wirkte dermaßen arrogant gegenüber den Projektgegnern, dass sie praktisch keinen anderen Ausweg mehr zuließ als den zur Eskalation.

Ein ganzer Haufen selbst eingebrockter Süppchen also. Wenn es gut läuft, wird nur die Neubaustrecke vollendet, mit einem Vertragsbruchkostenzusatz von vielleicht einer Milliarde Euro und möglichen weiteren Kosten, da die Finanzierung neu aufgeteilt werden muss und sich die Stadt Stuttgart daraus wahrscheinlich zurückzieht. Vielleicht wird auch gar nichts gebaut, weil die Finanzierung in sich zusammen bricht, da sie plötzlich mit realistischeren Zahlen operieren muss als zur Zeit der ursprünglichen Entscheidung. Vielleicht bleibt ja auch alles beim Alten und die Bevölkerung in BW besinnt sich darauf, dass das bisschen Aufregung um ein paar Milliarden Euro mehr oder weniger noch lange nicht die Gefährdungen eines demokratischen Regierungswechsels rechtfertigt. Wer weiß. Aber vielleicht, ja, vielleicht lernt ja auch mal jemand etwas daraus.