diff --git a/ss2013/1_Web Mining/Uebungen/1_Uebung/u1.php b/ss2013/1_Web Mining/Uebungen/1_Uebung/u1.php new file mode 100644 index 00000000..61f60877 --- /dev/null +++ b/ss2013/1_Web Mining/Uebungen/1_Uebung/u1.php @@ -0,0 +1,220 @@ + $b['count']) ? -1 : 1; +} + +function U2_getWordList($text, $stopwords = array()){ + $result = array(); + + $words = explode(' ', $text); + + foreach($words as $word){ + + if(in_array($word, $stopwords)){ + continue;} + + $found = false; + for($i = 0; $i $word, 'count' => 1, 'perc' => 1/count($words));} + } + + usort($result,'U2_sortByCount'); + + return $result; +} + +echo ''. + ''. + ''. + ''. + ''. + ''; + +echo 'Übung 1 - Web Mining
+ Abgabetermin: Sonntag, 05.05.
'; + +echo '
    + +
  1. Überlegen Sie sich eine neuartige, originelle Web Min­ing An­wen­dung, die mit Text-Klas­si­fika­tionsver­fahren gelöst wer­den könnte. Skizzieren Sie eine mögliche Um­set­zung (Samm­lung der Train­ings­dat­en, Klas­si­fika­tion der Train­ings­dat­en, Ein­satz des gel­ern­ten Klas­si­fika­tors in der Prax­is). (2 Punkte)
    2. + +
  2. Schreiben Sie ein ein­fach­es Pro­gramm, das eine sortierte Liste der in einem Text vork­om­menden Worte (im weitesten Sinn alles was durch Leerze­ichen be­gren­zt wird) mit den as­sozi­ierten Häufigkeit­en (absolut und prozentual) er­stellt und sortiert ausgibt. (2 Punkte) +
    • Ver­gle­ichen Sie die 30 am häufig­sten vork­om­menden Worte in zwei oder mehreren längeren Tex­ten der gle­ichen Sprache (z. B. E-books, Pro­jekt Guten­berg, etc. ). Sind diese Worte als Merk­male für Text-Klas­si­fizierungs-Auf­gaben geeignet? Warum?
    • Modifizieren Sie Ihr Programm dahingehend, daß es eine Liste von Stoppwörtern erhalten kann, die ignoriert werden. Wiederholen Sie die vorherige Aufgabe, indem Sie jedoch diesmal die Stoppwörter der jeweiligen Sprache ignorieren (eine Auswahl finden Sie unter http://nltk.googlecode.com/svn/trunk/nltk_data/packages/corpora/stopwords.zip). Wie würden Sie nun die Eignung der 30 häufigsten Wörter einschätzen?
    +
  3. Die Auftrittswahrschein­lichkeit­en von Worten in Tex­ten fol­gen einer so­ge­nan­nten Zipf-Verteilung, d. h. einer Verteilung, die dop­pelt log­a­rith­misch ist. Überprüfen Sie das an­hand der gewählten Texte. (2 Punkte) +
    • Plot­ten Sie die Häufigkeit­en (y-Achse) über den Rang (x-Achse), also die An­zahl der Vorkomm­nisse des häufig­sten Wortes zuerst, dann die An­zahl des zwei­thäufig­sten Wortes, etc. Betra­cht­en Sie sowohl eine ab­so­lute als auch eine log­a­rith­mis­che Skalierung bei­der Achsen. Was können Sie beobachten?
    • Bes­tim­men Sie die An­zahl der Worte, die mit einer gegebe­nen Häufigkeit vorkom­men (also, wie viele Wörter gibt es, die mit Häufigkeit 1 vorkom­men, wie viele mit Häufigkeit 2, etc. ). Pro­duzieren Sie ähn­liche Grafiken (An­zahl der Worte mit einer gewis­sen Häufigkeit über die Häufigkeit) und interpretieren Sie diese.
    +
  4. Mod­i­fizieren Sie das Pro­gramm, so daß es nicht Worte son­dern Buch­staben und Buch­staben­paare zählt. Vergle­ichen Sie deren Häufigkeitsverteilung sowohl zweier in der gleichen Sprache verfassten Texte als auch zweier in ver­schiede­nen Sprachen abge­fasster Texte. (2 Punkte)
  5. Laden Sie sich unser kleines Firefox-Plugin (http://www.ke.tu-darmstadt.de/lehre/ss13/web-mining/keaddon1.zip) herunter und machen Sie sich damit und den Entwicklungstools vertraut. Weiter unten finden Sie Hinweise zur Verwendung. Erweitern Sie die Funktion student(text) in der Datei lib/student.js dahingehend, daß es drei Sprachen erkennen kann. Die Liste der bisher unterstützten Sprachen können Sie gerne in languages.js nach Belieben erweitern. Verwenden Sie für die Spracherkennung eine einfache Heuristik, die z.B. auf den in der vorherigen Aufgabe vorgestellten Stoppwörtern basiert. Browsen Sie dann ein wenig im Web herum und berichten uns von Ihren Ergebnissen und Erfahrungen mit dem Plugin. (1 Punkt)
+

Allgemeine Hinweise

+
Achten Sie darauf, bei den Texten nur die relevanten Abschnitte zu verwenden und z.B. Lizenzhinweise o.ä. auszuschließen. Oft empfiehlt es sich auch, auf unterschiedliche Betrachtung von Groß- und Kleinschreibung zu verzichten.
+

Hinweise zum Firefox-Plugin

+

Das Firefox-Plugin ist ein kleines Tool, welches in der Lage ist, abhängig von der gerade angezeigten Seite ein kleines Symbol, in unserem Falle eine Fahne, in der rechten Ecke der unteren Statusleiste im Firefox anzuzeigen. Das Tool ist bereits in der Lage, den Text einer Web-Seite (technisch gesehen nur Text innerhalb eines Paragraphen, also z.B. keine Überschriften) zu extrahieren und zu verarbeiten. Die Verarbeitung findet in der Funktion student(text) in lib/student.js statt. Diese gibt momentan statisch eine Sprache zurück, die dann als Fahne dargestellt wird. Hierum kümmert sich auch das Firefox-Plugin selbständig.

+

Programmierung und Entwicklungsumgebung

+ Entpacken sie den Inhalt der Zip-Datei in ein Verzeichnis, das Projektverzeichnis. Laden Sie sich die neueste Firefox Add-on SDK herunter und installieren Sie sie auf ihrem Rechner. Eine Installationsanleitung befindet sich im unten angegebenen Link. Hierbei handelt es sich im Wesentlichen um eine Sammlung von Skripten und Bibliotheken, die Ihnen das Arbeiten mit Firefox Plugins erleichtert. Nach der Installation steht Ihnen der Befehl cfx zur Verfügung. Führen Sie cfx run innerhalb des Projektverzeichnisses aus, um Ihre Änderungen im Browser zu testen. Ihre prognostizierte Sprache wird in der Addon-Leiste angezeigt. Alternativ dazu können Sie ihre Funktion in Unittest testen, welche Sie in test-main.js implementieren können. +

Um Ihnen die Arbeit zu erleichtern, stellen wir einige Helferfunktionen bereit. Diese befinden sich in utility.js und dienen zur Orientierung und keinesfalls als strikte Vorgabe.

+

Anmerkungen:

+ +

Tools und Links

+ +   +

 

'; + +//Solution U1 +echo "

Solution U1

"; +echo "Erkenne Mode/Internetworte(unbekannte) und klassifiziere sie, bestimmte häufung in Unterhaltungen etc., um herauszufinden, was das nächste Modewort sein wird. Bsp: 'lol' oder 'rofl'."; +echo "Sammle Trainingsdaten via Twitter."; + +//Solution U2 + + +$text1 = 'Wie bereits erwähnt, teilt der Doctype dem Browser oder auch Validator mit, welcher Code auf der Website verwendet wird. Je nach Angabe verwendet ein Browser dadurch den Normalen Modus oder den Quirks-Mode um den Code zu Interpretieren. Um die Seite also korrekt interpretieren zu lassen ist es unabdingbar den Doctype zu definieren.'; +$text2 = 'Der Server prüft anhand der ersten Bytes des Dokuments die Zeichenkodierung und benachrichtigt das Benutzerprogramm durch den Charset-Parameter im Content-Type-Header des HTTP-Protokolls. Da aber manche Server nicht gestatten, einen Charset-Parameter zu senden und andere einfach nicht entsprechend konfiguriert sind, bietet HTML seit Version 4 die Angabe des Zeichensatzes.'; +echo "

Solution U2

"; +$u2_res1 = U2_getWordList($text1); + echo "

Words Text1

"; + echo ""; + foreach($u2_res1 as $res){ + echo "";} + echo "
WordCountPercent
".$res['word']."".$res['count']."".($res['perc']*100)."
"; + +$u2_res2 = U2_getWordList($text2); + echo "

Words Text2

"; + echo ""; + foreach($u2_res2 as $res){ + echo "";} + echo "
WordCountPercent
".$res['word']."".$res['count']."".($res['perc']*100)."
"; + +$best_1 = array_slice($u2_res1,0,30); + echo "

30 best Text1

"; + echo ""; + foreach($best_1 as $res){ + echo "";} + echo "
WordCountPercent
".$res['word']."".$res['count']."".($res['perc']*100)."
"; + +$best_2 = array_slice($u2_res2,0,30); + echo "

30 best Text2

"; + echo ""; + foreach($best_2 as $res){ + echo "";} + echo "
WordCountPercent
".$res['word']."".$res['count']."".($res['perc']*100)."
"; + +$best = array_merge($best_1,$best_2); +usort($best,'U2_sortByCount'); + echo "

Merged 30 best

"; + echo ""; + foreach($best as $res){ + echo "";} + echo "
WordCountPercent
".$res['word']."".$res['count']."".($res['perc']*100)."
"; + + $u2_res1 = U2_getWordList('Wie bereits erwähnt, teilt der Doctype dem Browser oder auch Validator mit, welcher Code auf der Website verwendet wird. Je nach Angabe verwendet ein Browser dadurch den Normalen Modus oder den Quirks-Mode um den Code zu Interpretieren. Um die Seite also korrekt interpretieren zu lassen ist es unabdingbar den Doctype zu definieren.'); + echo "

Words Text1

"; + echo ""; + foreach($u2_res1 as $res){ + echo "";} + echo "
WordCountPercent
".$res['word']."".$res['count']."".($res['perc']*100)."
"; + +$u2_res2 = U2_getWordList('Der Server prüft anhand der ersten Bytes des Dokuments die Zeichenkodierung und benachrichtigt das Benutzerprogramm durch den Charset-Parameter im Content-Type-Header des HTTP-Protokolls. Da aber manche Server nicht gestatten, einen Charset-Parameter zu senden und andere einfach nicht entsprechend konfiguriert sind, bietet HTML seit Version 4 die Angabe des Zeichensatzes.'); + echo "

Words Text2

"; + echo ""; + foreach($u2_res2 as $res){ + echo "";} + echo "
WordCountPercent
".$res['word']."".$res['count']."".($res['perc']*100)."
"; + +$best_1 = array_slice($u2_res1,0,30); + echo "

30 best Text1

"; + echo ""; + foreach($best_1 as $res){ + echo "";} + echo "
WordCountPercent
".$res['word']."".$res['count']."".($res['perc']*100)."
"; + +$best_2 = array_slice($u2_res2,0,30); + echo "

30 best Text2

"; + echo ""; + foreach($best_2 as $res){ + echo "";} + echo "
WordCountPercent
".$res['word']."".$res['count']."".($res['perc']*100)."
"; + +$best = array_merge($best_1,$best_2); +usort($best,'U2_sortByCount'); + echo "

Merged 30 best

"; + echo ""; + foreach($best as $res){ + echo "";} + echo "
WordCountPercent
".$res['word']."".$res['count']."".($res['perc']*100)."
"; + +$stopwords = array( 'aber','alle','allem','allen','aller','alles','als','also','am', + 'an','ander','andere','anderem','anderen','anderer','anderes', + 'anderm','andern','anderr','anders','auch','auf','aus','bei', + 'bin','bis','bist','da','damit','dann','der','den','des','dem', + 'die','das','daß','derselbe','derselben','denselben','desselben', + 'demselben','dieselbe','dieselben','dasselbe','dazu','dein','deine', + 'deinem','deinen','deiner','deines','denn','derer','dessen','dich', + 'dir','du','dies','diese','diesem','diesen','dieser','dieses','doch', + 'dort','durch','ein','eine','einem','einen','einer','eines','einig', + 'einige','einigem','einigen','einiger','einiges','einmal','er', + 'ihn','ihm','es','etwas','euer','eure','eurem','euren','eurer', + 'eures','für','gegen','gewesen','hab','habe','haben','hat','hatte', + 'hatten','hier','hin','hinter','ich','mich','mir','ihr','ihre', + 'ihrem','ihren','ihrer','ihres','euch','im','in','indem','ins', + 'ist','jede','jedem','jeden','jeder','jedes','jene','jenem','jenen', + 'jener','jenes','jetzt','kann','kein','keine','keinem','keinen', + 'keiner','keines','können','könnte','machen','man','manche', + 'manchem','manchen','mancher','manches','mein','meine','meinem', + 'meinen','meiner','meines','mit','muss','musste','nach','nicht', + 'nichts','noch','nun','nur','ob','oder','ohne','sehr','sein', + 'seine','seinem','seinen','seiner','seines','selbst','sich','sie', + 'ihnen','sind','so','solche','solchem','solchen','solcher','solches', + 'soll','sollte','sondern','sonst','über','um','und','uns','unse', + 'unsem','unsen','unser','unses','unter','viel','vom','von','vor', + 'während','war','waren','warst','was','weg','weil','weiter','welche', + 'welchem','welchen','welcher','welches','wenn','werde','werden','wie', + 'wieder','will','wir','wird','wirst','wo','wollen','wollte','würde', + 'würden','zu','zum','zur','zwar','zwischen'); + +$filter_u2_res1 = U2_getWordList($text1,$stopwords); + echo "

Words Text1 Filtered

"; + echo ""; + foreach($filter_u2_res1 as $res){ + echo "";} + echo "
WordCountPercent
".$res['word']."".$res['count']."".($res['perc']*100)."
"; + +$filter_u2_res2 = U2_getWordList($text2,$stopwords); + echo "

Words Text2 Filtered

"; + echo ""; + foreach($filter_u2_res2 as $res){ + echo "";} + echo "
WordCountPercent
".$res['word']."".$res['count']."".($res['perc']*100)."
"; + +$filter_best_1 = array_slice($filter_u2_res1,0,30); + echo "

30 best Text1 Filtered

"; + echo ""; + foreach($filter_best_1 as $res){ + echo "";} + echo "
WordCountPercent
".$res['word']."".$res['count']."".($res['perc']*100)."
"; + +$filter_best_2 = array_slice($filter_u2_res2,0,30); + echo "

30 best Text2 Filtered

"; + echo ""; + foreach($filter_best_2 as $res){ + echo "";} + echo "
WordCountPercent
".$res['word']."".$res['count']."".($res['perc']*100)."
"; + +$filter_best = array_merge($filter_best_1,$filter_best_2); +usort($filter_best,'U2_sortByCount'); + echo "

Merged 30 best Filtered

"; + echo ""; + foreach($filter_best as $res){ + echo "";} + echo "
WordCountPercent
".$res['word']."".$res['count']."".($res['perc']*100)."
"; + +echo ''. + ''; \ No newline at end of file