Oracle Text et Data Mining (Partie 2)

Vous le savez, Oracle Data Mining (ODM) est un de mes sujets de prédilection. C'est notamment parce que le type d'informations qu'on arrive à extraire des données à partir des algorithmes spécialisés sont d'un intérêt extrême. Le décisionnel n'a alors plus rien à voir avec les explorations, même adhoc, des données réalisées par les utilisateurs. Dans les 2 parties de cet article, je montre comment utiliser Oracle Data Mining avec des documents non structurés. Pour cela, j'utilise le contenu de ce blog. L'article est découpé comme ceci :

• La première partie de cet article publiée précédemment explique comment extraire les données depuis Internet et les charger en base de données ; c'est la plomberie !
• Dans cette seconde partie, j'applique un algorithme de classification sans apprentissage (KMean) sur le texte de mes articles et je découvre avec stupéfaction la classification réalisée par ODM.

Vous noterez que la magie de cet exemple réside, entre autre, sur le fait que l'algorithme utilisé n'utilise aucune phase d'apprentissage. Si vous voulez aller plus loin dans la classification et influencer le moteur avec des classements déjà réalisées, vous utiliserez des algorithmes à apprentissage comme les arbres de décision ou les support vector machine (réseaux de neurones). Mais, sans allez jusque là, vous allez découvrir un résultat qui, j'en suis, sur vous étonnera...

Oracle Text et Data Mining (Partie 1)

Vous le savez, Oracle Data Mining est un de mes sujets de prédilection ! C'est notamment parce que le type d'informations qu'on arrive à extraire des données à partir des algorithmes spécialisés sont d'un intérêt extrême... Le décisionnel n'a alors plus rien à voir avec les explorations, même adhoc des données réalisées par les utilisateurs.
Dans cet article en 2 parties, vous allez découvrir comment l'algorithme de clustering d'ODM appliqué à des données non structurées arrive à faire des miracles. Une fois n'est pas coutume, j'ai décider de travailler sur des vraies données cette fois pour vous montrer, sans tricher, l'intérêt du décisionnel. Je vais donc vous montrer comment utiliser ODM avec des documents non structurés et, pour cela, je vais utiliser le contenu de ce blog. Les 2 parties consistent donc à :

• Extraire les données de ce blog depuis Internet et les préparer (a.k.a les charger dans une base 11.2)
• Ensuite, appliquer l'algorithme de clustering (Oracle Data Mining) et s'étonner.

Mais commençons par un peu de plomberie...

SQL*Plus et XQUERY

Oracle SQL*Plus 10.2 a introduit une fonctionnalité très sympa : la possibilité d'écrire vos requêtes XQUERY directement depuis le prompt de l'utilitaire en ligne. Je me suis un peu battu pour comprendre comment passer des structures XML sans créer un document et l'enregistrer ou le référencer depuis la base de données. Voici quelques exemples qui vous inspirerons à n'en pas douter. Il faut dire que la documentation de la syntaxe SQL*Plus est assez succincte.

Remplacer les fonctions Extract et ExtractValue par XMLQuery

Comme vous l'avez peut-être remarqué, la documentation Oracle 11.2 signale que les fonctions XML Extract(XML) et ExtractValue vont être abandonnées au profit des syntaxes XQUERY inclues dans la base de données Oracle. Vous trouverez ci-dessous des exemples qui montrent comment ré-écrire vos requêtes pour anticiper ces changements de la 12 (ou la version 13!) et surtout dans mon cas pour éviter un bug avec les anciennes syntaxes. Je n'en dis pas plus...

Installer et configurer NET-SNMP sur OEL5 et RHEL5

Important:

D'après l'article "The Management Agent's SNMP SubAgent is Being Planned for Deprecation in Future Release of Grid Control [ID 1057526.1]" et cette discussion sur les communautés support, Il semble, sinon acquis, au moins probable que le sous-agent SNMP pour Oracle vive ses dernières années avec l'agent Enterprise Manager 11.1. Soyez attentifs (et votez NON!) si vous décidez d'utiliser ce qui suit dans cet article.

SNMP (aka Simple Network Management Protocol) est un des protocoles utilisés par de nombreux frameworks de gestion réseau comme HP OpenView, CA Unicenter ou Nagios. Oracle Database Server 9i et les agents OEM 10g et 11g offrent des fonctionnalités SNMP pour intégrer facilement vos bases de données préférées à votre solution de supervision. Dans cette série d'articles vous trouverez comment intégrer Oracle à votre framework de supervision par ce biais.

Cette série sera composée de 3 articles intitulés :

• "Installer et configurer NET-SNMP sur OEL5 et RHEL5 " (cet article), explique le principe d'une infrastructure SNMP et comment configurer les différents composants NET-SNMP pour constituer une configuration représentative.
• "Configurer l'agent et sous-agents SNMP Oracle sur OEL5", présente la configuration et les fonctionnalités des agents et sous-agents Oracle pour superviser vos bases de données et listeners.
• "Configurer le sous-agent SNMP Enterprise Manager", présente la configuration du sous-agent Enterprise Manager qui permet l'intégration de l'ensemble du référentiel d'alertes OEM Grid Control à votre framework de supervision. A noter que pour utiliser cette dernière fonctionnalité, vous devez avoir une licence Oracle Database Diagnostic Pack.
  
  

Et si vous ne voulez pas que OEM démarre avec Linux ?

Oracle Enterprise Manager est plutôt sympa dans la mesure où il vient, dans sa version Linux, avec un script nommé gcstartup situé dans /etc/init.d qui le démarre automatiquement ainsi que l'agent associé lors du boot. Si vous l'installez pour faire des tests ou apprendre à vous en servir sur votre laptop, vous ne voudrez peut-être pas qu'il démarre systématiquement.

Monter système de fichiers WebDAV sur Linux avec DavFS2

Si vous utilisez OEL ou Ubuntu avec Oracle Collaboration Suite ou Beehive, un moyen simple de vous connecter au référentiel de fichiers est d'utiliser WebDAV. DavFS2 est un système de fichiers s'appuyant sur les drivers FUSE (i.e. montés dans la stack utilisateur) qui permet de monter l'URL sur un point de montage de votre choix. Voici comment installer, configurer et utiliser DavFS2

Pourquoi utiliser flashback query avec EXPDP ?

Cette remarque vous paraitra sans doute évidente mais, je vous assure que ce n'est pas le cas pour tout le monde : "les exports datapump, pas plus que les exports classiques, n'assurent la cohérence des données entre les tables par défaut".

Il faudra, dans la plupart des cas, arrêter l'activité dml ou utiliser flashback query, pour obtenir un ensemble cohérent de données de vos tables exportées. Avec expdp, vous prendrez donc soin d'utiliser flashback_scn ou flashback_time de la même manière que vous utilisiez consistent=y avec exp. Vous trouverez ci-dessous un petit test pour vous en persuader...

Remplacer une chaine de caractères grâce à sa position avec vi, ed ou sed

Pour être honnête, cette histoire n'a pas grand chose à voir avec vi, sed ou ed, il s'agit plutôt d'expressions régulières et d'un programme en C. A l'origine, il s'agit de modifier une chaine de caractères dans des fichiers de paramètres .xml et .properties. Notez bien que trouver le début de la dite chaine qui commence par "oracle:jdbc:thin:@(" est assez simple... Si vous voyez où je veux en venir ! Petit problème, trouver la fin de la chaine est une autre histoire. Dans cette article vous trouverez un programme en C pour trouver la fin de la chaine et vous découvrirez l'expression régulière mis en œuvre pour remplacer facilement cette chaine à l'aide du programme ed

Créez vos bibliothèques de composants JSF 2.0

JSF 2.0 et les Facelets permettent de développer et réutiliser des bibliothèques de composants de manière extrêmement simple ; Il suffit de créer des fichiers .xhtml avec une balise ui:composition et de les enregistrer dans vos bibliothèques de balises (taglib) pour pouvoir les utiliser. Dans cet article, vous verrez comment créer un composant menu et le référencer depuis votre application. Pour rendre la chose plus compliquée, le composant a un paramètre plabel. Et ça tient en 1 page...

5 tutorials OEPE 11.1.1.6 et Java EE 6 disponibles sur YouTube

Découvrez une série de 5 "tutorials" pour utiliser Oracle Enterprise Pack for Eclipse (aka OEPE 11.1.1.6), développer des applications Java EE 6 et les déployer sur Glassfish 3. C'est définitivement un "must watch" pour ceux qui prévoient de développer sur la plateforme de référence de Sun/Oracle et bénéficier des nouvelles fonctionnalités de JSF par exemple. Arup Gupta fait ici un excellent travail. Pour commencer, téléchargez OEPE et Eclipse depuis OTN.

Session JavaMail, Google Mail et Glassfish 3.0.1

Vous trouverez ci-dessous un exemple de configuration de session JavaMail dans Glassfish 3.0.1 pour votre compte Google Mail. Vous n'aurez aucun mal à vous en inspirer pour créer le prototype de votre application. Notez la propriété mail.smtp.starttls.enable=true ainsi que le port utilisé (587). Pour le reste, rien de très différent d'un mail qui nécessite une authentification.

Publier un message JMS dans Glassfish v3 avec appclient et ANT

Dans cet article, vous trouverez comment envoyer des messages dans une file d'attente JMS de Glassfish 3.0.1 en injectant directement les informations de configuration au moyen d'annotations. Vous trouverez également les informations nécessaires au déploiement des bibliothèques clients Glassfish. Le reste, comme l'implémentation d'un MDB n'est qu'un jeu d'enfants