Comandes:
Busca si una PARAULA existeix:
curl -X POST --data "DecEntradaText=$PARAULA" "https://dlc.iec.cat/Results"
També es pot buscar amb el post a la url però falla amb caràcters especials com à,è,ç,l·l,ü….
curl -s "https://dlc.iec.cat/Results?DecEntradaText=$PARAULA"|grep "1 registres"
Buscar per ID:
https://dlc.iec.cat/Results/PrintAccepcio?id=$ID
Descarreguem totes les paraules de https://dlc.iec.cat
Primer fem consulta de totes les paraules que comencen per unes lletres.
Aqui falten paraules, sobretot els femenins, com alesiada
Hem tronar alesiat que té l'id 0043250
Si busquem aquest id amb la comanda:
https://dlc.iec.cat/Results/PrintAccepcio?id=0043250
Ens dona:
<div id="Definition" class="resultDefinition"><h2 xmlns:fo="http://www.w3.org/1999/XSL/Format"><span class="title">alesiat </span><span class="title">-ada </span><br></h2><br xmlns:fo="http://www.w3.org/1999/XSL/Format"><span class="tagline" xmlns:fo="http://www.w3.org/1999/XSL/Format">adj.</span><span class="body" xmlns:fo="http://www.w3.org/1999/XSL/Format"> <span class="tip" onmouseover="doTooltip(event, ' [LC] ' )" onmouseout="hideTip()"> [LC] </span><span class="tip" onmouseover="doTooltip(event, ' [MD] ' )" onmouseout="hideTip()"> [MD] </span> </span><span class="body" xmlns:fo="http://www.w3.org/1999/XSL/Format">Espatllat, inutilitzat, en alguna part del cos. </span><span class="body" xmlns:fo="http://www.w3.org/1999/XSL/Format"><span class="italic">Estar nafrat o alesiat d’algun dels seus membres.</span></span></div>
Ens fixem en aquesta part:
<span class="title">alesiat </span><span class="title">-ada </span>
Al web surt així
Amb aquesta consulta treiem tots els resultats:
grep 'id="Definition"' 0* |awk -F '<|>' '{for(i=1;i<=NF-2;i++) if ( $i ~ /title/ ) printf $i" - "$(i+1)"\n"}'
grep 'id="Definition"' 0* |awk -F '<|>' '{for(i=1;i<=NF-2;i++) if ( $i ~ /title/ ) print $(i+1)}'
Explicació:
- amb awk -F '<|>' treiem el que hi ha entre < i >:
<div id="Definition" class="resultDefinition"> <h2 xmlns:fo="http://www.w3.org/1999/XSL/Format"> <span class="title"> silf </span><span class="title"> sílfide </span>
Qeuda així:
div id="Definition" class="resultDefinition" h2 xmlns:fo="http://www.w3.org/1999/XSL/Format" span class="title" silf /span
El que fem es buscar quan un camp es span class=“title” imprimim el següent
amb aquesta consulta ens dona la segona part de la línia, la de “-ada”
grep 'id="Definition"' 0043250|sed -e 's/^.*title">\([^ ]*\).*$/\1/'
-ada
Amb això treiem la primera i la segona definició:
grep 'id="Definition"' 0043250|awk -F'class="title">|<' {'print $5'}
alesiat
grep 'id="Definition"' 0043250|awk -F'class="title">|<' {'print $8'}
alesiada
Busquem amb awk que el paràmetre $8 comenci per - i escribim la paraula, que es el paràmetre 5 i el sufix que es el 8
grep 'id="Definition"' *|awk -F'class="title">|<' '{if ( $8 ~ /^-/ ) printf $5$8"\n"}'
Ens dona una llista com aquesta:
romandalusí -ina reconegut -uda -nervi -nèrvia boreoalpí -ina galileà -ana glotalitzat -ada este -a morenc -a
A partir d'aqui busquem patrons, per exemple:
este -a morenc -a
Seria este/esta i morenc/morena en un trec una lletra i en un altre no. Poter es si la paraunla acava amb vocal
Treiem tots els sufixos:
grep 'id="Definition"' *|awk -F'class="title">|<' '{if ( $8 ~ /^-/ ) printf $8"\n"}'|sort | uniq
Treiem sufixos de sufixos, es a dir:
-adelf -adelfa -agog -agoga -àlgic -àlgica -àmbul -àmbula -andre -andra
Treiem els que comencin amb - dient: $5 !~ /^-/
grep 'id="Definition"' *|awk -F'class="title">|<' '{if ( $8 ~ /^-/ && $5 !~ /^-/ ) printf $5 $8"\n"}'|wc -l
Busquem sufix -a i que la paraula acabi amb e:
grep 'id="Definition"' *|awk -F'class="title">|<' '{if ( $8 ~ /^-a / && $5 ~ /e $/ ) printf $5$8"\n"}'
O els que acaben amb vocal:
grep 'id="Definition"' *|awk -F'class="title">|<' '{if ( $8 ~ /^-a / && $5 ~ /[aeiou] $/ ) printf $5$8"\n"}'
Buscar definicions de sufixes:
#!/bin/bash
>paraules_amb_sufix
while read linea
do
paraula=`echo $linea |awk {'print $1'}`
sufix=`echo $linea |awk {'print $2'}| sed 's/[- ]//g'`
if [ $sufix == "a" ] || [ $sufix == "ana" ]
then
#si acaba amb consonant, no trec res i si acaba amb consonant trec 1 caràcter
echo ${paraula: -1}
echo ${paraula: -1} | grep [aeiou]
if [[ "`echo ${paraula: -1} | grep [aeiouàèìòùáéíóúäëïöüâêîôû]`" == "" ]]
then
echo "edípic-a"
let resta=0
else
let resta=1
fi
elif [ $sufix == "ina" ] || [ $sufix == "una" ] || [ $sufix == "ona" ] || [ $sufix == "ena" ]
then
let resta=1
elif [ $sufix == "ea" ] || [ $sufix == "issa" ] || [ $sufix == "essa" ] || [ $sufix == "ossa" ]
then
let resta=2
else
let resta=(${#sufix}-1)
fi
if [ $resta -eq 0 ]
then
echo ${paraula}$sufix" "${paraula}"-"${sufix} >> paraules_amb_sufix
else
echo ${paraula::-${resta}}$sufix" "${paraula}"-"${sufix} >> paraules_amb_sufix
fi
# echo
done < <( grep 'id="Definition"' *0 |awk -F'class="title">|<' '{if ( $8 ~ /^-/ && $5 !~ /^-/ ) printf $5 $8"\n"}')
while read linea
do
#abans treia les tildes perquè feia el POST a la mateixa URL, ara faig amb -X POST
#paraula=`echo $linea|sed 's/[àáä]/a/g' | sed 's/[èéë]/e/g'| sed 's/[ìíï]/i/g' | sed 's/[òóö]/o/g' | sed 's/[ùúü]/u/g' | sed 's/·//g'`
echo $lnea
until torify curl -s -o definicions_sufix/$linea -X POST --data "DecEntradaText=${linea}" "https://dlc.iec.cat/Results"
do
echo "Reiniciando"
sudo /etc/init.d/tor restart
done
done < <(cat paraules_amb_sufix |awk {'print $1'})