Skip to content

SINAI / texty

Go to a project
Commit 6e5a4700 by Jaime Collado
Options

Updated INSTALL.md and README.md, removed unused files

parent 3f8e23af
Inline Side-by-side
Showing with 71 additions and 241 deletions
INSTALL.md
# Installation instructions
## Requirements
- python:
- pip install numpy
- pip install spacy
- pip install pandas
- pip install lexical-diversity
- pip install syllables
- pip install transformers
## Installation procedure
1. Install all the previous requirements.
2. Download or clone this repository.
1. Clone this repository: `git clone https://gitlab.ujaen.es/ammr0032/TextAnalysisSpacy.git`
2. Use this inside the project's folder: `python -m pip install .`
\ No newline at end of file
README.md
......@@ -5,26 +5,32 @@ This class provides methods for the calculation of different metrics on text. It
# Files
- [INSTALL.md](INSTALL.md): A guide to make this project work on your local environment.
- [TextAnalysisSpacy.py](TextAnalysisSpacy.py): This class provides methods for the calculation of different metrics on text.
- [TextComplexitySpacy.py](TextComplexitySpacy.py): This class provides methods for the calculation of different complexity metrics on text.
## ./src/texty
- [analyzer.py](src/texty/analyzer.py): This class provides methods for the calculation of different metrics on text.
- [complexity.py](src/texty/complexity.py): This class provides methods for the calculation of different complexity metrics on text.
- [CREA_total.txt](CREA_total.txt): A dataset of 737799 spanish words ordered by its absolute frequency.
- [example.ipynb](example.ipynb): Colab notebook that shows how to use the TextAnalisysSpacy class in several texts.
- [analyze_complexity.py](src/texty/analyze_complexity.py): A script that takes a .txt file and an output format as input and generates a file containing all metrics as calculated by the ComplexityAnalyzer class.
## ./examples
- [example_text.txt](examples/example_text.txt): A simple .txt file to test the library.
- [example.ipynb](examples/example.ipynb): Colab notebook that shows how to use the ComplexityAnalyzer class.
# Metrics
In this section, we introduce the different metrics offered in this Python library for different languages (Spanish, English).
* **Volumetry**: here it calculates the number of words, number of unique words, number of characters and average word length for text. Then it is calculated volumetrics for each category.
* **Volumetry**: Here it calculates the number of words, number of unique words, number of characters and average word length for text. Then it is calculated volumetrics for each category.
* **Lemmas**: Number and length of different lemmas per text. Average and variance of different lemmas and length by category. Most frequent lemmas by category.
* **Part-of-speech(POS)**:POS analysis for each text. POS analysis for each category. Most frequent words by POS.
* **Part-of-speech (POS)**: POS analysis for each text. POS analysis for each category. Most frequent words by POS.
* **Lexical_diversity**: Lexical diversity for each text (simple_TTR, root_TTR, log_TTR, maas_TTR, MSTTR, MATTR, HDD, MTLD). Lexical diversity for each category.
* **Lexical diversity**: Lexical diversity for each text (simple_TTR, root_TTR, log_TTR, maas_TTR, MSTTR, MATTR, HDD, MTLD). Lexical diversity for each category.
* **Complexity**:Complexity diversity for each category. Complexity diversity for each category.
* **Complexity**: Complexity diversity for each category. Complexity diversity for each category.
* **FeatureSelection**: Remove features with low variance and SelectFromModel (Selection of functions based on L1)
* **Feature selection**: Remove features with low variance and SelectFromModel (Selection of functions based on L1)
* **kBest**: Selection of the k best features
examples/example.ipynb
This diff could not be displayed because it is too large.
examples/texts.csv deleted 100644 → 0
category,author,title,text
Sección de Ansiedad y Fobias,Nereida,TOC Y COMPROBACIONES,"Veo que en este foro, afortunadamente para vosotros, no hay mucha gente que sufra de TOC.Si hay alguien por ahí, me gustaría que compartiérais vuestras opiniones, yo compruebo las cosas que hago porque tengo miedo de haberme equivocado y pienso en las consecuencias que ese error podría acarrearme, y las compruebo una y otra vez, y esto me angustia.Sé que abrí un post parecido hace tiempo, pero ya quedó abajo y por tanto en el olvido, por eso abro este por si alguna persona nueva con este problema lo lee.Me gustaría saber qué os recetan a vosotros para esto y si os va bien.Saludos.Nereida. "
Sección de Ansiedad y Fobias,desesperacion15,No se que me sucede.,"Hola a todos,Les escribo porque hace un tiempo que vengo tratando de superar lo que me pasa por mi cuenta casi sin hablarlo con nadie. Conocí a mi novio por Internet, y dentro de poco viajo a verlo personalmente pero hace un tiempo que estoy con las mismas ideas casi la mayor parte del día y es sobre si lo quiero o no. Todo esto ocurrió de un momento al otro, un día estábamos hablando y por un comentario que hizo diciendo que sabía la fuerza de mis sentimientos se disparó instantáneamente ese pensamiento sobre si realmente era así o no, es decir que si lo amaba o no en verdad. Y desde ese día no me ha dejado en paz la misma idea. Fue de mal en peor y al principio comenzó por ser sólo esa idea y luego fue sacando otras ideas, toda negativas y al momento que traía un pensamiento positivo, había una vocecita en mi cabeza que opacaba la otra idea y sólo me llenaba la mente de ideas negativas, todo lo bueno que podía pensar se extinguía en instantes. Así pasó por un tiempo hasta que comencé a sentirlo en mi cuerpo, náuseas, dolores de estómago, de cabeza, sensaciones de estar flotando, fatiga, no me dejaba respirar bien y esos dolores en el pecho horribles, no podía estar quieta fuera de mi casa y cuando estaba en ella, sólo quería recostarme y no tenía ganas de nada. Me consume tanto que siento que voy a terminar creyéndome todo esto que pasa por mi cabeza. Es insoportable. Lo hablé con él pero aunque me apoya no entiende en su totalidad como es que me siento o lo que pasa por mi cabeza, él me dice que me relaje y aunque lo he hecho y he logrado estar dos días bien y me sentí como antes de todo esto, lo veía y hablaba con él y todo era hermoso y me sentía en paz, y ahora cualquier cosa que lea ya sea en fb o en cualquier página me hace volver a concentrarme en esa idea y no me deja escapar ni hacer más. Escribo porque no aguanto más este dolor, gracias por leer. "
Sección de Ansiedad y Fobias,Holli,No puedo con la Ansiedad,"Hola a todos, tengo 24 años y hace como 2 años que no me encuentro nada bien , no soy la misma chica risueña y feliz que era, siento una ansiedad bestial dentro de mí, siento una presión en el pecho que siento que no puedo ni respirar y que me hace entre otras cosas darle muchísimas vueltas a la cabeza por todo... hay veces que no me entiendo ni yo y en días como hoy no me soporto no soporto ser así ... me considero una persona normal amiga de sus amigos pero desde hace dos años siento que no encajo en ningún lado , siento que la gente que no me conoce como mis compañeras de clase (no quiere estar cerca , x ser tan seca y sosa) tengo novio que me ayuda en todo lo que puede aunque a veces creo que no es del todo consciente del problema que tengo. E empezado a ir al psicólogo pero no noto nada y es desesperante porque me consumo...No se que hacer no quiero y no soporto estar así más!! Necesito ayuda o algún consejo de alguien que allá pasado o esté pasando por algo similar . Muchas gracias de antemano "
Relaciones Padres e Hijos,watermelon,Les digo o no les digo que sufrí abusos de niña a mi gente?,"Hola, Soy nueva en esto del foro, de hecho entré aquí porque últimamente tengo una duda rondándome y me gustaría que alguien pudiera aconsejarme, ya que es difícil para mí hablar este tema con alguien cercano. Cuando era niña entre 6-9 años sufrí abuso por varios miembros de mi familia, la relación de mi madre nunca fue muy cercana pues la que se hacía cargo de mí era mi hermana mayor, cuando estas cosas pasaron mi mamá no estuvo cerca, de ser así jamás habrían sido posibles, el punto es que cuando entré a la adolescencia tenia mucho rencor contra de mi madre, por no estar, de alguna forma la culpaba a ella pues siento que cuando eres pequeño eres responsabilidad de tus padres y nada más. A los 18 salí del armario, sí soy homosexual, y la verdad no creo que mi niñez tenga algo que ver, en realidad siempre lo supe, desde que tengo memoria sabía que era gay. Cuando le dije a mi mamá ella me aceptó y como que ese fue mi pacto de paz con ella, empezamos a llevarnos mejor y esas cosas que hacen las madres-hijas. A los 21 me fui a otro país a trabajar y desde entonces hablo con mi mamá, con mis hermanas y con algunas personas que me abusaron, tal vez ellos creen que no recuerdo nada de eso por ser pequeña, pero últimamente todo está mas fresco, nuevos recuerdos y cosas así.La cuestión es que no sé si deba decirle a mi madre todo lo que me pasó, y cuando me refiero a todo, es porque son muchas cosas, la verdad jamás he ido a un psicólogo y supongo que en algún momento de mi vida tendré que hacerlo, pero por ahora esto es lo más cercano que tengo a eso....Alguna persona que pueda aconsejarme?, creen que la relación con mi madre se deteriorará cuando le diga como me siento? Debo decirle o sólo dejarlo y seguir mi vida?Llevo cinco años con mi pareja y me siento feliz con ella, nos amamos, pero a ella tampoco le he contado nada, me da miedo que piense que por eso soy gay! o algo así... tengo miedo Ojalá alguien pueda ayudarmePor cierto, soy mujer de 29 años.Saludos y gracias. "
Relaciones Padres e Hijos,mr_rol,Mi esposa trata mal a nuestro hijo de ocho años.,"Buenas noches, Tengo 34 años y mi esposa 25 tenemos dos hijos un niño de 8 años y una niña de dos.Antes de exponer el problema quiero dejar claro que no culpo a la madre o al hijo o a mí, simplemente es algo que pasa y no se que hacer, ahora vamos al problema.Mi mujer se empeña en que mi hijo es un inútil que no sirve para nada, siempre se expresa muy mal al dirigirse al niño, le hace mucho de menos y de cualquier manera posible ella siempre esta sobre él echándole y diciéndole cosas malas y eso me frustra mucho y hace que tengamos muchos problemas pues mí pequeño me da mucha lastima al ver como es el trato que le da su madre, la mujer que le dio la vida. Ya una vez acudimos a ayuda familiar con un psicólogos y siempre termina por no querer ir a buscar ayuda psicológica.Amo a mi mujer, pero amo más a mis hijos y temo que mi niña tenga el mismo trato que su hermano. "
Relaciones Padres e Hijos,Sufridora,"PROBLEMA FAMILIA, POR LLAMARLE DE ALGUNA MANERA","No sé ni por donde empezar. Antes no era así pero ahora me estreso por todo. Si hago algo mal en seguida me preocupo por si he molestado a esa persona sea quien sea, le caiga yo bien o no.Por empezar por el principio diré que vivo con mi novio y su familia casi porque no me queda más remedio. Podría volver a vivir con mis padres pero son tantas las desventajas que me arriesgo a aguantar viviendo con la familia de mi novio.Este tiene dos hermanos que son lo peor, bordes, que solo piensan en si mismo y muy inmaduros. Por desgracia el mayor me cedió su habitación que comparte con mi novio, pero ahora que no tiene donde vivir y volvió aquí, cuando quiere hacer algo pues se mete en la habtiación donde estoy yo y tengo que aguantar todo lo que hace y deja de hacer. Por el contrario suelo tener algo de consideración y no molestarle con nada, aunque a veces me pase un poquito. Lo mínimo en comparación con que él hace lo que quiere.Para terminar, estos días no he podido evitarlo y me he descargado en facebook quejándome de lo que hace en general, con tan mala pata que sus padres, mis suegros lo han leido. No he puesto nada fuerte, son cosas poco importantes tipo : ''Harta de X cosa, no me queda más remedio que aguantar'' etc etc. Solo que hoy mi suegra ha respondido a una de mis quejas para que parase de publicarlas.Obviamente las he borrado todas y editado privacidad para que nunca más las lean, pero eso no quita que el daño está hecho. Me tratan secamente, vamos no me dicen nada porque son así cuando les pasa algo, suelen tirarse un día en silencio casi, serios, tristes etc.Y no lo soporto, porque aunque entiendo que es su hijo y no les gusta que nadie les diga nada de sus hijos, yo solo me he quejado, mientras que él hace todo lo que quiere y les monta unos pollos del copón. De hecho él no habla al padre y a la madre más o menos.Y yo le sufro cada día sin haberle hecho nada. No sé, empiezo a pensar que la solución es que me vaya yo, pero quiero a mi novio, es el único decente normal y ser humano, si me vuelvo a mi casa va a ser todo muy distinto puesto que vivimos muy lejos.¿Algún consejo? ¿Estoy preocupandome demasiado por como se comportan mis suegros conmigo? Es que ni me hablan ni me dicen nada de nada, mi novio dice que se les pasará y suele acertar con estas cosas, pero es muy frustrante que a mi, que nunca les he hecho nada. No les he dado problemas de ningún tipo desde que vivo aquí, es muy frustante que me traten así, como si hubiese pegado o insultado a su hijo cuando él si que les ha insultado y faltado al respeto desde los 17 años casi.Sobra decir que soy consciente de que ya que vivo allí y me han acogido con los brazos abiertos debería no haberme quejado para que ellos lo pudieran leer al menos. "
Sección Problemas de Pareja,Shaula86,Lo que pasó.. no sé que hacer...,"Tengo como dos voces, una procede del corazón y otra de la cabeza.. la primera me dice, q es aquel a quien amo,que es ese que pensaba que habia desaparecido... y la otra es l q me dice que no me engañe... Pero quien es sincera? Quien habla con los ojos abiertos, cual de las dos voces no esta ciega ante el amor o ante lo que dice la gente...Hola!!Pues vereis, ahora ya puedo escribir tranquilamente y con las ideas un poco más claras...Ayer, conseguí decirle todo lo que pensaba, todo lo que sentía. Le conté lo mucho que me había dolido que huyera tanto del problema desde que lo dejamos, algo que por lo menos me reconoció haberlo hecho. Le dije que tambien me dolia que me saludara cuando quisiera, etc.. a lo que me contestó que esq tenía miedo de que yo NO le devolviera el saludo... Por una parte lo entiendo, pero por otra es lo que yo le dije, desde el primer día yo le dije que quería seguir con él q yo seguía enamorada de él, asiq se supone que es él el que tenía que venir a mi, digo yo NO? en cierto modo..Bueno, le dije todo lo que pensaba, y bueno, flipo! NO se esperaba para nada que yo el dijera que NO sabía quien era, q NO sabía que pensar de él, etc, etc. Le expliqué todo, que por una parte pensaba que era un cabrón, (y siento la palabra... ), que habia jugado conmigo, y que todo este tiempo había sido una farsa y por eso para él había sido tan fácil olvidarse de mí, cambiar de vida, y desinteresarse de mí. Pero que por otra estaba lo que me trasmitian todos mis recuerdos, que me amaba de verdad, etc. Le dije que NO tengo ninguna conclusión, y ASí es, porque NO sé que pensar, para mí existen las dos posibilidades, y últimamente, desde que lo dejamos, la gente NO ha parado de decirme cosas malas, convenciendome aun más de que él NO es como yo pensaba que era...Pero sigo sin saber que pensar...Bueno, después de todo lo que le dije, pues como es normal, NO sabía que decirme, NO quería siquiera si contestarme o defenderse o q, proq pensaba q NO valía la pena... Pero bueno, despues de mucho insistirle conseguí que se defendiera...aunq yo sabñia que me dolería escucharlo, tb necestiba oirlo a él. Pienso que cualquiera en mi situación lo huiera hecho, NO? Los demás han podido hablar lo que han querido, epro y él? Si, que puede ser que cualquier cosa que me dijera yo siguiera sin creermela por todo lo que he dicho anteriormente de que NO se que pensar de él, epro aun ASí, quería saber que pensaba él, y despues ya pensar en lo que me había dicho tranquilamente..El problema de todo eso esq despues de yo soltar todo lo que quería soltar, perdí toda la dureza con la que había estado hablando, y todo el mal tono, etc. Y me ablandé, y empecé a sentir muchas cosas... desde ese cosquilleo de estar enamorada, hasta unas ganas enormes de abrazarle, besarle, y volver con él olvidando todo. Claro que aun ASñi yo pensaba ''eso lo pienso ahora, pero y dentro de dos horas cuando piense en frío todo esto?'', asiq yo misma me retenía...Bueno, al final despues de conseguir que se defendiera, me estuvo contando que entre Isa (la chica rubia que comente en temas anteriores) y él NO había nada, ni que existía l posibilidad de que pudiera existir algo. Me estubo contando también que la intención que él tenía era intentar volver a conquistarme, pero que todo dependía en cierto modo de la conversación de ayer. Que me echaba mucho de menos, y que NO sabia si era porque echaba de menos la vida que tenía conmigo, lo que sentía cuando me abrazaba, cuando me besaba, cuando veiamos una peli juntos, cuando dormíamos juntos... Me toco la evna, porque precisamente son unas de las cosas que yo más echo de menos. En fín, me estubo diciendo que él sigue enamorado de mi, en definitiva, lo q NO sé es porqué ahora quiere volver, antes tb seguía enamorado de mí, sin embargo NO veia futuro, ahora se supone q si? NO lo entiendo, pero NO me dio tiempo para preguntarle más cosas... NO por tiempo sino porque le dije tantas cosas q al final ya NO sabía que más decirle..El problema con el que me encuentro ahora es q NO sé que hacer... Sigo sin sber que pensar, e incluso estoy peor, por el hecho de que ayer si me demostro que existia esa persona de la que yo estaba enamorada. De lo que tngo miedo es de engañarme... Pienso que tal vez, en cuanto lo vea más tiempo y tal, me aclararé, pero NO lo sé... Lo peor esq he estado hablando con su madre, dice que unos díAS lo ve bien y otros lo ve mal.. qe NO sabe que hacer, y que NO le gusta nada la chica esta, Isa, que NO sabe que le está metiendo en la cabeza, epro que encima él le mentía a ella cuando quedaba con ella, eso es porq tiene algo q esconder, NO? Pero claro, a ella le ha dicho lo mismo q a mi, q es una chica q solo se limita a escucharle..NO sé que hacer, NO se si vale la pena todo esto, si él vale la pena... Tengo tantos recuerdos que m dicen que sí... pero parece que el presente NO se ajuste nada a esos recuerdos...Ain... sé que es dificl aconsejarme, pero NO sé... solo con saber que estáIS ahí... Mis amigos y amigas me dicen que piense por mí, que sea egoísta, el problema es ese, que yo quiero volver con él, le echo de menos.. mucho.. y ahora q lo he visto como que más aun... pero y si me estoy engañando? Como puedo averiguarlo??Ain..Gracias por leerme una vez más!Muaks! "
Sección Problemas de Pareja,ducati999,aclaracion!!!!,"la chica a la que yo odio no es una niñita de 14, ella tiene 20 años y jugo conmigo 4 meses. "
Sección Problemas de Pareja,Shaula86,Aqui estoy!!!,"Bueno, aunque esta sección siga sin parecerme del todo bien, apuesto porque sera una de las más concurridas, y me gustaría desear no estar aquí, pero sé que lo haré muy amenudo. En fín, toda mi historia ya esta en SECCIÓN VARIOS, asiq no me repetiré. Solo espero que todas salgamos adelante y que realemente aprendamos a apreciar nuestra vida, y no nos sintamos tan perdidas por haber perdido a nuestra pareja. Un cambio de aires viene bastante bien...os lo aconsejo por experiencia propia, es duro, pero al final es positivo...Muchos animos! Y suerte a esta sección!!!Muaks!!! "
examples/texty_example.ipynb deleted 100644 → 0
{
"cells": [
{
"cell_type": "code",
"execution_count": 1,
"id": "5745bcf4",
"metadata": {},
"outputs": [],
"source": [
"import spacy\n",
"from texty.complexity import ComplexityAnalyzer"
]
},
{
"cell_type": "markdown",
"id": "eb2f4283",
"metadata": {},
"source": [
"Load input text file"
]
},
{
"cell_type": "code",
"execution_count": 2,
"id": "63c5bfcb",
"metadata": {},
"outputs": [
{
"data": {
"text/plain": [
"'Veo que en este foro, afortunadamente para vosotros, no hay mucha gente que sufra de TOC.Si hay alguien por ahí, me gustaría que compartiérais vuestras opiniones, yo compruebo las cosas que hago porque tengo miedo de haberme equivocado y pienso en las consecuencias que ese error podría acarrearme, y las compruebo una y otra vez, y esto me angustia.\\nSé que abrí un post parecido hace tiempo, pero ya quedó abajo y por tanto en el olvido, por eso abro este por si alguna persona nueva con este problema lo lee.Me gustaría saber qué os recetan a vosotros para esto y si os va bien.\\n\\nSaludos.\\nNereida.'"
]
},
"execution_count": 2,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"filename = \"example_text.txt\"\n",
"\n",
"with open(filename) as f:\n",
" text = f.readlines()\n",
" f.close()\n",
"\n",
"text = \"\".join(text)\n",
"\n",
"text"
]
},
{
"cell_type": "markdown",
"id": "dab48c52",
"metadata": {},
"source": [
"Instantiate the ComplexityAnalyzer and calculate metrics"
]
},
{
"cell_type": "code",
"execution_count": 3,
"id": "52fd5e8e",
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"Collecting es-core-news-sm==3.2.0\n",
" Downloading https://github.com/explosion/spacy-models/releases/download/es_core_news_sm-3.2.0/es_core_news_sm-3.2.0-py3-none-any.whl (14.0 MB)\n",
" ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 14.0/14.0 MB 48.3 MB/s eta 0:00:00\n",
"Requirement already satisfied: spacy<3.3.0,>=3.2.0 in /home/jcollado/miniconda3/envs/text-analysis/lib/python3.9/site-packages (from es-core-news-sm==3.2.0) (3.2.3)\n",
"Requirement already satisfied: pathy>=0.3.5 in /home/jcollado/miniconda3/envs/text-analysis/lib/python3.9/site-packages (from spacy<3.3.0,>=3.2.0->es-core-news-sm==3.2.0) (0.6.1)\n",
"Requirement already satisfied: murmurhash<1.1.0,>=0.28.0 in /home/jcollado/miniconda3/envs/text-analysis/lib/python3.9/site-packages (from spacy<3.3.0,>=3.2.0->es-core-news-sm==3.2.0) (1.0.6)\n",
"Requirement already satisfied: preshed<3.1.0,>=3.0.2 in /home/jcollado/miniconda3/envs/text-analysis/lib/python3.9/site-packages (from spacy<3.3.0,>=3.2.0->es-core-news-sm==3.2.0) (3.0.6)\n",
"Requirement already satisfied: requests<3.0.0,>=2.13.0 in /home/jcollado/miniconda3/envs/text-analysis/lib/python3.9/site-packages (from spacy<3.3.0,>=3.2.0->es-core-news-sm==3.2.0) (2.27.1)\n",
"Requirement already satisfied: catalogue<2.1.0,>=2.0.6 in /home/jcollado/miniconda3/envs/text-analysis/lib/python3.9/site-packages (from spacy<3.3.0,>=3.2.0->es-core-news-sm==3.2.0) (2.0.7)\n",
"Requirement already satisfied: spacy-legacy<3.1.0,>=3.0.8 in /home/jcollado/miniconda3/envs/text-analysis/lib/python3.9/site-packages (from spacy<3.3.0,>=3.2.0->es-core-news-sm==3.2.0) (3.0.9)\n",
"Requirement already satisfied: typer<0.5.0,>=0.3.0 in /home/jcollado/miniconda3/envs/text-analysis/lib/python3.9/site-packages (from spacy<3.3.0,>=3.2.0->es-core-news-sm==3.2.0) (0.4.0)\n",
"Requirement already satisfied: setuptools in /home/jcollado/miniconda3/envs/text-analysis/lib/python3.9/site-packages (from spacy<3.3.0,>=3.2.0->es-core-news-sm==3.2.0) (61.0.0)\n",
"Requirement already satisfied: packaging>=20.0 in /home/jcollado/miniconda3/envs/text-analysis/lib/python3.9/site-packages (from spacy<3.3.0,>=3.2.0->es-core-news-sm==3.2.0) (21.3)\n",
"Requirement already satisfied: jinja2 in /home/jcollado/miniconda3/envs/text-analysis/lib/python3.9/site-packages (from spacy<3.3.0,>=3.2.0->es-core-news-sm==3.2.0) (3.0.3)\n",
"Requirement already satisfied: blis<0.8.0,>=0.4.0 in /home/jcollado/miniconda3/envs/text-analysis/lib/python3.9/site-packages (from spacy<3.3.0,>=3.2.0->es-core-news-sm==3.2.0) (0.7.7)\n",
"Requirement already satisfied: srsly<3.0.0,>=2.4.1 in /home/jcollado/miniconda3/envs/text-analysis/lib/python3.9/site-packages (from spacy<3.3.0,>=3.2.0->es-core-news-sm==3.2.0) (2.4.2)\n",
"Requirement already satisfied: tqdm<5.0.0,>=4.38.0 in /home/jcollado/miniconda3/envs/text-analysis/lib/python3.9/site-packages (from spacy<3.3.0,>=3.2.0->es-core-news-sm==3.2.0) (4.63.1)\n",
"Requirement already satisfied: spacy-loggers<2.0.0,>=1.0.0 in /home/jcollado/miniconda3/envs/text-analysis/lib/python3.9/site-packages (from spacy<3.3.0,>=3.2.0->es-core-news-sm==3.2.0) (1.0.1)\n",
"Requirement already satisfied: wasabi<1.1.0,>=0.8.1 in /home/jcollado/miniconda3/envs/text-analysis/lib/python3.9/site-packages (from spacy<3.3.0,>=3.2.0->es-core-news-sm==3.2.0) (0.9.0)\n",
"Requirement already satisfied: thinc<8.1.0,>=8.0.12 in /home/jcollado/miniconda3/envs/text-analysis/lib/python3.9/site-packages (from spacy<3.3.0,>=3.2.0->es-core-news-sm==3.2.0) (8.0.15)\n",
"Requirement already satisfied: pydantic!=1.8,!=1.8.1,<1.9.0,>=1.7.4 in /home/jcollado/miniconda3/envs/text-analysis/lib/python3.9/site-packages (from spacy<3.3.0,>=3.2.0->es-core-news-sm==3.2.0) (1.8.2)\n",
"Requirement already satisfied: cymem<2.1.0,>=2.0.2 in /home/jcollado/miniconda3/envs/text-analysis/lib/python3.9/site-packages (from spacy<3.3.0,>=3.2.0->es-core-news-sm==3.2.0) (2.0.6)\n",
"Requirement already satisfied: numpy>=1.15.0 in /home/jcollado/miniconda3/envs/text-analysis/lib/python3.9/site-packages (from spacy<3.3.0,>=3.2.0->es-core-news-sm==3.2.0) (1.22.3)\n",
"Requirement already satisfied: langcodes<4.0.0,>=3.2.0 in /home/jcollado/miniconda3/envs/text-analysis/lib/python3.9/site-packages (from spacy<3.3.0,>=3.2.0->es-core-news-sm==3.2.0) (3.3.0)\n",
"Requirement already satisfied: pyparsing!=3.0.5,>=2.0.2 in /home/jcollado/miniconda3/envs/text-analysis/lib/python3.9/site-packages (from packaging>=20.0->spacy<3.3.0,>=3.2.0->es-core-news-sm==3.2.0) (3.0.7)\n",
"Requirement already satisfied: smart-open<6.0.0,>=5.0.0 in /home/jcollado/miniconda3/envs/text-analysis/lib/python3.9/site-packages (from pathy>=0.3.5->spacy<3.3.0,>=3.2.0->es-core-news-sm==3.2.0) (5.2.1)\n",
"Requirement already satisfied: typing-extensions>=3.7.4.3 in /home/jcollado/miniconda3/envs/text-analysis/lib/python3.9/site-packages (from pydantic!=1.8,!=1.8.1,<1.9.0,>=1.7.4->spacy<3.3.0,>=3.2.0->es-core-news-sm==3.2.0) (4.1.1)\n",
"Requirement already satisfied: urllib3<1.27,>=1.21.1 in /home/jcollado/miniconda3/envs/text-analysis/lib/python3.9/site-packages (from requests<3.0.0,>=2.13.0->spacy<3.3.0,>=3.2.0->es-core-news-sm==3.2.0) (1.26.9)\n",
"Requirement already satisfied: certifi>=2017.4.17 in /home/jcollado/miniconda3/envs/text-analysis/lib/python3.9/site-packages (from requests<3.0.0,>=2.13.0->spacy<3.3.0,>=3.2.0->es-core-news-sm==3.2.0) (2021.10.8)\n",
"Requirement already satisfied: charset-normalizer~=2.0.0 in /home/jcollado/miniconda3/envs/text-analysis/lib/python3.9/site-packages (from requests<3.0.0,>=2.13.0->spacy<3.3.0,>=3.2.0->es-core-news-sm==3.2.0) (2.0.12)\n",
"Requirement already satisfied: idna<4,>=2.5 in /home/jcollado/miniconda3/envs/text-analysis/lib/python3.9/site-packages (from requests<3.0.0,>=2.13.0->spacy<3.3.0,>=3.2.0->es-core-news-sm==3.2.0) (3.3)\n",
"Requirement already satisfied: click<9.0.0,>=7.1.1 in /home/jcollado/miniconda3/envs/text-analysis/lib/python3.9/site-packages (from typer<0.5.0,>=0.3.0->spacy<3.3.0,>=3.2.0->es-core-news-sm==3.2.0) (8.0.4)\n",
"Requirement already satisfied: MarkupSafe>=2.0 in /home/jcollado/miniconda3/envs/text-analysis/lib/python3.9/site-packages (from jinja2->spacy<3.3.0,>=3.2.0->es-core-news-sm==3.2.0) (2.1.1)\n",
"Installing collected packages: es-core-news-sm\n",
"Successfully installed es-core-news-sm-3.2.0\n",
"\u001b[38;5;2m✔ Download and installation successful\u001b[0m\n",
"You can now load the package via spacy.load('es_core_news_sm')\n"
]
},
{
"data": {
"text/plain": [
"{'npunct': 13,\n",
" 'nword': 111,\n",
" 'ILFW': 0.6578947368421053,\n",
" 'LDI': 7.0,\n",
" 'LC': 3.8289473684210527,\n",
" 'nrword': 24,\n",
" 'SSR': 129.46034054054056,\n",
" 'avgsentl': 22.2,\n",
" 'ncompsent': 0,\n",
" 'nsent': 5,\n",
" 'SCI': 11.1,\n",
" 'nchar': 496,\n",
" 'ARI': 10.716486486486488,\n",
" 'min_depth': 2,\n",
" 'max_depth': 9,\n",
" 'mean_depth': 5.0,\n",
" 'nsyllab': 208,\n",
" 'huerta': 89.80797297297298,\n",
" 'IFSZ': 67.89265765765767,\n",
" 'polini': 45.57144144144145,\n",
" 'mu': 58.89338054313761,\n",
" 'minage': 10.535169369369369,\n",
" 'SOL': 9.258359866374562,\n",
" 'crawford': 4.851558558558558}"
]
},
"execution_count": 3,
"metadata": {},
"output_type": "execute_result"
}
],
"source": [
"try:\n",
" nlp = spacy.load(\"es_core_news_sm\")\n",
"except:\n",
" spacy.cli.download(\"es_core_news_sm\")\n",
" nlp = spacy.load(\"es_core_news_sm\")\n",
"\n",
"ca = ComplexityAnalyzer(\"es\", nlp)\n",
"\n",
"ca.read(\"\".join(text))\n",
"metrics = ca.get_all_metrics()\n",
"\n",
"metrics"
]
}
],
"metadata": {
"kernelspec": {
"display_name": "Python 3 (ipykernel)",
"language": "python",
"name": "python3"
},
"language_info": {
"codemirror_mode": {
"name": "ipython",
"version": 3
},
"file_extension": ".py",
"mimetype": "text/x-python",
"name": "python",
"nbconvert_exporter": "python",
"pygments_lexer": "ipython3",
"version": "3.9.7"
}
},
"nbformat": 4,
"nbformat_minor": 5
}
requirements.txt 0 → 100644
blis==0.7.7; python_version >= "3.6"
catalogue==2.0.7; python_version >= "3.6"
certifi==2021.10.8; python_full_version >= "3.6.0" and python_version >= "3.6"
charset-normalizer==2.0.12; python_full_version >= "3.6.0" and python_version >= "3.6"
click==8.0.4; python_version >= "3.7" and python_full_version >= "3.6.0"
colorama==0.4.4; python_full_version >= "3.6.0" and platform_system == "Windows" and python_version >= "3.7" and (python_version >= "3.7" and python_full_version < "3.0.0" or python_full_version >= "3.4.0" and python_version >= "3.7")
cycler==0.11.0; python_version >= "3.7"
cymem==2.0.6; python_version >= "3.6"
filelock==3.6.0; python_version >= "3.7" and python_full_version >= "3.6.0"
fonttools==4.31.2; python_version >= "3.7"
huggingface-hub==0.4.0; python_full_version >= "3.6.0"
idna==3.3; python_full_version >= "3.6.0" and python_version >= "3.6"
jinja2==3.1.1; python_version >= "3.7"
joblib==1.1.0; python_version >= "3.7" and python_full_version >= "3.6.0"
kiwisolver==1.4.1; python_version >= "3.7"
langcodes==3.3.0; python_version >= "3.6"
lexical-diversity==0.1.1
markupsafe==2.1.1; python_version >= "3.7"
matplotlib==3.5.1; python_version >= "3.7"
murmurhash==1.0.6; python_version >= "3.6"
nltk==3.7; python_version >= "3.7"
numpy==1.22.3; python_version >= "3.8"
packaging==21.3; python_version >= "3.7" and python_full_version >= "3.6.0"
pandas==1.4.1; python_version >= "3.8"
pathy==0.6.1; python_version >= "3.6"
pillow==9.0.1; python_version >= "3.7"
preshed==3.0.6; python_version >= "3.6"
pydantic==1.8.2; python_full_version >= "3.6.1" and python_version >= "3.6"
pyparsing==3.0.7; python_version >= "3.7" and python_full_version >= "3.6.0"
python-dateutil==2.8.2; python_version >= "3.8" and python_full_version < "3.0.0" or python_full_version >= "3.3.0" and python_version >= "3.8"
pytz==2022.1; python_version >= "3.8"
pyyaml==6.0; python_version >= "3.6" and python_full_version >= "3.6.0"
regex==2022.3.15; python_version >= "3.7" and python_full_version >= "3.6.0"
requests==2.27.1; python_full_version >= "3.6.0" and python_version >= "3.6"
sacremoses==0.0.49; python_full_version >= "3.6.0"
scipy==1.6.1; python_version >= "3.7"
seaborn==0.11.2; python_version >= "3.6"
setuptools-scm==6.4.2; python_version >= "3.7"
six==1.16.0; python_full_version >= "3.6.0" and python_version >= "3.8"
smart-open==5.2.1; python_version >= "3.6" and python_version < "4.0"
spacy-legacy==3.0.9; python_version >= "3.6"
spacy-loggers==1.0.1; python_version >= "3.6"
spacy==3.2.3; python_version >= "3.6"
srsly==2.4.2; python_version >= "3.6"
syllables==1.0.3; python_version >= "2.7"
thinc==8.0.15; python_version >= "3.6"
tokenizers==0.11.6; python_full_version >= "3.6.0"
tomli==2.0.1; python_version >= "3.7"
tqdm==4.63.1; (python_version >= "2.7" and python_full_version < "3.0.0") or (python_full_version >= "3.4.0")
transformers==4.17.0; python_full_version >= "3.6.0"
typer==0.4.0; python_version >= "3.6"
typing-extensions==4.1.1; python_full_version >= "3.6.1" and python_version >= "3.6"
urllib3==1.26.9; python_full_version >= "3.6.0" and python_version < "4" and python_version >= "3.6"
wasabi==0.9.0; python_version >= "3.6"
setup.cfg deleted 100644 → 0
[metadata]
name = texty
version = 0.0.1
author = Alba María Mármol
author_email = ammarmol@ujaen.es
description = Text analysis and processing package
long_description = file: README.md
long_description_content_type = text/markdown
url = https://gitlab.ujaen.es/ammr0032/TextAnalysisSpacy
project_urls =
Bug Tracker = https://gitlab.ujaen.es/ammr0032/TextAnalysisSpacy/issues
classifiers =
Programming Language :: Python :: 3
License :: OSI Approved :: MIT License
Operating System :: OS Independent
[options]
package_dir =
= src
packages = find:
python_requires = >=3.6
[options.entry_points]
console_scripts =
analyze-complexity = texty.analyze_complexity:analyze_complexity
[options.packages.find]
where = src
\ No newline at end of file
Markdown is supported
0% or
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or sign in to comment