Никита, Привет! Спасибо тебе большое за видео, у меня вопрос по коду...почему в облаке слов Ш. ты в дикте передаешь П.? и наоборот. **wordcloud_shulman** = WordCloud(background_color="black", colormap = 'Blues', max_words=200, mask=None, width=1600, height=1600)\ .generate_from_frequencies( dict(**putin_frequence**.values))
Конечно, можно и даже нужно, особенно если это интересно! Могу порекомендовать бесплатный курс stepik.org/course/4852/, там нужны только база в статистике (stepik.org/course/76) и база питона (stepik.org/course/67)
@@ivanovnikitok спасибо, добрый человек.... Ваше "только" вызвало улыбку, а сами "только" смех сквозь слезы....жизни не хватит....Но посмотрю все. Спасибо и удачи Вам.
Ссылка на весь архив с файлами в гугл диске, если кликнуть на sentiment_analysis_colab.ipynb он должен открыться в colab : drive.google.com/drive/folders/1hqTJPT0G2SwU47Ul7l8j0wfhO2oiyg9B?usp=sharing
Есть пара туториалов как работать с хромдрайвером через облако колаба, можно попробовать немного доработать код и наверное должно запустится) stackoverflow.com/questions/51046454/how-can-we-use-selenium-webdriver-in-colab-research-google-com
При большом количестве данных в моменте преобразования в массив появляется ошибка памяти: count = counter.fit_transform(comments_putin_df['text_clear']) count count.toarray().sum(axis = 0).shape MemoryError: Unable to allocate 1.01 TiB for an array with shape (622644, 222393) and data type int64 как это можно обойти?
Да, есть такое, но на самом деле лучше сразу считать сумму по каждому компоненту в разряженной матрице и уже после этого преобразовывать в массив numpy типа: np.array(sparce_mtx.sum(axis = 0))
Привет! Можно например использовать joblib или pickle которые просто сохраняют объект python в бинарник, так же в фреймворках (i.e. keras of pytorch) есть встроенная сериализация моделей, что-то типа после обучения вызываешь метод .save() и сохраняешь в файл, а потом с помощью load() восстанавливаешь из файла, легко гуглится serialization keras, serialization pytorch и т.д.
пришёл с Хабра, шикарная статья, теперь и видосик посмотрим :3
Пример взятый для разбора забавный, конечно, получился) Добавляет интереса, так скажем)
Никита, Привет!
Спасибо тебе большое за видео, у меня вопрос по коду...почему в облаке слов Ш. ты в дикте передаешь П.? и наоборот.
**wordcloud_shulman** = WordCloud(background_color="black",
colormap = 'Blues',
max_words=200,
mask=None,
width=1600,
height=1600)\
.generate_from_frequencies(
dict(**putin_frequence**.values))
ничего не поняла, но завораживает....неужели этому можно научиться?
Конечно, можно и даже нужно, особенно если это интересно! Могу порекомендовать бесплатный курс stepik.org/course/4852/, там нужны только база в статистике (stepik.org/course/76) и база питона (stepik.org/course/67)
@@ivanovnikitok спасибо, добрый человек.... Ваше "только" вызвало улыбку, а сами "только" смех сквозь слезы....жизни не хватит....Но посмотрю все. Спасибо и удачи Вам.
Отлично! Спасибо за проделанную работу. А есть ссылка на колаб проект, не получается в колабе настроить хромдрайвер?
Ссылка на весь архив с файлами в гугл диске, если кликнуть на sentiment_analysis_colab.ipynb он должен открыться в colab : drive.google.com/drive/folders/1hqTJPT0G2SwU47Ul7l8j0wfhO2oiyg9B?usp=sharing
Есть пара туториалов как работать с хромдрайвером через облако колаба, можно попробовать немного доработать код и наверное должно запустится) stackoverflow.com/questions/51046454/how-can-we-use-selenium-webdriver-in-colab-research-google-com
@@ivanovnikitok да, тоже нашел эти примеры, пока не получилось
@@ivanovnikitok ,Как я могу сохранить нейросеть, чтобы использовать каждый раз без обучения
@@johnswet3569 все получилось.работает.чат джипити пишет!)
Итого: потрачено 45 минут видео и 3-4 часа работы на то, чтобы доказать очевидное))
эм файла positive нету можно ли ссылку на него?
А где код на гитхабе? Не могу увидеть) Только результаты работы
Здравствуйте, код: github.com/NikitiusIvanov/russian_youtube_coments_sentimen_analysis/blob/main/sentiment_analysis.ipynb
При большом количестве данных в моменте преобразования в массив появляется ошибка памяти:
count = counter.fit_transform(comments_putin_df['text_clear'])
count
count.toarray().sum(axis = 0).shape
MemoryError: Unable to allocate 1.01 TiB for an array with shape (622644, 222393) and data type int64
как это можно обойти?
Да, есть такое, но на самом деле лучше сразу считать сумму по каждому компоненту в разряженной матрице и уже после этого преобразовывать в массив numpy типа: np.array(sparce_mtx.sum(axis = 0))
@@ivanovnikitok спасибо, получилось
Спасибо за видео.
Как я могу сохранить нейросеть, чтобы использовать каждый раз без обучения ?
Привет! Можно например использовать joblib или pickle которые просто сохраняют объект python в бинарник, так же в фреймворках (i.e. keras of pytorch) есть встроенная сериализация моделей, что-то типа после обучения вызываешь метод .save() и сохраняешь в файл, а потом с помощью load() восстанавливаешь из файла, легко гуглится serialization keras, serialization pytorch и т.д.