Видео

Как раз когда не возвращаете взятое значение из выборки, выборка уменьшается в размере, а значит следующее значение, взятое из выборки, будет зависеть от её уменьшенного объёма. А этого нельзя допускать. Поэтому нужно возвращать взятое значение.

@@mlpython1089 спасибо! теперь понятно!

@@mlpython1089 поясните еще, пж. какой вывод делать (в конце видео), когда мы не отвергаем нулевую гипотезу, а гистограмма неравномерна, FPR показывает 27%...

Выводы делаем по р значению, а гистограмма и рок кривая чисто для красоты и понимания где искать мощность в случае отвергания нулевой гипотезы.

Раньше их было полно на сайте navarin ru, если вы говорите именно об этом журнале (халински). Теперь там таких нет. Но есть другие издательства.

Да, мы - дядьки, сама крутость,

Спасибо за оценку. Новые ролики про МЛ не планирую в ближайшее время.

При взвешивании ответ точнее получается?

@@mlpython1089 да, получается немного точнее. Вот код для метода predict n_samples = len(samples) predictions = np.array([est.predict(samples) for est in self.stumps]).T # Sort the predictions sorted_idx = np.argsort(predictions, axis=1) # Find index of median prediction for each sample weight_cdf = np.array(self.betas)[sorted_idx].cumsum(axis=1) median_or_above = weight_cdf >= 0.5 * np.sum(self.betas) median_idx = median_or_above.argmax(axis=1) median_estimators = sorted_idx[np.arange(n_samples), median_idx] # Return median predictions return predictions[np.arange(n_samples), median_estimators]

Иначе пришлось бы работать со смещением (self.bias) - искать ему производную db. class LinearRegression(): def __init__(self): self.weights = None self.bias = None self.y_train = None def fit(self, X, y): self.y_train = y self.weights = np.zeros(X.shape[1]) self.bias = 0 for _ in range(0, 1000): predict = X.dot(self.weights) + self.bias dw = X.T.dot(predict - y) / len(y) db = np.sum(predict - y) / len(y) self.weights -= 0.1 * dw self.bias -= 0.1 * db def predict(self, X): return X.dot(self.weights) + self.bias def r2(self, predict, y): return 1 - np.sum((predict - y)**2) / np.sum((y_train.mean() - y)**2)

@@mlpython1089 спасибо, понял. Отличные видео на канале! С полгода назад, когда только начинал изучать эти вещи, ничего не понял, подумал, что канал плохой. А сейчас этот материал отлично воспринимается.

Спасибо.

На просторах есть много ресурсов, которые отлично справляются с задачей - научить. Мне их не переплюнуть. Поэтому цели кого то научить я и не ставил. Открыл канал чтобы узнать на сколько это сложно и начать относиться к другим авторам более лояльно. А на практике ML, в основном, не про алгоритмы ML, а про сбор, подготовку и анализ данных тестами.

@@mlpython1089 Я не с целью вас задеть написал. Я даже подписался на вас. Обязательно продолжайте. Я люблю самописные алгоритмы. Просьба развернутее описывать задачу и сами алгоритмы. И если есть возможность то используйтеи не синтетические датасеты в ближе к реальной жизни.

Пожалуйста.

Спасибо. АА тест может провалиться если случайная величина распределена крайне несимметрично. В таких случаях говорят, что у распределения тяжелые хвосты или выбросы. Обычно проблема решается усечением выборки, т.е. удалением, например, 1% наблюдений с минимальными и максимальными значениями. Но если это не помогает и АА тест всеравно проваливается (roc кривая р значений не диагональ), то, возможно, в данных есть кластеры или тренд.

Развернуть надо матрицу Х перед умножением на остатки чтобы получить веса. Иначе не получиться - размерности не сойдутся.

Владимир, спасибо за ответ. То что размерности не совпадут если не транспонировать это понятно. Просто смутило, что при перевороте матрицы мы уже перемножаем значения конкретной фичи на вероятности, которые соответствуют примерам.

Подготовиться и записать это очень много времени нужно потратить. Да и формат изложения не популярный. Аналитика просмотров говорит, что на просмотр видео тратят минуту, две. Но, вот есть идея записать про алгоритм калибровки вероятностей с использованием стриженных деревьев решений. Будет интересно?

@@mlpython1089 Да, я понимаю, что это трудоёмкий процесс. Возможно, стоит вложиться в рекламу на каких-нибудь русскоязычных каналах про DS/ML, чтобы увеличить число подписчиков. Формат сам по себе полезный, интересно наблюдать, как всё работает "под капотом", а не просто накатывать готовые sklearn-модельки через fit/predict. Для меня это ещё один способ время от времени освежить математику) Да, интересно, хотелось бы посмотреть.

Почему Вы так решили?

Когда пишем знаменатель, то говорим о модели среднего. А модель строим по тренировочному набору данных. Понял. Спасибо.

Неделю потратил на изучение этого алгоритма. Недели две писал и переписывал видео. До этого, с нуля, пару месяцев тренировал слепую печать.

Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems 2nd Edition, Kindle Edition

@@mlpython1089 спасибо❤️

Приветствую. Приятно слышать, что мои видео кому-то полезны. В случайном лесе признаки в узлах деревьев выбираются случайно. Всё это делается чтобы модели в композиции случайного леса не корелировали между собой. Поэтому важность признаков не так просто оценить и обычный подсчет использованных признаков (как в дереве решений) не сработает. Нужен специальный алгоритм - permutation importance. Он у меня есть в змейке на KNN. Могу попробовать его вставить в случайный лес.

@@mlpython1089 Если получится, было бы здорово. Сам я такое к сожалению не в силах реализовать... (А очень нужно) Остается надежда на вашу помощь...

@@zzzzzz4572 Там идея проста. По этому классу можно её понять. # класс оценки важности признаков (permutation importance) class PermutationImportance(object): def __init__(self, model, X, y, cv=5): self.model = model self.cv = cv self.importance = [] self.f_score = [] def evaluate_it(self): original_score = self.model.cv(X, y, cv=self.cv).mean() for i in range(X.shape[1]): X_new = X.copy() np.random.shuffle(X_new[:, i]) feature_score = self.model.cv(X_new, y, cv=self.cv).mean() self.f_score.append(feature_score) self.importance.append(feature_score - original_score) return self.importance CV = 3 clf = KNN() cv = clf.cv(X, y, cv=CV) print("Cross validation score:", cv, " Its mean:", str(cv.mean())[:4]) print("Starting evaluate feature importance... ") imp = PermutationImportance(clf, X, y, cv=CV) imp_per_feature = imp.evaluate_it() print("Feature importance by Permutation:") for i, score in enumerate(imp_per_feature): if score < 0: print("feature", i, "its importance", str(score * (-1.0))[:4])

Нужно на данные посмотреть. Они должны быть все числовые. Скинте часть данных в облако, а ссылку оставьте здесь.

@@mlpython1089 drive.google.com/drive/folders/19vlAf684MpUo8xP1HHUR_JzTl9-uXinq?usp=sharing Ссылка на диск. Туда же можно прикрепить ответ

Скинул туда исправления. 1. Нужно тип целевой переменной изменить: ytall = tall[clDrop].values.astype("int32") 2. И добавить выход из из метода grow_tree после определения индексов: left_indexes = np.argwhere(X[:, best_feature] <= best_threshold).flatten() right_indexes = np.argwhere(X[:, best_feature] > best_threshold).flatten() # добавил выход if len(left_indexes) == 0 or len(right_indexes) == 0: return Node(value=self.most_comon(y))

Также как и на деревьях. Алгоритм логистической регрессии описан в другом видео. Его можно использовать в GBM в качестве базового алгоритма. Только в методе predict класса GBM нужно задать threshold=0.5, а из метода predict класса LogisticRegression вернуть сигмоиду от предсказания.

@@mlpython1089 но в GBM мы же на каждом шаге решаем задачу регрессии? Как ее решать с помощью логистической регрессии?

@@ВладиславГаджиханов-ъ7к на каждом шаге мы используем базовую модель, которую обучаем на остатки. Логистическую регрессию тоже можно использовать в качестве базовой модели. Только что сам попробовал. Результат хороший.

Понял, спасибо. Подскажите еще, пожалуйста, GBM в случае экспоненциальной ф-ии потерь в задачи классификации полностью эквивалентентен AdaBoost. Происходит ли то же самое для задачи регрессии?

Ничего не могу сказать про эквивалентность данных алгоритмов при экспоненциальной функции потерь.

Спаисбо. Все же я думаю, что KNN слабоват для такой задачи. Нужен другой алгоритм и обучение с подкреплением. Да, сам изучаю - по лекциям Евгения Соколова, StatQuest и многое другое.