wizzard: (Default)
[English version: https://medium.com/@oleksandr_now/in-theory-theory-and-practice-are-the-same-in-practice-however-46fd663f8e7b ]

Во всем этом модном data science есть большая засада.

Подготовка датасетов звучит совсем не модно и не круто, и про нее мало пишут. Даже люди из индустрии, не говоря уже о академии. Более того, иногда в пейперах проскакивают вещи от которых у меня вообще волосы дыбом подымаются.

Что-то вроде "мы выкинули все что у нас не отпарсилось", а как насчет того, что "не парсится" - это всегда смещенная неслучайная выборка? Которая смещает остальной датасет тоже далеко не случайным образом?

Ладно, как оно смещает саму статистику - это дело хозяйское и на совести авторов, конечно. Но еще это от входа означает что результаты пейпера, а то и алгоритм в принципе, маловероятно что применим в продакшне.

Например, "мы можем парсить 98% слов из аудио правильно" это звучит замечательно, пока ты не узнаешь что в 2% входят например названия улиц или номера телефонов, потому что они не словарные (out of vocabulary)
И на реальной задаче эти 2% слов превращаются в "70% диалогов не получилось отпарсить".

Самих академиков тоже можно понять, им пейпер написать надо, а не пытаться обьять необьятное, конечно. Но вот эта пропасть между теорией и практикой создает очень искаженное впечатление, и последующий шок у людей, которые переходят от теории к применению этой самой теории.

Да и индустрия тоже не спешит это как-то закрывать, потому что из-за того самого искаженного впечатления оно ни разу не является бизнес-нишей, люди не готовы платить за решение этой проблемы, потому что ее вроде бы как и нет вовсе. Пока ты с ней сам не столкнешься.

И вот у меня есть хороший программистский бэкграунд, чтобы с этим справляться, но что советовать людям, у которых опыта меньше - как-то пока непонятно совсем. Есть идеи?
wizzard: (Default)
...и прочие цитаты известных личностей 19 века про интернет.


намерение отучить людей от гомеопатии и пересадить на доказательную медицину, конечно, благое, но вот беда, получается еще хуже чем с феминизмом. а именно:

- шаг 1, мы решаем освободить общество от заблуждений, сделать мир лучше ит.д.
- шаг 2, обнаруживаем, что людям в среднем думать лень и рациональные аргументы у них в голове не задерживаются
- шаг 3, активисты с балансом и критическим мышлением сдаются, естественный отбор оставляет пропагандистов с горящими глазами, которые искренне верят в Идею, что дает им авторитет для самих себя и окружающих. только вот беда, критически оценивать самих себя они тоже не могут.
- шаг 4, у нас есть религия "Анти-Гомеопаты", "кто не с нами - тот против нас", расстрельные списки препаратов и врачей, в которые радостно записываются любые случаи, когда какое-то лекарство против какой-то болезни не сработало, а человек Х осмелился после этого его кому-то порекомендовать.

границы применимости? разные диагнозы? комбинации препаратов? отличия, извините, между людьми в обмене веществ? что вы, это же так сложно, если каждый раз про это вспоминать - точно никого убедить не получится, а рассматривать каждый конкретный случай в отдельности - это же столько работы, это мы не хотим, мы пропагандировать Универсальные Списки Добра хотим, в этом наша Миссия!

Ну, дальше вы знаете. Все срачи вокруг мигрантов, LGBT, ГМО, Emacs, OSS и т.д. - они про это. Люди такие люди...
wizzard: (Default)
Преамбула: я сейчас живу один уже несколько месяцев как.

Так вот, на момент разьезда я был с головой в работе и по факту чаще питался в офисе, по дороге туда-обратно с коллегами, на выходных с друзьями или в какой-нибудь гостинице на выезде, чем как-то еще. Дома по факту только спал, и то далеко не каждый день.

Потом мне такой уровень нагрузки, невзирая на то, что мы делали всякие крутые штуки - конкретно надоел (особенно то, что за всякими около-менеджерскими активностями я вообще перестал программировать, и на 3/4 перестал читать всякие новые статьи и что-то придумывать/архитектурить)

Ну, хорошо, вот освободил себе время, купил монитор, и вообще типа обустроил дома уютненькое место для всяких планов по захвату мира. Но не тут-то было.

Оказывается, я успел ВООБЩЕ отвыкнуть есть дома (не говоря уже об готовить), а также есть в одиночку. Оно ощущается зверски уныло, одиноко и всё такое. Спать - без проблем. Есть - ужасно. Never eat alone, да, вот его обратная сторона.

Написать кому-то "гоу завтракать/ужинать", конечно, дело нехитрое, да вот только когда с кем-то общаешься - то внимание ведь на этого человека так или иначе отвлекается, и думать про всякое свое уже не выходит!

А, и еще выходит что я как-то очень быстро отвык дома работать, то что дом ассоциировался с отдыхом это конечно прекрасно, но теперь надо научиться переключать туда-сюда %)

Чего б его такого придумать %)
wizzard: (Default)
подумалось, что честность у людей редко можно назвать врожденным качеством (не путать с искренностью, наивностью и т.д.)

она развивается тогда (по мере того), как человек окружает себя людьми, с которыми комфортно и выгодно быть честным.

ну, если человек не совсем идеалист. если совсем идеалист - то может развиваться и автономно, но человек при этом будет всячески страдать и у него отрастут еще всякие компенсаторные механизмы по мере социальной адаптации, и будет в голове трешак тот еще.

UPDATE проясню, а то people get confused:

это размышления в свете того, что всякие тяжелые переговоры мне *сейчас* легче (и результативнее) вести с открытой позицией, а раньше было легче устраивать подковерные игры. и самое существенное отличие - это менталитет окружающих.
wizzard: (Default)
Что такое эксперимент Либета: в большинстве экспериментов у человека время принятия решения типа 0.1 сек, но EEG датчик на башке показывает, что сигнал появляется ДО того, как человек сам поймет, что он собирается сделать.

Философы-гуманитарии по этому поводу начинают бугуртировать "свободы воли нет", но это всё хуйня. Просто человек тормоз, а сознание привыкло и не замечает. В мозгах, как и в игродвижках - лагокомпенсатор и предсказатель будущего, который позволяет жить с тем фактом, что открутить полный цикл стимул-реакция слишком долго и вообще опасно для жизни.

И всякие "моторные навыки", ходьба, танцы, вождение велосипеда, автомобиля, вот это всё - это обучение лагокомпенсатора.

Так вот, есть контроллер такой, читающий ЭЭГ, OCZ NIA называется - у меня он был. Ощущение отрицательной латенси вызывает просто охуение. Я этого никогда в жизни не забуду, "аватар в игре предсказывает мои действия"

В то время я даже намерял, там чуть ли не 700 мс запаса, т.е. ты собираешься выстрелить за 700 мс до того как ты выстрелил. Очень хорошо если за 300, это считается "внезапно". Поэтому лагокомпенсаторы возможны. Но во всяких шутерах они в лучшем случае линейно экстраполируют... Ну и 50-100 мс это предел, иначе игроки не могут отличить читера от человека, у которого просто лагает.

А сегодня я увидел мультиплеерный мод для kerbal space program. Там лагокомпенсатор асинхронный, он записывает действия игроков и проигрывает тех, кто в будущем для тех, кто в прошлом, а тех кто в прошлом симулирует, как будто они ничего не делали, и при коллизиях переигрывает.

В KSP по понятным причинам по-другому нельзя, с тайм варпом и космическими скоростями-то :)

Это навело меня на мысль, что в шутерах, где ты можешь за время неопределенности выбежать, кого-то убить и забежать обратно - лагокомпенсатор не должен рендерить что у тебя фраг, или что не фраг.

Лагокомпенсатор должен рендерить оба варианта. То есть начинать виньетировать экран в стиле "мы дохнем" не тогда, когда "ой всё" - а тогда, когда пересекаются конусы неопределенности тушки игрока и очереди пуль другого игрока.

В общем, лучше игрока чаще пугать, чем редко расстраивать. Это накладывает, как обычно, ограничения на арт, ну и для высокого пинга все равно не поможет, но поможет в пределах вот этого интервала лагокомпенсации мозгов, чего более чем достаточно.

Да, в общем виде это AI-полная задача (надо предсказать противника, который живой человек, и данных про него в системе обьективно не хватает), но для вероятностного ее подвида весьма поможет датамайнинг по базе данных старых реплеев.

Кто еще не понял - в условиях современного интернета, его лагов и интерактивщины про это также в той или иной форме приходится думать ВСЕМ дизайнерам UI, другой вопрос, что параллелей с геймдевом они почему-то не проводят.
wizzard: (Default)
Итак, думаю, не секрет, что банковской системе в Украине пиздец. Почти. За 2014 год загнулся всего-то 31 банк (см. НБУ) :)

Понятно, что никакой фонд гарантирования это не выдержит. И рефинансировать его некому.
Потому что образовывается шикарная труба "рефинанс-закупка валюты-вывод валюты", с которым безуспешно борется уже который по счёту глава НБУ, немало раздражая население.

На вид ситуация патовая - либо доливать рефинанс (не важно, в банки или в ФГВФО), и курсу пиздец, либо не доливать, и тогда экономике сухой коллапс, и тут уж не до курса вообще.

Но есть ещё вариант, и я думаю что именно ради него у нас пошли разговоры о внешнем управлении и заграничных министрах, которым срочно ради этого дадут украинское гражданство и отберут эуропейское. Именно в Европе мы его совсем недавно и наблюдали :) В Кипре.

Итак, у нас есть банк, который нельзя просто так взять и обанкротить. Потому что его активов, если их срочно ликвидировать, вообще никак не хватит даже на гарантированные вклады, а кубышка гарантирования и без того пуста. Плюс, у приближённых к руководству мгновенно возникает желание раздробить депозиты, погасить кому-нибудь кредиты и т.д. и т.п., ну все видели, я думаю. Сделать вид, что всё ОК и рефинансировать тоже нельзя, см. про трубу.

Делается так:
1. Собственные средства замораживаются, во избежание хаотических действий менеджмента.
2. Активы банка никуда не распродаются, а вот пассивы делятся на 2 части: гарантированные у физиков, их оставляют, при необходимости рефинансируют банк на нужную сумму; а всё остальное - списывается, вместо депозитов пропорционально выдаются акции банка.
3. Бывшие акционеры банка, поощрившие его банкротство, теряют все свои акции.
4. Банк передаётся в управление новым акционерам, счета размораживаются, можно жить дальше :)

В сухом остатке получается маленькая кучка не-бедных (т.к. у них были депозиты выше размера гарантирования), злых и очень мотивированных новоиспеченных акционеров банка. Физики, как самая незащищённая часть - ничего не теряют. Бывшие акционеры при банкротстве теряют всё и так, и так.

Что самое интересное, банк после этой процедуры - ликвиден, причин забирать из него денег нет, т.к. активы никуда не исчезли, а резервов заведомо достаточно. И может дальше нормально (!) функционировать. Ну а дальше заинтересованные в том, чтобы акции возымели какую-то ценность бывшие вкладчики меняют менеджмент, реформируют банк, то-сё.

Т.е. единственный класс который страдает - те, кто имел деньги, но не хотел или не знал, как их применить в экономике.

А те, у кого работающий бизнес все-таки был - могут потом свои же бизнесы вполне честно прокредитовать из средств, привлеченных после реформы (но не из рефинанса!)

А, да. Мало того, что обьем эмиссии минимален, так еще из-за того, что деньги можно продолжать держать в банке - долитый рефинанс не выбрасывается мгновенно в оборот, что снижает эффективный обьем денежной массы в стране.

По сравнению с альтернативами (коллапс валюты; коллапс экономики вообще) - это охуенно. Но нужны стальные яйца и известная внезапность. Внешнее управление даёт оба этих рычага.

Да, вышесказанное в известной степени применимо и к России, только вот внешнее управление там по политическим причинам ввести нереально, а внутреннее не осилит, потому что свои же закопают на следующий день.
wizzard: (Default)
Значит, про Оперу.

Это сейчас вебкит, но (1) быстрее (2) HighDPI поддерживается нормально.
Но. Чтобы можно было пользоваться, надо зайти в Settings-Browser, включить галку Advanced Settings, потом включить появившуюся галку "Show full URL in combined search and address bar".

И про NoSQL.

До меня внезапно дошло, что 70% всего хайпа и увеличения производительности - это последствия перехода от списков на множества (INTEGER PRIMARY KEY AUTOINCREMENT -> key-value store).

А прирост производительности потому, что операции SET/CLEAR имеют более простую семантику и лучше композятся, нежели APPEND/REMOVE_AT (в частности, их можно гораздо свободнее реордерить и повторять), и в большинстве случаев семантики SET/CLEAR достаточно.

Choose your data structures and primitives carefully, то-сё.
wizzard: (Default)
I don't want to win an argument, I want to win.

I.e. while it is obviously fun to use and abuse the logic, it isn't clear to me how does this help you in the long run - unless you got into TV debates, which we aren't going to discuss here.

Somehow related - "win wars, not battles".

From an optimization perspective: when you spend more on each try - you get less options to try. Seems like there is a balance somewhere.

misc

Jan. 29th, 2014 04:12 pm
wizzard: (Default)
По мотивам поста про срачиометр: вспомнилась замечательная формулировка поля "интересы" в профиле одной френдессы "визначити - значить обмежити" (определить означает ограничить)

И еще из этой же оперы: уже второй (третий?) человек мне говорит "ты же не программист? вернее, не только программист?"

наверное, это хорошо.

Хотя код я определенно пишу тоже.

Да, а вам нужен для счастья диод?

wizzard: (Default)
когда ложишься - много планов, мечт, желания какого-то, то-се.

просыпаешься - и ничего этого нет. такой облом...

иногда, впрочем, получается сохранять контекст до утра. но обычно нет. почему получается и почему нет? нигде не видел. впрочем, подозреваю, что тут сложно всё и индивидуально, даже сон-то толком не могут обьяснить, зачем нужен...
wizzard: (Default)
Очень сложно жить, если на любой вопрос, заданный себе в форме "правильно ли я поступаю в данной ситуации?" ответом является "зависит от того, с какой стороны посмотреть..."

Чем мораль Х лучше или хуже морали У? А ничем, просто так сложилось, условий, при которых они сложились - все равно давно уже нет. Какую из них выбрать? А черт его знает.

Хорошо людям, которые верят! Ну и вообще наивным людям. Потому что в 90% случаев наивным быть хорошо - думай, не думай, за тебя уже подумали, общество-то иначе не держалось бы.

А я не верю, мне, видите ли, пруфы подавай. Надо думать. Пока думаешь - снижается скорость реакции, теплое местечко могут и занять. Поэтому верить в что-то и бежать вперед - выгодно. Пока столб на дороге не встретится. Столбов немного. Но есть. Но немного.

Вот, например, есть люди, которые лгут. (И уже в этой фразе - куча нюансов. Можно искренне заблуждаться, можно верить, что Х - лучше, можно сознательно врать, можно еще что-то). В среднем общество от этого становится достаточно токсичным, и люди, которые для себя открывают, что можно же и не лгать - считают это манной небесной.

Только вот это тоже не работает. Чем ложь отличается от "не успел рассказать/забыл/подумал, что не важно"? Да ничем. Что, если каждый день сливать друг другу всё, что помним? Удивительно, мозги снова закипают! Только уже от обьема ненужной информации.

Обьективно ненужной, причем! 99% того, что случилось с вами сегодня, не повлияет на вас через пять лет. А 1% повлияет. И спрогнозировать, какой именно 1% - сейчас нельзя.

Прибавим к этому эмоции и субьективность восприятия. У всех разная база знаний, все делают разные выводы и искренне видят разные вещи. Даже я сам, блин, в разных состояниях оцениваю одно и то же совершенно по-разному.

Тут должен был быть вывод. Только нет его.
wizzard: (Default)
Как быстро сделать желтую-желтую статью, к которой, тем не менее, сложно формально доебаться?

1. Берем статистику по депозитному портфелю банков на сайте НБУ за 2012
2. Берем статистику по депозитному портфелю банков на сайте НБУ за 2013
3. Сортируем банки по "депозиты в 2012 минус депозиты в 2013"
4. Заголовок: "10 банков из которых украинцы бегут быстрее всего!!!111", "Банки, которым перестали доверять в 2013" и т.д.

Интересно, если это с достаточным кол-вом показов открутить на новостных сайтах, можно ли действительно спровоцировать у кого-то bank run?
wizzard: (Default)
> Все семантические технологии упираются в то, что люди на местах ничего не понимают.

> Насчёт автоматической перестройки UML моделей - это как работать с документом, где случайным образом меняется текст. Плюс с диаграммами проблема в том, что это графика, то есть для её адекватного использования надо владеть хотя бы основами графического дизайна.

(с) vit_r, в комментах.

Я еще от себя добавлю, что тексты тоже далеко не все умеют писать.
wizzard: (Default)
машина без колеса

...тот неловкий момент, когда вы понимаете, что в вашей йоба-операционке нету dir (ls). Не прошло и 9 лет *facepalm*

Аналогия, конечно, натянутая - но я пытаюсь строить большие распределенные системы уже очень давно, и как-то мне только сейчас пришло в голову, что, видите ли, иметь возможность получить список обьектов в некотором пространстве - это может быть полезно.

И это невзирая на то, что *первое*, что я соорудил, когда мне в руки в 2001 году попался дотнет - это был навигатор по хипу запущенного приложения (с редактором, на рефлекшене работающий)

блин, таким идиотом себя теперь чувствую...
wizzard: (Default)
стоит один раз сотворить хуйню как далее начинаются лихорадочные попытки исправить ситуацию, и в итоге хуйня начинает твориться по нарастающей. главное - вовремя остановиться.

а, да, и не пытаться успеть всё-всё-всё-всё и исправить всё-всё-всё.
wizzard: (Default)
(из комментов у a_nalgin)

...сейчас доступно множество знаний, которые декларируются правильными. И они правильны, каждое из них. В определенных условиях. Которые не описаны, конечно.

Условия наступают, грабли бьют по голове, ближайший умник смотрит в книгу и говорит сакраментальное: "Да это же все знают!"

Задним числом - да, это работает. Спрогнозировать тем не менее невозможно. Более того, не факт, что в следующий раз грабли будут лежать в том же месте тёмной подсобки.
wizzard: (Default)
действительно, Bitcoin сложно запретить. но зачем?

можно же просто взять и постепенно, экономическими методами его централизовать и сделать отслеживаемым. медленно, чтобы никто не успел спохватиться ;)

вот тут есть любопытный разбор того, как это происходит уже сейчас (прикручивается отчетность, метаданные и репутация кошельков), и варианты исправления ситуации

http://www.scribd.com/doc/155504772/Bitcoin-2-Freedom-of-Transaction
wizzard: (Default)
интересный тут взгляд на происшествие с силкроадом с Хабра подбросили

1. фбр делает овер 100 покупок (и возможно продаж) на силкроаде «для изучения» веществ и процесса.
2. внезапно появляется «хакер–шантажист» у которого есть «реальные данные части покупателей и продавцов». присылает пруфы владельцу. просит 500 тыс у.е.
3. владелец находит на силкроаде же «киллера» за 150килобаксов. платит получает фотки «трупа». (канадская полиция опровергает наличие трупа).
4. шантажист исчезает.
5. владелец заказывает поддельные доки через «киллера».
6. «киллер» выманивает оригинальные фото владельца для документов.
7. поддельные документы присылаются на конспиративную квартиру владельца силкроад.
8. агент–1 берет владельца под белы рученьки и все, привет.

10. заранее зная ответ оформляется красивая история про емэйлы на форумах.

и не надо ничего взламывать, что характерно, обычный HUMINT ;)
wizzard: (Default)
а вы когда-нибудь задумывались, что обфускация кода в пределе эквивалентна гомоморфному шифрованию?

то-то мне исторически все время казалось, что в пейперах какие-то очень похожие концепции проскакивают...
wizzard: (Default)
оказывается, single-threaded performance у процессоров (а это то, что по факту решает в современных GUI приложениях типа браузеров) таки растет!

если верить PassMark, то мой старенький Phenom II X6 медленнее современного Xeon E3-1270v3 более чем в 2 раза на ядро (нет, i7-4771 я брать не буду, на 32 гб RAM надо брать только ECC - возьмите доки у производителей и посчитайте bit error rate сами)

Хмм. Проапгрейдить, что ли, десктоп... Какой там ныне последний чипсет рекомендуют?

Profile

wizzard: (Default)
wizzard

May 2017

S M T W T F S
 123456
78 910111213
14 151617181920
2122232425 2627
28293031   

Syndicate

RSS Atom

Most Popular Tags

Style Credit

Expand Cut Tags

No cut tags
Page generated May. 27th, 2017 11:12 pm
Powered by Dreamwidth Studios