понедельник, 17 апреля 2017 г.

To mine or not to mine. Криптовалюты сегодня.

Очередной пост под конец выходных, в котором я постараюсь затронуть очень интересную на мой взгляд тему, которую прежде я почему-то обходил стороной, а именно - криптовалюты. Сразу скажу, что область эта для меня достаточно новая, т.к. мой уровень знаний, опыта и т.п. в ней весьма поверхностный, поэтому разговор пойдет с "позиции новичка". В интернете можно найти достаточно много руководств, видеороликов на YouTube и т.п., которые обещают нам некий доход от использования мощностей собственных ПК, но так ли это на самом деле? Давайте попробуем разобраться вместе.

Начну я пожалуй с того, что каждый в своей жизни хотя бы раз, слышал про такую вещь как Bitcoin. Но далеко не все в полной мере представляют что это такое, как его добывают и вообще есть ли смысл этим заниматься (забегая вперед скажу, что времена когда добывать или "майнить" Bitcoin [BTC] на домашних мощностях уже далеко в прошлом, но помимо него есть также и множество других криптовалют, которые по-прежнему могут представлять интерес). Для начала несколько статей про сам Bitcoin, которые прочитал я:


При чтении будет не лишним обратить внимание на время публикации статьи, все что касается сложности, скорости сети, hashrate'ов, времени добычи, оборудования и т.п., т.е. все цифры приведенные в них, к сожалению уже устарели. На данный момент примерный курс Bitcoin: 1 BTC = ~ 1200 USD, а "скорость сети" - 3,779,873,330 GH/s . Как вы понимаете, при текущей сложности сети, а также скорости вычислений (hashrate) майнить (добывать) BTC в домашних условиях уже давно не представляется возможным. Для этого давно есть специализированные устройства - ASIC-майнеры (всю информациюОбщая стоимость подобной конфигурации сейчас составляет порядка ~70-80 тыс. руб.  по ним, а также, калькуляторы расчета доходности можно без труда найти в интернете). Однако, далеко не всем по карману построить небольшую ферму из ASIC-майнеров (для сравнения стоимость актуальных устройств на данный момент составляет 80000-100000 руб. и выше), поэтому заинтересовавшись, как и вы, криптовалютами я решил прежде всего понять - что же сейчас актуально для обычного домашнего пользователя и есть ли какие-то монеты, которые до сих пор можно добывать на CPU или GPU. 

Одной из такой валют является Monero:


Официальный сайт проекта Monero находится здесь - https://getmonero.org/home . Там же можно почитать про плюсы, минусы, а также ознакомиться с руководством "How do i get started?" (Как начать?). Однако мое знакомство с Monero началось с совсем другой статьи: Solo Mining: How to strengthen Monero's network and become part of its story, в которой автор рассказывал как за три дня с помощью домашних ПК, объединенных в пул (общий hashrate этих ПК равнялся 1500 H/s) ему удалось успешно добыть 1 блок и получить вознаграждение в 8 XMR.


Что по текущему курсу составляет 8 XMR * 20.76 USD = 166,08 USD (~9348 руб.) Согласитесь, звучит интересно. Но так ли это на самом деле? Т.е. повторяем ли данный результат сегодня, учитывая то что исходный пост был написан автором 3 месяца назад. Это я и решил проверить. Для проведения эксперимента был взят ПК со следующими характеристиками:

  • Процессор: Intel® Core™ i7-6700K CPU @ 4.00GHz × 8 
  • GPU: GeForce GTX 1060 3GB/PCIe/SSE2
  • RAM: 32 Gb (2 x DDR-IV DIMM 16Gb <PC-19200> Crucial <CT16G4DFD824A>)
  • SSD Kingston 200 Gb

На ПК была установлена Ubuntu 16.04 (x64), после чего на него был установлен Monero v0.10.3.1 демон, т.е. запущена Full Node, а также GUI кошелек - Monero GUI Beta 2 для удобства (как он выглядит можно посмотреть на самом первом скриншоте). Полная синхронизация blockchain'а заняла несколько (3, 5 или 7, точно не помню, т.к. происходило это ночью, когда я уже спал) часов, суммарный объем получившего блокчейна (data.mdb) составляет примерно ~14.3 Gb. После этого я решил запустить майнинг средствами monerod на сутки и посмотреть повезет ли мне найти блок:


Как видно, средний hashrate (количество хешей обрабатываемых в секунду) у i7-6700K при 4-х потоках составляет ~250 H/s (при попытке установить 8 потоков, фактический хешрейт почему-то был меньше, поэтому я решил оставить 4 потока). Однако, ПК оставленный с такими настройками майнинга на сутки ничего не добыл. Т.е. заветного блока так и не было найдено. Поэтому я решил попробовать поучаствовать в совместной добыче монет, а именно присоединиться к одному из пулов. Два пула на которых я решил попробовать помайнить - это https://supportxmr.com/ и https://xmrpool.net/ ... но прежде чем майнить, естественно, нужны были майнеры, т.е. ПО для добычи монет.

Монета Monero построена на базе алгоритма CryptoNight. Здесь я не буду вдаваться в подробности, при желании всю информацию можно найти в интернете, однако, скажу, что алгоритм CryptoNight построен таким образом, что его практически невозможно адаптировать для ASIC майнеров, т.е. разработчиками алгоритма и Monero изначально было предусмотрено то, что добыча монеты может осуществляться обычными пользователями на обычных ПК с использованием CPU или GPU мощностей. Поэтому для начала работы следовало найти подходящий майнер с поддержкой cryptonight алгоритма. По ряду причин мой выбор пал на xmr-stak-cpu для CPU и xmr-stak-nvidia для GPU. И то и другое ПО доступно в исходных кодах (!) и является кросплатформенным, т.е. собрать рабочий релиз майнера можно как под Linux, так и под Windows-based системы.

Естественно, что в интернете есть множество готовых сборок xmr-stak'а, но я решил собрать его сам из последних исходников, чтобы обезопасить себя от ряда возможных проблем. Как минимум, чужая сборка майнера может включать в себя какие-либо "закладки", т.е. совсем не факт, что майнер собранный кем-то другим будет работать на 100% мощности именно на указанный вами pool. Другими словами, запустив на своем ПК майнер неизвестного происхождения вы будете помогать добывать монеты тому, кто его собрал / скомпилировал - это как минимум, а как максимум - бинарник скачанный с неизвестного сайта вполне может нести в себе и другие угрозы (объяснять что интернет полон различных угроз - думаю никому не нужно). Поэтому лучшим вариантом здесь, как мне кажется, является сборка из исходников, с предварительным (хотя бы беглым) их изучением. Надо отметить что процесс сборки под Linux хорошо документирован разработчиком и не должен вызвать проблем. Со сборкой под Windows же могут возникнуть некоторые сложности (если тема будет интересна, могу описать процесс компиляции xmr-stak-cpu для Windows в одном из следующих постов).

Итак, после того как майнеры были собраны и сконфигурированы на pool осталось только дождаться результатов. Но сначала я расскажу что получилось в плане хешрейтов и скорости:

  • i7-6700K с xmr-stak-cpu в 4 потока показал результат в ~250-270 H/s.
  • GTX 1060 3GB с xmr-stak-nvidia - ~430-440 H/s.

Итого суммарно ПК с приведенной конфигурацией выдавал около 680-710 H/s. Для того чтобы чуть поднять вычислительные мощности я попросил нескольких знакомых с Core i3 и ноутбуком на Core i7 также запустить майнер у себя. Получилось примерно следующее, Core i3 в зависимости от количества потоков и платформы выдавал ~40 H/s, а ноутбук с Core i7 в 2 потока - ~100-120 H/s. В общей сумме общий хешрейт майнеров подобрался к 1 kH/s (1000 H/s). 

Среднее время нахождения блока на пуле при суммарной мощности пула в 237.7 KH/s составляло 7-8 часов. Т.е. когда-то блок находился за 3 часа, когда-то за 8, когда-то чуть больше 10, а один раз до нахождения блока прошло более 24-х часов. Существует несколько схем начисления вознаграждений на подобных пулах, это PPS, PPLNS (Pay Per Last N Share) и т.п. О них вы также можете прочитать в интернете, пул с которым работал я поддерживал только PPLNS. Т.к. многих интересует непосредственно результат (количество добытых монет XMR) приведу два скриншота:


Первый был сделан где-то в середине эксперимента, второй - на момент написания этих строк. Итого за 2 с небольшим суток мне удалось добыть что-то около 0.0516150741 XMR, что в пересчете на реальные деньги составляет - 1,07 USD или 60 руб. Однако и тут есть "подводные камни". Т.е. забрать эти деньги и пойти купить на них что-нибудь в реальной жизни просто так не удастся ;) Почему?

  • Добытые вами монеты находятся не в вашем Monero (XMR) кошельке, а в кошельке пула, чтобы вывести их оттуда нужна некая минимальная сумма, при которой возможно провести выплату. В моем случае пул выплачивал вознаграждения от 0.3 XMR. Т.е. вывести 0.05 XMR нельзя, нужно дождаться пока наберется необходимый минимум для вывода. С учетом того что эти 0.05 XMR я добывал два дня, то для того чтобы добыть 0.3 XMR понадобится в 6 раз больше времени. Т.е. 12 суток (!) беспрерывной работы не самого плохого железа.
  • Помимо этого пул берет свой процент комиссии (!) ... плюс может существовать комиссия за проведение транзакции ... таким образом даже эти 0.05 XMR могут превратиться в меньшую сумму.
  • Как вы понимаете - это только начало пути. После того как монеты окажутся у вас в кошельке, это будут всего лишь виртуальные XMR. Потом вам предстоит либо сразу найти покупателя на них (ваши знакомые слышали когда-нибудь о Monero и жаждут купить их? ;), либо обменять на одной из бирж на что-то более конвертируемое, например, тот же Bitcoin, продать который за USD и руб. существенно проще, чем XMR. Однако учитывайте, каждая операция это тоже различные fee, комиссии и потери на разнице курсов. Сколько реально денег может дойти до вашего рублевого кошелька или банковской карты из этих несчастных 60 руб., заработанных за двое суток - я даже боюсь предположить ;) 

Я думаю - вы все поняли ... не забудьте также ко всем этим комиссиям за переводы и т.п. приплюсовать расходы на электричество в конце месяца. 

Развернутый вывод писать уже нет сил, но думаю и так все понятно. Обладая не самым плохим ПК и майня одну из наиболее выгодных на данный момент монет (например, Monero) заработать что-либо существенное, к сожалению, не получится. Однако, если у вас не один такой ПК, а к примеру 10, 50, 100 и т.п. и бесплатное электричество, то попробовать на интерес конечно можно. Как это вижу лично я? Ну например, вы работаете в каком-нибудь крупном магазине электроники где постоянно включены в сеть 20-30 условно игровых ПК, запускаем на каждом из них майнер и смотрим на результат ;) Правда в этом случае возможен, как говорили раньше, "выговор с занесением" ... В любом случае ваш доход, как вы поняли, пропорционален общей вычислительной мощности имеющейся у вас сети ... Другой вариант наверное возможен, когда у вас в распоряжении находится что-то вроде такого: Forsite HPC-1028 NvLink или такого Forsite HPC-8000T решения ;) Интересно, какой hashrate при майнинге Monero выдаст последняя конфигурация? (так и хочется сказать что-то вроде "если у вас вдруг есть такой - пишите в комментариях" ;)

Ну и последний практический вариант больше подходит любителям лотерей ;) Заключается он в поднятии своего собственного пула по примеру автора из этой статьи и подключение туда всех доступных вам мощностей. При достаточном hasrate'е и очень-очень большом везении, возможно вам удастся найти блок собственными силами.

p.s. Как вы уже поняли, я вовсе не претендую на "эксперта" в этой области, а скорее наооборот. Поэтому если у вас есть положительный опыт майнинга криптовалют на ПК - будет интересно услышать ваше мнение в комментариях. Однако, пожалуй сразу предупрежу, комментарии содержащие реферальные ссылки, флуд не по теме и т.п. публиковаться не будут. При написании прежде всего руководствуйтесь здравым смыслом.

Обновлено 17.04.2017 07:30 MSK

Те, кто заинтересовался темой майнинга Monero (XMR) и уже попробовали себя в различных пулах - рано или поздно зададутся вопросом, а есть ли простой способ "суммировать" все домашние мощности и запустить нечто вроде собственного пула. Т.е. чтобы все CPU / GPU в доме трудились на благо нахождения общего блока, прибыль за который (~8 XMR) пойдет полностью вам. Такая возможность на самом деле есть, некоторые пулы предлагают майнинг в режиме Solo, например xmrpool.net. Что означает такой режим?

"Solo mining is the opposite of pool mining. You essentially submit your shares directly to the blockchain, which is the most profitable method if you run your own farm." (c) xmrpool

Другими словами, соло майнинг на пуле является противоположностью майнинга в пуле с PPS / PPLNS методиками вознаграждения. Если вам (совокупности ваших майнеров) удастся найти блок, то вся награда за него, за исключением небольшой комиссии пула пойдет вам. Этот режим подходит для тех пользователей, которые рассчитывают на удачу и не хотят делить вознаграждение с остальными майнерами. Но с другой стороны - никто не мешает нам поднять свой собственный (!) пул так, как описано в этой статье, в частности там автор использует cryptonote-xmr-pool от Gingeropolous. Но настройка пула на node.js может показаться непростой на первый взгляд, поэтому в поисках решения проще я наткнулся на этот пост - Solo GPU mining, а уже потом нашел замечательный пул от sammy007 - monero-stratum, написанный на Golang. Если внимательно следовать инструкции в README.md запустить его на Ubuntu 16.04 довольно просто. Как все это работает?

Как известно monerod поддерживает JSON-RPC интерфейс (по-умолчанию на http://127.0.0.1:18081/json_rpc), но большинство майнеров не умеют работать с демоном monero через JSON-RPC напрямую, т.к. они заточены на поддержку протокола stratum. Здесь-то нам как раз и поможет monero-stratum (Monero Proxy). Он будет общаться с monerod через JSON-RPC, а вот с майнерами уже через Stratum. В результате все найденные вами блоки будут попадать напрямую в блокчейн.

monero-stratum (MoneroProxy) имеет приятный web-интерфейс, который выглядит следующим образом:


Как видно, у меня подключено 4 различных майнера, которые в сумме дают чуть меньше ~1000 H/s (H/s на картинке периодически меняется). Сам же запущенный пул выглядит следующим образом:


Повезет мне или нет - не знаю, но по-крайней мере теперь у вас есть ответ на вопрос: как майнить на GPU в Solo.

Обновлено 17.04.2017 20:58 MSK

Solo Mining Monero for Fun and for The Greater Good - небольшая статья о Solo майнинге Monero (XMR) от sammy007, автора monero-stratum пула.

Обновлено 22.04.2017 18:37 MSK

Для интересующихся несколько скриншотов / фото в стиле "весь смысл майнинга на GPU в одном флаконе":


В системе две видеокарты - GeForce GTX 1060 3GB/PCIe/SSE2 и Sapphire Nitro Radeon RX 480 4G без каких-либо модификаций (т.е. BIOS не перешивался, частоты и вольтаж не менялись и т.п.) ... как видно RX 480 дает ~620 H/s, GTX 1060 - ~440 H/s и CPU порядка ~170 H/s. Суммарная вычислительная мощность такой конфигурации ~1230 H/s. Нетрудно посчитать что при текущей сложности сети, потреблении энергии ~300 Вт·ч и стоимости электричества в районе 0.07 USD за 1 кВт·ч и курсе Monero (XMR) в 20.11 USD за 1 XMR получаем около 2 USD в день, 13.60 USD в неделю и ~58.29 USD в месяц. Т.е. что-то около 3264,24 руб. Не так много, но эти показатели можно увеличить за счет "экстенсивного пути", а именно, наращивания мощностей. Актуальный расчет для этих параметров при текущей сложности сети и курсе XMR всегда можно посмотреть здесь.

Рабочая температура видеоадаптеров при этом (при 100% загрузке) держится на уровне ~70 градусов.

Обновлено 23.04.2017 01:07 MSK

Какие-то вещи понимаешь только экспериментально, т.е. пройдя через них. Как вы можете видеть на фото выше рабочая температура обоих адаптеров в районе 70 градусов, при этом кулеры пытаясь создать необходимый теплоотвод начинают вращаться сильнее, чем создают довольно ощутимый уровень шума. Однако стоило только открыть стенку системного блока + поставить ПК поближе к открытому окну и ворвавшаяся в комнату ночная прохлада полностью изменила картину:


При той же производительности, т.е. при GPU Load под 100% на обеих видеокартах температура упала со средних 70 до 60 градусов, а Fan Speed (%) упал до 15% у RX 480 и до 34% у GTX 1060. При этом чисто по восприятию гул от вращения вентиляторов пропал совсем. Т.е. ПК который еще недавно наполнял всю комнату заметным шумом стал абсолютно тихим. Вывод простой: можно много читать про грамотное охлаждение, можно теоретизировать на эту тему, например, думая что любое дополнительное охлаждение или еще один вентилятор или внешний обдув лишь усилят шум, однако, как показала практика - при использовании "естественного" охлаждения / теплоотвода уровень шума сводится на нет.

среда, 5 апреля 2017 г.

VK Mobile. Новый мобильный оператор от популярной социальной сети.

Еще год назад фраза "Я со Сбера на Тинькофф не могу дозвониться ... а вот через ВК нормально ... " звучала бы как нечто совсем необъяснимое, однако, судя по всему в 2017 году удивляться, услышав что-то подобное в обиходе не придется. Тенденция с появлением различных MVNO операторов набирает обороты и вслед за сообщениями о проектах «Сбербанк-телеком», «Тинькофф Мобайл» 4 апреля интернет увидел новости о запуске виртуального мобильного оператора VK Mobile.

Так, в Google Play появилось соответствующее приложение - VK Mobile, представляющее собой личный кабинет абонента:


Информации о том где можно приобрести заветные SIM-карты или как принять участие в тестировании нового оператора пока нет (на данный момент проект находится в стадии внутреннего тестирования), однако, по сообщениям некоторых изданий уже известно что он будет работать базе сети Мегафон / Yota. Вот несколько полезных ссылок по теме:


В свою очередь я обещаю следить за новостями по этой теме и по-возможности знакомить вас с ними на страницах этого ресурса. Активное развитие самой социальной сети ВК и различных сервисов на ее основе (денежные переводы вконтакте, мессенджер, возможность создания магазина товаров на странице соц. сети и т.п.) в совокупности с "интегрированной телефонией" и огромной аудиторией создают все предпосылки для того, чтобы новый проект стал максимально успешным, востребованным и интересным для широкого круга пользователей продуктом. О возможных "плюшках" и "бонусах", которые готовят для нас маркетологи остается только догадываться, но что-то мне подсказывает что они будут ;) 

Например, если добавить немного фантазии, то логично предположить что тарифные планы нового MVNO оператора будут включать в себя бесплатный доступ к ресурсам ВК, т.е. отсутствие учета трафика для vk.com, по аналогии с 0.vk.com у Билайн, хотя на данный момент это всего лишь мое предположение, однако, появление чего-то подобного в "линейке тарифных планов" для большинства вполне ожидаемо, как говорится, поживем-увидим.

Обновлено 05.04.2017 17:14 (MSK)

Еще одна статья про VK Mobile: ВКонтакте и МегаФон показали 150 петербуржцам виртуального сотового оператора VK Mobile, как следует из нее - планируется кэшбек за покупки внутри ВК, безлимитный доступ к соц. сети (мои предположения по всей видимости оправдались), а стоит подобный тариф около 400 руб. (?) Других подробностей, что входит в его условия, какова планируемая цена звонков во "внутрисеть" и на других операторов пока нет. Также сообщается что основной запуск VK Mobile может быть приурочен к VK Fest 2017, который пройдет в середине июля в Санкт-Петербурге.

среда, 22 марта 2017 г.

Всё обо всём. Выпуск #05. Немного о ядрах ...

В последнюю неделю в блоге практически не было новых постов ... отчасти это связано с небольшими проблемами со здоровьем, отчасти с тем, что плюсом к этому была очень большая нагрузка по работе. Однако, даже в этой ситуации с катастрофической нехваткой времени, все же удалось немного заняться тем что действительно интересно мне сейчас. После последнего поста про активацию тачпада в recovery и patch'е ядра Mediatek я заинтересовался вопросами сборки ядра из исходников. Про это и будет сегодняшний выпуск ... т.к. это "Всё обо всём", то здесь не будет конкретных мануалов или инструкций, я просто расскажу о том каких результатов удалось достичь мне в рамках моих "домашних исследований" ;) В качестве подопытного я взял небезызвестный "музыкальный смартфон" от компании Highscreen - Boost 3 SE PRO и решил попробовать собрать для него альтернативное ядро 3.18.35+ ...

Надо сказать что изначально этот аппарат поставляется с Android 6.0 и стоковым ядром 3.18.19, традиционным для Marshmallow. Поэтому цели которые я ставил перед собой изначально выглядели следующим образом - попробовать собрать рабочее ядро 3.18.35+ и изучить возможность сборки ALPS 7.0 (Android Nougat) под этот аппарат. Те из вас, кто ранее пользовался различными кастомными прошивками (не обязательно для этого аппарата) наверняка заметили, что подавляющее большинство из них, например, Lineage 14.1 (Android 7.1.1) и т.п. обычно собирают на базе "стокового ядра". В основном это обусловлено тем, что производитель не предоставляет исходники ядра для своих аппаратов ... т.е. исходников ядра у авторов прошивки просто нет ... Как известно, ядро 3.18.19 для работы Android Nougat "не подходит", поэтому в данной ситуации есть два пути - либо собрать обновленное ядро из исходников, либо "адаптировать" прошивку для работы на старом ядре, что в большинстве случаев мы и видим.

Мне же в данном случае был интересен другой путь, а именно, сборка Android Nougat из Mediatek'овских исходников и как, следствие, процесс сборки обновленного ядра. Что из этого получилось вы можете видеть на следующих фото:


Тех кто увидев данные фото спешит воскликнуть "вау, наконец-то кто-то собрал полноценный Nougat для нашего аппарата" - поспешу огорчить. Он далеко неполноценный. Т.е. это просто "учебный проект" на котором я учился собирать ядро, разбираться с работой драйверов lcm, imgsensor'а, touchpad'а, узнавал что такое dts (dtb), codegen.dws и т.п. вещи.

За основу были взяты исходники ALPS'а 7.0, найденные на просторах "китайского интернета". Иногда поиск по pan.baidu.com бывает достаточно занимательным ... так или иначе мне удалось найти один более или менее рабочий проект, который можно было использовать для моих задач.


В результате примерно двух дней работы мне удалось собрать более-менее живое ядро 3.18.35+ с которым собранный Nougat запускался ... в ядро были перенесены драйвера дисплея, тача, акселерометра, сенсоров камеры, исправлены все ошибки сборки ... однако, по факту оказалось что до создания полноценной прошивки на базе этого ядра еще "ой как далеко" и по-сути это труд не для одного человека. В получившемся варианте не работает камера (то что необходимые драйверы сенсоров камеры есть в ядре - далеко недостаточно для того чтобы камера работала в Android) ... кстати, те кому интересно могут почитать найденный мной на просторах интернет Camera Porting Guide от Archermind. Так вот, помимо наличия необходимых драйверов в Kernel space, Android в User space'е тоже должен знать о том какие сенсоры камеры используются в аппарате (у меня он пока этого не знает). Также, т.к. аппарат использует ЦАП ESS9018K2M + усилитель ADA4897-2 - звук в Android также отсутствует. Т.к. чтобы он заработал необходимо наличие драйверов ESS9018 в ядре и соответствующих модификаций "звуковой части" самого Android - audioflinger'а, audiopolicymanager'а и т.п.

Естественно все это требует более тщательного изучения, исходников от производителя и, самое главное, времени, т.е. тех самых "человекочасов", которых в рамках "хобби" просто нет. Поэтому говорить в данном случае о сборке полноценного Android 7.0 на Mediatek'овских исходниках не приходится. Однако, благодаря этому маленькому эксперименту мне удалось получить, как минимум, начальные знания о kernel. Разобраться в том из чего состоит ядро, каким образом осуществляется интеграция новых устройств в него и ряде других абсолютно понятных и прозрачных для тех кто имеет с этим дело каждый день моментов. Примечание "для тех кто имеет с этим дело каждый день" в данном случае было сделано не зря, т.к. на тот момент когда я только начинал этот эксперимент никаких знаний о ядре у меня не было совсем. Т.е. ядро для меня представлялось неким черным ящиком в виде Image.gz-dtb в boot.img ... по-сравнению с тем уровнем за два дня работы я узнал достаточно много, но все равно крайне недостаточно ;) Как там было у Сократа: "Я знаю, что ничего не знаю" или в другой интерпретации "Чем больше я узнаю, тем больше понимаю, что ничего не знаю" ... 

Примерно такие же ощущения испытал и я ... ну а на сегодня, пока все ... если в этом проекте что-то сдвинется с мертвой точки - я обязательно буду держать вас в курсе. Тех же кого просто интересуют альтернативные прошивки на данный аппарат, могу сказать что я уже выложил LineageOS 13.0 (Android 6.0) для него на одном из популярных мобильных форумов. При желании можно найти и попробовать ... Всем добра и stay tuned ... ;)

суббота, 11 марта 2017 г.

Как активировать тачпад в Recovery на MTK или патчим ядро Android.

Как вы заметили я редко пишу узкоспециализированные технические посты, в основном контент расчитан на более широкую аудиторию, но сегодня я не удержался. Предыстория очень простая. Во время сборки кастомного Recovery для одного из аппаратов на чипе от Mediatek я столкнулся с проблемой - тачпад в Recovery не работал, а любые упоминания о mtk-tpd напрочь отсутствовали в /sys/class/input. Надо сказать что mtk-tpd это как раз и есть тот самый MTK Android Linux Touch Panel Device Driver, который отвечает за работу тачпада. Напомню, что в нормальной ситуации, когда тачпад в recovery работает, сделав что-то вроде grep . /sys/class/input/input*/name в консоли мы должны увидеть примерно следующее:


/sys/class/input/input0/name:ACCDET
/sys/class/input/input1/name:mtk-kpd
/sys/class/input/input2/name:hwmdata
/sys/class/input/input3/name:m_alsps_input
/sys/class/input/input4/name:m_acc_input
/sys/class/input/input5/name:m_gyro_input
/sys/class/input/input6/name:mtk-tpd
/sys/class/input/input7/name:mtk-tpd-kpd

Однако в моей ситуации mtk-tpd отсутствовал. Зная что на одном из форумов есть человек, который уже занимался патчами ядра ARM64 для Mediatek, я обратился к нему с вопросом, а каким образом (честно говоря я рассчитывал на ответ в двух словах, такая-то функция, такая-то проверка) он заставил работать тачпад в recovery и что конкретно он патчил в ядре. Правда здесь я почему-то наткнулся на стену глухого непонимания и какой-то секретности. Ну "секрет" так секрет, настаивать, чтобы кто-то что-то рассказал, если человек сам не хочет бессмысленно. Поэтому я решил провести некий анализ, который занял от минут 30-40 ... теперь голые факты. В MTK существует несколько режимов загрузки, который описаны в заголовочных файлах ядра (mt_boot_common.h), вот они:

/* boot type definitions */
enum boot_mode_t {
 NORMAL_BOOT = 0,
 META_BOOT = 1,
 RECOVERY_BOOT = 2,
 SW_REBOOT = 3,
 FACTORY_BOOT = 4,
 ADVMETA_BOOT = 5,
 ATE_FACTORY_BOOT = 6,
 ALARM_BOOT = 7,
#if defined(CONFIG_MTK_KERNEL_POWER_OFF_CHARGING)
 KERNEL_POWER_OFF_CHARGING_BOOT = 8,
 LOW_POWER_OFF_CHARGING_BOOT = 9,
#endif
 DONGLE_BOOT = 10,
 UNKNOWN_BOOT
};

В драйвере дисплея в процедуре инициализации тача есть проверка:

static s32 tpd_i2c_probe(struct i2c_client *client, const struct i2c_device_id *id)
{
 int err = 0;
 int count = 0;

 GTP_INFO("tpd_i2c_probe start.");
 if (RECOVERY_BOOT == get_boot_mode())
  return 0;
 probe_thread = kthread_run(tpd_registration, client, "tpd_probe");
 if (IS_ERR(probe_thread)) {
  err = PTR_ERR(probe_thread);
  GTP_INFO(TPD_DEVICE " failed to create probe thread: %d\n", err);
  return err;
 }

 do {
  msleep(20);
  count++;
  if (check_flag)
   break;
 } while (count < 50);
 GTP_INFO("tpd_i2c_probe done.count = %d, flag = %d", count, check_flag);
 return 0;
}

Как видно при вызове tpd_i2c_probe проверяется, если boot mode у нас равен RECOVERY_BOOT, то драйвер у нас не инициализируется ;) Т.е. со стороны MTK так и задумано что в recovery тач пользователю не нужен. Но ведь TWRP фактически использует только тач, скажете вы и будете правы. Но девайсы на платформе MTK никогда ведь не идут с TWRP в комплекте, а стоковому recovery тач естественно не нужен. Поэтому сейчас я вам расскажу как найти соответствующую проверку в бинарнике ядра, ну а непосредственно патч будет "домашним заданием" ) Должна же остаться какая-то "изюминка" ... Так вот. Для начала узнаем адрес tpd_i2c_probe, для этого от имени root выполняем:

sh -c "echo 0 > /proc/sys/kernel/kptr_restrict"
cat /proc/kallsyms | grep tpd_i2c_probe

В результате получаем нужный нам адрес 0xffffffc000760494. Далее загружаем в любом дизассемблер распакованное ядро (архитектура моего CPU - ARM64, поэтому offset нужной нам функции как видите 64-битный) с адреса 0xFFFFFFC000080000 (для 32-bit ядер - 0xC0008000) и переходим по найденному адресу:


На скриншоте выше наглядно видно и исходники и дизассемблированный код. На поиск нужной функции, как вы можете убедиться, и места проверки в ядре у нас ушло не более 5 минут. Теперь нам достаточно убрать условный переход по адресу 0xFFFFFFC0007604D0, заменив его NOP'ами или любой другой "пустой операцией" и собрать boot с модифицированным ядром назад. После чего при загрузке в recovery тачпад будет успешно инициализироваться.

Успехов вам!

p.s. Да, забыл сказать ... в данном примере мы разбирали инициализацию MediaTek gt91xx touch panel driver. Естественно, что в вашем устройстве может быть другой драйвер тача.

четверг, 9 марта 2017 г.

Highscreen Power Five Max. "Китаец" из будущего ...

Так получилось, что я опять на больничном ... решил все-таки заняться зубами на старости лет ;) А т.к. процесс этот долгий и мучительный, то помимо всего прочего я решил взять в разработку еще один проект. Предыстория очень простая, есть один такой интересный аппарат с названием Highscreen Power Five Max. Не знаю почему, но до этого времени я как-то незаслуженно обходил стороной продукцию этого производителя, не то чтобы намеренно, но как-то ни один из их аппаратов не попадался мне в руки. Поэтому когда ко мне в ЛС постучался некто и спросил "А не поможешь собрать нам Android 7.1.1 для Power Five Max?" - я вначале хотел отказать (времени совсем не было, а как известно это самый ценный ресурс, который иногда дороже всего остального, согласитесь, ведь в сутках всего 24 часа и при всем желании "докупить" время нельзя), но ради интереса спросил "А что это?" ... Когда мне показали характеристики устройства я слегка удивился ... если вкратце, то это девайс на Mediatek MT6755 с 4 Gb RAM, 64 Gb внутренней памяти (!), основной камерой в 13 MPix (Sony IMX258), Full HD Super AMOLED дисплеем и различными "плюшками" вроде датчика отпечатка пальцев и инфракрасным портом (Remote IR) для управления бытовой техникой. Впечатляет, не правда ли?

Более подробно с характеристиками аппарата вы можете познакомиться на официальном сайте производителя - Highscreen Power Five Max. Возможно чуть позже я сведу их в отдельную таблицу здесь, со своими комментариями. Но вернемся к нашей истории ... После того как я немного познакомился с этим аппаратом, я подумал что все же будет интересно собрать под него Nougat, плюс покрутить его в руках, т.к. не каждый день в руки попадают действительно интересные девайсы. Человек который изначально обратился ко мне с этим вопросом сказал, что он и еще группа заинтересованных товарищей купят мне этот аппарат, чтобы я мог начать работать над прошивкой (кстати, стоит это чудо техники на данный момент ~20990 руб., что выглядит вполне оправданной ценой за такой набор характеристик) ... но единственное условие, которое они ставят - это чтобы в получившейся прошивке работал IR порт и датчик отпечатка. Вспоминая историю с Doogee и все сложности с которыми мне пришлось столкнуться, я нехотя согласился, мысленно уже представляя все возможные проблемы с Goodix'овским датчиком fingerprint'а. Однако интерес пересилил ... и через некоторое время аппарат был у меня.

Тут надо сказать что к тому моменту уже успела выйти одна кастомная прошивка для него - Lineage 13.0, но она была на Android 6.0, плюс многие устройства в ней не работали. К тому же, как я понял из различных мобильных форумов, пользователи сумели собрать кастомный recovery для этого аппарата (TWRP), он он не поддерживал шифрование. Т.е. не расшифровывал раздел userdata ... Т.к. заставить работать встроенное шифрование пользователям было не под силу, они решили эту проблему проще, заменив флаг forceencrypt в boot'е на encryptable и отформатировав полностью раздел data, таким образом отключив шифрование вообще. Т.е. до этого момента перед использованием TWRP или установкой кастомной прошивки userdata обязательно было форматировать.

До этого момента - потому что меня такой вариант категорически не устраивал, ибо во-первых нельзя лишать телефон функции шифрования данных, а во-вторых TWRP, который не умеет работать с зашифрованным разделом, лично я бы использовать не стал. Поэтому первое что я сделал (на то чтобы разобраться как работает mobicore'овское шифрование ушли где-то сутки) это собрал TWPR с поддержкой шифрования:


На следующих фото отчетливо видно, как раздел userdata у нас расшифровывается и создается новое блочное устройство /dev/block/dm-0. Начало положено ... Забегая вперед скажу, что разработка дерева для Lineage 14.1 (Android 7.1.1) заняла у меня примерно неделю. С результатом можно ознакомиться здесь - android_device_HighScreen_PowerFiveMax. В коммитах видно, насколько сложной и поэтапной была работа над ним, а в NOTES.md перечислены основные проблемы и варианты их решения. Что-то вроде заметок для себя, но, как показывает практика, их ведение полезно всем. Т.к. аналогичные проблемы могут встретиться и у других пользователей, которые имеют аналогичное "железо".

Первая сложность с которой пришлось столкнуться - это начисто неработающий звук. audio.primary.mt6755.so загружался, но тут же падал, при попытке вызова функции _ZN7android22AudioMTKGainController17SetHeadPhoneLGainEi (android::AudioMTKGainController::SetHeadPhoneLGain(int)) и некоторых других. Изначально я пошел по неверному пути и попытался просто сделать "заглушки" для них, в либе которая загружалась через LD_PRELOAD. Звук-то конечно появился, но начисто пропал микрофон, т.к. Android не мог управлять "уровнями громкости" в нем. Тогда я попробовал использовать audio.primary от MT6735 платформы. В этом случае все заработало, но начисто пропала связь, т.е. SIM не определялась. Решение оказалось простым, а проблема была в моем незнании специфики MT6755, оказывается помимо прочего на этой платформе существует еще и папка etc/audio_param, а также некоторые другие конфигурационные файлы, отвечающие за звук, уровни громкости и т.п. Я по незнанию просто не включил их в свое дерево, в результате чего потратил несколько дней на то, чтобы разобраться в сути проблемы. Впрочем, добавив в дерево все необходимое - звук успешно поднялся.

Следующей проблемой была проблема с crash'ем Zygote ... изначально я добавил в permission'ы android.hardware.consumerir.xml ... так вот этого делать было нельзя, пока все остальное что касается работы IR не было добавлено в результирующую прошивку. На это также ушло достаточно много времени. Единственный урок который я извлек для себя - не добавлять в /etc/permissions вообще ничего лишнего до тех пор пока не будут задействованы все необходимые BLOB'ы, иначе прошивка может просто не запуститься (а в данном случае правда удалось связать крах Zygote с отсутствием IR HW модуля, но в остальных случаях все может быть не так тривиально). IR кстати после этого завелся относительно легко, по крайней мере в Peel Remote он отлично работал.

Самая душещипательная история коснулась датчика сканера отпечатков пальцев от Goodix, с подробностями можно ознакомиться в NOTES.md в дереве в разделе Fingerprint. После нескольких бессонных ночей, патчей sepolicy и PackageManager'а он заработал. Но трудов в это было вложено порядочно. В итоге получилась вполне рабочая прошивка:




Однако, на текущий момент, увы, в ней обнаружилась проблема с камерой, которая после нескольких (десятков) снимков в режиме фото просто "зависает". Возможно проблема связана с ошибкой внутренней памяти самого аппарата, т.е. возможно что проблема в данном случае не софтовая, а железная. Поэтому пока данный баг не будет устранен или не будет установлена его причина - выкладывать релиз я не буду. Работы продолжаются, ну а желающие могут пока поддержать проект ...

Обновлено 09.02.2017 22:34 MSK

  • TWRP-3.0.2.0-decker - TWRP recovery собранный из исходников с полной поддержкой принудительного шифрования раздела userdata. Т.е. если вы сразу после стоковой прошивки установите данный TWRP, вам не придется делать Format Data. Полная поддержка шифрования означает то, что раздел userdata у вас будет расшифровываться в любом случае, даже если вы установили PIN код и поставили его запрос при загрузке. В этом случае TWRP запросит у вас пароль для расшифровки раздела, введя который раздел userdata успешно примонтируется. В архиве сам TWRP и Scatter для прошивки через SP Flash Tool.

    Важно: если после прошивки TWRP телефон не загружается в ОС, "зависая" на заставке Android - установите через TWRP с помощью опции Install ZIP последний архив с SuperSU с официального сайта ChainFire. Последнюю версию zip'а с SuperSU всегда можно взять здесь - Stable, Beta, Latest.
  • lineage-13.0-20170309-UNOFFICIAL-PowerFiveMax.zip - Lineage OS 13.0. Перед установкой этой прошивки сделать wipe'ы всех разделов. При инициализации мастера первоначальной настройки симка определяется спустя некоторое время, поэтому рекомендуется дойти до шага подключения к WiFi сети и подождать 1-2 минуты. Далее, на экране "Настройка сканера отпечатка" нажимаем "Настроить экран блокировки" и добавляем хотя бы 1 отпечаток (!) ... Это наиболее стабильная версия из всех представленных прошивок. Камера, запись видео, GPS, сканер отпечатка, ИК порт и прочее на ней работают, по-крайней мере на имеющемся у меня девайсе.

    Видеоинструкция как добавить отпечатки пальцев на Lineage 13.0. Если не идет просмотр непосредственно на Яндекс.Диске, скачайте файл к себе на ПК.

Версия LineageOS 14.1 на базе Android 7.1.1 пока находится в стадии доработки, желающие могут получить её по запросу в комментариях. Также перед установкой прошивки настоятельно рекомендуется ознакомиться с порядком установки, приведенным по ссылке.

Обновлено 10.03.2017 10:49 MSK

FAQ

Q. Я сделал сброс настроек из меню Настройки -> Восстановление и сброс после чего аппарат грузится только в recovery? Что делать?
A. Все дело в том, что Lineage (любая версия) несовместимы с этим TWRP, поэтому сброс через меню Настройки -> Восстановление и сброс делать не рекомендуется, достаточно просто сделать Wipe Data / Factory Reset в Recovery. Если же вы по каким-то причинам сделали этот сброс и телефон у вас грузится только в Recovery, то поправить это достаточно просто:

1. Залить стоковую прошивку через SP Flash Tool (менее предпочтительный вариант)
2. Вручную очистить раздел para / misc с помощью SP Flash Tool. Как это сделать показано на следующей картинке:


Внимание! Значения Begin Address и Format Lenght нужно брать из вашего scatter'а, от стоковой прошивки. Т.е. открываем его и смотрим раздел para:

- partition_index: SYS3
  partition_name: para
  file_name: NONE
  is_download: false
  type: NORMAL_ROM
  linear_start_addr: 0x1008000
  physical_start_addr: 0x1008000
  partition_size: 0x80000
  region: EMMC_USER
  storage: HW_STORAGE_EMMC
  boundary_check: true
  is_reserved: false
  operation_type: INVISIBLE
  is_upgradable: false
  empty_boot_needed: false
  reserve: 0x00

В данном случае:

  • Begin Address = 0x1008000
  • Format Length = 0x80000

После этой несложной процедуры телефон вновь будет загружаться в систему. Ну и еще раз, если вам необходимо вернуться к заводским настройкам, делаем Wipe Data / Factory Reset в TWRP.

Обновлено 12.03.2017 02:41 MSK

Выяснилось что существует несколько различных аппаратных ревизий устройства отличающихся типом сканера (наиболее распространена ревизия со сканером второго типа), поэтому если в прошивке от 09.03.2017, выложенной выше, сканер отпечатка по каким-либо причинам у вас не заработал, то для вашей ревизии подойдет следующая прошивка, в которой сканер будет работоспособен - lineage-13.0-20170311-UNOFFICIAL-PowerFiveMax.zip .

Внимание! Материалы приведенные в данной статье размещены в ознакомительных целях. Все действия описанные в данной статье вы осуществляете на свой страх и риск! Автор(ы) статьи не несут ответственности за вышедшее из строя оборудование, в результате ошибочных действий или неверного понимания вами смысла изложенного в ней материала, а также в силу любых прямых и косвенных причин, которые потенциально могут привести к неработоспособности вашего устройства или любым другим проблемам с ним. Если вы не уверены в своих силах, сомневаетесь и т.п. - не выполняйте ничего из вышеописанного. Используя материалы из этой статьи вы соглашаетесь с тем, что ответственность за ваши действия несете вы и только вы.

суббота, 4 марта 2017 г.

Билайн Про 6 и Билайн Fast HD. Опережая время ...

Билайн Про 6. Первый операторский смартфон с Android Nougat.
Не так давно, в обзоре другого аппарата я рассуждал об инновациях и говорил о том, что было бы интересно, если бы кто-то из операторов выпустил брендированное устройство с Android 7.0 Nougat (надо же в конечном итоге следовать духу времени). И вот судя по всему, первый претендент на такую заявку появился. По информации полученной от наших "штатных телепатов", спустя некоторое время в Билайн должны появиться два абсолютно новых аппарата. Это Билайн Про 6 (Beeline Pro 6) и Билайн Fast HD (Beeline Fast HD). Сроки появления новинок и их технические характеристики достоверно пока неизвестны, однако, уже сейчас можно сказать, что новые модели будут построены на уже хорошо знакомом нам по бюджетному сегменту чипе от Mediatek - MT6737M. При этом отличительной особенностью первого девайса, т.е. Билайн Про 6 будет Android Nougat (Android 7.0) на борту. Что же касается технических характеристик новинок, то пока известно лишь очень немногое (к тому же, к моменту появления аппаратов в продаже вполне возможно что что-то изменится, поэтому эту информацию можно рассматривать как ориентировочную):

Билайн Про 6

  • Чипсет: Mediatek MT6737M (Quad Core, 1.3 GHz)
  • Операционная система: Android 7.0 Nougat, 32-bit
  • Производитель устройства: Fortuneship
  • Разрешение экрана: 720x1280 точек (диагональ пока неизвестна)
  • Количество SIM-карт: 2 (форм-фактор слотов пока под вопросом)
  • Объем оперативной памяти: 2 Gb RAM (?)
  • Объем встроенной памяти: неизвестно

Билайн Fast HD

  • Чипсет: Mediatek MT6737M (Quad Core, 1.3 GHz)
  • Операционная система: Android 6.0 Marshmallow, 32-bit
  • Производитель устройства: Fortuneship
  • Разрешение экрана: 720x1280 точек (диагональ пока неизвестна)
  • Количество SIM-карт: 2 (форм-фактор слотов пока под вопросом)
  • Объем оперативной памяти: 2 Gb RAM (?)
  • Объем встроенной памяти: неизвестно

В ближайшем будущем я постараюсь рассказать вам об ожидаемых новинках чуть более подробно, но уже сейчас можно сказать что устройства ожидаются достаточно интересными и составят неплохую конкуренцию имеющимся на рынке брендированным моделям других операторов, ведь, как я и говорил, оператор который первым выпустит "бюджетку" на Nougat'е, как минимум, запомнится пользователям, плюс, использование Android 7.0 в операторском устройстве можно использовать как неплохой рекламный ход, особенно если такой девайс будет единственным на момент выхода в своем сегменте.

Обновлено 05.04.2017 09:16 (MSK)

Штатные телепаты не ошибаются ... Анонсированный в посте Билайн Про 6 появился в Билайн Грузия по цене в 169 лари (~3900 руб.):


В заявленных характеристиках Android 7.0 (Nougat), 5" экран с разрешением 720 x 1280 точек (IPS LCD), две SIM-карты и камеры с разрешением 5 MPix (основная) и 2 MPix (фронтальная) соответственно. Объем встроенной памяти - 4 Gb. Итого мы имеем очередную бюджетку, но уже на последнем Android Nougat. Стоит ли ожидать подобную новинку на российском рынке - пока вопрос.

Что же касается Билайн Fast HD, то этот аппарат уже успел "засветиться" в SpecDevice. Производителем устройства является уже хорошо знакомый нам по другим гаджетам FortuneShip, дисплей, как и говорилось ранее, 720x1280 точек. Также, две камеры в 5 Mpix и 2 MPix и 8 Gb встроенной памяти. Желающие могут посмотреть подробный отчет из приложения SpecDevice здесь.

В принципе, оба аппарата являются заурядными бюджетниками, однако, в случае с Билайн Про 6 примечательно то, что фактически - это первый операторский бюджетник с Nougat (Android 7.0) на борту. К слову, по-поводу появления аппарата в России ... если мне не изменяет память, то схожая ситуация была с Билайн Смарт 8, который сначала был анонсирован в Грузии и Армении, а в Билайн Россия появился буквально недавно. Повторит ли Билайн Про 6 судьбу своего "младшего собрата" или нет - увидим ... 

среда, 1 марта 2017 г.

Doogee X5 Max Pro. Lineage 14.1 (Android 7.1.1)

Не так давно, судьба забросила меня на один из околомобильных форумов, где kaito373 и bolt1502 портировали на свое устройство (Doogee X5 Max Pro) мою прошивку от Tele2 Maxi LTE. Все бы ничего, но пообщавшись с владельцами аппарата, выяснилось что помимо всего прочего их аппарат оснащен сканером отпечатка пальца, который ни на одной кастомной прошивке с Android Nougat у них не работал. Чисто по-человечески мне стало интересно, а смогу ли я заставить работать этот сканер в Nougat'е и собрать полноценную LineageOS 14.1 для него. Проблема осложнялась также и тем, что я сам не являюсь владельцем Doogee X5 Max Pro - поэтому задача разработки и тестирования прошивки на порядок усложнялась, т.к. при любых изменениях я должен был дождаться результатов проверки от людей, которые ее устанавливали. Т.е. если что-то не работало пользователи выкладывали логи, затем я анализировал их, что-то правил в исходниках, выкладывал новый релиз, пользователи его проверяли и так до тех пор, пока не удавалось победить ошибку ... Надо сказать что где-то на середине пути (а занимались подобной отладкой мы в общей сложности два дня) я уже думал отказаться от этой идеи, извиниться, что взял на себя такие обязательства и сказать что собрать прошивку "вслепую", не владея самим устройством - это нереально ... Отчасти это утверждение близко к истине, но так или иначе любопытство и игра с самим собой в "А вам слабо?" взяла надо мной вверх и я решил идти до конца.

В результате я все-таки заставил работать MicroArray'евский сканер отпечатка в 7-ом Android, починил запись видео с помощью аппаратных OMX кодеков, исправил ошибку с неработоспособным FM-Radio и сделал полноценное (x64) дерево устройства для Doogee X5 Max Pro - android_device_doogee_x5max_pro. Получившийся релиз прошивки можно забрать здесь - LineageOS 14.1 (x64) [0.1beta]. Там же, в README.md можно найти описание прошивки, краткий FAQ, а также просто некоторые полезные заметки.

* Скриншоты и фото ниже предоставлены пользователем kaito373

Фото аппарата с запущенной прошивкой:


Скриншоты интерфейса:






Тест производительности в Antutu Benchmark:


Обновлено 01.03.2017 (23:43 MSK)

Также доступна сборка Resurection Remix 5.8.2 (x64) на базе Android 7.1.1. Скачать ее можно здесь: RR-N-v5.8.2-20170301-x5max_pro-Unofficial.zip .

Внимание! Материалы приведенные в данной статье размещены в ознакомительных целях. Все действия описанные в данной статье вы осуществляете на свой страх и риск! Автор(ы) статьи не несут ответственности за вышедшее из строя оборудование, в результате ошибочных действий или неверного понимания вами смысла изложенного в ней материала, а также в силу любых прямых и косвенных причин, которые потенциально могут привести к неработоспособности вашего устройства или любым другим проблемам с ним. Если вы не уверены в своих силах, сомневаетесь и т.п. - не выполняйте ничего из вышеописанного. Используя материалы из этой статьи вы соглашаетесь с тем, что ответственность за ваши действия несете вы и только вы.