Адрес для входа в РФ: exler.wiki
Как один инженер Твиттер поломал
Читал вчера сообщения о том, что в Твиттере что-то глобально поломалось. Подумал, что это, наверное, Маск внедряет механизм побуквенной оплаты твитов, вот и поломалось.
Сегодня уже пишут о том, что вызвало этот масштабный сбой, затронувший миллионы пользователей. Оказывается, проблема была вызвана "небольшим изменением API", которое внес один-единственный инженер.
Пользователи Twitter, зашедшие в соцсеть ночью 7 марта, столкнулись с несколькими трудностями. У кого-то не загружались изображения в ленте; кто-то не мог перейти по ссылкам в твитах, сталкиваясь с сообщением «Ваш тариф API не включает доступ к этой функции»; другие не могли воспользоваться Tweetdeck — сервисом для профессиональных пользователей Twitter.
Поддержка соцсети поспешила объяснить, что проблемы в работе вызваны «внутренним изменением, которое повлекло некоторые непредвиденные последствия». Как выяснило издание Platformer, это изменение было частью процесса по закрытию бесплатного API Twitter. Сейчас сервис предлагает инструментарий для разработчиков только за деньги, что положило конец существованию сторонних клиентов.
Владелец Twitter Илон Маск сообщил, что масштабные проблемы вызваны небольшим изменением конфигурации системы. Виной тому стала «чрезвычайно хрупкая кодовая база». Как отметил предприниматель, в конечном счёте программную часть Twitter ждёт полный пересмотр.
Сотрудники Twitter, с которыми пообщался Platformer, подтвердили наличие серьёзного объёма накопленных проблем в коде соцсети. Вдобавок на уязвимость платформы повлияли массовые сокращения инженеров, организованные Маском. В компании сейчас осталось менее 550 технических специалистов. Бывшие сотрудники предсказывали, что такой штат не позволит обеспечить стабильность работы всех систем.
Если не считать последний даунтайм, за два с небольшим месяца этого года в Twitter случилось не менее пяти масштабных сбоев:
- 23 января приложение Android не отправляло и не загружало публикации;
- 8 февраля пользователи не могли отправить твиты из-за «превышения дневного лимита»;
- 15 февраля перестала загружаться лента публикаций;
- 18 февраля сломались ответы и лента подписок;
- 1 марта снова отключилась лента подписок.
Сбои стали настолько частыми, что команда «стала к ним безразличной», рассказал один из нынешних сотрудников. «Вот что происходит, когда вы увольняете 90% персонала компании», — заявил собеседник Platformer
Именно сокращение специалистов привело к тому, что работу над крупным проектом с несколькими взаимосвязанными системами вёл всего один инженер, заключает издание. (Отсюда.)
Не, ну точно надо побуквенную оплату вводить! Только она спасет!
у меня так пару микротиков по работе разнесено по странам.
Реалии после той заметки изменились чуть, микротик слегка заматерел и добавил протоколов и возможностей, но для начала пойдет.
совет дилетанта, профи могут накидать более удобных решений.
Я вне этой чудесной страны, а надо семье, которая там.
В отзывах существующих впн клиентов на гугле через одного потоком идёт "не работает в России".
(Много рекламы в статье)
Я,помню несколько лет назад одним изменением Гугл завалили.
Search устоял, но сколько-то других сервисов лежало несколько часов.
Ютуб например лежал.
Добрые пользователи на Твиттере советовали перестартовать...
Вообщем надо продолжать наблюдения.
У нас прошлым летом Rogers лег после накатывания обновлений на сервера, а это провайдер связи, если что - интернет и обе телефонии. По крайней мере четверть населения Канады осталась безо всякой связи.
(в сторону, маскохейтерам - наверное, тоже Маск был виноват 😄 )
Нормально так. Сами накосячили, и сами теперь выпендриваются.
"Сережа, ты не гибкий, ты не понимаешь".
Я работал в конторе, где деплои были по десять раз на дню, в произвольные моменты. Даунтайм был чрезвычайно маленький, потому что критический баг фиксился за минуты.
И нет, нанять ещё миллион "технических специалистов" в этой ситуации не помогает обычно (наоборот, говнокода становится гораздо больше).
"программную часть Twitter ждёт полный пересмотр" - это, пожалуй, ежинственный нормальный путь решения.
- Нет, это уже после вас было, в 23-ем году.
Но тут хоть "массовые сокращения инженеров" устроить можно, а чиновников попробуй уволь/сократи. 😄
и при этом в некоторых вещах он полный дебил
В некоторых вещах мы все дебилы. В основной масе - во всех вещах. Иначе бы мы хоть по одной бы успешной компании да создали.
- Бывает белый сыр.
- А, то есть Луна все-таки сделана из сыра?
То что вы описали - банальное целевое тестирование.
Я регресивное стартую если мне QA нечем занять, что бывает очень редко
В статье из платформер написано следующее:
Я основывался на алексовом "небольшое изменение API". А меняется API - прогоняется регрессия, чтобы убедиться, что не пострадал существующий функционал. И так же понятно, что никто не отменял юнит и интеграционного тестирования.
"Конфигурационное изменение" - ни о чем мне не говорит, поскольку с архитектурой Twitter я не знаком абсолютно. Поэтому это может быть как безобидное изменение конфиг-файла, так и гораздо менее безобидное кода.
И, кстати, видимо не зря Илон упомянул абсолютно смехотворное "хрупкая кодовая база". Codebase не может быть "хрупким", это процессы, обеспечивающие его валидацию могут не выполнять свои функции.
Это вопрос качества и полноты тест-кейсов. Однако, невозможно, утверждать, что в данном случае, не проводилось регрессионное тестирование, так как, вполне вероятно, что на тестовой среде все прошло успешно, однако особенности продакшн-среды (деплоя, объема, системы масштабирования, разнообразности клиентов, да что угодно) не были учтены. И на старуху бывает проруха. При этом, я не знаю, качества тестирования, архитектуры твиттера, просто знаю, с какими сложностями можно столкнуться на большом, старом проекте и как непросто его менять с каждым годом и что даже безобидное изменение в конфигурации при деплое может привести к неожиданному результату, увы).
Другое дело, что судя по всему, бардак у них полный:
- для любого изменения в продукции нужен "4 eyes principle", уже то что наружу просочилось "один инженер изменил..." - полное позорище
- обычно система проектируется так, что изменения в конфигурации можно быстро вернуть к предыдущей версии. То, что они полдня не могли решить проблемы, означает скорее всего, что у них нет вообще обзора, что и когда менялось в продукции, и долго не могли найти реальную причину, когда все посыпалось.
Если ранее написанные тест кейсы не покрывали ту ситуацию, которая возникла у юзеров, то нельзя сказать, что регрессионное тестирование не проводилось. Возможно, оно проводилось, но все тест кейсы прошли, ибо были не полны 😄. Если сейчас они не напишут тест на эту ситуацию, и ситуация снова воспроизведется, тогда, можно сказать, что регрессионное тестирование не проводится, так как оно подразумевает написание тест кейса на выявленную и исправленную ошибку.
Маск абсолютно прав, уволив чудаков не сделавших даже этого.
Кстати, историй "Маск vs Twitter" набралось уже на целый сериал.
Это мог бы быть первый сериал для АйТи домохозяек обоих полов.
На протяжении 100 серий, разворачивается душешипательная история о жарких отношений Маска с Твиттерчанами:
Груповые заседания, БДСМ кодинг и оптимизирующие бюджет ночные оргии.
Ня!
Что думаете? Тисканем кейс в Нетфликс?
А как клинический идиот может создать самые технологичные компании в мире? Про личное богатство ладно уж, знаем мы случаи... Но у Маска же не "норникель" какой-то купленный на залоговом аукционе? А компании созданные с нуля и которые производят супертехнологичные вещи, которые никто до этого не делал.
- Мартышка, ты чего делаешь?
- Не твоё дело!
- Ну скажи!
- Дашь три рубля - скажу.
- Ну на.
- Ок. Я полошу кожуру от банана.
- Ты что, дура?!
- Я? Не знаю. Но свою тридцадку в день стабильно имею.
- Если с тем, что Маск - добрый гений ("верить в доброго гения"), так это софистика чистой воды. Вы сами же придумали красивое утрированное упрощение "добрый гений", и затем его высмеяли.
- Если с тем, что он основал те компании, что перечислили выше ("фактчекнуть, что же он действительно основал"), то без конкретики наброс странный. Тут хоть 5 кликов, хоть 25. Пытаться принизить достижения этого человека, имхо, занятие довольно бесперспективное.
Саммари про Маска:
1999 - Один из основателей X.Com. Топил за слияние с Confinity, что в итоге привело к созданию на базе этих двух компаний PayPal-а.
en.wikipedia.org
2002 - Основал SpaceX.
en.wikipedia.org
2004 - Основал Tesla. Ну, хорошо, если покопаться, то основали её другие люди, а Маск изначально стал её основным инвестором. Благодаря этому стал председателем совета директоров и по итогу все эти годы назначает штат, включая директора, принимает все важные стратегические решения и т.п.
en.wikipedia.org
2015 - Основал OpenAI (вместе с Сэмом Олтманом, остальные присоединились чуть позже)
en.wikipedia.org
2016 - Основал Neuralink.
en.wikipedia.org
2016 - Основал The Boring Company (TBC).
en.wikipedia.org
Неплохо, даже если отбросить всякую "мелочевку" типа SolarCity (которую Маск основал вместе с двоюрными братьями).
Нехилый такой список простеньких компаний, которые случайно основал. )
P.S. Аналогия Твиттер для Маска=Ватерлоо для Бонапарта довольно уморительная. Наверное, больше ничего хорошего об этой аналогии сказать-то и не получится. )
Не надо было винду делать. Остались бы под досом и ВМС, 90% IT-специалистов так и работали бы на заводах. Всем было бы лучше.
Я, кстати, тогда уже пользовался первыми версиями far (как сейчас помню, была вечная бета 1.20) и уверен, создал больше чем пять директорий за раз. Проблем не помню.
Апд. Таки нагуглил.
Cmd.exe Command History Vulnerability.
Pressing F7 repeatedly (to access command history) during the execution of a command (eg: Dir or Ping) will cause a Kernel STOP (0xC000021A - Fatal System Error) when the command console window is closed.
Итак, там был баг, с который пользователь мог не столкнуться никогда в жизни, возникающий как в анекдоте "а вы на шкаф залезьте". Подобные баги я знаю в os/2, где из командной строки дос-сессии через echo с перенаправлением в свап можно было уронить систему.
Короче, это f7 - чисто рубрика "а вы знаете что?", без практической опасности на нее напороться. А я-то думал что-то серьезное, эх.
"А как дысал, как дысал".
Я понимаю, щеки надувать - не мешки ворочать, но все же.
Ну и с "приложениями" офис коннектился точно ещё под виндой 3.11 - ВБА или его предок работал (если меня не глючит и я не путаю) ещё в Экселе 5.0
Какой был классный ассемблер у моторолловских процессоров!
Простите, но вы вообще ге понимаете о чем рассуждаете.
Кстати, тут можно было бы и упомянуть чуть конкретики. Вот софт от Ворда/Экселя требует то-то таким-то образом. А то сферически в вакууме "связать" - ну такое.
Кстати, 95 и 7 - разные оси. Семёрка - наследник линейки NT. А там и NT4, и 2000, и дальше, работали превосходно.
Но ты прав, что даже процент функций мало кто использует. До сих пор знаю людей, ставящих абзацный отступ пробелами, о стилевой разметке не имеющих понятия.
Причем многие новинки бесит, сколько понадобилось времени до появления. SVG, к примеру, стал понимать пауэрпоинт 2019, а возможности убрать правый текстовый отступ, который наследуется при копипасте из Ворда, нет до сих пор. Только через VBA или редактирование XML.
У меня 95-я и 98-я нормально работали.
А 7-ка как-то раз упала и больше не запускалась.
С тех пор перешёл на Линукс как основную систему (до этого и раньше им пользовался).
Но тогда фраза правильно должна звучать: "я научился не многим новым вещам за 25 лет".
В общем-то вскоро нейросеть оптимизирует все программы на планете, чтобы они теперь занимали около 5% своего объема и работали в десятки раз быстрее. А освободившееся пространство и процессорное время будет использовать для своих нужд. Мы это не заметим, но править миром будет именно скайнет, пока людишки жалуются, что программы с каждым днём всё прожерливей и что процессоры нужны всё быстрее и быстрее.
Офис умел ненамного меньше чем сейчас - изменения вплоть до 2003 были косметическими.
на лыжах...
Хотя знаешь, можешь идти - там никого хреновыми и несбывшимися прогнозами не удивишь.
spoiler alert: в том числе Scala, а Spark тоже для офисных середняков? 😄
А по поводу
Что вы там в 2007 году делали - всем плевать
Что вы там в 2007 году делали - всем плевать, вон Эйлер у себя дома движение планет считал и на хрена только десятки тысяч ученых и инженеров работают в международных группах по проектированию, стройке, ведению наблюдений и обработке результатов современных телескопов.
А про штат - если учитывать, что до Маска Twitter нанимал по 300-400 человек в год по H1B, из которых половина из Индии, процентов 30 из Китая (получше) - можно представить среднее качество.
Можно закидать меня минусами, но за последние 15 лет работы в топ компаниях (финансы, коммуникации) я вижу только общую деградацию уровня сложности задач и их исполнения.
Нет, много чего шуршит, блестит и жужжит, куча новых приложений и концепций, но вот по глубине и широте - ?
Для сравнения - то, что сейчас скалируют на Spark, Databricks + Azure/AWS и т.п. в далеком 2007 в банке из первой тройки мировых мы писали ручками командой в 10-20 человек. Все было в продакшн и часть работает без особых изменений до сих пор.
Задача Твиттер и т.д. - давать моментальный доступ любому человеку на Земле к любой иголке в стоге из триллионов иголок, который пополняется миллионами иголок каждую минуту.
Мне больше кажется, что 550 - это не число инженеров, а вся команда от тимлидов до поддержки. В SpaceX работало в 2021 году почти 9000 инженеров, а делают они передовые и несравнимые по сложности с Twitter вещи.
"Именно сокращение специалистов привело к тому, что работу над крупным проектом с несколькими взаимосвязанными системами вёл всего один инженер, заключает издание."
Потом уволил одного и стало их FF." 😄
ГенДир: срочно нанимаем еще продажников!
(Реальный случай)
Походу понятие контроля версий для них пустой звук.
А бекендщиков, которые не умеют делать поддержку старых и новых версий на лайве одновременно, нужно просто увольнят к ...беням. Вообще не понимаю как они добрались до такого уровня продукта. Им на шлюпках самое место.
Я конечно допускаю, что выкатили совсем кривой клиент, но нормальный сценарий подобного разгильдяйства у меня просто в голове не укладываеться.
И для чего конечному пользователю кастомизированный но все равно технический алерт? Юзеру на понятном языке надо
Они закрывали своё АПИ и в процессе сломали свои же клиенты.
Сообщение "Ваш тариф API не включает доступ к этой функции" не является стандартным, это кастомный алерт с бека и в то же время оно не предназначено для конечного пользователя. Соответственно они берут какуюто апишку от стороннего сервиса.
Другое дело, что нах надо было вообще его покупать, этот "свитер". Еще и за такие сумасшедшие деньги. Тут я в упор не понимаю Маска. Очевидно же, что он так или иначе отживающий свое сервис.
PS Вообще, мне кажется, что диалог зашёл куда-то в:
- (1) Земля плоская!
- (2) Нет, Земля круглая!
- (3) "Круглая" слово вообще не правильное, потому что в лучшем случае нужно говорить "сферическая".
- (2) Ну ок, пусть будет "сферическая".
- (3) Нет, она имеет форму геоида.
Засим прощаюсь, пусть каждый останется при своём мнении.
"фигак, а что это у нас? а это стримы и риал-тайм асинхронные потоки" какой именно фреймворк стримов и "рил-тайм асинхронных потоков" (что бы это ни значило) твиттер вывел в опенсорс?
Или, может быть, это, - внизапно(ц) возникает пуш-CDN, read replicas, шардинг, master-master и master-slave репликация и объектные (пусть файловые) хранилища. Опс, внезапно датацентры по всему миру, горячие свопы и синхронизация API, а также потоковые сервера для медиа - гуголь и тытруба тут нервно смеются, оказывается, это всё придумал твиттер!
PS федерация тут так, как клиент, а не как сервер. Там ещё по тексту много других упрощений и искажений, не нужно к ним цепляться, на всякий случай говорю. Там даже есть специально обученный дисклаймер в начале.
PPS как по мне, порнхаб значительно больше дал, чем нетфликс. В плане технологий, конечно.
Пробежался по их опенсорс проектам - они хорошие и полезные, но даже не рядом по сравнению с тем, что дал миру в виде технологий тот же Нетфликс.
Пс. А где у твитера федерация? Да ещё и в виде того, что это пошло в мир?
А идиот он или не идиот будет видно по результату и здесь угадывать сложно.
Когда задача "сделать вот тут одну новую кнопку" или "добавить в отчёт вот такой агрегат" решается полгода десятком команд, оно становится как-то накладненько. Так вот, апгрейд до более-менее нормального состояния (постепенное параллельное переписывание помодульно) занял почти три года, при этом параллельно работало примерно удвоенное количество спецов (на самом деле, где-то полтора состава). Бабла ушло - немеряно, зато остались на рынке и даже опять обошли конкурентов.
Так что если нет варианта постепенного апгрейда (что легко может ценник операции поднять в десять раз), то остаётся "не трогать старое, но поддерживать как есть, пилить параллельно новое, надеяться, что денег хватит и рынок не уйдёт". И вот это масковское махание шашкой немного настораживает, но, в конце концов, это его деньги.
Вот и Маск покупал не столько код Твиттера, сколько его пользователей. За это он и с прежними хозяевами Твиттера судился, утверждая, что его обманули с количеством пользователей и Твиттер столько не стоит.
Твитер ничему принципиально новому не конкурент как раньше аська не конкурент твитеру. Он даже и непринципиально новому не конкурент, инста его укатала без каких-либо особых проблем.
Дальше кратко, упрощенно и местами неверно для простоты.
- нам нужно хранить 140 символов от юзера.
- юзер может постить картинки.
(пока говорить не о чём, так?)
- таких юзеров сто миллионов, они сидят по всему миру, каждый постит в среднем 5 мегабайт в день, хранить три года.
опс, внизапно(ц) возникает пуш-CDN, read replicas, шардинг, master-master и master-slave репликация и объектные (пусть файловые) хранилища. Опс, внезапно датацентры по всему миру, горячие свопы и синхронизация API, а также потоковые сервера для медиа. Заметь, о фронте или мобайле пока речи вообще нет.
дальше, внизапно(ц) надо показывать ленту и писать каменты. Опс, идентификация, аутентификация, авторизация и всякая, но это позже, федерация. Добавим рекомендации и лайки - фигак, а что это у нас? а это стримы и риал-тайм асинхронные потоки, поверх которых сидят рекомендаторы в виде роботов и модераторы в виде индусов, а ещё графические базы. И всё это, напомню, избыточно и географически размазано по миру.
Отсюда у нас что? а, кэширование и микросервисы. Интеркоммуникации всякие, автоскейлинг, горячая замена... контейнеры... сине-зелёный деплоймент... а/б тестинг...
Но у нас есть простое решение! У нас же есть облако амазон, а там есть всё, а чего нет, то есть в ажуре или гугле! Там есть и кубернетис, и кафка, и всякий редис даже!
...опс, чорт, забыл. У нас вокруг 2006 год и этого ничего нет (ладно, картинки добавили позже, так что и задачи были попроще... сначала). Придётся подождать немного, ну или придумывать и испытывать решения на себе, методом проб и ошибок.
Контрибутить опенсорс там, инженерить свою руби, скалу пробовать, яву тюнить... паркет всякий придумывать... ерунда всякая, конечно, о чём там говорить, можно было у контакта всё украсть... Вот дураки-то.
Ну а про "за такие сумасшедшие деньги" -- так он и не хотел. Его через суд вынудили (он почти вдвое дешевле хотел купить).
То есть вначале это могло быть и искусственным, и маркетинговыми, и даже продавалось как фишка. Но очень скоро оно превратилось в ту самую лошадь, которую зачем-то с собой взяли ямщик и пассажир.
Но нужно ли учиться инновационным способам прикрепления пятой ноги к собаке - большой вопрос. Если ты не психиатр, конечно.
Про масштабирование и сотнимилионов-миллиардов пользователей - эт все понятно. Но это тоже не космические технологии, какбы. Вконтакте и даже гавноклассники с этим справляются. А по нагрузке я думаю порнхаб какой-нибудь превосходит твиттер 😄 И врядли там 7500 сотрудников его обслуживают.
Е6ать спасибо н6хyй!
Я понимаю, что со стороны оно кажется "да фигня вопрос, что там делать, дармоеды, я бы такое за месяц запилил", но, поверьте, это только кажется. К сожалению, чтобы адекватно оценить сложность системы, надо быть довольно продвинутым спецом в этой области. Если надо, я могу кое-что рассказать, как внутри устроены такие штуки – я не работаю и не работал в твиттере, отношения к ним не имею, но архитектура больших распределённых систем это моя тема последние четверть века. Не для хвастовства говорю, тема как тема, есть и посложнее, просто намекаю - не всё, что кажется простым и лёгким снаружи является таковым, когда начинаешь вникать и когда оно отмасштабировано на сотни миллионов пользователей.
Ну да, куда там Интелу, IBM, Microsoft, Apple, Google... Это твиттеру мы оказывается обязанны инновациями )) Какими? Твиттер лет 10 подряд позволял просто запостить сообщение в 140 символов, и пи3дец. В то же время Ютуб уже позволял публиковать многочасовые HD-видео. И тут в 2017-м году Твиттер разрешает аж 280 символов публиковать! Слава инноваторам!
Ну, то есть, да, штат очевидно раздут, но, очевидно, не в таких масштабах, как говорит Маск. И в микросервисных архитектурах увольнять людей, которые владеют знаниями о связях между системами и причинами этих связей – это прям классический выстрел себе в ногу.
А инженеров перевести в оутсорс. Индийский.
И цвет птички изменить. Это главное.
Маск после переписки решил пообщаться с Торлейфссоном лично с помощью видеозвонка, а не переписки. На этот шаг Маск пошёл после того, как коллеги Торлейфссона рассказали о нём и его рабочих принципах более подробно.
«Я хотел бы извиниться перед Торлейфссоном за моё непонимание его ситуации. Это было основано на вещах, которые мне сказали, которые были неправдой или, в некоторых случаях, правдой, но не имели смысла. Он рассматривает возможность остаться в Twitter», — сообщил Маск 8 марта.
Торлейфссон являлся не просто сотрудником платформы. Он основатель цифрового агентства Ueno, приобретённого Twitter в 2021 году. С того времени Торлейфссон со своей небольшой командой работал по различным проектам для соцсети. Он не скрывает своей инвалидности (мышечной дистрофии), полученной в 25 лет, и передвигается в кресле уже 20 лет. Торлейфссон построил 1500 пандусов для инвалидных колясок в Исландии и продолжает благотворительную деятельность в этом направлении.
Согласно СМИ, Маск был в курсе ситуации с Торлейфссоном, когда начал с ним открытую беседу во фривольном стиле с насмешками и подначиванием, что сотрудник этот никто и ничего не делал давно в компании.
«Не буду врать, это самое занимательное экзит-интервью, которое я когда-либо видел», — заявил один из бывших руководителей команд разработчиков Twitter Алекс Коэн.
«Реальность такова, что этот парень (который является независимым и богатым) на самом деле не работал в Twitter, утверждая в качестве оправдания, что у него инвалидность, которая не позволяла ему печатать, но одновременно он твитнул вот эту бурю. Не могу сказать, что я очень уважаю это», — заявил Маск по итогам общения.
- приоретзация дизайн-проектов - это, вообще, маркетологический булшит.
Там дальше было ещё смешнее, чувак написал, что занимался наймом дизайнеров, найм которых был фризнут и ещё что-то подобное.
В общем, журналажки, которые вытащили эту историю, оказали медвежью услугу этому чулаку.
Пойду, что-нибудь поприоритезирую, что ли... Или попытаюсь подзаработать пол ляма. Безуспешно. Потом будет что в резюме написать - возглавлял попытку заработать пол лимона. Приоритезировал влажные мечты о построении дизайн-пректа Нью Васюков. Чудесно же. Обожаю язык маркетологов твиттера! Он действительно много дал миру. Теперь только так и буду писать в отчётах...
Сдаётся мне, что если бы ошибку допустил единственный инженер, то до выпуска в продакшн там ещё эта ошибка должна была обойти все код-ревью, тесты и т.п., поэтому если уж увольнять, то целое подразделение, которое допустило ситуацию.
Только затраты на них
А почему клиентская часть должна требовать аппрува от эпплогуглей? Тем более, если хотфикс заключается в том, чтобы выкатить предыдущую версию.
Криво названую апишку можна и на сервере криво переназвать (да, это гимор) и все взлетит.