The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

GitHub представил Git-хранилище для больших файлов

08.04.2015 23:17

GitHub анонсировал новый сервис Git Large File Storage (LFS), позволяющий использовать Git для отслеживания версий больших файлов, содержащих наборы данных, звук, видео и графику. LFS выполнен в форме открытого расширения к git, позволяющего не загружать лишний раз копии больших файлов при клонировании и извлечении репозитория, благодаря тому, что в штатном Git-репозитории данные файлы заменяются на текстовые ссылки, указывающие на контент в отдельном внешнем репозитории. Код дополнения git-lfs доступен под лицензией MIT. Для хранения больших файлов можно использовать как собственный LFS-сервер, так и LFS-сервер GitHub (бесплатно предоставляется хранилище в 1 Гб).

Работа с подобным репозиторием производится с сохранением обычного рабочего процесса и методов разграничения доступа, как если бы большие файлы находились в текущем репозитории. Для работы не требуется выполнение отдельных команд, обработка выполняется в полностью прозрачном режиме. Типы перемещаемых в отдельное хранилище файлов настраивается через задание фильтра в файле конфигурации ".gitattributes" (например, "*.mp3 filter=lfs -crlf"). Для изменения настроек также можно применять команду "git lfs" (например, git lfs track "*.mp3"), которая управляет конфигурацией в ".gitattributes".

Доступ к серверу Git LFS осуществляется по HTTPS. Подмена осуществляется на уровне метаданных. Синхронизация больших файлов выполняется отдельно на внешнем сервере Git LFS. При выполнении операций checkout большие файлы не загружаются вместе с остальными данными, а синхронизируются с сервера и хранятся в единственной копии. Поддерживаются такие возможности, как кэширование файлов, возобновление прерванной загрузки и передача данных в несколько потоков.



  1. Главная ссылка к новости (https://github.com/blog/1986-a...)
  2. OpenNews: В рамках проекта git-annex assistant развивается аналог Dropbox на базе Git
  3. git-annex - manage files with git, without checking their contents in
  4. GitLab Annex solves the problem of versioning large binaries with git
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/42003-git
Ключевые слова: git
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (35) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (-), 23:48, 08/04/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Слушайте, а посоветуйте что-то подобное только с бОльшими объёмами на халяву, а?
     
     
  • 2.2, Led (ok), 00:04, 09/04/2015 [^] [^^] [^^^] [ответить]  
  • +41 +/
    /dev/null
     
  • 2.3, 1337 (?), 00:10, 09/04/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Берешь репозиторий, DO и Docker...
     
     
  • 3.8, хух (?), 02:00, 09/04/2015 [^] [^^] [^^^] [ответить]  
  • +/
    А что на счёт амазоновского облака? Скажем, если я купил инстанс, место на нем автоматически увеличится в случае чего, или его надо покупать заранее? Объясню: у меня есть проект, с кучей бинарных данных, который я пилил один, до недавнего времени. И теперь у меня задача, перенести это всё дело в какой-то репозиторий, чтобы другие люди могли над этим проектом тоже работать. Сколько будет занимать места вся репа спустя пол года работы — представить не могу, в текущий момент это ~1Гб данных, чистыми.
     
     
  • 4.14, Аноним (-), 07:54, 09/04/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Действительно, ну подпустим вопрос перезалива больших слегка поменявшихся бинарных файлов они решили по rsync-подобному протоколу. А как они будут храниться в репо? Нечто подобное xdelta или банально копия
     
  • 2.4, Crazy Alex (ok), 00:20, 09/04/2015 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Пройти лесом вместе с желанием халявы. Если ты не платишь деньги за чей-то сервис - значит либо ты платишь чем-то другим (и обычно об этом не знаешь, а потом нарываешься в самый неподходящий момент) либо кого-то грабишь/воруешь.
     
  • 2.10, Аноним (-), 04:09, 09/04/2015 [^] [^^] [^^^] [ответить]  
  • +28 +/
    > Слушайте, а посоветуйте что-то подобное только с бОльшими объёмами на халяву, а?

    Сжимай объемы и нет проблем. Пробуй архиватор Попова из стандартных утилит в Болженос. Я свою коллекцию фильмов в HD-качестве храню аттачами к письму в почтовом ящике на 5 мб.

     
     
  • 3.26, Аноним (-), 13:39, 09/04/2015 [^] [^^] [^^^] [ответить]  
  • +2 +/
    >> Слушайте, а посоветуйте что-то подобное только с бОльшими объёмами на халяву, а?
    >
    > Сжимай объемы и нет проблем. Пробуй архиватор Попова из стандартных утилит в Болженос. Я свою коллекцию фильмов в HD-качестве храню аттачами к письму в почтовом ящике на 5 мб.

    А ты знаешь, что разархиватро Попова не входит в стандартные утилиты Болженос?

     
     
  • 4.30, Аноним (-), 16:35, 09/04/2015 [^] [^^] [^^^] [ответить]  
  • +3 +/
    в нестандартные утилиты Болженос он тоже не входит :)
     
  • 2.23, iZEN (ok), 10:59, 09/04/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Слушайте, а посоветуйте что-то подобное только с бОльшими объёмами на халяву, а?

    Microsoft OneDrive - 30 ГБ на учётную запись.
    Облако@mail.ru - 100 ГБ на учётную запись.
    Яндекс.Диск - 10Гб  на учётную запись.

    Почитай обзор: http://www.topobzor.com/obzor-10-oblachnyx-xranilishh-dannyx/.html

     
     
  • 3.25, rhamdeew (?), 12:21, 09/04/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    mail.ru сейчас только 25 гигабайт дает. А давал когда то терабайт.
    Есть еще китайцы с yunpan. Там 36Тб дают.
     
     
  • 4.36, Evgueni (?), 18:07, 10/04/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Что-то я этот терабайт так и не смог завести (закачать туда хоть что-то разумного объёма). Они точно его дают? В смысле не просто декларируют, что дали, а в качестве сервиса предоставляют?
     

  • 1.5, Аноним (-), 01:30, 09/04/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    На Go, говорите, написали?
     
  • 1.6, bugmenot (ok), 01:43, 09/04/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +6 +/
    Где в анонсе Github упоминание про git-annex, появившийся гораздо раньше, де-факто стандарт, работающий по абсолютно тому же принципу, и совместимый с любым WebDAV/SSH сервером, место на которых, вопреки комментариям "икспердов" выше, сейчас стоит копейки?

    Похоже, кое-кто решил по-быстрому создать vendor-locked клон без общепринятого открытого клиента ("экспериментальное" поделие на Go, которым сам Github явно не пользуется, таким не является) и с API на JSON (!!!), и начать рекламировать его как панацею, пользуясь своим именем, попутно взимая за перепродажу места на Amazon Web Services (Github же щас им пользуется для Downloads, не?) неадекватные бабки.

    К сожалению, вывод неутешителен: либо к рулю пришли неадекваты, либо у Github серьёзные финансовые проблемы; в любом случае нужно всерьёз готовиться к переезду на что-то более надёжное и долговечное.

     
     
  • 2.7, Аноним (-), 01:56, 09/04/2015 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Забыл про то откуда у всего этого растут ноги: https://about.gitlab.com/2015/02/17/gitlab-annex-solves-the-problem-of-version
     
     
  • 3.28, Andrey Mitrofanov (?), 14:31, 09/04/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > Забыл про то откуда у всего этого растут ноги:
    > about.gitlab.com/2015/02/17/ gitlab-annex-solves-the-problem-of-versioning-large-binaries-with-git/

    Если там ноги, то http://git-annex.branchable.com/ это что? Ааа, селезёнка.

     
  • 2.13, Аноним (-), 07:51, 09/04/2015 [^] [^^] [^^^] [ответить]  
  • +/
    git-annex отдельная настройка, требующая использования отдельной команды git annex и логически отделяющая большие файлы от остального.
    В git-lfs большие файлы и файлы с кодом логически смешаны, вынос файлов настриавается через конфиг, а workflow абсолютно не меняется, будто эти файлы в локальном репозитории размещаются.
     
  • 2.15, Аноним (-), 08:02, 09/04/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Разница в том, чтобы не парится с отдельной командой и выполнять "git add file.zip" а не "git annex add file.zip".
     
     
  • 3.19, Аноним (-), 09:56, 09/04/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    А может всё же почитаем документацию? https://github.com/github/git-lfs/tree/master/docs/man - где там про использование "git add"? Наоборот, такая же хрень с добавочными командами, что и с git-annex, причём названия команд целенаправленно выбраны наркоманскими ("git track" вместо "git add" etc.)
     
     
  • 4.22, Аноним (-), 10:37, 09/04/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > - где там про использование "git add"? Наоборот, такая же хрень
    > с добавочными командами, что и с git-annex, причём названия команд целенаправленно
    > выбраны наркоманскими ("git track" вместо "git add" etc.)

    Эти добавочные команды только для настройки типов выносимых в отдельный репозиторий файлов и отслеживания его содержимого. Работа производится как с обычным репозиторием через "git add", "git push" и т.п.

    Вот примеры из документации к git-lfs:

    Pushing commits

    Once setup, you're ready to push some commits:

    $ git add my.zip
    $ git commit -m "add zip"

    You can confirm that Git LFS is managing your zip file:

    $ git lfs ls-files
    my.zip

    Once you've made your commits, push your files to the Git remote:

    $ git push origin master
    Sending my.zip
    12.58 MB / 12.58 MB  100.00 %
    Counting objects: 2, done.
    Delta compression using up to 8 threads.
    Compressing objects: 100% (5/5), done.
    Writing objects: 100% (5/5), 548 bytes | 0 bytes/s, done.
    Total 5 (delta 1), reused 0 (delta 0)
    To https://github.com/github/git-lfs-test
       67fcf6a..47b2002  master -> master

     

  • 1.9, Аноним (-), 02:51, 09/04/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Молодцы. В mercurial уже подобное есть. http://mercurial.selenic.com/wiki/LargefilesExtension
     
  • 1.11, Аноним (-), 06:00, 09/04/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +4 +/
    NIH
    git-annex, git-fat, git-media...
     
  • 1.17, Аноним (-), 08:27, 09/04/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    SeaFile
     
     
  • 2.21, ALex_hha (ok), 10:09, 09/04/2015 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > Забыл про то откуда у всего этого растут ноги: https://about.gitlab.com/2015/02/17/gitlab-annex-solves-the-.../

    ага, только вот там есть небольшой нюанс, совсем маленький

    John Roepke
    Do you expect this to make it's way back into the Community Edition of GitLab?

    Sytse Sijbrandij
    We understand the desire to have this in CE but this is one of the few features that is requested by a lot of large organizations and not many small ones. Of course we understand that smaller organizations and individuals like you would like it too. But there has to be extra value in the enterprise edition. [b]We have to make hard decisions about what is EE only and we currently have no plans to port this to CE[/b]

    Ну и типа предлагают workaround
    As a workaround you can setup a separate git-annex server. It will be more work to setup, add the remotes and you don't have the access control that the GitLab integration brings.

    а так все классно :)

    А без самой интеграции с gitlab и необходимостью добавлять дополнительные remotes, я даже  не знаю насколько оно будет полезным и удобным.

     

  • 1.24, arsenicum (??), 11:09, 09/04/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Ответ команды GitLab на эту новость: https://about.gitlab.com/2015/04/08/gitlab-dot-com-storage-limit-raised-to-10g
     
  • 1.27, Аноним (-), 14:16, 09/04/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >GitHub представил Git-хранилище для больших файлов

    Дай дураку стеклянный Git...

     
  • 1.31, Аноним (-), 16:40, 09/04/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    И оно всё написано на Go lang. ! :)
    Я вам сразу говорил, Go - это хороший, правильный езыГ! Смотрите сколько _уже_ полезных вещеё на нйм сделано, а сделают ещё больше!
     
     
  • 2.33, Аноним (-), 20:45, 09/04/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Как езыГ? - Ну, может и хороший..
     
  • 2.35, Аноним (-), 12:03, 10/04/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > _уже_ полезных вещеё на нйм сделано, а сделают ещё больше!

    Ну если вам полезен костыль для бакланов заливающих PSD в гит - ну, кеды вы себе надеюсь уже купили? :)

     
     
  • 3.37, Аноним (-), 21:02, 10/04/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >> _уже_ полезных вещеё на нйм сделано, а сделают ещё больше!
    > Ну если вам полезен костыль для бакланов заливающих PSD в гит -

    А что такое PSD?
    Мне не нужно, но кто то сделал - hence кому то было надо.
    PS: мне тут помахали про то, что народЪ любил собранные бинарики тоже выложить, как на сорсфоржах. Вот теперь можно, и удобно и ... и чем это плохо?
    > ну, кеды вы себе надеюсь уже купили? :)

    я видимо слишком старый - не ффтыкаю я про что ты шутишь :)
    Если про KDE - то мне практически всё равно в чем бровзер и терминал пускать :)
    А если ты про обувь то где смешно?
    А - вот мне снова машут - это типа про хипстеров :) Ну если это поможет клеить из девчонок - то пожалуй куплю ... А борода, свитер и пузо точно не помешают? Кедов достаточно? :)

     
     
  • 4.38, Аноним (-), 21:06, 10/04/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > А что такое PSD?

    Объяснили мне что это такое :(
    Это полчается что я в одном интернете с презренным вантузятнегом 3 минуты был?!?!
    Пошёл мыть руки, кипятить клаву, менять ether-cables на незапятнанные  ...

     
     
  • 5.39, Аноним (-), 00:43, 11/04/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > Объяснили мне что это такое :(

    Это, гм, продукты жизнедеятельности всяких креативных личностей. Иногда, к сожалению, встречается.

     
  • 4.40, Аноним (-), 00:44, 11/04/2015 [^] [^^] [^^^] [ответить]  
  • +/
    >> ну, кеды вы себе надеюсь уже купили? :)
    > я видимо слишком старый - не ффтыкаю я про что ты шутишь :)

    Про кеды а-ля СССР, модные у хипстоты.

     

  • 1.32, Аноним (-), 17:16, 09/04/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    лучше бы в tor-е зеркало замутили, а то ведь заблочат к бабке неходи
     
  • 1.34, Matt Mackall (?), 01:00, 10/04/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Начинаешь пользоваться этой штукой, и твой репозиторий с гитхаба уже без гемора нигде не отзеркалишь. А со временем, глядишь, разработает гитхаб свою несовместимую версию гита, и будет совсем красота.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру