git.sur5r.net Git - minitube/blob - src/video.cpp

   1 /* $BEGIN_LICENSE
   2
   3 This file is part of Minitube.
   4 Copyright 2009, Flavio Tordini <flavio.tordini@gmail.com>
   5
   6 Minitube is free software: you can redistribute it and/or modify
   7 it under the terms of the GNU General Public License as published by
   8 the Free Software Foundation, either version 3 of the License, or
   9 (at your option) any later version.
  10
  11 Minitube is distributed in the hope that it will be useful,
  12 but WITHOUT ANY WARRANTY; without even the implied warranty of
  13 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14 GNU General Public License for more details.
  15
  16 You should have received a copy of the GNU General Public License
  17 along with Minitube.  If not, see <http://www.gnu.org/licenses/>.
  18
  19 $END_LICENSE */
  20
  21 #include "video.h"
  22 #include "networkaccess.h"
  23 #include <QtNetwork>
  24 #include "videodefinition.h"
  25 #include "jsfunctions.h"
  26 #include "temporary.h"
  27 #include "compatibility/qurlqueryhelper.h"
  28 #include "datautils.h"
  29
  30 namespace The {
  31 NetworkAccess* http();
  32 }
  33
  34 namespace {
  35 static const QString jsNameChars = "a-zA-Z0-9\\$_";
  36 }
  37
  38 Video::Video() : m_duration(0),
  39     m_viewCount(-1),
  40     m_license(LicenseYouTube),
  41     definitionCode(0),
  42     elIndex(0),
  43     ageGate(false),
  44     loadingStreamUrl(false),
  45     loadingThumbnail(false) {
  46 }
  47
  48 Video* Video::clone() {
  49     Video* cloneVideo = new Video();
  50     cloneVideo->m_title = m_title;
  51     cloneVideo->m_description = m_description;
  52     cloneVideo->m_channelTitle = m_channelTitle;
  53     cloneVideo->m_channelId = m_channelId;
  54     cloneVideo->m_webpage = m_webpage;
  55     cloneVideo->m_streamUrl = m_streamUrl;
  56     cloneVideo->m_thumbnail = m_thumbnail;
  57     cloneVideo->m_thumbnailUrl = m_thumbnailUrl;
  58     cloneVideo->m_mediumThumbnailUrl = m_mediumThumbnailUrl;
  59     cloneVideo->m_duration = m_duration;
  60     cloneVideo->m_published = m_published;
  61     cloneVideo->m_viewCount = m_viewCount;
  62     cloneVideo->videoId = videoId;
  63     cloneVideo->videoToken = videoToken;
  64     cloneVideo->definitionCode = definitionCode;
  65     return cloneVideo;
  66 }
  67
  68 const QString &Video::webpage() {
  69     if (m_webpage.isEmpty() && !videoId.isEmpty())
  70         m_webpage.append("https://www.youtube.com/watch?v=").append(videoId);
  71     return m_webpage;
  72 }
  73
  74 void Video::setWebpage(const QString &value) {
  75     m_webpage = value;
  76
  77     // Get Video ID
  78     if (videoId.isEmpty()) {
  79         QRegExp re(JsFunctions::instance()->videoIdRE());
  80         if (re.indexIn(m_webpage) == -1) {
  81             qWarning() << QString("Cannot get video id for %1").arg(m_webpage);
  82             // emit errorStreamUrl(QString("Cannot get video id for %1").arg(m_webpage.toString()));
  83             // loadingStreamUrl = false;
  84             return;
  85         }
  86         videoId = re.cap(1);
  87     }
  88 }
  89
  90 void Video::loadThumbnail() {
  91     if (m_thumbnailUrl.isEmpty() || loadingThumbnail) return;
  92     loadingThumbnail = true;
  93     QObject *reply = The::http()->get(m_thumbnailUrl);
  94     connect(reply, SIGNAL(data(QByteArray)), SLOT(setThumbnail(QByteArray)));
  95 }
  96
  97 void Video::setThumbnail(const QByteArray &bytes) {
  98     loadingThumbnail = false;
  99     qreal ratio = qApp->devicePixelRatio();
 100     m_thumbnail = QPixmap();
 101     m_thumbnail.loadFromData(bytes);
 102     m_thumbnail.setDevicePixelRatio(ratio);
 103     const int thumbWidth = 160 * ratio;
 104     if (m_thumbnail.width() > thumbWidth)
 105         m_thumbnail = m_thumbnail.scaledToWidth(thumbWidth, Qt::SmoothTransformation);
 106     emit gotThumbnail();
 107 }
 108
 109 void Video::loadStreamUrl() {
 110     if (loadingStreamUrl) {
 111         qDebug() << "Already loading stream URL for" << this->title();
 112         return;
 113     }
 114     loadingStreamUrl = true;
 115     elIndex = 0;
 116     ageGate = false;
 117
 118     getVideoInfo();
 119 }
 120
 121 void  Video::getVideoInfo() {
 122     static const QStringList elTypes = QStringList() << "&el=embedded" << "&el=detailpage" << "&el=vevo" << "";
 123
 124     QUrl url;
 125     if (elIndex == elTypes.size()) {
 126         // qDebug() << "Trying special embedded el param";
 127         url = QUrl("https://www.youtube.com/get_video_info");
 128
 129         QUrlQueryHelper urlHelper(url);
 130         urlHelper.addQueryItem("video_id", videoId);
 131         urlHelper.addQueryItem("el", "embedded");
 132         urlHelper.addQueryItem("gl", "US");
 133         urlHelper.addQueryItem("hl", "en");
 134         urlHelper.addQueryItem("eurl", "https://youtube.googleapis.com/v/" + videoId);
 135         urlHelper.addQueryItem("asv", "3");
 136         urlHelper.addQueryItem("sts", "1588");
 137     } else if (elIndex > elTypes.size() - 1) {
 138         qWarning() << "Cannot get video info";
 139         loadingStreamUrl = false;
 140         emit errorStreamUrl("Cannot get video info");
 141         return;
 142     } else {
 143         // qDebug() << "Trying el param:" << elTypes.at(elIndex) << elIndex;
 144         url = QUrl(QString(
 145                        "https://www.youtube.com/get_video_info?video_id=%1%2&ps=default&eurl=&gl=US&hl=en"
 146                        ).arg(videoId, elTypes.at(elIndex)));
 147     }
 148
 149     QObject *reply = The::http()->get(url);
 150     connect(reply, SIGNAL(data(QByteArray)), SLOT(gotVideoInfo(QByteArray)));
 151     connect(reply, SIGNAL(error(QNetworkReply*)), SLOT(errorVideoInfo(QNetworkReply*)));
 152
 153     // see you in gotVideoInfo...
 154 }
 155
 156 void  Video::gotVideoInfo(const QByteArray &bytes) {
 157     QString videoInfo = QString::fromUtf8(bytes);
 158     // qDebug() << "videoInfo" << videoInfo;
 159
 160     // get video token
 161     QRegExp videoTokeRE(JsFunctions::instance()->videoTokenRE());
 162     if (videoTokeRE.indexIn(videoInfo) == -1) {
 163         qDebug() << "Cannot get token. Trying next el param" << videoInfo << videoTokeRE.pattern();
 164         // Don't panic! We're gonna try another magic "el" param
 165         elIndex++;
 166         getVideoInfo();
 167         return;
 168     }
 169
 170     QString videoToken = videoTokeRE.cap(1);
 171     // qDebug() << "got token" << videoToken;
 172     while (videoToken.contains('%'))
 173         videoToken = QByteArray::fromPercentEncoding(videoToken.toLatin1());
 174     // qDebug() << "videoToken" << videoToken;
 175     this->videoToken = videoToken;
 176
 177     // get fmt_url_map
 178     QRegExp fmtMapRE(JsFunctions::instance()->videoInfoFmtMapRE());
 179     if (fmtMapRE.indexIn(videoInfo) == -1) {
 180         // qDebug() << "Cannot get urlMap. Trying next el param";
 181         // Don't panic! We're gonna try another magic "el" param
 182         elIndex++;
 183         getVideoInfo();
 184         return;
 185     }
 186
 187     // qDebug() << "Got token and urlMap" << elIndex;
 188
 189     QString fmtUrlMap = fmtMapRE.cap(1);
 190     // qDebug() << "got fmtUrlMap" << fmtUrlMap;
 191     fmtUrlMap = QByteArray::fromPercentEncoding(fmtUrlMap.toUtf8());
 192     parseFmtUrlMap(fmtUrlMap);
 193 }
 194
 195 void Video::parseFmtUrlMap(const QString &fmtUrlMap, bool fromWebPage) {
 196     const QString definitionName = QSettings().value("definition", "360p").toString();
 197     const VideoDefinition& definition = VideoDefinition::getDefinitionFor(definitionName);
 198
 199     // qDebug() << "fmtUrlMap" << fmtUrlMap;
 200     const QStringList formatUrls = fmtUrlMap.split(',', QString::SkipEmptyParts);
 201     QHash<int, QString> urlMap;
 202     foreach(const QString &formatUrl, formatUrls) {
 203         // qDebug() << "formatUrl" << formatUrl;
 204         const QStringList urlParams = formatUrl.split('&', QString::SkipEmptyParts);
 205         // qDebug() << "urlParams" << urlParams;
 206
 207         int format = -1;
 208         QString url;
 209         QString sig;
 210         foreach(const QString &urlParam, urlParams) {
 211             // qWarning() << urlParam;
 212             if (urlParam.startsWith("itag=")) {
 213                 int separator = urlParam.indexOf("=");
 214                 format = urlParam.mid(separator + 1).toInt();
 215             } else if (urlParam.startsWith("url=")) {
 216                 int separator = urlParam.indexOf("=");
 217                 url = urlParam.mid(separator + 1);
 218                 url = QByteArray::fromPercentEncoding(url.toUtf8());
 219             } else if (urlParam.startsWith("sig=")) {
 220                 int separator = urlParam.indexOf("=");
 221                 sig = urlParam.mid(separator + 1);
 222                 sig = QByteArray::fromPercentEncoding(sig.toUtf8());
 223             } else if (urlParam.startsWith("s=")) {
 224                 if (fromWebPage || ageGate) {
 225                     int separator = urlParam.indexOf("=");
 226                     sig = urlParam.mid(separator + 1);
 227                     sig = QByteArray::fromPercentEncoding(sig.toUtf8());
 228                     if (ageGate)
 229                         sig = JsFunctions::instance()->decryptAgeSignature(sig);
 230                     else {
 231                         sig = decryptSignature(sig);
 232                         if (sig.isEmpty())
 233                             sig = JsFunctions::instance()->decryptSignature(sig);
 234                     }
 235                 } else {
 236
 237                     QUrl url("http://www.youtube.com/watch");
 238                     {
 239                         QUrlQueryHelper urlHelper(url);
 240                         urlHelper.addQueryItem("v", videoId);
 241                         urlHelper.addQueryItem("gl", "US");
 242                         urlHelper.addQueryItem("hl", "en");
 243                         urlHelper.addQueryItem("has_verified", "1");
 244                     }
 245                     // qDebug() << "Loading webpage" << url;
 246                     QObject *reply = The::http()->get(url);
 247                     connect(reply, SIGNAL(data(QByteArray)), SLOT(scrapeWebPage(QByteArray)));
 248                     connect(reply, SIGNAL(error(QNetworkReply*)), SLOT(errorVideoInfo(QNetworkReply*)));
 249                     // see you in scrapWebPage(QByteArray)
 250                     return;
 251                 }
 252             }
 253         }
 254         if (format == -1 || url.isNull()) continue;
 255
 256         url += "&signature=" + sig;
 257
 258         if (!url.contains("ratebypass"))
 259             url += "&ratebypass=yes";
 260
 261         // qWarning() << url;
 262
 263         if (format == definition.getCode()) {
 264             // qDebug() << "Found format" << definitionCode;
 265             saveDefinitionForUrl(url, definition);
 266             return;
 267         }
 268
 269         urlMap.insert(format, url);
 270     }
 271
 272     const QList<VideoDefinition>& definitions = VideoDefinition::getDefinitions();
 273     int previousIndex = std::max(definitions.indexOf(definition) - 1, 0);
 274     for (; previousIndex >= 0; previousIndex--) {
 275         const VideoDefinition& previousDefinition = definitions.at(previousIndex);
 276         if (urlMap.contains(previousDefinition.getCode())) {
 277             // qDebug() << "Found format" << definitionCode;
 278             saveDefinitionForUrl(urlMap.value(previousDefinition.getCode()),
 279                                  previousDefinition);
 280             return;
 281         }
 282     }
 283
 284     emit errorStreamUrl(tr("Cannot get video stream for %1").arg(m_webpage));
 285 }
 286
 287 void Video::errorVideoInfo(QNetworkReply *reply) {
 288     loadingStreamUrl = false;
 289     emit errorStreamUrl(tr("Network error: %1 for %2").arg(reply->errorString(), reply->url().toString()));
 290 }
 291
 292 void Video::scrapeWebPage(const QByteArray &bytes) {
 293     QString html = QString::fromUtf8(bytes);
 294
 295     QRegExp ageGateRE(JsFunctions::instance()->ageGateRE());
 296     if (ageGateRE.indexIn(html) != -1) {
 297         // qDebug() << "Found ageGate";
 298         ageGate = true;
 299         elIndex = 4;
 300         getVideoInfo();
 301         return;
 302     }
 303
 304     QRegExp fmtMapRE(JsFunctions::instance()->webPageFmtMapRE());
 305     if (fmtMapRE.indexIn(html) == -1) {
 306         qWarning() << "Error parsing video page";
 307         // emit errorStreamUrl("Error parsing video page");
 308         // loadingStreamUrl = false;
 309         elIndex++;
 310         getVideoInfo();
 311         return;
 312     }
 313     fmtUrlMap = fmtMapRE.cap(1);
 314     fmtUrlMap.replace("\\u0026", "&");
 315     // parseFmtUrlMap(fmtUrlMap, true);
 316
 317 #ifdef APP_DASH
 318     QSettings settings;
 319     QString definitionName = settings.value("definition", "360p").toString();
 320     if (definitionName == QLatin1String("1080p")) {
 321         QRegExp dashManifestRe("\"dashmpd\":\\s*\"([^\"]+)\"");
 322         if (dashManifestRe.indexIn(html) != -1) {
 323             dashManifestUrl = dashManifestRe.cap(1);
 324             dashManifestUrl.remove('\\');
 325             qDebug() << "dashManifestUrl" << dashManifestUrl;
 326         }
 327     }
 328 #endif
 329
 330     QRegExp jsPlayerRe(JsFunctions::instance()->jsPlayerRE());
 331     if (jsPlayerRe.indexIn(html) != -1) {
 332         QString jsPlayerUrl = jsPlayerRe.cap(1);
 333         jsPlayerUrl.remove('\\');
 334         jsPlayerUrl = "http:" + jsPlayerUrl;
 335         // qDebug() << "jsPlayerUrl" << jsPlayerUrl;
 336         /*
 337                     QRegExp jsPlayerIdRe("-(.+)\\.js");
 338                     jsPlayerIdRe.indexIn(jsPlayerUrl);
 339                     QString jsPlayerId = jsPlayerRe.cap(1);
 340                     */
 341         QObject *reply = The::http()->get(jsPlayerUrl);
 342         connect(reply, SIGNAL(data(QByteArray)), SLOT(parseJsPlayer(QByteArray)));
 343         connect(reply, SIGNAL(error(QNetworkReply*)), SLOT(errorVideoInfo(QNetworkReply*)));
 344     }
 345 }
 346
 347 void Video::parseJsPlayer(const QByteArray &bytes) {
 348     QString js = QString::fromUtf8(bytes);
 349     // qWarning() << "jsPlayer" << js;
 350
 351     // QRegExp funcNameRe("\"signature\"\\w*,\\w*([" + jsNameChars + "]+)");
 352     QRegExp funcNameRe(JsFunctions::instance()->signatureFunctionNameRE().arg(jsNameChars));
 353
 354     if (funcNameRe.indexIn(js) == -1) {
 355         qWarning() << "Cannot capture signature function name" << js;
 356     } else {
 357         sigFuncName = funcNameRe.cap(1);
 358         captureFunction(sigFuncName, js);
 359         // qWarning() << sigFunctions << sigObjects;
 360     }
 361
 362 #ifdef APP_DASH
 363     if (!dashManifestUrl.isEmpty()) {
 364         QRegExp sigRe("/s/([\\w\\.]+)");
 365         if (sigRe.indexIn(dashManifestUrl) != -1) {
 366             qDebug() << "Decrypting signature for dash manifest";
 367             QString sig = sigRe.cap(1);
 368             sig = decryptSignature(sig);
 369             dashManifestUrl.replace(sigRe, "/signature/" + sig);
 370             qDebug() << dashManifestUrl;
 371
 372             if (false) {
 373                 // let phonon play the manifest
 374                 m_streamUrl = dashManifestUrl;
 375                 this->definitionCode = 37;
 376                 emit gotStreamUrl(m_streamUrl);
 377                 loadingStreamUrl = false;
 378             } else {
 379                 // download the manifest
 380                 QObject *reply = The::http()->get(QUrl::fromEncoded(dashManifestUrl.toUtf8()));
 381                 connect(reply, SIGNAL(data(QByteArray)), SLOT(parseDashManifest(QByteArray)));
 382                 connect(reply, SIGNAL(error(QNetworkReply*)), SLOT(errorVideoInfo(QNetworkReply*)));
 383             }
 384
 385             return;
 386         }
 387     }
 388 #endif
 389
 390     parseFmtUrlMap(fmtUrlMap, true);
 391 }
 392
 393 void Video::parseDashManifest(const QByteArray &bytes) {
 394     QFile file(Temporary::filename() + ".mpd");
 395     if (!file.open(QIODevice::WriteOnly))
 396         qWarning() << file.errorString() << file.fileName();
 397     QDataStream stream(&file);
 398     stream.writeRawData(bytes.constData(), bytes.size());
 399
 400     m_streamUrl = "file://" + file.fileName();
 401     this->definitionCode = 37;
 402     emit gotStreamUrl(m_streamUrl);
 403     loadingStreamUrl = false;
 404 }
 405
 406 void Video::captureFunction(const QString &name, const QString &js) {
 407     const QString argsAndBody = "\\s*\\([" + jsNameChars + ",\\s]*\\)\\s*\\{[^\\}]+\\}";
 408     QString func;
 409     QRegExp funcRe("function\\s+" + QRegExp::escape(name) + argsAndBody);
 410     if (funcRe.indexIn(js) != -1) {
 411         func = funcRe.cap(0);
 412     } else {
 413         // try var foo = function(bar) { };
 414         funcRe = QRegExp("var\\s+" + QRegExp::escape(name) + "\\s*=\\s*function" + argsAndBody);
 415         if (funcRe.indexIn(js) != -1) {
 416             func = funcRe.cap(0);
 417         } else {
 418             // try ,gr= function(bar) { };
 419             funcRe = QRegExp("[,\\s;}\\.\\)](" + QRegExp::escape(name) + "\\s*=\\s*function" + argsAndBody + ")");
 420             if (funcRe.indexIn(js) != -1) {
 421                 func = funcRe.cap(1);
 422             } else {
 423                 qWarning() << "Cannot capture function" << name;
 424                 return;
 425             }
 426         }
 427     }
 428     sigFunctions.insert(name, func);
 429
 430     // capture inner functions
 431     QRegExp invokedFuncRe("[\\s=;\\(]([" + jsNameChars + "]+)\\s*\\([" + jsNameChars + ",\\s]+\\)");
 432     int pos = name.length() + 9;
 433     while ((pos = invokedFuncRe.indexIn(func, pos)) != -1) {
 434         QString funcName = invokedFuncRe.cap(1);
 435         if (!sigFunctions.contains(funcName))
 436             captureFunction(funcName, js);
 437         pos += invokedFuncRe.matchedLength();
 438     }
 439
 440     // capture referenced objects
 441     QRegExp objRe("[\\s=;\\(]([" + jsNameChars + "]+)\\.[" + jsNameChars + "]+");
 442     pos = name.length() + 9;
 443     while ((pos = objRe.indexIn(func, pos)) != -1) {
 444         QString objName = objRe.cap(1);
 445         if (!sigObjects.contains(objName))
 446             captureObject(objName, js);
 447         pos += objRe.matchedLength();
 448     }
 449 }
 450
 451 void Video::captureObject(const QString &name, const QString &js) {
 452     QRegExp re("var\\s+" + QRegExp::escape(name) + "\\s*=\\s*\\{.*\\}\\s*;");
 453     re.setMinimal(true);
 454     if (re.indexIn(js) == -1) {
 455         qWarning() << "Cannot capture object" << name;
 456         return;
 457     }
 458     QString obj = re.cap(0);
 459     sigObjects.insert(name, obj);
 460 }
 461
 462 QString Video::decryptSignature(const QString &s) {
 463     if (sigFuncName.isEmpty()) return QString();
 464     QScriptEngine engine;
 465     foreach (const QString &f, sigObjects.values()) {
 466         QScriptValue value = engine.evaluate(f);
 467         if (value.isError())
 468             qWarning() << "Error in" << f << value.toString();
 469     }
 470     foreach (const QString &f, sigFunctions.values()) {
 471         QScriptValue value = engine.evaluate(f);
 472         if (value.isError())
 473             qWarning() << "Error in" << f << value.toString();
 474     }
 475     QString js = sigFuncName + "('" + s + "');";
 476     QScriptValue value = engine.evaluate(js);
 477     if (value.isUndefined()) {
 478         qWarning() << "Undefined result for" << js;
 479         return QString();
 480     }
 481     if (value.isError()) {
 482         qWarning() << "Error in" << js << value.toString();
 483         return QString();
 484     }
 485     return value.toString();
 486 }
 487
 488 QString Video::formattedDuration() const {
 489     return DataUtils::formatDuration(m_duration);
 490 }
 491
 492 void Video::saveDefinitionForUrl(const QString& url, const VideoDefinition& definition) {
 493     const QUrl videoUrl = QUrl::fromEncoded(url.toUtf8(), QUrl::StrictMode);
 494     m_streamUrl = videoUrl;
 495     definitionCode = definition.getCode();
 496     emit gotStreamUrl(videoUrl);
 497     loadingStreamUrl = false;
 498 }
 499