git.sur5r.net Git - minitube/blob - src/video.cpp

   1 /* $BEGIN_LICENSE
   2
   3 This file is part of Minitube.
   4 Copyright 2009, Flavio Tordini <flavio.tordini@gmail.com>
   5
   6 Minitube is free software: you can redistribute it and/or modify
   7 it under the terms of the GNU General Public License as published by
   8 the Free Software Foundation, either version 3 of the License, or
   9 (at your option) any later version.
  10
  11 Minitube is distributed in the hope that it will be useful,
  12 but WITHOUT ANY WARRANTY; without even the implied warranty of
  13 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14 GNU General Public License for more details.
  15
  16 You should have received a copy of the GNU General Public License
  17 along with Minitube.  If not, see <http://www.gnu.org/licenses/>.
  18
  19 $END_LICENSE */
  20
  21 #include "video.h"
  22 #include "networkaccess.h"
  23 #include <QtNetwork>
  24 #include "videodefinition.h"
  25 #include "jsfunctions.h"
  26 #include "temporary.h"
  27 #include "compatibility/qurlqueryhelper.h"
  28
  29 namespace The {
  30 NetworkAccess* http();
  31 }
  32
  33 namespace {
  34 static const QString jsNameChars = "a-zA-Z0-9\\$_";
  35 }
  36
  37 Video::Video() : m_duration(0),
  38     m_viewCount(-1),
  39     m_license(LicenseYouTube),
  40     definitionCode(0),
  41     elIndex(0),
  42     ageGate(false),
  43     loadingStreamUrl(false),
  44     loadingThumbnail(false) {
  45 }
  46
  47 Video* Video::clone() {
  48     Video* cloneVideo = new Video();
  49     cloneVideo->m_title = m_title;
  50     cloneVideo->m_description = m_description;
  51     cloneVideo->m_channelTitle = m_channelTitle;
  52     cloneVideo->m_channelId = m_channelId;
  53     cloneVideo->m_webpage = m_webpage;
  54     cloneVideo->m_streamUrl = m_streamUrl;
  55     cloneVideo->m_thumbnail = m_thumbnail;
  56     cloneVideo->m_thumbnailUrl = m_thumbnailUrl;
  57     cloneVideo->m_mediumThumbnailUrl = m_mediumThumbnailUrl;
  58     cloneVideo->m_duration = m_duration;
  59     cloneVideo->m_published = m_published;
  60     cloneVideo->m_viewCount = m_viewCount;
  61     cloneVideo->videoId = videoId;
  62     cloneVideo->videoToken = videoToken;
  63     cloneVideo->definitionCode = definitionCode;
  64     return cloneVideo;
  65 }
  66
  67 const QString &Video::webpage() {
  68     if (m_webpage.isEmpty() && !videoId.isEmpty())
  69         m_webpage.append("https://www.youtube.com/watch?v=").append(videoId);
  70     return m_webpage;
  71 }
  72
  73 void Video::setWebpage(const QString &value) {
  74     m_webpage = value;
  75
  76     // Get Video ID
  77     if (videoId.isEmpty()) {
  78         QRegExp re(JsFunctions::instance()->videoIdRE());
  79         if (re.indexIn(m_webpage) == -1) {
  80             qWarning() << QString("Cannot get video id for %1").arg(m_webpage);
  81             // emit errorStreamUrl(QString("Cannot get video id for %1").arg(m_webpage.toString()));
  82             // loadingStreamUrl = false;
  83             return;
  84         }
  85         videoId = re.cap(1);
  86     }
  87 }
  88
  89 void Video::loadThumbnail() {
  90     if (m_thumbnailUrl.isEmpty() || loadingThumbnail) return;
  91     loadingThumbnail = true;
  92     QObject *reply = The::http()->get(m_thumbnailUrl);
  93     connect(reply, SIGNAL(data(QByteArray)), SLOT(setThumbnail(QByteArray)));
  94 }
  95
  96 void Video::setThumbnail(QByteArray bytes) {
  97     loadingThumbnail = false;
  98     m_thumbnail = QPixmap();
  99     m_thumbnail.loadFromData(bytes);
 100     if (m_thumbnail.width() > 160)
 101         m_thumbnail = m_thumbnail.scaledToWidth(160, Qt::SmoothTransformation);
 102     emit gotThumbnail();
 103 }
 104
 105 void Video::loadMediumThumbnail() {
 106     if (m_mediumThumbnailUrl.isEmpty()) return;
 107     QObject *reply = The::http()->get(m_mediumThumbnailUrl);
 108     connect(reply, SIGNAL(data(QByteArray)), SIGNAL(gotMediumThumbnail(QByteArray)));
 109 }
 110
 111 void Video::loadStreamUrl() {
 112     if (loadingStreamUrl) {
 113         qDebug() << "Already loading stream URL for" << this->title();
 114         return;
 115     }
 116     loadingStreamUrl = true;
 117     elIndex = 0;
 118     ageGate = false;
 119
 120     getVideoInfo();
 121 }
 122
 123 void  Video::getVideoInfo() {
 124     static const QStringList elTypes = QStringList() << "&el=embedded" << "&el=detailpage" << "&el=vevo" << "";
 125
 126     QUrl url;
 127     if (elIndex == elTypes.size()) {
 128         // qDebug() << "Trying special embedded el param";
 129         url = QUrl("https://www.youtube.com/get_video_info");
 130
 131         QUrlQueryHelper urlHelper(url);
 132         urlHelper.addQueryItem("video_id", videoId);
 133         urlHelper.addQueryItem("el", "embedded");
 134         urlHelper.addQueryItem("gl", "US");
 135         urlHelper.addQueryItem("hl", "en");
 136         urlHelper.addQueryItem("eurl", "https://youtube.googleapis.com/v/" + videoId);
 137         urlHelper.addQueryItem("asv", "3");
 138         urlHelper.addQueryItem("sts", "1588");
 139     } else if (elIndex > elTypes.size() - 1) {
 140         qWarning() << "Cannot get video info";
 141         loadingStreamUrl = false;
 142         emit errorStreamUrl("Cannot get video info");
 143         return;
 144     } else {
 145         // qDebug() << "Trying el param:" << elTypes.at(elIndex) << elIndex;
 146         url = QUrl(QString(
 147                        "https://www.youtube.com/get_video_info?video_id=%1%2&ps=default&eurl=&gl=US&hl=en"
 148                        ).arg(videoId, elTypes.at(elIndex)));
 149     }
 150
 151     QObject *reply = The::http()->get(url);
 152     connect(reply, SIGNAL(data(QByteArray)), SLOT(gotVideoInfo(QByteArray)));
 153     connect(reply, SIGNAL(error(QNetworkReply*)), SLOT(errorVideoInfo(QNetworkReply*)));
 154
 155     // see you in gotVideoInfo...
 156 }
 157
 158 void  Video::gotVideoInfo(QByteArray data) {
 159     QString videoInfo = QString::fromUtf8(data);
 160     // qDebug() << "videoInfo" << videoInfo;
 161
 162     // get video token
 163     QRegExp videoTokeRE(JsFunctions::instance()->videoTokenRE());
 164     if (videoTokeRE.indexIn(videoInfo) == -1) {
 165         qDebug() << "Cannot get token. Trying next el param" << videoInfo << videoTokeRE.pattern();
 166         // Don't panic! We're gonna try another magic "el" param
 167         elIndex++;
 168         getVideoInfo();
 169         return;
 170     }
 171
 172     QString videoToken = videoTokeRE.cap(1);
 173     // qDebug() << "got token" << videoToken;
 174     while (videoToken.contains('%'))
 175         videoToken = QByteArray::fromPercentEncoding(videoToken.toLatin1());
 176     // qDebug() << "videoToken" << videoToken;
 177     this->videoToken = videoToken;
 178
 179     // get fmt_url_map
 180     QRegExp fmtMapRE(JsFunctions::instance()->videoInfoFmtMapRE());
 181     if (fmtMapRE.indexIn(videoInfo) == -1) {
 182         // qDebug() << "Cannot get urlMap. Trying next el param";
 183         // Don't panic! We're gonna try another magic "el" param
 184         elIndex++;
 185         getVideoInfo();
 186         return;
 187     }
 188
 189     // qDebug() << "Got token and urlMap" << elIndex;
 190
 191     QString fmtUrlMap = fmtMapRE.cap(1);
 192     // qDebug() << "got fmtUrlMap" << fmtUrlMap;
 193     fmtUrlMap = QByteArray::fromPercentEncoding(fmtUrlMap.toUtf8());
 194     parseFmtUrlMap(fmtUrlMap);
 195 }
 196
 197 void Video::parseFmtUrlMap(const QString &fmtUrlMap, bool fromWebPage) {
 198     const QString definitionName = QSettings().value("definition", "360p").toString();
 199     const VideoDefinition& definition = VideoDefinition::getDefinitionFor(definitionName);
 200
 201     // qDebug() << "fmtUrlMap" << fmtUrlMap;
 202     const QStringList formatUrls = fmtUrlMap.split(',', QString::SkipEmptyParts);
 203     QHash<int, QString> urlMap;
 204     foreach(const QString &formatUrl, formatUrls) {
 205         // qDebug() << "formatUrl" << formatUrl;
 206         const QStringList urlParams = formatUrl.split('&', QString::SkipEmptyParts);
 207         // qDebug() << "urlParams" << urlParams;
 208
 209         int format = -1;
 210         QString url;
 211         QString sig;
 212         foreach(const QString &urlParam, urlParams) {
 213             // qWarning() << urlParam;
 214             if (urlParam.startsWith("itag=")) {
 215                 int separator = urlParam.indexOf("=");
 216                 format = urlParam.mid(separator + 1).toInt();
 217             } else if (urlParam.startsWith("url=")) {
 218                 int separator = urlParam.indexOf("=");
 219                 url = urlParam.mid(separator + 1);
 220                 url = QByteArray::fromPercentEncoding(url.toUtf8());
 221             } else if (urlParam.startsWith("sig=")) {
 222                 int separator = urlParam.indexOf("=");
 223                 sig = urlParam.mid(separator + 1);
 224                 sig = QByteArray::fromPercentEncoding(sig.toUtf8());
 225             } else if (urlParam.startsWith("s=")) {
 226                 if (fromWebPage || ageGate) {
 227                     int separator = urlParam.indexOf("=");
 228                     sig = urlParam.mid(separator + 1);
 229                     sig = QByteArray::fromPercentEncoding(sig.toUtf8());
 230                     if (ageGate)
 231                         sig = JsFunctions::instance()->decryptAgeSignature(sig);
 232                     else {
 233                         sig = decryptSignature(sig);
 234                         if (sig.isEmpty())
 235                             sig = JsFunctions::instance()->decryptSignature(sig);
 236                     }
 237                 } else {
 238
 239                     QUrl url("http://www.youtube.com/watch");
 240                     {
 241                         QUrlQueryHelper urlHelper(url);
 242                         urlHelper.addQueryItem("v", videoId);
 243                         urlHelper.addQueryItem("gl", "US");
 244                         urlHelper.addQueryItem("hl", "en");
 245                         urlHelper.addQueryItem("has_verified", "1");
 246                     }
 247                     // qDebug() << "Loading webpage" << url;
 248                     QObject *reply = The::http()->get(url);
 249                     connect(reply, SIGNAL(data(QByteArray)), SLOT(scrapeWebPage(QByteArray)));
 250                     connect(reply, SIGNAL(error(QNetworkReply*)), SLOT(errorVideoInfo(QNetworkReply*)));
 251                     // see you in scrapWebPage(QByteArray)
 252                     return;
 253                 }
 254             }
 255         }
 256         if (format == -1 || url.isNull()) continue;
 257
 258         url += "&signature=" + sig;
 259
 260         if (!url.contains("ratebypass"))
 261             url += "&ratebypass=yes";
 262
 263         // qWarning() << url;
 264
 265         if (format == definition.getCode()) {
 266             // qDebug() << "Found format" << definitionCode;
 267             saveDefinitionForUrl(url, definition);
 268             return;
 269         }
 270
 271         urlMap.insert(format, url);
 272     }
 273
 274     const QList<VideoDefinition>& definitions = VideoDefinition::getDefinitions();
 275     int previousIndex = std::max(definitions.indexOf(definition) - 1, 0);
 276     for (; previousIndex >= 0; previousIndex--) {
 277         const VideoDefinition& previousDefinition = definitions.at(previousIndex);
 278         if (urlMap.contains(previousDefinition.getCode())) {
 279             // qDebug() << "Found format" << definitionCode;
 280             saveDefinitionForUrl(urlMap.value(previousDefinition.getCode()),
 281                                  previousDefinition);
 282             return;
 283         }
 284     }
 285
 286     emit errorStreamUrl(tr("Cannot get video stream for %1").arg(m_webpage));
 287 }
 288
 289 void Video::errorVideoInfo(QNetworkReply *reply) {
 290     loadingStreamUrl = false;
 291     emit errorStreamUrl(tr("Network error: %1 for %2").arg(reply->errorString(), reply->url().toString()));
 292 }
 293
 294 void Video::scrapeWebPage(QByteArray data) {
 295     QString html = QString::fromUtf8(data);
 296
 297     QRegExp ageGateRE(JsFunctions::instance()->ageGateRE());
 298     if (ageGateRE.indexIn(html) != -1) {
 299         // qDebug() << "Found ageGate";
 300         ageGate = true;
 301         elIndex = 4;
 302         getVideoInfo();
 303         return;
 304     }
 305
 306     QRegExp fmtMapRE(JsFunctions::instance()->webPageFmtMapRE());
 307     if (fmtMapRE.indexIn(html) == -1) {
 308         qWarning() << "Error parsing video page";
 309         // emit errorStreamUrl("Error parsing video page");
 310         // loadingStreamUrl = false;
 311         elIndex++;
 312         getVideoInfo();
 313         return;
 314     }
 315     fmtUrlMap = fmtMapRE.cap(1);
 316     fmtUrlMap.replace("\\u0026", "&");
 317     // parseFmtUrlMap(fmtUrlMap, true);
 318
 319 #ifdef APP_DASH
 320     QSettings settings;
 321     QString definitionName = settings.value("definition", "360p").toString();
 322     if (definitionName == QLatin1String("1080p")) {
 323         QRegExp dashManifestRe("\"dashmpd\":\\s*\"([^\"]+)\"");
 324         if (dashManifestRe.indexIn(html) != -1) {
 325             dashManifestUrl = dashManifestRe.cap(1);
 326             dashManifestUrl.remove('\\');
 327             qDebug() << "dashManifestUrl" << dashManifestUrl;
 328         }
 329     }
 330 #endif
 331
 332     QRegExp jsPlayerRe(JsFunctions::instance()->jsPlayerRE());
 333     if (jsPlayerRe.indexIn(html) != -1) {
 334         QString jsPlayerUrl = jsPlayerRe.cap(1);
 335         jsPlayerUrl.remove('\\');
 336         jsPlayerUrl = "http:" + jsPlayerUrl;
 337         // qDebug() << "jsPlayerUrl" << jsPlayerUrl;
 338         /*
 339                     QRegExp jsPlayerIdRe("-(.+)\\.js");
 340                     jsPlayerIdRe.indexIn(jsPlayerUrl);
 341                     QString jsPlayerId = jsPlayerRe.cap(1);
 342                     */
 343         QObject *reply = The::http()->get(jsPlayerUrl);
 344         connect(reply, SIGNAL(data(QByteArray)), SLOT(parseJsPlayer(QByteArray)));
 345         connect(reply, SIGNAL(error(QNetworkReply*)), SLOT(errorVideoInfo(QNetworkReply*)));
 346     }
 347 }
 348
 349 void Video::parseJsPlayer(QByteArray bytes) {
 350     QString js = QString::fromUtf8(bytes);
 351     // qWarning() << "jsPlayer" << js;
 352
 353     // QRegExp funcNameRe("\"signature\"\\w*,\\w*([" + jsNameChars + "]+)");
 354     QRegExp funcNameRe(JsFunctions::instance()->signatureFunctionNameRE().arg(jsNameChars));
 355
 356     if (funcNameRe.indexIn(js) == -1) {
 357         qWarning() << "Cannot capture signature function name" << js;
 358     } else {
 359         sigFuncName = funcNameRe.cap(1);
 360         captureFunction(sigFuncName, js);
 361         // qWarning() << sigFunctions;
 362     }
 363
 364 #ifdef APP_DASH
 365     if (!dashManifestUrl.isEmpty()) {
 366         QRegExp sigRe("/s/([\\w\\.]+)");
 367         if (sigRe.indexIn(dashManifestUrl) != -1) {
 368             qDebug() << "Decrypting signature for dash manifest";
 369             QString sig = sigRe.cap(1);
 370             sig = decryptSignature(sig);
 371             dashManifestUrl.replace(sigRe, "/signature/" + sig);
 372             qDebug() << dashManifestUrl;
 373
 374             if (false) {
 375                 // let phonon play the manifest
 376                 m_streamUrl = dashManifestUrl;
 377                 this->definitionCode = 37;
 378                 emit gotStreamUrl(m_streamUrl);
 379                 loadingStreamUrl = false;
 380             } else {
 381                 // download the manifest
 382                 QObject *reply = The::http()->get(QUrl::fromEncoded(dashManifestUrl.toUtf8()));
 383                 connect(reply, SIGNAL(data(QByteArray)), SLOT(parseDashManifest(QByteArray)));
 384                 connect(reply, SIGNAL(error(QNetworkReply*)), SLOT(errorVideoInfo(QNetworkReply*)));
 385             }
 386
 387             return;
 388         }
 389     }
 390 #endif
 391
 392     parseFmtUrlMap(fmtUrlMap, true);
 393 }
 394
 395 void Video::parseDashManifest(QByteArray bytes) {
 396     QFile file(Temporary::filename() + ".mpd");
 397     if (!file.open(QIODevice::WriteOnly))
 398         qWarning() << file.errorString() << file.fileName();
 399     QDataStream stream(&file);
 400     stream.writeRawData(bytes.constData(), bytes.size());
 401
 402     m_streamUrl = "file://" + file.fileName();
 403     this->definitionCode = 37;
 404     emit gotStreamUrl(m_streamUrl);
 405     loadingStreamUrl = false;
 406 }
 407
 408 void Video::captureFunction(const QString &name, const QString &js) {
 409     QRegExp funcRe("function\\s+" + QRegExp::escape(name) + "\\s*\\([" + jsNameChars + ",\\s]*\\)\\s*\\{[^\\}]+\\}");
 410     if (funcRe.indexIn(js) == -1) {
 411         qWarning() << "Cannot capture function" << name;
 412         return;
 413     }
 414     QString func = funcRe.cap(0);
 415     sigFunctions.insert(name, func);
 416
 417     // capture inner functions
 418     QRegExp invokedFuncRe("[\\s=;\\(]([" + jsNameChars + "]+)\\s*\\([" + jsNameChars + ",\\s]+\\)");
 419     int pos = name.length() + 9;
 420     while ((pos = invokedFuncRe.indexIn(func, pos)) != -1) {
 421         QString funcName = invokedFuncRe.cap(1);
 422         if (!sigFunctions.contains(funcName))
 423             captureFunction(funcName, js);
 424         pos += invokedFuncRe.matchedLength();
 425     }
 426
 427     // capture referenced objects
 428     QRegExp objRe("[\\s=;\\(]([" + jsNameChars + "]+)\\.[" + jsNameChars + "]+");
 429     pos = name.length() + 9;
 430     while ((pos = objRe.indexIn(func, pos)) != -1) {
 431         QString objName = objRe.cap(1);
 432         if (!sigObjects.contains(objName))
 433             captureObject(objName, js);
 434         pos += objRe.matchedLength();
 435     }
 436 }
 437
 438 void Video::captureObject(const QString &name, const QString &js) {
 439     QRegExp re("var\\s+" + QRegExp::escape(name) + "\\s*=\\s*\\{.+\\}\\s*;");
 440     re.setMinimal(true);
 441     if (re.indexIn(js) == -1) {
 442         qWarning() << "Cannot capture object" << name;
 443         return;
 444     }
 445     QString obj = re.cap(0);
 446     sigObjects.insert(name, obj);
 447 }
 448
 449 QString Video::decryptSignature(const QString &s) {
 450     if (sigFuncName.isEmpty()) return QString();
 451     QScriptEngine engine;
 452     foreach (const QString &f, sigObjects.values()) {
 453         QScriptValue value = engine.evaluate(f);
 454         if (value.isError())
 455             qWarning() << "Error in" << f << value.toString();
 456     }
 457     foreach (const QString &f, sigFunctions.values()) {
 458         QScriptValue value = engine.evaluate(f);
 459         if (value.isError())
 460             qWarning() << "Error in" << f << value.toString();
 461     }
 462     QString js = sigFuncName + "('" + s + "');";
 463     QScriptValue value = engine.evaluate(js);
 464     if (value.isUndefined()) {
 465         qWarning() << "Undefined result for" << js;
 466         return QString();
 467     }
 468     if (value.isError()) {
 469         qWarning() << "Error in" << js << value.toString();
 470         return QString();
 471     }
 472     return value.toString();
 473 }
 474
 475 QString Video::formattedDuration() const {
 476     int duration = m_duration;
 477     QString res;
 478     int seconds = duration % 60;
 479     duration /= 60;
 480     int minutes = duration % 60;
 481     duration /= 60;
 482     int hours = duration % 24;
 483     if (hours == 0)
 484         return res.asprintf("%d:%02d", minutes, seconds);
 485     return res.asprintf("%d:%02d:%02d", hours, minutes, seconds);
 486 }
 487
 488 void Video::saveDefinitionForUrl(const QString& url, const VideoDefinition& definition) {
 489     const QUrl videoUrl = QUrl::fromEncoded(url.toUtf8(), QUrl::StrictMode);
 490     m_streamUrl = videoUrl;
 491     definitionCode = definition.getCode();
 492     emit gotStreamUrl(videoUrl);
 493     loadingStreamUrl = false;
 494 }
 495