link もっと前
   2018年 7月 8日 -
      2018年 6月 29日  
link もっと後

link 未来から過去へ表示(*)
link 過去から未来へ表示

日々

link permalink

Android と MPEG2-TS その 4

その 1その 2その 3その 4

もはや自分以外の誰得の内容なのか、わかりませんが、気にせず書きます。

その 3 にて「DescramblerImpl を生成するのは MediaCasService::createDescrambler() のみ?のように見えます。」と書きました。この関数に至る経路がわかると、デスクランブラがどの暗号系を選択するのか?いつ選択するのか?などがわかるようになります。

で、今回は createDescrambler() が呼ばれる経路を見つけたのでメモします。しかしながら Extractor の setMediaCas() を呼び出すのは誰なのか?まだ謎のままなので、いまいちスッキリしませんけども。

Extractor の setMediaCas()

//frameworks/av/media/libstagefright/mpeg2ts/MPEG2TSExtractor.cpp

status_t MPEG2TSExtractor::setMediaCas(const HInterfaceToken &casToken) {
    HalToken halToken;
    halToken.setToExternal((uint8_t*)casToken.data(), casToken.size());
    sp<ICas> cas = ICas::castFrom(retrieveHalInterface(halToken));
    ALOGD("setMediaCas: %p", cas.get());

    status_t err = mParser->setMediaCas(cas); //★★★★ mParser
    if (err == OK) {
        ALOGI("All tracks now have descramblers");
        init();
    }
    return err;
}

ここで出てくる mParser の型は ATSParser でしたので、ATSParser の実装を見てみます。

ATSParser setMediaCas()

//frameworks/av/media/libstagefright/mpeg2ts/ATSParser.cpp

status_t ATSParser::setMediaCas(const sp<ICas> &cas) {
    status_t err = mCasManager->setMediaCas(cas); //★★★★ mCasManager
    if (err != OK) {
        return err;
    }
    for (size_t i = 0; i < mPrograms.size(); ++i) {
        mPrograms.editItemAt(i)->updateCasSessions();
    }
    return OK;
}

ここで出てくる mCasManager の型は ATSParser::CasManager でした。CasManager を見てみましょう。

CasManager setMediaCas()

//frameworks/av/media/libstagefright/mpeg2ts/CasManager.cpp

status_t ATSParser::CasManager::setMediaCas(const sp<ICas> &cas) {
    if (cas == NULL) {
        ALOGE("setMediaCas: received NULL object");
        return BAD_VALUE;
    }
    if (mICas != NULL) {
        ALOGW("setMediaCas: already set");
        return ALREADY_EXISTS;
    }
    for (size_t index = 0; index < mProgramCasMap.size(); index++) {
        status_t err;
        if ((err = mProgramCasMap.editValueAt(
                index)->setMediaCas(cas, mCAPidToSessionIdMap)) != OK) { //★★★★ mProgramCasMap
            return err;
        }
    }
    mICas = cas; //★★★★ mICas
    return OK;
}

Extractor から渡されてきた cas は、CasManager のメンバ変数 mICas に保存されるようです。ちなみにこの mICas はその 2 の CasManager::parsePID() にて、mICas->processEcm(mCAPidToSessionIdMap[index], ecm); の呼び出し時に出てきました。ここで保存されていたんですね。

話を戻して mProgramCasMap は unsigned がキー、ProgramCasManager のポインタが値の KeyedVector です。

ProgramCasManager setMediaCas()

status_t ATSParser::CasManager::ProgramCasManager::setMediaCas(
        const sp<ICas> &cas, PidToSessionMap &sessionMap) {
    if (mHasProgramCas) {
        return initSession(cas, sessionMap, &mProgramCas); //★★★★
    }
    // TODO: share session among streams that has identical CA_descriptors.
    // For now, we open one session for each stream that has CA_descriptor.
    for (size_t index = 0; index < mStreamPidToCasMap.size(); index++) {
        status_t err = initSession(
                cas, sessionMap, &mStreamPidToCasMap.editValueAt(index)); //★★★★
        if (err != OK) {
            return err;
        }
    }
    return OK;
}

status_t ATSParser::CasManager::ProgramCasManager::initSession(
         const sp<ICas>& cas,
         PidToSessionMap &sessionMap,
         CasSession *session) {
    sp<IMediaCasService> casService = IMediaCasService::getService("default"); //★★★★ IMediaCasService 型
    if (casService == NULL) {
        ALOGE("Cannot obtain IMediaCasService");
        return NO_INIT;
    }
//...
    returnDescrambler = casService->createDescrambler(descriptor.mSystemID); //★★★★ createDescrambler()
    if (!returnDescrambler.isOk()) {
        ALOGE("Failed to create descrambler: trans=%s",
                returnDescrambler.description().c_str());
        goto l_fail;
    }
    descramblerBase = (sp<IDescramblerBase>) returnDescrambler;
    if (descramblerBase == NULL) {
        ALOGE("Failed to create descrambler: null ptr");
        goto l_fail;
    }

やっと createDescrambler() が出てきました。casService は IMediaCasService 型ですが、このインタフェースを実装しているクラスは 1つしかなさそうです。

MediaCasService setMediaCas()

//hardware/interfaces/cas/1.0/default/MediaCasService.h

class MediaCasService : public IMediaCasService {
//...


//hardware/interfaces/cas/1.0/default/MediaCasService.cpp

Return<sp<IDescramblerBase>> MediaCasService::createDescrambler(int32_t CA_system_id) {

    ALOGV("%s: CA_system_id=%d", __FUNCTION__, CA_system_id);

    sp<IDescrambler> result;

    DescramblerFactory *factory;
    sp<SharedLibrary> library;
    if (mDescramblerLoader.findFactoryForScheme(
            CA_system_id, &library, &factory)) { //★★★★ DescramblerPlugin を探す処理はこの辺にありそう
        DescramblerPlugin *plugin = NULL;
        if (factory->createPlugin(CA_system_id, &plugin) == OK
                && plugin != NULL) {
            result = new DescramblerImpl(library, plugin); //★★★★ DescramblerImpl を生成している箇所があった
        }
    }

    return result;
}

ここでゴールのようです。まとめると Extractor の setMediaCas() を呼ぶと、

  • ATSParser::CasManager::parsePID() が呼び出している mICas->processEcm() の mICas が設定される。
    つまり ECM の処理方法が決まる
  • DescramblerImpl::mPluginHolder が設定される。
    つまりデスクランブルの処理方法が決まる
[編集者: すずき]
[更新: 2018年 7月 17日 22:44]
link 編集する

コメント一覧

  • コメントはありません。
open/close この記事にコメントする



link permalink

Android と MPEG2-TS その 3

その 1その 2その 3その 4

デスクランブル処理はどこにあるんでしょう??それらしい処理を辿ってみましたが、本当にこの処理が動くのか、何を切っ掛けにデスクランブル処理が働き始めるのか、動かしてみないとわからなさそうです。うーん……。

デスクランブル処理 Java 側(たぶん)

//frameworks/base/media/java/android/media/MediaDescrambler.java

    public final int descramble(
            @NonNull ByteBuffer srcBuf, @NonNull ByteBuffer dstBuf,
            @NonNull MediaCodec.CryptoInfo cryptoInfo) {
//...
        try {
            return native_descramble(
                    cryptoInfo.key[0],
                    cryptoInfo.numSubSamples,
                    cryptoInfo.numBytesOfClearData,
                    cryptoInfo.numBytesOfEncryptedData,
                    srcBuf, srcBuf.position(), srcBuf.limit(),
                    dstBuf, dstBuf.position(), dstBuf.limit());
        } catch (ServiceSpecificException e) {
            MediaCasStateException.throwExceptionIfNeeded(e.errorCode, e.getMessage());
        } catch (RemoteException e) {
            cleanupAndRethrowIllegalState();
        }
        return -1;
    }

ここで呼び出している native_descramble() は native であると宣言されています。つまり JNI 経由で呼び出します。メディアフレームワーク(android.media)の JNI 実装は frameworks/base/media/jni に配置されているようです。

デスクランブル処理 JNI 側

//frameworks/base/media/jni/android_media_MediaDescrambler.cpp

static jint android_media_MediaDescrambler_native_descramble(
        JNIEnv *env, jobject thiz, jbyte key, jint numSubSamples,
        jintArray numBytesOfClearDataObj, jintArray numBytesOfEncryptedDataObj,
        jobject srcBuf, jint srcOffset, jint srcLimit,
        jobject dstBuf, jint dstOffset, jint dstLimit) {
    sp<JDescrambler> descrambler = getDescrambler(env, thiz); //★★★★ descrambler は JDescrambler 型
    if (descrambler == NULL) {
        jniThrowException(env, "java/lang/IllegalStateException",
                "Invalid descrambler object!");
        return -1;
    }

    hidl_vec<SubSample> subSamples;
    ssize_t totalLength = getSubSampleInfo(
            env, numSubSamples, numBytesOfClearDataObj,
            numBytesOfEncryptedDataObj, &subSamples);
    if (totalLength < 0) {
        jniThrowException(env, "java/lang/IllegalArgumentException",
                "Invalid subsample info!");
        return -1;
    }
//...
    err = descrambler->descramble(
            key, totalLength, subSamples,
            srcPtr, srcOffset, dstPtr, dstOffset,
            &status, &bytesWritten, &detailedError); //★★★★
//...


status_t JDescrambler::descramble(
        jbyte key,
        ssize_t totalLength,
        const hidl_vec<SubSample>& subSamples,
        const void *srcPtr,
        jint srcOffset,
        void *dstPtr,
        jint dstOffset,
        Status *status,
        uint32_t *bytesWritten,
        hidl_string *detailedError) {
//...
    auto err = mDescrambler->descramble(
            (ScramblingControl) key,
            subSamples,
            mDescramblerSrcBuffer,
            0,
            dstBuffer,
            0,
            [&status, &bytesWritten, &detailedError] (
                    Status _status, uint32_t _bytesWritten,
                    const hidl_string& _detailedError) {
                *status = _status;
                *bytesWritten = _bytesWritten;
                *detailedError = _detailedError;
            }); //★★★★
//...

ここで出てくる mDescrambler は IDescrambler 型のポインタです。パッと見では、何がセットされているのか良くわかりませんが、このインタフェースを実装しているのは下記しかなさそうです。

デスクランブラ

//hardware/interfaces/cas/1.0/default/DescramblerImpl.h

class DescramblerImpl : public IDescrambler {
//...

//hardware/interfaces/cas/1.0/default/DescramblerImpl.cpp

Return<void> DescramblerImpl::descramble(
        ScramblingControl scramblingControl,
        const hidl_vec<SubSample>& subSamples,
        const SharedBuffer& srcBuffer,
        uint64_t srcOffset,
        const DestinationBuffer& dstBuffer,
        uint64_t dstOffset,
        descramble_cb _hidl_cb) {
    ALOGV("%s", __FUNCTION__);

    // Get a local copy of the shared_ptr for the plugin. Note that before
    // calling the HIDL callback, this shared_ptr must be manually reset,
    // since the client side could proceed as soon as the callback is called
    // without waiting for this method to go out of scope.
    std::shared_ptr<DescramblerPlugin> holder = std::atomic_load(&mPluginHolder); //★★★★ holder = mPluginHolder
    if (holder.get() == nullptr) {
        _hidl_cb(toStatus(INVALID_OPERATION), 0, NULL);
        return Void();
    }

//...

    // Casting hidl SubSample to DescramblerPlugin::SubSample, but need
    // to ensure structs are actually idential

    int32_t result = holder->descramble(
            dstBuffer.type != BufferType::SHARED_MEMORY,
            (DescramblerPlugin::ScramblingControl)scramblingControl,
            subSamples.size(),
            (DescramblerPlugin::SubSample*)subSamples.data(),
            srcPtr,
            srcOffset,
            dstPtr,
            dstOffset,
            NULL);
//...

この mPluginHolder は DescramblerPlugin 型です。DescramblerImpl が生成される時に設定されます。DescramblerImpl を生成するのは MediaCasService::createDescrambler() のみ?のように見えます。

次に出てくる holder には DescramblerPlugin のポインタが入ります。Plugin の実装を探してみると ClearKey にそれらしき処理があります。

Descrambler plugin の実装

//frameworks/av/drm/mediacas/plugins/clearkey/ClearKeyCasPlugin.cpp

ssize_t ClearKeyDescramblerPlugin::descramble(
        bool secure,
        ScramblingControl scramblingControl,
        size_t numSubSamples,
        const SubSample *subSamples,
        const void *srcPtr,
        int32_t srcOffset,
        void *dstPtr,
        int32_t dstOffset,
        AString *errorDetailMsg) {

    ALOGV("descramble: secure=%d, sctrl=%d, subSamples=%s, "
            "srcPtr=%p, dstPtr=%p, srcOffset=%d, dstOffset=%d",
          (int)secure, (int)scramblingControl,
          subSamplesToString(subSamples, numSubSamples).string(),
          srcPtr, dstPtr, srcOffset, dstOffset);

    if (mCASSession == NULL) {
        ALOGE("Uninitialized CAS session!");
        return ERROR_CAS_DECRYPT_UNIT_NOT_INITIALIZED;
    }

    return mCASSession->decrypt(
            secure, scramblingControl,
            numSubSamples, subSamples,
            (uint8_t*)srcPtr + srcOffset,
            dstPtr == NULL ? NULL : ((uint8_t*)dstPtr + dstOffset),
            errorDetailMsg);
}

ここで出てくる mCASSession は ClearKeyCasSession を指すようです。setMediaCasSession() にて設定されています。これは後で追ってみます。

ClearKey によるデスクランブル

//av/drm/mediacas/plugins/clearkey/ClearKeyCasPlugin.cpp

// Decryption of a set of sub-samples
ssize_t ClearKeyCasSession::decrypt(
        bool secure, DescramblerPlugin::ScramblingControl scramblingControl,
        size_t numSubSamples, const DescramblerPlugin::SubSample *subSamples,
        const void *srcPtr, void *dstPtr, AString * /* errorDetailMsg */) {
        return ERROR_CAS_CANNOT_HANDLE;
    

    AES_KEY contentKey;

        // Hold lock to get the key only to avoid contention for decryption
        Mutex::Autolock _lock(mKeyLock);

        int32_t keyIndex = (scramblingControl & 1);
            ALOGE("decrypt: key %d is invalid", keyIndex);
            return ERROR_CAS_DECRYPT;
        
        contentKey = mKeyInfo[keyIndex].contentKey; //★★★★ ClearKeyCasSession::updateECM() で設定する鍵だと思う
    
//...
        // Don't decrypt if len < AES_BLOCK_SIZE.
        // The last chunk shorter than AES_BLOCK_SIZE is not encrypted.
        if (scramblingControl != DescramblerPlugin::kScrambling_Unscrambled
                && subSamples[i].mNumBytesOfEncryptedData >= AES_BLOCK_SIZE) {
            err = decryptPayload(
                    contentKey,
                    numBytesinSubSample,
                    subSamples[i].mNumBytesOfClearData,
                    (char *)dst);
        }
//...

// Decryption of a TS payload
status_t ClearKeyCasSession::decryptPayload(
        const AES_KEY& key, size_t length, size_t offset, char* buffer) const {
    CHECK(buffer);

    // Invariant: only call decryptPayload with TS packets with at least 16
    // bytes of payload (AES_BLOCK_SIZE).

    CHECK(length >= offset + AES_BLOCK_SIZE);

    return TpBlockCtsDecrypt(key, length - offset, buffer + offset);
}

// AES-128 CBC-CTS decrypt optimized for Transport Packets. |key| is the AES
// key (odd key or even key), |length| is the data size, and |buffer| is the
// ciphertext to be decrypted in place.
status_t TpBlockCtsDecrypt(const AES_KEY& key, size_t length, char* buffer) {
    CHECK(buffer);
//...

CBC モードで AES 暗号を復号しているようです。

まとめると、MediaDescrambler(ドキュメントはここ)の descrambler() によって、スクランブルされたデータのデスクランブルができそう、ということがわかりました。

ドキュメントにそう書いてあるし、当たり前なんですけどね。新たにデスクランブラを足そうと思う人は、中身も知らないと足せないです。

[編集者: すずき]
[更新: 2018年 7月 17日 22:46]
link 編集する

コメント一覧

  • コメントはありません。
open/close この記事にコメントする



link permalink

Android と MPEG2-TS その 2

その 1その 2その 3その 4

昨日の続き。スクランブルの掛かったストリームは mParser->mCasManager に任せていました。mCasManager は ATSParser::CasManager でしたので、実装を見てみます。

CasManager

//frameworks/av/media/libstagefright/mpeg2ts/CasManager.cpp

bool ATSParser::CasManager::parsePID(ABitReader *br, unsigned pid) {
    ssize_t index = mCAPidToSessionIdMap.indexOfKey(pid);
    if (index < 0) {
        return false;
    }
    hidl_vec<uint8_t> ecm;
    ecm.setToExternal((uint8_t*)br->data(), br->numBitsLeft() / 8);
    auto returnStatus = mICas->processEcm(mCAPidToSessionIdMap[index], ecm); //★★★★ processEcm()
    if (!returnStatus.isOk() || (Status) returnStatus != Status::OK) {
        ALOGE("Failed to process ECM: trans=%s, status=%d",
                returnStatus.description().c_str(), (Status) returnStatus);
    }
    return true; // handled
}

謎の mICas がどこから来るかは、後で調べるとして、関数名 processEcm() で探してみると、HAL の方にコードがあります。

processEcm() の実装

//hardware/interfaces/cas/1.0/default/CasImpl.cpp

Return<Status> CasImpl::processEcm(
        const HidlCasSessionId &sessionId, const HidlCasData& ecm) {
    ALOGV("%s: sessionId=%s", __FUNCTION__,
            sessionIdToString(sessionId).string());
    std::shared_ptr<CasPlugin> holder = std::atomic_load(&mPluginHolder); //★★★★ CasPlugin
    if (holder.get() == nullptr) {
        return toStatus(INVALID_OPERATION);
    }

    return toStatus(holder->processEcm(sessionId, ecm));
}

想像するに CasPlugin というクラスを派生させて処理を実装するのでしょう。探してみると frameworks/av/drm/mediacas/plugins 以下に clearkey と mock という実装があります。

ClearKey の実装

//frameworks/av/drm/mediacas/plugins/clearkey/ClearKeyCasPlugin.h

class ClearKeyCasPlugin : public CasPlugin {
...

//frameworks/av/drm/mediacas/plugins/clearkey/ClearKeyCasPlugin.cpp

status_t ClearKeyCasPlugin::processEcm(
        const CasSessionId &sessionId, const CasEcm& ecm) {
    ALOGV("processEcm: sessionId=%s", sessionIdToString(sessionId).string());
    sp<ClearKeyCasSession> session =
            ClearKeySessionLibrary::get()->findSession(sessionId);
    if (session == NULL) {
        return ERROR_CAS_SESSION_NOT_OPENED;
    }

    Mutex::Autolock lock(mKeyFetcherLock);

    return session->updateECM(mKeyFetcher.get(), (void*)ecm.data(), ecm.size()); //★★★★ mKeyFetcher
}

status_t ClearKeyCasSession::updateECM(
        KeyFetcher *keyFetcher, void *ecm, size_t size) {
//...
    uint64_t asset_id;
    std::vector<KeyFetcher::KeyInfo> keys;
    status_t err = keyFetcher->ObtainKey(mEcmBuffer, &asset_id, &keys); //★★★★ keyFetcher
    if (err != OK) {
        ALOGE("updateECM: failed to obtain key (err=%d)", err);
        return err;
    }

    ALOGV("updateECM: %zu key(s) found", keys.size());
    for (size_t keyIndex = 0; keyIndex < keys.size(); keyIndex++) {
        String8 str;

        const sp<ABuffer>& keyBytes = keys[keyIndex].key_bytes;
        CHECK(keyBytes->size() == kUserKeyLength);

        int result = AES_set_decrypt_key(
                reinterpret_cast<const uint8_t*>(keyBytes->data()),
                AES_BLOCK_SIZE * 8, &mKeyInfo[keyIndex].contentKey); //★★★★ libssl の関数に渡して鍵を生成している?ようだ
//...


//frameworks/av/drm/mediacas/plugins/clearkey/ClearKeyFetcher.cpp

status_t ClearKeyFetcher::ObtainKey(const sp<ABuffer>& buffer,
        uint64_t* asset_id, std::vector<KeyInfo>* keys) {
//...

引数に渡している mKeyFetcher(と get() が返す keyFetcher も同様に)は KeyFetcher 型のポインタでした。KeyFetcher を継承した ClearKeyFetcher 型のオブジェクトが格納されていました。

ClearKey の仕組みは詳しく知りませんが、ClearKeyCasSession::updateECM() で AES の復号などをしていることと、AES の復号鍵は ClearKeyFetcher::ObtainKey() が ECM を読んで復号鍵を取得してくれるように見えました。

Android で ECM の解読を行っている箇所が見つけられました。エレメンタリストリームのデスクランブルはどこで行っているのでしょうね…??

[編集者: すずき]
[更新: 2018年 7月 17日 22:45]
link 編集する

コメント一覧

  • コメントはありません。
open/close この記事にコメントする



link permalink

Android と MPEG2-TS その 1

その 1その 2その 3その 4

Android 8 が MPEG2-TS の PSI(Program Specific Information)をどのように処理しているのか、気になったので調べてみました。調査に使ったコードは AOSP のタグ android-8.1.0_r33 です。

PSI のことをセクションと呼ぶ人もいますね。MPEG2 System の規格書 ISO13818-1/ITU-T H.222.0 によれば、PSI は xxx Table という名前(PAT なら Program Association Table)で、テーブルは 1 つないし、複数のセクション(xxx_section という名前で定義されている、PAT なら program_association_section)から構成されるからだと思います。

さておき TS を処理しているところは、下記のようになっています。

Extractor TS 受付部分

//frameworks/av/media/libstagefright/mpeg2ts/MPEG2TSExtractor.cpp

status_t MPEG2TSExtractor::feedMore(bool isInit) {
    Mutex::Autolock autoLock(mLock);

    uint8_t packet[kTSPacketSize];
    ssize_t n = mDataSource->readAt(mOffset, packet, kTSPacketSize);

    if (n < (ssize_t)kTSPacketSize) {
        if (n >= 0) {
            mParser->signalEOS(ERROR_END_OF_STREAM);
        }
        return (n < 0) ? (status_t)n : ERROR_END_OF_STREAM;
    }

    ATSParser::SyncEvent event(mOffset);
    mOffset += n;
    status_t err = mParser->feedTSPacket(packet, kTSPacketSize, &event); //★★★★
    if (event.hasReturnedData()) {
        if (isInit) {
            mLastSyncEvent = event;
        } else {
            addSyncPoint_l(event);
        }
    }
    return err;
}

ここで出てくる mParser は ATSParser のポインタなので、ATSParser の実装を見てみます。

TS 受付部分

//frameworks/av/media/libstagefright/mpeg2ts/ATSParser.cpp

status_t ATSParser::feedTSPacket(const void *data, size_t size,
        SyncEvent *event) {
    if (size != kTSPacketSize) {
        ALOGE("Wrong TS packet size");
        return BAD_VALUE;
    }

    ABitReader br((const uint8_t *)data, kTSPacketSize);
    return parseTS(&br, event); //★★★★
}

status_t ATSParser::parseTS(ABitReader *br, SyncEvent *event) {
    ALOGV("---");
//...
    status_t err = OK;

    unsigned random_access_indicator = 0;
    if (adaptation_field_control == 2 || adaptation_field_control == 3) {
        err = parseAdaptationField(br, PID, &random_access_indicator);
    }
    if (err == OK) {
        if (adaptation_field_control == 1 || adaptation_field_control == 3) {
            err = parsePID(br, PID, continuity_counter,
                    payload_unit_start_indicator,
                    transport_scrambling_control,
                    random_access_indicator,
                    event); //★★★★
        }
    }
//...

status_t ATSParser::parsePID(
        ABitReader *br, unsigned PID,
        unsigned continuity_counter,
        unsigned payload_unit_start_indicator,
        unsigned transport_scrambling_control,
        unsigned random_access_indicator,
        SyncEvent *event) {
    ssize_t sectionIndex = mPSISections.indexOfKey(PID);
//...
    if (sectionIndex >= 0) { //★★★★ PAT か PMT の PID ならこの条件が成り立つ
        sp<PSISection> section = mPSISections.valueAt(sectionIndex);

ここで出てくる mPSISection は unsigned をキー、sp<PSISection> を値とする KeyedVector です。キー 0 に PAT を持っていて、それ以外のキーは PMT の PID(PAT が一覧を持っている)です。PMT の PID は PAT を受信したときに ATSParser::parseProgramAssociationTable() が追加するようです。

PAT/PMT 解析

//frameworks/av/media/libstagefright/mpeg2ts/ATSParser.cpp

status_t ATSParser::parsePID(
        ABitReader *br, unsigned PID,
        unsigned continuity_counter,
        unsigned payload_unit_start_indicator,
        unsigned transport_scrambling_control,
        unsigned random_access_indicator,
        SyncEvent *event) {
    ssize_t sectionIndex = mPSISections.indexOfKey(PID);
//...
    if (sectionIndex >= 0) { //★★★★ PAT か PMT の PID ならこの条件が成り立つ
        sp<PSISection> section = mPSISections.valueAt(sectionIndex);
//...
        if (PID == 0) {
            parseProgramAssociationTable(&sectionBits); //★★★★ PID 0 なら PAT の解析
        } else {
            bool handled = false;
            for (size_t i = 0; i < mPrograms.size(); ++i) { //★★★★ それ以外は PMT かどうか見る
                status_t err;
                if (!mPrograms.editItemAt(i)->parsePSISection( //★★★★ PMT か?
                            PID, &sectionBits, &err)) {
                    continue;
                }
//...

bool ATSParser::Program::parsePSISection(
        unsigned pid, ABitReader *br, status_t *err) {
    *err = OK;

    if (pid != mProgramMapPID) {
        return false;
    }

    *err = parseProgramMap(br); //★★★★ PMT だったので PMT の解析

    return true;
}

status_t ATSParser::Program::parseProgramMap(ABitReader *br) {
    unsigned table_id = br->getBits(8);
    ALOGV("  table_id = %u", table_id);
//...
    // descriptors
    CADescriptor programCA;
    bool hasProgramCA = findCADescriptor(br, program_info_length, &programCA); //★★★★ PMT の持っている descriptor を見ている
    if (hasProgramCA && !mParser->mCasManager->addProgram(
            mProgramNumber, programCA)) { //★★★★ CA descriptor の指す PID つまり ECM の PID を追加
        return ERROR_MALFORMED;
    }
//...
    size_t infoBytesRemaining = section_length - 9 - program_info_length - 4;

    while (infoBytesRemaining >= 5) { //★★★★ エレメンタリストリームの PID と一緒に付いている descriptor を見ている
//...
        CADescriptor streamCA;
        bool hasStreamCA = findCADescriptor(br, ES_info_length, &streamCA);
        if (hasStreamCA && !mParser->mCasManager->addStream(
                mProgramNumber, elementaryPID, streamCA)) { //★★★★ CA descriptor の指す PID つまり ECM の PID を追加
            return ERROR_MALFORMED;
        }
//...
    }
//...
    for (size_t i = 0; i < infos.size(); ++i) {
        StreamInfo &info = infos.editItemAt(i);

        if (mParser->mCasManager->isCAPid(info.mPID)) { //★★★★ CA descriptor に記載のあったストリーム
            // skip CA streams (EMM/ECM)
            continue;
        }
        ssize_t index = mStreams.indexOfKey(info.mPID);

        if (index < 0) {
            sp<Stream> stream = new Stream(
                    this, info.mPID, info.mType, PCR_PID, info.mCASystemId);

            if (mSampleAesKeyItem != NULL) {
                stream->signalNewSampleAesKey(mSampleAesKeyItem);
            }

            isAddingScrambledStream |= info.mCASystemId >= 0; //★★★★ CA descriptor に記載が無いのにスクランブルされている??
            mStreams.add(info.mPID, stream);
        }
    }

ざっくり言うと、スクランブルの掛かったストリームは mParser->mCasManager に任せ、スクランブルの掛かっていないストリームは mStreams に任せるようです。

CA descriptor に載っていないのにスクランブルの掛かった変なストリームがあると警告が出るようになっています。

[編集者: すずき]
[更新: 2018年 7月 17日 22:45]
link 編集する

コメント一覧

  • コメントはありません。
open/close この記事にコメントする



link permalink

デスクランブラのテスト

先日、作った(2018年 6月 1日の日記参照)ISDB というか ARIB のデスクランブラの続きです。

DVB API で制御可能なチューナー(私は PT2 で確認しています)を使っている方であれば、下記のようにチューニング(コードは GitHub にあります)できます。チューニングに成功して放送が受信されると、/dev/dvb/adapter0/dvr0 からスクランブルの掛かった MPEG2-TS が出力されます。

PT2 のチューニングのテスト
例: BS プレミアム(衛星はアダプタ 0 か 2、地デジはアダプタ 1 か 3 を使います)

$ ./sample_dvb 0 S BS 3 0x4031
...

ごちゃごちゃ出るのが邪魔くさければ、

$ ./sample_dvb 0 S BS 3 0x4031 > /dev/null

スマートカードリーダーを PC に接続し、B-CAS カードをリーダーに挿入した上で、下記のようにデスクランブル(コードは GitHub にあります)できます。デスクランブルした MPEG2-TS は UDP で送るか、ファイルに保存できます。

デスクランブルのテスト
例: 自分自身に UDP で送る

$ ./arib_descramble /dev/dvb/adapter0/dvr0 localhost 1234
...

VLC を起動し、udp://@:1234 を再生すると、受信中の放送が映るはずです。

改良

自身の規格理解のためもあって、かなり手抜き実装していて、異常に重いため、いくつか改良してみました。まずプロファイラで見てみると、MULTI2 復号と、どこかにある無駄なコピーに、時間がかかっているようです。

MULTI2 復号の高速化には SSE2 を使ってみました。MULTI2 の復号は 8バイトずつですが、SSE2 を活用するには 32バイトの方が都合が良いです。ですので 4単位まとめて(4 x 8バイト = 32バイト = 128bit = SSE2 のレジスタ幅)処理して、残った 32バイトに満たないデータは従来どおり 8バイトずつ処理します。

残念ながら、結果から言うとあまり最適化が効きませんでした。SIMD で高速化できないロード/ストアの割合が高いのか、計算が占める割合が低いのか、いまいちわからなかったのですが、あまり高速化できませんでした。CPU 利用率でいうと 12% が 11% になるか、ならないか…程度です。

無駄なコピーは 2箇所見つけたのでガッツリ消しました。これは効果があったようで、CPU 利用率でいうと 11% が 10% くらいまで削減できました。

無駄なコピーはもう 1つありましたが、単純に消すわけにいかなくてやや難しそうだったので、また今度にします。

ARM でも実行してみた

PC だと、CPU 利用率 10% 程度だったので、最近のマルチコア CPU なら割と余裕の負荷です。ではショボい CPU で実行するとどうなるか、試してみました。

手持ちの Raspberry Pi 3(ARM Cortex A53 x 4/1.4GHz)で実行してみたところ、CPU 利用率 25〜27% 程度でした。動かないかもしれないと思っていたので、正直意外でした。かなり健闘していると思います。

ARM には NEON という SIMD 命令がありますが、NEON を使った復号の高速化にはまだ手を出していません。今度やってみますが、SSE2 の結果を見た限りでは、絶大な効果は見込めないでしょう。きっと。

[編集者: すずき]
[更新: 2018年 7月 5日 00:44]
link 編集する

コメント一覧

  • すずき 
    NEON にも対応してみましたが、やはり MULTI2 の復号はボトルネックではないらしく、CPU 負荷はほとんど変わりませんでした……。 
    (2018年07月11日 21:26:36)
open/close この記事にコメントする



link permalink

libtool の謎のエラー

Raspberry Pi 3 を持っているのですが、あまり速くない(当たり前ですけど)こともあり、ほとんどコンパイルには使っていませんでした。今日、久しぶりにコードのビルドに使ってみたら、変な症状にハマりました。

autoreconf は正常終了?
$ autoconf --version
autoconf (GNU Autoconf) 2.69
...

$ automake --version
automake (GNU automake) 1.15
...

$  autoreconf -fi
aclocal: warning: couldn't open directory 'm4': No such file or directory
configure.ac:23: installing 'conf/compile'
configure.ac:16: installing 'conf/install-sh'
configure.ac:16: installing 'conf/missing'
src/Makefile.am: installing 'conf/depcomp'

更地からのビルドなので autoreconf -fi を実行しています。この時点では特にエラーも出ずに終わったように見えます。

configure がエラーで落ちる
$ ./configure
checking for a BSD-compatible install... /usr/bin/install -c
checking whether build environment is sane... yes
checking for a thread-safe mkdir -p... /bin/mkdir -p
checking for gawk... gawk
checking whether make sets $(MAKE)... yes
checking whether make supports nested variables... yes
checking whether make supports nested variables... (cached) yes
./configure: line 2505: syntax error near unexpected token `ac_ext=c'
./configure: line 2505: `ac_ext=c'

しかし configure が謎のエラーで終了してしまいます。しかも config.log にエラーの内容が記録されておらず、怪しいです。

しばし configure.ac をいじってみてわかったことは、以下の条件を満たしていると、このエラーが発生するようです。

  • configure.ac に LT_INIT() を記述、つまり libtool を使うように記述する
  • システムに libtool がインストールされていない
  • 更地(autoconf, automake 関連のファイルが全く無い状態)からビルドする

解決策は libtool をインストールするか、libtool を使っていないなら configure.ac から LT_INIT() を削除しても良いです。

この辺の仕組みは詳しくありませんが、libtool が無いなら無いと言ってくれれば、もう少しわかりやすいのにな…と思います。

[編集者: すずき]
[更新: 2018年 7月 4日 23:12]
link 編集する

コメント一覧

  • コメントはありません。
open/close この記事にコメントする



link permalink

Android チューナー周りの調査メモ

Android 8 のチューナー周りについて、家でも少し調べていたので、わかったことのメモを貼っておきます。環境は下記の通りです。

  • タグ: android-8.1.0_r33
  • ディレクトリ: android/packages/apps/TV

チューナーの動作は大きく分けると、チャンネルスキャン、視聴の 2つです。

チャンネルスキャン

チャンネルスキャンは全てのチャンネルに対してチューニングを行って、受信できるかどうか試す動作を指します。Android 8 の場合、フレームワーク内部にチャンネルのリストを持っていて、リストの先頭から試す仕組みになっているようです。

コードを見た感じ、処理は下記のように進むようです。

チャンネルスキャン画面の動作
// @ src/com/android/tv/tuner/setup/TunerSetupActivity.java
TunerSetupActivity::executeAction(String category, int actionId, Bundle params)
    switch (category)
      case ConnectionTypeFragment.ACTION_CATEGORY:
        mLastScanFragment = new ScanFragment();
        Bundle args1 = new Bundle();
        // actionId は GUI 画面の選択肢(Antenna, Cable, Not sure)の
        // 上から何番目か?に相当する、一番上が actionId = 0
        // ★★ CHANNEL_MAP_SCAN_FILE は後述
        args1.putInt(ScanFragment.EXTRA_FOR_CHANNEL_SCAN_FILE,
                     CHANNEL_MAP_SCAN_FILE[actionId]);
        // ...snip...
        // ScanFragment を実行、表示する
        showFragment(mLastScanFragment);

ScanFragment::onCreateView() @ src/com/android/tv/tuner/setup/ScanFragment.java
  ScanFragment::startScan()
    new ChannelScanTask()
    ChannelScanTask::execute()

ScanFragment::ChannelScanTask::doInBackground() @ src/com/android/tv/tuner/setup/ScanFragment.java
  //チャンネルリストを得る
  ChannelScanFileParser::parseScanFile() @ src/com/android/tv/tuner/setup/ScanFragment.java
  ScanFragment::ChannelScanTask::scanChannels()
    TunerTsStreamer::startStream(ChannelScanFileParser.ScanChannel) @ src/com/android/tv/tuner/source/TunerTsStreamer.java
      TunerHal::tune() @ src/com/android/tv/tuner/TunerHal.java
        Java_com_android_tv_tuner_TunerHal_nativeTune() @ jni/tunertvinput_jni.cpp
          DvbManager::tune() @ jni/DvbManager.cpp
            //DVB API v5 でのチューニング方法
            ioctl(FE_SET_PROPERTY) // /dev/dvb0.fe0 などに対して実施

DvbManager::tune() は ATSC 決め打ちの場所があって、DVB や ISDB など他の放送規格には対応していないように見えます。

CHANNEL_MAP_SCAN_FILE はスキャンするチャンネルの一覧が書いてあるファイルのリソース ID が並んでいます。

チャンネルリストのリソース ID
    private static final int CHANNEL_MAP_SCAN_FILE[] = {
        R.raw.ut_us_atsc_center_frequencies_8vsb,
        R.raw.ut_us_cable_standard_center_frequencies_qam256,
        R.raw.ut_us_all,
        R.raw.ut_kr_atsc_center_frequencies_8vsb,
        R.raw.ut_kr_cable_standard_center_frequencies_qam256,
        R.raw.ut_kr_all,
        R.raw.ut_kr_dev_cj_cable_center_frequencies_qam256,
        R.raw.ut_euro_dvbt_all,
        R.raw.ut_euro_dvbt_all,
        R.raw.ut_euro_dvbt_all
    };

ちなみにファイルは packages/apps/TV/usbtuner-res/raw の下にあります。もし新しいファイル file_name を追加したいときは、ディレクトリの下にファイルを追加し、CHANNEL_MAP_SCAN_FILE に R.raw.file_name のように、追加すれば良いみたいです。

視聴

TV 視聴の際は、チューニングと MPEG2-TS データを受け取って、セクション解析する処理が行われるようです。

チューニングについては、チャネルスキャンで紹介した TunerHal::tune() が使われますので割愛して、TS データを受け取るところを調べます。どうも下記のようになっているようです。

DVB API デバイスから TS を受け取って、PSI パーサーに渡すまで
TunerTsStreamer::StreamingThread::run() @ src/com/android/tv/tuner/source/TunerTsStreamer.java
  TunerHal::readTsStream() @ src/com/android/tv/tuner/TunerHal.java
    TunerHal::nativeWriteInBuffer()
      Java_com_android_tv_tuner_TunerHal_nativeWriteInBuffer() @ jni/tunertvinput_jni.cpp
        DvbManager::readTsStream() @ jni/DvbManager.cpp
          read() // /dev/dvb0.dvr0 など
  EventDetector::feedTSStream() @ src/com/android/tv/tuner/tvinput/EventDetector.java
    TsParser::feedTSData() @ src/com/android/tv/tuner/ts/TsParser.java
      TsParser::feedTSPacket()
        Stream::feedData()
          SectionStream::handleData()
            SectionParser::parseSections() @ src/com/android/tv/tuner/ts/SectionParser.java

詳細に調べ切れていませんが、動画や音声データは com.android.tv.tuner ではあまり触らないようです。ExoPlayer に丸投げですかね?

[編集者: すずき]
[更新: 2018年 6月 29日 21:37]
link 編集する

コメント一覧

  • コメントはありません。
open/close この記事にコメントする



link もっと前
   2018年 7月 8日 -
      2018年 6月 29日  
link もっと後

管理用メニュー

link 記事を新規作成

合計:  counter total
本日:  counter today

link About www.katsuster.net
RDF ファイル RSS 1.0
QR コード QR コード

最終更新: 7/17 22:53

カレンダー

<2018>
<<<07>>>
1234567
891011121314
15161718192021
22232425262728
293031----

最近のコメント 20件

  • link 18年07月04日
    すずき 「NEON にも対応してみましたが、やはり...」
    (更新:07/11 21:26)
  • link 18年05月30日
    すずき 「情報ありがとうございます。PT2 2枚差...」
    (更新:06/02 17:27)
  • link 18年05月30日
    通りすがりですみませ... 「私のPC(Win10)ではB−CAS1枚...」
    (更新:06/02 16:42)
  • link 18年05月20日
    すずき 「数えたことはありませんが Windows...」
    (更新:05/22 22:26)
  • link 18年05月20日
    hdk 「Linux も、先日の Meltdown...」
    (更新:05/21 22:55)
  • link 15年12月27日
    すずき 「お役に立てて何よりです。」
    (更新:05/12 21:45)
  • link 15年12月27日
    名前 「助かりました。勉強になります。」
    (更新:05/11 12:40)
  • link 13年09月13日
    すずき 「コメントありがとうございます、お役に立て...」
    (更新:05/10 09:32)
  • link 13年09月13日
    amakko 「二枚デバイスが有り、デバイス名「hw:x...」
    (更新:05/09 22:57)
  • link 18年05月02日
    すずき 「USB 3.0 メモリはブート対象リスト...」
    (更新:05/03 12:14)
  • link 18年05月02日
    hdk 「10 年前の PC でも普通に USB ...」
    (更新:05/03 09:00)
  • link 18年05月02日
    すずき 「一応補足しておくと、もう 6年前の PC...」
    (更新:05/02 22:21)
  • link 18年05月02日
    hdk 「2018 年にもなって USB メモリー...」
    (更新:05/02 21:42)
  • link 18年03月24日
    すずき 「記事は後で訂正しますが、Ubuntu の...」
    (更新:03/26 14:39)
  • link 17年11月30日
    すずき 「コメントありがとうございます。そのように...」
    (更新:01/24 14:40)
  • link 17年11月30日
    AVXならこんな感じ... 「/* STEP1 */ \\\nmxg ...」
    (更新:01/23 09:38)
  • link 17年11月24日
    すずき 「SHA-3 はもう決定していて、kecc...」
    (更新:11/26 17:09)
  • link 17年10月21日
    すずき 「家だとブリッジで良いんですが、会社だとそ...」
    (更新:10/28 12:43)
  • link 17年10月21日
    hdk 「VirtualBox 用に ICS 使う...」
    (更新:10/26 01:13)
  • link 17年09月23日
    すずき 「そうですね、体験していたはずなんですが、...」
    (更新:10/17 22:53)

最近の記事 3件

link もっとみる
  • link 18年07月17日
    すずき 「[エアコンが臭い] 「エアコンの嫌なニオイが完全に消えた」 "窓全...」
    (更新:07/17 22:53)
  • link 18年07月16日
    すずき 「[AArch64 向け Linux 開発環境の構築 その 2] そ...」
    (更新:07/17 22:46)
  • link 18年07月07日
    すずき 「[Android と MPEG2-TS その 3] その 1、その...」
    (更新:07/17 22:46)

こんてんつ

open/close wiki
open/close Java API

過去の日記

open/close 2002年
open/close 2003年
open/close 2004年
open/close 2005年
open/close 2006年
open/close 2007年
open/close 2008年
open/close 2009年
open/close 2010年
open/close 2011年
open/close 2012年
open/close 2013年
open/close 2014年
open/close 2015年
open/close 2016年
open/close 2017年
open/close 2018年
open/close 過去日記について

その他の情報

open/close アクセス統計
open/close サーバ一覧
open/close サイトの情報